每周重点总结

交互式世界模型

公开信息提到 720p、24 FPS，demo 中可进行分钟级探索。

目前最强的“文本到可玩世界”信号之一；场景连续性、事件控制和实时体验都很突出。

动作条件视频世界

Minecraft 风格开放世界 demo，公开报道约 20 FPS。

可玩闭环清晰，是“视频模型替代游戏引擎”的早期具体样例。

实时视频改写

公开报道提到 20 FPS 级别、亚秒级实时视频风格化 demo。

最贴近实时创作者工具和直播生产；是实用视频到视频能力的入口。

交互式世界模型

公开材料称 1.8B 模型、单 H100 可达 25 FPS、分钟级生成。

技术细节开放度较高，适合作为内部复现和路线比较的参考栈。

Physical AI 世界模型

Cosmos 模型族、工具链和仿真数据管线。

在仿真、机器人和 GPU 加速部署生态上优势明显。

长时交互视频

已公开长时交互和潜空间空间缓存相关研究。

直接解决实时世界模型最核心的长时一致性问题。

流式视频生成

研究材料称可达 20 FPS 级生成，并支持最长 240 秒输出。

是连续流式视频生成和长视频提示词控制的重要架构参考。

全双工音视频基础模型

总交互约 550ms；模型侧约 200ms

音频、视频、文本统一 Transformer；Block-Causal Attention；原生 turn-taking；不依赖外部 ASR/LLM/TTS/Avatar 模块。

Social World Model

Sub-second；47.5 FPS 信号

22B 实时音视频模型；面向 AI-native 社交场景；支持长时间连续生成和单 H100 流式交互。

角色表现基础模型

实时推理；具体端到端延迟待核验

17B Diffusion Transformer；面向单人全双工音视频对话表现；支持听、说、反应、表情和身份一致性。

实时语音多模态模型

数百毫秒级；官方未给固定值

语音原生实时交互；支持打断；核心价值在低延迟音频 token 到音频 token 的交互链路。

连续感知多模态 Agent

数百毫秒级信号；官方未给固定值

持续视觉/听觉感知；相机与音频进入连续多模态理解链路；强调自然对话和环境记忆。

视频 Agent 平台

<500ms 平均响应信号

CVI 编排 Phoenix/Raven/Sparrow；支持 WebRTC、工具调用、主动聆听、1080p 实时头像渲染。

实时 Avatar API

约 0.7-1.5s 体验信号

面向 conversational AI agents 的实时头像 API；强调双向互动、唇形、表情和手势。

实时视频 Avatar

公开 demo 接近实时；官方固定值待核验

LemonSlice-2 支持单图生成互动视频头像；强调全身 avatar、表情和语义手势。

Streaming Avatar API

约 1s 级体验信号

提供 Streaming Avatar API 与 Agora demo；偏企业集成、SDK 和实时互动应用。

交互式视觉 Agent

官方固定值待核验

把 conversational AI avatars、agent framework 和实时视频互动整合为视觉 Agent 产品。

实时互动 Avatar API

180ms avg agent response time 信号

强调超低延迟、70+ 语言、实时互动和单图创建 persona；适合销售/培训/客服场景。