每周重点总结

输入音频、视频和文字 → 一个统一模型同时理解和生成 → 输出可打断的实时音视频对话。

输入实时音视频 → 模型持续预测下一段声音和画面 → 输出可连续互动的 AI-native 社交场景。

给视频世界模型加一层空间记忆机制 → 记住用户去过的区域和物体位置 → 长时间探索时画面不容易前后矛盾。

输入对话音频和角色状态 → 同步生成听、说、反应中的头像视频 → 强调非语言反馈和可打断互动。

输入传感器、场景或任务条件 → 生成符合物理规律的仿真画面/数据 → 主要服务机器人、自动驾驶和 Physical AI，不是消费级实时互动视频。

输入实时语音或文本 → 数字人引擎生成表情和口型 → 输出低延迟互动 Avatar。

按时间顺序一帧帧生成视频 → 复用前面画面的记忆来降低成本 → 支持中途换提示词并继续输出长视频。

用户语音 → 识别成文字并交给大模型 → 生成语音后驱动数字人口型和表情。

输入文字、语音、图片或键盘操作 → 实时生成可探索世界 → 用户可以边看边改、边操作边继续生成。

输入用户语音和角色形象 → 模型判断角色正在听还是说 → 输出带表情、口型和动作的角色视频。

输入文字、图片或视频参考 → 生成可连续调整的视频世界 → 在创作画布和 API 中支持互动式内容生产。

用户语音 → 大模型对话 → 流式语音合成 → 生成会说话的头像视频。

输入实时摄像头或直播画面 → 按指定风格/语义改写每一帧 → 输出低延迟的新视频流。

边听边转写用户语音 → 大模型分段生成回复 → 分段合成语音和数字人视频，减少等待。

用户语音 → 大模型生成回答 → 合成语音并驱动数字人形象实时播报。

输入场景和用户动作 → 生成可交互的视频世界 → 重点探索通用世界模型在实时体验中的稳定性。

输入图片或场景条件 → 生成可实时探索的 3D/视频世界 → 用户移动视角时模型持续补全环境。

输入当前画面和玩家动作 → 在内部空间预测后续画面 → 连续生成更稳定、可操作的游戏世界视频。

输入一段文字设定 → 模型生成一个可进入的 3D/视频世界 → 用户可以实时移动、探索，并用提示词触发新事件。

输入实时语音或文本 → Avatar SDK 生成口型、表情和视频流 → 可通过本地或云端链路接入互动应用。

输入语音、文本或实时对话事件 → 生成可嵌入应用的实时 Avatar 视频 → 通过 WebRTC/生态插件接入 Agent。

输入说话人与交互信号 → 低延迟生成头像动作和口型视频 → 面向实时数字人对话的基础模型研究。

输入文字、图片、视频或语音 → 快速生成或调整视频画面 → 支持边对话边创作的互动视频体验。

输入游戏画面和操作指令 → 世界模型预测下一帧画面 → 在浏览器 demo 中形成可玩的实时游戏体验。

用户说话或视频输入 → 语音识别/大模型规划/语音合成分模块处理 → 渲染成实时数字人回复。

读取当前画面和键鼠操作 → 预测下一刻画面 → 持续生成一个可玩的游戏式视频世界。