每周重点总结

输入音频、视频和文字 → 一个统一模型同时理解和生成 → 输出可打断的实时音视频对话。

输入实时音视频 → 模型持续预测下一段声音和画面 → 输出可连续互动的 AI-native 社交场景。

给世界模型加一层空间记忆 → 记住用户去过的区域和物体位置 → 长时间探索时画面不容易前后矛盾。

按时间顺序一帧帧生成视频 → 复用前面画面的记忆来降低成本 → 支持中途换提示词并继续输出长视频。

输入文字、语音、图片或键盘操作 → 实时生成可探索世界 → 用户可以边看边改、边操作边继续生成。

输入用户语音和角色形象 → 模型判断角色正在听还是说 → 输出带表情、口型和动作的角色视频。

用户语音 → 识别成文字并交给大模型 → 生成语音后驱动数字人口型和表情。

输入实时摄像头或直播画面 → 按指定风格/语义改写每一帧 → 输出低延迟的新视频流。

输入文字、图片或视频参考 → 生成连续视频内容 → 接入画布、模板和 API，用于批量创作或互动内容生产。

输入当前画面和玩家动作 → 在内部空间预测后续画面 → 连续生成更稳定、可操作的游戏世界视频。

输入一段文字设定 → 模型生成一个可进入的 3D/视频世界 → 用户可以实时移动、探索，并用提示词触发新事件。

输入文字、图片、视频或语音 → 快速生成或调整视频画面 → 支持边对话边创作的互动视频体验。

用户说话或视频输入 → 语音识别/大模型规划/语音合成分模块处理 → 渲染成实时数字人回复。

输入传感器、场景或任务条件 → 生成符合物理规律的仿真画面/数据 → 用于训练机器人、自动驾驶和 Physical AI。

读取当前画面和键鼠操作 → 预测下一刻画面 → 持续生成一个可玩的游戏式视频世界。

边听边转写用户语音 → 大模型分段生成回复 → 分段合成语音和数字人视频，减少等待。

用户语音 → 大模型生成回答 → 合成语音并驱动数字人形象实时播报。

用户语音 → 大模型对话 → 流式语音合成 → 生成会说话的头像视频。

输入实时语音或文本 → 数字人引擎生成表情和口型 → 输出低延迟互动 Avatar。