[go: up one dir, main page]

MoWorld – 魔芯科技推出的全球首个高帧率交互式世界模型

AI工具5小时前发布 AI小集
0

MoWorld是什么

MoWorld 是魔芯科技推出的全球首个高帧率交互式世界模型,基于纯国产华为昇腾 NPU 全栈优化,实现最高 50 FPS 实时推理,成本较 GPU 降低 70%。模型支持精确相机轨迹控制与 4D 空间感知,可生成长时程、空间一致的城市/室内/驾驶等大尺度场景视频。MoWorld 适用影视预演、实时云游戏、具身仿真、自动驾驶及 3D 场景重建。

MoWorld

MoWorld的主要功能

  • 高帧率实时交互:最高支持 50 FPS 实时推理,将世界模型从非实时生成带入实时交互时代。
  • 4D 世界建模:模型融合精确相机轨迹与空间几何信息,实现带空间感知的 4D 动态世界模拟。
  • 长时程空间一致性:在城市、高速公路、沙漠等大尺度鸟瞰场景中,保持建筑布局、道路走向和远景细节的稳定,跨视角几何关系不漂移。
  • 相机-剧情联合控制:支持导演级镜头运动与叙事事件协同控制,生成视频可直接用于 3DGS 场景重建和影视预演流程。
  • 低成本国产部署:基于华为昇腾 NPU 全栈原生优化,推理成本较 GPU 降低 70%,首次证明国产算力可支撑大规模世界模型实时部署。
  • 多场景泛化生成:训练数据覆盖真实世界与虚拟世界,兼顾丰富性与跨域泛化能力。

MoWorld的技术原理

  • 数据引擎:覆盖真实世界与虚拟世界,通过 3D 几何一致性、轨迹精度、多视图稳定性等多维质量筛选,构建高质量训练资产。
  • 预训练:超密集注意力并行 + 输入 Token 并行,支持长达 2 分钟的基础模型训练。
  • 蒸馏优化:压缩至 4 步实时推理的自回归学生模型,引入全局锚点与相机稳定一致性的 Memory 机制,跳过教师轨迹采样初始化,显著降低蒸馏成本。
  • 实时推理:三层协同优化——流水线层(条件编码复用、按需模块加载)、并行层(多 NPU 环形通信、分层序列并行)、算子层(混合精度动态量化、HBM 高效注意力前端)。

如何使用MoWorld

MoWorld 处于发布初期,权重、代码与在线服务即将开放。

MoWorld的核心优势

  • 全球首个 Flash World Model:首创超高帧率交互式世界模型概念,最高实现 50 FPS 实时推理,将世界模型从非实时生成带入实时交互时代。
  • 纯国产 NPU 全栈原生:首次在华为昇腾 NPU 上打通预训练、自回归蒸馏到实时推理的完整技术链路,证明国产算力可独立支撑大规模世界模型训练与部署。
  • 推理成本降低 70%:经 NPU 极致优化后,相比 GPU 部署成本大幅下降,让高帧率世界模型首次具备规模化落地的经济可行性。
  • 低成本不牺牲效果:14B 参数 MoE 架构在画质、空间一致性与时序稳定性上达到行业 TOP 级,大尺度鸟瞰场景仍能保持建筑、道路与远景的精确结构。
  • 长时程空间一致性:引入全局锚点与相机稳定 Memory 机制,即使经历高空俯冲、快速拉升等大范围镜头运动,跨视角几何关系依然稳定不漂移。
  • 相机-剧情联合控制:支持精确相机轨迹与叙事事件协同,生成视频可直接重建 3DGS 场景,打通影视预演、具身仿真与数字孪生的应用闭环。

MoWorld的项目地址

  • 项目官网:https://moxin-tech.github.io/moworld/
  • 技术论文:https://moxin-tech.github.io/moworld/MoWorld.pdf

MoWorld的同类竞品对比

对比维度 MoWorld(魔芯科技) HY World 1.5(腾讯混元)
核心定位 高帧率 Flash World Model,实时交互式世界模拟 开源实时世界模型框架,流式交互探索
实时帧率 最高 50 FPS 24 FPS 流式生成
模型架构 14B 参数 MoE(混合专家) 未公开具体参数规模
硬件平台 纯国产华为昇腾 NPU,全栈原生优化 主要基于 NVIDIA GPU 生态
推理成本 较 GPU 降低 70% 标准 GPU 部署成本
空间一致性 全局锚点 + 相机稳定 Memory 机制,大尺度场景跨视角几何稳定 Memory Reconstitution 机制,动态重建历史上下文防止几何漂移
控制精度 精确相机轨迹 + 4D 空间感知,支持导演级镜头运动 3D 相机姿态 + 离散命令双动作表示,支持键盘鼠标控制
视角支持 侧重相机轨迹控制,适用于影视预演与重建 支持第一人称与第三人称视角切换

MoWorld的应用场景

  • 影视制作与镜头预演:创作者可专注于角色动作与镜头语言,显著减少背景漂移、视角跳变和场景身份不一致问题。
  • 实时云游戏与交互内容:用户通过连续相机控制实时探索生成的虚拟世界,支撑低延迟漫游、镜头控制和沉浸式交互体验。
  • 室内场景重建与数字孪生:用 MoWorld 生成的视频进行室内场景 3D 重建,目标精细度高、重建稳定、空间一致性好,可直接输出数字场景资产。
  • 具身智能仿真:高帧率 Flash World Model 让机器人系统以前所未有的速度进行环境感知与决策,为具身智能提供实时物理交互模拟环境。
  • 自动驾驶训练与验证:通过实时生成多样化驾驶场景(城市、高速、沙漠等),支撑自动驾驶算法在动态、大尺度环境中的快速迭代与安全性验证。
© 版权声明

相关文章

即梦AI

暂无评论

暂无评论...