小米开源 Xiaomi-Robotics-U0:具身领域首个“通吃”四类任务的统一生成模型
作者 David Thompson
发布于 2026-07-15
阅读量 5分钟阅读
小米于 7 月 15 日发布了一款名为 Xiaomi-Robotics-U0 的新模型,这是一个拥有 380 亿参数的多模态自回归具身生成基础模型。该模型被誉为具身智能领域首个能够统一处理四类任务的模型,成功整合了机器人图像和视频的生成与编辑功能。
该模型能够执行以下四类任务:
- 具身场景生成(Scene Generation):根据文本指令,为指定的机器人本体生成多视角初始场景。无论环境是桌面、厨房、仓库还是更复杂的开放世界,模型都能依据语言描述生成相应的机器人观测视角。
- 具身迁移(Embodied Transfer):可以将已有的机器人轨迹迁移到新的环境中,例如调整光照、背景、桌面材质、目标物体或工作区风格,同时保持原始轨迹中的机械臂姿态和场景布局。
- 机器人交互视频生成(Video Generation):基于初始观测和操作指令,生成后续视频。该功能能够保证动作的连贯性和物理上的合理性,并能实现零样本泛化到各种场景。
- 通用文生图和图像编辑(Text2Image & Anything2Image):模型保留了通用的图像生成和编辑能力,从而可以将互联网上的视觉知识应用于具身智能任务。
小米官方指出,该模型在保持几何一致性的前提下,能够对现有数据进行增强,例如更换物体、光照、背景或增加干扰,而无需重新采集数据。此外,它还可以从零开始生成全新的场景,覆盖真实机器人难以触及的危险、极端或长尾环境。通过采用 FlashAR+ 推理加速方案,模型的生成效率相比原始自回归范式提高了近 83 倍,显著加速了工程落地进程。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。
在 WorldArena 评测基准中,Xiaomi-Robotics-U0 获得了总分第一的成绩,在 126 个参赛模型中脱颖而出。此外,在真实机器人评测中,模型在未知光照和陌生背景等非分布(Out of Distribution)场景下,使用 Xiaomi-Robotics-U0 扩充数据训练的策略,任务完成率平均提升超过 26%。
小米已将相关代码和模型权重全部开源。
留下您的精彩評論