HALO 把采数据的人省掉了吗
代码、视频和数据流水线都公开了,README 里没有模型权重,也没有 300 小时数据集
十一月四日,一篇叫《Perceptive Humanoid Motion from Simulation》的预印本挂上 arXiv,编号 2611.06908。八位作者都署在苹果,末位作者是 Vladlen Koltun。项目页面放了一段视频:一台宇树 G1 在没预先扫描、也没建图的房间里,听见「坐到椅子上」就自己找椅子,侧身挤过半开的门,俯身钻到桌子底下,再把一只箱子推走。数据生成、模型训练、部署代码一并放到了公开仓库。
澎湃新闻十一月七日报道时用了一个数字:六个真实环境、三百六十次单项任务,平均成功率 91%。同一篇报道往后隔了几段,还写着另外一组:三种组合任务各测十次,平均 70%,其中「俯身通过障碍—走向目标—推箱子」只有 50%。
单个动作几乎都能做成,把动作连起来就掉一半,材料自己把一个问题摆了出来:机器人缺的到底是什么。
01 一千个房间
人形机器人的数据一直不好攒,人得站在那儿操作一遍,机器才学到一遍。论文开头给的对照是遥操作和穿戴式动捕,Humanoids Daily 十一月五日引原话称:「require at least an hour of human time to produce an hour of data」,要产出一小时数据,至少得搭进去一小时人工。
HALO 换了个顺序,用 Kimodo 这个动作扩散模型从文字描述、路径点和几个关键姿态生成全身动作,再把动作放进 Infinigen 生成的一千个房间,其中 45% 是客厅、30% 是办公室、25% 是卧室。检查机器人和家具会不会撞上,找得到不碰撞的摆法,才用 Isaac Sim 以光线追踪从机器人自己的鱼眼相机视角渲染出画面,渲染时还会随机改光照、色调、模糊和噪声。澎湃还提到,系统也可以选择通过 API 调用云端模型,换取更强的推理和规划能力。
动作在先,房间和画面排在后面,三样按这个次序凑成一套,不需要谁去把机器人操作一遍。结果是 162,698 段片段,按每秒 30 帧折算 296 小时,覆盖六种技能;澎湃写的是「约 300 小时的主要训练数据」,两个说法对得上。
02 250 张 H100 跑了 48 小时
省下的人力换成了算力,账是明写的。澎湃引述研究团队的说明:合成主要训练数据用了 250 张英伟达 H100、耗时约 48 小时;动作生成器靠模仿学习训练,用 64 张 B200;动作跟踪器经强化学习和策略蒸馏,用 4 张 H100。三层模型跑在机器人身上:任务编排默认用 4-bit 的 Qwen3.6-35B-A3B,约每两秒排一次子任务;动作生成用冻结的 Qwen3.5-2B 视觉编码器加一个 4900 万参数的 DiT,约每秒重规划三次、每次排未来五秒;跟踪器 50Hz,把计划落到 G1 的 29 个关节。编排和生成跑在背上那台 M4 Pro、64GB 的 Mac mini 里,跟踪器跑在 G1 自带的 Jetson Orin NX 上,机器人不拖线。
规模确实在干活,论文里的消融给了证据:只用一间房训练,坐下任务在没见过的仿真房间里成功率 43%,用满一千间是 84%;把扩散解码器换成普通回归,掉到 19%;跟踪器去掉深度输入,掉到 74%。房间数量这一项自己就拉开 41 个百分点。
所以对「数据能不能靠算力堆出来」,答案偏向能。代价是把一小时人工换成了一排卡,以及一套得先写好的生成流程。
03 一小时人工换一小时数据
最有道理的说法来自项目页:语料随算力扩展,不随人力扩展。真机测试也没用遥操作数据,六个未建图的房间直接上,仿真和真实的平均成功率都是 91%。分项里走向物体 98% 对 92%、坐椅子 84% 对 85%、俯身钻桌底 95% 对 100%、推箱子 93% 对 88%,到这一步,论文主张成立。
但人力没有从流程里消失,只是挪到了上游。澎湃逐字引述:「需要指出的是,仿真生成数据并未完全摆脱人工参与。」团队表示,「新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材」。Humanoids Daily 把剩下的部分列得更细:跟踪器第一阶段用了公开动捕数据集 LAFAN1 的片段重定向到 G1;爬行和俯身的关键帧来自一段人钻桌子的手机视频,先提到三维再重定向;推箱子的数据里还有一段动捕记录。论文自己的局限一节写得更直接:每加一种技能都要有人写提示词、编关键帧,技能库扩张的速度受制于人多快能把新任务描述出来。
还有一个口径上的缺口:论文没有拿 HALO 和已发表的系统在相同任务、相同条件下比过成功率;附表里列了 ZeroWBC、GRAIL、TANGO 等相关工作报告过的真机试验次数,没有列它们在匹配条件下的成功率。91% 是作者报的,是预印本,截至十一月五日没有公开的独立验证,拿它当「行业水平」读会读多。
04 README 里没有权重
公开仓库里放的是数据生成流水线、生成器和跟踪器的训练代码、以及 MuJoCo 与真机 G1 的部署代码,项目页还给了 HALO 的全称:Humanoid Autonomy, Learned in simulation, running Onboard。README 没有列出训练好的模型权重,也没有给 296 小时数据集的下载。
权重和代码的区别比听起来要紧。有代码,别人能照着搭一遍三层结构、在仿真里跑通钻桌底和推箱子的逻辑;要复现 91%,得先自己把一千个房间、250 张卡、48 小时和后面两轮训练重跑一遍,还得有人补上提示词和关键帧。开源的是一条能复用的路,不是路上的结果。
对做本体和做集成的团队,价值也不一样。买得到 G1、凑得出卡的,可以拿这套框架换模型、换场景;没有实机的,能验的只有仿真里的算法思路。把「代码公开」读成「效果可以拿走」,中间隔着一份没放出来的数据集。
05 六个动作连起来之后
真正的落差在组合任务里。Humanoids Daily 记的三次连做:穿过门再走向目标,真实环境十次全成;钻桌底再坐下,六成;钻桌底、走向箱子、推走,五成。作者自己指出,连起来的成功率低于单项成功率推出来的预期,建议加一些恢复行为,比如找不到目标时原地转一转、再搜一遍。
单项与组合之间的落差,指向每做完一段之后有没有人告诉机器人下一段从哪个姿势开始。任务编排层约两秒才排一次子任务,动作生成每秒重排三次,跟踪器 50Hz 跟着运动学计划走;作者指出,跟踪器「follows the kinematic plan without knowing what the plan is for」,它执行计划,不知道计划要干嘛。中间没有接触反馈:机器人主要靠视觉,物体离开相机视野或被挡住,涉及接触的任务表现就往下掉,六种技能里没有一种需要用手抓取或摆弄东西。澎湃也记了研究团队的说法,加入触觉感知是后续改进方向之一。
房间可以生成,动作可以生成,画面也可以渲染;门有没有被推开、箱子有没有顶到墙角、手有没有抓稳,得碰过才知道。数据瓶颈被推到了更靠前的位置,接着卡在接口和接触上。
06 三份还没出现的东西
能盯的是三样具体的。第一,公开仓库会不会补上模型权重和 296 小时数据集;补上了,第三方复现才有同一份起跑线。第二,有没有别的团队在六个未建图房间、同样十次一组的口径下重跑一遍,报出自己的单项与组合成功率;在那之前,91% 和 50% 都只是这一篇里的数。第三,下一版有没有把抓取或触觉放进技能表,以及组合任务里有没有出现恢复行为的成功率。
三样都还没有出现。十一月四日到七日,热闹集中在代码和视频上;论文局限一节里关于关键帧的表述,反倒没人怎么提:技能库能长多快,取决于人多快能把它写出来。
参考来源
[1] 澎湃新闻《平均成功率91%!苹果研究团队披露机器人「大脑」进展》· 秦盛 · 2026-11-07
[2] Humanoids Daily《Apple's HALO Teaches a Unitree G1 to Navigate Unseen Rooms With Simulation-Generated Data》· Pontus Armini · 2026-11-05
[3] arXiv:2611.06908《Perceptive Humanoid Motion from Simulation》· 2026-11-04(预印本,未经同行评审)
[4] Apple Machine Learning Research 项目页与公开仓库 apple-aiml-research/ml-halo
[5] 本期财经简报第 15 条 · 2026-11-08
免责声明
本文所引数据、成功率与算力配置均来自公开论文、项目页面与公开报道;论文为预印本,尚无同行评审或独立复现。文中对局限与口径的讨论为作者分析,不构成投资建议或对任何产品的评价。
本文由松丰咨询行业研究组撰写,首发于微信公众号「松丰咨询」,同步发布于 songfon.com。