一个被反复引用的判断是——"数据是具身智能时代的石油"。 我想说的恰恰相反：这个比喻，从一开始就错了。

一、五十万小时的困境

先看一组行业账目。

某国内头部具身智能企业，在预计投入的 20 亿元科研创新费用中，仅"数据基础设施"一项占比就超过 40%。某上市公司的公开财报显示，2025 年全年在数据相关领域的硬性投入达 1.5 亿元，占到全年研发投入的 30%。特斯拉的 Optimus 项目账本更为庞大——2022 至 2024 年累计研发投入已超 30–40 亿美元，其中数据采集与处理约占三分之一，超过 10 亿美元。

数据，确实是一门生意。

但数量从来欺骗不了质量。

在"卷采集时长、卷数据规模"的路上一路狂奔，看上去像勇气，本质上是惊人的浪费。今天有超过 60% 的公司选择直接删除至少一半此前重金采集的历史数据——因为早期质量太差、格式不统一、与新模型架构完全不兼容。斯坦福大学今年 4 月发布的《AI Index Report 2026》给出了一个更冷的数字：通用人形机器人在真实家庭场景中的任务成功率仅约 12%，且从 2024 到 2026 年几乎停滞，两年间提升不到 2 个百分点。

而截至 2026 年初，即便在如此规模的投入下，全球所有高质量真实物理交互数据加在一起，依然只有约 50 万小时——不及大语言模型训练数据的两万分之一。

这就是行业的真实处境：钱在加速，能力在原地踏步。

如果说 90% 的数据投入是无效的，那么在认清这个残酷前提之后，剩下真正有效的 10% 才值得我们离开光鲜的融资额与"百万小时"的 PR，认真追问一句：

到底什么样的数据，才能改变格局？

二、为什么具身智能缺数据

要理解这 10%，得先理解具身智能与大语言模型最根本的分野。

大语言模型可以依托互联网上近乎无限的高质量文本完成训练；而具身智能走向通用人工智能（AGI）的最大障碍之一，恰恰是操作数据的极度匮乏。机器人需要的不是"世界知道什么"，而是"双手如何与物理世界交互"——这类数据没有现成的互联网语料库可供抓取。

从早期的网络视频预训练，到耗资巨大的遥操作采集，再到仿真器中的海量合成，机器人操作数据的采集范式经历了一场漫长而艰难的进化。这条进化线，本质上是整个领域在规模与精度之间反复寻找最优解的过程。

下面沿着这条脉络，逐一拆解四个阶段的价值与局限。

三、数据范式的四次进化

阶段一：从互联网汲取——网络视频的早期尝试

面对操作数据的短缺，研究者最直觉的反应是：能不能像训练语言模型那样，直接用互联网上海量的现成视频？YouTube 上的烹饪、组装教程蕴含着极其丰富的人类活动语义与常识。

这一阶段的代表性工作，是 Meta AI 与斯坦福联合推出的 R3M（2022），它尝试用 Ego4D 视频预训练视觉表征，提升下游机器人任务的数据效率；谷歌的 RT-2（2023） 则更进一步，将网络图文数据与机器人遥操作数据联合训练，让机器人具备了初步的语义理解与常识推理能力。

这些工作证明了网络视频在提供通用视觉表征上的价值。但它的局限同样刺眼：Apple 在 EgoDex（ICLR 2026）中指出，未经结构化的原始视频在图像分布上与灵巧操作之间存在难以弥合的鸿沟。更要命的是视角——网络视频大多是第三人称、固定机位，与机器人执行任务时的视角差异巨大；同时缺乏精确的手-物交互细节，更没有机器人控制所需的动作标注（关节角度、末端执行器位姿）。

结论是清楚的：网络视频只能停留在"提供视觉特征"的浅层，教不会机器人怎么动手。

阶段二：让机器人亲自演示——遥操作的规模化

既然网络视频缺动作标注，那就转向最直接、最精确的方式：遥操作（Teleoperation）。

这一阶段见证了操作数据集的爆发式增长：从谷歌的 RT-1、BridgeData V2，到汇聚 22 种机器人本体、来自 21 家机构的 60 个数据集、包含逾 100 万条轨迹的 Open X-Embodiment（2024）；再到覆盖 564 个场景、86 种任务、50 位采集者、共 7.6 万条轨迹的 DROID（2024）。规模与多样性不断被刷新。

这些数据集为机器人提供了精确的动作标签，让端到端模仿学习成为可能，并直接催生了跨具身（Cross-Embodiment）学习。

但遥操作有一道无法绕开的天花板：规模瓶颈。

每一条轨迹背后，都需要昂贵的机器人硬件、复杂的标定系统，以及一位熟练操作员耗费大量时间。EgoDex 团队直言，遥操作受限于物理机器人的操作瓶颈，目前尚不清楚如何继续向更大规模扩展。NVIDIA 在发布 GR00T N1 时也点破了另一个问题：不同机器人在传感器、自由度、控制模式上差异巨大，现有遥操作数据往往沦为一座座"数据孤岛"（Data Islands），难以整合成像互联网文本那样连贯、可训练通用模型的大规模语料库。

精度有了，规模和通用性却付出了高昂代价。

阶段三：让仿真器生产数据——合成数据的崛起

为了摆脱对人类操作员的依赖，研究者把目光投向物理仿真器。如果能在虚拟世界中自动生成数据，数据的边际成本将趋近于零。

NVIDIA 与 UT Austin 的 MimicGen（2023） 及其后续 DexMimicGen 展示了这条路的潜力：以少量人类演示作为种子，在仿真器中做轨迹变换、物体替换与场景随机化，批量生产海量操作数据。在 GR00T N1 的训练中，研究团队用 DexMimicGen 在短短 11 小时内生成了 78 万条仿真轨迹——相当于人类操作员连续工作约 6500 小时（约 9 个月）的工作量。

效率惊人。但仿真同样不是万能解药。

仿真物理引擎（接触、摩擦、柔性形变）与真实世界之间始终横亘着 Sim-to-Real Gap。NVIDIA 的研究人员坦言，某些复杂任务——比如把网状杯中的液体或细小颗粒倒进垃圾桶——在仿真中极难生成与模拟。更深层的问题在于：仿真数据的任务分布受限于预先构建的 3D 资产库，缺乏真实世界中那条无限长尾的语义多样性。

取之不尽，却难以逼真。

阶段四：回归人类视角——第一视角数据的独特价值

历经网络视频的"失焦"、遥操作的"昂贵"、仿真的"失真"，数据进化路线最终收敛到了一个兼具规模与精度的范式：人类第一视角（Egocentric）数据。

以 Meta、CMU 等机构的 Ego4D（2022，3670 小时日常活动视频） 和 EPIC-KITCHENS 为代表的早期数据集，已经证明了第一视角在捕捉人类日常活动上的潜力。而最近爆发的一批研究——佐治亚理工的 EgoMimic（CoRL 2024 Workshop）、Apple 的 EgoDex，以及蚂蚁集团的 AoE 系统（Always-on Egocentric，2026）——则彻底把第一视角推到了灵巧操作的舞台中央。

NVIDIA 在 GR00T N1 中提出的"数据金字塔"框架，恰好为这四个阶段的关系给出了答案：

• 塔基：海量网络数据与人类第一视角视频（Ego4D、EPIC-KITCHENS、HOI4D 等），提供广泛的视觉与行为先验；
• 塔身：仿真合成数据，充实技能多样性；
• 塔尖：少量高精度真实机器人遥操作数据，完成最终的物理对齐。

在这座金字塔里，第一视角数据的独特价值集中体现在三个维度：

1）极致的"被动可扩展性"

与遥操作需要人类刻意去"教"机器人不同，第一视角数据的采集可以是被动且无感的。Apple 的 EgoDex 利用 Vision Pro 头显，在日常生活中自然采集了 829 小时、涵盖 194 种任务的灵巧操作数据，规模比现有手部操作数据集大了近一个数量级。AoE 系统更是把门槛降到极致：一个成本不到 20 美元的颈挂式手机支架，加上端云协同的 App，任何人都能随时随地采集高质量操作数据。这种被动扩展性，让操作数据第一次有望像互联网文本那样实现自然增长。

2）天然的"视角对齐"与迁移潜力

人类佩戴头显或胸前设备采集的第一视角视频，与人形机器人头部/胸部主摄像头的视角高度一致。这种"视角对齐"有望显著缩小从人类演示到机器人执行之间的 Domain Gap。EgoMimic 的实验表明：在固定的机器人遥操作数据基础上，加入人手第一视角数据协同训练，机器人策略的任务得分相比纯遥操作基线（ACT）最高可提升 228%，绝对成功率最高提升 33%。

3）极其丰富的精细操作语义

第三人称网络视频往往看不清手部细节，第一视角却能以极近距离捕捉手-物交互的微妙动态。EgoDex 不仅提供高清视频，还借助设备自带的 SLAM 与多摄像头系统，精确追踪人体上半身及双手每只手 25 个关节的 3D 位姿。这种含精确 3D 骨骼信息的数据，覆盖系鞋带、折叠衣物、拧开瓶盖等高度复杂任务，为机器人学习精细接触力与空间关系提供了不可替代的监督信号。

四、四种范式的横向对比

数据范式	代表工作	核心价值	主要局限
网络视频	R3M、RT-2	通用视觉表征、常识语义	缺动作标注、视角不匹配、操作细节模糊
遥操作	Open X-Embodiment、DROID	精确动作标注、支持端到端学习	采集成本极高、扩展性差、易成数据孤岛
仿真合成	MimicGen、DexMimicGen	零边际成本、生成效率极高	Sim-to-Real Gap、难以覆盖长尾场景
第一视角	EgoDex、EgoMimic、AoE	被动可扩展、视角对齐、精细操作语义	动作标注、具身迁移、质量控制仍待解

需要强调的是：第一视角并非没有挑战。

其一是动作标注。Ego4D 等早期数据集缺乏精细标注，需要靠后处理（姿态估计、手部追踪）提取动作信号，而后处理精度往往不如采集时的直接标注。EgoDex 通过在采集时直接记录 3D 手部骨骼解决了这一点，代价是依赖专用硬件（Apple Vision Pro）。

其二是具身迁移（Retargeting）。人手与机器人末端执行器形态差异显著，如何把人手的精细动作准确映射到夹爪或多指手，仍是开放问题。EgoMimic 等工作目前通过共享视觉观测空间（而非直接迁移动作）来规避，但并不能覆盖所有场景。

其三是质量控制。AoE 这类被动采集系统极大降低了门槛，却也引入大量噪声（非操作场景、遮挡、运动模糊），需要复杂的自动化过滤与标注流水线来保证训练质量。

五、答案远未定型

具身智能的数据探索仍处在极早期。没人确切知道通用操作能力最终需要怎样的数据配方——在这个意义上，试错本身就是探索的必要部分。

但"试错"与"在已被验证低效的路线上持续下注"，是两码事。

回看整条进化史：网络视频规模庞大却缺动作标注，遥操作精度极高却难以扩展，仿真数据取之不尽却消不掉 Sim-to-Real Gap。规模与精度往往不可兼得，没有任何单一范式能同时承载通用操作所要求的规模、精度与真实性。

这意味着问题已经变了。它不再是"选择哪一条路线"，而是——

如何让这些各具短长的数据源，在一个统一框架下形成合力。

四个阶段不是相互替代的关系，而是一个互补的数据生态。正如 GR00T N1 的"数据金字塔"所揭示的：人类第一视角数据凭借被动可扩展性、视角一致性与精细操作语义，正在成为承上启下的关键基石——向下衔接语义理解，向上支撑技能迁移。

六、结语：数据不是石油，是稀土

所以回到开头。

数据不是新时代的石油。石油挖出来就能烧；而具身智能的数据，更像稀土——

一吨矿石里，只有几克能点亮反应堆。

真正的壁垒，从来不在你囤了多少矿石，而在你从矿石里提纯出了多少浓缩物。

当 90% 的投入注定无效，决定胜负的，是那 10% 的提纯能力。

这，才是价值。

---

参考文献

1. R3M: A Universal Visual Representation for Robot Manipulation — https://arxiv.org/pdf/2203.12601
2. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — https://arxiv.org/pdf/2307.15818
3. EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video — https://arxiv.org/pdf/2505.11709
4. Open X-Embodiment: Robotic Learning Datasets and RT-X Models — https://arxiv.org/pdf/2310.08864
5. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset — https://arxiv.org/pdf/2403.12945
6. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots — https://arxiv.org/pdf/2503.14734
7. MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations — https://arxiv.org/pdf/2310.17596
8. Ego4D: Around the World in 3,000 Hours of Egocentric Video — https://arxiv.org/pdf/2110.07058
9. EgoMimic: Scaling Imitation Learning via Egocentric Video — https://arxiv.org/pdf/2410.24221
10. AoE: Always-on Egocentric Human Video Collection for Embodied AI — https://arxiv.org/pdf/2602.23893