在具身智能机械人领域，， ，， ， ，数据收罗面临着诸多严肃的挑战。。 。。。。。 。
首先，， ，， ， ，大规模真实数据的收罗本钱高昂，， ，， ， ，获取大宗真实有用的数据需投入大宗人力、物力与时间，， ，， ， ，好比在重大情形中安排众多传感器和监测装备，， ，， ， ，这不但装备采购用度高，， ，， ， ，还涉及装置、维护和更新本钱。。 。。。。。 。
其次，， ，， ， ，真实天下场景富厚多样，， ，， ， ，险些不可能穷尽所有可能，， ，， ， ，机械人可能在差别天气条件、地形地貌、社会情形中事情，， ，， ， ，周全收罗这些场景数据是险些无法完成的使命。。 。。。。。 。
再者，， ，， ， ，物理天下征象和纪律重大，， ，， ， ，收罗的数据难以完整涵盖所有相关物理知识，， ，， ， ，如机械人在重鼎力大举学情形中的运动，， ，， ， ，可能无法精准捕获所有力学转变和影响因素。。 。。。。。 。
另外，， ，， ， ，差别传感器采样频率、响应时间和精度保存差别，， ，， ， ，导致时空对齐难题，， ，， ， ，像视觉传感器和力传感器同时收罗数据时可能泛起时间误差，， ，， ， ，影响数据准确性和可用性。。 。。。。。 。合成数据虽能增补真实数据缺乏，， ，， ， ，但因其基于模子和假设天生，， ，， ， ，与真实天下数据有差别，， ，， ， ，在真实场景中的泛化能力存疑，， ，， ， ，例如模拟天生的机械人行走数据，， ，， ， ，可能无法准确反应现实地形中的意外情形。。 。。。。。 。差别构型的机械人结构、功效和运动方法差别，， ，， ， ，数据难以复用，， ，， ， ，人形机械人和轮式机械人的数据因其运动和交互方法差别，， ，， ， ，通用性较低。。 。。。。。 。
别的，， ，， ， ，差别手艺蹊径对数据收罗需求差别，， ，， ， ，如基于深度学习和古板控制理论的要领，， ，， ， ，对数据类型、规模和质量要求各异，， ，， ， ，使得数据收罗事情需定制化设计，， ，， ， ，增添了事情的重大性和难度。。 。。。。。 。
优德官网PEED的设计，， ，， ， ，旨在通过毗连差别数据收罗端以及仿真以及数据对齐效劳实时天生训练可用的高质量数据，， ，， ， ，从而解决具身智能数据收罗的瓶颈问题。。 。。。。。 。
现在，， ，， ， ，优德官网PEED可以安排到模拟学习以及机械人本体等多种平台，， ，， ， ，下一步将接入行动捕获以及远程控制系统，， ，， ， ，赋能粤港澳大湾区的生产制造以及机械人研发企业突破数据瓶颈。。 。。。。。 。
具身智能将人工智能集成到机械人等物理实体中，， ，， ， ，使它们能够感知、学习并动态地与情形互动。。 。。。。。 。这种能力使这些机械人能够在社会中有用地提供商品和效劳。。 。。。。。 。在本文中，， ，， ， ，作者将互联网行业的数据价值与具身智能中的数据价值举行较量，， ，， ， ，以估算具身智能数据的潜在价值。。 。。。。。 。别的，， ，， ， ，还探讨了具身智能生长中由数据瓶颈引发的重大挑战，， ，， ， ，并研究了旨在战胜这些障碍的立异数据收罗和天外行艺。。 。。。。。 。
数据在互联网和机械人领域都是一种要害的钱币化工具。。 。。。。。 。我们通过将互联网行业作为历史基准来探讨数据在具身智能中的战略价值。。 。。。。。 。在互联网行业，， ，， ， ，公司主要通过用户数据举行定向广告和个性化内容，， ，， ， ，这种定向要领不但增添了销售量，， ，， ， ，还提升了用户加入度，， ，， ， ，从而可能带来更高的订阅用度或使用量。。 。。。。。 。与此同时，， ，， ， ，在具身智能领域，， ，， ， ，数据关于训练深度学习模子以增强和优化机械人能力至关主要。。 。。。。。 。
图 1 数据已经成为一种钱币化工具
从财务上看，， ，， ， ，用户数据对互联网公司的价值预计为每用户 600 美元。。 。。。。。 。全球约有 50 亿互联网用户，， ，， ， ，总市场价值约为 3 万亿美元。。 。。。。。 。展望具身智能领域，， ，， ， ，埃隆·马斯克展望未来机械人数目将凌驾人类。。 。。。。。 。假设市场饱和时将有凌驾 100 亿机械人，， ，， ， ，思量到每个机械人在大规模商业化后的预计本钱为 35000 美元，， ，， ， ，我们守旧预计机械人公司愿意投资约每个机械人本钱的 3% 用于数据收罗和天生。。 。。。。。 。这项投资旨在开发先进的具身智能能力，， ，， ， ，从而估算出具身智能数据的市场价值将凌驾 10 万亿美元，， ，， ， ，是互联网行业的三倍。。 。。。。。 。
这项剖析突显了具身智能数据的重大潜力，， ，， ， ，而现在具身智能数据收罗和天生行业还处于初期阶段。。 。。。。。 。
具身智能的数据瓶颈
虽然具身智能数据行业的未来看好，， ，， ， ，但现在具身智能系统的可扩展性受到严重的数据瓶颈制约。。 。。。。。 。与主要由用户天生的、相对容易网络和汇总的互联网数据差别，， ，， ， ，具身智能的数据涉及机械人与其动态情形之间的重大互动。。 。。。。。 。这一基础差别意味着，， ，， ， ，互联网数据可以从用户在数字平台上的运动中挖掘，， ，， ， ，而具身智能数据则必需捕获在多样且经常不可展望的情形中的种种物理互动。。 。。。。。 。
例如，， ，， ， ，只管现成的谈天数据使得 GPT-4 能够用 570 GB 的文本举行训练，， ，， ， ，展现出卓越的谈天使命能力，， ，， ， ，但训练具身智能模子需要大宗的机械人数据，， ，， ， ，由于其具有多模态特征。。 。。。。。 。这种机械人数据包括种种感官输入和互动类型，， ，， ， ，不但极其重大，， ，， ， ，并且网络本钱高昂。。 。。。。。 。
训练具身智能的第一个挑战是获得普遍的高质量和多样化的数据集。。 。。。。。 。例如，， ，， ， ，自主导航机械人需要处置惩罚大宗的情形数据以提升其路径妄想和障碍物回避能力。。 。。。。。 。而数据的准确度将直接影响机械人性能；；；；；；从事高精度使命的工业机械人需要极为准确的数据，， ，， ， ，细小的过失就可能导致生产质量泛起重大问题。。 。。。。。 。
别的，， ，， ， ，机械人在差别情形中顺应和推广的能力取决于其处置惩罚数据的多样性。。 。。。。。 。例如，， ，， ， ，家用效劳机械人必需顺应种种家庭情形和使命，， ，， ， ，需要从大宗的家庭情形数据中学习以提高其推广能力。。 。。。。。 。
训练具身智能的第二个挑战是“数据孤岛”。。 。。。。。 。；；；；；袢≡圃浦苋氖菝媪俑弑厩⑹奔涑ひ约扒痹谇寰参：Φ奶粽。。 。。。。。 。大大都具身智能机械人组织仅限于在特定的受控情形中网络数据。。 。。。。。 。缺乏实体间的数据共享加剧了这种情形，， ，， ， ，导致重复劳动和资源铺张，， ，， ， ，形成“数据孤岛”。。 。。。。。 。这些孤岛显著阻碍了具身智能的希望。。 。。。。。 。
图 2 具身智能数据收罗和天生
为相识决具身智能开发中的数据可用性瓶颈，， ，， ， ，需要一个强盛的数据收罗和天生系统，， ，， ， ，图 2 展示了这样的系统架构。。 。。。。。 。
系统的第一个组件是捕获真实天下的数据。。 。。。。。 。这包括从人类与物理情形的互动中网络数据用于模拟学习，， ，， ， ，如研究项目 Mobile ALOHA 捕获重大的互动使命和 PneuAct 捕获与人手行动相关的数据。。 。。。。。 。别的，， ，， ， ，该管道还涉及从多模态机械人传感器中网络数据，， ，， ， ，以捕获机械人对其物理情形的感知。。 。。。。。 。
其次，， ，， ， ，鉴于获取大宗高质量和多样化的具身智能数据本钱过高，， ，， ， ，基于数字孪生的仿真已经证实是一个有用的解决计划。。 。。。。。 。它显著降低了数据网络本钱并提高了开发效率。。 。。。。。 。例如，， ，， ， ，捕获一小时的自主车多模态机械人数据本钱为 180 美元，， ，， ， ，而模拟相同数据仅需 2.20 美元——镌汰了近 100 倍。。 。。。。。 。别的，， ，， ， ，Sim2Real 手艺的生长增进了手艺和知识从仿真情形到现实应用的转移。。 。。。。。 。这种手艺在虚拟空间中训练机械人和 AI 系统，， ，， ， ，使它们能够清静高效地学习使命，， ，， ， ，而无需面临现实天下的物理危害和限制。。 。。。。。 。因此，， ，， ， ，团结真实天下和合成数据是一种战胜具身智能数据可用性挑战的战略要领。。 。。。。。 。
最后，， ，， ， ，网络和天生的数据必需举行时间和空间上的对齐。。 。。。。。 。这确保了来自差别传感器的数据既准确又同步，， ，， ， ，提供了对机械人情形和行动的统一和详细明确。。 。。。。。 。只有经由这些历程，， ，， ， ，数据才华有用地用于训练具身智能系统。。 。。。。。 。
为了应对具身智能数据瓶颈，， ，， ， ，我们提出了 优德官网PEED，， ，， ， ，一种用于具身智能的实时数据网络和天生中心件。。 。。。。。 。总体而言，， ，， ， ，优德官网PEED 是首个实时具身智能数据网络和天生中心件，， ，， ， ，提供了一个战胜具身智能数据获取障碍的通用平台。。 。。。。。 。具身智能数据网络节点：我们开发了轻量级中心件端点，， ，， ， ，用于捕获、过滤和传输具身智能数据。。 。。。。。 。
这些端点能够从人与物理情形的互动中网络数据，， ，， ， ，用于模拟学习，， ，， ， ，如 Mobile ALOHA 研究项目中展示的那样，， ，， ， ，以及从操作中的机械人多模态传感器中网络数据。。 。。。。。 。仿真效劳：鉴于获取大宗高质量和多样化的具身智能数据本钱高昂，， ，， ， ，优德官网PEED 提供了作为效劳的仿真，， ，， ， ，使用真实天下的数据作为种子天生合成数据，， ，， ， ，大大提高了数据天生的生产力。。 。。。。。 。数据对齐效劳：确保网络和天生的数据经由时间和空间的对齐是至关主要的。。 。。。。。 。优德官网PEED 提供了一个数据对齐效劳模浚 ？？ ？？？，， ，， ， ，以确保来自差别传感器的数据既准确又同步，， ，， ， ，提供了对机械人情形和行动的统一和详细明确。。 。。。。。 。
优德官网PEED 系统设计
视觉和语言基础模子的最新希望，， ，， ， ，如大语言模子（LLMs）和比照语言-图像预训练（CLIP），， ，， ， ，为实现机械人智能提供了新要领。。 。。。。。 。使用基础模子实现具身智能有两种主要种别。。 。。。。。 。第一种要领旨在通过使用预训练的视觉语言模子（VLMs）天生自由形式的文本形貌来实现端到端控制。。 。。。。。 。第二种种别使用模浚 ？？ ？？？榛头植阋齑χ贸头＞呱碇悄苁姑，， ，， ， ，使用预训练的大语言模子（LLMs）将重大的视觉和语言指令剖析为一系列界说明确的机械人使命。。 。。。。。 。关于任何一种要领，， ，， ， ，数据都是具身智能的瓶颈，， ，， ， ，由于物理具身智能数据难以网络且本钱高昂。。 。。。。。 。我们首先先容具身智能系统的详细信息，， ，， ， ，以便读者相识 优德官网PEED 的需求。。 。。。。。 。
优德官网PEED 数据管道旨在以数据流的方法毗连所有节点，， ，， ， ，以最大化吞吐量和最小化延迟，， ，， ， ，并为具身智能数据处置惩罚提供须要的效劳。。 。。。。。 。这里形貌的每个组件都是 优德官网PEED 系统中的一个节点，， ，， ， ，所有节点配合形成一个数据流图，， ，， ， ，以增进流线型数据处置惩罚，， ，， ， ，从而最大限度地镌汰延迟和最大化吞吐量。。 。。。。。 。
为了实现前一节中讨论的系统架构，， ，， ， ，需要一其中心件架构来毗连差别的组件并托管种种效劳。。 。。。。。 。由于其高性能和在种种机械人事情负载中的盛行，， ，， ， ，DORA 和 ROS2 这两其中心件框架成为了 优德官网PEED 的主干候选。。 。。。。。 。
DORA 旨在支持数据流盘算，， ，， ， ，适合优德官网用例，， ，， ， ，即以数据流方法处置惩罚数据。。 。。。。。 。特殊是，， ，， ， ，DORA 中的效劳被建模为有向图，， ，， ， ，其中数据通过撒播输并由节点处置惩罚，， ，， ， ，通常类似于一系列毗连的节点，， ，， ， ，称为管道。。 。。。。。 。这种架构允许高效的数据处置惩罚和应用设计的无邪性。。 。。。。。 。
相反，， ，， ， ，ROS2 提供了一个强盛的机械人软件开发框架，， ，， ， ，强调模浚 ？？ ？？？榛涂芍赜眯。。 。。。。。 。它支持普遍的硬件接口，， ，， ， ，并拥有一个普遍的工具和库生态系统。。 。。。。。 。然而，， ，， ， ，它可能不提供与 DORA 相同的低延迟数据流优化。。 。。。。。 。
图 3 中心件性能比照
为了较量 DORA 和 ROS2 的性能，， ，， ， ，我们举行了一个实验丈量了在种种巨细的包（从 8B 到 750MB）上的传输延迟，， ，， ， ，模拟了种种形式的机械人数据。。 。。。。。 。图 3 总结了该实验的效果。。 。。。。。 。X 轴显示了差别的包巨细，， ，， ， ，而 Y 轴显示了传输延迟，， ，， ， ，以纳秒为单位，， ，， ， ，呈对数刻度。。 。。。。。 。关于小于 50KB 的包，， ，， ， ，ROS2 和 DORA 的性能相似，， ，， ， ，但关于大于 500KB 的包，， ，， ， ，DORA 显著优于 ROS2。。 。。。。。 。
一个特殊有趣的案例是 5MB 包，， ，， ， ，这是用于发送图像数据的最常用巨细，， ，， ， ，ROS2 上的延迟始终比 DORA 上的延迟约莫 100 倍，， ，， ， ，我们重复了 10 次实验以验证效果。。 。。。。。 。由于 优德官网PEED 需要高效的漫衍式数据流处置惩罚，， ，， ， ，DORA 提供了更适合的解决计划，， ，， ， ，因此我们选择 DORA 作为 优德官网PEED 的中心件主干。。 。。。。。 。
具身智能数据网络端点
具身智能数据网络端点有一个总体设计目的：怎样在数据涌入率比网络带宽高一个甚至两个数目级的情形下高效地网络具身智能数据。。 。。。。。 。为实现这一目的，， ，， ， ，我们开发了动态数据网络、数据选择和数据压缩机制。。 。。。。。 。
具身智能数据网络必需解决三个要害方面：数据延迟、数据传输带宽和数据质量。。 。。。。。 。数据延迟可能导致差别模态数据之间的时间对齐误差，， ，， ， ，从而影响整体数据质量。。 。。。。。 。缺乏的数据传输带宽可能加剧延迟问题，， ，， ， ，甚至导致数据网络失败。。 。。。。。 。我们丈量了我们在亚洲和美国的办公室中的网络上传带宽，， ，， ， ，测得的网络带宽规模从 8MB/s 到 80MB/s，， ，， ， ，因此在大大都情形下，， ，， ， ，具身智能数据涌入量远远凌驾可用的网络带宽，， ，， ， ，若是治理不当，， ，， ， ，将导致数据网络失败。。 。。。。。 。
因此，， ，， ， ，具身智能数据网络端点设计中的要害问题是怎样凭证目今的带宽条件动态调解数据网络战略。。 。。。。。 。为实现这一目的，， ，， ， ，我们在具身智能数据网络端点内设计了数据网络器、带宽适配器、要害帧选择器和数据压缩器，， ，， ， ，以在面临这些权衡时实现最佳点。。 。。。。。 。
- 数据网络器
数据网络器的设计目的是尽可能完整地网络原始数据，， ，， ， ，并凭证数据采样率举行数据分类。。 。。。。。 。数据网络器将数据分类为低采样率（LSR）数据（0.01-10Hz）、中等采样率（MSR）数据（10-100Hz）和高采样率（HSR）数据（100+Hz），， ，， ， ，凭证数据的原始频率举行后续数据处置惩罚战略。。 。。。。。 。
- 带宽适配器
带宽适配器的使命是一连监控目今的数据传输带宽，， ，， ， ，并动态调解要害帧选择器和数据压缩器的战略，， ，， ， ，以在目今条件下实现最佳的数据网络质量。。 。。。。。 。
- 要害帧选择器
要害帧选择器的使命是凭证学习目的选摘要害帧，， ，， ， ，并按比例删除冗余数据帧。。 。。。。。 。冗余数据帧的删除不可阻止地会导致数据质量下降和时间对齐误差增添，， ，， ， ，因此其删除比率需要凭证带宽适配器举行控制。。 。。。。。 。
- 数据压缩器
数据压缩器的使命是凭证数据传输带宽压缩数据。。 。。。。。 。数据压缩可以是无损的或有损的，， ，， ， ，有损压缩不可阻止地会导致数据质量下降，， ，， ， ，因此其压缩战略需要凭证带宽适配器举行控制。。 。。。。。 。
仿真效劳
具身智能系统的训练，， ，， ， ，无论是控制战略照旧基础模子，， ，， ， ，依赖于大宗真实天下和合成数据的网络和天生。。 。。。。。 。优德官网PEED 提供作为效劳的仿真，， ，， ， ，以增进数据天生历程。。 。。。。。 。在本节中，， ，， ， ，我们使用机械人臂控制战略的训练来演示 优德官网PEED 的仿真作为效劳，， ，， ， ，经由现实天下模拟数据网络、现实到仿真（Real2Sim）和仿真到现实（Sim2Real）办法。。 。。。。。 。
图 4 仿真效劳
- 模拟数据网络
机械人臂控制战略训练通常从模拟学习的初始战略最先。。 。。。。。 。这种要领涉及专家演示和从演示中学习。。 。。。。。 。优德官网PEED 端点首先纪录人类专家的真实天下演示的期望行为。。 。。。。。 。然后，， ，， ， ，模拟学习算法会消耗网络到的数据，， ，， ， ，并一直刷新初始战略。。 。。。。。 。更主要的是，， ，， ， ，网络到的模拟数据被用作仿真的种子，， ，， ， ，用于大规模数据天生。。 。。。。。 。
- Real2Sim
Real2Sim 是指将真实天下的模拟数据（种子）放入仿真情形中举行增强。。 。。。。。 。模拟数据提供了一个优异的起点，， ，， ， ，但在处置惩罚看不见的情形或从纪录状态的意外偏离中恢复时，， ，， ， ，纯粹从真实数据中学到的战略会遇到难题。。 。。。。。 。
- Sim2Real
通过 Real2Sim 举行数据增强是远远不敷的，， ，， ， ，主要缘故原由有两个：1）不完整的物理建模：只管模拟器很重大，， ，， ， ，但它们无法完善捕获真实天下物理的每一个细微差别；；；；；；2）参数禁绝确：仿真中使用的参数不可完全匹配真实天下的使用情形。。 。。。。。 。这个问题可以通过 Sim2Real 来解决，， ，， ， ，即在仿真情形中训练战略，， ，， ， ，并将其转移到真实天下的安排中。。 。。。。。 。
数据对齐效劳
数据对齐是将数据对齐到一个公共参考框架的历程。。 。。。。。 。数据对齐将差别的数据集转换为一个坐标系统。。 。。。。。 。通过对齐来自差别视角或传感器的图像，， ，， ， ，机械人可以建设对其情形的一致明确，， ，， ， ，从而增强其做出决媾和与天下互动的能力。。 。。。。。 。
基于特征的要领用于图像对齐，， ，， ， ，着重于检测和匹配图像中的差别点、线或区域。。 。。。。。 。这些特征用于盘算所需的转换举行对齐。。 。。。。。 。此要领的常见算法包括 SIFT、SURF、ORB。。 。。。。。 。
基于深度学习的要领使用神经网络学习图像对齐的体现和转换。。 。。。。。 。这些要领通常涉及在大型数据集上举行训练，， ，， ， ，以有用地泛化到新图像。。 。。。。。 。此种别中的要害架构包括空间变换网络（STNs）和 VoxelMorph。。 。。。。。 。只管基于深度学习的要领提供了更高的准确性和鲁棒性，， ，， ， ，但它们需要大宗的盘算资源和更大的训练数据集。。 。。。。。 。因此，， ，， ， ，默认情形下 优德官网PEED 使用基于深度学习的要领举行对齐，， ，， ， ，我们已经实现了每张图像 30 毫秒的对齐延迟。。 。。。。。 。
优德官网PEED 将数据注册要领实现为系统中的 DORA 节点，， ，， ， ，并且节点是可设置的，， ，， ， ，用户可以选择基于特征的要领或基于深度学习的要领。。 。。。。。 。此效劳是数据流图中的最后一个节点，， ，， ， ，当有足够的数据时，， ，， ， ，该效劳会触发数据对齐，， ，， ， ，然后对齐的数据将存储在数据库中，， ，， ， ，以知足未来的模子训练需求。。 。。。。。 。
结论
具身智能是自主经济的智能支柱，， ，， ， ，但现在面临着显著的数据瓶颈，， ，， ， ，由于开发具身智能系统需要大宗高质量的数据集。。 。。。。。 。从机械人及其情形中捕获多样化的真实天下数据既具有挑战性又本钱高昂。。 。。。。。 。优德官网PEED 旨在解决这个确切的问题，， ，， ， ，并提供了几个要害孝顺：
这是首个设计用于战胜数据网络障碍并增强数据共享的实时中心件；；；；；；
引入了通用的具身智能数据名堂和轻量级端点，， ，， ， ，用于捕获、过滤和撒播输具身智能数据；；；；；；
支持作为效劳的仿真，， ，， ， ，使用真实天下的数据天生合成数据，， ，， ， ，大大降低了本钱并提高了生产力；；；；；；
提供了数据对齐效劳，， ，， ， ，以确保来自种种传感器的数据准确且同步，， ，， ， ，提供了对机械人情形和行动的统一明确。。 。。。。。 。
现在，， ，， ， ，优德官网PEED 已成为我们具身智能开发情形的主要组成部分，， ，， ， ，从如 Mobile ALOHA 等模拟学习装备以及种种自主机械（如类人机械人）中网络数据。。 。。。。。 。接下来，， ，， ， ，我们妄想扩展 优德官网PEED 以支持人体行动捕获装备，， ，， ， ，训练类人机械人执行重大的人类行动。。 。。。。。 。
作者 | 夏轩、俞波、刘少山
责编 | 唐小引
出品丨AI 科技大本营
本文经授权转载自微信公众号「AI科技大本营」（ID：rgznai100）
