异构多机械人协作能够突破单个机械人性能的限制，，，，，， ，实现团队相助与优势互补，，，，，， ，在办公/家庭效劳、安防巡检、星际探索以及军事攻防等自动化、无人化使命中具有主要意义。。。。。。。。然而，，，，，， ，古板的多智能体协作要领通常依赖于细腻建模，，，，，， ，难以应对重大动态情形，，，，，， ，且无法明确和处置惩罚自然语言使命形貌。。。。。。。。
为解决上述问题，，，，，， ，优德官网智能控制中心冀晓强教授团队提出了国际首个用于大语言模子（LLM）微调的异构多机械人协作控制数据集MultiPlan，，，，，， ，以及过失诊断指标MRED。。。。。。。。MultiPlan基于自然语言使命形貌框架界说了使命内容、情形形貌和行动妄想，，，，，， ，团结机械人底层SDK，，，，，， ，提供了精练且可安排的智能协作计划。。。。。。。。与古板要领相比，，，，，， ，微调后的7B参数规模模子在重大使命的妄想及控制能力上实现了对GPT-4o等闭源大模子的显著逾越。。。。。。。。MultiPlan数据集涵盖100个常见室内外生涯场景，，，，，， ，通过模板天生与人工复核的数据流水线，，，，，， ，确保了数据的泛化性和多样性。。。。。。。。在现实天下中的实验验证进一步体现了本研究的现实应用价值：划分在办公室效劳和都会街道清洁两个场景中举行安排，，，，，， ，证实晰要领的有用性和鲁棒性。。。。。。。。
期刊先容
Journal of Field Robotics（JFR）是机械人学领域的顶级期刊之一，，，，，， ，致力于发外貌向真实天下应用的前沿研究，，，，，， ，强调理论研究与现实工程应用的细密团结，，，，，， ，特殊关注机械人在重大场景和真实使命中的现实安排与体现。。。。。。。。JFR在国际机械人学领域享有极高声誉，，，，，， ，对论文的立异性、工程实践价值和手艺细节的完整性要求严酷。。。。。。。。
本论文被该期刊专题特刊 “Embodied Artificial Intelligence for Field Robots”吸收，，，，，， ，该特刊聚焦于将人工智能与物理实体深度融合的前沿研究，，，，，， ，旨在探讨具身智能在重大真真相形中提升机械人自主性和顺应性的最新希望。。。。。。。。
研究先容
Embodied Artificial Intelligence（EAI）作为一种新兴范式，，，，，， ，将人工智能与物理实体深度团结，，，，，， ，以实现机械人在重大情形中的动态感知、交互和学习能力。。。。。。。。相比于古板的单机械人系统，，，，，， ，异构多机械人系统（HMRS）在工业自动化和灾难救援等使命中展现了更高效的使命执行能力。。。。。。。。然而，，，，，， ，现有的多机械人使命妄想要领，，，，，， ，包括共识算法、行为驱动要领和强化学习战略，，，，，， ，普遍保存顺应性缺乏、难以应对动态情形和重大协作问题的局限性。。。。。。。；；；；；诖，，，，，， ，本研究提出了一种将大语言模子（LLM）与EAI相团结的多机械人协作妄想控制要领，，，，，， ，通过自然语言接口实现直观无邪的使命形貌，，，，，， ，并使用LLM的普遍知识和上下文明确能力解决古板要领的缺乏。。。。。。。。
图1. 异构多机械人系统通过优势互补拓展了单机械人系统的能力
在要领上，，，，，， ，本文设计了一种可扩展的自然语言形貌框架，，，，，， ，将异构多机械人使命转化为可量化的语言指令，，，，，， ，从而有用提升使命的物理语义对齐能力。。。。。。。；；；；；诟每蚣，，，，，， ，本文构建了首个面向LLM的多机械人使命妄想数据集——MultiPlan，，，，，， ，为LLM在多机械人系统中的使命妄想和协作提供了周全且多样化的场景支持。。。。。。。。别的，，，，，， ，为评估LLM的妄想性能，，，，，， ，本文提出了多机械人协作过失诊断评估（MRED）指标，，，，，， ，能够细粒度地识别和量化使命执行中的过失。。。。。。。。最后，，，，，， ，通过对LLM的监视微调，，，，，， ，本文验证了其在重大使命场景下的泛化能力，，，，，， ，并举行了室内外实地测试，，，，，， ，包括办公室效劳和都会街道清洁使命，，，，，， ，验证了模子的现实应用能力和鲁棒性。。。。。。。。
图2. 本文举行的安排测试示意图：办公室效劳使命和都会街道清洁使命
之后，，，，，， ，通过对LLM的监视微调，，，，，， ，本文验证了其在重大使命场景下的泛化能力，，，，，， ，并举行了室内外实地测试，，，，，， ，包括办公室效劳和都会街道清洁使命，，，，，， ，验证了模子的现实应用能力和鲁棒性。。。。。。。。
研究孝顺
本文的主要孝顺是：
- 提出了一种面向异构多机械人使命的可扩展自然语言形貌框架，，，，，， ，有用解决了笼统语言指令与物理执行之间的鸿沟。。。。。。。。
- 构建了涵盖100个常见场景的大规模高质量大模子微调数据集--MultiPlan数据集。。。。。。。。提出的MRED评估指标能够系统性的对使命妄想的过失举行诊断。。。。。。。。MultiPlan数据集和MRED评估指标不但填补了LLM在多机械人使命妄想领域的研究空缺，，，，，， ，还为进一步研究提供了高质量的基准。。。。。。。。
作者简介
本文通讯作者为优德官网智能控制中心主任、香港中文大学（深圳）研究助理教授冀晓强。。。。。。。。冀晓强教授，，，，，， ，香港中文大学（深圳）理工学院研究助理教授，，，，，， ，兼任优德官网智能控制中心主任，，，，，， ，并担当中国仿真学会智能物联专委会委员等。。。。。。。。冀晓强教授在美国哥伦比亚大学获得博士学位，，，，，， ，主要研究偏向为智能控制系统，，，，，， ，主持多项科研及人才项目，，，，，， ，至今在Automatica、Journal of Field Robotics(JFR)、IEEE/ASME T-Mech、T-ASE、Information Fusion、RA-L、CDC、ICRA等顶尖国际期刊及聚会揭晓论文四十余篇。。。。。。。。在非最小相位系统方面，，，，，， ，是该领域全球规模内学习控制设计的推动者之一。。。。。。。。担当包括IEEE T-AC在内的多个顶级期刊及聚会的审稿人、MECC副编辑、RCAR等国际聚会领域主席，，，，，， ，并于近期获得CINT优异论文奖、ISUI最佳论文奖等。。。。。。。。
本文第一作者为香港中文大学（深圳）盘算机与信息工程专业硕士研究生万瀚文。。。。。。。。万瀚文于2023年加入港中大（深圳）理工学院攻读硕士学位，，，，，， ，主要研究偏向为具身智能控制、大模子和强化学习控制等。。。。。。。。现在在Journal of Field Robotics（JFR），，，，，， ，EMNLP，，，，，， ，ASC国际顶级期刊/聚会揭晓论文，，，，，， ，曾担当IROS、ICRA等机械人国际顶级聚会审稿人。。。。。。。。
* 相关信息由论文作者提供
