新闻动态

  

克日,,,,,我院冀晓强教授团队立异性地提出了一个基于图神经网络的物体中心化(object-centric)学习框架GraphSlot。。。。。 。该框架通过物理知识驱动,,,,,能够依据物体的空间相近关系和外力(如重力)影响动态构建交互图,,,,,并在相连的节点间撒播嵌入信息,,,,,从而显式地建模物体间的相互作用。。。。。 。我院具身智能中心万瀚文为论文第一作者,,,,,成绩为配合第一作者,,,,,冀晓强教授为论文自力通讯作者。。。。。 。

通过在大规模拟真数据集上的综合实验验证,,,,,GraphSlot实现了业界领先的性能,,,,,其fg-ARI相较基线模子取得了8.5%的显著提升。。。。。 。为进一步评估模子的物理直觉,,,,,本研究还设计了一个真实的“接球游戏”测试情形。。。。。 。实验效果批注,,,,,本要领展现出了精彩的物理知识推理能力,,,,,为融合物理明确的物体中心化要领带来了新的突破,,,,,并展示了其在重大现实天下中应用的重大潜力。。。。。 。

 

期刊先容

ACM Transactions on Cyber-Physical Systems(TCPS) 是ACM旗下专注于信息-物理系统这一新兴且要害领域的旗舰级期刊。。。。。 。该期刊承继了极高的审稿标准,,,,,任命率较低,,,,,只揭晓在该领域具有重大原创性孝顺、深远影响和卓越质量的科研效果。。。。。 。本论文被该期刊专题特刊“Embodied Artificial Intelligence in Cyber-Physical Systems: Algorithms, Computing Systems, Applications, and Trustworthiness”吸收,,,,,该特刊搜集了具身智能领域的智能算法、盘算系统、前沿应用和系统可信托性四大方面的最新突破性研究,,,,,旨在推动将人工智能深度融入物理实体的手艺生长,,,,,最终实现机械与人类、情形共融共生的未来。。。。。 。

 

研究配景

明确物理学关于智能机械人和具身智能体感知天下、移动与操控物体、与情形清静交互以及优化运动与流程至关主要。。。。。 。本文提出一种基于槽式神经网络的物体中心学习框架GraphSlot,,,,,该框架使用图神经网络建模物体间的交互作用。。。。。 。GraphSlot能凭证物体的空间相近性和重力等外部影响动态构建关系图,,,,,并通过相连节点间撒播邻域嵌入信息。。。。。 。通过在仿真数据集上的综合实验,,,,,GraphSlot相较基线模子SAVi-L实现了8.5%的远景调解兰德指数(fg-ARI)显著提升,,,,,抵达最先进性能。。。。。 。本文还通过真实天下的接球游戏情形来测试所提出模子的物理直觉。。。。。 。GraphSlot展现出将物理明确融入机械人感知算法的有用方法。。。。。 。

 

研究要领

如图1所示,,,,,槽式神经网络维护了一组向量槽位,,,,,槽位通过迭代注重力机制学习逐步将感受域收敛到物体目的。。。。。 。展望器通过Transformer编码器展望槽位在相邻帧间的转变关系,,,,,将槽位映射至未来状态。。。。。 。与古板的模式识别要领相比,,,,,以物体为中心的神经网络要领致力于突破被动的模式匹配,,,,,构建具有跨运动状态和时间线一致性的物体表征嵌入。。。。。 。

图1. 槽式神经网络基来源理

本研究提出的GraphSlot模子主要结构及校正器(Corrector)的详细架构如图2所示。。。。。 。高斯配景和弱监视信息经由拼接后输入至初始化????????椤!。。。 。编码器接纳下采样残差神经网络从原始帧中提取特征。。。。。 。槽位在槽注重力????????橹芯裳盗,,,,,并通过槽位门控循环单位(slot-wise GRU)获得时间依赖性。。。。。 。图体现????????槭褂米⒅亓φ菇ㄍ急碚饔氩畚弧!。。。 。解码器接纳槽位空间广播卷积,,,,,其输入为初始槽位与经图神经网络精炼槽位的加权求和,,,,,最终输出展望流。。。。。 。输出槽位同时被传送至展望器,,,,,用于建模下一输入帧的动态转变。。。。。 。

图2. GraphSlot流程图

图3. 本研究的实验效果。。。。。 。(a)MOVi-C仿真数据实验效果;;;;;;;(b)接球游戏实验装备图;;;;;;;(c)接球游戏实验效果图。。。。。 。

为评估所提出要领的性能,,,,,我们在物体表征使命上开展了实验,,,,,将GraphSlot与其他物体中心学习要领及基线要领SAVi举行比照。。。。。 。为验证GraphSlot的有用性,,,,,我们举行了消融实验以评估其在差别重漂后数据集上的泛化能力,,,,,并通太过析差别图构建战略来磨练基于距离的局部毗连的有用性。。。。。 。别的,,,,,我们还探索了超参数设置以确定最优设置。。。。。 。最后,,,,,我们通过接球实验评估了所提出的物理感知要领在三维真真相形中对物理场景的明确能力。。。。。 。

视频文件

 

研究孝顺

本文的主要孝顺是

  1. 提出了GraphSlot——一种新型物体中心学习要领。。。。。 。通过在仿真数据集上的普遍评估,,,,,该要领在物体中心推理与物理感知能力方面抵达了先进性能。。。。。 。
  2. GraphSlot立异性地引入图体现建模物体的相互关系。。。。。 。其物理感知注重力机制能够同时捕获物体间的内在交互作用与重力等外部物理影响。。。。。 。
  3. 为评估模子的物理明确能力,,,,,本研究构建了三维接球游戏情形举行测试。。。。。 。该要领在多种情形中均展现出较高的乐成率,,,,,体现了其精彩的物理交互推理能力。。。。。 。

 

作者简介

本文自力通讯作者冀晓强教授现任香港中文大学(深圳)理工学院助理教授、博士生导师,,,,,广东省具身智能机械人工程手艺研究中心副主任,,,,,中国仿真学会智能物联专委会委员,,,,,东盟 - 中国人工智能实验室首席科学家。。。。。 。冀晓强教授在美国哥伦比亚大学获得博士学位,,,,,他的研究主要集中在智能控制系统,,,,,主持多项科研及人才项目,,,,,包括国家自然科学基金数据科学与人工智能前沿探索课题。。。。。 。至今在IEEE Transactions on Automatic Control (TAC)、Automatica、Journal of Field Robotics (JFR)、IEEE/ASME T-Mech、T-ASE、RA-L、CDC、ICRA、IROS等顶尖国际期刊及聚会揭晓论文五十余篇。。。。。 。特殊是在非最小相位系统方面,,,,,是该领域全球规模内学习控制设计的推动者之一。。。。。 。他担当包括IEEE-TAC在内的多个顶级期刊及聚会的审稿人、MECC副编辑、Robot Learning青年编委、RCAR等国际聚会领域主席,,,,,并于近期获得CINT优异论文奖、ISUI最佳论文奖等。。。。。 。

本文第一作者万瀚文,,,,,优德官网科研助理,,,,,香港中文大学(深圳)2025级盘算机与信息工程专业博士生,,,,,硕士结业于香港中文大学(深圳),,,,,主要研究偏向为具身控制。。。。。 。在Journal of Field Robotics,,,,,EMNLP,,,,,IROS,,,,,TCPS等国际顶级期刊/聚会揭晓论文,,,,,曾担当IROS、ICRA等机械人国际顶级聚会审稿人。。。。。 。

本文配合第一作者成绩,,,,,曾任优德官网科研助理,,,,,香港中文大学(深圳)2023级盘算机与信息工程专业硕士。。。。。 。成绩于2023年加入理工学院攻读硕士学位,,,,,2025年入职华为海思,,,,,主要研究偏向为大模子系统,,,,,ros机械人控制的大模子优化。。。。。 。在嵌入式装备开发,,,,,高性能盘算和机械人控制领域有大宗研发履历。。。。。 。

* 相关信息由论文作者提供