克日，，，，，优德官网智能机械人中心高源博士在人机交互领域顶级聚会ACM CHI Conference揭晓题为“PepperPose: Full-Body Pose Estimation with a Companion Robot”的文章，，，，，立异性地提出了一个交互式具身姿态预计系统，，，，，具有用户易用、场景无羁绊、可交互等特点，，，，，在康复训练、儿童陪护和慢病管控等方面有重大的应用潜力。。。。。。

去年智能机械人中心林天麟教授创立“以通讯作者身份五发TRO”的历史，，，，，今年开年微纳机械人中心俞江帆教授在Nature子刊Nature Communications上发文，，，，，优德官网科研事情一连摘取硕果。。。。。。阻止2024年，，，，，优德官网助力香港中文大学（深圳）在CSRankings的综合排名中（全球盘算机科学机构-机械人偏向）恒久位列中国第一、亚洲第四，，，，，一连打造领域国际影响力。。。。。。

聚会先容

CHI（The ACM CHI conference on Human Factors in Computing Systems）是人机交互领域顶级国际聚会之一，，，，，恒久以来被中国盘算机学会（CCF）推荐为A类国际学术聚会。。。。。。每年由ACM主理，，，，，在国际上享有盛誉并具有普遍的学术影响力，，，，，是人机交互顶尖学者每年一度的学术盛宴。。。。。。CHI 2024的任命率是26.3%，，，，，将于5月11-16日在美国夏威夷檀香山举行。。。。。。

研究配景

全身姿势预计（Full-Body Pose Estimation）是人体数字化建模的经典通道之一，，，，，在获取人体姿态的基础之上，，，，，机械可以进一步完成对人的行动识别、运动评估以及虚拟人建模等使命，，，，，在运动康健、康复训练、元宇宙等应用场景具有主要意义。。。。。。这一领域在已往十年涌现了一大批基于视觉、惯性传感、无线感知等手艺的姿态预计要领，，，，，在预计精度和用户便当性上取得了一系列的主要突破。。。。。。

研究问题

现有姿态预计要领难以在用户易用性、场景无羁绊以及可交互属性这三个方面建设优异平衡。。。。。。唬；；；；；；谑泳鹾臀尴吒兄氖虑橐谎匠Ｏ拗屏耸褂盟，，，，，且前者容易受到拍摄角度和距离以及用户姿态转变等现实因素的影响。。。。。。唬；；；；；；诠咝源械姆焦嬖蛞览涤谟没б伦欧痹拥拇衅飨低，，，，，在一样平常使用的便当性上大打折扣。。。。。。别的目今的姿态预计系统无法自力完成与用户的交互历程，，，，，还需要依赖特另外硬件装备。。。。。。因此，，，，，本文研究怎样搭建一个用户接受度高、场景不受限并具备交互属性的姿态预计系统。。。。。。

图1. PepperPose示意图

研究要领和效果

本文以移动社交机械人Pepper为载体，，，，，立异提出了一个交互式具身姿态预计系统PepperPose。。。。。。该系统以人体姿态实时预计为基础，，，，，在线自顺应调解机械人所处位置和视察视角，，，，，实现跨场景、跨行动、用户零衣着条件下的高精度姿态预计。。。。。。

首先，，，，，我们举行了一项预实验，，，，，关于20多种一样平常生涯和健身、康复行动，，，，，剖析获得了其姿势预计的最佳角度与距离先验。。。。。。从中，，，，，我们凝练出人体姿态的三大粗粒度种别，，，，，包括站立、弯腰、躺倒，，，，，将该先验进一步聚拢。。。。。。然后，，，，，我们在Omniverse模拟情形中构建了Pepper机械人的运动学模子，，，，，并使用目的制约的强化学习刷新机械人的行动空间，，，，，使得它可以平滑且清静地跟踪用户。。。。。。

在现实安排中，，，，，PepperPose包括如下几个？？？？？椋

姿势预计模子：使用开源的3D姿势预计模子（PoseFormerV2）获得实时的全身的姿势预计；；；；；；；；

姿势分类模子：使用一个分类器，，，，，使用我们设计的姿态特征，，，，，将行动分为站立、弯腰、躺倒三类。。。。。。

控制决议模子：凭证人的朝向和行动分类，，，，，以及先验知识中检索到的视角信息，，，，，盘算出机械人下一步的动向，，，，，并妄想出最佳的移动路径。。。。。。

图2. PepperPose框架

我们在一个模拟居家的情形中举行了共计30人的用户实验，，，，，使用PepperPose获取了用户在执行差别行动、位置转变和身体朝向改变时的姿势数据，，，，，并与三个牢靠RGB相机和一个Kinect DK深度相机举行比照。。。。。。实验效果批注，，，，，PepperPose显著性提高了姿势预计的准确度。。。。。。别的，，，，，问卷视察效果显示用户对这种自带交互属性手艺的接受度普遍较高，，，，，进一步采访获得的反响关于以系统为代表的具身交互框架的未来优化生长具有较好参考价值。。。。。。

图3. 上：模拟居家实验园地；；；；；；；；下左：PepperPose与牢靠相机的MPJPE较量；；；；；；；；下右：牢靠相机的角度示意图

? 可视化效果

PepperPose的现实性能可以通过下面的几张动态图片进一步相识。。。。。。

样例1：在用户改变朝向后，，，，，PepperPose可以实时修正其位置和视察角度，，，，，以改善姿态预计的效果。。。。。。

样例2：在用户移动的历程中，，，，，PepperPose能够自动跟踪用户，，，，，并且避开室内的障碍物。。。。。。

样例3：面临用户的重大行动，，，，，PepperPose提供的近距离视察角度能够返回较好的姿态预计效果。。。。。。

样例4：目今的局限性。。。。。。唬；；；；；；谑泳醯淖颂づ趟惴ㄈ菀资艿接没б伦诺挠跋，，，，，例如在女性用户衣着裙子的时间，，，，，简单视角下的腿部跟踪会泛起较大的波动。。。。。。

样例5：因此，，，，，在现实使用历程中，，，，，我们可能需要对用户的衣着作出一定的限制：如要求衣着越发贴身的衣物等。。。。。。

研究孝顺

本文提出了一个新的交互式具身姿势预计系统，，，，，可以在开放的真实天下情形中自动跟踪用户并自动调解位置和视角，，，，，举行高精度实时3D姿势预计。。。。。。该要领不限制使用所在、免去用户佩带装备的未便且具备优异的交互属性，，，，，在康复训练、儿童陪护和慢病管控方面有很好的应用远景。。。。。。

图4. PepperPose可驱动富厚下游应用

作者先容

文章通讯作者高源博士，，，，，现为优德官网（优德官网）副研究员，，，，，港中大（深圳）兼职助理教授，，，，，科研项目认真人，，，，，深圳市外洋高条理人才。。。。。。高源博士曾加入瑞典SSF、欧盟Harizon2020，，，，， ANIMATAS等机械人研究项目。。。。。。同时高源博士正在主持认真广东省“基于图表征多智能体强化学习的大规模智能异构多机械人系统研究”项目、深圳市外洋高条理人才团队项目，，，，，与优德官网“异构多机械人强化学习与妄想-从仿真到实现”项目，，，，，认真研究异构系统集群特征。。。。。。高源博士专注于机械人学习和多机械人辖档挽域研究，，，，，特殊是在基于强化学习的机械人智能学习系统，，，，，多机械人协作，，，，，多传感器融合等方面积累深挚，，，，，曾在IEEE T-RO、IEEE T-MECH、ACM CHI、ACM IMWUT、IEEE RA-L、NIPS、ICRA、IROS等顶尖国际期刊及聚会揭晓论文余30余篇。。。。。。

文章第一作者王重阳博士，，，，，现为清华大学盘算机系普适盘算教育部重点实验室博士后研究员、清华大学水木学者，，，，，入选国家博士后外洋交流妄想引进项目。。。。。。博士结业于伦敦大学学院（UCL）。。。。。。他的研究偏向是普适盘算驱动的交互式智慧医疗，，，，，以及基于移动式多模态机械人的交互式具身智能。。。。。。他以第一作者/配合第一作者身份在普适盘算、人机交互、人工智能顶级聚会（CHI-24、Ubicomp-21/24、AAAI-23、IJCAI-22）上揭晓了多篇论文。。。。。。

文章学生一作郑思齐，，，，，现为清华大学致理书院2021级本科生。。。。。。她现在感兴趣的研究偏向为人机交互、普适盘算、机械人团结下的立异事情，，，，，现在以学生一作和配相助者身份在人机交互和普适盘算顶级聚会CHI-24和Ubicomp-24上揭晓了论文。。。。。。

? 文章引用信息

Chongyang Wang, Siqi Zheng, Lingxiao Zhong, Chun Yu, Chen Liang, Yuntao Wang, Yuan Gao, Tin Lun Lam, and Yuanchun Shi. 2024. PepperPose: Full-Body Pose Estimation with a Companion Robot. In Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI’24), May 11–16, 2024, Honolulu, HI, USA. ACM, New York, NY, USA, 16 pages. https: //doi.org/10.1145/3613904.3642231.

* 相关论文信息由论文作者提供