克日，，，，，，我院黄建伟教授与香港中文大学邢国良教授配合相助指导的研究“Cosmo: Contrastive Fusion Learning with Small Data for Multimodal Human Activity Recognition”被第28届国际移动盘算与网络聚会（The 28th Annual International Conference on Mobile Computing and Networking, MobiCom 2022）吸收。。。。。。。

聚会先容

国际移动盘算与网络聚会（MobiCom）是无线网络和移动盘算辖档挽域的天下顶级学术聚会，，，，，，是CCF A类聚会。。。。。。。MobiCom22将于2022年10月17日至21日举行，，，，，，聚会由ACM SIGMOBILE赞助。。。。。。；；；；；＞刍崦磕杲邮芰铰滞陡。。。。。。。本轮中共有223篇投稿，，，，，，其中仅41篇文章被吸收，，，，，，录取率仅为18.3%。。。。。。。

研究配景

人类运动识别（HAR）在智能家居、智能康健、虚拟/增强现实（VR/AR）等领域有着普遍的应用。。。。。。。在现实应用中，，，，，，人类运动通常是高度重大且动态的，，，，，，其中大部分难以通过仅使用简单传感器模态来捕获。。。。。。。因此，，，，，，越来越多的多模态传感器系统被用于运动识别应用中，，，，，，以使用多种新兴且；；；；；；ひ私的传感器模态（例如深度相机和雷达），，，，，，提供更准确的运动识别。。。。。。。

然而，，，，，，在人类运动识别中融合多种传感器模态数据保存诸多挑战。。。。。。。首先，，，，，，在运动识别应用中，，，，，，差别类型的传感器数据通常是高度异构的。。。。。。。例如，，，，，，惯性丈量（IMU）和深度图像具有显著差别的维度和形态，，，，，，使得融合具有挑战性。。。。。。。其次，，，，，，现实应用中通常保存很是有限的标记好的多模态数据，，，，，，使用少量标记的多模态数据举行有用融合十分难题。。。。。。。最后，，，，，，运动识别应用中的传感器数据通常具有隐私敏感性，，，，，，无法传输到云端；；；；；；且运动识别模子通常需要针对差别用户举行定制，，，，，，这需要使用一连的多模态数据举行设惫亓训练（on-device training）。。。。。。。

Cosmo在多模态运动识别中的应用场景

研究要领

通过基于真实天下的多模态HAR数据集的剖析，，，，，，我们发明：

1）差别传感器模态的一致性信息（consistent information）有助于对齐数据特征，，，，，，从而使融合效果对噪音越发鲁棒。。。。。。。

2）模态间的互补性信息（complementary information）能够使用差别传感器的优势，，，，，，因而提高融合的准确率。。。。。。。

3）当仅保存有限的标记好的多模态数据时，，，，，，应在融合历程中同时学习和使用一致性和互补性信息，，，，，，以在真实的HAR使命中实现更稳健的融合性能。。。。。。。

在此配景下，，，，，，我们设计了Cosmo，，，，，，一个基于端云协同和少量标记数据的比照融合学习系统，，，，，，用以提高多模态人类运动识别的准确性。。。。。。。一方面，，，，，，Cosmo使用了云端大宗未标记的多模态运动数据举行比照融合学习（contrastive fusion learning），，，，，，来学习多模态数据的一致性和相关性。。。。。。。详细来说，，，，，，此部分设计了一个基于数据融合的特征增广？？？？？？？？椋╢usion-based feature augmentation），，，，，，并通过设计基于比照学习的模子训练目的，，，，，，使得来自于统一组多模态数据的正样本在特征空间的距离相近，，，，，，而来自其他多模态数据的负样本距离更远。。。。。。。所提出的比照融合学习提取的特征（unimodal representations）不但能包括更多模态间的一致性信息，，，，，，且对差别的融合方法具有更强的顺应性（invariant to different fusion schemes）。。。。。。。另一方面，，，，，，Cosmo对边沿端用户少量标记的多模态运动数据举行监视学习，，，，，，来学习多模态数据间的互补性。。。。。。。详细来说，，，，，，此部分提出了基于数据质量和注重力机制的分类器，，，，，，仅使用很是少量标记的数据实现有用的互补性融合。。。。。。。同时，，，，，，此部分将复用预训练的多模态特征提取模子，，，，，，并使用交替训练（iteration fusion learning）的方法与分类器举行团结，，，，，，更好地团结模态间的一致性和互补性信息。。。。。。。

Cosmo系统设计框架

研究效果

优德官网实验使用了两个果真数据集和一个新收罗的多模态运动数据集，，，，，，这些数据集总共包括来自五种差别传感器模态（即加速器、 陀螺仪、骨架、深度图像和毫米波雷达）和55种差别的日凡人类运动。。。。。。。效果批注，，，，，，Cosmo划分比单模态学习、监视融合学习和现有的比照学习要领划分提高了51.61%、26.73%和20.90%的运动识别准确率。。。。。。。同时，，，，，，我们搭建了一个基于Nvidia Jetson TX的现实的端云系统，，，，，，实验批注Cosmo相比于古板的监视融合学习要领收敛速率大大提升，，，，，，在用户端具有较高的训练效率。。。。。。。

收罗的多模态运动识别数据集

研究结论

本文提出了一种有用的基于端云协同和少量标记数据的比照融合学习系统，，，，，，用以提高异构多模态运动识别的准确性。。。。。。。通过在融合历程中同时学习和使用差别模态的一致性和互补性信息，，，，，，该要领能够使用用户端很是少量标记的数据实现高效的多模态数据融合。。。。。。。在真实的多模态运动数据集和自主搭建的端云系统的实验效果批注，，，，，，优德官网要领能在真实的运动识别使命中实现更稳健的融合性能和更高的训练效率。。。。。。。

作者简介

论文第一作者欧阳小敏，，，，，，香港中文大学信息工程系在读博士生，，，，，，2019年本科结业于厦门大学。。。。。。。现在研究偏向为基于机械学习的智慧康健系统，，，，，，移动感知与盘算，，，，，，物联网，，，，，，相关论文揭晓于MobiCom, MobiSys, SenSys, TOSN等移动盘算领域聚会与期刊。。。。。。。

论文配合通讯作者邢国良，，，，，，现任香港中文大学信息工程系教授，，，，，，IEEE Fellow，，，，，，2006年获美国圣路易斯华盛顿大学博士学位，，，，，，并曾在美国密歇根州立大学任助理教授、终身副教授。。。。。。。邢教授在嵌入式人工智能、物联网、信息清静和无线网络领域揭晓了150多篇论文，，，，，，总的引用数凌驾10,000次，，，，，，现向导多个大型边沿人工智能项目，，，，，，将应用于都会智能网络设施，，，，，，自动驾驶，，，，，，智能康健等多个领域。。。。。。。已往10年时代其向导开发并安排过地动火山传感器网络、智能康健、数据中心效能治理、水下机械人网络等大型系统，，，，，，并于2010年获得青年科学家事业奖（CAREER）, 2014年获美国密歇根州立大学Withrow优异教授奖。。。。。。。邢教授的事情在多个国际一流聚会上获得3篇最佳论文奖和5篇最佳论文候选。。。。。。。邢教授的研究效果在2013-2015年一连三年获顶级聚会MobiCom移动应用奖，，，，，，开发的数项智能系统手艺已被工业界工业化。。。。。。。

论文配合通讯作者黄建伟教授，，，，，，现任香港中文大学（深圳）协理副校长（候任），，，，，，校长讲座教授，，，，，，兼任优德官网副院长和群体智能研究中心主任。。。。。。。他是深圳市鹏城特聘教授，，，，，，IEEE Fellow，，，，，，IEEE通讯学会优异讲者，，，，，，汤森路透盘算机科学领域全球高被引科学家。。。。。。。

黄教授恒久专注于网络通讯、网络经济学和群体智能交织领域的开创性研究，，，，，，其特色是通过融入经济学理论给出网络中资源分派和优化的解决计划。。。。。。。他已揭晓7部学术专著和300余篇国际一流期刊和聚会论文，，，，，，被谷歌学术引用凌驾14890 次，，，，，，H-index为 61，，，，，，9篇论文入选ESI高引论文，，，，，，1篇文章入选ESI热门论文。。。。。。。他的论文10次获得国际聚会和期刊的最佳论文奖，，，，，，一连于2016、2017年入围科睿唯安（原汤森路透）全球高被引科学家榜（即揭晓的ESI高引论文数在盘算机领域排名全球前1%），，，，，，2021年入选斯坦福大学评选的“天下前2%顶尖科学家”，，，，，，2022年入选爱思唯尔“中国高被引学者”。。。。。。。

黄建伟教授恒久活跃于IEEE通讯学会，，，，，，现任IEEE Transactions on Network Science and Engineering（JCR Q1）的主编（Editor-in-Chief）。。。。。。。曾先后担当IEEE Open Journal of the Communications Society的副主编（Associate Editor-in-Chief），，，，，，IEEE Communications Society Technology News 副主编（Associate Editor-in-Chief）。。。。。。。

参考文献：[1] Xiaomin Ouyang, Xian Shuai, Jiayu Zhou, Ivy Wang Shi, Zhiyuan Xie, Guoliang Xing*, Jianwei Huang*, “Cosmo: Contrastive Fusion Learning with Small Data for Multimodal Human Activity Recognition”, The 28th Annual International Conference on Mobile Computing and Networking (MobiCom), 2022.