克日，，，，，，，，我院黄建伟教授团队的论文“Federated Learning While Providing Model as a Service: Jointly Training and Inference Optimization”被IEEE盘算机通讯国际聚会IEEE International Conference on Computer Communications（INFOCOM）收录。。。。。 。。
聚会先容
INFOCOM（IEEE International Conference on Computer Communications）是盘算机网络领域三大顶级国际聚会之一，，，，，，，，恒久以来被中国盘算机学会（CCF）推荐为A类国际学术聚会。。。。。 。。每年由IEEE主理，，，，，，，，在国际上享有盛誉并具有普遍的学术影响力，，，，，，，，是盘算机网络顶尖学者每年一度的学术盛宴。。。。。 。。
研究配景
近年来，，，，，，，，人工智能应用一直涌现，，，，，，，，通过将模子安排在离用户更近的网络边沿节点，，，，，，，，能够以漫衍式的方法为用户提供低时延、高质量的智能应用。。。。。 。。提供神经网络模子作为效劳，，，，，，，，实质上是通过模子推理处置惩罚用户的在线请求。。。。。 。。别的，，，，，，，，在使用神经网络模子为用户的推理请求提供效劳的同时，，，，，，，，在线智能应用能够周期性地使用网络到的用户数据对模子举行升级，，，，，，，，提高模子性能。。。。。 。。联邦学习（federated learning）能够实现漫衍式用户之间的相助模子训练，，，，，，，，同时包管用户数据不出外地。。。。。 。。联邦学习模子训练和在客户端的漫衍式模子推理都会消耗盘算和通讯资源。。。。。 。。
研究问题
现有研究忽视了模子升级历程中模子训练和模子推理共存的问题，，，，，，，，然而，，，，，，，，客户端的盘算和通讯资源通常有限。。。。。 。。因此，，，，，，，，本文主要研究在客户端模子约束下，，，，，，，，最大化客户端效劳提供推理性能的联邦学习模子训练和推理的团结优化问题。。。。。 。。
图1 团结联邦学习和效劳提供系统框架
研究要领与效果
本文提出了在线联邦学习与效劳提供团结优化算法（FedLS）。。。。。 。。针对客户端模子推理性能的数学表征较难的挑战，，，，，，，，首先，，，，，，，，我们推导了思量客户端部分加入模子训练和非凸损失函数的联邦学习收敛率上界。。。。。 。。然后，，，，，，，，我们界说了模子年岁来表征客户端模子相关于全局模子的新鲜度。。。。。 。。我们允许客户端在不加入模子训练的时隙也能够从效劳器端下载最新的全局模子，，，，，，，，从而提升效劳提供的性能。。。。。 。。最后，，，，，，，，我们团结思量模子训练的收敛率和模子推理的新鲜度界说客户端提供效劳的推理性能。。。。。 。。
针对客户端效劳提供推理性能函数的非凸特征和客户端在模子训练和推理历程中多个变量之间的耦合性挑战，，，，，，，，我们将最大化用户效劳提供的推理性能问题近似为在线决议问题，，，，，，，，提出在线交替优化算法。。。。。 。。算法在每一个时隙划分优化模子训练历程中每个客户端的加入概率和模子推理历程中客户端从效劳器下载模子的概率和效劳率，，，，，，，，包管知足客户端平均资源约束和客户端效劳提供的稳固性。。。。。 。。理论上，，，，，，，，我们推导了客户端资源约束的知足概率。。。。。 。。在线性盘算和通讯资源本钱下，，，，，，，，盘算出客户端每个决议变量（客户端加入联邦学习模子训练概率、客户端从效劳器端下载模子的概率和对客户端推理请求的效劳率）的闭式解。。。。。 。。
FedLS算法包括多个离散的时隙，，，，，，，，每个时隙的主要流程为：
- 客户端决议：首先，，，，，，，，每个客户端通过FesLS算法决议外地加入联邦学习模子训练概率、从效劳器端下载模子的概率和对推理请求的效劳率。。。。。 。。其次，，，，，，，，凭证外地加入联邦学习模子训练概率和从效劳器端下载模子的概率效果，，，，，，，，选择是否从效劳器端下载全局模子（若是客户端加入模子训练，，，，，，，，则须下载全局模子）。。。。。 。。然后，，，，，，，，客户端同时举行外地训练和效劳提供；；；；；
- 客户端并行外地模子训练和效劳提供：
1. 客户端外地训练：加入模子训练的客户端举行外地模子训练；；；；；
2. 客户端效劳提供：关于客户端推理请求以决议获得的效劳率举行模子推理；；；；；
- 效劳器模子聚合：效劳器对加入训练的客户端的外地模子举行模子聚合，，，，，，，，完本钱时隙模子训练。。。。。 。。
图2 实验批注FedLS能够包管知足用户资源约束的同时，，，，，，，，提升为用户提供效劳的推理准确度
研究孝顺
本文思量了客户端资源约束下联邦学习模子训练和效劳提供的团结优化问题。。。。。 。。我们界说了客户端效劳提供的模子新鲜度和推理性能，，，，，，，，并通过在线优化算法实现知足客户端恒久平均资源约束和效劳稳固性，，，，，，，，最大化客户端推理性能。。。。。 。。在多个数据集上的实验效果批注所提出的FedLS要领能够提高客户端推理性能12%以上，，，，，，，，同时能够降低客户端效劳提供的排队时延。。。。。 。。
作者简介
论文通讯作者黄建伟教授现任香港中文大学（深圳）校长讲座教授和协理副校长（拓展事务），，，，，，，，深圳市人工智能和机械人研究院副院长和群体智能中心主任。。。。。 。；；；；；平淌谑荌EEE Fellow，，，，，，，，IEEE通讯学会优异讲师，，，，，，，，科睿唯安盘算机科学领域全球高被引科学家。。。。。 。；；；；；平淌谙秩蜪EEE Transaction on Network Science and Engineering的主编。。。。。 。。
黄教授恒久专注于网络优化，，，，，，，，群体智能和经济学交织领域的开创性研究，，，，，，，，总共揭晓了7本英文学术专著，，，，，，，，320多篇国际一流期刊和聚会论文，，，，，，，，谷歌学术总引用凌驾 15000。。。。。 。。他的论文11次获得国际聚会和期刊的最佳论文奖，，，，，，，，包括2011年IEEE马可尼无线通讯论文奖。。。。。 。。他获得2014年香港中文大学青年研究学者奖，，，，，，，，2009年IEEE通讯协会亚太优异青年研究学者奖。。。。。 。。
论文第一作者汉鹏超博士现任广东工业大学副教授。。。。。 。。她2021年于东北大学获得博士学位，，，，，，，，时代曾于帝国理工举行会见交流，，，，，，，，2021-2023年在香港中文大学（深圳）网络通讯与经济实验室从事博士后研究事情。。。。。 。。汉鹏超博士的主要研究偏向为边沿盘算、边沿智能、漫衍式学习和知识蒸馏。。。。。 。。
论文第二作者王世强博士现任美国IBM T. J. Watson Research Center研究员。。。。。 。。他于2015年在英国帝国理工获得了博士学位。。。。。 。。他主要从事漫衍式盘算、机械学习、网络优化等相关偏向的理论研究，，，，，，，，以及在数据剖析、边沿智能、物联网和未来的无线系统等多个领域的应用。。。。。 。。王世强博士曾获得2021年IEEE 通讯协会Leonard G. Abraham Prize, Best Young Professional Award等多个奖项。。。。。 。。他现在担当IEEE Transactions on Mobile Computing和IEEE Transactions on Parallel and Distributed Systems副主编。。。。。 。。
论文第三作者焦阳现为同济大学博士生，，，，，，，，他于2020年获得中南大学学士学位。。。。。 。。他现在的研究偏向为：机械学习，，，，，，，，漫衍式优化，，，，，，，，嵌套优化。。。。。 。。他现在以第一作者身份在人工智能领域顶级聚会（NeurIPS、ICLR、AAAI）上揭晓多篇论文。。。。。 。。
? 论文信息：
[1] P. Han, S. Wang, Y. Jiao, and J. Huang, “Federated Learning While Providing Model as a Service: Jointly Training and Inference Optimization”. IEEE International Conference on Computer Communications (INFOCOM) (acceptance rate 19.6%), Vancouver, Canada, May 20-23, 2024.
