克日，，，，，，，我院林天麟教授团队在图像处置惩罚领域顶级期刊 IEEE Transactions on Image Processing 揭晓题为“Toward Better Accuracy-Efficiency Trade-Offs: Divide and Co-Training”的文章。。。。。。。。

该事情首次在深度神经网络架构设计领域提出了一种基于网络切分和协同训练的神经网络学习系统设计要领，，，，，，，证实晰在神经网络学习系统的设计中，，，，，，，纯粹地增添神经网络的宽度或者深度并不是最优解，，，，，，，适时地增添网络的数目是更好的选择。。。。。。。。该事情在学界常用的基准测试平台上实现了领先的效果。。。。。。。。

论文链接：https://ieeexplore.ieee.org/document/9877850

代码链接：https://github.com/FreeformRobotics/Divide-and-Co-training

期刊先容

IEEE Transactions on Image Processing 是图像处置惩罚领域公认的顶级期刊之一，，，，，，，其影响因子抵达了11，，，，，，，代表了图像处置惩罚领域先进的重大希望，，，，，，，要求论文在理论和工程效果上对图像处置惩罚及相关领域具有主要推行动用。。。。。。。。

研究配景

在深度神经网络设计中，，，，，，，神经网络的宽度是其架构设计中的主要元素。。。。。。。。一样平常而言，，，，，，，增添网络的宽度，，，，，，，网络的学习表征能力也会增强。。。。。。。。然而，，，，，，，网络的学习表征能力并不是随着宽度的增添而线性增添的，，，，，，，当宽度增添到一定水平后，，，，，，，网络的学习表征能力增添缓慢并趋于饱和（如图1）。。。。。。。。

图1. 神经网络的分类精度随着宽度增添逐渐趋于饱和，，，，，，，但盘算量却急剧增添

这种情形下，，，，，，，我们以为增添网络的数目是比纯粹增添网络宽度更优的选择，，，，，，，能够实现更好的精度与效率之间的权衡。。。。。。。。为了论证优德官网看法，，，，，，，我们将一个大网络切分成几个一律巨细的小网络，，，，，，，并包管切分前后的参数总量大致相等，，，，，，，即每个小网络都有原来大网络的一部分参数目。。。。。。。。切分的历程也爆发在网络的一些正则化模？？？？？？？橹。。。。。。。。然后我们给这些小网络输入相同数据的多视角图片举行协同训练，，，，，，，协同训练的历程中小网络也能相互学习增进。。。。。。。。最后，，，，，，，多个小网络的集效果果就能够逾越单个大网络的效果，，，，，，，同时网络盘算量和参数目也没有爆发显着转变。。。。。。。。在现实应用中，，，，，，，多个小网络也具备更高的无邪性，，，，，，，可以通过模子并行实现更快的处置惩罚速率。。。。。。。。在本事情中，，，，，，，我们在图像分类和目的检测两个使命，，，，，，，以及多达八种差别的常见深度神经网络架构上验证了优德官网要领，，，，，，，并在学界常用的测试基准上取得了领先的效果。。。。。。。。

研究要领

本事情在深度学习神经网络架构设计中引入了网络切分和协同训练的要领（如图2）。。。。。。。。我们凭证差别网络架构的特点，，，，，，，设计了一套适用于目今主流的神经网络的切分要领，，，，，，，包括但不限于常见的 ResNet、DenseNet、ResNeXt、 PyramidNet 和 EfficientNet 等。。。。。。。。我们切分的原则是包管切分前后网络的总体参数目和盘算重漂后概略坚持稳固，，，，，，，这是为了更好地验证我们前文提到的看法：增添网络数目是比纯粹增添网络宽度更好的选择。。。。。。。。另外，，，，，，，随着切分前后网络表征能力的转变，，，，，，，网络训练时所适用的正则项也举行了参数上的调解。。。。。。。。网络切分的细节详见论文。。。。。。。。

图2. 网络切分与协同训练

网络切分完成后，，，，，，，我们接着对获得的小网络举行协同训练。。。。。。。。关于多个小网络的集效果果，，，，，，，我们在论文中给出了简化情形下的理论论证，，，，，，，并以此为指导，，，，，，，设计了一些协同训练的技巧。。。。。。。。首先是差别的网络使用差别的初始化权重并在相同数据的差别视角上举行训练，，，，，，，即差别的小网络有自己独吞的数据增强历程，，，，，，，这些是为了增添小网络的多样性以取得更好的集效果果。。。。。。。。除此之外，，，，，，，小网络也可以在训练中通过相互学习协作的方法抵达更好的效果。。。。。。。。我们提出的网络切分和协同训练的要领在常用的图像分类使命上取得了学界领先的效果（如图3），，，，，，，从图3中，，，，，，，我们可以获得结论：增添网络的数目比纯粹增添网络宽度或者深度实现了更好的效果与效率的权衡，，，，，，，这与我们最初的论点一致。。。。。。。。更多的图像分类效果与相关结论拜见论文。。。。。。。。

图3. CIFAR-100数据集上的测试误差，，，，，，，S是小网络数目

网络切分和协同训练的头脑也可以拓展到其他视觉使命上去，，，，，，，例如常见的目的检测使命（如图4）。。。。。。。。值得注重的是，，，，，，，目的检测系统用于展望检测框和物体分类置信度的展望网络往往和展望框的数目等深度绑定，，，，，，，难以举行切分，，，，，，，以是我们接纳了展望网络权重共享的方法以坚持参数目稳固，，，，，，，并在检测框集成时接纳了一种依据分类置信度举行检测框融合的战略，，，，，，，而不是简朴的非极大值抑制（NMS）。。。。。。。。在主流的目的检测要领上，，，，，，，网络切分后的检测系统相对单个大模子取得了显着的提升（如图5）。。。。。。。。

图4. 适用于目的检测系统的网络切分要领

图5. MS COCO数据集上的目的检测效果

研究结论

该事情中，，，，，，，我们讨论了在神经网络系统设计中，，，，，，，一种新的实现更好效果与效率之间权衡的要领——增添网络的数目。。。。。。。。我们设计了一种基于网络切分和协同训练的要领，，，，，，，在差别架构的神经网络和差别的视觉使命上验证了优德官网论点。。。。。。。。优德官网事情在神经网络架构设计与实现中潜在性地引入了许多有趣的值得进一步探讨的话题，，，，，，，例如，，，，，，，关于多个小网络的协同训练，，，，，，，怎样设计实现一套适用的异步训练框架以实现更高的训练效率；；；；；；；怎样设计更重大的集成要领和协同训练方法，，，，，，，资助视觉系统取得更好的性能；；；；；；；网络切分和协同训练怎样和网络架构搜索团结等。。。。。。。。

作者简介

本文通讯作者为我院智能机械人中心主任林天麟教授。。。。。。。。

林天麟，，，，，，，IEEE 高级会员，，，，，，，香港中文大学（深圳）助理教授，，，，，，，博士生导师，，，，，，，校长青年学者，，，，，，，担当机械人与智能制造国家地方团结工程实验室执行副主任，，，，，，，及优德官网（优德官网）智能机械人中心主任。。。。。。。。师从徐扬生院士，，，，，，，划分于2006年和2010年在香港中文大学获得一等声誉学士学位和博士学位。。。。。。。。研究偏向包括多机械人系统，，，，，，，特种机械人及人机协作等。。。。。。。。以第一/通讯作者，，，，，，，在 T-RO、T-IP、T-MECH、J-FR 等顶尖期刊和 ICRA、IROS 等顶级聚会上揭晓论文43篇，，，，，，，授权美国专利3项及国家发明专利34项，，，，，，，出书英文专著2部。。。。。。。。以第一作者获 IEEE/ASME Transactions on Mechatronics 期刊年度最佳论文奖，，，，，，，以通讯作者获 IROS 机械人机构设计最佳论文奖。。。。。。。。组织并主持了海内首个模？？？？？？？榛灾毓够等肆煊蜓跸盗薪沧，，，，，，，约请 T-RO 主编、Science 编委、国家杰青等海内外着名学者做学术报告，，，，，，，累计在线听众逾4万人次。。。。。。。。林教授的相关研究效果被路透社、探索频道、日本放送协会 NHK、IEEE Spectrum、Wired 等众多国际着名媒体普遍报导。。。。。。。。

本文第一作者和第二作者包括 优德官网 研究助理赵帅、香港中文大学（深圳）在读博士生周立广。。。。。。。。

赵帅，，，，，，，悉尼科技大学在读博士生，，，，，，，该论文是他在 优德官网 担当研究助理时代完成的事情。。。。。。。。他的研究偏向是盘算机视觉与多媒体检索，，，，，，，相关论文揭晓于 NeurIPS、ICML、AAAI、SIGIR、T-IP 等盘算机视觉和多媒体检索领域期刊及聚会上。。。。。。。。

周立广，，，，，，，香港中文大学(深圳) 在读博士生，，，，，，，他的研究偏向是机械人感知，，，，，，，场景明确，，，，，，，人机交互。。。。。。。。相关论文揭晓于 ICRA、IROS、T-IP 等机械人和人工智能领域聚会及期刊上。。。。。。。。

团队先容

优德官网 智能机械人中心由林天麟教授向导，，，，，，，旨在研究多机械人系统自由组成种种形态以解决不可预知问题的要害手艺，，，，，，，通过简朴智能体的集群实现重大的智能群体行为，，，，，，，让机械人系统拥有可复用、自由构型、可拓展、故障自修复等通用特征，，，，，，，为机械人设计领域创立出一种全新切实可行的实现形态。。。。。。。。

团队恒久从事机械人和人工智能研究，，，，，，，开发了十余种机械人和智能系统。。。。。。。。在肩负国家科研项目方面履历富厚，，，，，，，获得了国家自然科学基金面上项目、国家科技部 “智能机械人”重点研发妄想项目等多项纵向项目资助。。。。。。。。？？？？？？？蒲行Ч蚁于 T-RO、T-IP、T-MECH、JFR、ICRA、IROS 等机械人与自动化领域的国际顶级期刊和聚会上。。。。。。。。关于 FreeBOT 的研究效果获2020年 IROS 机械人机构与设计最佳论文奖，，，，，，，IEEE Spectrum、日本放送协会 NHK 和Engadget 等多家国际着名媒体对其举行了普遍报道。。。。。。。。

相识团队更多论文和视频信息：
团队主页：https://freeformrobotics.org
团队B站-CUHKSZ-RAIL：https://space.bilibili.com/691821613