上周，，，，，，香港中文大学（深圳）助理教授、优德官网 项目认真人 Andre Milzarek 教授为我们带来主题为“非平滑非凸优化的二阶要领”的讲座，，，，，，本场讲座由香港中文大学（深圳）的蔡卓轩教授主持。。。。。

        Milzarek 教授的讲座聚焦于讨论关于使用（随机的或近似的）高阶信息来解决结构化优化问题简直定性优化要领以及随机优化要领。。。。。讲座首先举行了问题形貌。。。。。在 Milzarek 教授思量了一系列复合型最小化问题，，，，，，其中目的函数可以写成平滑（可能非凸）和凸（可能非平滑）函数之和。。。。。目的函数的平滑部分通常对应于一个损失模子，，，，，，该模子反应给定命据与获得的优化解之间的误差。。。。。非平滑部分通常饰演一个正则项的角色，，，，，，它促使获得的优化解趋于一个特殊的性子，，，，，，例如希罕性、群希罕性和低秩，，，，，，或者允许对约束举行建模。。。。。此问题公式可涵盖种种应用，，，，，，例如，，，，，，大规模；；；；；；；笛拔侍狻ASSO、希罕逻辑回归、成像问题、低秩矩阵补全和字典学习。。。。。

        Milzarek 教授接着谈到了二阶要领的须要配景和基础。。。。。许多非平滑优化要领之以是能够乐成运用是基于以下的视察：通过使用目的函数非平滑部分的相近算子，，，，，，一阶最优的须要条件可以等价地体现为非平滑方程。。。。。现在的主要头脑是应用牛顿法的一个非平滑变体，，，，，，即所谓的半平滑牛顿法来求解该方程，，，，，，并加速现有一阶算法（如近端梯度法）的收敛和性能。。。。。从结构上来看，，，，，，半平滑牛顿步与求解平滑问题的古板牛顿步很是相似。。。。。可是，，，，，，由于目的函数不可微，，，，，，必需引入并使用广义导数。。。。。在适当的假设下，，，，，，半平滑牛顿法会天生一系列迭代序列，，，，，，这些迭代序列局部快速收敛（q-超线性）到优化问题的一个驻点。。。。。

        然而，，，，，，半平滑牛顿法与经典牛顿法有相似的局限性。。。。。特殊是只有当迭代历程最先时足够靠近问题的解或驻点时，，，，，，我们才华包管局部收敛。。。。。为了填补这一缺陷，，，，，，我们需要设计一个适当的全局战略。。。。。Milzarek 教授提出了一种基于 Robinson 法线映射的全局化算法。。。。。该要领的头脑是将法线映射的半平滑牛顿步嵌入到信托域框架中，，，，，，以实现并包管全局收敛。。。。。

        收敛性剖析和算法都使用了新的优化函数的下降率测试来检查获得的高阶信托域办法的质量。。。。。团结这些差别的要领，，，，，，可以获得优异的收敛效果：

        - 基于法线映射的信托域要领所天生的序列的每个聚点都是一个驻点。。。。。

        - Kurdyka-Lojasiewicz 理论适用于非凸问题，，，，，，确保了更强的收敛性和更快的收敛速率。。。。。

        - 有时机向快速局部收敛过渡。。。。。

        Milzarek 教授随后讨论了该要领在具有挑战性的非凸图像压缩使命中的体现。。。。。在应用中，，，，，，我们从给定的真实图像中寻找一个最佳掩模（即选取图片中最能体现图片特征的一部分像素点）。。。。。掩模应该选择尽可能少的像素点来实现最大化压缩率，，，，，，同时坚持高的重修质量。。。。。图1为所选取的掩模和通过其所恢复的图像。。。。。

图1：非凸图像压缩使命。。。。。左侧显示所选取的掩模c。。。。。该掩模的密度为4.7%。。。。。右图显示仅使用掩模c所包括的像素点来重构

        信托域法（trssn）和惯性近端梯度法（ipiano）性能的数值实验较量如图3所示。。。。。Milzarek教授所提出的高阶要领优于 ipiano，，，，，，并且使用更少的 CPU 时间获得解并且准确地恢复掩模。。。。。

图3：trssn 和ipiano的较量，，，，，，此图显示了稳态怀抱转变对应各自所需的CPU时间。。。。。

        在讲座的第二部分，，，，，，Milzarek 教授先容了一种适用于统一类复合型最小化问题的随机高阶特殊步长计划。。。。。这种随神秘领是由大数据应用和大规模学习使命驱动的，，，，，，在这种情形下，，，，，，我们不再易于获得目的函数的全貌，，，，，，并且盘算全梯度和黑塞矩阵（Hessian）也变得十分难题。。。。。于是 Milzarek 教授使用随机或不准确的展望，，，，，，如子抽样要领，，，，，，来近似梯度和曲率信息。。。。。该要领的头脑很简朴：首先执行半平滑牛顿步的随机版本，，，，，，并且为了包管收敛性，，，，，，盘算了特另外随机近端梯度步长。。。。。特殊办法法很是无邪，，，，，，因此可以使用差别的步长、随机展望和高阶要领。。。。。

        接下来，，，，，，Milzarek 教授给出了算法的全局收敛的效果，，，，，，全局的收敛主要得益于由梯度近似所引起的步长和方差的适当平衡。。。。。效果批注，，，，，，与预期的一致，，，，，，所天生的随机历程险些确定地靠近稳态。。。。。

视频回首