智能体一遇到没见过的使命就“卡壳”，，，，，，焦点问题着实是训练数据太“偏科”，，，，，，场景局限、使命类型少。。。。。。优德官网在上下文强化学习领域提出破局新计划：依赖自动天生多样重大使命，，，，，，补上 “训练题”不敷多样的短板；；；；；并提出高效解耦战略蒸馏框架，，，，，，有用引发模子上下文强化学习能力。。。。。。研究还带来新启发：随着训练集使命种类增添，，，，，，模子会从“死记谜底”转向“就地解题”以及“学会怎样学习”；；；；；评估在线学习智能体也得换思绪，，，，，，要看在开放天下使命中的长上下文体现，，，，，，而非关闭使命集上的零样本能力。。。。。。

• 泛化性缺乏？？？？？？？？泉源在于“训练题”不敷用 。。。。。。“给智能体1000种使命，，，，，，它能学好1000个；；；；；换一种新使命，，，，，，立马‘手足无措’。。。。。。”这是目今大模子、具身智能领域普遍保存的逆境。。。。。。现在训练智能体基座模子的普遍逻辑是依赖规模取胜，，，，，，通过富集海量训练数据来优化模子。。。。。。然而，，，，，，这类数据通常具有很强的场景属性，，，，，，好比导航使命和运动控制使命的数据漫衍很难有重叠，，，，，，它们笼罩的规模是离散且有限的。。。。。；；；；；痪浠八，，，，，，想要智能体具备跨使命、跨场景的泛化能力，，，，，，除了数据量要大，，，，，，更需要数据类型足够多样。。。。。。

• “自动出题” 解决 “死记硬背” 问题：让模子掌握学习要领。。。。。。智能体的学习历程堪比学生备考：想考高分，，，，，，既要有足量的习题，，，，，，又要阻止重复刷题导致的“头脑固化”；；；；；与其记着某道题的解法，，，，，，更主要的是学会怎样剖析问题、见招拆招。。。。。。论文提出“AnyMDP”使命集，，，，，， 基于马尔可夫链构建开放的强化学习使命集，，，，，，通过完全随机天生与筛选机制，，，，，，既保存了使命之间的多样性，，，，，，也包管了问题的难度和挑战性。。。。。。实验效果批注，，，，，，在训练数据量相同的情形下，，，，，，随着使命种类从100种增添到10万多种，，，，，，基座模子在未知使命上的泛化能力逐渐增强。。。。。。 这说明，，，，，，要使智能体从死记硬背的权重学习模式（In-Weight Learning，，，，，，IWL）转变为无邪运用上下文学习（In-Context Learning，，，，，，ICL），，，，，，使命的数目和规模至关主要。。。。。。

  

• 重大上下文推理只能通过腾贵的强化学习引发？？？？？？？？提出替换强化学习的解耦合战略蒸馏（Decoupled Policy Distillation，，，，，，DPD）计划 。。。。。。论文提出了多用途的上下文强化学习（ICRL）算法框架，，，，，，除了训练规模涉及上百亿Token，，，，，，序列更是抵达了数十万序列长度。。。。。。ICRL的引发通常需要依赖强化学习预训练自己，，，，，，效率极低。。。。。。使用“自动出题”的“谜底已知”的特点，，，，，，文章提出相识耦战略蒸馏计划，，，，，，不需要强化学习，，，，，，只需在随机扰动的轨迹上逐帧提供指导，，，，，，性能显著好于其他战略蒸馏要领。。。。。。

  

• 单个基座模子不但能举行在线强化学习，，，，，，还能凭证提醒自主切换到离线强化学习或模拟学习，，，，，，从而实现高度无邪的自主学习。。。。。。古板强化学习通常需要为每种学习方法设计差别的目的函数，，，，，，而该模子在多种学习模式下都能抵达甚至逾越古板要领的效果。。。。。。这使得智能体能够完全凭证上下文自主选择学习模式，，，，，，极大地扩展了其通用性潜力。。。。。。

  
• 迈向规；；；；；那短籽埃╪ested learning）和学会怎样学习（learning to learn）。。。。。。嵌套学习的实质是训练模子不但是为了影象特定的知识，，，，，，更是为了获得学习能力自己。。。。。。优德官网的研究甚至批注，，，，，，训练数据的绝瞄准确性未必是要害，，，，，，数据的长度，，，，，，序列内一连性和序列间多样性可能更为主要。。。。。。即便接纳异常随机的情形使命和大宗禁绝确的合成数据，，，，，，模子也可能通过掌握学习能力，，，，，，在真实使命中通过履历重新掌握准确的知识。。。。。。该事情还证实，，，，，，线性注重力模子能够轻松实现对数十万长度序列的上下文学习，，，，，，这有望极大地扩展上下文学习的能力界线。。。。。。

论文链接：https://arxiv.org/abs/2502.02869

相关代码：https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL