01 [评估] 在非平稳序列任务中，惩罚分歧的集成加权方法优于静态混合
当环境发生变化时，静态集成权重是一个已知的问题——上周表现最好的模型可能是今天表现最差的。标准的解决方案是离线重新加权，但这只是引入了另一种形式的滞后性。EARCP（Ensemble Auto-Régulé par Cohérence et Performance，基于一致性和性能的自调节集成）将加权问题视为在线学习问题，并添加了大多数集成完全忽略的第二个信号：组件模型当前彼此之间的一致程度。
该机制运行在两个耦合循环中。第一个是乘法权重更新，这是一种经典的在线学习算法，将每个专家的权重乘以与其近期损失成正比的因子。新颖的添加是基于一致性的正则化项，它惩罚那些预测偏离当前集成共识的模型。当单个专家开始偏离群体时，其权重衰减得比仅凭其原始性能所能证明的更快。组合更新提供了正式的后悔界限，意味着EARCP的累积损失与事后最佳固定权重集成之间的差距是有界的，并且随时间亚线性增长。即使在最优专家随时间变化的非平稳环境中，这个保证仍然成立。
局限性是真实存在的：这篇论文是一个形式化和理论贡献，而不是大规模的经验基准测试。论文摘要中缺少跨多样化真实世界序列决策任务的性能数据，这意味着从业者还无法了解一致性惩罚项相对于基础乘法更新的贡献有多大。一致性信号仅在组件模型真正异构时才有用——如果所有专家共享架构或训练分布，共识就变成了多数错误的噪声代理，而不是鲁棒性信号。
对于运行多模型推理管道的团队，其中任务分布随时间变化（跨变化文档语料库的检索增强管道，或随着查询组合演化某些专家退化的多智能体路由），一致性信号值得评估。看起来单独表现不错但与集成其余部分持续不一致的模型往往是在分布偏移时首先失效的。将该信号构建到加权机制中而不是单独监控是实用的做法。
关键要点：
- 乘法权重更新处理基于性能的重新加权；一致性正则化项为偏离集成共识的专家添加了第二个衰减通道，两者都是连续更新的，而非离线更新
- 正式的后悔界限在非平稳环境中成立，但跨多样化真实世界任务的经验验证尚未发布，因此一致性项贡献的实际幅度仍然是一个开放问题
- 在变化分布上运行异构多模型管道的团队应该评估是否已经在跟踪组件模型之间的分歧——如果没有，这个框架提供了一种有原则的方式将该信号转化为动态权重调整
来源：EARCP: Self-Regulating Coherence-Aware Ensemble Architecture for Sequential Decision Making
来源：EARCP: Self-Regulating Coherence-Aware Ensemble Architecture for Sequential Deci