02 [RAG] VAE 崩塌的根源在于你让它自己选择了错误的先验——以下是剥夺这一选择权的方法
VAE（变分自编码器）的后验崩塌问题通常被当作调参问题来处理：调整 KL（Kullback-Leibler 散度）权重、添加架构约束、反复摸索 beta 参数。其背后的假设是，崩塌是一种不可避免的风险，只能加以管控。然而另一种视角认为：崩塌之所以发生，是因为先验被固定下来，模型随之找到了一个满足该先验的退化解。只要修正先验的选择机制，崩塌在结构上就无从发生。
这一机制的核心在于 GMM（高斯混合模型）先验。单一固定的高斯先验只给模型提供一个吸引子，而在数据协方差矩阵满足特定谱条件时，后验便会坍缩其中。历史共识训练（Historical Consensus Training）以一个迭代选择循环取代了这个固定吸引子。该方法生成多个候选 GMM 聚类方案，通过交替进行优化与筛选，逐步将候选集收敛至那些与模型在整个训练历史中所学表征真正一致的聚类方案。“共识”二字名副其实：一个聚类方案只有在跨时间步与模型行为保持一致时才得以留存，而非仅凭当前检查点的表现。这从根本上扼杀了退化解的稳定化过程——当某个先验持续产生无信息的隐变量而不断被替换时，后验自然无从崩塌其中。
局限性是真实存在的：基于 GMM 的先验会增加训练循环的复杂度，而对候选集的迭代选择相比标准 VAE 也会带来更高的计算开销。此外，该论文以理论推导为主，在大规模生成基准上的实证结果尚未体现在摘要中。对于在 RAG 流水线或结构化隐空间检索系统中将 VAE 用作编码骨干的团队而言，这一问题具有直接影响：后验崩塌会悄无声息地损害下游检索所依赖的隐表征质量，且往往不会产生任何明显的训练信号来提示问题的存在。
核心要点：
- 后验崩塌可通过迭代选择 GMM 先验在结构层面彻底消除——所选先验须在整个训练历史中与已学表征保持共识。当先验本身是一个动态目标时，退化解便无法稳定下来。
- 将崩塌理解为相变过程（由数据协方差矩阵的谱性质决定）意味着：在固定先验下，这一失败模式是确定性的，而非随机的运气问题——这也说明架构约束只是在治标，而非治本。
- 在检索或 RAG 流水线中使用基于 VAE 的隐表征的团队，应主动排查后验崩塌是否正在悄然降低嵌入质量；历史共识训练是一个值得与 beta-VAE 基线进行对比基准测试的候选干预方案。
来源：Historical Consensus: Preventing Posterior Collapse via Iterative Selection of G