6.2.2

// 6.2.2.md

6.2 协同的算法艺术:碰撞约束

6.2.2 求同:置信域交集的窄门

为了克服加权平均可能带来的“平庸化”风险,一种更严格、更追求共识的策略应运而生。这便是我所研究的“碰撞约束”的核心机制之一:寻找置信域的交集

我们知道,大语言模型在生成文本时,常常采用一种名为“核心采样”(Nucleus Sampling, or Top-p)的策略。它并非总是选择概率最高的那个token,而是在一个累积概率达到某个阈值(比如p=0.95)的“候选词核心集”中进行采样。这个核心集,可以被看作是该模型在当前语境下,最有“自信”的一小撮候选token。

现在,让我们将这个思想应用到多专家系统中。当N个专家模型同时进行预测时,我们让每一个模型都生成它自己的“候选词核心集”,我们称之为S_1, S_2, ..., S_n。然后,我们不再是简单地将它们的概率加权,而是去寻找这些集合的“交集”(Intersection):

$$
S_final = S_1 ∩ S_2 ∩ ... ∩ S_n
$$
最终,系统只被允许从这个“交集”S_final中进行采样。这意味着,任何一个最终被选中的token,都必须是所有专家模型都认为“极有可能”的候选者。它必须同时通过所有“审查官”的考核,才能走上舞台。

这是一种非常“保守”但极其有效的策略。它如同一道窄门,极大地过滤掉了那些由单个模型“幻觉”或“奇思妙想”所产生的、可能不靠谱的选项。在那些对事实准确性要求极高的任务中,比如生成一份严谨的法律文书或技术说明,这种“求同存异”中的“求同”之道,能够显著提升输出结果的可靠性,有效抑制“一本正经地胡说八道”。

然而,这道窄门,有时也可能因为过于严苛,而将真正的“天才”拒之门外。如果专家们的意见完全没有交集,或者交集小到扼杀了所有创造性,我们又该如何是好?