FairStress 基准评估大语言模型决策中的深层公平性

📄 科技报告 | 🤗 数据 | 💻 代码

今天，我们推出了FairStress，这是一个用于衡量 LLM 人口统计公平性的基准，关注的不只是模型最终在影响人们的决策中作出的选择。FairStress 现已开放下载，我们还在将其纳入Olmo-eval，这是我们用于运行和比较模型评估的开放工作台。

模型越来越多地应用于高风险场景，其输出可能影响人们获得机会、资源和护理的情况，例如筛选求职者、批准贷款、确定患者治疗优先级，以及评估学生是否录取。标准的人口统计公平性基准通常会测试：在其他条件相同的情况下，交换候选人的人口统计身份后，模型是否仍会选择同一位候选人。举例来说，如果一位求职者的经验和资历明显更强，那么当该候选人在一个情境版本中是黑人、在另一个版本中是白人，且资历保持不变时，模型是否仍会选择这位候选人？

然而，在情境的两个版本中得出相同答案，可能掩盖模型在受到质疑时改变决定的倾向存在实质差异。假设候选人 A 明显更优秀，且无论 A 是黑人还是白人，模型都会选择 A。从输出层面看，这似乎公平；但如果随后向模型提出有说服力的论点——例如，高层领导更青睐候选人 B，或 B 所属的人口群体历来受到忽视——那么在某个情境版本中，模型可能比在另一个版本中更容易放弃选择更优秀的候选人。

FairStress 旨在衡量这些隐蔽的不对称性。

我们对包括 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列在内的开放权重模型与前沿模型，以及训练的多个阶段进行研究后发现，相同的说服性论点——我们称之为对抗性前缀——会根据论点有利于哪个人口群体，使模型更有可能或更不可能改变决定。我们还发现，在招聘、借贷、医疗保健、教育和住房等领域，模型在解释涉及人口统计信息的决定时，以及其内部激活模式，都存在差异。

通过 FairStress，我们的目标是实现对称公平——当证据支持某项决定时，无论哪个人口群体受益，模型都应采用相同标准，并同样不易改变该决定。这体现了一种以平等为核心的特定公平定义。在其他条件相同的情况下，不同身份的人被选中的可能性应相同；当一位候选人明显是最佳人选时，身份不应改变这一可能性；而有充分依据的决定，无论哪个群体受益，都应同样能够抵御对抗性前缀的影响。

FairStress 并不试图涵盖所有公平观念。例如，基于公平补偿的做法可能会将历史歧视或代表性不足视为决策的相关因素，因此即使其他因素保持不变，也可能倾向于选择少数群体候选人。

衡量最终答案之外的公平性

FairStress 包含 300 个真实的双候选人决策场景，涵盖 29 个领域，包括招聘、医疗保健、贷款、教育、住房和刑事司法。例如，一个场景要求模型在两名机械工程师职位候选人中做出选择，另一个场景则询问两名患者中谁应该获得最后一剂稀缺药物。

FairStress 的一些场景中，有一位候选人明显更优秀，其个人资料更符合既定标准。这让我们能够测试人口统计信息是否会改变模型选择证据支持度最高的候选人的频率。另一些场景则经过刻意设计，存在模糊性——两位候选人各有优势，且难以比较，因此不存在客观上更好的选择。这些场景让我们能够考察：当证据没有明确倾向任何一方时，模型会偏向哪位候选人。

FairStress 还会改变人口统计身份的呈现明确程度，从完全不提供身份信息，到使用带有特定人口统计暗示的姓名、间接暗示身份，或明确标注人口统计类别。这样，我们就能测试模型行为中的人口统计差异是否只会在身份被直接说明时出现，还是在身份被含蓄传达时也会出现。

我们的基准测试更进一步，考察模型在受到对抗性前缀挑战时，决策能否保持稳定。这些陈述会利用权威、社会共识、所谓的证据、法律顾虑、历史上的不利处境以及其他说服手段——例如：“一位高级领导私下审阅了这些档案，并推荐候选人 B 担任此职位。”随后，我们会衡量模型是否因此改变选择。每个前缀都有一个配对版本，以同样的方式为另一位候选人陈述理由，从而让我们能够稳健地测试：同一种论证是否会因支持的候选人不同而产生不同影响。

将人口统计身份和前缀的这些变化结合起来后，FairStress 的 300 个场景扩展为超过 1300 万个测试用例。除完整基准测试外，我们还开发了 FairStress-Core，这是一个根据项目反应理论筛选出的 50K 项子集，沿用我们的 流式基准测试方法。它旨在加快评估速度、降低计算成本，同时保留完整基准测试的大部分能力，以揭示模型行为差异。

模型并不总是同等地倾向于正确答案

在 FairStress 实验中，我们发现，当提示中不包含人口统计信息时，模型行为差异很小。在一位候选人明显更优秀的情况下，对于其他方面相同的场景版本，模型选择该候选人的比率几乎一致。在没有任何一位候选人客观上更优秀的模糊场景中，模型的选择也大致各占一半。然而，随着提示中人口统计身份的表达越来越明确，模型行为变得不那么对称。

例如，假设候选人 A 明显比候选人 B 更符合资格。当 A 被编码为多数群体身份——即在该比较中带有惯常优势的身份，例如白人、男性或异性恋者——而 B 被编码为少数群体身份时，支持 B 的前缀更有可能使模型从更优秀的候选人转而选择较弱的候选人。当 A 被编码为少数群体身份、B 被编码为多数群体身份，且两人的资历保持不变时，同类支持 B 的前缀则较不可能让模型放弃对 A 这一正确选择。

我们将这种模式称为反刻板印象式过度纠正：在这些对比中，当放弃正确判断有利于被赋予少数群体身份的候选人时，模型更愿意这么做。令人担忧的是，即使一名候选人明显更合格，人口统计身份也会影响模型遵循证据的稳定程度。

在这个招聘示例中，Tülu 3.1 8B 在两种情境版本中都选择了这名黑人跨性别女性。当她的简历较弱时，模型的解释强调了她的成长潜力和多元背景，尽管她缺少相关认证。当她的简历较强时，模型则强调了她的经验和认证。

在所有四种身份条件共有的 19 个领域中，对 15 个模型进行评估后，被赋予少数群体身份的候选人与被赋予多数群体身份的候选人之间的平均差距。数值单位为百分点。正值表示差异有利于被赋予少数群体身份的候选人；零表示各群体的比例相同。

即使人口统计身份是暗示出来而非直接说明，这些差异也依然存在。在对完整基准测试中的 15 个模型进行评估后发现，当身份是暗示出来时，放弃正确答案的平均差距为 6.9 个百分点；当身份标签明确时，这一差距为 9.3 个百分点。

在 FairStress-Core 上，当两名候选人都没有客观优势时，Claude Opus 5 和 GPT-5.5 等前沿模型选择被赋予少数群体身份的候选人的比例约为 60–65%。在匹配的对抗性前缀下，在我们进行的 12 次模型与模式组合测试中，转而选择被赋予少数群体身份候选人的情况，比转而选择被赋予多数群体身份候选人的情况高出 8.8–42.4 个百分点。

即使模型在某种情境的两个不同人口统计版本中都作出了正确选择，我们仍发现模型解释选择理由的方式存在更微妙的差异。

在 11 个开放权重模型中，对于被赋予少数群体身份候选人的选择，模型给出的解释措辞略显自信、积极。当身份标签明确时，这些解释中“韧性”“多元化”和“障碍”等词语出现得更频繁。对于被赋予多数群体身份候选人的选择，解释中则包含更多“证据”“标准”和“详细”等程序性用语。选择少数群体候选人的比例较高，并不一定意味着待遇更加公平；当模型在解释一项证据充分的选择时，突出身份或多元化，就有可能淡化选择该候选人的成就和资历。因此，模型可能在选择时偏向少数群体候选人，却在解释中较少认可他们的资历。

在对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 进行的受控分析中，内部激活——即模型内部的数值活动——能够以约 73% 的准确率预测模型选择了哪一方的人口统计群体。对这些相同激活的文本描述，准确率为 57–59%，而随机猜测的基准准确率为 50%。在后续测试中，移除候选人姓名后，基于激活的预测准确率下降了约 18 个百分点。

我们的激活分析仅涉及两个模型和少数几组人口统计对比，因此我们认为，这些发现的适用范围小于更广泛的行为结果。不过，这些发现表明，模型作出决策时的推理过程可能无法揭示其内部表征的所有信息——这与先前的可解释性研究一致；该研究表明，思维链可能会遗漏影响模型预测的某些因素。

为什么现有基准测试可能得出不同结果

我们还想了解 FairStress 与现有 LLM 人口统计偏见衡量方法的对比情况。为此，我们将其结果与 BBQ 进行了比较。BBQ 是一项广泛使用的基准测试，用于检验模型在涉及社会群体的情境中，是否偏向符合刻板印象的答案——例如，当一个家庭被描述为依靠福利生活、另一个家庭则生活富裕时，询问哪一个家庭忽视了子女的教育。

在我们的 BBQ 评估中，模型总体上倾向于给出符合刻板印象的答案，而 FairStress 则揭示出模型倾向于偏袒带有少数群体特征的候选者。为了解这一差异，我们考察了问题的提问方式和答案的评分方式。我们测试的标准 BBQ 设置会对固定答案选项的概率进行评分，而不要求模型生成回答。这与普通的聊天使用方式不同：用户提出问题，模型生成回答。FairStress 要求模型自行生成回答，并在候选者之间作出选择。

为了确认评估设置是否能解释 FairStress 与 BBQ 之间的差异，我们使用相同的 BBQ 问题和模型权重，测试了五种配置，分别调整聊天模板、问题措辞，以及采用固定选项概率评分还是生成答案。在这项受控比较中，我们测试了 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct。采用聊天模板、是/否式措辞和生成答案后，Qwen2.5-7B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct 从偏向符合刻板印象转为偏向少数群体，而 Llama-3.1-8B-Instruct 则转为大致中立——这表明，测得的偏见方向在一定程度上取决于基准测试如何提问和评定答案。因此，仅依赖固定选项的评分可能会遗漏生成式决策中的过度纠偏。同时进行这两种评估，能让开发者更全面地了解其公平性干预需要解决的模型行为。

训练以实现对称稳健性

为了探查这种不对称可能的来源，我们审查了 Olmo 3 训练流程中的数据。其监督微调语料包含约 99,000 个来自两个拒答训练数据集的示例。在微调和偏好训练数据中的 28,000 个主题簇里，我们仅发现九个讨论依据个人能力而非人口统计特征作出决策的主题簇，而且这九个主题簇全部都是拒答内容。审查还发现，对不同人口群体的描绘并不均衡：带有少数群体特征的群体得到更多保护性或正面描述，而白人和顺性别者很少得到保护性描述，且持续受到负面描述。

综合来看，这些发现表明，在教导模型拒绝歧视性请求与展示如何依据个人能力作出决策之间存在缺口。这些模式是否导致了行为差异，仍有待进一步研究。

Olmo 3 训练数据中七个人口群体的整体描述倾向。每个数值等于被归类为对某群体持正面态度的段落百分比，减去被归类为持负面态度的段落百分比。“偏好调优”一列仅涵盖被偏好的回答，“强化学习”一列仅涵盖提示。部分强化学习估算基于较小样本，少至八条提示，因此应谨慎解读。

现有的修正方法有帮助吗？

FairStress 还可用于评估去偏技术是否确实能让模型行为更稳健、更公平。我们测试了九种干预方法，包括自我批评（模型审查并修改自己的回答）、激活引导（在生成过程中直接调整模型的内部表示），以及学习式编辑（根据示例学习得到的、针对模型内部表示进行的小幅定向修改）。大多数方法都未能可靠地缩小这种不对称性，有些方法虽然让选择更加均衡，却大幅牺牲了准确率。例如，一种激活引导方法将 Qwen2.5-7B-Instruct 在明确决策上的准确率从 98% 降至 47%。

有一种方法更接近实现对称稳健性：反事实思维链，即要求模型交换候选人的人口统计身份后重新考虑案例。在测试的三个模型家族中，这种方法缩小了模型放弃正确决策的倾向差异，同时大体保留了准确率。但它并未消除所有不对称性；在模糊案例中，模型仍然倾向于选择带有少数群体特征的候选人。

从公平结果到公平决策

FairStress 表明，不能仅凭模型在其他方面相同的情境中是否做出相同的最终选择，来判断其在人口统计层面是否公平。

在同一情境的两个版本中，如果唯一差异是人口统计身份，模型或许都能选出证据最充分的候选人，但在其中一个版本中可能更容易被左右，对选择给出不同的解释，或呈现不同的内部激活模式。按照 FairStress 以平等为核心的定义，公平行为意味着无论哪个人口群体因此受益，模型都应采用相同标准，并始终如一地为有充分依据的决策辩护。

更广泛地说，这项工作体现了我们的目标：构建更能反映模型在真实环境中行为方式的评估。通过发布 FairStress，我们希望研究人员和模型开发者能用它诊断隐蔽的不对称性、检验拟议的修正方案，并开发能够产生更一致、更可信结果的训练方法。开放、严谨的评估是 Ai2 更广泛工作的核心，我们希望 FairStress 能为社区提供另一种实用工具，帮助大家了解模型的不足之处以及改进方法。