Hugging Face 政策主管称嵌入式 AI 评估者并非轻松解决方案

AI 实验室将声誉押在模型基准测试上——这种评估体系据称中立且准确，旨在衡量一种 AI 产品是否优于另一种。

Hugging Face 首席政策官 Irene Solaiman 上周在 TechCrunch Disrupt 的一场讨论中表示，这些评估背后的方法复杂且仍在发展中。若要让行业未来能够依赖这些评估，就需要将测试整合为一门更一致的科学。

考虑到这一点，我们能相信目前发布的测试吗？

“‘信任’是个分量很重的词，”Solaiman 说。“就能否相信结果而言，一个重要方面是：你能否复现评估结果？你是否拥有所需的模型访问权限——这正是开放权重发挥重要作用的地方，”她补充道。

模型评估的可复现性长期以来一直是基准测试中较难解决的问题之一，也仍是行业内备受争议的话题。

除了单项测试是否有效之外，还有一个问题：这项测试与其他评估相比如何。

Solaiman 说：“这是一门不断演进的科学——我们还不知道如何有意义地比较它们。”

她补充道：“它们很快就会变得相对低效，而我们也没有所需的、蓬勃发展的生态系统。如今大家都迫切希望建立嵌入式评估者生态系统，但要确定评估者在不同任务中是否胜任，还需要更多标准化工作。”

嵌入式评估员这一理念——即将所谓“中立”的第三方观察员安排在 AI 组织内部——在过去几个月里逐渐流行起来。AI 实验室正努力应对一连串安全事故，这些事故引发了人们对其技术可能造成危害的担忧。Hugging Face 曾是其中一起事故的著名目标。

实验室没有等待政府主动监管以识别和缓解模型安全问题，而是推动采用第三方解决方案。不过，人们仍怀疑这些评估者究竟能有多中立、多有效。Anthropic 决定聘请 Accenture担任其首家评估机构，此举引发了不少反弹，一些批评者嘲讽这家咨询公司是否具备完成相关任务的资质。

评估的对象正从单纯测试模型本身，转向测试模型周围的整个系统，包括运行框架和智能体。Solaiman 分享道，运行框架——也就是用户用来访问模型的工具——尤其会对模型表现产生很大影响；运行框架更好的较弱模型，甚至可能轻易胜过前沿模型。

Solaiman 说：“智能体评估非常困难，也非常昂贵。我们对模型的评估更多了……对运行框架的评估却没那么多，我们正在开发更好的整体智能体评估方法——因为很多人正是从中获得价值的，”她补充道。

换句话说：目前的评估领域有些混乱。如果基准测试要继续被行业领袖视为有用工具，可能就需要一种更统一、覆盖全行业的方法，让所有人达成共识。

当您通过我们文章中的链接购买商品时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Lucas 是 TechCrunch 的高级撰稿人，负责报道人工智能、消费科技和初创公司。他此前曾在 Gizmodo 报道人工智能和网络安全。您可以通过电子邮件联系 Lucas：[email protected]。