今年秋季的11周里，来自独立AI评估机构METR的一个小团队进驻Anthropic内部，试图回答一个问题：AI在多大程度上加快了构建AI的工作？该团队今天发布的结论是，这种加速已经发生，而且幅度很大。METR的工作人员估计，截至2026年10月，Anthropic在定义明确的任务上改进模型的速度，约为其在2024年3月至2025年10月间速度的两倍。

这一核心数字来自AECI，即Anthropic版本的Epoch Capabilities Index（如下图所示），该指数以一组基准测试对模型进行评分。2025年10月之前，Anthropic的模型每年约提升15个AECI点。此后，这一趋势已陡升至每年约29个点。这意味着加速了1.9倍，95%置信区间为1.5倍至2.8倍，也就是说，Anthropic在过去12个月里取得的进展，相当于历史上约两年的进展。

估算结果随方法而变。对基准测试难度分布的不同假设，得出的结果从1.1倍到2.9倍不等。纳入OpenAI、谷歌和xAI的模型后，该数字降至1.4倍（见下图），部分原因在于Anthropic早期的模型落后于行业前沿，这使其自身的历史进展看起来比实际更慢。METR表示，其数字高于Anthropic公布的1.7倍，最主要的原因是纳入了近期仅供内部使用的模型。

METR表示，它有信心此次加速并非源于训练算力增长的加快。METR的最佳判断是，当前加速的约80%归因于AI，但需要说明的是，非AI因素很可能在2025年末的这次跃升中起到了一定作用。支持性证据较为模糊，但前后一致。在访谈中，研究人员描述的加速幅度大多集中在2倍左右。在可编码作答的11名受访者中，5人表示或倾向于认为达到2倍或更高，4人态度不明，2人表示否定。在非正式的Slack投票中，员工将最新的内部模型的效能提升评为约12倍，而Claude 3.7 Sonnet的效能提升约为1.2倍。METR认为这只是松散的证据，因为作答投入较低，可能夸大了实际收益。该报告还特别强调一个关键区别：一个人的工作效率提高12倍，并不意味着整个研究工作的加速也达到12倍。输出持续加速，需要劳动投入和劳动生产率等要素持续增长，因此最关键的问题是个体效能提升能否持续增长。

由此引出METR最为关注的风险，即复合效应：如果更好的模型加快了催生下一代模型的研究，收益可能会自我强化。METR审视了那些通常会打破这一循环的因素，例如算法进展、训练算力、实验算力或数据的限制，结果发现，在未来12个月内并未找到令人信服的瓶颈。METR由此认为，未来一年内，进一步的进展导致加速进一步加快的风险显著。

报告用了不少篇幅探讨自身可能在两个方向上出错的情况：

如果增长持续加速、自动化程度比研究人员所认为的更接近实现，或者基准测试低估了现实世界的影响，那么这一数字可能偏低。METR举了数学领域的例子：基准测试分数并未明显跃升，但一些长期悬而未决的难题如今正被攻克。

如果大部分收益可以由非AI因素解释，如果Anthropic的模型对基准测试风格的任务存在过度拟合，或者历史增速本就异常缓慢，那么这一数字也可能偏高。

与此同时，衡量工作正变得越来越困难。Anthropic最新的内部模型Model 4，在其接受测试的全部15项基准上得分均超过50%，这使得下一次跃升更难衡量。METR还指出，Anthropic在每项基准任务上消耗的token数量，少于充分激发模型能力所需的数量，不过它推测，这一情况对新旧模型的影响大致相同。

另外还有一个问题，即公众究竟能看到什么。Anthropic向METR开放的权限超出了该机构的预期，包括内部基准数据、人员编制、代码以及智能体的支出数据，并进行了约15次员工访谈。但Anthropic拥有单方面的删改权，并大量使用了这一权利。中间内部指标、算法进展估算、瓶颈分析、算力、数据与算法之间的进展分解，以及对未来模型的预测，均被从公开报告中删去。Anthropic表示，删改的目的是去除那些可能加快其他开发者进展的信息。METR则表示，它所看到的大部分内容都有多种合理的解读，而且其自身工作人员与Anthropic的研究人员在如何综合这些证据上存在分歧。这使得读者不得不比任何人愿意的程度更多地依赖METR的判断。原定中途进行的一项检查，即Anthropic如何在能力与安全之间分配算力，也已被取消。Anthropic表示，它希望专注于风险问题，并将在之后重新审视此事。

METR的完整报告可在此处查阅。

© Raydn · raydn.us