METR是一家独立的AI评估机构，今年秋季曾在Anthropic内部工作11周。该机构估计，目前该公司在定义清晰的任务上改进模型的速度，约为其2024年3月至2025年10月期间的两倍。其最佳估计是，约80%的加速源于AI本身。

这一衡量指标为AECI，即Anthropic版的Epoch Capabilities Index，通过一组基准测试对模型进行评分。METR测算的加速倍数为1.9倍，95%置信区间为1.5倍至2.8倍：过去十二个月的进展，大约相当于历史上两年的水平。该数字随方法变化，范围从1.1倍到2.9倍；若纳入OpenAI、Google和xAI的模型，则降至1.4倍。Anthropic自行公布的数字为1.7倍。

支持这一结论的证据并不扎实。在11名访谈回答可以编码的研究人员中，5人表示或倾向于认为加速达到2倍或以上，4人态度不明确，2人持否定态度。更大的担忧在于累积效应。METR未发现未来12个月内算法、算力或数据方面存在令人信服的瓶颈，并得出结论：进展进一步加快的风险很大。

这一结论难以核实。Anthropic握有单方面删改的权利，并大量使用：瓶颈分析、算法进展估计、算力、数据与算法之间的进展划分，以及对未来模型的预测，均未出现在公开报告中。Anthropic称，这些删减去掉的信息可能会加快其他开发者的进度。METR则表示，其所见的很多内容存在多种合理解读，并且其工作人员与Anthropic的研究人员在如何综合证据上存在分歧。

对投资者而言，悬而未决的问题是：Anthropic、OpenAI、Meta和Google承诺投入的数千亿美元，究竟是换来了真正的能力，还是只换来了更多算力。外部对翻倍的估计，为基础设施扩张的支持者提供了论据，其中包括Anthropic承诺的8950亿美元支出。但这一估计仅基于一家实验室的基准测试，而且Anthropic的最新模型Model 4已在其测试的全部15项基准上得分超过50%，这使得下一次跃升更难衡量。

我们的观点是：一家其模型帮助构建后续模型、又决定外界能看到多少成果的实验室，应当先接受质疑，再获得认可。

© Raydn · raydn.us