A METR, um grupo independente de avaliação de IA que passou onze semanas dentro da Anthropic neste outono, estima que a empresa agora está aprimorando seus modelos em tarefas bem especificadas a cerca de duas vezes o ritmo que alcançou entre março de 2024 e outubro de 2025. Sua melhor estimativa é que cerca de 80% da aceleração se deve à própria IA.

A medida é o AECI, a versão da Anthropic do Epoch Capabilities Index, que avalia modelos em um conjunto de benchmarks. A METR coloca a aceleração em 1,9x, com um intervalo de confiança de 95% de 1,5x a 2,8x: cerca de dois anos de progresso histórico nos últimos doze meses. O número muda conforme o método, de 1,1x a 2,9x, e cai para 1,4x quando modelos da OpenAI, do Google e da xAI são incluídos. O número publicado pela própria Anthropic é 1,7x.

As evidências de apoio são frágeis. Dos onze pesquisadores cujas respostas de entrevista puderam ser codificadas, cinco disseram sim, ou se inclinaram para o sim, a uma aceleração de 2x ou mais; quatro ficaram indefinidos e dois disseram não. A preocupação maior é o efeito cumulativo. A METR não encontrou gargalo convincente em algoritmos, computação ou dados nos próximos 12 meses, e conclui que há um risco significativo de que o progresso fique ainda mais rápido.

Essa conclusão é difícil de verificar. A Anthropic detinha direitos unilaterais de supressão de conteúdo e os usou intensamente: a análise de gargalos, as estimativas de progresso algorítmico, a divisão do progresso entre computação, dados e algoritmos e as previsões para modelos futuros estão todos ausentes do relatório público. A Anthropic afirma que os cortes removem informações que poderiam acelerar outros desenvolvedores. A METR diz que grande parte do que viu admitia várias interpretações plausíveis e que sua equipe e os pesquisadores da Anthropic discordam sobre como juntar as evidências.

Para investidores, a questão em aberto é se as centenas de bilhões comprometidos pela Anthropic, pela OpenAI, pela Meta e pelo Google compram capacidade real ou apenas mais computação. Uma estimativa externa de duplicação dá aos defensores da expansão da infraestrutura algo a apontar, incluindo os US$ 895 bilhões em compromissos de gastos da Anthropic. Mas ela se apoia nos benchmarks de um único laboratório, e o modelo mais novo da Anthropic, o Model 4, já supera 50% em todos os 15 testes a que foi submetido, o que torna o próximo salto mais difícil de medir.

Nossa visão: um laboratório cujos modelos ajudam a construir seus sucessores, e que decide o que é visto de fora sobre o resultado, deveria esperar ceticismo antes de conceder crédito.

© Raydn · raydn.us