Avaliação
Benchmarks, contaminação, leaderboards e a distância entre a nota e o uso real.
Em software científico de verdade, o melhor agente de código resolve menos da metade dos bugs
Quantifica a distância entre leaderboards saturados e engenharia de domínio de verdade — exatamente onde engenheiros vão ser cobrados para colocar agentes a seguir.
SWE-bench: o benchmark de código que saiu de 2% para 97% em três anos — e o que isso diz sobre benchmarks
É o número que todo lançamento cita; saber como ele é medido é a diferença entre ler um anúncio e entendê-lo.
Terminal-Bench: 89 tarefas de terminal verificadas à mão, e o benchmark que substituiu o SWE-bench nos decks de lançamento
É o benchmark que hoje discrimina entre modelos de fronteira em trabalho agentivo — e o que vai aparecer nas próximas manchetes.
Janela de contexto grande não significa contexto usado: modelos perdem o que está no meio
Explica por que “jogar tudo no contexto” falha e por que RAG e ordenação de evidências continuam importando.
A Ilusão do Leaderboard: como a Arena favorece quem testa variantes privadas e tem mais dados
Se um ranking de preferência humana pode ser jogado, “nº 1 na Arena” deixa de ser um argumento de compra.
HELM: a proposta de avaliar modelos em muitos cenários e muitas métricas ao mesmo tempo, não em um número só
É a resposta metodológica ao problema dos benchmarks únicos — e o padrão que qualquer avaliação interna deveria copiar.
DeepSeek-R1: reforço puro, sem exemplos humanos de raciocínio, fez o modelo aprender a se verificar
Definiu a receita de “modelos de raciocínio” abertos que a China vem iterando desde então.