Verificado: o que muda quando um terceiro mede

Em 13 de outubro, o Gemini 4 Argon saiu em disponibilidade geral na Gemini API, com model card publicado no mesmo dia: um transformer mixture-of-experts esparso, modelo novo e não ajuste de outro, que recebe texto, imagem, áudio e vídeo e devolve texto, com janela de um milhão de tokens e conhecimento até março de 2026. O preço segue o anunciado em setembro — US$ 2 e US$ 10 até 30 de novembro, o dobro a partir de dezembro —, sem camada gratuita.^1,2,3

No mesmo dia, o ARC Prize publicou a verificação independente do modelo no conjunto semiprivado. No ARC-AGI-3, o Argon marcou 97,5% com o Provider Adapter — o harness que preserva o estado de raciocínio entre requisições e, no caso dele, usa uma gestão de contexto desenhada pelo Google — e 49,8% com o harness padrão. No ARC-AGI-1, 98,5%; no ARC-AGI-2, 91,2%.⁴ A figura 1 o põe ao lado do GPT-6 Astra, verificado em setembro.

Duas leituras. A primeira: no harness que cada laboratório otimiza para o próprio modelo, os dois estão no teto, e a diferença de 2,4 pontos não diz quase nada. A segunda: no harness comum, o Argon fica 13 pontos abaixo do Astra — mas com rodadas que não terminaram, o que o ARC Prize avisa que provavelmente subestima o modelo. A verificação independente não resolveu a questão do harness; deixou-a à vista, com os números e as ressalvas lado a lado. É o que se pode pedir de um terceiro.

Em 19 de outubro, a Vals AI publicou o seu placar do Terminal-Bench 4.0, com um único agente para todos os modelos (mini-SWE-agent), três rodadas por tarefa e até oito horas por tarefa. O Opus 5.5 lidera com 65,15%, seguido do Sonnet 5.5 (64,14%), do GPT-6 Astra (59,60%), do Fable 5.1 (58,08%) e do Gemini 4 Argon (57,58%).⁶ A Artificial Analysis, que também roda tudo no próprio harness, mostra outra ordem na página de avaliação: Sonnet 5.5 com 63,6%, Opus 5.5 com 59,6%.⁷ O placar oficial não recebeu entradas novas na semana.⁸ A figura 2 junta as quatro fontes.

A pergunta prática — qual dos dois usar num agente de terminal — tem resposta diferente conforme a fonte: Opus no placar oficial e na Vals, Sonnet na Anthropic e na Artificial Analysis. A distância entre os dois nunca passa de seis pontos, e nas duas medições de terceiros fica em um e quatro. O que a figura mostra com mais clareza é a dispersão de cada modelo: o Opus 5.5 vai de 59,6% a 65,15% conforme quem mede; o Sonnet 5.5, de 61,8% a 70,6%. Diferenças de harness — o agente, o tempo por tarefa, o acesso à rede, a política de reserva — valem tanto quanto a diferença entre modelos.

Para o painel, o teto continua nos 70,6% autorreportados do Sonnet 5.5, pelo método. O maior número independente da semana é o da Vals, 65,15%, e ele vai ao lado. Sete edições depois, a lição deste indicador é que um teto de benchmark de agente sem o nome de quem mediu é um número sem unidade.

Em 17 de outubro, a DeepSeek lançou o V4.1-Flash-1017, com pesos no Hugging Face, janela de um milhão de tokens, saída de até 384 mil e visão. Ele passou a responder pelo nome deepseek-flash no site, no aplicativo e na API, e os nomes antigos — deepseek-v4-flash e deepseek-v4-flash-vision-exp — também são atendidos por ele. Segundo a empresa, a forma de chamar e o preço não mudaram.¹⁰ A licença dos pesos não estava confirmada até o fechamento.

No nº 2, o problema era um nome fixo passar a apontar para um modelo diferente. Desta vez a troca é para melhor: a Artificial Analysis mediu o 1017 em 45 no índice no esforço máximo, contra 39 do V4.1-Flash de setembro — seis pontos a mais, pelo mesmo preço, sem ninguém mudar uma linha.¹¹ É a mesma mecânica com sinal trocado, e o conselho do nº 2 vale igual: quem tem avaliação própria rodando contra o nome que usa em produção viu a mudança no dia 17; quem não tem descobre pelo comportamento do agente. O 1017 fica a um ponto do MiMo-V2.6-Pro entre os abertos — e, sem licença confirmada, fora do painel.

O mesmo aviso traz uma linha nova na conta: a partir de 31 de outubro, às 16h UTC, as ferramentas de busca e leitura de páginas da API passam a custar US$ 0,75 por mil chamadas.¹⁰ Parece pouco perto do preço dos tokens. O código 1 mostra quando não é.

# deepseek-flash a partir de 31/10: quanto pesa a busca na conta de uma tarefa de agente (US$, horário de pico)
entrada_cheia, entrada_cache, saida = 0.30, 0.006, 1.20   # US$ por milhão de tokens
busca = 0.75 / 1_000                                       # US$ por chamada de Search/Fetch

def tarefa(tokens_in=200_000, tokens_out=8_000, acerto=0.0, buscas=10):
    tokens = (tokens_in * ((1 - acerto) * entrada_cheia + acerto * entrada_cache) + tokens_out * saida) / 1e6
    return tokens, buscas * busca

print(f"{'cache':>6}{'buscas':>8}{'tokens':>9}{'busca':>8}{'busca/total':>13}")
for acerto in (0.0, 0.9):
    for buscas in (5, 10, 20):
        t, b = tarefa(acerto=acerto, buscas=buscas)
        print(f"{acerto:>6.0%}{buscas:>8}{t:>9.4f}{b:>8.4f}{b / (t + b):>13.0%}")

 cache  buscas   tokens   busca  busca/total
    0%       5   0.0696  0.0037           5%
    0%      10   0.0696  0.0075          10%
    0%      20   0.0696  0.0150          18%
   90%       5   0.0167  0.0037          18%
   90%      10   0.0167  0.0075          31%
   90%      20   0.0167  0.0150          47%

Sem cache, dez buscas são 10% da conta da tarefa. Com 90% de acerto no cache — o que o nº 3 recomendou —, a parte dos tokens cai para um quarto, e as mesmas dez buscas passam a ser 31%; vinte buscas, quase metade. Quanto mais barato o token fica, mais o que não é token aparece na fatura. Um agente de pesquisa que faz muitas buscas curtas precisa contar chamadas de ferramenta com o mesmo cuidado com que conta tokens.

Em 15 de outubro, a Anthropic tirou da prévia o modo rápido do Opus 5.5: não é mais preciso pedir acesso nem mandar o cabeçalho de beta, e há um limite de taxa padrão para ele. Custa US$ 8 de entrada e US$ 40 de saída, o dobro do preço normal. O modo rápido do Opus 5 e do Opus 4.8 continua em prévia.¹³ Em 14 de outubro, a xAI pôs o Grok Voice 3.0 na API de voz a US$ 0,08 por minuto, o mesmo preço da versão anterior; é o modelo que hoje lidera o índice de voz da Artificial Analysis.¹⁴ E no dia da edição, a OpenAI passou a oferecer escrita em cache com doze horas de validade, a US$ 5 por milhão de tokens no 6.1 Sol, contra US$ 2,50 para trinta minutos.^15,16 A tabela 1 resume o que cada mudança faz com a conta.

O cache de doze horas é a mudança mais útil para agentes. Com validade de trinta minutos, um agente que fica parado na hora do almoço perde o prefixo e paga a entrada cheia ao voltar; com doze horas, escreve o prefixo uma vez de manhã e lê a 5% do preço até o fim do expediente. A escrita custa o dobro, e só compensa se o prefixo for lido muitas vezes — o que, num agente, é a regra. É a resposta da OpenAI ao problema que o nº 3 descreveu: o cache decide a conta, e um cache que expira cedo demais é dinheiro perdido sem que nada no código pareça errado.

Dias depois do segundo, a ANPD publicou o terceiro relatório parcial do sandbox regulatório de IA, sobre o ciclo 3 de testes, conduzido com o Ciaam, da USP.^17,18 Pela primeira vez há resultados de teste, e não só documentação. A tabela 2 resume as três empresas.

A linha da Prevvine é a que importa fora do sandbox. Trinta casos clínicos simulados, distribuídos por grupos de pacientes, encontraram as falhas que os benchmarks de modelo não medem: resposta inventada, citação de artigo que não existe, link que não abre. E a agência não aceitou a planilha de vinhetas como prova de desempenho clínico nem de ausência de viés, porque os resultados não estavam consolidados.¹⁷ É uma régua de domínio, feita por um regulador brasileiro com uma universidade brasileira, e ela é mais exigente do que qualquer placar citado nesta série. Quem constrói IA para saúde no Brasil tem aqui o melhor modelo público do que vai ser cobrado.

O resto da semana confirmou os prazos. O PL 2338/2023 chegou a sete semanas sem movimento na Câmara; a última tramitação é de 2 de setembro.¹⁹ A sessão do supercomputador de Macaíba segue marcada para 4 de novembro, às 10h.²⁰ O resultado da RHAE IA está previsto para dezembro. O indicador do PBIA fecha a sétima edição em R$ 1,009 bilhão — o mesmo valor desde agosto.