Os novos modelos *o1* foram projetados para tarefas que exigem múltiplos passos complexos e demonstraram desempenho excepcional em benchmarks desafiadores, especialmente em áreas como programação avançada, matemática e ciências. O *o1-preview* se destacou em tarefas de seguimento de instruções precisas e fluência em espanhol, enquanto o *o1-mini* se mostrou mais eficiente em tarefas de codificação, sendo 80% mais barato que seu predecessor.

1. *o1-preview* lidera em Precise Instruction Following com uma pontuação de 87.27.

2. *o1-mini* ocupa o primeiro lugar no Coding Leaderboard com uma pontuação de 1271.

3. *o1-preview* é o melhor em fluência em espanhol, com uma pontuação de 1119.

Entretanto, os modelos *o1* apresentam limitações em comparação ao *GPT-4o*, pois não suportam funcionalidades como navegação na web ou entrada de imagens. Além disso, a engenharia de prompts precisa ser adaptada, pois os novos modelos não respondem bem a instruções que solicitam raciocínio em cadeia, exigindo um novo conjunto de melhores práticas.

Apesar de suas limitações, os modelos *o1* representam um avanço significativo na capacidade de raciocínio, com resultados impressionantes em benchmarks como AIME e Codeforces, e são considerados ferramentas poderosas para resolver problemas complexos.

Os modelos *o1* da OpenAI marcam um progresso notável em capacidades de raciocínio, mas seu uso eficaz pode exigir mais experimentação do que os usuários estão acostumados. A validação de resultados por meio de avaliações independentes, como as do Scale’s SEAL Leaderboards, é crucial para que desenvolvedores escolham os melhores modelos para suas aplicações.

FONTES:

1. Scale’s SEAL Leaderboards

2. OpenAI technical blog

3. OpenAI documentation

4. Cognition Labs