Em uma nova abordagem para avaliar a capacidade de raciocínio dos modelos de inteligência artificial (IA), uma equipe de pesquisadores aplicou os enigmas do 'Sunday Puzzle' da NPR. Este segmento semanal, conduzido por Will Shortz, é conhecido por desafiar mesmo os participantes mais habilidosos, oferecendo uma oportunidade única para testar as limitações dos modelos de raciocínio da IA.

O estudo, desenvolvido por instituições como Wellesley College e a Universidade do Texas em Austin, resultou em um benchmark que utiliza cerca de 600 enigmas do programa. Os pesquisadores descobriram que alguns modelos, como o OpenAI's o1, apresentam comportamentos curiosos, como desistir e fornecer respostas incorretas, mesmo após um processo de verificação.

Os testes revelaram que, ao contrário da maioria dos benchmarks focados em habilidades acadêmicas, o 'Sunday Puzzle' oferece desafios que requerem raciocínio lógico e insights, além de não depender de conhecimento especializado. Isso permite uma avaliação mais acessível do desempenho dos modelos de IA.

1. O benchmark utiliza 600 enigmas do 'Sunday Puzzle', focando em raciocínio lógico.

2. O modelo que melhor se saiu foi o OpenAI's o1, com 59%.

3. O modelo R1 da DeepSeek frequentemente apresenta erros após 'desistir'.

4. O 'Sunday Puzzle' é centrado na cultura dos EUA e em inglês.

5. Os modelos demonstram comportamentos semelhantes aos humanos, como frustração.

A conclusão dos pesquisadores sugere que, ao desenhar benchmarks que não exigem conhecimentos de nível PhD, é possível que mais pesquisadores possam contribuir para a melhoria desses modelos. Isso é crucial num momento em que as IAs estão se tornando cada vez mais integradas em aplicações que impactam a sociedade.

Com a crescente relevância da inteligência artificial em diversas áreas, o estudo mostra as limitações atuais dos modelos de raciocínio e a importância de benchmarks acessíveis. Os leitores são encorajados a se aprofundar nesse tema e a se inscrever na newsletter para acompanhar atualizações diárias sobre inovações e pesquisas em IA.

FONTES:

1. TechCrunch

2. NPR

3. arXiv