Pesquisas indicam que, apesar da crescente popularidade de chatbots como o ChatGPT, a confiabilidade desses modelos de linguagem é frequentemente questionada. Um estudo recente publicado na revista Nature constatou que, ao escalar os LLMs, a expectativa de melhora em sua performance não se concretizou. Em vez disso, os novos modelos têm demonstrado uma tendência a cometer mais erros em tarefas que anteriormente eram simples.

Os LLMs são considerados versões avançadas do recurso de autocompletar de smartphones, mas, mesmo com um aumento na quantidade de dados e parâmetros, eles não mostram uma melhoria consistente em sua precisão. Enquanto o ChatGPT, por exemplo, tem sido capaz de passar em exames de direito e negócios, suas capacidades em tarefas simples de programação variam drasticamente, com taxas de sucesso que vão de 0,66% a 89%, dependendo da complexidade da tarefa.

Os pesquisadores analisaram diferentes famílias de LLMs e descobriram que, embora os modelos mais recentes tenham melhorado em tarefas de alta complexidade, a precisão em tarefas simples não apresentou progresso, o que pode ser um reflexo do foco dos desenvolvedores em benchmarks mais desafiadores. Ademais, esses modelos tendem a fornecer respostas imprecisas com mais confiança, o que pode enganar os usuários.

1. Os novos LLMs são mais imprecisos em tarefas simples.

2. A confiabilidade dos chatbots diminuiu apesar do aumento de escala.

3. A confiança dos usuários nos modelos é uma preocupação crescente.

4. Pesquisadores estão buscando soluções para melhorar a percepção e confiança nesses sistemas.

5. Os LLMs são úteis, mas devem ser usados com cautela em tarefas críticas.

As conclusões do estudo levantam questionamentos sobre a dependência crescente desses sistemas por parte dos usuários. Os pesquisadores destacam que, apesar dos avanços, a previsibilidade dos LLMs não se alinha às expectativas humanas, resultando em um cenário em que os usuários se sentem confortáveis em confiar em informações que podem ser erradas.

Em resumo, a pesquisa destaca as limitações atuais dos LLMs, alertando sobre os riscos de uma confiança excessiva em suas funcionalidades. A necessidade de conscientização sobre suas falhas é fundamental enquanto os desenvolvedores buscam aprimorar a confiabilidade desses sistemas. Leitores interessados em se manter informados sobre novas descobertas e tendências nesse campo emergente são incentivados a se inscrever em nossa newsletter, onde publicamos diariamente conteúdos atualizados.

FONTES:

1. Nature

2. IEEE Spectrum

3. Lexin Zhou

4. University of Cambridge

5. OpenAI