O artigo discute como os modelos de chat, como o gpt-3.5-turbo e outros modelos de código aberto, utilizam templates específicos para formatar conversas em strings únicas, o que é essencial para otimizar o desempenho durante a previsão. A pesquisa revela que a falta de conformidade com o formato esperado pode levar a degradações de desempenho, mas a eficácia dos templates de chat em benchmarks de avaliação é uma questão em aberto.

1. O estudo utilizou a avaliação Instruction-Following Evaluation (IFEval), que contém 541 prompts para medir a capacidade dos modelos em seguir instruções.

2. Os resultados mostraram que o modelo Nous-Hermes-2-Mixtral-8x7B-DPO teve o melhor desempenho, com uma média de ~63%.

3. O modelo Zephyr-7b-beta, embora tenha sido o de pior desempenho, apresentou o maior aumento de performance com o uso de templates de chat, com um incremento de +39%.

Os resultados indicam que a aplicação de templates de chat tem um impacto positivo na capacidade de seguir instruções em LLMs de código aberto, embora esses modelos ainda estejam atrás de modelos proprietários como o gpt-4, que alcançou uma média de ~81% em avaliações semelhantes.

- A pesquisa sugere que a utilização de templates de chat pode ser uma abordagem promissora para melhorar a eficácia dos modelos de linguagem. - Futuras investigações poderão explorar o impacto dos templates em avaliações gerais e de recuperação de informações.

O autor conclui que, embora os resultados sejam promissores, não se deve esperar que esses efeitos sejam universais em todas as avaliações de LLMs. A pesquisa em avaliações de LLMs é um campo em crescimento, essencial para o desenvolvimento de modelos mais robustos.

Em resumo, a utilização de templates de chat demonstrou um impacto significativo nas pontuações de IFEval, destacando a necessidade de mais pesquisas para entender completamente como essa abordagem pode ser aplicada em diferentes contextos de avaliação.

FONTES:

1. Towards Data Science

2. Hugging Face

3. arXiv

4. GitHub

5. RunPod