No campo em rápida evolução da geração de imagens a partir de texto, a qualidade dos modelos é fortemente influenciada por datasets que capturam as preferências humanas. Estes dados subjetivos são essenciais para medir e treinar modelos de forma eficaz. No entanto, reunir um dataset robusto apresenta um desafio significativo, pois exige um grande número de anotadores, o que tradicionalmente envolve altos custos.

Reconhecendo essa dificuldade, a comunidade 'Data is better together' do Huggingface decidiu agir. Eles lançaram um chamado aberto para coletar preferências para 17 mil pares de imagens, e em menos de 48 horas, conseguiram reunir 170 mil preferências de 49 mil annotadores ao redor do mundo. O dataset é composto por imagens geradas a partir de prompts refinados e filtrados, utilizando modelos como Flux e Stable Diffusion.

O dataset não apenas fornece uma quantidade significativa de preferências, mas também apresenta uma diversidade de anotadores, permitindo uma análise mais profunda das preferências em relação às imagens. Os resultados destacam diferenças nas preferências entre modelos, com o modelo FLUX sendo preferido para Anime e Manga, enquanto o Stable Diffusion foi favorecido em outras categorias.

1. Coleta de 170 mil preferências em 2 dias.

2. Utilização de 49 mil anotadores de diversos países.

3. Geração de imagens com prompts filtrados e refinados.

4. Análise de desempenho dos modelos FLUX e Stable Diffusion.

5. Menor viés de anotador em relação a datasets anteriores.

A diversidade de anotadores e a quantidade de preferências coletadas permitem que este novo dataset traga uma perspectiva mais abrangente sobre os critérios que influenciam a preferência, como estilo e coerência. A análise também sugere que o dataset pode ser uma base valiosa para o treinamento e ajuste de novos modelos.

Em resumo, o lançamento do Open Preferences Dataset V1 pela comunidade Huggingface representa um avanço significativo na área de geração de imagens a partir de texto, promovendo maior qualidade e diversidade. Este dataset não só é um recurso valioso para pesquisadores e desenvolvedores, mas também abre portas para entendimentos mais profundos sobre as preferências humanas na avaliação de imagens. Para se manter atualizado sobre esses e outros desenvolvimentos no campo da inteligência artificial, inscreva-se em nossa newsletter e descubra conteúdos novos diariamente.

FONTES:

1. Huggingface Blog

2. Open Preferences Dataset

3. Rapidata