Databricks Lança Treinamento de Modelos Llama 3.1 com Longas Sequências

Inteligência Artificial Tecnologia Inovação

A Databricks anunciou a atualização do Mosaic AI Model Training, que agora suporta o ajuste fino do modelo Llama 3.1 da Meta com um comprimento de contexto de até 131 mil tokens, permitindo que empresas desenvolvam modelos mais especializados e de alta qualidade para sistemas de Geração Aumentada por Recuperação (RAG) e uso de ferramentas.

Create a 2D, flat illustration in a corporate style, on a plain white and textureless background. Visualize a modern workspace populated with diverse technology professionals of various descents, such as Hispanic and South Asian, who are fine tuning an AI model on their computers. Show on the computer screens, diagrams and data related to the Llama 3.1 model. Surround the scene with visual elements that represent data and Artificial Intelligence, such as electronic circuits and performance graphs. Facilitate a realistic tech work environment, showcasing the high-quality infrastructure required for model training like modern computers.

Imagem gerada utilizando Dall-E 3

Com a nova capacidade de suporte a longas sequências, a Databricks busca atender à demanda de seus clientes que frequentemente enfrentam limitações de comprimento de contexto em análises de múltiplos documentos e sistemas de RAG. O modelo Llama 3.1, com seu comprimento de 131 mil tokens, é comparável a obras literárias extensas, como 'O Grande Gatsby', que possui cerca de 72 mil tokens.

O ajuste fino permite que os clientes utilizem seus próprios dados empresariais para especializar modelos existentes. Técnicas recentes, como o Ajuste Fino Aumentado por Recuperação (RAFT), combinam o ajuste fino com RAG para melhorar a qualidade da saída ao ignorar informações irrelevantes. Isso é especialmente útil para integrar ferramentas e APIs específicas das empresas.

A plataforma de Inteligência de Dados da Databricks oferece um ambiente seguro para a construção de sistemas de IA de alta qualidade. A implementação de paralelismo de sequência, que distribui a memória de ativação entre múltiplas GPUs, é uma das inovações que possibilitam o treinamento eficiente de modelos com longas sequências.

A atualização do Mosaic AI Model Training representa um avanço significativo na capacidade de personalização de modelos de IA, permitindo que empresas aproveitem dados extensos para criar soluções mais eficazes. Com a crescente demanda por modelos de IA que possam lidar com grandes volumes de dados, essa inovação pode ter um impacto duradouro na forma como as empresas utilizam a inteligência artificial.