Mais um lançamento de peso num mês que tem sido impressionante em termos de novidades. Dessa vez, a novidade vem do Facebook/Meta. A empresa acaba de lançar o Llama 3.2.
Novidades do Llama 3.2
Em comparação com as outras versões do Llama, a nova família apresenta várias melhorias importantes e novos recursos. Llama 3.2 inclui modelos multimodais de tamanhos 11B (B = bilhões de parâmetros) e 90B. Os modelos 11B e 90B são os primeiros modelos de IA da Meta que podem processar imagens e textos. Eles devem rivalizar com modelos da OpenAI, Google e Anthropic. Esses modelos podem executar tarefas como análise de tabelas e gráficos, identificação de objetos em imagens e criação de legendas.
Outra novidade é a presença de versões menores, já na escala de pequenos modelos de linguagem. Eles vêm em dois tamanhos (1B e 3B). Ambos são otimizados para dispositivos móveis. Em termos de desempenhos, o modelo 3B bate vários concorrentes de tamanhos similares nos benchmarks (imagem abaixo).
Desempenho do Llama3.2 1B e 3B em comparação com Gemma 2 2B e Phi-3.5 mini (fonte).
Todos os novos LLMs possuem suporte aprimorado para 8 idiomas, incluindo inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Eles também possuem comprimento de contexto expandido. Os modelos Llama 3.2 dão suporte a uma enorme janela de contexto de 128K.
Veja onde encontrar os LLMs
Llama 3.2 está disponível em vários lugares. Ele está disponível para download no llama.com, mas também pode ser obtido na Hugging Face, Ollama e Kaggle. Além disso, os LLMs são acessíveis por meio de várias plataformas de nuvem e serviços de parceiros. As versões abertas permitem ajuste fino e personalização. Por enquanto, elas são os modelos 1B e 3B.
Licença
O Llama 3.2 é lançado sob a Llama 3.2 Community License, que permite uso comercial. A Meta visa permitir que os desenvolvedores criem e redistribuam trabalhos adicionais sobre os modelos Llama. Porém, existem várias condições. Portanto, leia cuidadosamente os termos da licença para se informar.
Llama 3.2 em ação
A forma mais fácil de usar o Llama 3.2 em Python é com Ollama. A plataforma tem duas versões disponíveis no momento: o 3B e o 1B. Para baixar o 3B, digite no terminal:
ollama pull llama3.2
import ollama
# inicia o cliente
client = ollama.Client()
Em seguida, defina seu prompt contendo um contexto e uma instrução:
# prompt com contexto
context = """ seu contexto aqui """
instruction = """ sua instrução aqui """
prompt = f"Context: {context}\n\nQuestion: {instruction}"
Por fim, alimente o modelo com o prompt e imprima a resposta obtida. Depois é só executar o código normalmente como um arquivo Python para obter as respostas.
# especifica o modelo para responder ao prompt
response = client.generate(model="llama3.2", prompt=prompt)
# imprime a resposta
print("Resposta do Llama 3.2:", response['response'])
