O que são modelos pequenos de linguagem (SLMs)?
Modelos grandes de linguagem (LLMs) como o GPT-4 estão transformando as empresas com sua capacidade de automatizar tarefas e fornecer respostas rápidas e humanas que aprimoram as experiências do usuário. No entanto, seu amplo treinamento em diversos conjuntos de dados pode resultar em falta de personalização para necessidades específicas das empresas. É nesse tipo de contexto que os modelos pequenos de linguagem (small language models, SLMs) revelam parte de seu potencial.
Assim como um LLM, um modelo pequeno de linguagem é um tipo de inteligência artificial (IA) projetada para processar e entender a linguagem natural. No entanto, um SLM é uma versão mais focada de um LLM como o GPT-4. SLMs são projetados para executar tarefas específicas que envolvem a compreensão e a geração de textos semelhantes aos humanos.
Diferentemente dos LLMs, os SLMs são treinados em conjuntos de dados mais focados, adaptados às necessidades exclusivas de empresas individuais. Quando ajustados para domínios específicos, os modelos pequenos de linguagem alcançam uma compreensão de linguagem próxima aos LLMs. E o bom desempenho dos SLMs vem com beneficios adicionais como menor latência e maior adaptabilidade.
Economia, eficiência e segurança
Em comparação aos LLMs, modelos pequenos de linguagem são melhores em lidar com tarefas mais específicas, como chatbots, classificação de textos, análise de sentimentos e geração básica de textos. E as vantagens de se usar um SLM para essas tarefas são muitas.
Os modelos pequenos de linguagem são mais eficientes computacionalmente do que os LLMs. Eles precisam de menos poder computacional e dados para treinar sendo ideais para operar em dispositivos com recursos limitados. Consequentemente, SLMs são mais acessíveis, rápidos e fáceis de implantar. Esse ponto é especialmente importante para empresas que não podem pagar pelos vastos recursos de modelos maiores.
Os SLMs são geralmente de 5 a 10 vezes menores que um LLM. Portanto, eles consomem muito menos energia. Eles também podem ser hospedados em uma única unidade de processamento gráfico. E isso é um grande benefício econômico.
Gráfico mostrando a relação entre qualidade e tamanho de alguns modelos de linguagem (fonte).
Como são computacionalmente mais eficientes do que os LLMs, os modelos pequenos de linguagem têm menor latência para executar suas tarefas. Esse ganho em velocidade os torna mais adequados para tarefas que precisam ser executadas em tempo real.
Em termos de segurança e privacidade, os modelos pequenos de linguagem tendem a ser mais seguros do que seus equivalentes maiores. Como eles podem operar localmente, não é preciso trocar dados com servidores externos, reduzindo os riscos de violação de dados confidenciais. Grandes modelos de linguagem são mais suscetíveis a hacks, pois geralmente processam dados em nuvens.
As técnicas empregadas para a compactação de SLMs
Várias técnicas de podem ser empregadas no desenvolvimento de modelos pequenos de linguagem. A maioria se concentra em reduzir o tamanho dos modelos e seus requisitos computacionais, mantendo seus desempenhos. Entre as principais técnicas estão:
Treinamento específico de domínio: ao se concentrar em tarefas ou domínios específicos, os SLMs podem ser adaptados para exigir menos parâmetros e menos dados. Essa especialização permite que os modelos tenham bons desempenhos em suas áreas de destino sem a necessidade de uma arquitetura ampla e de uso geral.
Compactação do modelo: envolve reduzir o tamanho de um modelo, eliminando parâmetros redundantes ou compactando sua arquitetura. Técnicas como poda, que remove partes desnecessárias do modelo, são comumente usadas.
Destilação do Conhecimento: técnica bastante comum e de sucesso. Nela, um modelo menor (aluno) é treinado para imitar o comportamento de um modelo maior e mais complexo (professor). O modelo menor aprende a aproximar as saídas do modelo maior, capturando efetivamente seu conhecimento de uma forma mais compacta.
Quantização de parâmetros: esta técnica reduz a precisão dos parâmetros de um modelo, diminuindo assim a memória e os recursos computacionais necessários. Por exemplo, reduzir a largura de bits dos parâmetros de 32 bits para 16 bits pode reduzir significativamente o uso de recursos computacionais.
Exemplos notáveis de SLMs
Phi-3 Mini
O Phi-3-mini da Microsoft se destaca como um exemplo notável de SLM. Com 3,8 bilhões de parâmetros e treinados em 3,3 trilhões de tokens, ele rivaliza com modelos maiores como Mixtral 8x7B e GPT-3.5. É pequeno o suficiente para implantação em telefones e se destaca devido ao seu conjunto de dados, composto por dados da web fortemente filtrados e dados sintéticos, garantindo robustez, segurança e adaptabilidade. Isso mostra o potencial de modelos pequenos em aplicações especializadas e mais amplas. Para verificar esse potencial na prática, você pode executar o Phi-3 mini diretamente com Python como mostrado aqui.
DistilBERT
DistilBERT é uma versão leve e eficiente do modelo de linguagem BERT, desenvolvido pela Hugging Face. Ele foi projetado para executar tarefas de processamento de linguagem natural com recursos computacionais reduzidos, mantendo o desempenho competitivo do BERT. O DistilBERT tem 40% menos parâmetros do que o modelo BERT original. Ele retém mais de 95% do desempenho do BERT em benchmarks de compreensão de linguagem. O modelo é um exemplo famoso de compactação realizada com destilação de conhecimento. Através dessa técnica, o DistilBERT aprendeu a imitar o comportamento do modelo maior (BERT) usando as saídas do modelo maior como alvos de treinamento. Com esse treinamento, o DistilBERT adquiriu o conhecimento essencial do BERT com uma arquitetura mais compacta e econômica. O modelo destilado pode ser acessado aqui.
Gemma 2 2B
Recém-lançada pelo Google, Gemma 2 é a mais nova família de LLMs abertos de última geração. Os modelos Gemma 2 são modelos de linguagem de texto para texto com pesos abertos para variantes pré-treinadas e variantes ajustadas por instrução.
Esses modelos são adequados para uma variedade de tarefas de geração de texto, incluindo resposta a perguntas, resumo e raciocínio. Entre os vários modelos da família Gemma 2 destaca-se um SLM de apenas 2B de parâmetros. Construído a partir da arquitetura Gemma 1 usada nos modelo Gemini, o pequeno modelo Gemma 2 2B é altamente capacitado. Se você quiser conhecer melhor esse modelo, clique aqui. Para usá-lo com Python, clique aqui.
Aplicações comerciais dos modelos pequenos de linguagem
SLMs como Phi-3 mini e Gemma 2 2B, possuem recursos avançados para aprimorar significativamente várias operações com IA. Entre suas múltiplas aplicações destacam-se as seguintes tarefas:
Chatbots: muitas empresas estão usando modelos pequenos de linguagem para alimentar seus chatbots. Os SLMs podem fornecer suporte instantâneo ao cliente e responder a perguntas comuns com eficiência.
Assistentes virtuais: SLMs podem ser usados para criar assistentes virtuais para auxiliar os usuários em tarefas como agendar compromissos, encontrar informações ou controlar dispositivos domésticos inteligentes.
Recuperação de informações: modelos pequenos de linguagem se destacam na pesquisa e resumo de grandes volumes de texto para extrair informações pertinentes rapidamente.
Marcação e agrupamento de documentos: classifique e agrupe rapidamente qualquer texto nos metadados necessários com o auxílio da IA.
Conclusões
Desde seu surgimento, os LLMs estão revolucionando como interagimos com a IA. Porém, apesar de seus recursos avançados, eles apresentam desafios. O uso de LLMs em aplicativos envolve custos significativos de infraestrutura e chamadas de APIs. Para pessoas de países como o Brasil, isso é um impedimento considerável.
Os SLMs, por outro lado, são mais econômicos, acessíveis e fáceis de gerenciar. Vários lançamentos recentes, como Qwen2 e Gemma 2, possuem licenças permissivas, aumentando muito a acessibilidade às novas tecnologias de ponta. Por causa dessas vantagens, os pequenos modelos de linguagem estão abrindo um mundo de possibilidades. À medida que a tecnologia continua avançando, podemos esperar coisas ainda mais incríveis desses modelos de IA minúsculos. E, evidentemente, participaremos ativamente desse avanço.
