Phi-4 da Microsoft
Recentemente, o campo do processamento de linguagem natural (NLP) testemunhou um avanço significativo com o lançamento do Phi-4. Ele consiste num modelo de linguagem baseado em transformador massivo desenvolvido por pesquisadores da Microsoft. Este modelo de IA possui surpreendentes 14 bilhões de parâmetros. Mas, apesar do tamanho modesto em comparação aos LLMs atuais, ele já superou seus concorrentes em vários benchmarks matemáticos e de raciocínio. Neste post, nos aprofundaremos no funcionamento do Phi-4, seu desempenho impressionante e o que o diferencia de outros grandes modelos de linguagem, como Llama 3.3 70B e Qwen 2.5.
Comparação de desempenho por tamanho de vários LLMs mostrando o Phi-4 no topo (fonte).
Como o Phi-4 alcança seu desempenho inovador
Então, o que diferencia o Phi-4 de seus antecessores? Segundo os pesquisadores, a chave para seu sucesso está na qualidade dos dados de pré-treinamento usados para ajustar o modelo. E não é a primeira vez que a Microsoft aponta a qualidade dos dados como um ponto essencial. Para a versão anterior do Phi, o Phi-3, a empresa já havia apontado para a necessidade de dados bons para garantir um excelente desempenho.
Para o Phi-4, os autores empregaram uma abordagem multifacetada para selecionar seu conjunto de dados:
1. Dados da web de alta qualidade: eles aproveitaram conjuntos de dados e repositórios de textos de alta qualidade, incluindo livros, trabalhos de pesquisa e sites.
2. Conteúdo gerado pelo GPT-4o: os pesquisadores utilizaram o GPT-4o, uma variante do popular modelo GPT, para gerar novos conteúdos, como textos reescritos, exercícios e pares de perguntas e respostas.
3. Ciclo de feedback: o Phi-4 passou por um ciclo de feedback, onde seus resultados foram criticados e novos gerados para melhorar a precisão.
Essa combinação de dados de alta qualidade e técnicas de treinamento inovadoras produziu resultados notáveis, com o Phi-4 superando seus concorrentes em vários benchmarks.
Desempenho de referência
Para analisar o desempenho do Phi-4, os pesquisadores da Microsoft realizaram extensos testes de benchmarking em vários domínios, incluindo matemática, raciocínio, resposta a perguntas e compreensão de leitura. Os resultados são impressionantes. O Phi-4 superou Llama 3.3 70B em seis benchmarks e Qwen 2.5 em cinco. Ele se destacou particularmente nos bechmarks GPQA (perguntas e respostas de nível de pós-graduação) e MATH (problemas de matemática de nível de competição). No entanto, para o DROP (compreensão de leitura) e SimpleQA (respondendo a fatos básicos) o Llama 3.3 70B teve um desempenho superior.
Desempenho do Phi-4 em vários benchmarks (fonte).
Phi-4 e o futuro da IA
O lançamento do Phi-4 é mais um marco na busca por modelos de linguagem mais precisos e capazes. Ao demonstrar a importância de dados de treinamento de alta qualidade, os pesquisadores da Microsoft lançaram luz sobre um aspecto crucial para alcançar um melhor desempenho dos LLMs. À medida que avançamos, é essencial reconhecer que mesmo os modelos mais avançados podem se beneficiar de uma curadoria cuidadosa e técnicas inovadoras. O trabalho dos pesquisadores da Microsoft serve como um lembrete de que ainda há espaço para melhorias na busca pela excelência em IA.
Onde encontrar
O modelo Phi-4 está disponível na plataforma Azure AI Foundry sob uma licença que permite usos não comerciais. Seus pesos também podem ser encontrados na plataforma Hugging Face.
