Recentemente, a Apple estreou no mundo dos grandes modelos de linguagem (LLMs) com a divulgação de seu modelo chamado Ferret. A empresa, em colaboração com a Universidade de Columbia, lançou silenciosamente um LLM multimodal de código aberto em outubro passado. E o lançamento foi feito diretamente num repositório do GitHub. O artigo sobre o modelo pode ser encontrado aqui.
O que é a inteligência artificial Ferret?
Ferret é um LLM, ou seja, é um modelo de inteligência artificial que lida com entradas e saídas de texto. Bons LLMs como os GPTs da OpenAI ou o Gemini da Google replicam a fala humana e realizam interações bastante intuitivas. Para isso, os LLMs geralmente alimentam um chatbot de IA. Por exemplo, os modelos GPT3.5 e GPT-4 são os LLMs da OpenAI que alimentam o ChatGPT.
No caso da Apple, o Ferret é apenas o LLM. A empresa ainda não lançou um chatbot para acompanhá-lo, o que é essencial para interações com o público. Mas é bem provável que isso acontecerá em breve.
Qual é a diferença do Apple Ferret para outros LLMs?
O Ferret é um sistema de inteligência artificial multimodal. Ele tem como parte de sua estrutura um modelo de código aberto popular chamado CLIP (Contrastive Language–Image Pretraining). Esse modelo foi projetado pela OpenAI para visão computacional e tarefas de classificação de imagens.
O Ferret emprega uma nova representação de região híbrida que integra coordenadas discretas e características contínuas em conjunto para representar uma região numa imagem. Além disso, o modelo conta com um amostrador visual com reconhecimento espacial.
Um dos cientistas da Apple, Zhe Gan, explicou o Ferret como sendo um sistema que pode “referenciar e fundamentar qualquer coisa em qualquer lugar em qualquer granularidade” em uma imagem. O Ferret pode examinar uma região de uma imagem e determinar os elementos dentro dela que são úteis para um usuário em uma consulta. Em seguida, ele pode usar esses elementos como parte de uma consulta.
Segundo os autores, o Ferret também alucina menos do que outros modelos.
Como usar o Apple Ferret?
Para usar o Apple Ferret, navegue até o repositório do GitHub. Ele está completo e possui as instruções de instalação. O repositório GitHub da Apple fornece acesso de código aberto a dois tamanhos diferentes do modelo de IA – Ferret 7B e Ferret 13B.
O lançamento do Ferret para código aberto está sendo realizado sob uma licença CC BY NC 4.0 (permitindo apenas uso não comercial).
