Na era da informação e do big data, as notícias se sucedem a cada instante. Navegar nesse turbilhão para entender tendências emergentes é praticamente impossível para nós humanos. Mas extrair informações de quantidades enormes de dados é uma das capacidades principais da inteligência artificial (IA). Neste post, ilustraremos como técnicas bem simples de processamento de linguagem natural são suficientes para criar retratos do momento apenas analisando as manchetes dos principais jornais.
Análise de notícias com inteligência artificial
O objetivo desse post é ilustrar como técnicas simples de processamento de linguagem natural e inteligência artificial são capazes de fornecer percepções sobre o momento atual. Para isso, coletamos os títulos das manchetes dos principais jornais, revistas e portais de notícias do Brasil. Fizemos coletas nos seguintes dias: 23/02/2024, 25/02/2024 e 27/02/2024.
Os títulos obtidos foram pré-processados com extração de palavras de parada, tokenização, lematização e outras técnicas comuns para essa etapa (aqui). Também fizemos análises de reconhecimento de entidade nomeada com spaCy.
Word Clouds
A primeira técnica de análise que usamos foi a criação de word clouds. Essa é uma técnica de visualização que capta eficientemente um contexto através de palavras. Seu funcionamento é bem direto. Primeiro, ela calcula o número de ocorrências das palavras presentes num corpus. A partir dos valores calculados, ela atribui tamanhos de fontes para as palavras proporcionais às suas importâncias no corpus. Palavras mais importantes são mostradas com tamanhos maiores. Veja as imagens obtidas para as datas mencionadas.
Será que isso já é suficiente para criar um retrato do Brasil nesses dias?
Bag-of-Words
Em seguida, utilizamos Bag-of-Words para extrair as palavras mais importantes dos títulos das manchetes e criar gráficos de barras. Os resultados obtidos foram normalizados para facilitar as comparações entre gráficos. Cada gráfico abaixo mostra as 20 palavras mais importantes em cada dia.
Por fim, aplicamos Bag-of-Words para uma lista das entidades nomeadas reconhecidas. Separamos as 10 mais importantes em cada dia para criar os gráficos abaixo.
Precisa discutir que assuntos andam dominando o Brasil?
