As Visões gerais de IA do Google frequentemente se baseiam em sites confiáveis, mas um novo estudo constatou que 11% das afirmações factuais em seus resumos gerados não eram respaldadas pelas páginas citadas. A pesquisa, publicada como pré-print no arXiv, examinou como o recurso seleciona fontes, resume informações e afeta os sites que fornecem esse material.
As Visões gerais de IA aparecem no topo de alguns resultados do Google, onde combinam informações de várias páginas da web em uma única resposta. Pesquisadores da Washington University in St. Louis avaliaram o sistema durante 40 dias no início de 2026, realizando 55.393 consultas em alta em 19 áreas temáticas.
O recurso apareceu em 13,7% de todas as pesquisas do estudo. Foi muito mais comum quando os usuários inseriram perguntas diretas, sendo ativado em 64,7% dessas consultas, em comparação com 9,5% das pesquisas convencionais por palavras-chave. A ativação também variou de acordo com o tema: as Visões gerais de IA apareceram com mais frequência em pesquisas sobre hobbies e ciência e com menos frequência em assuntos politicamente sensíveis.
Os pesquisadores constataram que as fontes citadas pelas Visões gerais de IA geralmente tinham índices de credibilidade mais altos do que os sites exibidos nos resultados padrão da primeira página. O sistema também dependia menos de conteúdo não avaliado gerado por usuários, incluindo redes sociais e plataformas de vídeo. No entanto, quase 30% dos sites citados não apareciam na primeira página dos resultados regulares, indicando que o recurso utiliza um processo diferente para selecionar informações.
Para avaliar a precisão, a equipe dividiu os resumos em 98.020 afirmações factuais e usou um sistema automatizado de verificação para compará-las com as páginas citadas. Cerca de 11% das afirmações não tinham respaldo. A maioria envolvia informações ausentes na fonte vinculada, enquanto uma parcela menor entrava diretamente em conflito com ela.
O uso de fontes mais confiáveis não eliminou o problema. O estudo não encontrou relação estatística entre a credibilidade de um site e a precisão com que seu conteúdo era resumido. A precisão também variou entre os temas, com resumos sobre saúde e política apresentando desempenho melhor do que aqueles sobre entretenimento e tecnologia.
A análise também examinou o possível efeito sobre os editores. Mais da metade das páginas citadas nas Visões gerais de IA continha publicidade gráfica. Como os usuários podem obter uma resposta sem visitar o site original, os editores podem perder tráfego e a receita publicitária associada a essas visitas. Enquanto isso, o Google continua exibindo anúncios patrocinados ao lado dos resumos gerados e, em alguns casos, coloca anúncios acima deles.
Os pesquisadores identificaram limitações em sua abordagem automatizada. Informações em tempo real, como dados meteorológicos, poderiam mudar entre a criação de um resumo e a análise, pelos pesquisadores, de sua página citada, produzindo falsos erros de precisão. A equipe também excluiu sites que exigiam autenticação ou bloqueavam o acesso automatizado, o que significa que algumas afirmações poderiam ter sido respaldadas por materiais que os pesquisadores não conseguiram examinar.
Os autores do estudo — Haofei Xu, Umar Iqbal e Jacob M. Montgomery — disseram que são necessárias mais pesquisas para determinar como os usuários respondem às Visões gerais de IA, se percebem erros nas citações e como os resumos influenciam crenças sobre assuntos importantes. O artigo intitula-se “Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact.”
Fontes: PsyPost.