Googles KI-Übersichten stützen sich häufig auf glaubwürdige Websites, doch eine neue Studie ergab, dass 11 Prozent der sachlichen Aussagen in den generierten Zusammenfassungen nicht durch die zitierten Seiten belegt waren. Die als Preprint auf arXiv veröffentlichte Untersuchung analysierte, wie die Funktion Quellen auswählt, Informationen zusammenfasst und sich auf die Websites auswirkt, die dieses Material bereitstellen.
KI-Übersichten erscheinen bei einigen Google-Ergebnissen ganz oben und fassen Informationen aus mehreren Webseiten zu einer einzigen Antwort zusammen. Forschende der Washington University in St. Louis untersuchten das System über einen Zeitraum von 40 Tagen Anfang 2026, indem sie 55.393 aktuelle Suchanfragen aus 19 Themenbereichen durchführten.
Die Funktion erschien in der Studie bei 13,7 Prozent aller Suchanfragen. Sie war deutlich häufiger, wenn Nutzer direkte Fragen eingaben: In diesem Fall wurde sie bei 64,7 Prozent dieser Suchanfragen aktiviert, verglichen mit 9,5 Prozent bei herkömmlichen Stichwortsuchen. Auch je nach Thema unterschied sich die Aktivierung: KI-Übersichten erschienen häufiger bei Suchen zu Hobbys und Wissenschaft und seltener bei politisch sensiblen Themen.
Die Forschenden stellten fest, dass die von KI-Übersichten zitierten Quellen im Allgemeinen höhere Glaubwürdigkeitswerte aufwiesen als die Websites, die in den regulären Ergebnissen auf der ersten Seite angezeigt wurden. Das System griff außerdem seltener auf ungeprüfte nutzergenerierte Inhalte zurück, darunter soziale Medien und Videoplattformen. Allerdings erschienen fast 30 Prozent der zitierten Websites nicht auf der ersten Seite der regulären Ergebnisse. Dies deutet darauf hin, dass die Funktion ein anderes Verfahren zur Auswahl von Informationen verwendet.
Um die Genauigkeit zu bewerten, teilte das Team die Zusammenfassungen in 98.020 sachliche Aussagen auf und nutzte ein automatisiertes Verifikationssystem, um sie mit den zitierten Seiten zu vergleichen. Etwa 11 Prozent der Aussagen waren nicht belegt. In den meisten Fällen fehlten die betreffenden Informationen in der verlinkten Quelle, während ein kleinerer Anteil in direktem Widerspruch zu ihr stand.
Die Verwendung glaubwürdigerer Quellen beseitigte das Problem nicht. Die Studie stellte keinen statistischen Zusammenhang zwischen der Glaubwürdigkeit einer Website und der Frage fest, ob ihre Inhalte korrekt zusammengefasst wurden. Auch die Genauigkeit unterschied sich je nach Thema: Zusammenfassungen zu Gesundheit und Politik schnitten besser ab als solche zu Unterhaltung und Technologie.
Die Analyse untersuchte außerdem die möglichen Auswirkungen auf Verlage. Mehr als die Hälfte der in KI-Übersichten zitierten Seiten enthielt Display-Werbung. Da Nutzer eine Antwort erhalten können, ohne die ursprüngliche Website zu besuchen, könnten Verlage Traffic und die mit diesen Besuchen verbundenen Werbeeinnahmen verlieren. Google zeigt unterdessen weiterhin gesponserte Anzeigen neben den generierten Zusammenfassungen und platziert sie in manchen Fällen darüber.
Die Forschenden wiesen auf Einschränkungen ihres automatisierten Ansatzes hin. Aktuelle Informationen, etwa Wetterdaten, könnten sich zwischen der Erstellung einer Zusammenfassung und der Überprüfung ihrer zitierten Seite durch die Forschenden verändern und dadurch fälschlicherweise als Genauigkeitsfehler erscheinen. Das Team schloss außerdem Websites aus, die eine Authentifizierung erforderten oder den automatisierten Zugriff blockierten. Daher könnten manche Aussagen durch Material belegt gewesen sein, das die Forschenden nicht untersuchen konnten.
Die Autoren der Studie—Haofei Xu, Umar Iqbal und Jacob M. Montgomery—erklärten, dass weitere Forschung erforderlich sei, um festzustellen, wie Nutzer auf KI-Übersichten reagieren, ob sie Zitierfehler bemerken und wie die Zusammenfassungen ihre Überzeugungen zu wichtigen Themen beeinflussen. Die Studie trägt den Titel „Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact.“
Quellen: PsyPost.