AI-zoekmachines citeren bronnen onjuist volgens Columbia-onderzoek

Onderzoekers van het Tow Center for Digital Journalism hebben ontdekt dat AI-zoekmachines vaak foutieve bronvermeldingen geven. Het onderzoek, gepubliceerd in de Columbia Journalism Review begin maart, testte acht verschillende AI-modellen op hun vermogen om correcte informatie te vinden en te citeren. Dit heeft grote gevolgen voor de journalistiek en het publieke vertrouwen in nieuwsbronnen.

Klaudia Jaźwińska en Aisvarya Chandrasekar voerden het onderzoek uit door tien tekstfragmenten van twintig uitgevers door elk AI-zoekmodel te halen. Ze beoordeelden handmatig 1600 zoekresultaten op drie criteria: het correct noemen van de uitgever, het identificeren van het juiste artikel, en het accuraat vermelden van de URL van het artikel.

Verontrustende resultaten
De resultaten waren verontrustend. Perplexity en Perplexity Pro leverden de meest nauwkeurige resultaten, terwijl de Grok-modellen en Gemini moeite hadden met het geven van correcte antwoorden. Maar geen enkel model presteerde goed genoeg om betrouwbaar te zijn als nieuwsbron.

"Chatbots waren over het algemeen slecht in het weigeren antwoord te geven op vragen die ze niet nauwkeurig konden beantwoorden, en boden in plaats daarvan onjuiste of speculatieve antwoorden", verklaren de onderzoekers in een gezamenlijke e-mailreactie. "Generatieve zoekmachines verzonnen vaak links en citeerden overgenomen en gekopieerde versies van artikelen."

Nog verrassender
Nog verrassender was dat betaalde versies van AI-chatbots slechter presteerden dan hun gratis tegenhangers. "Premium chatbots gaven met meer zelfvertrouwen onjuiste antwoorden dan hun gratis varianten", merkten de onderzoekers op. Dit roept vragen op over de betrouwbaarheid van AI-zoekmachines, vooral voor gebruikers die verwachten dat een betaalde dienst betere nauwkeurigheid levert.

Het onderzoek wees ook uit dat AI-zoekmachines worstelen met bronvermeldingen. De diensten verzinnen regelmatig links of verwijzen naar gepubliceerde kopieën van artikelen in plaats van direct naar de originele bronpagina te linken. Dit vermindert het verkeer naar de oorspronkelijke uitgevers, wat op termijn kan leiden tot verminderde paginaweergaven, abonnementen, advertentie-inkomsten en relevantie van publicaties.

Gebrek aan transparantie
Alle onderzochte AI-zoekmachines kampen met een gebrek aan transparantie over welke inhoud wordt gebruikt om antwoorden te genereren. "Geen van de chatbots was openhartig over welke inhoud ze wel of niet konden raadplegen om een vraag te beantwoorden; ze wekten allemaal de illusie van betrouwbaarheid, zelfs wanneer hun antwoorden onnauwkeurig waren", schreven de auteurs.

De onderzoekers hebben geprobeerd contact op te nemen met de bedrijven achter de AI-zoekmachines. "We hebben alle AI-bedrijven benaderd die in het rapport voorkomen. Alleen OpenAI en Microsoft reageerden, en hoewel ze onze vragen erkenden, ging geen van beiden in op de specifieke bevindingen of zorgen die we naar voren brachten", aldus de onderzoekers.

Concrete gevolgen
Deze problemen hebben concrete gevolgen voor de journalistiek en de toegang van het publiek tot betrouwbare informatie. "Wanneer AI-tools citaten verkeerd toewijzen of verzinnen, ondermijnt dit het vertrouwen in de technologie en de journalistiek waarnaar wordt verwezen. Het draagt ook bij aan het risico van desinformatie omdat deze tools gezaghebbend klinken, zelfs wanneer ze het bij het verkeerde eind hebben", verklaren Jaźwińska en Chandrasekar.