Heike Baller ist Rechercheurin und zeigt in Seminaren, wie man effizient und verlässlich recherchiert. Von ihr wollte ich wissen, ob sich KI für die Recherche eignet und uns die Arbeit erleichtern kann oder nicht. Sie hat dazu eine klare Meinung.
Wie stehst du zu künstlicher Intelligenz im Hinblick auf Recherche?
Ich sehe das sehr ambivalent. Bisher ist textgenerative KI kein zuverlässiges Recherchehilfsmittel. Das Phänomen der Halluzination ist ja bekannt: Irgendwelche Sachen werden im Brustton der Überzeugzeugung behauptet, die dann gar nicht stimmen. Ich habe ChatGPT mal über mich befragt. Mal bin ich angeblich Mathematikprofessorin in Paderborn, mal bildende Künstlerin oder ich moderiere sowohl die „Tagesthemen“ als auch das „heute Journal“.
Das sind die Ergebnisse, die du über dich gefunden hast?
Ja, mit textgenerativen Tools, die mit einer Suchmaschine verbunden sind. Ich teste KI regelmäßig, vor allem Tools, die auf Recherche spezialisiert sind. Das sind Tools, die meistens mit einer Suchmaschine verknüpft sind. Leider weiß man nicht, welcher Suchmaschinenindex hinter den Tools steht. Bei den beiden großen Indizes, also bei Bing und bei Google, bleibt sich das Ergebnis relativ gleich. Die sind beide sehr gut. Aber es gibt ja auch Suchmaschinen, die einen eigenen Index haben. Die verraten nicht, welche Suchmaschine hinter diesem Index steckt. Das ist eine Blackbox. Aber das betrifft ja die gesamte Textgenerierung. Selbst die Entwickler wissen nicht, warum bei Input A Output C rauskommt statt Output B.
Auf deinem Blog kann man viele deiner Tests nachlesen. Eingangs hast du allerdings gesagt, KI eignet sich gar nicht zur Recherche. Gibt es da vielleicht noch irgendwelche Kniffe? Oder sollte man die Finger von Recherche mithilfe von KI lassen?
Die KI entwickelt sich die ganze Zeit weiter. Am Anfang lag die Faktentreue von ChatGPT bei knapp 90 Prozent. Dann kam das Bezahltool von ChatGPT mit einer Faktentreue von 95 Prozent. Inzwischen hat auch die kostenlose Version von ChatGPT eine Faktentreue von weit über 95 Prozent, aber eben nicht von 100 Prozent. Du hast kaum eine Chance herauszufinden, welche fünf Prozent nicht stimmen. Ich zitiere in diesem Zusammenhang immer gern Doris Weßels von der TH Kiel. Die hat gesagt: „ChatGPT ist keine Antwort –, sondern eine Inspirationsmaschine.“ Der Satz stimmt heute wie gestern. Diese KIs sind dafür gemacht, Texte zu schreiben.
Werden die Tools mit der Zeit denn besser für die Recherche geeignet?
Es wird besser. Es gibt Tools, die Suchmaschinentreffer einigermaßen sinnvoll mit dem generierten Text verknüpfen. Da sind dann Fußnoten mit Link in den Text integriert. Man kann schauen, ob der Inhalt des Satzes zum verlinkten Beitrag passt. Allerdings ändert sich die Qualität der Tools ständig. „Phind“ beispielsweise war eine ganz Weile ziemlich gut und hat gute Rechercheergebnisse geliefert. Dann wurde es plötzlich total schlecht und unbrauchbar. Mittlerweile ist es sprachlich zwar immer noch nicht wieder besonders schön, aber die Ergebnisse sind wieder einigermaßen verlässlich. So geht das auch bei anderen Tools.
Was sagst du denn den Leuten, wenn Sie dich fragen: „Wie kann ich KI nutzen, um meine Recherche zu erleichtern? Was muss ich beachten, damit ich eben nicht nur Halluzinationen bekomme? Wie erkenne ich diese drei bis fünf Prozent Fehlerhaftigkeit?“
Das läuft auf verdammt viel Arbeit hinaus. Denn du hast einen eloquent formulierten Text, gegebenenfalls mit Fußnoten, aber du musst alles gegenchecken. Eine Arbeitsersparnis ist es nur, wenn du dich in einem Thema wirklich so gut auskennst, dass du von vornherein weißt, dass die Aussagen stimmen. Ich habe für meine Tests Probesätze, die ich nehme. Da kann ich die Qualität der Ergebnisse dann gut einschätzen. Außerdem muss man gucken, welches Tool zu einem passt, und wissen, dass es sich in der Qualität verändern kann. Ich würde KI nur bei Themen zur Recherche nutzen, bei denen ich mich sehr gut auskenne und ich nur schnell etwas verifizieren möchte. Die digitale Kompetenz, um mit KI-Tools auch für die Recherche zu arbeiten, wird immer wichtiger.
Man braucht also immer mehr Vorkenntnisse, um die Ergebnisse einschätzen zu können?
Um die Ergebnisse einschätzen zu können und auch um zu wissen, wie ich mit ihnen umgehe. Bei manchen Tools werden grundsätzlich immer nur zehn Links angezeigt, bei anderen zwischen 14 und 16 Links. Ich muss mich fragen: Wie schnell scanne ich diese Links? Dann werden die Links unterschiedlich angezeigt. Bei manchen kann ich aus dem Link heraus direkt irgendetwas erkennen, manche sind sprechende Links, wie wir sie von Google kennen mit Überschrift, URL und Snippets. Wir sind geübt darin, das relativ schnell zu scannen und zu entscheiden, was wir anklicken und was nicht. Das ist eine digitale Kompetenz. Bei manchen KI-Tools sehen diese Links aber anders aus. Dann muss ich lernen, die Ergebnisse zeitsparend und verlässlich auszuwerten. Und natürlich muss ich stets die Qualität und die Faktentreue im Blick behalten.
Nehmen wir mal an, ich möchte die Qualität von Perplexity einschätzen. Dieses Tools ist recht beliebt und bekannt. Wie finde ich schnell heraus, wie verlässlich die Ergebnisse sind?
Bei einfacher Lektüre findest du das nur heraus, wenn du dich mit deinem Thema sehr gut auskennst. Dann musst du dir die Links anschauen. Was wird zitiert? Was sind das für Quellen? Reicht das Niveau für meine Aufgabe?
Siehst du eine Möglichkeit, mit Prompting die Qualität der Ergebnisse zu verbessern?
Man könnte die Quellen eingrenzen, auf die zugegriffen wird, zum Beispiel auf Nachrichtenseiten des öffentlich-rechtlichen Rundfunks oder was im relevanten Bereich eben als seriös gilt. Dann kriegt man zumindest eine höherwertigere Trefferliste. Man kann sich auch einen kostenlosen Account bei Perplexity zulegen. Im Profil kann man dann etwas über sich erzählen. Dahinter verbirgt sich der Metaprompt. Da könnte man etwas reinschreiben wie: „Ich bin ein neugieriges Wesen auf der Suche nach verlässlichen Informationen. Ich möchte ausgewogene Sprache, seriöse Quellen und das Ganze auf Deutsch.“ So hat Perplexity einen vorgegebenen Rahmen.
Wie schätzt du die Qualität von Perplexity überhaupt aktuell ein?
Im Moment ist Perplexity ziemlich gut. Wie sich der Launch von Deep Seek aus China auswirken wird, muss man noch sehen.
Welche Erfahrungen haben Sie mit KI-Tools bei der Recherche gemacht? Verraten Sie es mir im Kommentar!
Übrigens: Wenn Sie mehr über den Einsatz von KI im Lektorat wissen möchten, kommen Sie doch in meinen Workshop „KI im Lektorat“.