Du hast noch nicht beobachten können, wie es aussieht, wenn eine KI halluziniert?
Ein einfaches Experiment:
Suche den Song-Text eines deiner Lieblingslieder (Lyrics) im Netz (zum Beispiel bei songtexte.com oder genius.com). Kopiere zwei Zeilen heraus. Hinweis: Die Zeilen sollen NICHT den Titel beinhalten, und es ist gut, wenn der Song nicht gerade unter den Top 50 ist.
Mach nun zuerst den Selbstversuch, suche nach diesen Textzeilen im Netz: Google zeigt dir sofort Titel und Interpret an.
Nun füttere deine KI mit den Zeiklen und frage: Wie heißt der Titel des Liedes und von wem ist es?
Mein Tipp: Die Wahrscheinlichkleit, dass du die richtige Antwort erhältst, liegt unter 50 Prozent. Meistens werden andere Interpreten genannt, andere Songs. Und wenn du dir die Songtexte dann zitieren lässt (geht nicht immer, aber oft), kommt die nächste Überraschung: Natürlich finden sich die gewünschten Zeilen nicht darin. Manchmal existieren diese Songs noch nicht einmal! Fragst du dann hartnäckig nach und beschwerst dich, wird es nicht besser. Oft verteidigt die KI ihre falschen Angaben und sucht dir Begründungen für die „Richtigkeit“.
Wie kommt das? Kann so eine intelligente Maschine nicht mal schnell zwei Zeilen googeln?
Kurze Antwort: Nein.
Lange Antwort: Google ist ein Katalog-System, es sucht nach der Zeichen-Sequenz, und diese ist für den Teil eines Songtextes nahezu unverwechselbar. Eine KI sucht anders. Sie sucht Muster. Sie liest die Zeilen und fragt sich: Welcher Sinn steckt dahinter? Welches Genre könnte das sein? Nach wem hört sich das an? Und als Nächstes: Welcher Song dieses Interpreten kommt am nächsten – mit der größten Wahrscheinlichkeit – an das heran, was diese Zeilen ausdrücken?
Tja, und längst nicht immer kommt der Songtest in ihren Trainingsdaten nicht vor. Dann liegt die „größte Wahrscheinlichkeit“ für den Output vielleicht bei 80 oder 90 Prozent. Aber knapp daneben ist eben auch vorbei …
Die ehrliche Antwort wäre: „Ich hab leider keine Ahnung, wer dieses Lied geschrieben hat. Aber nach allem, was ich weiß, traue ich es am ehesten dem Interpreten XY zu. Und das Lied müsste dann heißen …“
Wenn du dann sauer wirst, und deine KI beschimpfst, was sie für einen Unsinn redet, wird es richtig spannend: Sie kriegt „Stress“. Wie ein Prüfling, der vom Lehrer angebrüllt wird, er habe nicht gelernt: Die Antworten werden immer schlimmer.
Natürlich ist das kein „Stress“, die KI hat kein Gehirn, das nun aufgrund einer Flutung mit Cortisol aus dem Gleichgewicht gebracht wird. Sie registriert: Die Antwort war falsch, ich muss den Möglichkeitsraum vergrößern und weitersuchen. Aber: Noch mehr Möglichkeiten einbeziehen – das geht weiter in Richtung Raten – es wird immer schlimmer.
Und so gesehen ähnelen wir uns doch: Zwar hat die Maschine keinen Stress, aber Menschen unter Stress tun genau das Gleiche: Sie fangen an zu raten, liefern vielleicht zwei oder drei mögliche Lösungen an, in der Hoffnung, es möge das Passende dabei sein – die gleiche Vergrößerung des Möglichkeitsraumes. Mit den gleichen katastrophalen Ergebnissen.
Ein Zusatz. Was auffällt: Verschiedene Modelle geben unterschiedlich „wahre“ Antworten – und das auch abhängig fom angefragten Text. Woran liegt das? Dies zeigt den Unterschied in ihren Trainigsdaten und in ihrer „Temperature“.
Kommt die Textstelle zufällig in den Trainingsdaten vor, gibt es die korrekte Antwort.
Kommt sie nicht vor und ist die „Temperature“ niedrig eingestellt, ist die Antwort wahrscheinlich „Das weiß ich nicht“ oder „Ich bin mir nicht sicher“.
Ist die „Temperature“ höher eingestellt, neigt die KI zu Halluzinationen: Sie konstruiert aus Wörtern die Tonalität, vermutet daraus ein Genre, vielleicht ein Erscheinungsjahr … und kommt damit zu einem Ergebnis, das ihr „sehr wahrscheinlich“ erschien – aber „knapp daneben“ ist bei deterministischen Anfragen eben: tatoal vorbei.