„Ein Mensch kann versagen, ein Roboter niemals.“ – Warum KI Fehler macht

„Ein Mensch kann versagen, ein Roboter niemals.“ ist ein Zitat.

Ich bin ein Fan der deutschen Science-Fiction-Serie Raumpatrouille – Die phantastischen Abenteuer des Raumschiffes Orion. Die Serie wurde 1966 erstmals ausgestrahlt und ist heute nicht nur ein Stück deutscher Science-Fiction-Geschichte, sondern auch ein interessantes Zeitzeugnis dafür, wie man sich Mitte der 1960er-Jahre die Zukunft vorstellte.

Natürlich muss man Raumpatrouille Orion im Kontext ihrer Entstehungszeit betrachten. Vieles wirkt aus heutiger Sicht geradezu charmant naiv, manches erstaunlich visionär. Die Serie erzählt aber nicht nur von Raumschiffen, Außerirdischen und einer technisch hochentwickelten Zukunft. Immer wieder geht es auch um ein Thema, das heute aktueller ist denn je: Wie viel Vertrauen dürfen wir Maschinen entgegenbringen?

Dazu gibt es einen Dialog zwischen Oberst Villa und General Wamsler, der mir besonders im Gedächtnis geblieben ist:

Oberst Villa: „Ein Mensch kann versagen, ein Roboter niemals.“
General Wamsler: „Ach, Sie sagen das so, als sei das bei einem Roboter Charaktersache.“
Oberst Villa: „Nein, im Gegenteil: beim Menschen. Die Handlungen eines Menschen hängen von seinem Charakter ab. Die Handlungen eines Roboters nur von seinem Gehirn. Und das haben wir ja Gott sei Dank unter Kontrolle.“
General Wamsler: „Jetzt tun Sie nur nicht so, als ob ein Elektronengehirn nicht auch gelegentlich versagen könnte.“
Oberst Villa: „Ja, natürlich ist das möglich, aber: Wenn ich zwischen zwei Möglichkeiten die Wahl habe, dem Versagen eines Elektronengehirns oder dem Versagen eines menschlichen Charakters, dann möchte ich doch der zweiten Möglichkeit den Vorzug geben.“
General Wamsler: „Ich wünsche von Herzen, dass Ihr Glaube an die Unfehlbarkeit der Maschinen einmal gründlich enttäuscht wird.“
Oberst Villa: „Wünschen Sie sich das lieber nicht, General. Unsere Weltraumherrschaft, unsere ganze Sicherheit überhaupt hängt ja größtenteils von Robotern ab.“
General Wamsler: „Das weiß ich, ich bin schließlich auch nicht von gestern. Nur möchte ich nicht behaupten, dass ich mich sonderlich wohl dabei fühle.“

/^{aus: Raumpatrouille. Folge 3 (ca. 33:07-34:02) ARD, Bavaria Film Atelier 1966}.

Der Dialog ist bemerkenswert, weil er zwei gegensätzliche Haltungen gegenüber Technik zusammenbringt.

Villa vertraut der Maschine. Für ihn ist der Mensch das unsichere Element: Menschen haben Charakter, Emotionen, Interessen und Schwächen. Maschinen dagegen folgen ihrer Programmierung. Wenn ihr „Gehirn“ unter Kontrolle ist, erscheint ihr Verhalten berechenbarer.

Wamsler sieht genau darin das Problem. Er bestreitet nicht, dass Maschinen leistungsfähig sein können. Aber er misstraut der Vorstellung ihrer Unfehlbarkeit.

Und genau an diesem Punkt wird ein Dialog aus einer Science-Fiction-Serie von 1966 erstaunlich modern.

Die Maschine ist nicht automatisch besser als der Mensch

Der Satz „Ein Mensch kann versagen, ein Roboter niemals“ klingt zunächst nach einer klaren Gegenüberstellung:

Mensch = fehleranfällig.
Maschine = fehlerfrei.

Nur stimmt diese Gleichung nicht.

Eine Maschine hat keinen eigenen Anspruch auf Wahrheit. Sie ist kein Garant für richtige Entscheidungen, nur weil sie eine Maschine ist.

Ein Taschenrechner kann sich verrechnen, wenn seine Hardware defekt ist. Ein Computerprogramm kann einen Fehler enthalten. Ein Navigationssystem kann falsche Daten verarbeiten. Eine automatische Steuerung kann aufgrund eines Sensorsignals eine falsche Entscheidung treffen.

Und auch ein Roboter ist letztlich kein autonomes Wesen, das aus sich heraus „richtig“ oder „falsch“ definiert. Er arbeitet innerhalb der technischen Voraussetzungen, die Menschen geschaffen haben.

Das gilt auch für künstliche Intelligenz – allerdings mit einer wichtigen Einschränkung: Moderne KI-Systeme sind nicht einfach Programme, in denen Menschen für jede mögliche Situation eine konkrete Antwort einprogrammiert haben.

Gerade bei maschinellem Lernen entstehen die späteren Fähigkeiten eines Systems aus einer Kombination aus Modellarchitektur, Trainingsverfahren, Trainingsdaten, menschlichen Vorgaben und weiteren technischen und organisatorischen Rahmenbedingungen. Ein KI-System kann deshalb Ergebnisse erzeugen, die kein Entwickler vorher konkret formuliert hat.

Das macht es leistungsfähig. Es macht es aber nicht unfehlbar.

Künstliche Intelligenz ist viel älter als ChatGPT

Damit sind wir bei einem Begriff, der heute beinahe allgegenwärtig ist: Künstliche Intelligenz – Artificial Intelligence, AI.

Auch hier lohnt sich ein Blick zurück.

Der Begriff „artificial intelligence“ wurde 1956 im Zusammenhang mit dem Dartmouth Summer Research Project on Artificial Intelligence geprägt. John McCarthy und andere Wissenschaftler wollten damals untersuchen, ob sich Aspekte menschlicher Intelligenz so genau beschreiben lassen, dass Maschinen sie simulieren können.

Das ist bemerkenswert, denn 1956 war noch lange niemand in der Lage, eine KI wie ChatGPT zu bauen.
Die Idee ist also rund sieben Jahrzehnte älter als die heutigen großen Sprachmodelle.

ChatGPT, Claude, Copilot und ähnliche Systeme sind keine Erfindung einer völlig neuen Idee. Sie sind vielmehr das Ergebnis einer langen Entwicklung in Informatik, Statistik, maschinellem Lernen, neuronalen Netzen und Rechenhardware.

Und genau deshalb ist es auch falsch, künstliche Intelligenz mit den heutigen Chatbots gleichzusetzen.

Ein Sprachmodell ist eine bestimmte Form eines KI-Systems. Ein Roboter wiederum ist zunächst einmal eine Maschine, die physisch mit der Welt interagiert. Ein Roboter kann KI verwenden – muss es aber nicht. Und eine KI kann existieren, ohne überhaupt einen Roboter zu steuern.

Die Begriffe werden im Alltag gerne vermischt. Technisch sind sie jedoch nicht dasselbe.

Und dann kam die vermeintlich intelligente Maschine

Mit generativer KI hat sich unser Verhältnis zu Computern noch einmal verändert. Ein klassisches Computerprogramm funktioniert vereinfacht gesagt nach Regeln, die Menschen festgelegt haben.

Bei einem großen Sprachmodell ist die Situation anders. Es wurde anhand großer Mengen von Daten trainiert und lernt statistische Zusammenhänge in Sprache. Bei der Erzeugung einer Antwort werden auf Grundlage des Modells Wahrscheinlichkeiten verwendet, um eine passende Fortsetzung zu erzeugen.

Das führt zu einer erstaunlichen Fähigkeit:

Die Maschine kann Antworten formulieren, die wirken, als hätte sie etwas verstanden.
Und genau hier liegt eine der größten Gefahren.

Denn sprachliche Sicherheit ist nicht dasselbe wie faktische Sicherheit.

Ein Sprachmodell kann einen vollkommen überzeugenden Absatz schreiben und trotzdem eine falsche Jahreszahl nennen. Es kann eine nicht existierende Quelle erfinden. Es kann zwei Personen miteinander verwechseln. Es kann eine korrekte Information mit einer falschen kombinieren.

Das ist kein theoretisches Randproblem.

Das amerikanische National Institute of Standards and Technology (NIST) beschreibt dieses Phänomen bei generativer KI als „confabulation“: Systeme können falsche oder fehlerhafte Inhalte erzeugen und diese überzeugend darstellen.

Auch OpenAI weist ausdrücklich darauf hin, dass ChatGPT falsche oder irreführende Antworten erzeugen kann – teilweise sogar mit großer Sicherheit im Tonfall. Deshalb sollen wichtige Informationen anhand zuverlässiger Quellen überprüft werden.

Das Entscheidende ist also nicht, dass eine KI Fehler machen kann. Das wissen wir mittlerweile.

Das Entscheidende ist, wie leicht wir ihr einen Fehler glauben.

Ich habe es selbst ausprobiert

Ich habe ChatGPT einmal eine eigentlich relativ überschaubare historische Aufgabe gestellt:

Nenne mir alle Ministerpräsidenten der Vorgängerstaaten Baden-Württembergs seit 1946.

Eine Aufgabe, bei der man erwarten könnte, dass ein modernes Sprachmodell keine größeren Schwierigkeiten hat.

Die Antwort war jedoch fehlerhaft.

Unter anderem wurde mir ein Ministerpräsident von Württemberg-Hohenzollern gleichzeitig als Ministerpräsident von Württemberg-Baden zugeordnet.

Das Problem war dabei nicht, dass die Antwort offensichtlich unsinnig aussah. Im Gegenteil. Sie sah plausibel aus.

Und genau das macht solche Fehler gefährlich.

Hätte ich die Antwort einfach kopiert und beispielsweise in einen Artikel übernommen, hätte ich einen Fehler veröffentlicht, der für jemanden ohne genauere Kenntnisse des Themas zunächst kaum erkennbar gewesen wäre.

Das Beispiel stammt zwar aus einer früheren Generation von ChatGPT und lässt sich deshalb nicht ohne Weiteres auf heutige Modelle übertragen.

Aber genau darin liegt die eigentliche Lehre:

Eine KI-Antwort ist keine automatisch geprüfte Wahrheit.

Wenn die KI eine Weltkarte nicht versteht

Noch deutlicher wurde das für mich bei einem anderen Experiment.

Ich wollte von einem Bildgenerator – FLUX 2 PRO – eine Weltkarte erstellen lassen, allerdings mit einer ungewöhnlichen Anordnung: Europa und Afrika sollten auf der linken Seite stehen, Amerika auf der rechten.

Die erste Ausgabe war weit von der gewünschten Darstellung entfernt.

Die Kontinente lagen im Wesentlichen weiterhin in der gewohnten Anordnung. Zusätzlich tauchten Beschriftungen an völlig falschen Stellen auf. „Africa“ stand beispielsweise dort, wo Brasilien liegen sollte, „Europa“ wurde in Richtung USA platziert und daneben erschienen weitere Wortschöpfungen, die mit den tatsächlichen Ländern nichts zu tun hatten.

Die Aufgabe war nicht besonders kompliziert. Aber sie passte offenbar nicht gut zu den Mustern, aus denen das Modell seine Vorstellung einer Weltkarte erzeugt.

Das ist ein wichtiger Punkt: Ein generatives Modell arbeitet nicht wie ein Mensch, der einen Auftrag liest, eine Karte betrachtet und anschließend bewusst entscheidet, welche Kontinente er verschiebt.

Es erzeugt ein Ergebnis auf Grundlage erlernter Zusammenhänge.

Ein anderes Modell – in meinem Fall Nano Banana – kam nach weiteren Anweisungen dem gewünschten Ergebnis deutlich näher.

Auf den ersten Blick sah die Karte anschließend überzeugend aus.

Beim genaueren Hinsehen zeigten sich jedoch erneut Fehler: Länder wurden teilweise mit Fantasienamen versehen, und selbst „Europa“ war falsch geschrieben.

Die Karte sah also zunächst gut aus. Sie war aber nicht zuverlässig. Und genau das ist der entscheidende Unterschied.

Das Problem ist nicht, dass KI Fehler macht

Man könnte nun sagen: „Dann muss man eben bessere Prompts schreiben.“

Natürlich kann das helfen.

Man kann ein anderes Modell verwenden. Man kann die Aufgabe genauer beschreiben. Man kann einzelne Fehler korrigieren lassen. Man kann das Ergebnis anschließend selbst bearbeiten.

Aber irgendwann stellt sich die Frage: Was macht eigentlich der normale Nutzer?

Der durchschnittliche Nutzer wird nicht zwangsläufig jede Länderbezeichnung auf einer KI-generierten Weltkarte überprüfen.

Er wird möglicherweise auch nicht jede historische Jahreszahl nachschlagen.
Er wird vielleicht nicht überprüfen, ob eine genannte Studie tatsächlich existiert.

Und genau hier entsteht ein interessantes gesellschaftliches Problem.

Wir leben in einer Zeit, in der einerseits wissenschaftliche Erkenntnisse, medizinische Empfehlungen und etablierte Institutionen von manchen Menschen mit großem Misstrauen betrachtet werden.

„Das glaube ich nicht.“
„Die da oben erzählen uns doch nur, was wir glauben sollen.“
„Ich werde doch wohl noch Fragen stellen dürfen.“

Gleichzeitig wird dieselbe Person möglicherweise eine Antwort aus einem Chatbot übernehmen, weil sie verständlich formuliert ist, plausibel klingt und innerhalb weniger Sekunden geliefert wurde.

Das ist ein bemerkenswerter Widerspruch.

Fragen stellen ist nicht dasselbe wie kritisch denken

Dabei ist Skepsis grundsätzlich etwas Gutes. Wissenschaft lebt von Fragen.

Wissenschaft bedeutet nicht, einer Autorität blind zu glauben. Eine wissenschaftliche Aussage sollte nachvollziehbar, überprüfbar und prinzipiell widerlegbar sein. Neue Erkenntnisse können alte Erkenntnisse korrigieren.

Kritisches Denken bedeutet deshalb durchaus, Fragen zu stellen. Aber die Frage allein ist noch keine Kritik.

Der Satz „Ich werde doch wohl noch fragen dürfen!“ ist zunächst nur eine Frage.

Er wird erst dann zu kritischem Denken, wenn danach die nächste Frage kommt: „Welche Belege gibt es für meine Vermutung – und welche Belege sprechen möglicherweise dagegen?“

Das ist der entscheidende Unterschied.

Denn wenn ich eine Behauptung nur deshalb für richtig halte, weil sie mir plausibel erscheint, bin ich nicht automatisch kritisch.

Ich kann mich genauso gut täuschen.

Plausibilität ist eine gefährliche Sache

Das menschliche Gehirn liebt einfache Erklärungen. Wir erleben etwas, beobachten einen Zusammenhang und suchen nach einer Ursache. Das ist völlig normal.

Wir haben außerdem einen großen Erfahrungsschatz. Wir sehen die Welt, wir erleben Dinge, wir beobachten andere Menschen. Daraus entwickeln wir Vorstellungen darüber, wie die Welt funktioniert.

Das Problem: Unsere persönliche Erfahrung ist nicht automatisch ein Beweis für eine allgemeingültige Aussage.

Wenn jemand sagt: „Bei mir hat Medikament X nicht geholfen, also wirkt es nicht.“

oder: „Ich kenne jemanden, der nach einer Impfung krank geworden ist, also war die Impfung die Ursache.“

oder: „Ich habe selbst gesehen, dass es so ist.“

dann kann die Beobachtung durchaus real sein.

Aber aus einer Beobachtung folgt nicht automatisch die Erklärung.

Genau deshalb haben wir Wissenschaft entwickelt: um persönliche Wahrnehmung durch systematische Beobachtung, Vergleich, Messung und Überprüfung zu ergänzen.

Und hier kommt die KI wieder ins Spiel. Denn eine KI kann uns dabei helfen.

Sie kann Informationen strukturieren. Sie kann komplizierte Sachverhalte erklären. Sie kann Gegenargumente liefern. Sie kann Quellen finden. Sie kann beim Denken helfen.

Aber sie kann uns auch in unserer eigenen Meinung bestätigen. Sie kann eine plausible Erklärung für etwas liefern, das gar nicht stimmt. Und sie kann dabei wesentlich überzeugender klingen als ein Mensch, der sagt: „Ich weiß es nicht.“

Der gefährlichste Fehler ist vielleicht der, den wir nicht erkennen

Ein offensichtlicher Fehler ist meistens ungefährlich. Wenn mir eine KI erzählt, Deutschland liege zwischen Frankreich und Japan, werde ich vermutlich misstrauisch.

Problematischer ist eine falsche Antwort, die zu 95 Prozent richtig klingt. Wenn von zehn Angaben neun stimmen und eine falsch ist, fällt die eine falsche Angabe möglicherweise gar nicht auf.

Je besser KI-Systeme werden, desto weniger werden wir deshalb das Problem haben, dass KI offensichtlichen Unsinn produziert.

Das größere Problem könnte vielmehr sein, dass falsche Informationen immer überzeugender aussehen.

Das gilt nicht nur für Text. Es gilt für Bilder, Videos, Stimmen, Übersetzungen und zunehmend auch für automatisch erzeugte Zusammenfassungen und Analysen. Die technische Qualität steigt. Damit steigt paradoxerweise auch die Bedeutung unserer Fähigkeit, Ergebnisse zu überprüfen.

Vielleicht war Wamsler der Modernere

Und damit sind wir wieder bei Raumpatrouille Orion.

Oberst Villa sagt: „Ein Mensch kann versagen, ein Roboter niemals.“

Heute wissen wir: Der zweite Teil ist falsch. Maschinen können versagen. Software kann Fehler enthalten. Daten können falsch sein. Modelle können falsche Zusammenhänge erzeugen.

Und künstliche Intelligenz kann uns selbstbewusst etwas erzählen, das schlicht nicht stimmt.

Vielleicht war General Wamsler deshalb der Modernere der beiden. Er wollte die Maschine nicht abschaffen. Er wollte ihr nur nicht blind vertrauen. Das ist wahrscheinlich auch die vernünftigste Haltung gegenüber künstlicher Intelligenz.

Nicht: „KI ist gefährlich, ich glaube ihr grundsätzlich nicht.“

Aber ebenso wenig: „Die KI wird das schon wissen.“

Sondern: „KI kann mir helfen. Aber ich muss verstehen, wann ich ihr vertrauen kann – und wann ich überprüfen muss.“

Denn letztlich hat sich seit 1966 nicht so viel verändert.

Wir haben heute keine elektronischen Gehirne, die automatisch unfehlbar sind. Wir haben etwas viel Leistungsfähigeres: Maschinen, die Sprache verstehen und erzeugen, Bilder erstellen, Programme schreiben, Informationen zusammenfassen und scheinbar vernünftig argumentieren können. Das ist beeindruckend.

Aber gerade deshalb sollten wir uns eine Fähigkeit bewahren, die keine Maschine für uns übernehmen kann: den Zweifel.

Nicht den pauschalen Zweifel an allem. Sondern den gesunden Zweifel, der fragt:

Woher weißt du das?
Welche Belege gibt es?
Kann ich es überprüfen?

Und vor allem: Was würde mich davon überzeugen, dass ich selbst falschliege?

Vielleicht ist das die eigentliche Lehre aus dem alten Dialog zwischen Villa und Wamsler.

Nicht, dass der Mensch besser ist als die Maschine. Und auch nicht, dass die Maschine besser ist als der Mensch.

Sondern dass beide Fehler machen können – nur auf unterschiedliche Weise.

Der Mensch kann sich irren, weil er voreingenommen ist, etwas nicht weiß, etwas falsch erinnert oder etwas glauben möchte.

Die Maschine kann sich irren, weil Daten fehlen, Trainingsdaten fehlerhaft oder einseitig sind, technische Systeme versagen oder ein Modell aus statistischen Mustern eine überzeugende, aber falsche Antwort erzeugt.

Deshalb sollte die entscheidende Frage nicht lauten: „Mensch oder Maschine?“

Sondern: „Wie überprüfen wir, was wir für wahr halten?“

Denn ein Mensch kann versagen. Ein Roboter kann ebenfalls versagen.

Und eine KI kann sogar einen sehr überzeugenden Text darüber schreiben, warum sie dabei recht hatte.