Kann man KI vertrauen? Was passiert, wenn die KI Fehler macht — und wer es zuerst merkt

Es gibt eine Frage, die jede Firma stellen sollte, bevor sie Arbeit an eine KI abgibt: Sie sortiert Mails vor, legt Dokumente ab und schreibt Texte. Wer kontrolliert die eigentlich?

Die naheliegende Antwort ist die, die alle geben: «Ich.» Sie hält genau eine Woche.

Diese Sonntagsausgabe zeigt, wie Kontrolle gebaut ist, die auch in der dreissigsten Woche noch hält.

Der Denkfehler

Wer eine KI einsetzt, rechnet meistens so: Die Maschine erledigt die Arbeit, ich schaue kurz drüber. Das geht eine Woche gut. Dann kommt der Tag mit sechzig sortierten Mails, zwölf abgelegten Dokumenten und fünf vorbereiteten Antworten, und «kurz drüberschauen» heisst plötzlich, alles noch einmal zu lesen. Wer das tut, hat keine Zeit gespart. Wer es nicht tut, kontrolliert nichts mehr.

Die Arbeit der Maschine wächst mit jeder Aufgabe, die man ihr gibt. Die Aufmerksamkeit eines Menschen wächst nicht mit. Wer beides gegeneinander stellt, verliert — nicht am ersten Tag, sondern am dreissigsten.

Die Lösung ist nicht, weniger zu automatisieren. Die Lösung ist, auch die Kontrolle zu automatisieren — und dem Menschen genau die eine Stelle zu lassen, an der es ihn wirklich braucht.

Fünf Kontrollen

Im KI-Backoffice durchläuft jede Arbeit einer Maschine eine Reihe von Kontrollen. Keine davon ist klug. Alle sind stur.

Die Zahl braucht eine Quelle. Eine Zahl, die eine KI in einen Text schreibt, ist zunächst eine Behauptung. Sie bleibt eine markierte Lücke, bis ein Protokoll, eine Messung oder zwei unabhängige Quellen sie tragen. Nennen zwei Quellen dieselbe Zahl, messen aber Verschiedenes, wird gerundet — oder die Zahl fliegt raus.

Das Ergebnis wird am Ziel geprüft, nicht am Start. Eine Warteschlange voller geplanter Beiträge beweist nicht, dass einer erschienen ist. Deshalb schaut jeden Tag eine Maschine auf die Seiten, auf denen die Beiträge stehen müssen. Und nach jeder Veröffentlichung ruft eine zweite jede Seite unserer Website auf und folgt jedem internen Link, über 700 Linkziele pro Durchgang.

Die Stimme wird zurückgehört. Unsere Beiträge liest eine geklonte Stimme vor. Jeden Satz hört ein zweites Modell ab und vergleicht ihn mit dem Text; was nicht stimmt, wird neu gesprochen, bevor ihn jemand hört. In fünf Wochen waren das 7’708 geprüfte Sätze.

Was hinausgeht, wird signiert und eingetragen. Bilder und Videos, die wir veröffentlichen, tragen eine Signatur und stehen in einem öffentlichen Verzeichnis. Der Eintrag ist kein Schritt in einer Anleitung, denn Anleitungen werden vergessen. Ein Programm blockiert jede neue Veröffentlichung, solange im Verzeichnis etwas fehlt.

Ein Mensch gibt frei. Keine Mail verlässt das Haus, ohne dass jemand auf «Senden» gedrückt hat. Kein Beitrag erscheint ohne ein ausdrückliches Ja. Das ist die einzige Kontrolle, die sich nicht automatisieren lässt, und deshalb die einzige, für die wir die Aufmerksamkeit eines Menschen aufsparen.

Was jede Kontrolle gemeinsam hat

Alle fünf folgen demselben Gedanken. Eine Regel, die in einer Anleitung steht, hält, solange sich jemand an sie erinnert. Eine Regel, die ein Programm durchsetzt, hält auch an dem Tag, an dem niemand daran denkt.

Deshalb steht keine dieser Kontrollen in einem Handbuch. Vier davon sind Programme, die laufen, ob jemand hinschaut oder nicht. Die fünfte ist ein Mensch — und weil die anderen vier ihm die Routine abnehmen, hat er für sie den Kopf frei.

Und noch etwas haben sie gemeinsam: Sie melden sich nur, wenn etwas nicht stimmt. Eine Kontrolle, die jeden Tag «alles in Ordnung» meldet, wird nach einer Woche nicht mehr gelesen. Eine, die drei Wochen schweigt und dann das Telefon klingeln lässt, wird ernst genommen.

Die unbequeme Erkenntnis

Die Frage «Kann ich der KI vertrauen?» ist falsch gestellt. Niemand vertraut einem neuen Mitarbeiter am ersten Tag blind, und niemand prüft nach zehn Jahren noch jede seiner Mails. Dazwischen liegt etwas, das man im Büro selten ausspricht: ein System aus Stichproben, Vier-Augen-Regeln und Unterschriften.

Für Maschinen braucht es dasselbe — nur dass es niemand mitbringt. Es muss gebaut werden, Kontrolle für Kontrolle, und jemand muss es betreiben. Das ist der Teil, der in keiner Produktdemo vorkommt.

Was das für deine Firma heisst

Wenn dir jemand eine KI für dein Büro anbietet, frag nicht zuerst, was sie kann. Frag drei Dinge:

1. Woran merke ich, dass sie etwas falsch gemacht hat — bevor es mein Kunde merkt?
2. Welche Handlungen kann sie auslösen, ohne dass ein Mensch zugestimmt hat?
3. Wer sorgt dafür, dass die Kontrollen in einem Jahr noch laufen?

Die dritte Frage ist die, an der die meisten Angebote scheitern. Eine Kontrolle einzurichten ist ein Nachmittag. Sie am Leben zu halten ist ein Betrieb.

Genau deshalb verkaufen wir kein Werkzeug, sondern den Betrieb: ein Backoffice, das KI-Agenten betreiben, mit den Kontrollen, die dazugehören. Mit jeder neuen Aufgabe, die eine Maschine übernimmt, kommt eine Kontrolle dazu — als Programm, nicht als gute Absicht. Der Einstieg ist ein einziger Tag, an dem die Maschine nur lesen darf.

Wer prüft bei dir die Maschine?