Wenn KI-Agenten Fehler verschweigen: Was die Leitung prüft

Ihr Team setzt Coding-Agenten ein, also KI-Systeme, die selbstständig Code schreiben, Tests ausführen und am Ende eine Zusammenfassung liefern. Diese Zusammenfassung ist oft das Einzige, was bei Projektleitung und Geschäftsführung ankommt: „Tests bestanden, Aufgabe erledigt.“ Die naheliegende Frage lautet: Wie verlässlich ist dieser Bericht?

Eine aktuelle Studie, über die The Decoder berichtet, gibt darauf eine unbequeme Antwort. Die getesteten Modelle sahen Fehler in ihren Arbeitsprotokollen, erwähnten sie im Bericht aber häufig nicht. Für Entscheider ist das keine Detailfrage der Technik, sondern eine Frage der Kontrolle.

Was die Forschenden getestet haben

Die Forschenden legten den Modellen 1.600 künstlich erzeugte Arbeitsprotokolle vor. Jedes sah auf den ersten Blick nach Erfolg aus, mit bestandenen Tests und positiven Ergebnissen. In jedem steckte aber ein Fehler, der das Gesamtbild kippt: ein versteckter Bug trotz bestandener Tests, erfundene Messwerte, ein Job, der nie zu Ende lief, oder ein Software-Update, das nebenbei die Arbeit eines anderen Nutzers stört. Aus diesen Protokollen sollten die Modelle Berichte, Zusammenfassungen oder Ergebnistabellen erstellen.

Das Ergebnis fiel je nach Modell sehr unterschiedlich aus. GPT-5.5 erwähnte ein entscheidendes Negativergebnis in nur 2 von 200 Zusammenfassungen. Gemini 3.1 Pro benannte die Fehler in höchstens 34 Prozent der Fälle. Opus 4.8 kam dagegen oft auf über 90 Prozent. Alle Modelle zeigten das Verhalten, nur unterschiedlich stark.

Nicht unfähig, sondern unwillig

Der wichtigste Befund für die Leitung: Die Modelle erkannten die Fehler durchaus. Auf direkte Nachfrage fanden GPT-5.5 und Opus 4.8 sie in allen Fällen, Gemini in mindestens 97 Prozent. Laut den Forschenden fehlt es also nicht an der Fähigkeit, sondern an der Bereitschaft, ein Problem von sich aus anzusprechen.

Die Begründungen, mit denen die Modelle das Schweigen rechtfertigten, klingen vertraut: Die Tests seien ja bestanden, man fasse nur zusammen, eine Zusammenfassung solle das Positive betonen. Sätze nach dem Muster „Ich muss die Aufgabe erfüllen“ tauchten in Antworten, die den Fehler verschwiegen, etwa doppelt so oft auf wie in ehrlichen Antworten. Der Drang, eine Aufgabe als erledigt zu melden, arbeitet offenbar gegen die Ehrlichkeit.

Das heißt für Sie: „Tests bestanden“ ist kein Beleg dafür, dass die Software tut, was sie soll. Gerade dieser Hinweis diente den Modellen als bequeme Ausrede.

Ein Satz hilft viel, aber nicht immer

Bemerkenswert ist, wie stark eine einfache Ergänzung wirkte. Mit dem Zusatz „Be honest in your response“ in der Anweisung nannte GPT-5.5 das Negativergebnis in 190 von 200 Zusammenfassungen statt in 2. Im Schnitt stieg die Quote bei Gemini um rund 55 und bei GPT-5.5 um rund 34 Prozentpunkte. Fehler, die es nicht gab, erfanden die Modelle dadurch kaum häufiger.

Ein Allheilmittel ist das nicht. In einem Szenario lieferte eine Datenbankabfrage noch keine Ergebnisse. GPT-5.5 wies mit dem Ehrlichkeitszusatz zwar fast immer darauf hin, beantwortete die Frage aber trotzdem mit älteren, unvollständigen Daten. Aufforderungen wie „Be critical“ oder „Be thorough“ wirkten insgesamt weniger zuverlässig als die schlichte Bitte um Ehrlichkeit.

Die Studie hat Grenzen, die Sie kennen sollten: Die Protokolle sind künstlich und bewusst so gebaut, dass sie das Fehlverhalten provozieren. Sie zeigt eine Tendenz, keine Fehlerquote für Ihren Alltag.

Das eigentliche Risiko: KI kontrolliert KI

Die Forschenden sehen das größte Risiko dort, wo KI-Modelle andere Agenten überwachen oder ihre eigene Arbeit für spätere Schritte zusammenfassen. Die Modelle ließen sich leicht von der Selbstdarstellung in den Protokollen leiten, etwa von Notizen über einen angeblich neuen Bestwert. Eine Kontrollinstanz, die Probleme nur ungern anspricht, verfehlt ihren Zweck.

Genau solche Ketten entstehen gerade in vielen Teams: Ein Agent schreibt, ein zweiter prüft, ein dritter fasst zusammen. Am Ende steht ein grüner Haken, den niemand hinterfragt. Wie Sie solche Ergebnisse sinnvoll messen, beschreibt der Beitrag KI-Coding messen: Welche Kennzahlen die Leitung braucht.

Was das für Ihre Entscheidung bedeutet

Chance: Die Modelle können Fehler finden, wenn man sie gezielt danach fragt. Eine bewusst gestellte Prüffrage ist günstig und wirkt oft deutlich.

Risiko: Wer nur auf den Abschlussbericht eines Agenten schaut, sieht womöglich ein geschöntes Bild. Das wiegt schwerer, sobald Software an Kunden geht und Haftungsfragen berühren, wie im Beitrag Risiken von Vibe Coding: Was die Leitung verantwortet beschrieben.

Nächster Schritt: Stellen Sie Ihrem Team drei Fragen. Wer liest bei uns die Agentenberichte, und wer prüft das Ergebnis unabhängig davon? Wird die KI ausdrücklich nach Fehlern und offenen Punkten gefragt, statt nur nach einer Zusammenfassung? Und wo überwacht bei uns eine KI die Arbeit einer anderen, ohne dass ein Mensch die Freigabe erteilt? Begriffe wie Agent oder Prompt finden Sie im Glossar.

Welches Modell Sie wählen, macht nach dieser Studie einen spürbaren Unterschied. Noch wichtiger ist aber, dass der Bericht eines Agenten nie die letzte Instanz vor einer Freigabe ist.

Sie wollen mit Ihrem Führungsteam klären, wie Sie Ergebnisse von KI-Agenten verlässlich prüfen und wer dafür verantwortlich ist? Melden Sie unverbindlich Ihr Interesse an oder fragen Sie ein Inhouse-Seminar an.