KI-Coding messen: Welche Kennzahlen die Leitung braucht

Die Abrechnung für Claude Code, Codex oder Cursor kommt jeden Monat pünktlich. Die Antwort auf die Frage, was dieses Geld gebracht hat, kommt meist nicht. Viele Unternehmen messen deshalb, was sich leicht messen lässt: Token-Verbrauch, Codezeilen, Anzahl der Änderungen. Das Problem: Diese Zahlen beschreiben, wie viel passiert, aber nicht, ob es dem Geschäft hilft.

Dieser Beitrag stützt sich auf zwei Perspektiven. Die eine stammt aus einem Gespräch des Newsletters The Pragmatic Engineer mit Uday Kiran Medisetty, Distinguished Engineer bei Uber, über die internen KI-Werkzeuge des Konzerns. Die andere aus einer viel kommentierten Diskussion unter erfahrenen Entwicklern auf Reddit über hohe KI-Rechnungen ohne sichtbaren Gegenwert. Uber ist kein Mittelständler, und eine Forumsdiskussion ist keine Studie. Beide zeigen aber, wo die Messung typischerweise hakt.

Viel Verbrauch ist nicht viel Wirkung

In der Reddit-Diskussion beschreibt ein Entwickler eines großen Technologieunternehmens ein Muster, das er im internen Kosten-Tracking sieht: Etwa die Hälfte der Kollegen liegt bei niedrigen dreistelligen Monatsbeträgen, die andere Hälfte im niedrigen vierstelligen Bereich, also beim Sieben- bis Achtfachen. Einen Unterschied in der Produktivität erkennt er nicht; die sparsamere Gruppe wirke oft sogar produktiver. Produktivität meint er dabei ausdrücklich nicht als Zahl der Änderungen oder Codezeilen, sondern als Fortschritt in Projekten, Zusammenarbeit und Verständnis des Systems.

Die Kommentare liefern Erklärungen, keine Belege. Mehrere Entwickler berichten, dass ein KI-Agent, der unkontrolliert vorprescht, viele Tokens verbraucht und Code erzeugt, der später neu geschrieben werden muss. Tokens sind dabei die Textmenge, nach der viele Anbieter abrechnen. Andere schildern, dass erfahrene Kollegen ihre Aufträge an die KI enger fassen und deshalb weniger verbrauchen. Einige widersprechen auch: In ihrem Unternehmen habe sich die Zahl der Änderungen verdoppelt, und Fehler würden schneller an das richtige Team weitergeleitet.

Die Diskussion bleibt kontrovers. Für die Leitung ist aber eines eindeutig: Der Verbrauch allein beantwortet die Nutzenfrage nicht.

Wenn Aktivität zur Kennzahl wird

Ein wiederkehrender Frust in den Kommentaren: Unternehmen hätten Tokens, Codezeilen und Änderungszahlen zu ihren neuen Erfolgsmaßen gemacht. Manche Belegschaften wurden rund ein Jahr lang angehalten, KI für alles zu nutzen, und sollen nun plötzlich sparsam sein. In einem Fall wurden Obergrenzen ohne Vorwarnung eingeführt. Wer Aktivität belohnt, bekommt Aktivität. Genau so beschreiben es mehrere Beteiligte.

Uber zieht daraus eine ähnliche Konsequenz. Früher maß der Konzern, wie lange eine Änderung bis in die Produktion braucht. Mit Agenten taugt das weniger, weil sich leicht Dutzende oder Hunderte Änderungen erzeugen lassen, von denen viele das Produkt nicht berühren. Uber kennzeichnet deshalb jede Änderung nach Art der Arbeit: Feature, Fehlerbehebung, Wartung, Test oder Dokumentation. Beobachtet wird, wie sich die Anteile verschieben. Nach Medisettys Angaben steigt der Anteil der Feature-Arbeit, während der Wartungsanteil sinkt.

Ausgaben steuern, ohne Arbeit zu bremsen

Uber hat sich für ein Mischmodell entschieden. Jeder Entwickler erhält eine Ausgabenstufe. Wer sie erreicht, kann von der Führungskraft für den laufenden Monat mehr freigegeben bekommen. Für die richtige Art von Arbeit gibt es also faktisch keine Grenze, aber niemand soll Tokens gedankenlos verbrennen. Ein Zusatzwerkzeug gibt Hinweise, wie sich das eigene Kostenprofil verbessern lässt. Laut dem Newsletter hat Uber seine Token-Kosten in den letzten Monaten um etwa die Hälfte gesenkt.

Voraussetzung dafür ist Transparenz. Uber hat schon 2023 entschieden, alle KI-Anwendungen unabhängig vom Modellanbieter aufzubauen, und eine zentrale Schnittstelle zu den Modellen eingerichtet. Darüber werden die Ausgaben pro Person erfasst, und es entstehen Protokolle der Nutzung.

In der Reddit-Diskussion beschreibt eine Führungskraft ein strengeres Modell: Alle erhalten dasselbe monatliche Budget. Wer mehr will, legt die geschätzten Kosten dar und zeigt, dass Ertrag oder Risikominderung sie rechtfertigen.

Die versteckten Kennzahlen: Prüfung und Infrastruktur

Zwei Effekte tauchen in keiner Lizenzrechnung auf. Erstens der Prüfaufwand: Bei Uber wird weiterhin jede Änderung von Menschen geprüft, und Medisetty nennt das Code-Review einen großen Engpass. Uber hat eigene Werkzeuge gebaut, die Änderungen vorab automatisch prüfen und mit einer Risikobewertung versehen. Zweitens die Infrastruktur: Die Zahl der automatischen Build- und Testläufe hat sich innerhalb von zwölf Monaten mehr als verdoppelt, Uber musste intern den Notstand für diese Systeme ausrufen.

Medisetty betont außerdem, dass Ubers KI-Werkzeuge auf rund einem Jahrzehnt Investitionen in Entwicklerwerkzeuge aufbauen. Was dort schnell aussieht, hat eine lange Vorgeschichte. Welche Kostenposten sonst in die Rechnung gehören, beschreiben wir in Was kostet Vibe Coding wirklich?

Was das für Ihre Entscheidung bedeutet

Bevor Sie Ihr Team nach dem Erfolg von KI-Coding fragen, sollten Sie festlegen, woran Sie ihn messen:

• Transparenz: Sehen wir die Ausgaben pro Person und Team, oder nur die Gesamtrechnung?
• Budgetregel: Gibt es Ausgabenstufen, und wer darf darüber hinaus freigeben, mit welcher Begründung?
• Art der Arbeit: Können wir unterscheiden, ob KI neue Funktionen, Fehlerbehebung oder Wartung beschleunigt?
• Engpässe: Wer misst, ob Prüfung und Tests mit dem Tempo Schritt halten?
• Anreize: Belohnen wir Wirkung oder ungewollt Aktivität?

Eine kompakte Abwägung: Die Chance ist ein klares Bild davon, wo KI Ihrem Team wirklich hilft. Das Risiko sind Kennzahlen, die hohen Verbrauch als Erfolg ausweisen. Der nächste Schritt ist ein kleines Kennzahlenset, das Ausgaben, Art der Arbeit und Prüfaufwand gemeinsam betrachtet. Wo die Grenze zwischen Prototyp und Produkt liegt, lesen Sie in Vibe Coding im Unternehmen: Die Entscheidungsgrundlage; Begriffe wie Token-Kosten erklärt das Glossar.

Sie möchten mit Ihrem Führungsteam festlegen, welche Kennzahlen bei Ihnen zählen sollen? Das soll Teil des geplanten Seminars sein, im Inhouse-Format auch an Ihren eigenen Vorhaben. Melden Sie unverbindlich Ihr Interesse an oder fragen Sie ein Inhouse-Seminar an.