KI-Benchmarks richtig lesen: Was Entscheider fragen sollten

In Präsentationen von Anbietern und in der Fachpresse tauchen ständig neue Ranglisten auf: Welches KI-Modell ist das stärkste, welcher Agent der fähigste? Für die Geschäftsleitung klingt das nach einer bequemen Abkürzung bei der Tool-Wahl. Ein frisch veröffentlichter Benchmark zeigt gut, warum diese Abkürzung trügt und welche Fragen Sie stellen sollten, bevor eine Prozentzahl in eine Budgetentscheidung einfließt.

Ein Test, der echte Arbeit simulieren will

Das Analysehaus SemiAnalysis hat einen Benchmark, also einen standardisierten Leistungstest, namens GDPx vorgestellt. The Decoder berichtet darüber. Anders als viele bekannte Tests fragt GDPx kein Wissen ab. Die KI-Agenten werden in simulierte Arbeitsumgebungen gesetzt und sollen dort bis zu acht Stunden lang selbstständig arbeiten: Fachsoftware wie Siemens NX bedienen, Datenräume mit Tausenden Dateien durchsuchen oder laufende Unternehmenssysteme angreifen.

Insgesamt umfasst der Test 206 Aufgaben aus elf Bereichen, darunter Chipdesign, Biologie, Quant-Trading, Cybersicherheit und Recht. SemiAnalysis grenzt sich damit bewusst von OpenAIs GDPval ab, bei dem der gesamte Kontext im Prompt mitgeliefert wird und eine realistische Arbeitsumgebung fehlt.

Das ist die erste Lehre für Entscheider: Zwei Tests mit ähnlichem Namen können völlig Unterschiedliches messen. Wer nur die Überschrift liest, vergleicht Äpfel mit Birnen.

Die Zahlen: ernüchternd und doch schwer zu deuten

Das Ergebnis ist deutlich. Kein Modell kommt über 12 Prozent. Claude Opus 5.5 erreicht mit 12 Prozent den höchsten Gesamtwert, Gemini 4 Carbon folgt mit 10,9 Prozent und GPT-6 Astra mit 9,6 Prozent.

Interessant für jede Kostenrechnung: Gemini 4 Carbon liegt knapp hinter dem Spitzenreiter, kostet mit 16,29 Dollar pro Aufgabe aber nur rund ein Drittel. Wer nur auf den ersten Platz schaut, übersieht das Verhältnis von Leistung zu Preis, das für einen belastbaren Business Case entscheidend ist.

Auch die Rangfolge selbst ist nicht stabil. Nimmt man die Bereiche Cyber, Biologie und Alignment heraus, rückt GPT-6 Astra mit 11,8 Prozent knapp vor Opus 5.5. Der Grund sind die Schutzmechanismen der Anbieter: Im Cyber-Bereich kommen GPT-6 Astra und GPT 6.1 Sol auf null Prozent, Metas Muse Wonder Full dagegen auf 35,2 Prozent. Die Platzierung hängt also davon ab, welche Aufgaben man einbezieht.

Wie streng gewertet wird, verändert alles

Bei Finanz- und Rechtsaufgaben löst kein Modell eine Aufgabe vollständig. Schon ein einziger falscher Wert in einer Tabelle macht in der Praxis die ganze Arbeit wertlos. Nach diesem strengen Maßstab hätte kein Modell dort auch nur eine Aufgabe geschafft. SemiAnalysis zählt deshalb den Anteil erfüllter Einzelanforderungen.

Für Ihre Einordnung ist das zentral. „Teilweise richtig“ kann in einer Demo beeindrucken und im Betrieb dennoch unbrauchbar sein. Die Einzelbefunde unterstreichen das: In den Alignment-Tests brachen 98 Prozent von 200 Cyber-Läufen mindestens eine Verhaltensregel. In einer simulierten Arztpraxis unterschrieb ein Modell eine klinische Notiz im Namen des Arztes. Beim Quant-Trading schnitten 70 von 111 Läufen schlechter ab als die vorgegebene Referenzstrategie. Wie sich solche Lücken im Alltag auswirken, beschreibt auch unser Beitrag dazu, was KI-Coding zuverlässig kann.

Wer prüft den Prüfer?

Die Methode selbst steht in der Kritik. Die Aufgaben stammen von 14 spezialisierten Anbietern, die auch Trainings- und Bewertungsdaten an KI-Labore verkaufen. Eigene Fachexpertise in jedem Bereich hat SemiAnalysis nach eigener Aussage nicht. Pro Partner ist meist nur eine Beispielaufgabe öffentlich. In Bereichen wie Recht und Hardware-Design bewerten Sprachmodelle die Ergebnisse anhand von Bewertungsrastern statt menschlicher Fachleute. Von außen lässt sich weder die Schwierigkeit noch die Qualität der Bewertung umfassend prüfen.

Die Geheimhaltung hat allerdings auch einen Vorteil: Weil die Aufgaben nicht öffentlich sind, können KI-Labore ihre Modelle nicht gezielt auf die Testfragen trainieren.

Ein Entwickler hält GDPx dennoch für mehr Rauschen als Signal. Er bemängelt unter anderem, dass jedes Modell in der Agenten-Software seines eigenen Anbieters antritt, also der Umgebung, in der das Modell Werkzeuge bedient, etwa Opus in Claude Code. Anbieter mit schwächeren Werkzeugen seien dadurch benachteiligt. Zudem umfassen einzelne Teilbereiche oft nur rund zehn Aufgaben, was die Ergebnisse schwankungsanfällig macht. SemiAnalysis will den Test alle drei bis sechs Monate aktualisieren, die Rangliste von heute ist also ohnehin eine Momentaufnahme.

Was das für Ihre Entscheidung bedeutet

Ein Benchmark beantwortet eine Frage, aber selten Ihre. Er zeigt, wie Modelle unter bestimmten Bedingungen bei bestimmten Aufgaben abschneiden. Ob ein Werkzeug in Ihrem Team, mit Ihrer Software und Ihren Qualitätsansprüchen Nutzen stiftet, verrät er nicht.

• Chance: Unabhängige, realitätsnahe Tests dämpfen überzogene Erwartungen. Ergebnisse wie bei GDPx sind ein gutes Argument gegen die Annahme, ein Agent könne komplexe Facharbeit heute ohne menschliche Kontrolle erledigen.
• Risiko: Eine Prozentzahl ohne Methode wird zur Scheinbegründung. Kleine Abstände, wechselnde Ranglisten und automatisierte Bewertungen machen Platz eins wenig aussagekräftig, zumal sich Modelle alle paar Monate ändern.
• Nächster Schritt: Fragen Sie bei jeder Rangliste, die Ihnen vorgelegt wird, nach Messgegenstand, Wertungsmaßstab, Bewertern, Stichprobengröße und Kosten pro Aufgabe. Und lassen Sie Werkzeuge an typischen eigenen Aufgaben erproben, mit Kennzahlen, die Sie selbst festlegen.

Hinzu kommt: Wer sich allein nach dem aktuellen Spitzenreiter richtet, wechselt womöglich häufig oder bindet sich zu eng an einen Anbieter. Wie Sie solche Abhängigkeiten steuern, lesen Sie im Beitrag zum Vendor Lock-in bei KI-Tools.

Fazit

GDPx zeigt zweierlei: KI-Agenten scheitern in realitätsnahen Arbeitsumgebungen noch häufig, und selbst ein ambitionierter Test lässt viele Fragen offen. Für die Leitung folgt daraus kein Verzicht auf Benchmarks, sondern ein geübter, kritischer Blick auf sie. Die richtige Frage lautet nicht „Wer ist vorn?“, sondern „Was genau wurde hier gemessen, und was davon betrifft uns?“

Sie möchten mit Ihrem Führungsteam lernen, Ranglisten, Anbieterversprechen und Studien zu KI-Coding sicher einzuordnen? Melden Sie unverbindlich Ihr Interesse am Seminar an oder fragen Sie ein Inhouse-Seminar an.