Chinas Open-Weight-Modelle haben bei der Angebotsprüfung aufgeholt

Im Mai haben wir vier Modelle an einer synthetischen Ausschreibung getestet, und der Open-Weight-Kandidat — Zhipus GLM-5.2 — landete bei der Zuverlässigkeit auf dem letzten Platz: Er schloss einen von sechs Durchläufen ab, die übrigen brachen an fehlerhaftem JSON ab. Drei Monate später haben wir dieselbe Analyse zweimal an einem echten Angebot laufen lassen — einmal auf Claude, einmal auf GLM-5.3 — und beide Durchläufe kamen zur gleichen Empfehlung, benannten die gleichen drei Probleme und lagen bei den Kosten 17% auseinander. Die Listenpreise unterscheiden sich um den Faktor 3,6.

Beide Hälften davon sind wichtig. Das Open-Weight-Modell ist inzwischen wirklich konkurrenzfähig, und das Geld, das ein Wechsel spart, ist deutlich weniger, als sein Preisblatt nahelegt.

Was wir verglichen haben

Der Dokumentensatz war ein laufendes Telekommunikations-Vergabeverfahren — eine mittelgroße Softwareplattform, 94 prüfbare Anforderungen, davon 40 zwingend — gegen das eingereichte Angebot eines echten Bieters. Wir haben beide Seiten anonymisiert, weil das Verfahren noch offen ist. Anders als bei unserem Mai-Vergleich gab es keinen Lösungsschlüssel, deshalb konnte kein Durchlauf gegen eine Liste absichtlich eingebauter Mängel bewertet werden. Zwei sehr unterschiedliche Engines lassen sich daran vergleichen, ob sie beim Lesen derselben Dokumente zum gleichen fachlichen Urteil kommen.

Wir haben diesen Vergleich auf die zwei Stufen begrenzt, in denen das Urteil tatsächlich entsteht: den Haupt-Reasoning-Agenten, der die Vergabeunterlagen und das Angebot liest und die Feststellungen schreibt, und den Prüfdurchlauf, der jede Feststellung gegen die Quelldokumente nachprüft, bevor sie den Nutzer erreicht. Der Claude-Durchlauf nutzte Opus 4.8 fürs Reasoning und Sonnet 4.6 für die Prüfung; der GLM-Durchlauf nutzte GLM-5.3 für beides, erreicht über OpenRouter.

Das Preisblatt sagt eines

Pro Million Token ist das kein knappes Rennen:

Opus 4.8 kostet $5 für Eingabe und $25 für Ausgabe; Sonnet 4.6 liegt bei $3 und $15; GLM-5.3 bei $1,40 und $4,40. Bei Ausgabe-Token sind das Faktor 5,7 gegenüber Opus und 3,4 gegenüber Sonnet.

Die Rechnung sagt etwas anderes

Über beide Stufen kostete der Claude-Durchlauf $6,64 und der GLM-Durchlauf $5,52 — eine Ersparnis von 17%, nicht von 72%.

Der Abstand schrumpft, weil GLM-5.3 dafür weit mehr Token brauchte. Claude rechnete 5,49 Millionen Token über 147 Modellaufrufe ab; GLM 9,42 Millionen über 223. Pro Token war GLM 2,1-mal günstiger, verbrauchte aber 1,7-mal so viele, und beide Effekte heben sich fast vollständig auf.

Dafür gibt es zwei Gründe. GLM-5.3 denkt erheblich mehr: 295.000 Thinking-Token gegen 17.000 bei Claude, ein Faktor von siebzehn, das meiste davon in der Prüfstufe. Und sein Prompt-Caching verhielt sich anders — Claude las ein zwischengespeichertes Präfix zum Zehntel des Eingabepreises erneut und zahlte einen Aufschlag für das Schreiben, während der GLM-Durchlauf 7,8 Millionen Cache-Lesevorgänge und keinen einzigen Cache-Schreibvorgang verzeichnete. Cache-Ökonomie ist unspektakulär und bewegt die Rechnung stärker als der Schlagzeilenpreis.

Die Urteile stimmten überein

Beide Durchläufe gaben dieselbe Empfehlung zurück — einreichen, mit Verbesserungen — und beide identifizierten unabhängig voneinander die gleichen drei schwerwiegendsten Probleme im Angebot: eine unvollständige Preistabelle, die eine variable Kostenposition aus der von der Ausschreibung geforderten Festsumme heraushielt; ein Zertifikat, das der Bieter als vorhanden erklärte, aber nicht beilegte; und einen großen Anteil zwingender Anforderungen, von denen der Bieter selbst einräumte, dass sie zum Einreichungstermin nicht fertig sein würden. Claude erzeugte 12 Feststellungen, GLM 11.

Beim ersten Punkt waren sich die beiden über die Schwere uneinig, nicht über die Sache: Claude nannte die Preislücke kritisch, GLM nannte sie erheblich. Beide erklärten sie gleich, und beide zitierten die Klausel der Ausschreibung, der sie widerspricht.

Wo sie sich trennten

Claude war vollständiger. Es brachte zwei Schwachstellen zutage, die GLM überhaupt nicht erwähnte — schwache Service-Level-Zusagen, die erst nach dem ersten Liefermeilenstein beginnen, und Liefertermine, die stillschweigend davon abhingen, dass der Auftraggeber innerhalb von fünf Werktagen antwortet. Keine der beiden würde das Angebot versenken; beide sind Dinge, die ein Bid-Manager wissen möchte. Claude behandelte außerdem ein Risiko bei einer Eignungshürde als geprüfte erhebliche Feststellung, wo GLM sie als ungeprüfte geringere erfasste.

GLM war präziser. Wo Claude schrieb, dass rund 17 von etwa 48 Anforderungen nicht verfügbar seien, zählte GLM die zwingende Teilmenge genau: 27 von 40, davon 12 teilweise und 15 noch nicht gebaut, und schrieb den Prozentsatz in die Zusammenfassung. Es zitierte die exakten Vertragssummen und die Einreichungsfrist. Für ein Dokument, das eine Vergabestelle verteidigen muss, ist diese Genauigkeit etwas wert.

GLM brach außerdem noch einmal ab. Bei einer einzelnen Anforderung gab es eine 98 Kilobyte lange, nicht abgeschlossene Zeichenkette aus, und diese Prüfung scheiterte vollständig. Das ist derselbe Fehlermodus, der im Mai fünf von sechs GLM-5.2-Durchläufen tötete — aber aus tödlich wurde ein einzelner ausgefallener Punkt von 94. Das Zuverlässigkeitsproblem ist auf eine raue Kante zusammengeschrumpft.

Der Teil, nach dem alle wirklich fragen

Niemand in der europäischen öffentlichen Beschaffung will hören, dass seine Vergabeunterlagen an eine chinesische API gesendet wurden. Die Sorge ist berechtigt und hat mit Modellqualität wenig zu tun. Es geht darum, wo die Dokumente landen und wessen rechtliche Zugriffe das Unternehmen erreichen, das sie hält. Für einen Auftraggeber mit wirtschaftlich sensiblen Angeboten beendet dieser Einwand das Gespräch.

Offene Gewichte verändern die Form dieses Einwands, weil das Modell aufhört, ein Dienst zu sein, und zu einer Datei wird. Gewichte, die man herunterladen kann, laufen auf Hardware, die Sie kontrollieren, oder bei einem europäischen Anbieter, den Sie bereits geprüft haben. Die Souveränitätsfrage verschiebt sich von „traue ich diesem Anbieter" zu „wo will ich das betreiben", und die zweite können Vergabeteams längst beantworten.

Zwei ehrliche Einschränkungen. Erstens sind die Gewichte von GLM-5.3 noch nicht draußen. Z.ai kündigte das Modell am 14. August an und verpflichtete sich im selben Beitrag, „die Gewichte zwei Wochen nach dem Start zu veröffentlichen, sobald Sicherheitsbewertung und Härtung abgeschlossen sind". Ebenso deutlich wird der Grund für die Zurückhaltung benannt: „Als wir das Post-Training skalierten, entwickelten sich die Cyber-Fähigkeiten schneller als erwartet." Zum Zeitpunkt des Schreibens gibt es kein öffentliches GLM-5.3-Gewichte-Repository und damit keine Lizenz zum Nachlesen. Der Vorgänger GLM-5.2 ist heute herunterladbar: 753 Milliarden Parameter unter einer MIT-Lizenz ohne regionale Beschränkungen. Eine Wiederholung für 5.3 ist eine begründete Erwartung, keine Tatsache. Zweitens hat unser eigener Durchlauf davon nichts genutzt. Wir haben GLM-5.3 über OpenRouter erreicht, und das ist eine Routing-Entscheidung, keine Lösung für den Datenstandort. Selbst betreiben ist das, was offene Gewichte möglich machen; es ist nicht das, was wir getan haben.

Was sich damit ändert

Für uns ist das Modell ein Konfigurationsschalter — dieselbe Analysekette läuft auf Claude, GPT, Gemini oder GLM, und jede Stufe eines Durchlaufs nutzt nur die gewählte Engine, ohne stillen Rückfall auf einen anderen Anbieter. Das ist Absicht, und dieser Vergleich zeigt, warum es zählt: Eine Organisation, die keine Dokumente außerhalb der eigenen Infrastruktur senden darf, sollte deswegen nicht mit einer schlechteren Analyse dasitzen. Nach den Daten hier muss sie das nicht mehr.

Z.ais eigene Kennzahlen behaupten, GLM-5.3 komme bei White-Box-Code-Review und Schwachstellensuche an Claude Mythos 5 heran; das ist die Zahl des Anbieters selbst und so zu lesen. Unabhängige Berichte nennen 31,4% bei Code Bench gegen 29,5% bei Opus 4.8 und 84,5% bei der CyberGym-Schwachstellenaufgabe gegen 83,8% bei Claude Mythos 5. Die Spitze liegt weiter vorn — Claude Fable 5 erreicht in demselben Code-Bench-Test 39,5% — aber „weit abgeschlagen" beschreibt diesen Abstand nicht mehr.

Nicht geändert hat sich, wer entscheidet. Beide Durchläufe lasen jede Seite einer langen Ausschreibung und eines langen Angebots, beide fanden das Preisproblem, das zum Ausschluss aus formalen Gründen führen könnte, und keiner von beiden unterschreibt etwas. Eine Fachkraft prüft die Belege und behält die Entscheidung. Ob ein Open-Weight-Modell gut genug ist, diese Belege vorzubereiten, ist nicht mehr die interessante Frage. Interessant ist, wo Sie es dabei laufen lassen wollen.

Wie wir gezählt haben

Beide Durchläufe sind einzelne Produktionsanalysen desselben Angebots gegen dieselbe Ausschreibung, einen Tag auseinander, mit denselben Prompts und denselben Werkzeugen. Der GLM-Wert ist die Kosten, die OpenRouter für jeden Aufruf gemeldet hat. Der Claude-Wert ist aus Anthropics veröffentlichten Sätzen berechnet, einschließlich Cache-Lese-Rabatt und Cache-Schreib-Aufschlag, weil Direktantworten keinen Preis zurückgeben. Beide erfassen nur den Hauptagenten und den Prüfdurchlauf: Die vollständige Kette führt zusätzlich eine Dokumentenindexierung und eine Abdeckungsstufe pro Anforderung aus, die mehr kostete als diese beiden Stufen zusammen und die im GLM-Durchlauf von einem anderen Modell bedient wurde, weshalb Gesamtsummen nicht vergleichbar sind und hier weggelassen werden. Je ein Durchlauf ist ein Datenpunkt, keine Messreihe. Unser Mai-Vergleich mit fünf Durchläufen pro Modell gegen einen vorab registrierten Lösungsschlüssel ist die belastbarere Messung.