Dasselbe Angebot analysiert mit GLM-5.3 Flash und einem gestuften Claude-Stack

Wir haben dieselbe Analyse zweimal laufen lassen: eine Ausschreibung, ein Angebot, dieselbe Pipeline, dieselben Prompts. Der erste Lauf nutzte Claude — Opus 4.8 zum Schlussfolgern, Sonnet 4.6 zum Verifizieren, Haiku 4.5, um die Anforderungen eine nach der anderen zu lesen. 2 Stunden 11 Minuten, $36,13. Der zweite nutzte GLM-5.3 Flash für alle drei Aufgaben, über OpenRouter. 10 Stunden 18 Minuten, $4,82.

Beide lieferten eine Analyse, die wir einem Angebotsverantwortlichen weitergeben würden, und beide kamen zur selben Empfehlung. Was sie unterscheidet, ist nicht das Urteilsvermögen. Es sind die Kosten und die Zuverlässigkeit.

1. Was wir laufen ließen

Eine öffentliche Ausschreibung mit mehreren Losen und ein vollständiges Angebot dazu: 210 Dateien, ein Auftragswert im siebenstelligen Bereich pro Jahr. Das Angebot ist erfunden — wir haben es selbst geschrieben und so nah an eine echte Einreichung gebracht, wie wir konnten. Die Vergabestelle und die Branche nennen wir nicht.

Beide Läufe nutzten dieselbe Pipeline — Indexierung, einen Haupt-Reasoning-Agenten, eine Abdeckungsstufe, die jede Anforderung, jedes Zuschlagskriterium und jedes Los parallel prüft, einen Verifikationsdurchlauf, der jede Feststellung erneut gegen die Quelle liest, und ein Registerscreening jedes im Angebot genannten Unternehmens und jeder genannten Person. Der einzige Unterschied war, welche Engine welche Stufe bediente.

2. Beide Läufe haben die Arbeit erledigt

Dieselbe Empfehlung und Übereinstimmung bei elf der sechzehn Zuschlagskriterien. Beide fanden unabhängig voneinander einen selbst angegebenen Prozentsatz, der sich aus den eigenen Zahlen des Angebots nicht nachrechnen lässt, und ein fremdsprachiges Dokument, das ohne beglaubigte Übersetzung eingereicht wurde. Sie unterscheiden sich darin, wie schwer sie das Gefundene gewichtet haben.

GLM-5.3 Flash eskalierte stärker. Es stufte drei Mängel als kritisch ein, wo der Claude-Lauf vergleichbare Punkte niedriger einordnete oder das Kriterium einem Menschen zur Entscheidung überließ. Der Schweregrad ist eine Ermessensfrage, und keine der beiden Gewichtungen ist offensichtlich richtig — wer möchte, dass jede Formalie laut markiert wird, ist mit der ersten besser bedient, wer eine kurze Liste echter Blocker möchte, mit der zweiten. Beides sind vertretbare Lesarten derselben Dokumente.

Das günstigere Modell musste mehr arbeiten, um an denselben Punkt zu kommen. 28 Shell-Befehle, 15 Dateilesevorgänge, 12 Bildextraktionen und 7 Greps gegen 11, 5, 3 und keinen bei Opus — an einer Stelle öffnete es das zugrunde liegende XML eines Dokuments, um den Zustand einer Checkbox direkt auszulesen. Dass es pro Token günstig ist, ist der Grund, warum es sich das leisten konnte.

3. Die Rechnung

Allein die Stufe pro Anforderung kostete auf Claude mehr ($17,39) als der gesamte GLM-Lauf ($4,82). Diese Stufe läuft auf Haiku, der günstigen Stufe von Anthropic. Eine günstige Stufe ist nur im Vergleich zur eigenen Familie günstig.

Der Token-Hunger von GLM ist weiterhin da: 2,98 Millionen Ausgabe-Token und 2,13 Millionen Thinking-Token gegen 0,85 und 0,10 Millionen bei Claude, also etwa fünfmal so viel Schreibarbeit bis zur Antwort. Im August fraß dieser Hunger einen Preisunterschied von 3,6× auf 17% herunter. Diesmal war der Abstand groß genug, um ihn aufzufangen.

4. Zuverlässigkeit

Hier zahlt der günstige Lauf drauf, nur in der falschen Währung. 10h18m gegen 2h11m, und fast nichts von diesem Unterschied ist zusätzliches Nachdenken — der Lauf stand 14 bis 78 Minuten am Stück still und wartete auf Kapazität beim Anbieter. Das sagt etwas darüber, wie ausgelastet ein weitergeleiteter Endpunkt an einem bestimmten Nachmittag ist, und nichts über die Gewichte, aber wer eine Analyse vor der Mittagspause startet und sie danach lesen will, wird es merken.

GLM scheitert außerdem weiterhin an JSON. Ein Abdeckungs-Worker starb an einer nicht abgeschlossenen Zeichenkette mitten im Tool-Aufruf, und ein weiterer Aufruf brauchte einen zweiten Versuch; das kostete eine ungeprüfte Anforderung aus dem Satz. Das ist dieselbe Fehlerart, die fünf von sechs GLM-5.2-Läufen umbrachte, als wir es im Mai zum ersten Mal getestet haben. Aus tödlich ist ein ausgefallener Posten geworden, und verschwunden ist es nicht.

Auch der Claude-Lauf war nicht makellos: Ein Los-Worker brach nach fünf aufeinanderfolgenden Tool-Fehlern ab und musste genauso abgeschrieben werden. Je ein ausgefallener Posten, aus unterschiedlichen Ursachen.

5. Was wir daraus mitnehmen

Je ein Lauf ist kein Benchmark, und die ehrliche Zusammenfassung ist unspektakulär. Zwei Engines mit siebenfachem Preisunterschied erledigten dieselbe Arbeit auf vergleichbarem Niveau, waren beim Schweregrad auf eine Weise uneins, die ein menschlicher Prüfer ohnehin entscheiden würde, und unterschieden sich am stärksten darin, wie lange man wartet und wie oft etwas ausfällt.

Für uns ist die Engine ein Konfigurationsschalter — dieselbe Pipeline läuft auf Claude, GPT, Gemini oder GLM, und jede Stufe nutzt die Engine, die Sie gewählt haben, ohne stillen Austausch. Wenn eine Stufe unbemerkt auf ein günstigeres Modell zurückfallen kann, können Sie nicht wissen, was Ihre Analyse tatsächlich gesehen hat. Das zählt mehr als die Frage, welche der beiden Sie wählen.

6. Wie wir gezählt haben

Beide Läufe sind einzelne Produktionsanalysen desselben Angebots gegen dieselbe Ausschreibung, mit denselben Prompts, Tools und Dokumenten. Der GLM-Wert ist die Summe der Kosten, die OpenRouter je Aufruf gemeldet hat. Der Claude-Wert ist aus den veröffentlichten Sätzen von Anthropic berechnet, einschließlich des Rabatts für Cache-Lesen und des Aufschlags für Cache-Schreiben, weil die Antworten des Anbieters selbst keinen Preis zurückgeben. Bei den Feststellungszahlen trennen wir durchgehend die modelleigenen Feststellungen vom Registerscreening. Unser Vergleich aus dem Mai, fünf Läufe je Modell, ist die größere Stichprobe.