Wir haben Tendergate auf Haiku 5.5 umgestellt: Die Lesekosten sanken um 75%, und die Bewertungen desselben Angebots wurden strenger

Zwischen dem 10. September und dem 8. Oktober haben wir dieselbe öffentliche Ausschreibung achtmal analysiert: 53 prüfbare Anforderungen, 22 Zuschlagskriterien, mehrere Versionen eines echten Angebots. Ausschreibung, Auftraggeber und Bieter bleiben ungenannt. In den ersten sieben Läufen übernahm Haiku 4.5 das Lesen Punkt für Punkt, und diese Stufe kostete jedes Mal $14,39 bis $16,04. Am 8. Oktober, einen Tag nachdem Anthropic Haiku 5.5 veröffentlicht hatte, haben wir Tendergate darauf umgestellt. Dieselbe Stufe kostete danach $3,96, 75% weniger — passend zu Anthropics Ankündigung, der Betrieb koste „rund 75% weniger“ als Haiku 4.5.

Unsere Angebotsanalyse nutzt Modelle auf drei Stufen. Das schnelle liest Punkt für Punkt: ein kleiner Agent pro Anforderung, Kriterium und Los, bei dieser Ausschreibung 76.

1. Die Rechnung

Die sieben Haiku-4.5-Läufe lagen höchstens $1,65 auseinander, der Rückgang ist also kein Zufall. Die gesamte Analyse sank von $36,27 auf rund $18, und das Hauptmodell ist mit $8,64 jetzt ihr größter Kostenposten.

2. Mehr Denken pro Schritt

Klügere Modelle sollen mit weniger Schritten auskommen — das sagte Anthropic beim Start von Opus 4.5. Die Anforderungen brauchten so viele Schritte — Modellaufrufe — wie zuvor, die Zuschlagskriterien etwa halb so viele. In jedem Schritt dachte das Modell deutlich mehr.

Auch die Prompts wuchsen, auf 80.000 Token statt 52.000, zum Teil weil Haiku 5.5 denselben Text als rund 30% mehr Token zählt. Das zählt wegen einer Preisgrenze: Unter 100.000 Token pro Anfrage kostet Haiku 5.5 ein Zehntel von Haiku 4.5; darüber kostet die gesamte Anfrage das Fünffache. 187 unserer 724 Aufrufe lagen darüber: ein Viertel der Aufrufe, 68% der Rechnung dieser Stufe.

3. Strenger beim selben Angebot

Die Läufe 7 und 8 haben dieselbe Angebotsversion gelesen:

Alle 14 Änderungen gingen weg von „erfüllt“. Manche sind bessere Treffer, etwa eine Einreichungsanforderung, die der ältere Lauf als erfüllt wertete, obwohl das Angebot keine Upload-Bestätigung enthält. Manche sind zu streng, etwa zwei Ausschlussgründe, die der Auftraggeber selbst in öffentlichen Registern prüft und die ungeprüft blieben. Bei den Zuschlagskriterien war es umgekehrt: Drei der vier Änderungen hoben eine Teilbewertung auf „erfüllt“.

Nicht alles davon ist das Modell. Zwischen den Läufen haben wir eine Anweisung ergänzt, nach der nur die eigenen Angaben des Bieters als Nachweis zählen, das Modell, das Feststellungen nachprüft, von Sonnet 4.6 auf Sonnet 5.5 umgestellt und geändert, wie Dokumente in Text umgewandelt werden. Der größte Teil des Kostenrückgangs ist der Preis des Modells; die Bewertungsänderungen gehören zur gesamten Pipeline, und ein einzelner Lauf kann sie nicht trennen.

4. Was wir daraus mitnehmen

Halten Sie den Prompt jedes Agenten unter 100.000 Token, und lassen Sie Ihre eigenen Dokumente erneut laufen, bevor Sie einem Modellwechsel vertrauen, wie es auch Anthropics Prompting-Leitfaden für Haiku 5.5 empfiehlt.

Jede Bewertung in Tendergate trägt das Zitat und die Fundstelle im Dokument, auf denen sie beruht. So lässt sich jede Bewertung, die sich nach einem Modellwechsel ändert, direkt an der Quelle prüfen.

Wie wir gezählt haben: acht Produktionsanalysen; Hauptmodell Opus 4.8 in den Läufen 1–6 und Opus 5.5 in den Läufen 7–8. Die Kosten beruhen auf Anthropics veröffentlichten Preisen, einschließlich des höheren Satzes über 100.000 Token.