LLM-Benchmark für Beschaffungsarbeit

Methode

Ein Stack ist die Menge der Modelle, die den drei Agentenrollen zugewiesen sind: Haupt-, mittlere und schnelle Rolle. Verschiedene Schritte jedes Agenten rufen verschiedene Rollen auf. Ein Stack kann ein Modell für alle drei Rollen oder je Rolle ein anderes Modell verwenden.

Der Korpus ist eine kommunale Ausschreibung zur Schulsanierung mit zwei Losen in parallelen englischen und lettischen Fassungen: Vergabeunterlagen, technische Spezifikation, Leistungsverzeichnis, Vertragsentwurf, eine Zeichnung und zwei Angebote. Ein Angebot erfüllt alle Anforderungen. Das andere enthält 22 bewusst eingebaute Mängel; einige sind nur in der Tabelle sichtbar, einige nur auf gescannten Zertifikatsseiten.

Für jeden Stack, jede Sprache und jeden Versuch führt der Benchmark die Anforderungsextraktion aus den Vergabeunterlagen einmal, die Angebotsanalyse einmal je Angebot und die Marktforschung zu den Positionen der Ausschreibung einmal aus. Er verwendet dieselben Jobs, Sandboxes und Werkzeuge wie die Produktion, mit einer Ausnahme: Jede Katalogposition wird automatisch freigegeben, damit die Marktforschung ohne menschlichen Schritt starten kann.

Die Angebotsanalyse wird nach dem Auffinden der eingebauten Mängel (50%), der Genauigkeit gegenüber Fehlalarmen in beiden Angeboten (30%) und der Richtigkeit des Urteils (20%) bewertet; der Versuchswert ist der niedrigere der beiden Angebotswerte. Die Anforderungsextraktion wird nach dem Auffinden der Referenzanforderungen (60%), der Genauigkeit (20%) und der Struktur aus Losen und Kriterien (20%) bewertet. Die Marktforschung ist zu 40% strukturell (Durchlauf abgeschlossen, Anteil der Positionen mit mindestens einem Angebotspreis, Anteil der Angebotspreise mit geprüfter Quelle) und zu 60% eine Liste von Fakten, die der Bericht enthalten muss. Bei mehr als einem Versuch ist jeder Tätigkeitswert der Median über die Versuche. Der Sprachgesamtwert ist der Mittelwert der drei Tätigkeitswerte; der Gesamtwert ist der Mittelwert des englischen und des lettischen Gesamtwerts.

Ein separates Modell liest jedes Ergebnis in einem Arbeitsblatt gegen den Lösungsschlüssel; anschließend wendet der Bewertungsalgorithmus die oben genannten festen Gewichte an. Der Bewerter ist nie eines der getesteten Modelle, kann aber vom selben Anbieter stammen. Der Bewerter jedes Stacks steht in der Stack-Tabelle.

Die Kosten sind ausschließlich der LLM-Verbrauch. Aufrufe bei Erstanbietern werden zum Listenpreis am Tag des Durchlaufs berechnet, wobei Cache-Lesevorgänge, Cache-Schreibvorgänge und Denk-Token so gewichtet werden, wie der Anbieter sie abrechnet. Für OpenRouter-Aufrufe gelten die von OpenRouter gemeldeten Kosten. Die Laufzeit ist die Zeit vom Start bis zum Ende des Durchlaufs für beide Sprachen, einschließlich Vorbereitung und Wartezeit in der Warteschlange.

Die Zuverlässigkeit ist die Zahl der abgeschlossenen Tätigkeitsdatensätze geteilt durch die Zahl der Versuche; eine Wiederholung, die später gelingt, zählt als zwei Versuche und ein Abschluss. Ein Stack mit einem Versuch ist eine einzelne Stichprobe.