LiveBench

Was ist LiveBench?

LiveBench ist ein ständig aktualisiertes Set an Benchmarks und öffentlichen Ranglisten für große Sprachmodelle, das sich insbesondere mit dem Problem der Verunreinigung durch herkömmliche Bewertungsfragen in den Trainingsdaten der Modelle auseinandersetzt. Es nutzt aktuelle Daten, programmgesteuert generierte Aufgaben sowie überprüfbare Standardlösungen, um schwierige Aufgaben automatisch bewerten zu können.

Die Projektarbeit wurde in den ICLR 2025 Spotlight aufgenommen; gleichzeitig wurden die Website, die Veröffentlichung der Arbeit, die Daten sowie der Bewertungskodex öffentlich zugänglich gemacht. Sie eignet sich zur Untersuchung von Unterschieden in den Fähigkeiten von Forschungsmodellen und ist kein Chat- oder Inhaltsgenerierungstool für normale Nutzer.

Warum ist ein dynamischer Referenzwert notwendig?

Je länger die öffentliche Verfügbarkeit der festen Aufgabensammlung andauert, desto wahrscheinlicher ist es, dass sie von Modellentwicklern zur Schulung, Feinabstimmung oder Optimierung der Anweisungen verwendet wird. In diesem Fall könnten die Platzierungen in den Ranglisten eher das Gedächtnis als die Fähigkeit zur Generalisierung widerspiegeln. LiveBench versucht, die Dauer, über die die Aufgaben zugänglich sind, so kurz wie möglich zu halten, indem regelmäßig neue Aufgaben hinzugefügt und alte aktualisiert werden.

„Eingeschränkte Verschmutzung“ bedeutet nicht völlige Frei von Verschmutzung; öffentliche Webseiten, Wettbewerbsaufgaben und Code-Repositories können dennoch in die Trainingsdaten gelangen. Bei der Auswertung der Ergebnisse sollten Datum der Veröffentlichung der Aufgaben, Frist für das Modelltraining sowie eine Analyse der konkreten Aufgaben berücksichtigt werden.

Kerndesign

Themen ständig aktualisieren

LiveBench fügt oder ersetzt Aufgaben entsprechend neu veröffentlichten Datensätzen, Artikeln, Nachrichten, Filmbeschreibungen und Wettbewerbsmaterialien. Das Aktualisierungsprotokoll dokumentiert die Änderungen der Aufgaben für jeden Veröffentlichungstermin.

Objektive Standardantworten

Für jede Aufgabe sollten möglichst überprüfbare „Ground Truth“-Werte sowie ein deterministisches Bewertungssystem verwendet werden, anstatt dass ein anderes großes Modell subjektiv entscheidet. Dadurch können Vorlieben des Bewertungsmodells, Sequenzeffekte und Selbstbevorzugungen verringert werden.

Mehrfachfähigkeitsabdeckung

Der Referenzrahmen umfasst Dimensionen wie Mathematik, Programmierung, Schlussfolgerung ziehen, Sprache, Befolgung von Anweisungen, Datenanalyse und Agentenprogrammierung. Die Anzahl der Kategorien, Aufgaben und Fragen variiert in den verschiedenen Versionen; die ursprünglichen „sechs Kategorien mit achtzehn Aufgaben“ dürfen daher nicht als dauerhafte Spezifikation angesehen werden.

Versionierte Rangliste

Jede Aktualisierung erzeugt eine mit einem Datum versehene Release-Version; die Leistungsbewertung des Modells muss mit der jeweiligen veröffentlichten Version verbunden sein. Verschiedene Versionen haben unterschiedliche Aufgaben und Bewertungskriterien, weshalb die Ergebnisse nicht ohne Erklärung direkt miteinander verglichen werden können.

Offener Bewertungskodex

Die offiziellen Lager bieten Skripte zur Erstellung von Antworten, zur Bewertung sowie zur Anzeige der Ergebnisse. Zudem werden API-Modelle sowie kompatible Schnittstellen unterstützt. Für die Programmierung von Agenten ist außerdem Docker erforderlich, um eine isolierte Ausführungsumgebung bereitzustellen.

Aktuelle Bewertungskategorie

Übersicht der Hauptfunktionen

• Überprüfen Sie die Punktzahlen der verschiedenen Modelle insgesamt sowie in den einzelnen Kompetenzkategorien.
• Vergleichen Sie die Leistung nach Modell, Organisation, Version und Inferenz-Einstellungen.
• Verstehen Sie durch die Versionsdaten Aktualisierungen der Aufgaben und Änderungen in den Ranglisten.
• Laden Sie die öffentlichen Daten herunter und sehen Sie sich die Aufbaustruktur sowie die Standardlösungen an.
• Verwenden Sie offizielle Skripte, um Modelle zur Erstellung von Antworten und objektiven Bewertungen zu erstellen.
• Bewerten Sie Business-API-Modelle oder selbst entwickelte, kompatible Schnittstellenmodelle.
• Einzelne Untergruppen von Aufgaben wie Mathematik, Programmierung, Schlussfolgerung usw. werden separat ausgeführt.
• Stellen Sie eine Anfrage zur Bewertung des Modells oder melden Sie Probleme über ein Issue.
• Lesen Sie die Paper und das Update-Log, um die Methoden und Einschränkungen zu erfahren.
• Überprüfen Sie die spezifischen Aufgaben und Modellausgaben, die den abnormalen Scores entsprechen.

Für welche Benutzer geeignet

• KI-Forscher: Analyse der Generalisierbarkeit, Verunreinigungen und Fähigkeitsunterschiede von Modellen.
• Modellentwicklerteam: Durchführung von Regressionsbewertungen an neuen Versionen der Aufgaben.
• Fachleute für die Auswahl von Unternehmenstechnologien: Sie wählen die geeigneten Modellvorschläge für konkrete Aufgaben aus.
• API-Plattformen und Modellhersteller: Überprüfung neuer Modelle und Einreichung in die Rangliste.
• Open-Source-Community: Ergebnisse nachbilden, Scorer reparieren und neue Aufgaben beitragen.
• Entwicklungswerkzeug-Team: Schwerpunkt liegt auf dem Vergleich der Programmierfähigkeiten für Code und Agenten.
• Forscher im Bereich Bildung und Medien: Verständnis von Ranglistenmethoden und gängigen Fehldeutungen.

In welchen Fällen ist es nicht geeignet

• Benutzer, die nur ein absolut „stärkstes Modell“ wissen möchten, ohne auf Unterschiede in den Aufgaben zu achten.
• Teams, die eine Bewertung in chinesischer Sprache, im Kundenservice-Stil oder hinsichtlich fachlicher Kenntnisse benötigen.
• Es wird gehofft, die Einkaufsentscheidungen für tatsächliche Pilotprojekte direkt durch eine einmalige Rangliste zu ersetzen.
• Personen, die ohne API-Budget, GPU oder Sandbox-Umgebung eine vollständige Wiederholung aller Tests durchführen möchten.
• Einrichtungen, die eine umfassende Zertifizierung hinsichtlich Sicherheit, Vorurteilen, Privatsphäre und der Zuverlässigkeit der Informationen benötigen.
• Normale Benutzer, die für Chat über mobile Geräte oder zur direkten Erledigung von Produktionsaufgaben benötigt werden.

Anleitung zur Anzeige der Rangliste

1. Überprüfen Sie zunächst das Veröffentlichungsdatum und die Version des Themas in LiveBench, die auf der Seite angezeigt werden.
2. Überprüfen Sie den Modellnamen, die genaue Version, die Inferenzstärke und die Kontexteinstellungen.
3. Zuerst sollten die Kategorien verglichen werden, die mit dem Zielgeschäft übereinstimmen, und nicht nur der durchschnittliche Wert insgesamt betrachtet werden.
4. Erweitern Sie die Ergebnisse auf Aufgabenebene, um zu prüfen, ob sich die hohen Punktzahlen auf wenige Fragearten konzentrieren.
5. Überprüfen Sie, ob es zu Zeitüberschreitungen, leeren Antworten, Kostengrenzen oder Unterschieden in den Tools kommt.
6. Setzen Sie das Kandidatensystem in Ihre eigenen Daten und Workflows ein, um eine zweite Bewertung durchzuführen.

Lokale Ausführung des Bewertungstrainings

1. Erhalten Sie den offiziellen Repository und erstellen Sie eine eigenständige Python-Virtualisierungsumgebung.
2. Installieren Sie gemäß den Anweisungen des Projekts die grundlegenden Abhängigkeiten sowie die für die Aufgaben erforderlichen Abhängigkeiten.
3. Wählen Sie die feste LiveBench-Release-Option aus und notieren Sie die eingereichte Version.
4. Konfigurieren Sie den Modellnamen, die API-Adresse, den Schlüssel und die Erstellungsparameter.
5. Führen Sie zunächst eine kleine Anzahl von Aufgaben aus, um das Ausgabeformat und die Kosten zu überprüfen.
6. Führen Sie die Schlussfolgerung und Bewertung durch und speichern Sie die ursprüngliche Antwort sowie das Ausführungsprotokoll.
7. Verwenden Sie dieselbe Version und Parameter, um verschiedene Modelle zu vergleichen.
8. Nach Überprüfung der abnormalen Proben werden die Kategorien und die Gesamtpunktzahl ermittelt.

Lehrbuch zur Bewertung von Agentenprogrammierung

1. Vorbereitung eines isolierten Hosts zur Unterstützung von Docker sowie Einstellung von Ressourcenlimits.
2. Installieren der zusätzlichen Abhängigkeiten und Images, die für die Agentenprogrammierung erforderlich sind.
3. Überprüfen Sie, ob das Modell die erforderlichen Toolaufrufe oder Interaktionsmöglichkeiten unterstützt.
4. Feste Agentenrahmen, Schrittzahlbeschränkung, Timeout und Umgebungsversion.
5. Führen Sie kleine Stichproben aus, um die Montage des Speichers sowie die Testbefehle zu überprüfen.
6. Gruppenweise Aufgaben ausführen und Spuren, Patches, Tests sowie Kosten speichern.
7. Bei fehlgeschlagenen Aufgaben werden Modellfehler, Umgebungsfehler und Zeitüberschreitungen unterschieden.
8. Unzuverlässige Container werden zerstört und temporäre Anmeldeinformationen entfernt.

Wie werden die Punkte berechnet?

Die Bewertung der Aufgaben erfolgt anhand von festgelegten Regeln, Standardlösungen, Testfällen oder speziellen Verarbeitungsverfahren, wobei die Ergebnisse anschließend den jeweiligen Aufgaben und Kategorien zugeordnet werden. Die Gesamtbewertung ergibt sich in der Regel aus dem Durchschnitt der Werte der einzelnen Kategorien – es wird nicht einfach die Summe aller Antworten berechnet.

Versionserneuerungen können Kategorien hinzufügen, Aufgaben ersetzen oder die Bewertunglogik ändern. Daher müssen das Veröffentlichungsdatum, der Code-Commit, die Modellparameter sowie die Laufumgebung aufgezeichnet werden. Wenn nur eine Bewertung angegeben wird, ohne die Version anzugeben, geht die Reproduzierbarkeit verloren.

Vergleichbarkeit von Versionen und Ergebnissen

Methoden zur Kontrolle von Verunreinigungen

• Regelmäßig werden neue Fragen auf der Grundlage neuester Materialien veröffentlicht.
• Aufgaben aus neuen Artikeln, Nachrichten, Wettbewerben und Datensätzen erstellen.
• Teilweise überprüfbare Aufgaben werden auf programmierende Weise erzeugt.
• Aktualisierung alter Aufgaben, die bereits gesättigt oder verdächtig verschmutzt sind.
• Verknüpfen Sie die Ranglisten und Daten mit dem genauen Veröffentlichungsdatum.
• Verwendung objektiver Antworten, um menschliche und modellbasierte Bewertungsverzerrungen zu verringern.

Diese Maßnahmen können nur die Wahrscheinlichkeit der Kontamination verringern, sie können jedoch nicht beweisen, dass in allen Modellen noch nie entsprechende Materialien vorgekommen sind. Insbesondere öffentlicher Code, Nachrichten und wissenschaftliche Artikel könnten schnell in Trainings- oder Suchsysteme aufgenommen werden.

Vorteile und Grenzen einer objektiven Bewertung

Preise und Betriebskosten

Die LiveBench-Website, die Publikationen und die Open-Source-Repositorien sind kostenlos zugänglich. Das Projekt bietet keine Mitgliedspläne für Leser an. Die Hauptkosten bei der eigenen Bewertung entstehen durch die Model-APIs, GPUs, Agent-Sandboxen, Speicher sowie die Entwicklungsaufwand.

Wie sollte die Auswahl des Modells erfolgen?

LiveBench eignet sich dazu, die Anzahl der potenziellen Modelle von Dutzenden auf wenige zu reduzieren, sollte aber nicht direkt zur Entscheidung über den Kauf herangezogen werden. Die Geschäftspartner müssen außerdem Preis, Verzögerungen, Durchsatz, Datennutzungsrichtlinien, Stabilität, Tool-Aufrufe sowie die Leistung in lokalen Sprachen bewerten.

• Wählen Sie zunächst die Kategorie und Aufgabe aus, die am nächsten zum Geschäftsfeld liegen.
• Vergleichen Sie die Ergebnisse derselben Version mit demselben Schlussfolgerungsbudget.
• Einen Satz interner echter Beispiele als Endtest beibehalten.
• Gleichzeitig werden Qualität, Token, Verzögerung und Fehlerrate aufgezeichnet.
• Für Szenarien mit hohem Risiko werden Sicherheits- und Fact-Checking-Prüfungen eingeführt.
• Testen Sie die Konkurrenzfähigkeit, die Bandbreitenbegrenzung und Stabilität unter Berücksichtigung des tatsächlichen Datenverkehrs.

Bewertung der Sicherheitsaspekte

Programmierungsaufgaben und Agentenaufgaben führen den von Modellen erzeugten Code oder Befehle aus und müssen in isolierten Containern ausgeführt werden. Produktionschlüssel, Hostverzeichnisse sowie Netzwerk-Zugangsdaten dürfen nicht an unzuverlässigen Code preisgegeben werden.

• Verwenden Sie Einwegbehälter, minimale Berechtigungen und Netzwerkisolation.
• Einschränkungen für CPU, Speicher, Festplatte, Anzahl der Prozesse und Laufzeit.
• Es werden weder die Docker-Kontroll-Schnittstellen noch sensible Verzeichnisse des Hosts an den Container angebunden.
• Verwenden Sie eine kurzfristige API-Schlüssel und legen Sie Budgets sowie Geschwindigkeitsbeschränkungen fest.
• Protokollieren Sie Modelle, Parameter, Spiegelbildungen und Code-Commit-Versionen.
• Nach Abschluss der Aufgabe wird der Container zerstört und die temporären Anmeldeinformationen zurückgenommen.

Vorteile des Produkts

• Die Aufgaben werden kontinuierlich aktualisiert, um das Risiko einer langfristigen Verunreinigung durch eine feste Aufgabensammlung zu verringern.
• Verwendung prüfbarer Standardlösungen, um Verzerrungen bei der Bewertung durch LLMs zu verringern.
• Umfasst Fähigkeiten in Mathematik, Programmierung, Logik, Sprachen und Datenanalyse.
• Beteiligen Sie sich an der Bewertung der Agentenprogrammierung in einem echten Lagerumfeld.
• Es werden versionierte Ranglisten, Artikel, Daten und Bewertungscodes bereitgestellt.
• Die Ergebnisse auf Aufgabenebene erleichtern die Analyse der konkreten Stärken und Schwächen des Modells.
• Es ist möglich, kommerzielle APIs sowie selbst entwickelte, kompatible Schnittstellendesigns zu bewerten.
• Arbeiten und Open-Source-Communities bilden die Grundlage für die Überprüfung von Methoden.

Einsatzbeschränkungen und Hinweise

• Verschmutzung kann nur eingeschränkt werden; es ist nicht möglich, nachzuweisen, dass sie völlig fehlt.
• Werte mit unterschiedlichen Veröffentlichungsdaten können nicht direkt als auf derselben Skala betrachtet werden.
• Die Gesamtrangliste verschleiert die Unterschiede auf Kategorie- und Aufgabenebene.
• Die offiziellen Ranglisten umfassen nicht unbedingt alle neuen Modelle und Inferenz-Einstellungen.
• API-Timerouts, Preis- und Geschwindigkeitsbeschränkungen können die Modellbewertung beeinflussen.
• Die Bewertung nutzt hauptsächlich objektive Aufgaben und kann Ästhetik sowie offenes Schreiben nicht abdecken.
• Chinesisch, Branchenwissen sowie Sicherheits- und Privatsphärekompetenzen sind nicht der Hauptfokus.
• Die Ergebnisse der Agentenprogrammierung hängen vom Framework, der Anzahl der Schritte sowie von den Bedingungen im Sandbox-Umfeld ab.
• Der aktuell verfügbare Pfad für die direkte Inferenz mit lokalen Modellen ist begrenzt; offiziell wird empfohlen, kompatible Dienste zu verwenden.
• Hohe Punktzahlen können keine echte Überprüfung der Geschäftstätigkeit und keine Risikobewertung ersetzen.

GitHub und der Open-Source-Zustand

Der offizielle Repository von LiveBench wird von der LiveBench-Organisation verwaltet und verfügt bei der Überprüfung über etwa 1.300 Sterne. Das Repository enthält Testskripte, Task-Verarbeiter, eine Ergebnisanzeige sowie ein Change-Log und nimmt Issues sowie Code-Beiträge entgegen.

Die LICENSE-Datei enthält die Lizenztexte aus Quellen wie FastChat und LiveCodeBench, einschließlich der Apache-2.0- und MIT-Bedingungen. Bei der Verwendung, Änderung oder Weiterverbreitung müssen alle Bedingungen der jeweiligen Quellen sowie die Angaben Dritter eingehalten werden; das gesamte Repository darf nicht auf eine einzige Lizenz reduziert werden.

Grundlegende Informationen

Empfehlungswert

4,7 / 5. LiveBench bessert die Probleme der Verfälschung und der Bewertungsverzerrungen in den herkömmlichen Ranglisten für LLMs durch dynamische Aufgaben und objektive Bewertungen – er eignet sich somit zur Forschung sowie zur Auswahl von Technologien. Allerdings müssen Aspekte wie Versionenvergleichbarkeit, Aufgabenumfang und Betriebskosten noch sorgfältig bewertet werden.

Häufige Fragen

Ist LiveBench kostenlos?

Ranglisten, Artikel, Code und öffentliche Daten sind kostenlos zugänglich. Eine eigene Bewertung führt zu Kosten für Modelle-APIs, GPUs, Rechenkapazitäten und Wartung.

Verursacht LiveBench wirklich keine Verschmutzung?

Es kann nicht garantiert werden, dass es überhaupt keine Verunreinigung gibt. Es verringert die Wahrscheinlichkeit von Verunreinigungen durch neue Aufgaben, aktuelle Materialien sowie kontinuierliche Aktualisierungen – genauer gesagt: Die Verunreinigung wird eingeschränkt.

Warum wird nicht ein großes Modell als Schiedsrichter verwendet?

Das Projekt verwendet vorrangig Standardantworten und bestimmte Bewertungskriterien, um Vorlieben des Bewertungsmodells, Reiheneffekte sowie Selbstbevorzugung zu vermeiden. Dadurch wird die Qualität der offenen Antworten weniger berücksichtigt.

Können Scores von verschiedenen Versionen verglichen werden?

Ein direkter Vergleich wird nicht empfohlen. Die Aufgaben, Aufträge und Schwierigkeitsgrade können sich ändern; es sollten zumindest das Veröffentlichungsdatum, die Modellparameter sowie die Codeversion angegeben werden.

Kann man sein eigenes Modell testen?

Ja. Die sicherste Methode ist, das Modell als kompatible Schnittstelle zu bereitstellen und anschließend die offiziellen Ausführungsskripte zu verwenden, um Antworten und Bewertungen zu erzeugen.

Warum gibt es in der Rangliste kein bestimmtes neuestes Modell?

Für offizielle Bewertungen sind Verfügbarkeit der API, Stabilität, Budget und Zeit erforderlich; Modelle, die zu teuer sind oder häufig ausfallen, können keine fairen Tests durchführen.

Kann LiveBench direkt über den Kauf eines Modells entscheiden?

Nicht möglich. Es eignet sich nur für eine erste Überprüfung; letztendlich müssen Qualität, Verzögerungen, Kosten, Stabilität und Konformität anhand echter Geschäftsdaten getestet werden.

Ist LiveBench open source?

Ja, aber der Repository enthält Code aus verschiedenen Quellen sowie Texte zu kombinierten Lizenzen. Bei der Weiterverbreitung müssen die Apache-2.0-, MIT- und anderen relevanten Bedingungen überprüft werden.