Spitze geteilt, Preise nicht
Claude Opus 5.5, Claude Fable 5.1 und Muse Spark 1.3 bestehen gleich viele Vertragsaufgaben. Muse Spark kostet je Aufgabe rund 86 % weniger als die beiden Claude-Modelle.
LexLab ResearchTäglicher Abgleich
Legal AI
Model Benchmark
Welche Sprachmodelle erledigen juristische Aufgaben vollständig richtig, und unter welchen Bedingungen darf eine Kanzlei sie einsetzen? Leistung und Mandatsdatenschutz werden bewusst getrennt bewertet. Stand: Oktober 2026.
Geteilte Spitze
Claude Opus 5.5 · Claude Fable 5.1 · Muse Spark 1.3
48,4 % der Aufgaben vollständig bestanden
Vergleichsfeld
25 Modelle
Oktober 2026
Testumfang
2 Durchläufe
je Aufgabe, beide müssen bestehen
Praxis-Benchmark
Vertragsarbeit: vollständig richtig oder durchgefallen
Der Rang folgt der Aufgaben-Quote: Eine Aufgabe gilt nur als bestanden, wenn jedes Kriterium in beiden Durchläufen erfüllt ist. Die Kriterien-Quote zeigt, wie nah ein Modell dran war. Form misst, ob ein Anwalt das Ergebnis so verwenden würde. Kosten und Dauer beeinflussen den Rang nicht.
← Seitlich scrollen für alle Werte →
| # | Modell | Aufgaben bestanden | Kriterien erfüllt | Form | Kosten / Aufgabe | Dauer |
|---|---|---|---|---|---|---|
| 01 | Claude Opus 5.5Neu Anthropic | 48,4 % | 91,7 % | 93,9 % | $1.47 | 3m 03s |
| 01 | Claude Fable 5.1 Anthropic | 48,4 % | 90,7 % | 89,7 % | $1.50 | 3m 51s |
| 01 | Muse Spark 1.3 Meta | 48,4 % | 87,4 % | 87,8 % | $0.20 | 4m 35s |
| 04 | Claude Opus 5 Anthropic | 45,2 % | 90,1 % | 90,8 % | $0.90 | 4m 02s |
| 05 | Qwen 3.8 Flash Qwen | 38,7 % | 49,1 % | 67,7 % | $0.03 | 8m 21s |
| 06 | Claude Haiku 5.5Neu Anthropic | 35,5 % | 76,9 % | 83,1 % | $0.16 | 1m 41s |
| 07 | Claude Sonnet 5.5Neu Anthropic | 29,0 % | 85,3 % | 91,1 % | $0.98 | 1m 54s |
| 07 | Qwen 3.8 Max Qwen | 29,0 % | 32,2 % | 64,2 % | $0.39 | 6m 21s |
| 09 | GPT-6 Astra OpenAI | 25,8 % | 87,1 % | 91,9 % | $1.13 | 2m 55s |
| 09 | GPT-6.1 SolNeu OpenAI | 25,8 % | 86,3 % | 90,8 % | $0.11 | 2m 22s |
| 09 | Gemini 3.8 Flash Google | 25,8 % | 65,9 % | 76,4 % | $0.22 | 6m 11s |
| 09 | Grok 4.6 xAI | 25,8 % | 62,2 % | 76,8 % | $0.28 | 4m 28s |
| 09 | Mistral Large 4Neu Mistral | 25,8 % | 30,6 % | 63,4 % | $0.09 | 5m 11s |
| 14 | GPT-5.6 Sol OpenAI | 22,6 % | 84,8 % | 89,2 % | $0.18 | 2m 51s |
| 14 | Kimi K3 Moonshot AI | 22,6 % | 78,8 % | 84,7 % | $0.26 | 2m 10s |
| 14 | DeepSeek V4 Flash DeepSeek | 22,6 % | 57,1 % | 73,4 % | $0.01 | 4m 18s |
| 14 | GLM-5.3 Flash Z.ai | 22,6 % | 56,0 % | 67,8 % | $0.02 | 4m 21s |
| 18 | GPT-5.6 Luna OpenAI | 19,4 % | 80,9 % | 86,1 % | $0.02 | 2m 54s |
| 18 | DeepSeek V4 Pro DeepSeek | 19,4 % | 78,6 % | 88,3 % | $0.08 | 3m 58s |
| 18 | GLM-5.3 Z.ai | 19,4 % | 68,1 % | 81,9 % | $0.09 | 3m 31s |
| 21 | GPT-5.6 Terra OpenAI | 16,1 % | 81,2 % | 86,0 % | $0.14 | 1m 41s |
| 21 | Claude Sonnet 5 Anthropic | 16,1 % | 80,1 % | 86,9 % | $0.36 | 2m 52s |
| 23 | GPT-6.1 Terra OpenAI | 12,9 % | 82,9 % | 80,1 % | $0.07 | 1m 10s |
| 23 | MiniMax M3 MiniMax | 12,9 % | 80,1 % | 83,4 % | $0.03 | 2m 03s |
| 25 | Mistral Medium 3.5 Mistral | 9,7 % | 47,7 % | 75,0 % | $0.32 | 2m 52s |
Quelle: Legal AI Benchmarking · Contract Workflows · Kosten in USD zu Listenpreisen · „Neu“ = seit September 2026 aufgenommenQuelle synchronisiert · Oktober 2026
Oktober-Runde
Was die aktuelle Runde zeigt
Kernaussagen der Quelle zur Oktober-Auswertung, übersetzt und gekürzt.
Fast alles richtig ist nicht fertig
GPT-6 Astra erfüllt 87,1 % der Einzelkriterien, besteht aber nur rund ein Viertel der Aufgaben vollständig. Ein verfehltes Kriterium lässt die ganze Aufgabe durchfallen.
Hoher Rang, schmale Basis
Qwen 3.8 Flash steht weit oben, erfüllt aber weniger als die Hälfte der Kriterien. Vor dem Rang lohnt der Blick auf die Kriterien-Quote.
Kein Modell ohne Prüfung
Auch das beste Ergebnis verfehlt in mehr als der Hälfte der Vertragsaufgaben mindestens eine Anforderung. Die anwaltliche Durchsicht bleibt Pflicht.
Ergänzende Qualitätssignale
Was Arena und METR zusätzlich zeigen
Legal-Richtigkeit bleibt der Kern. Die folgenden externen Messungen liefern einen zweiten Blick auf Dokumentarbeit, Faktentreue und mehrstufige Ausführung — werden aber bewusst nicht in den Legal-Rang eingerechnet.
Arena.ai
Dokumentqualität & Faktentreue
Was es ergänzt
Die Document Arena vergleicht Modelle bei PDF- und Langdokument-Aufgaben anhand realer Nutzerpräferenzen. Der Factuality-Modus ergänzt Präferenzurteile um die überprüfte Richtigkeit einzelner Web-Claims.
Nicht übertragbar
Kein juristischer Lösungsschlüssel, keine deutsche Rechtsordnung und keine Prüfung von Fundstellenqualität. Rank Spreads zeigen, wie unsicher ein Rang statistisch noch ist.
METR
Mehrstufige Aufgabenreichweite
Was es ergänzt
Die 50%-Time-Horizon beschreibt die menschliche Expertenzeit einer Aufgabe, bei der ein Agent voraussichtlich in der Hälfte der Fälle erfolgreich ist. Das ist ein nützlicher Hinweis auf planungsintensive Workflows.
Nicht übertragbar
Gemessen werden überwiegend Software-, ML- und Cybersecurity-Aufgaben — nicht Recht. Der Wert ist weder reale Laufzeit noch Garantie für selbstständige Kanzleiarbeit; Messungen über 16 Stunden gelten als unzuverlässig. METR aktualisiert die Seite seit dem 8. September 2026 nicht mehr aktiv.
LexLab-Lesart: Legal-Benchmark für fachliche Verlässlichkeit, Arena für erlebte Antwort- und Dokumentqualität, METR für agentische Aufgabenreichweite. Ein starkes Signal kann ein schwaches in einer anderen Dimension nicht ausgleichen.
Release Watch
Neu veröffentlicht, noch nicht gerankt
Neue Modelle erhalten erst dann einen Rang, wenn ein dokumentierter Legal-Test vorliegt. So wird Marketing nicht mit Messung verwechselt.
Mandatsdaten-Check
Modellleistung ist nicht Produktfreigabe
ChatGPT, Claude und Gemini sind Anwendungen; GPT-6, Claude Opus oder Gemini 4 Argon sind Modelle. Für Verschwiegenheit und Datenschutz zählt das konkrete Produkt, der Tarif, die Konfiguration und der Vertrag — nicht der Benchmarkplatz.
OpenAI
ChatGPT / OpenAI API
Consumer-Zugang
Nur anonymisiert verwenden
Organisationszugang
Business, Enterprise oder API sind prüffähig
Geschäftsdaten werden standardmäßig nicht zum Modelltraining verwendet; Aufbewahrung und Datenresidenz hängen von Produkt und Vertrag ab.
AnbieterangabenAnthropic
Claude / Claude API
Consumer-Zugang
Nur anonymisiert verwenden
Organisationszugang
Team, Enterprise oder API sind prüffähig
Ein- und Ausgaben kommerzieller Produkte werden standardmäßig nicht für das Modelltraining genutzt; Enterprise bietet zusätzliche Retention Controls.
AnbieterangabenGemini / Vertex AI
Consumer-Zugang
Nur anonymisiert verwenden
Organisationszugang
Workspace Core Service oder Vertex AI sind prüffähig
Workspace- und Vertex-Angebote bieten Schutz vor Modelltraining ohne Freigabe; der konkrete Workspace-Status muss administrativ geprüft werden.
AnbieterangabenKein Tarif ist automatisch kanzleifreigegeben.
Vor Mandatsdaten sind mindestens Verschwiegenheit, Auftragsverarbeitung, Speicherfristen, Datenstandort, Unterauftragsverarbeiter, Zugriffsrechte und Kanzleirichtlinie konkret zu prüfen. Im Zweifel ausschließlich anonymisierte oder synthetische Inhalte verwenden.
Methodik & Grenzen
Was die Zahlen aussagen — und was nicht
01
Praxisnaher Ausschnitt
Von Anwälten verfasste Aufgaben mit festen Bestanden-/Nicht-bestanden-Kriterien, Schwerpunkt Commercial, IP, Employment, M&A und Competition. Die Modelle arbeiten in einer abgeschlossenen Umgebung ohne Webzugriff und liefern Dateien ab.
02
Kein deutscher Rechtsbenchmark
Die Aufgaben stammen aus 21 Rechtsordnungen, sind aber englischsprachig und US-/UK-lastig. Aussagen zu deutschem Recht, deutscher Zitierpraxis oder Fachterminologie lassen sich daraus nicht ableiten.
03
Neue Methodik, kein Zeitvergleich
Seit August/September 2026 arbeiten die Modelle agentisch mit Dateien und jede Aufgabe läuft zweimal. Ergebnisse früherer Runden sind laut Quelle nicht vergleichbar. Bewertet wird durch geprüfte KI-Gutachter mit Stichproben durch Menschen.
04
Automatische Aktualisierung mit Sicherheitsnetz
LexLab gleicht die veröffentlichte Rangliste alle 24 Stunden ab. Neu getestete Modelle erscheinen automatisch; fällt die Quelle aus oder ändert ihr Format, bleibt der zuletzt geprüfte Datensatz sichtbar.
Spezialisierte Legal-AI-Produkte vergleichen
Basismodelle sind nur eine Schicht des Kanzlei-Stacks.