Lexgraph-MCP verbessert juristische Antwortqualität messbar

Large Language Models können juristische Fragen inzwischen sprachlich überzeugend beantworten. Für den praktischen Einsatz im Recht reicht das aber nicht aus. Entscheidend ist nicht nur, ob eine Antwort plausibel klingt, sondern ob sie auf die richtige Rechtsgrundlage verweist.

Lexgraph MCP verbessert juristische Antwortqualität messbar Large Language Models können juristische Fragen inzwischen sprachlich überzeugend beantworten. Für den praktischen Einsatz im Recht reicht das aber nicht aus. Entscheidend ist nicht nur, ob eine Antwort plausibel klingt, sondern ob sie auf die richtige Rechtsgrundlage verweist. Wir haben deshalb getestet, ob ein MCP basierter Zugriff auf den LexGraph Knowledge Graph die juristische Trefferquote von Sprachmodellen verbessert. Grundlage war GerLeRB, ein Benchmark für Legal Information Retrieval über den Korpus deutscher Gesetze. Der Datensatz ist auf Zenodo veröffentlicht. Fragestellung Die zentrale Frage war: Findet ein Sprachmodell häufiger den richtigen Paragraphen, wenn es über den LexGraph MCP Zugriff auf einen juristischen Knowledge Graph erhält? Gemessen wurde nicht, ob die Antwort stilistisch gut klingt. Gemessen wurde auch nicht, ob das Modell eine vollständige juristische Subsumtion erstellt. Bewertet wurde ausschließlich, ob das Modell den richtigen Paragraphen nennt. Versuchsaufbau Wir haben alle GerLeRB Aufgaben getestet. Die Modelle wurden jeweils in zwei Varianten ausgeführt: Variante Beschreibung Without MCP Das Modell beantwortet die Frage ohne externes Retrieval. With MCP Das Modell nutzt den LexGraph MCP und greift dadurch auf unseren juristischen Knowledge Graph zu. Getestet wurden drei Gemini Modelle: Modell Without MCP With MCP Verbesserung : : : Gemini 3.1 Flash Lite 53,7 % 78,5 % +24,8 Prozentpunkte Gemini 3.5 Flash 77,7 % 87,5 % +9,9 Prozentpunkte Gemini 3.1 Pro Preview 78,2 % 91,1 % +12,9 Prozentpunkte Die Bewertung erfolgte automatisch. Als Metrik wurde die Answer Hit Rate verwendet: der Anteil der Aufgaben, bei denen das Modell den richtigen Paragraphen nennt. Ergebnis Der LexGraph MCP verbessert die Answer Hit Rate bei allen getesteten Modellen. Besonders deutlich ist der Effekt beim kleineren Modell Gemini 3.1 Flash Lite. Ohne MCP nennt es in 53,7 % der Fälle den richtigen Paragraphen. Mit LexGraph MCP steigt die Trefferquote auf 78,5 %. Das entspricht einer Verbesserung um 24,8 Prozentpunkte. Auch bei stärkeren Modellen bleibt der Effekt sichtbar. Gemini 3.5 Flash verbessert sich von 77,7 % auf 87,5 %. Gemini 3.1 Pro Preview erreicht mit MCP 91,1 % und liegt damit 12,9 Prozentpunkte über der Variante ohne externes Retrieval. Über alle drei getesteten Modelle hinweg steigt die durchschnittliche Trefferquote von rund 69,9 % auf 85,7 %. Das ist eine durchschnittliche Verbesserung von rund 15,8 Prozentpunkten. Interpretation Die Ergebnisse sprechen dafür, dass juristische Antwortqualität nicht nur eine Frage der Modellgröße ist. Ein stärkeres Modell kann mehr juristisches Vorwissen besitzen und besser abstrahieren. Trotzdem bleibt es ohne strukturierte externe Rechtsquellen anfällig dafür, den falschen Paragraphen zu nennen oder eine nur ungefähr passende Norm auszuwählen. Der LexGraph MCP adressiert genau dieses Problem. Er verbindet das Sprachmodell mit einem juristischen Knowledge Graph, der Rechtsquellen und juristische Beziehungen strukturiert zugänglich macht. Dadurch muss das Modell die Antwort nicht ausschließlich aus seinem internen Modellwissen rekonstruieren, sondern kann relevante Rechtsinformationen gezielt abrufen. Das Ergebnis ist kein Beweis dafür, dass jede juristische Antwort automatisch korrekt ist. Es zeigt aber, dass der Zugriff auf strukturierte juristische Daten die Wahrscheinlichkeit erhöht, die richtige Rechtsgrundlage zu nennen. Warum MCP hierfür relevant ist MCP ist in diesem Kontext nicht nur eine technische Schnittstelle. Für juristische Anwendungen ist MCP vor allem ein Weg, Sprachmodelle kontrolliert mit domänenspezifischen Wissensquellen zu verbinden. Für Legal Tech Anwendungen ist das relevant, weil juristische Arbeit stark quellenabhängig ist. Eine Antwort ohne richtige Norm ist im Zweifel unbrauchbar, selbst wenn sie sprachlich überzeugend formuliert ist. Ein System, das Rechtsquellen gezielt abrufen kann, ist deshalb näher an der tatsächlichen juristischen Arbeitsweise als ein isolierter Chatbot. Grenzen des Benchmarks Die Ergebnisse sollten eng ausgelegt werden. Erstens misst der Benchmark die Nennung des richtigen Paragraphen, nicht die vollständige juristische Qualität einer Antwort. Eine korrekte Normreferenz ist notwendig, aber nicht hinreichend für eine gute juristische Analyse. Zweitens wurde automatisch bewertet. Automatische Evaluation ist skalierbar und reproduzierbar, kann aber Grenzfälle anders behandeln als eine manuelle juristische Prüfung. Drittens testet GerLeRB Legal Information Retrieval über deutsche Gesetze. Der Benchmark bildet damit einen wichtigen Teil juristischer Recherche ab, aber nicht alle Anforderungen anwaltlicher Arbeit, etwa Argumentationsqualität, Subsumtion, strategische Abwägung oder Schriftsatzstil. Fazit Der Test zeigt: Ein MCP basierter Zugriff auf einen juristischen Knowledge Graph verbessert die Trefferquote juristischer Antworten messbar. Bei allen getesteten Gemini Modellen steigt die Answer Hit Rate. Der größte Effekt zeigt sich beim kleineren Modell, aber auch stärkere Modelle profitieren deutlich. Für Legal Tech Anwendungen ist das ein wichtiger Befund: Bessere juristische KI entsteht nicht nur durch größere Modelle, sondern durch bessere Anbindung an verlässliche, strukturierte Rechtsquellen. Der LexGraph MCP ist ein Schritt in diese Richtung. Er macht juristisches Wissen für Sprachmodelle abrufbar und erhöht damit die Wahrscheinlichkeit, dass Antworten nicht nur plausibel klingen, sondern auf der richtigen Rechtsgrundlage aufbauen.