Fine-Tuning in der Kanzlei: aus deinen Schriftsätzen wird dein Modell – der Praxisweg

Dieser Artikel ist das Wie, nicht das Ob. Ob sich Fine-Tuning für deinen Fall überhaupt lohnt, welche Datenmengen es braucht und was es kostet, steht im Grundlagen-Artikel LLM Fine-Tuning: wann es sich lohnt. Den Überblick für Berufsgeheimnisträger, inklusive § 203 StGB und der Plattform-Frage, liefert KI für Anwälte und Ärzte.

Hier geht es um den Weg dazwischen: Du hast entschieden, dass ein Modell die Handschrift deiner Kanzlei lernen soll – und willst wissen, wie aus einem Archiv voller Schriftsätze ein einsatzfähiges, vertretbares Werkzeug wird.

Geschrieben ist der Leitfaden für Kanzleien ab etwa fünf Berufsträgern – darunter fehlt meist die Stückzahl je Falltyp. Steuerberater und Notare können sinngemäß mitlesen: Bescheid-Einsprüche und Urkunds-Entwürfe folgen derselben Logik aus stabiler Form und wechselnden Falldaten.

Die unbequeme Vorab-Erkenntnis aus unseren Projekten: Der Engpass ist fast nie die Technik. Ein LoRA-Trainingslauf ist in Stunden erledigt. Die Wochen stecken in der Arbeit, die nur deine Kanzlei leisten kann: auswählen, bereinigen, bewerten.

Fine-Tuning lohnt sich dort, wo Struktur und Ton stabil sind und die Stückzahl stimmt. Zwei Fragen filtern dein Archiv: Welche Schriftsatz-Typen schreibt die Kanzlei mindestens wöchentlich? Und welche davon folgen einem wiederkehrenden Aufbau, bei dem sich vor allem Namen, Daten und Fallwerte ändern?

Typische Treffer: Klageerwiderungen in Massenverfahren, Deckungsanfragen an Rechtsschutzversicherer, standardisierte Abmahnungen und Widersprüche, Mandanten-Erstinformationen. Typische Fehlgriffe: der komplexe Einzelfall-Schriftsatz, die Revisionsbegründung, alles, was pro Jahr dreimal vorkommt.

Für die Auswahl musst du nicht schätzen: Deine Kanzleisoftware weiß, welche Dokumenttypen sie im letzten Jahr wie oft erzeugt hat. Eine Auswertung nach Vorlagen-Typ und Stückzahl ist in einer Stunde gezogen und ersetzt jede Bauchgefühl-Diskussion in der Partnerrunde.

Faustregel aus der Praxis: Wenn ein erfahrener Referendar den Rohbau nach Schema F erstellen könnte, ist der Falltyp ein Kandidat. Wenn er dafür die halbe Akte durchdenken müsste, ist es keiner – dann liegt der Bedarf beim Wissen, und dazu kommen wir am Ende.

Ein Trainingsdatensatz für Formattreue besteht aus Beispielpaaren: eine Eingabe, wie sie später im Alltag aussehen wird (Falldaten in Stichworten, gewünschter Schriftsatz-Typ), und die zugehörige Soll-Ausgabe, also der fertige Schriftsatz in Kanzlei-Qualität. Für Stil- und Formatanpassungen genügen nach verbreiteten Praxiswerten oft wenige hundert kuratierte Paare.

Unterschätzt wird dabei die Eingabeseite der Paare: Sie sollte exakt so aussehen wie später im Alltag. Wenn deine Anwälte dem Modell künftig Stichworte aus der Akte geben, trainiere mit Stichworten – nicht mit ausformulierten Sachverhalten, die im Alltag nie jemand tippt. Ein standardisiertes Stichwort-Formular je Falltyp zahlt sich hier doppelt aus.

Vor dem Training werden alle Beispielpaare pseudonymisiert: Namen, Adressen, Aktenzeichen, Geburtsdaten, Beträge und Ortsangaben werden durch Platzhalter oder erfundene, konsistente Werte ersetzt. Werkzeuge können dabei vorarbeiten – die Freigabe jedes einzelnen Paars gehört in die Hand eines Anwalts, denn er trägt die Verantwortung aus § 203.

Warum so streng? Ein feinjustiertes Modell kann Fragmente seiner Trainingsdaten wiedergeben – das ist ein bekanntes Verhalten von Sprachmodellen, kein Exotenfall. Die Konsequenz ist zweifach: Erstens kommen keine echten Mandatsdaten ins Training. Zweitens wird auch das fertige Modell wie eine Akte behandelt, nicht wie ein beliebiges Stück Software.

Der Nebeneffekt, der den Aufwand versüßt: Beim Kuratieren entdeckt fast jede Kanzlei Inkonsistenzen im eigenen Bestand – drei Gliederungsvarianten für denselben Schriftsatz-Typ, veraltete Textbausteine, widersprüchliche Formulierungen. Ein widersprüchlicher Datensatz trainiert die Widersprüche zuverlässig mit. Die Bereinigung ist deshalb kein Vorgeplänkel, sondern Qualitätsarbeit am Kanzlei-Standard selbst.

Das Training selbst ist der kürzeste Schritt: ein LoRA-Verfahren auf einem offenen Modell, das kleine Zusatzgewichte lernt statt das ganze Modell neu zu bauen. Die technischen Optionen haben wir an anderer Stelle vorgerechnet – vom Selbst-Hosten auf dedizierter Hardware bis zu Plattformen mit Enklaven-Verarbeitung, wie sie der Geheimnisträger-Artikel einordnet.

Für die Kanzlei zählt bei der Wahl nur eine Frage in drei Varianten: Wer kann die Trainingsdaten während des Laufs einsehen, wo liegt das fertige Modell, und lässt es sich vollständig zu dir umziehen? Mit pseudonymisierten Daten sinkt das Risiko erheblich – die Sorgfaltspflicht bei der Anbieterwahl bleibt trotzdem.

Für den späteren Betrieb lohnt der Blick auf deutsche Managed-Anbieter: Mittwald etwa bewirbt sein AI-Hosting ausdrücklich als für Anwälte, Ärzte und Steuerberater geeignet – Inferenz auf offenen Modellen in eigenen deutschen Rechenzentren, ohne Drittstaaten-Transfer, ab 9 € pro Monat (mittwald.de, Abruf 07.09.2026). Wichtig für dieses Projekt: Fine-Tuning bietet der Dienst selbst nicht an, und ob dein feinjustiertes Modell dort auf dedizierten GPU-Ressourcen laufen kann, klärst du im Anbietergespräch.

Plane von Anfang an mehrere Trainingsläufe ein: Der erste Datensatz ist nie der letzte. Nach jeder Evaluation fliegen schwache Beispiele raus, kommen Grenzfälle dazu, wird nachtrainiert. Das ist normal und gewollt – ein Grund mehr, den Ablauf von Anfang an wiederholbar aufzusetzen statt als Einmal-Aktion.

Wiederholbar heißt konkret: Der Datensatz ist versioniert, jeder Trainingslauf ist mit Datum, Datensatz-Stand und Einstellungen dokumentiert, und jede Modell-Version trägt einen Namen, auf den sich die Evaluation bezieht. Das klingt bürokratisch und ist drei Textdateien – aber ohne sie weiß in sechs Monaten niemand mehr, welches Modell warum im Einsatz ist.

Bevor der erste Trainingslauf startet, entsteht der Maßstab: zwanzig bis fünfzig Testfälle mit Eingaben, die im Training nicht vorkommen, und Soll-Schriftsätzen dazu. Nach dem Training bewerten Anwälte die Modell-Entwürfe gegen diesen Maßstab – am besten blind neben Entwürfen des Basismodells mit gutem Prompt, damit niemand bewertet, was er sich wünscht.

Die Kriterien sind kanzleispezifisch, aber das Raster ist stabil: Stimmt die Gliederung? Sitzt der Ton? Wie viele Minuten Nacharbeit braucht der Entwurf bis zur Versandreife? Und die K.-o.-Frage: Erfindet das Modell Sachverhalt, Normen oder Rechtsprechung? Ein Entwurfs-Werkzeug darf Lücken lassen, aber nichts dazudichten, was echt aussieht.

Bewährt hat sich ein simpler Bogen je Testfall: Gliederung korrekt (ja/nein), Ton passend (Schulnote), Minuten Nacharbeit (Zahl), Erfundenes enthalten (ja/nein als K.-o.). Zwei Bewerter pro Fall, bei Abweichung entscheidet ein dritter. Mehr Apparat braucht es nicht – aber weniger führt zu Diskussionen statt Entscheidungen.

Definiere vorher das Abbruchkriterium, so wie wir es aus unserer Beratungspraxis für jeden Piloten empfehlen: Wenn der feinjustierte Entwurf nicht messbar weniger Nacharbeit braucht als das Basismodell mit gutem Prompt, wird nicht schöngeredet, sondern verworfen. Das kommt vor, und es ist das günstigste mögliche Scheitern.

Die naheliegende Anschlussidee hören wir in fast jedem Gespräch: «Wenn das Modell schon unsere Schriftsätze lernt – kann es dann nicht auch unsere Akten, Vermerke und die Rechtsprechung unseres Gebiets lernen?» Die Antwort ist ein klares Nein, und zwar aus Funktionsgründen, nicht aus Vorsicht.

Antrainiertes Wissen veraltet mit dem Trainingstag, lässt sich nicht selektiv löschen und kommt ohne Fundstelle daher – für eine Kanzlei ist jede dieser drei Eigenschaften disqualifizierend. Wissen gehört in ein RAG-System: Deine Dokumente liegen durchsuchbar auf deiner Infrastruktur, das Modell liest nach und antwortet mit Quellenangabe, die ein Anwalt prüfen kann. Die vollständige Abwägung steht im Artikel RAG vs. Fine-Tuning.

Eine ehrliche Grauzone gibt es: Fachsprache. Ein Modell, das im Training viele Schriftsätze deines Rechtsgebiets gesehen hat, trifft dessen Vokabular und Formulierungs-Konventionen sicherer. Das ist aber ein Nebeneffekt der Formarbeit, kein Ersatz für nachschlagbares Wissen – und er rechtfertigt keine Akten im Trainingsdatensatz.

Das Zielbild in der Praxis ist deshalb die Kombination: RAG liefert das Wissen aus Akten und Fundstellen, das feinjustierte Modell gießt es in die Kanzlei-Form. Beide Bausteine bleiben getrennt wartbar – neue Rechtsprechung ist ein Datenbank-Update, eine neue Gliederung ein Nachtrainieren. Wer beides in ein Training packen will, bekommt die Nachteile beider Welten.

Dieselbe Logik gilt übrigens für jedes Firmenwissen, nicht nur für Kanzleien: Auch beim Maschinenbauer gehören Produktdaten und Servicewissen in die Datenbank, nicht in die Modellgewichte. Die Herleitung über alle vier Stufen findest du im Leitfaden zum eigenen KI-Modell.

Nach dem Go-Live gelten drei Betriebsregeln. Zugriff: Das Modell beantwortet Anfragen nur für berechtigte Nutzer, hinter denselben Zugangskontrollen wie die Aktenverwaltung – es ist aus gutem Grund kein öffentlicher Chatbot.

Betriebsort: Das feinjustierte Modell läuft auf dedizierter EU-Hardware, die du mietest oder besitzt – oder bei einem deutschen Managed-Anbieter, falls der eigene Modelle aufnimmt. Der Maßstab bleibt derselbe wie beim Training: Wer kann zugreifen, wo liegen die Gewichte, und kommst du jederzeit wieder heraus.

Protokoll und Pflege: Eingaben und Entwürfe werden nachvollziehbar protokolliert, die Evaluation läuft nach jedem Nachtraining erneut, und einmal im Quartal wandern die real angefallenen Grenzfälle in den Datensatz. So wird das Werkzeug mit der Kanzlei besser statt schleichend schlechter.

Lebenszyklus: Auch offene Basismodelle werden abgelöst. Rechne damit, etwa jährlich auf eine neuere Modellgeneration umzuziehen: Datensatz und Evaluation bleiben, der Trainingslauf wiederholt sich auf neuer Basis. Genau dafür lohnt die dokumentierte Wiederholbarkeit aus Schritt 3 – der Umzug wird zur Routine statt zum Projekt.

Verantwortung: Jeder Entwurf trägt erst dann einen Namen, wenn ein Anwalt ihn geprüft hat. Das ist keine Floskel, sondern die Betriebsgrundlage, auf der das ganze Projekt berufsrechtlich steht – und praktischerweise auch der Qualitätsfilter, der das Nachtraining füttert.

Wenn du prüfen willst, ob deine Kanzlei bereit ist, brauchst du keinen Anbieter, sondern einen Nachmittag: Zähle, welche Schriftsatz-Typen letzte Woche mehrfach entstanden sind. Öffne fünf Exemplare desselben Typs und prüfe, ob sie derselben Gliederung folgen. Und schätze, wer im Team die Beispielpaare kuratieren könnte – diese Person ist wichtiger als jedes Werkzeug.

Und damit die Hürde nicht größer wirkt, als sie ist: Du brauchst zum Start weder eigene GPU-Hardware noch ein Datenteam. Ein versionierter Ordner mit Beispielpaaren, ein Anwalt mit Kuratier-Zeit und eine gemietete Trainingsumgebung reichen für den ersten belastbaren Durchlauf.

Mit diesen drei Antworten steht dein Projekt auf Fakten: Du kennst den Falltyp, die Datenlage und den Engpass. Ob daraus ein Pilot mit Abbruchkriterium wird und welche Trainings-Umgebung zu deinen Anforderungen passt, klären wir gern gemeinsam – buch dir ein unverbindliches Erstgespräch. 30 Minuten, am Ende weißt du, ob deine Kanzlei einen Fine-Tuning-Fall hat oder ein RAG-Projekt. Beides ist ein gutes Ergebnis.