Was ist eine lokale KI (On-Premise)?
Ein Sprachmodell, das auf einem Rechner oder Server in Ihrer Kanzlei läuft, statt beim Anbieter im Rechenzentrum. Eingaben und Ergebnisse bleiben auf Ihrer eigenen Hardware. Kein externer KI-Anbieter sieht die Daten.
Möglich wird das durch Modelle mit offenen Gewichten („Open-Weight-Modelle“), die verschiedene Anbieter zum Herunterladen bereitstellen. Sie werden auf einem leistungsfähigen Rechner installiert und über eine Chat-Oberfläche im Browser bedient, ähnlich wie ChatGPT. Oft wird die lokale KI mit den eigenen Dokumenten der Kanzlei verbunden, sodass sie Fragen zu Vorlagen oder Akten beantworten kann.
Worin unterscheiden sich lokale KI und Cloud-KI?
Vor allem bei Vertraulichkeit, Leistung, Kosten und Aufwand für den Betrieb.
| Aspekt | Cloud-KI (z. B. ChatGPT, Claude, Copilot im Geschäftstarif) | Lokale KI in der Kanzlei |
|---|---|---|
| Wo laufen die Daten? | beim Anbieter, je nach Tarif in der EU oder weltweit | auf eigener Hardware |
| Berufsrecht | Anbieter ist Dienstleister nach § 43e BRAO | kein externer KI-Anbieter; ggf. IT-Dienstleister |
| Datenschutz | AV-Vertrag, ggf. Drittlandtransfer | keine Übermittlung an KI-Anbieter |
| Leistung bei komplexen Aufgaben | in der Regel höher | geringer, abhängig von Modell und Hardware |
| Einstiegskosten | gering, Abrechnung pro Nutzer oder Nutzung | Anschaffung von Hardware, Einrichtung |
| Laufende Kosten | monatliche Gebühren | Strom, Wartung, Updates |
| Betrieb | durch den Anbieter | durch Kanzlei oder IT-Dienstleister |
| Neue Funktionen | laufend durch den Anbieter | nach eigenem Update |
| Abhängigkeit | vom Anbieter und seinen Vertragsbedingungen | von Hardware und Betreuung |
Die Tabelle beschreibt typische Unterschiede. Einzelne Produkte können abweichen.
Ist lokale KI berufsrechtlich sicherer?
Sie vereinfacht die Prüfung, ist aber nicht automatisch sicher. Wenn kein externer KI-Anbieter eingebunden ist, entfallen der Vertrag nach § 43e BRAO mit diesem Anbieter und die Frage nach Drittlandübermittlungen. Das ist ein echter Vorteil.
Die übrigen Pflichten bleiben: Zugriffsrechte, Verschlüsselung, Datensicherung und die technischen Maßnahmen, die § 2 BORA und Art. 32 DSGVO verlangen. Ein schlecht gewarteter Server in der Kanzlei kann unsicherer sein als ein professionell betriebener Cloud-Dienst. Und wer die lokale KI durch einen IT-Dienstleister betreuen lässt, braucht für diesen wiederum einen Vertrag nach § 43e BRAO.
Cloud-KI ist ebenfalls berufsrechtlich zulässig, wenn die Voraussetzungen erfüllt sind. Die Einzelheiten stehen im Ratgeber Darf ein Anwalt ChatGPT nutzen?.
Wie leistungsfähig sind lokale Modelle?
Für viele Kanzleiaufgaben ausreichend, bei komplexen Aufgaben meist schwächer als die großen Cloud-Modelle. Zusammenfassungen, Entwürfe für Standardkorrespondenz, Übersetzungen und Fragen an die eigenen Dokumente gelingen mit aktuellen Open-Weight-Modellen oft gut. Bei längeren juristischen Argumentationen und sehr langen Dokumenten liegen die größten Cloud-Modelle in der Regel vorn.
Allgemeine Vergleichstests helfen nur begrenzt, weil sie selten deutsche juristische Aufgaben abbilden. Testen Sie deshalb mit fünf bis zehn echten, anonymisierten Aufgaben aus Ihrer Kanzlei, bevor Sie entscheiden. Die Modelle entwickeln sich schnell; eine Einschätzung von heute kann in einem halben Jahr überholt sein.
Welche Hardware braucht eine lokale KI?
Vor allem eine leistungsfähige Grafikkarte oder einen Rechner mit viel schnellem Arbeitsspeicher. Der verfügbare Speicher entscheidet, wie große Modelle laufen können. Größere Modelle liefern meist bessere Ergebnisse, brauchen aber mehr Speicher und antworten langsamer.
Weitere Punkte:
- Anzahl gleichzeitiger Nutzer: Mehr Nutzer brauchen mehr Rechenleistung.
- Speicher für Dokumente und Suchindex, wenn die KI auf Kanzleidokumente zugreift.
- Standort: ein ruhiger, gekühlter Platz, denn solche Rechner werden warm und können laut sein.
- Datensicherung und Zugriffsschutz wie bei jedem anderen Server.
Was kostet eine lokale KI?
Die Kosten bestehen aus Hardware, Einrichtung und Betrieb. Sie hängen stark von Kanzleigröße und Anforderungen ab. Konkrete Beträge nennen wir hier bewusst nicht, weil Hardwarepreise schwanken und Anforderungen sich stark unterscheiden.
Kostenpositionen im Überblick:
- Hardware (Rechner oder Server mit passender Grafikkarte)
- Einrichtung: Installation, Modellauswahl, Anbindung an Dokumente, Rechtekonzept
- Schulung des Teams
- Wartung und Updates, intern oder durch einen Dienstleister
- Strom
Vergleichen Sie diese Summe über drei bis fünf Jahre mit den Gebühren für Geschäftstarife von Cloud-Diensten für dieselbe Zahl an Nutzern.
Gibt es einen Mittelweg zwischen lokal und Cloud?
Ja, mehrere. Die Entscheidung muss nicht „alles lokal“ oder „alles Cloud“ lauten.
- Hybrid: Cloud-KI für Aufgaben ohne Mandatsbezug oder mit freigegebenen Daten, lokale KI für besonders sensible Mandate.
- Eigene Instanz in einem Rechenzentrum in Deutschland oder der EU: Das Modell läuft auf gemieteter Hardware, die nur Ihrer Kanzlei dient. Der Rechenzentrumsbetreiber ist Dienstleister nach § 43e BRAO.
- Cloud-Tarife mit Verarbeitung in der EU: Einige Anbieter bieten nach eigenen Angaben eine Datenverarbeitung in Europa an. Prüfen Sie die Bedingungen im konkreten Vertrag.
Welche Daten in welches System dürfen, regeln Sie am besten in einer KI-Richtlinie.
Welche Aufgaben eignen sich für eine lokale KI?
Aufgaben mit vertraulichen Daten, bei denen ein gutes, nicht das beste Ergebnis genügt. Dazu gehören:
- Zusammenfassungen von Akten und Schriftsätzen in sensiblen Mandaten.
- Fragen an die eigenen Vorlagen, Musterverträge und Arbeitsanweisungen.
- Vorsortierung und Zuordnung des Posteingangs.
- Transkription von Diktaten und Besprechungen.
- Erste Entwürfe für Standardkorrespondenz.
Weniger geeignet sind Aufgaben, bei denen die Qualität der Argumentation im Vordergrund steht, etwa die Analyse komplexer Rechtsfragen. Hier liegt der Vorteil großer Cloud-Modelle derzeit am deutlichsten.
Für welche Kanzlei lohnt sich was?
Das hängt von Mandaten, Datenmenge und IT-Betreuung ab. Die folgende Checkliste hilft bei der Einordnung.
Eher lokale KI oder eigene Instanz, wenn:
- Sie regelmäßig besonders sensible Mandate bearbeiten, etwa im Straf-, Medizin- oder Wirtschaftsstrafrecht.
- Mandanten den Einsatz externer KI-Dienste ausdrücklich ablehnen.
- Sie große Dokumentmengen dauerhaft durchsuchbar machen wollen.
- Eine zuverlässige IT-Betreuung vorhanden ist.
Eher Cloud-KI im Geschäftstarif, wenn:
- Sie vor allem Texte, Zusammenfassungen und Übersetzungen erstellen.
- Keine eigene IT-Betreuung vorhanden ist.
- Sie schnell und mit geringen Einstiegskosten starten wollen.
- Sie Zugang zu den leistungsfähigsten Modellen brauchen.
Wie läuft die Einführung einer lokalen KI ab?
Von der Aufgabe zur Hardware, nicht umgekehrt. Wer zuerst einen Server kauft und dann nach Anwendungen sucht, kauft oft zu groß oder zu klein.
- Anwendungsfälle festlegen und mit echten, anonymisierten Beispielen beschreiben.
- Zwei bis drei Modelle auf geliehener oder gemieteter Hardware testen.
- Hardware nach dem Ergebnis der Tests dimensionieren.
- Installation, Rechtekonzept und Anbindung an die Dokumentenablage.
- Einweisung des Teams und Regeln zur Nutzung.
- Betrieb mit festen Terminen für Updates und Überprüfung.
Planen Sie außerdem, wie Sie Modelle austauschen. Neue Modelle erscheinen in kurzen Abständen; eine gute Einrichtung erlaubt den Wechsel ohne Neuaufbau.
Keine Rechtsberatung: Dieser Ratgeber gibt einen allgemeinen Überblick zum Stand September 2026. Er ersetzt keine Prüfung Ihres Einzelfalls. Angaben zu Modellen und Anbietern ändern sich schnell; wir prüfen sie halbjährlich.
Weiter: Wie wir lokale und hybride KI-Lösungen für Kanzleien planen und umsetzen, lesen Sie unter Legal-Tech-Entwicklung.
Quellen: § 43e BRAO · § 2 BORA (dejure.org) · DSGVO (EU) 2016/679 (abgerufen im September 2026)
Dieser Ratgeber beschreibt technische und organisatorische Grundlagen. Er ist keine Rechtsberatung. Funktionen der genannten Produkte ändern sich häufig; wir prüfen die Angaben halbjährlich.
