Wie souverän ist deine lokale KI?

Ein Team baut einen Assistenten für interne Handbücher. Die Dokumente liegen auf dem eigenen Server, die Oberfläche läuft auf dem Laptop. Ist die KI damit lokal? Das entscheidet der Datenfluss: Schickt die Software zwei Absätze zum Formulieren über das Internet an einen KI-Anbieter, verlassen diese Informationen die eigene Umgebung.

Der Begriff „Sovereign AI“ (souveräne KI) bietet viel Potenzial für Unternehmen, die kleinere KI-Modelle auf ihren Servern installieren wollen, um keine Kostenexplosion durch Token-Nutzung zu erleben. Ein zweiter Vorteil ist, dass die Daten im Unternehmen bearbeitet werden, wenn die lokalen KI-Modelle leistungsfähig genug sind. Für die Abwägung hilft es, folgende Fragen zu beantworten.

Was das für dich bedeutet

„Souverän“ ist kein Produktmerkmal, das man kauft. Es beschreibt, ob du nachvollziehen kannst, wer auf welche Daten zugreift, wer das System verändert und wie du handlungsfähig bleibst, wenn etwas ausfällt oder der Anbieter wechselt.

Dein nächster Schritt: Nimm eine reale Aufgabe und arbeite zunächst mit erfundenen Beispieldaten. Zeichne auf, welchen Weg die Daten nehmen, markiere die Stellen, an denen unklar ist, wohin sie gehen, und benenne für jede offene Frage eine verantwortliche Person. Das Ergebnis ist eine Entscheidungsvorlage, die sich für einen kleinen Testlauf prüfen lässt. Das ist Management-Planung und Organisationsentwicklung, die wir als Coaches genauso gerne unterstützen wie die technische Integration.

Die sieben Fragen

1. Welche Daten verlassen dein Unternehmen? Zeichne den Weg einer einzelnen Frage auf: Eingabe, Suche in den Dokumenten, KI-Modell, Antwort, Protokoll. Frag auch nach Hilfsdiensten, die Texte für die Suche aufbereiten, nach Nutzungsdaten, die automatisch an den Hersteller gehen, und nach Zugängen für den Support des Anbieters. „Läuft bei uns“ beantwortet diese Fragen nicht.

2. Wer betreibt das KI-Modell? Ein Modell beim Anbieter über das Internet zu nutzen oder es selbst auf eigenen Servern laufen zu lassen, sind zwei verschiedene Entscheidungen. Kläre, wo es läuft, wer zuständig ist, welche Modelle zur Wahl stehen und wer Updates einspielt. Prüfe, ob ihr dafür Leute und einen verlässlichen Ablauf habt.

3. Wovon bleibst du abhängig? Liste auf: Modell, Lizenz, Plattform, Dateiformate und Anschlüsse an andere Software. Kannst du Dokumente, Einstellungen und Protokolle mitnehmen? Ein guter Praxistest: Exportiere einen kleinen Datensatz und prüfe, ob du ihn woanders weiterverwenden kannst.

4. Wer darf welche Informationen sehen? Ein Assistent für euer Firmenwissen braucht dieselbe Sorgfalt bei Zugriffsrechten wie euer Dokumentenarchiv. Die App darf nur Treffer aus Dokumenten zeigen, die die angemeldete Person auch sonst sehen darf. Die Anweisung „Zeige keine vertraulichen Daten“ an die KI ersetzt diese Sperre nicht. Teste mit zwei Beispielrollen und getrennten Dokumenten.

5. Wer erkennt und korrigiert Fehler? Lege fest, wer sich kümmert, wo Fehler notiert werden und wie sie korrigiert werden. Ein guter Testfall ist eine zurückgezogene Richtlinie: Erkennt das Team, woher eine veraltete Antwort kam, und kann es die Quelle gezielt ersetzen? Auch das Protokoll sollte nur das enthalten, was zur Prüfung nötig ist.

6. Was darf die KI selbst tun? Eine Antwort vorzuschlagen und eine Änderung im Kundensystem vorzunehmen haben verschiedene Folgen. Für den ersten Test genügt oft eine KI, die nur liest und Vorschläge macht, während ein Mensch freigibt. Halte fest, welche Funktionen die KI nutzen darf, wann sie stoppen muss und wer ihre Ergebnisse übernimmt.

7. Was passiert bei Ausfall oder Ausstieg? Kläre, wie das Team bei einem Ausfall weiterarbeitet und wie ihr einen fehlerhaften Stand zurücknehmt. Halte die Kosten für Betrieb, Updates und Betreuung fest. Wer das System versteht und kontrolliert ändern kann, bleibt handlungsfähig.

Eigenbetrieb oder externes Modell: was dafür spricht, was dagegen

Eigener Betrieb (lokale Modelle)

Was dafür spricht:

Die Daten werden im Unternehmen verarbeitet, wenn die Modelle leistungsfähig genug sind.
Du hast mehr Kontrolle darüber, welchen Weg deine Daten nehmen.
Die Kosten hängen nicht von der Token-Nutzung ab.

Was dagegen spricht:

Du brauchst eigene Server und Technik sowie Leute für Betrieb, Updates und Wartung.
Lizenzbedingungen und Zuständigkeiten müssen geklärt sein.
Kleinere Modelle leisten nicht in jedem Fall genug für deine Aufgabe.

Externes Modell über das Internet

Was dafür spricht:

Du musst kein Modell selbst betreiben und kannst schneller starten.

Was dagegen spricht:

Übermittelte Inhalte verlassen deine Umgebung.
Du bist vom Anbieter abhängig, und die Kosten wachsen mit der Nutzung.