Das Wissen ist da, nur findet es niemand
Kaum ein Unternehmen hat zu wenig Wissen. Es liegt nur verstreut: in Handbüchern, Verträgen, Wiki-Seiten, Tickets und in den Köpfen der Leute, die seit zwanzig Jahren dabei sind. Wer eine Antwort braucht, fragt im Flur oder sucht eine halbe Stunde im Dateisystem.
Eine KI-Wissensdatenbank ändert das. Du stellst eine Frage in Alltagssprache und bekommst eine Antwort aus deinen eigenen Dokumenten, samt Fundstelle. Die Technik dafür ist 2026 ausgereift. Offen sind zwei andere Fragen: Wie setzt du sie so um, dass sie im Alltag trägt? Und wie behältst du die Kontrolle über dein Wissen?
Genau darum geht es hier. Ich zeige dir die fünf Bausteine, die drei Stufen der Souveränität und den Ablauf eines Projekts. Zum Schluss sage ich dir, was wir welcher Zielgruppe empfehlen.
Was eine KI-Wissensdatenbank ist und was nicht
Vorab zu den Begriffen. Eine KI-Wissensdatenbank ist ein System, das Fragen mithilfe eines Sprachmodells aus deinen eigenen Dokumenten beantwortet. Das Verfahren dahinter heißt RAG (Retrieval Augmented Generation): Bei jeder Frage sucht das System die passenden Textstellen heraus und legt sie dem Modell vor. Das Modell formuliert die Antwort aus dem, was es gerade gelesen hat.
Was sie nicht ist: ein eigenes, auf deine Daten trainiertes KI-Modell. Training verändert, wie ein Modell antwortet, nicht worauf. Für Firmenwissen ist das fast immer der falsche Weg, weil Aktualität, Quellenangabe und Löschbarkeit verloren gehen. Die ausführliche Begründung steht in unserem Vergleich RAG vs. Fine-Tuning.
Und sie ist auch kein Chatbot mit hochgeladenen PDFs. Der Unterschied zeigt sich ab dem zweiten Monat: Dokumente ändern sich, Mitarbeitende wechseln die Abteilung, Fragen werden spezieller. Eine Wissensdatenbank hält damit Schritt, ein Upload im Chatfenster nicht.
Kurz gesagt: Das Modell ist der Sprecher, deine Dokumente sind das Gedächtnis.
Die fünf Bausteine einer Wissensdatenbank
Jede Wissensdatenbank, die wir bauen, besteht aus denselben fünf Bausteinen. Die Reihenfolge entspricht dem Weg, den ein Dokument durch das System nimmt.
1. Quellen und Anbindungen
Am Anfang steht die Frage, woher das Wissen kommt: Dateiablage, SharePoint, Confluence, Ticketsystem, ERP-Exporte, E-Mail-Postfächer. Für jede Quelle braucht es eine Anbindung, die neue und geänderte Dokumente automatisch abholt. Ein einmaliger Upload veraltet in Wochen.
2. Aufbereitung
Die Texte werden extrahiert und in Abschnitte von einigen hundert Wörtern zerlegt, entlang von Kapiteln und Absätzen. Eingescannte PDFs brauchen eine Texterkennung, sonst bleiben sie unsichtbar. Nach unserer Erfahrung ist schlechte Aufbereitung die häufigste Ursache für schwache Antworten, noch vor der Wahl des Modells.
3. Zugriffsrechte
Das ist der Baustein, den die meisten Anleitungen auslassen, und der wichtigste. Jeder Abschnitt trägt die Rechte seines Ursprungsdokuments mit. Fragt jemand aus dem Vertrieb, filtert die Datenbank alle Abschnitte heraus, die diese Person nicht öffnen dürfte. Das passiert, bevor das Modell sie sieht.
Wir setzen das mit Row Level Security in PostgreSQL um: Die Regel steht in der Datenbank, nicht als Bitte im Prompt. Eine Wissensdatenbank ohne Rechte ist ein Datenleck mit Suchfunktion.
4. Suche
Jeder Abschnitt wird in einen Zahlenvektor übersetzt, der seine Bedeutung abbildet. So findet die Suche auch Treffer, die andere Wörter benutzen als die Frage. Wir speichern diese Vektoren mit der Erweiterung pgvector direkt in PostgreSQL. Das spart eine zweite Spezialdatenbank, ein zweites Backup-Konzept und einen weiteren Auftragsverarbeiter.
Eine reine Bedeutungssuche hat allerdings eine Schwäche: Artikelnummern, Normbezeichnungen und Abkürzungen findet sie schlecht. Deshalb kombinieren wir sie mit einer klassischen Stichwortsuche, die PostgreSQL ebenfalls mitbringt. Fachleute nennen das hybride Suche. Für Fragen wie «Was steht in DIN EN 1090 zu Schweißnähten?» macht genau dieser Unterschied die Antwort brauchbar.
5. Modell und Oberfläche
Zum Schluss formuliert ein Sprachmodell die Antwort und nennt die Quellen. Die Oberfläche kann ein eigenes Chatfenster sein, eine Einbindung in Microsoft Teams oder ein fertiges Werkzeug wie Open WebUI.
Wichtig ist die Anweisung an das Modell: Es darf nur aus den gefundenen Abschnitten antworten. Findet es nichts Passendes, sagt es «Dazu steht nichts in den Dokumenten» statt zu raten. Diese Ehrlichkeit ist im Alltag wertvoller als jede geschliffene Formulierung.
Bei Open WebUI lohnt ein Blick in die Lizenz. Seit Version 0.6.6 vom April 2025 verlangt eine Klausel, Namen und Logo von Open WebUI sichtbar zu lassen, sobald mehr als 50 Personen das Werkzeug innerhalb von 30 Tagen nutzen. Für viele Unternehmen ist das kein Problem. Wer die Oberfläche im eigenen Design will, braucht dann eine Enterprise-Lizenz oder eine Alternative.
Souveränität: drei Stufen, eine Grundregel
Souverän heißt hier: Du bestimmst, wo dein Wissen liegt, wer darauf zugreift und welcher Anbieter es verarbeitet. Die Grundregel lautet: Index und Rechte liegen immer bei dir, das Sprachmodell ist austauschbar. Für das Modell selbst gibt es drei Stufen.
| Stufe | Beispiel | Datenverarbeitung | Abhängigkeit |
|---|---|---|---|
| 1: US-Anbieter mit EU-Rechenzentrum | Azure OpenAI, Claude über AWS Frankfurt | EU, aber US-Konzern | CLOUD Act bleibt ein Restrisiko |
| 2: EU-Anbieter | Mistral, IONOS AI Model Hub, STACKIT | EU, EU-Unternehmen | Vertrag nach EU-Recht |
| 3: Eigener Betrieb | Open-Weight-Modell auf eigenem GPU-Server | dein Server in der EU | nur von der Hardware |
Stufe 1 liefert heute die stärksten Modelle. Der Haken: Ein US-Konzern kann nach dem CLOUD Act zur Herausgabe von Daten verpflichtet werden, auch wenn sie in Frankfurt liegen. Für allgemeines Firmenwissen ist das für viele vertretbar, für Gesundheitsdaten oder Mandantenakten nicht.
Stufe 2 ist für die meisten Mittelständler der beste Kompromiss. Offene Modelle wie Llama 3.3 70B gibt es dort per Schnittstelle aus deutschen Rechenzentren, abgerechnet nach Verbrauch. Du brauchst keinen eigenen Server und hast einen Vertragspartner nach EU-Recht.
Stufe 3 lohnt sich, wenn die Daten das Haus gar nicht verlassen dürfen. Ein GPU-Server von Hetzner kostet ab 232,30 € netto im Monat (Stand August 2026). Rein rechnerisch gewinnt fast immer die Schnittstelle. Selbst betreiben ist eine Entscheidung für Datenhoheit, keine Sparmaßnahme. Die vollständige Rechnung steht in unserem Artikel LLM selbst hosten.
Was im Vertrag mit dem Modellanbieter stehen muss
Die Stufe allein entscheidet nicht über Souveränität. Entscheidend ist, was im Vertrag steht. Vier Punkte prüfen wir bei jedem Anbieter:
- Verarbeitungsort: Wo werden Anfragen verarbeitet, und gilt das auch für Ausfälle und Lastspitzen?
- Kein Training mit deinen Daten: Der Anbieter muss zusichern, dass deine Fragen und Dokumente nicht in seine Modelle einfließen.
- Speicherdauer: Wie lange bleiben Anfragen in Protokollen liegen, und wer kann sie einsehen?
- Auftragsverarbeitungsvertrag: Ohne diesen Vertrag nach Artikel 28 DSGVO darfst du keine personenbezogenen Daten an den Anbieter geben.
Weil das Modell austauschbar ist, musst du dich nicht für immer festlegen. Viele Projekte starten auf Stufe 2 und wechseln einzelne Bereiche später auf Stufe 3. Der Index bleibt dabei unverändert.
So läuft ein Projekt ab
Eine Wissensdatenbank für das ganze Unternehmen auf einen Schlag ist der sicherste Weg zum Fehlschlag. Wir gehen in vier Schritten vor:
- Fachbereich wählen: Ein Bereich mit klaren Dokumenten und vielen wiederkehrenden Fragen, etwa Kundendienst, Personal oder technische Dokumentation.
- Referenzfragen festlegen: Der Fachbereich schreibt zwanzig bis fünfzig echte Fragen samt richtiger Antwort auf. Gegen diese Liste messen wir jede Änderung. Aus «fühlt sich besser an» wird ein Prozentwert.
- Pilot bauen: Anbindungen, Aufbereitung, Rechte und Oberfläche für diesen einen Bereich. Das dauert je nach Quellenlage wenige Wochen.
- Ausweiten: Erst wenn der Pilot die Referenzfragen zuverlässig beantwortet, kommen weitere Bereiche dazu.
Ein Beispiel aus dem Kundendienst
Ein typisches Szenario: Ein Maschinenbauer mit 40 Servicetechnikern hat 1.200 Handbücher, Wartungsanleitungen und Service-Bulletins als PDF. Die Techniker rufen bei Fragen die Hotline an, die Hotline sucht im Dateisystem.
Die Wissensdatenbank bindet genau diese Ablage an. Der Techniker fragt am Tablet: «Welches Drehmoment gilt für die Spindelmutter an Baureihe 300?» Die Antwort kommt mit Verweis auf Handbuch und Seite. Die Hotline bekommt nur noch die Fragen, die das System nicht beantworten kann. Genau diese Fragen zeigen, wo Dokumentation fehlt.
Was der Betrieb kostet
Im Betrieb bleiben drei laufende Posten: Hosting der Datenbank, Kosten für das Indexieren neuer Dokumente und die Modellnutzung pro Frage. Den größeren Block bildet der einmalige Aufbau.
Ein Rechenbeispiel für die Modellnutzung auf Stufe 2: 50 Personen stellen je 20 Fragen am Tag, an 20 Arbeitstagen. Das sind 20.000 Fragen mit je rund 5.000 Tokens, zusammen 100 Millionen Tokens. Bei 0,65 € pro Million Tokens (Llama 3.3 70B bei IONOS, Stand August 2026) kostet das 65 € im Monat.
Einen Punkt unterschätzen fast alle: die Pflege. Veraltete Dokumente erzeugen veraltete Antworten. Lege deshalb von Anfang an fest, wer im Fachbereich für welche Quelle verantwortlich ist. Die KI macht Wissen auffindbar, aktuell halten müssen es Menschen.
Drei Fehler, die wir in Wissensprojekten oft sehen
Die Technik scheitert selten. Projekte scheitern an Entscheidungen, die am Anfang zu schnell fallen. Drei davon begegnen uns immer wieder:
- Alles auf einmal anbinden: Wer am ersten Tag SharePoint, Wiki, Postfächer und Laufwerke anbindet, bekommt eine Suche über zwanzig Jahre Ablage, inklusive aller veralteten Versionen. Die Antworten werden unzuverlässig, das Vertrauen ist nach zwei Wochen weg.
- Ohne Messlatte bauen: Ohne Referenzfragen weiß niemand, ob eine Änderung hilft oder schadet. Diskussionen drehen sich dann um Einzelfälle statt um Ergebnisse.
- Rechte später nachrüsten: Rechte lassen sich in eine laufende Wissensdatenbank nur mühsam einbauen, weil jeder Abschnitt neu zugeordnet werden muss. Sie gehören in die erste Version, auch wenn der Pilot nur eine Abteilung bedient.
Allen drei Fehlern ist eines gemeinsam: Sie sparen am Anfang eine Woche und kosten später Monate. Eine Wissensdatenbank ist so gut wie ihr kleinster sauber gebauter Ausschnitt.
Unsere Empfehlung je Zielgruppe
Die Bausteine sind für alle gleich. Wie du sie zusammensetzt, hängt von deiner Lage ab. Hier ist unsere Haltung, so wie wir sie in Erstgesprächen vertreten:
| Zielgruppe | Typische Lage | Unsere Empfehlung |
|---|---|---|
| Kleine Teams bis 20 Personen | wenige Quellen, keine IT-Abteilung | Fertiges Werkzeug wie Open WebUI, von einem Dienstleister betrieben, Modell bei einem EU-Anbieter |
| Mittelstand | mehrere Abteilungen, SharePoint, ERP | Eigene Wissensdatenbank mit pgvector und Rechten, Modell auf Stufe 2 |
| Berufsgeheimnisträger | Mandanten- oder Patientendaten | Stufe 3 oder ein EU-Anbieter mit ausdrücklicher Zusage zur Schweigepflicht |
| Industrie mit technischer Dokumentation | Handbücher, Zeichnungen, Normen | Schwerpunkt auf Aufbereitung und Texterkennung, Referenzfragen aus dem Service |
| Öffentliche Hand und kritische Infrastruktur | strenge Vorgaben zu Hosting und Vergabe | Stufe 3 auf eigener oder staatlich zertifizierter Infrastruktur |
Was das für dich als Entscheider bedeutet
- Geschäftsführung: Starte mit einem Fachbereich und einem messbaren Ziel, etwa weniger Rückfragen im Kundendienst. Ein unternehmensweites Projekt ohne Messlatte frisst Budget, ohne zu beweisen, dass es wirkt.
- IT-Leitung: Bestehe darauf, dass Index und Rechte in deiner eigenen Datenbank liegen. Dann ist jeder Modellwechsel eine Konfigurationsfrage und kein Neuprojekt.
- Datenschutz: Prüfe vor allem, ob die Rechte der Dokumente sauber an jeden Abschnitt weitergegeben werden. Für Kanzleien und Praxen haben wir die Sonderlage in KI trotz Schweigepflicht beschrieben. Die Frage «Welches Modell?» ist wichtig, die Frage «Wer sieht welche Antwort?» ist wichtiger.
Was wir ausdrücklich nicht empfehlen
- Alle Dokumente in einen öffentlichen Chatbot laden: Das ist schnell eingerichtet und verliert jede Kontrolle über Rechte und Speicherort.
- Mit eigenem Modelltraining beginnen: Für Firmenwissen ist Training teurer, schlechter aktualisierbar und nicht löschbar. Erst RAG ausreizen, dann über Training reden. Den Entscheidungsweg zeigt unser Überblick Eigenes KI-Modell trainieren.
Unsere Haltung in einem Satz: Eine gute Wissensdatenbank erkennst du nicht am Modell, sondern daran, dass jede Antwort eine Quelle hat und niemand mehr sieht, als er darf.
Nächste Schritte
Wenn du eine Wissensdatenbank für dein Unternehmen planst, klären wir gemeinsam drei Dinge: welcher Fachbereich sich als Pilot eignet, welche Souveränitätsstufe zu deinen Daten passt und was der Aufbau kostet. Mehr zu unserem Vorgehen findest du in unserer KI-Beratung.
In 30 Minuten weißt du, wie dein Pilot aussieht und auf welcher Stufe er laufen sollte. Buch dir hier ein unverbindliches Erstgespräch per Videocall.
