Andrej Karpathy, Mitgründer von OpenAI und KI-Direktor bei Tesla, hat ein Konzept beschrieben, das in der Fachwelt gerade intensiv diskutiert wird: das LLM Wiki. Ein lokales Sprachmodell durchdenkt Firmendokumente einmalig gründlich, zieht Verbindungen, schreibt Synthesen – und hält das Ergebnis als strukturierte, verlinkte Wissensbasis vor. Keine Suchmaschine. Kein Archiv. Ein Gedächtnis.
Das ist kein Forschungsprototyp. Das ist die technische Grundlage für souveränen KI-Betrieb im Mittelstand.
Vom Suchen zum Wissen: ein fundamentaler Unterschied
Die meisten KI-Systeme im Unternehmenseinsatz funktionieren nach dem RAG-Prinzip: Bei jeder Anfrage werden relevante Textfragmente aus einer Datenbank abgerufen und dem Modell als Kontext übergeben. RAG ist gut. Es ist aber kein Betriebssystem des Wissens – es ist ein Suchdienst.
Das Problem liegt nicht in der Technologie, sondern im Ansatz. Ein System, das sucht, findet nur, was explizit im Text steht. Was zwischen Dokumenten liegt – Widersprüche, Zusammenhänge, implizites Expertenwissen – bleibt unsichtbar. Jede Anfrage muss Suche und Synthese gleichzeitig leisten.
Karpathys Konzept kehrt diese Reihenfolge um. Das Wissen wird nicht beim Abruf synthetisiert. Es wird beim Einlesen kompiliert.
Der Begriff ist präzise gewählt: In der Softwareentwicklung übersetzt ein Compiler Quellcode einmalig gründlich in ausführbaren Maschinencode – mit Konsistenzprüfung, für alle späteren Aufrufe vorbereitet. Auf Firmenwissen übertragen: Rohdaten werden einmal durchdacht, vernetzt und in eine abrufbare Form gebracht. Was später gefragt wird, wurde bereits vor-gedacht.
Das Ergebnis ist nicht schnelleres Suchen. Es ist ein anderes Verhältnis zum eigenen Wissen.
Die Befreiung vom Cloud-Zwang
Karpathys Konzept ist explizit lokal gedacht. Kein API-Call, kein Cloud-Provider, keine Datenweitergabe. Das Modell läuft auf eigener Hardware.
Für den Mittelstand ist das keine akademische Forderung. Es ist die Voraussetzung für rechtskonformen und strategisch souveränen KI-Betrieb. Jedes Unternehmen, das sein Firmenwissen in Cloud-KI eingibt, gibt gleichzeitig Kontrolle ab: über die Verfügbarkeit, über die Preisgestaltung des Anbieters, über den Zugriff durch Dritte. Der US Cloud Act erlaubt amerikanischen Behörden unter Umständen Zugriff auf Daten bei US-Cloud-Anbietern – auch wenn deren Server in der EU stehen.
Ein lokal betriebenes Wissenssystem macht dieses Risiko obsolet. Kein Datum verlässt das Unternehmen. Jede Antwort ist auf eine verifizierte interne Quelle zurückführbar. Das ist nicht nur sicherer – es ist revisionssicher, und damit EU-AI-Act-konform.
Kein Rechenzentrum nötig
Was früher teure Server-Infrastruktur erfordert hätte, ist heute auf Workstation-Hardware realisierbar. 4-Bit-Quantisierung macht es möglich: Ein Sprachmodell mit 70 Milliarden Parametern – sonst rund 140 GB – schrumpft auf 35 bis 40 GB, ohne wesentliche Einbußen bei der Reasoning-Qualität für Geschäftsanwendungen. Ein Mittelstandsunternehmen mit 80 Mitarbeitern braucht kein Rechenzentrum, um ein vollständiges lokales Wissenssystem zu betreiben.
Die Hardware-Investition amortisiert sich typischerweise im ersten Betriebsjahr. Der Grund: keine monatlichen Token-Kosten. Ein gut quantisiertes Modell mit firmeneigenem Wissen schlägt in der Praxis ein Cloud-Vollmodell ohne Unternehmenskontext – und das, ohne ein einziges Datum das Haus zu verlassen.
Das Firmenwissen verlässt das Haus nicht. Es wächst im Haus.
Was als nächstes zu tun ist
Karpathys Konzept beschreibt das Ziel. AGILERO baut den Weg dorthin.
Was wir Proprietary Knowledge System nennen, ist die betriebsbereite Umsetzung dieser Architektur für den Mittelstand: lokal, souverän, auditierbar. Paket C – KI-Audit: PKS Implementation – überführt das Konzept in sechs bis acht Wochen in eine funktionierende Infrastruktur: lokales LLM-Wiki auf quantisiertem Modell, Knowledge Injection aus bestehenden Dokumenten, Key-User-Schulung, Human-in-the-Loop-Architektur für EU-AI-Act-konformen Betrieb.
Der Mittelstand muss KI nicht mieten. Er kann sie besitzen.