Deine KI.
Dein Eisen.
Deine Daten.

Nicht automatisch — aber sie räumt die größten Baustellen ab. Bei Cloud-KI müssen Unternehmen Drittlandtransfers absichern (Art. 44 ff. DSGVO), Auftragsverarbeitungsverträge mit jedem Anbieter schließen (Art. 28 DSGVO) und darauf vertrauen, dass Eingaben nicht fürs Training verwendet werden. Läuft das Modell dagegen auf eigener Hardware, verlassen personenbezogene Daten das Firmennetzwerk gar nicht erst: kein Drittlandtransfer, kein Auftragsverarbeiter für den Modellbetrieb, volle Kontrolle über Speicherung und Löschfristen. Übrig bleiben die internen Pflichten, die für jede Datenverarbeitung gelten — Verarbeitungsverzeichnis (Art. 30), Zweckbindung, Betroffenenrechte und je nach Anwendungsfall eine Datenschutz-Folgenabschätzung (Art. 35). Diese Dokumente liefern wir im Projekt als Bausteine mit. Mehr dazu im Leitfaden DSGVO-konforme KI.

Open-Weight-Modelle wie Qwen, Llama, Mistral und DeepSeek — also Modelle, deren Gewichte frei verfügbar sind und lokal betrieben werden dürfen. Die sinnvolle Größe hängt von Aufgabe und Hardware ab: Modelle der 8B-Klasse (8 Milliarden Parameter) laufen auf einer einzelnen Workstation-GPU und reichen für Klassifikation und einfache Textaufgaben; die 30B-Klasse ist der Sweet Spot für typische Agenten-Arbeit wie Dokumentenanalyse, E-Mail-Triage und internes Wissens-Q&A; Modelle ab 70B brauchen Server-Hardware und liefern Qualität, die vor zwei Jahren noch Cloud-Spitzenmodellen vorbehalten war. Wichtig ist die Kombination aus Modell und sauberem Retrieval — also der Anbindung an eure Dokumente und Datenbanken. Details und eine Vergleichstabelle: On-Premise LLM: Modelle, Hardware, Kosten.

Für offene Kreativaufgaben liegen Cloud-Spitzenmodelle vorn — das bestreiten wir nicht. Unternehmens-Agenten arbeiten aber unter anderen Bedingungen: Sie bekommen engen Kontext (eure Dokumente, eure Prozesse, eure Regeln), klar definierte Aufgaben und feste Ausgabeformate. In diesem Rahmen erreichen gut konfigurierte lokale Modelle mit sauberem Retrieval vergleichbare Ergebnisqualität — bei planbaren Kosten und ohne dass ein einziges Dokument das Haus verlässt. Der pragmatische Weg ist hybrid gedacht: 90 Prozent der Läufe erledigt das lokale Modell, und für die wenigen Fälle, die wirklich ein Frontier-Modell brauchen, lässt sich gezielt und datensparsam eskalieren — mit anonymisierten Anfragen und ohne Rohdokumente. So bleibt die Regel „Daten bleiben im Haus" intakt, ohne auf Spitzenqualität im Ausnahmefall zu verzichten.

Der Einstieg beginnt bei rund 5.000 € einmaliger Hardware-Investition für eine Workstation-Stufe mit Modellen der 30B-Klasse — ausreichend für Teams bis etwa 25 Mitarbeitende mit Dokumentenanalyse, internem Wissens-Q&A und E-Mail-Triage. Zum Vergleich: Ein Team mit 25 Nutzern und acht Agenten-Läufen pro Person und Tag verursacht bei Premium-Cloud-Modellen (GPT-5-/Claude-Klasse) nach unseren Rechner-Annahmen rund 1.900 € API-Kosten pro Monat. Bei diesem Nutzungsvolumen amortisiert sich eigene Hardware — inklusive Strom und Betrieb, abgeschrieben über 36 Monate — in unter einem Jahr. Die nächste Stufe (Server, ab 15.000 €) trägt Abteilungen mit parallelen Agenten; unternehmensweite Szenarien mit Fine-Tuning werden als Cluster nach Lastprofil bepreist. Der Token-Rechner oben auf dieser Seite rechnet dein konkretes Szenario durch — alle Annahmen sind offengelegt.

Sehr wahrscheinlich ja. Die Verordnung (EU) 2024/1689 gilt gestaffelt: Seit dem 2. Februar 2025 sind bestimmte KI-Praktiken verboten und Unternehmen müssen KI-Kompetenz bei Mitarbeitenden sicherstellen (Art. 4). Seit dem 2. August 2025 gelten die Pflichten für Anbieter von Modellen mit allgemeinem Verwendungszweck (GPAI). Ab dem 2. August 2026 greifen Transparenz- und Hochrisiko-Pflichten in der Breite — betroffen ist etwa KI im Personalwesen, bei der Bewertung von Personen oder in kritischer Infrastruktur. Für Betreiber heißt das: dokumentieren, welche KI wo eingesetzt wird, mit welchen Daten und mit welcher Aufsicht. Ein lokaler Stack macht genau diese Nachvollziehbarkeit deutlich einfacher. Den vollständigen Fahrplan gibt es im Leitfaden EU AI Act für den Mittelstand.

Beides ist möglich — und beides ist planbar. Variante 1: Euer IT-Team übernimmt nach Übergabe und Schulung; der Stack besteht aus etablierten Open-Source-Komponenten, die sich wie andere Server-Software patchen und monitoren lassen, und wir dokumentieren jede Komponente. Variante 2: Wir betreiben das System im laufenden Service — Modell-Updates (neue Open-Weight-Releases erscheinen alle paar Monate), Sicherheits-Patches, Monitoring der Antwortqualität und Kapazitätsplanung, mit festen Reaktionszeiten. In beiden Fällen bleibt die Infrastruktur euer Eigentum: Hardware, Modelle, Vektordatenbank und sämtliche Konfiguration liegen bei euch. Wenn ihr den Dienstleister wechselt oder alles selbst übernehmt, nehmt ihr das System einfach mit — genau das ist der Unterschied zur Cloud-Miete, bei der mit dem Vertrag auch der Zugang endet.