Leitfaden · Regeln

KI-Governance im Unternehmen: sechs Bausteine und wie Sie sie aufbauen.

KI-Governance ist der Rahmen, mit dem ein Unternehmen festlegt, wer KI wofür einsetzen darf, wer dafür verantwortlich ist und wie der Einsatz dokumentiert, geprüft und überwacht wird.

Kurzfazit

Sechs Bausteine tragen die KI-Governance: ein KI-Register, Verantwortlichkeiten, eine Nutzungsrichtlinie, die Risikoeinstufung nach der KI-Verordnung, Monitoring und Schulung. Aufgebaut wird sie in fünf Schritten, und mit der Nutzungsrichtlinie lässt sich am schnellsten beginnen. Wer dabei Unterstützung möchte, findet sie in der KI-Beratung.

Diesen Leitfaden zusammenfassen mit

Von — AI-Automations-Manager (TÜV-SÜD-Akademie), drei IHK-Qualifikationen, gelernter SHK-ler und Kundendiensttechniker.

Veröffentlicht am

Wofür Sie KI-Governance brauchen

Sobald mehrere Menschen in einem Unternehmen KI nutzen, entstehen Fragen, die niemand allein beantwortet: Welche Werkzeuge sind erlaubt? Wer prüft Ergebnisse? Welche Daten dürfen hinein? Die KI-Governance beantwortet sie einmal für das ganze Haus, statt dass jede Abteilung eigene Regeln erfindet. Verwandt ist der Begriff KI-Compliance: Er meint das Einhalten von Vorgaben, die Governance liefert den Rahmen dafür.

Die sechs Bausteine

Wir fassen den Rahmen in sechs Bausteinen zusammen:

Baustein Leitfrage Ergebnis
KI-Register Welche KI-Anwendungen sind im Haus im Einsatz, von wem, mit welchen Daten? Eine gepflegte Liste, die auch die private Nutzung im Arbeitsalltag erfasst
Verantwortlichkeiten Wer entscheidet über neue Anwendungen, wer prüft, wer ist Ansprechperson? Benannte Rollen mit klarer Zuständigkeit
Nutzungsrichtlinie Was ist erlaubt, was nicht, und welche Daten dürfen in welches Werkzeug? Eine verbindliche Richtlinie, die alle kennen (Vorlage unten verlinkt)
Risikoeinstufung In welche Risikostufe der KI-Verordnung fällt die Anwendung? Eine dokumentierte Einstufung je Anwendung
Monitoring und Audit Wie prüfen wir laufend, ob die Anwendung das tut, was sie soll? Stichproben, Protokolle und ein fester Prüfrhythmus
Schulung Wissen die Beschäftigten, wie sie KI einsetzen dürfen und wo die Grenzen liegen? Schulungen und ein Nachweis, wer teilgenommen hat

Nutzungsrichtlinie

Die Richtlinie ist der Baustein, der sich am schnellsten umsetzen lässt. Unsere kostenlose Vorlage für eine KI-Richtlinie gibt Ihnen einen Entwurf, den Sie an Ihr Haus anpassen. Sie ist das Dokument, dieser Leitfaden der Rahmen dahinter.

Risikoeinstufung nach der KI-Verordnung

Die KI-Verordnung unterscheidet vier Risikostufen: unannehmbares Risiko (verboten), hohes Risiko, Transparenzrisiko und minimales oder kein Risiko (Europäische Kommission, englisch, Stand 11. Oktober 2026). Das Verbot bestimmter Praktiken und die Pflichten zur KI-Kompetenz gelten seit dem 2. Februar 2025, die Transparenzregeln seit August 2026. Für Hochrisiko-Anwendungen in bestimmten Bereichen wie Beschäftigung oder Bildung nennt die Kommission den 2. Dezember 2027 als Beginn der strengen Pflichten. Nach Angabe der Kommission fällt die große Mehrheit der heute in der EU genutzten KI-Systeme in die Stufe minimales oder kein Risiko. Wie eine Einstufung am Beispiel aussieht, zeigt der Beitrag zur KI-Verordnung beim KI-Telefonassistenten. Den Text der Verordnung finden Sie auf EUR-Lex.

Schulung

Nach Art. 4 der KI-Verordnung ergreifen Anbieter und Betreiber von KI-Systemen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Niveau muss dabei niemandem garantiert werden (Wortlaut nach der Änderung durch den KI-Omnibus, Bundesnetzagentur, Stand 11. Oktober 2026). Die Schulungen, die wir in der KI-Beratung begleiten, sind eine solche Maßnahme.

In fünf Schritten aufbauen

  1. Bestandsaufnahme: Halten Sie fest, welche KI-Werkzeuge bei Ihnen genutzt werden, auch die privaten Konten. Daraus entsteht das KI-Register. Der KI-Readiness-Check hilft, den Stand zu ordnen.
  2. Verantwortliche benennen: Eine Person führt das Register, eine Stelle entscheidet über neue Anwendungen, Datenschutz und IT sind eingebunden.
  3. Richtlinie verabschieden: Legen Sie die Nutzungsregeln fest und machen Sie sie allen bekannt.
  4. Anwendungen einstufen: Ordnen Sie jede Anwendung einer Risikostufe zu und dokumentieren Sie die Begründung.
  5. Schulen und prüfen: Schulen Sie die Beschäftigten und legen Sie fest, wie oft Anwendungen geprüft werden.

Einen Gesamtfahrplan, in dem die Governance Schritt 4 der Einführung ist, beschreibt der Leitfaden KI im Unternehmen einführen. Die Anwendungen selbst setzen wir je nach Ausgangslage als Corporate LLM, RAG-System oder Prozessautomatisierung um.

Rahmenwerke und Normen als Orientierung

  • NIST AI Risk Management Framework: Das Rahmenwerk des US-Instituts NIST gliedert KI-Risikomanagement in die Funktionen Govern, Map, Measure und Manage. Es ist für die freiwillige Nutzung gedacht (NIST, Stand 11. Oktober 2026).
  • ISO/IEC 42001:2023: Die Norm behandelt KI-Managementsysteme (ISO, Stand 11. Oktober 2026).

Beides sind Orientierungen, keine Voraussetzung, um anzufangen.

Quellen und Hinweis

Alle Quellen am 11. Oktober 2026 geöffnet: Europäische Kommission, AI Act; Verordnung (EU) 2024/1689; Bundesnetzagentur, KI-Kompetenz; NIST, AI Risk Management Framework; ISO/IEC 42001:2023. Dieser Leitfaden ist keine Rechtsberatung. Die rechtliche Einordnung Ihres Einzelfalls übernehmen Ihre Datenschutzbeauftragte, Ihr Datenschutzbeauftragter oder eine Kanzlei.

Häufige Fragen

KI-Governance, kurz beantwortet.

Was ist KI-Governance?

KI-Governance ist der Rahmen, mit dem ein Unternehmen festlegt, wer KI wofür einsetzen darf, wer dafür verantwortlich ist und wie der Einsatz dokumentiert, geprüft und überwacht wird.

Was gehört zur KI-Governance?

Sechs Bausteine: ein KI-Register, klare Verantwortlichkeiten, eine Nutzungsrichtlinie, die Einstufung nach der KI-Verordnung, Monitoring mit Prüfungen und Schulungen für die Beschäftigten. Für den Start genügt ein schlanker Rahmen, der mit den Anwendungen wächst.

Was ist der Unterschied zwischen KI-Governance und KI-Compliance?

KI-Compliance meint das Einhalten von Vorgaben, etwa aus Gesetzen und Verträgen. KI-Governance ist der Rahmen im Unternehmen, der das ermöglicht: Zuständigkeiten, Regeln, Dokumentation und Kontrolle. Ohne einen solchen Rahmen bleibt Compliance Einzelarbeit.

Ist KI-Governance Pflicht?

Die KI-Verordnung verlangt keine „KI-Governance“ unter diesem Namen. Einzelne Pflichten setzen aber Zuständigkeiten und Dokumentation voraus, etwa die Förderung der KI-Kompetenz nach Art. 4 oder die Pflichten für Hochrisiko-Systeme. Welche Pflichten für Ihre Anwendung gelten, klärt Ihre Rechtsberatung.

Was ist der Unterschied zwischen KI-Governance und einer KI-Richtlinie?

Die Richtlinie ist ein Dokument: Sie legt fest, was Beschäftigte mit KI tun dürfen. Die Governance ist der Rahmen drumherum, mit Register, Verantwortlichen, Einstufung, Monitoring und Schulung. Mit der Richtlinie beginnen viele Unternehmen, weil sie sich am schnellsten umsetzen lässt.

Zur Vorlage für eine KI-Richtlinie

Brauche ich eine Zertifizierung nach ISO/IEC 42001?

Nicht zum Einstieg. Die Norm ISO/IEC 42001:2023 beschreibt ein Managementsystem für KI und kann als Orientierung dienen. Ob sich mehr lohnt, hängt davon ab, was Ihre Kunden verlangen und wie viele Anwendungen Sie betreiben.

Ersetzt dieser Leitfaden eine Rechtsberatung?

Nein. Er ordnet den Rahmen und verweist auf Primärquellen. Für verbindliche Aussagen zu Ihrem Einzelfall wenden Sie sich an Ihre Datenschutzbeauftragte, Ihren Datenschutzbeauftragten oder an eine Kanzlei.

Mehr Fragen? Alle Antworten finden Sie im FAQ →