← Zurück zur Übersicht

Model Governance Policy

KI/ML-Modell-Governance und Dokumentation

1. ZWECK UND GELTUNGSBEREICH

Diese Policy regelt die Entwicklung, Dokumentation, Überwachung und Außerbetriebnahme von Machine Learning Modellen innerhalb des Unternehmens.

  • Gilt für alle ML/KI-Modelle in Produktion
  • Gilt für interne und kundenorientierte Anwendungen
  • Umfasst alle Phasen des ML-Lebenszyklus

2. MODEL CARD ANFORDERUNGEN

Jedes Modell muss eine Model Card enthalten mit:

  • Modelldetails: Name, Version, Typ, Framework
  • Beabsichtigte Verwendung: Use Cases und Einschränkungen
  • Trainingsdaten: Datenquellen, Größe, Zeitraum
  • Performance-Metriken: Accuracy, Precision, Recall, F1
  • Limitierungen: Bekannte Schwächen und Edge Cases
  • Ethische Überlegungen: Bias-Analyse, Fairness-Metriken

3. BIAS-TESTING ANFORDERUNGEN

Demografische Parität geprüft
Equalized Odds analysiert
Disparate Impact Ratio berechnet (Ziel: >0.8)
Subgroup-Performance evaluiert
Bias-Mitigation implementiert (falls erforderlich)
EU AI Act: Hochrisiko-KI-Systeme erfordern dokumentierte Bias-Tests vor Deployment.

4. TRANSPARENZ UND ERKLÄRBARKEIT

  • Feature Importance: Top-10 Features dokumentiert
  • SHAP/LIME: Erklärungen für kritische Entscheidungen
  • Entscheidungspfade: Für regelbasierte Komponenten
  • Nutzer-Disclosure: KI-Nutzung offenlegen

5. MODELL-LEBENSZYKLUS

  1. Entwicklung: Dokumentation, Code-Review, Testing
  2. Validierung: Hold-out-Tests, A/B-Testing
  3. Deployment: Staging → Production mit Approval
  4. Monitoring: Drift-Detection, Performance-Tracking
  5. Retraining: Bei signifikantem Drift oder Decay
  6. Außerbetriebnahme: Dokumentierte Archivierung

6. MONITORING UND ALERTING

  • Data Drift: Population Stability Index (PSI) < 0.1
  • Concept Drift: Performance-Degradation > 5%
  • Latenz: P99 < [Threshold] ms
  • Error Rate: < [Threshold]%

7. RISIKOKATEGORISIERUNG

Risiko Beispiele Anforderungen
Minimal Spam-Filter, Empfehlungen Standard-Dokumentation
Begrenzt Chatbots, Sentiment-Analyse Transparenz-Disclosure
Hoch Kredit-Scoring, HR-Screening Vollständige Compliance
Inakzeptabel Social Scoring, Manipulation VERBOTEN

8. VERANTWORTLICHKEITEN

  • Model Owner: Gesamtverantwortung für das Modell
  • ML Engineer: Technische Implementierung
  • Data Scientist: Bias-Testing, Validierung
  • Compliance: Regulatorische Prüfung
  • Ethics Board: Hochrisiko-Entscheidungen