Die Europäische Union hat den weltweit ersten umfassenden Rechtsrahmen für künstliche Intelligenz, das so genannte KI-Gesetz, verabschiedet. Dieser gesetzgeberische Meilenstein zielt darauf ab, ein Gleichgewicht zwischen der Förderung von Innovationen und dem Schutz der Öffentlichkeit vor den Risiken, die einige KI-Systeme darstellen, herzustellen.
Die KI-Technologie wird zu einem integralen Bestandteil der modernen Welt - vom Gesundheitswesen über das Verkehrswesen bis hin zu HR-Systemen. Während die meisten KI-Lösungen Vorteile bringen, können einige ernsthafte Risiken mit sich bringen, wie Diskriminierung, Verlust der Privatsphäre oder Bedrohung der Grundrechte. Das KI-Gesetz sieht daher vor
Doch was bedeutet dies konkret für Unternehmen, die KI entwickeln, nutzen oder in den europäischen Markt importieren? Und warum ist es eine gute Idee, jetzt mit der Vorbereitung zu beginnen?
Die Verordnung gilt für die folgenden Arten von Unternehmen:
Die Regeln sind für Anbieter und Nutzer unterschiedlich
Bei Systemen mit geringem Risiko, wie Chatbots oder Deepfake-Videos, reicht es aus, die Nutzer darüber zu informieren, dass sie mit einer Maschine interagieren.
Ein besonderes Kapitel ist den allgemeinen - generischen - KI-Modellen (GPAI) gewidmet
Modelle wie GPT-4, Claude oder Gemini haben ihre eigenen Regeln:
Machen Sie eine Bestandsaufnahme der KI-Systeme
Ziehen Sie die Validierung durch einen externen - unabhängigen Experten oder Sicherheitstests von KI-Systemen in Betracht, insbesondere wenn die Systeme bei Kunden oder in stark regulierten Umgebungen eingesetzt werden.
Autor: Marek Kovalčík
Die KI-Technologie wird zu einem integralen Bestandteil der modernen Welt - vom Gesundheitswesen über das Verkehrswesen bis hin zu HR-Systemen. Während die meisten KI-Lösungen Vorteile bringen, können einige ernsthafte Risiken mit sich bringen, wie Diskriminierung, Verlust der Privatsphäre oder Bedrohung der Grundrechte. Das KI-Gesetz sieht daher vor
- eine Klassifizierung von KI-Systemen nach dem Grad des Risikos - von minimal bis inakzeptabel - eingeführt
- legt strengere Regeln für Hochrisikosysteme fest
- verbietet bestimmte gefährliche Anwendungen (z. B. biometrische Echtzeit-Überwachung im öffentlichen Raum)
Doch was bedeutet dies konkret für Unternehmen, die KI entwickeln, nutzen oder in den europäischen Markt importieren? Und warum ist es eine gute Idee, jetzt mit der Vorbereitung zu beginnen?
Warum wurde das KI-Gesetz geschaffen und was ist sein Zweck?
Mit dem KI-Gesetz werden Verpflichtungen für die Entwicklung, den Einsatz und den Betrieb von KI-Systemen in der EU eingeführt. Die Systeme werden je nach Risiko kategorisiert. Die Kategorie der "Hochrisikosysteme" - d. h. KI-Systeme, die z. B. zur- Erkennung von Cyber-Bedrohungen
- Analyse des Nutzerverhaltens (UEBA)
- Klassifizierung oder Priorisierung von Vorfällen
- Entscheidungsfindung bei Sicherheitsmaßnahmen (z. B. SOAR-Systeme)
Wer muss das KI-Gesetz einhalten?
Die Verordnung gilt für alle Unternehmen, die KI in der EU entwickeln, anbieten oder nutzen wollen, unabhängig davon, woher sie stammt. Ausnahmen gelten für den Einsatz in der Verteidigung, der nationalen Sicherheit oder für rein persönliche Zwecke.Die Verordnung gilt für die folgenden Arten von Unternehmen:
- Unternehmen, die ihre eigenen KI-Tools für die Sicherheit entwickeln
- Anbieter von Sicherheitslösungen und -diensten, die KI als Teil ihrer Erkennungs- und Entscheidungsmechanismen nutzen
- Organisationen in regulierten Sektoren, die KI-Tools von Drittanbietern verwenden und deren Übereinstimmung mit den Rechtsvorschriften überprüfen müssen
- Unternehmen, die unter andere europäische Verordnungen wie NIS2, DORA, GDPR fallen, die mit dem KI-Gesetz einen voneinander abhängigen Rahmen von Anforderungen bilden
Die Regeln sind für Anbieter und Nutzer unterschiedlich
- Anbieter sind Unternehmen, die KI-Systeme entwickeln und verkaufen
- Anwender sind Unternehmen und Organisationen, die KI nur nutzen
Welche Regeln gelten für KI-Anbieter?
Unternehmen, die KI-Systeme - insbesondere solche mit hohem Risiko - entwickeln, müssen eine Reihe von Verpflichtungen einhalten. Dazu gehören:- Einrichtung eines Risiko- und Qualitätsmanagementsystems
- Führung einer technischen Dokumentation und automatisierter Aufzeichnungen
- Nachweis der Einhaltung durch Zertifizierung (Konformitätsbewertung)
- Transparenz gegenüber Kunden und Behörden
- CE-Kennzeichnung für Hochrisikosysteme
- Meldung von Vorfällen und Mängeln
Welche Pflichten haben Unternehmen, die "nur" KI einsetzen?
Auch gewöhnliche Nutzer von KI werden sich der Haftung nicht entziehen können - insbesondere bei Hochrisikosystemen (z. B. Scoring von Bewerbern, KI in kritischen Infrastrukturbereichen usw.) müssen Unternehmen, die KI einsetzen, Folgendes tun- sicherstellen, dass das System wie angewiesen eingesetzt wird
- eine grundrechtliche Folgenabschätzung durchführen (sofern erforderlich)
- Mitarbeiter in AI schulen
- die betroffenen Personen darüber informieren, dass eine Entscheidung durch AI getroffen oder beeinflusst wurde
- Aufzeichnungen führen und mit Aufsichtsbehörden zusammenarbeiten
Bei Systemen mit geringem Risiko, wie Chatbots oder Deepfake-Videos, reicht es aus, die Nutzer darüber zu informieren, dass sie mit einer Maschine interagieren.
Ein besonderes Kapitel ist den allgemeinen - generischen - KI-Modellen (GPAI) gewidmet
Modelle wie GPT-4, Claude oder Gemini haben ihre eigenen Regeln:
- die Verpflichtung, eine technische Dokumentation zu führen
- eine Beschreibung der Fähigkeiten und Grenzen des Modells
- die Einführung einer Richtlinie zur Einhaltung des Urheberrechts
- für "systemrelevante Modelle" zusätzlich eine Risikobewertung und die Meldung von Vorfällen
Strafen: bis zu 35 Millionen Euro oder 7% des Umsatzes!
Die Nichteinhaltung von Vorschriften kann erheblich teurer werden. Die Regulierung kann daher nicht bis zur letzten Minute" aufgeschoben werden. Unternehmen sollten sich bereits bei der Entwicklung von KI-Systemen mit der Einhaltung von Vorschriften befassen, unabhängig davon, ob sie zur Kategorie der Anbieter oder der Nutzer gehören, und zwar nicht nur wegen der gesetzlichen Anforderungen und Sicherheitsrisiken, sondern auch im Hinblick auf Wettbewerbsvorteile.Wie können Sie sich heute vorbereiten?
Wir stellen eine Reihe von Empfehlungen vor, mit deren Umsetzung Sie beginnen sollten, bevor das KI-Gesetz vollständig in Kraft tritt:Machen Sie eine Bestandsaufnahme der KI-Systeme
- Identifizieren Sie alle KI-Systeme und -Modelle, die in Ihrer Sicherheitsinfrastruktur verwendet werden - sowohl interne als auch solche von externen Anbietern.
- Beschränken Sie sich nicht nur auf die sichtbaren Tools - viele SIEM-, SOAR- oder Endpunkt-Plattformen nutzen ML/AI "unter der Haube".
- Beurteilen Sie für jedes KI-System, ob es in die Kategorie "hohes Risiko" der KI-Actu fällt. Dies gilt in der Regel für Systeme, die sich auf Sicherheitsentscheidungen oder Automatisierungseingriffe auswirken.
- Ziehen Sie eine Kombination aus technischen und rechtlichen Bewertungen in Betracht - unter Einbeziehung der Rechtsabteilung, des Risikomanagements und der IT-Sicherheit.
- Schaffen Sie Prozesse zur Verwaltung modellspezifischer Risiken - z. B. Fehlklassifizierung, Verzerrung von Eingabedaten, Anfälligkeit für gegnerische Angriffe, d. h. Techniken, mit denen maschinelle Lernmodelle wie Bild-, Sprach- oder Texterkennung getäuscht werden können.
- Einführung von Kontrollmechanismen wie Beschränkungen der autonomen KI-Entscheidungsfindung, Ausweichszenarien oder Eskalationsmechanismen.
- Richten Sie Prozesse für regelmäßige Tests von KI-Systemen ein, einschließlich Tests mit Gegnern, Validierung von Trainingsdaten und Überprüfung des Modellverhaltens.
- Dokumentieren Sie alle Modelländerungen, Einsatzentscheidungen und Testergebnisse - idealerweise im Rahmen der bestehenden GRC- oder ISMS-Struktur.
- Das KI-Gesetz legt großen Wert auf Transparenz und Nachvollziehbarkeit. Bereiten Sie einen "Prüfpfad" für Ihre KI-Systeme vor.
- Entwickeln Sie eine Richtlinie für den Einsatz von KI im Bereich der Cybersicherheit, in der Zweck, Verantwortlichkeiten, Zugriffsrechte und Kontrollen festgelegt sind.
Ziehen Sie die Validierung durch einen externen - unabhängigen Experten oder Sicherheitstests von KI-Systemen in Betracht, insbesondere wenn die Systeme bei Kunden oder in stark regulierten Umgebungen eingesetzt werden.
Autor: Marek Kovalčík