KI in Unternehmen:

Wie man neue Cyberrisiken bewältigt und die Kontrolle über Technologie nicht verliert 
 

Warum KI Cyberangriffe grundlegend beschleunigt und wie sich Unternehmensabwehrmechanismen ändern müssen

Wie man KI sicher in Geschäftsprozessen implementiert und warum Qualitätsdaten, Zugriffsberechtigungen und Datensouveränität entscheidend sind

Wie man KI-Governance, Managementverantwortlichkeit und Kontrolle über KI-Agenten in Bezug auf Sicherheits- und Regulierungsrisiken einrichtet

 

Künstliche Intelligenz wird schnell Teil des täglichen Betriebs von Unternehmen. Sie hilft dabei, Prozesse zu automatisieren, Daten zu analysieren und Entscheidungen zu optimieren. Gleichzeitig verändert sie jedoch die Form von Cyberbedrohungen und bringt neue Anforderungen an Sicherheit, Datenmanagement und Managementverantwortung mit sich. Heute müssen Unternehmen nicht nur darauf achten, wie sie sich gegen KI-gestützte Angriffe verteidigen, sondern auch wissen, wie sie diese Technologie sicher einsetzen, betreiben und kontrollieren können.

Obwohl Unternehmen noch vor nicht allzu langer Zeit hauptsächlich künstliche Intelligenz getestet haben, verbinden sie sie heute zunehmend mit internen Anwendungen, Dokumenten und Datenbanken. KI-Assistenten helfen Mitarbeitern bei der Informationssuche, der Erstellung von Analysen oder der Verarbeitung von Kundenanfragen. Darüber hinaus gibt es mit der Entwicklung von KI-Agenten immer mehr Möglichkeiten, ganze Teile von Arbeitsprozessen zu automatisieren.

Doch es ist der Übergang vom Experimentieren zum echten Betrieb, der neue Probleme offenbart. Unternehmen stellen allmählich fest, dass es nicht ausreicht, qualitativ hochwertige Technologie zu erwerben. Sie müssen auch wissen, welche Daten sie verwenden, wer für den Betrieb verantwortlich ist, wie die Ausgaben überprüft werden und was passiert, wenn das System unzuverlässig funktioniert.

Diese Fragen wurden auch beim BDO-Expertenfrühstück im Oktober aufgeworfen, das sich auf den Einsatz von KI und Daten im Finanzmanagement konzentrierte. Erfahrungen aus Implementierungsprojekten zeigen, dass eines der größten Hindernisse nicht die Technologie selbst ist, sondern die Bereitschaft von Unternehmensdaten, Prozessen und Regeln für deren sichere Nutzung.

Cyberangriffe beschleunigen – die Verteidigung muss mithalten

Heute hilft künstliche Intelligenz nicht nur Unternehmen, sondern auch Cyberangreifern. Generative Werkzeuge ermöglichen es, überzeugende betrügerische Nachrichten schneller vorzubereiten, die Kommunikation bestimmter Personen zu imitieren oder bestimmte Phasen der Angriffsvorbereitung zu automatisieren.

Ein erhebliches Risiko ist zum Beispiel Betrug mit Deepfake-Technologie. Ein Angreifer kann eine synthetische Stimme oder ein Bild verwenden, um ein Mitglied der Unternehmensleitung zu imitieren und zu versuchen, Mitarbeiter dazu zu bringen, Geld zu überweisen oder vertrauliche Informationen herauszugeben.

Doch mit dem Einsatz von KI ändert sich nicht nur die Überzeugungskraft der Angriffe. Auch ihre Geschwindigkeit ist entscheidend.

Auf der BDO-Konferenz wiesen amerikanische Kollegen auf ihre Erfahrungen mit von KI-Agenten unterstützten Angriffen hin, bei denen laut ihrer Analyse das Sicherheitsoperationszentrum noch etwa 20 bis 30 Sekunden Zeit hatte, richtig zu reagieren. Dies ist eine spezifische Erfahrung, kein universelles Zeitlimit, zeigt aber gut, wie sehr Automatisierung den Verteidigungsraum verringern kann.

In solchen Situationen ist es möglicherweise nicht mehr möglich, sich ausschließlich auf die manuelle Bewertung von Sicherheitsereignissen zu verlassen. Unternehmen werden zunehmend Sicherheitsteams benötigen, die mit automatisierten Werkzeugen und KI-Verteidigungsagenten ausgestattet sind, die schnell erkennen, bewerten und in vordefinierten Fällen eine angemessene Reaktion einleiten können.

Gleichzeitig bleibt die menschliche Aufsicht entscheidend, insbesondere bei Entscheidungen, die kritische Systeme oder den Betrieb eines Unternehmens beeinflussen können. Daher wird die Zukunft der Cyberverteidigung nicht darin liegen, Experten durch künstliche Intelligenz zu ersetzen, sondern darin, diese zu nutzen, um Erkennung und Reaktion zu beschleunigen.

Das größte Sicherheitsrisiko muss nicht von außen kommen

Neben Angriffen mit KI müssen Unternehmen auch die Risiken im Zusammenhang mit deren interner Nutzung adressieren.

Stellen wir uns ein Unternehmen vor, das einen KI-Assistenten einführt, der mit dem Dokumentenspeicher des Unternehmens verbunden ist. Dank ihm können Mitarbeiter schnell nach Informationen aus Verträgen, internen Anweisungen oder Projektdokumentationen suchen.

Wenn das System jedoch Zugriffsberechtigungen nicht ausreichend respektiert, kann es dem Benutzer Informationen zur Verfügung stellen, auf die er normalerweise keinen Zugriff haben sollte.

Ähnliche Situationen begegnen BDO-Experten bei der Bewertung des Unternehmensumfelds. Die Verbindung von KI-Tools mit großen Dokumenten-Repositories kann historisch falsch eingestellte Berechtigungen oder sensible Dokumente aufdecken, in die die Organisation bisher keinen ausreichenden Einblick hatte.

Ein weiteres Risiko ist der unkontrollierte Einsatz öffentlich verfügbarer KI-Tools durch Mitarbeitende. Um die Arbeit zu beschleunigen, können sie Kundendaten, interne Finanzinformationen oder andere vertrauliche Dokumente in diese Dienste eingeben, ohne dass die Organisation ausreichend Transparenz über die Bedingungen hat, unter denen sie verarbeitet werden.

Darüber hinaus erweitert sich mit der Entwicklung von KI-Agenten der Umfang unerwünschter automatisierter Operationen. Im Gegensatz zu herkömmlichen Chatbots können Agenten spezifische Aufgaben über verbundene Anwendungen ausführen, wie das Bearbeiten von Datensätzen, die Bearbeitung von Anfragen oder das Ausführen von Arbeitsabläufen.

Daher muss das Unternehmen nicht nur wissen, auf welche Daten die KI Zugriff hat, sondern auch, welche Operationen sie ausführen darf. Besondere Aufmerksamkeit ist erforderlich für Berechtigungen zur Bearbeitung und Löschung von Daten, zur Arbeit mit Backups oder zur Möglichkeit, irreversible Änderungen an Informationssystemen vorzunehmen.

Ohne qualitativ hochwertige Daten kann eine zuverlässige KI nicht erwartet werden

Eine der wichtigsten Erkenntnisse aus praktischen KI-Implementierungen ist die Bedeutung von Datenqualität und -management.

Unternehmen können in fortschrittliche Modelle und Automatisierung investieren, aber wenn sie mit unvollständigen, inkonsistenten oder falsch definierten Informationen arbeiten, sind die Ergebnisse möglicherweise nicht wie erwartet.

Das Problem muss nicht nur fehlende oder fehlerhafte Daten sein. Oft gibt es innerhalb der Organisation unterschiedliche Definitionen derselben Indikatoren.

Ein typisches Beispiel ist der Begriff "Kunde", "Umsatz" oder "Profitabilität", der von Abteilungen unterschiedlich verwendet wird. Wenn KI mit mehreren verschiedenen Definitionen ohne klaren Kontext arbeitet, kann sie selbst bei scheinbar identischen Abfragen unterschiedliche Ergebnisse liefern.

Beim BDO-Frühstück im Oktober wurde gesagt, dass die Datenqualität und deren korrekte Interpretation zu den wiederkehrenden Hindernissen bei der Einführung von KI gehören. Neben technischer Sicherheit gewinnt Data Governance, also klar festgelegte Regeln für Management, Eigentum, Qualität und Nutzung von Unternehmensdaten, daher wieder an Bedeutung.

Für Organisationen bedeutet dies die Notwendigkeit zu bestimmen, wer für jede Datenquelle verantwortlich ist, wie die Definitionen von Schlüsselindikatoren einheitlich sind und wie die Herkunft der Informationen, auf denen KI basiert, überprüft werden kann.

Dies ist besonders wichtig im Finanzmanagement. Wenn KI bei der Erstellung von Berichts- oder Managemententscheidungen helfen soll, muss es möglich sein, zwischen der validierten Berechnung, Schätzung und Interpretation des Sprachmodells zu unterscheiden.

Die Zuverlässigkeit von KI beginnt nicht mit dem Modell selbst, sondern mit den Daten und Prozessen, auf denen es aufgebaut ist.

Datensouveränität: Wo sind Unternehmensinformationen und wer hat die Kontrolle darüber?

Mit der Ausweitung von Cloud-KI-Diensten wird auch das Thema Datensouveränität immer wichtiger.

Heutzutage beschäftigen sich Unternehmen zunehmend damit, wo ihre Informationen physisch gespeichert werden, wer darauf zugreifen kann und welche rechtlichen Regelungen der Verarbeitung unterliegen.

Es geht nicht nur darum, Datenschutzanforderungen zu erfüllen. Die Abhängigkeit von bestimmten Technologieanbietern, die Verfügbarkeit von Dienstleistungen und die Fähigkeit der Organisation, ihre Daten zurückzuerhalten oder auf eine andere Lösung umzusteigen, spielen ebenfalls eine wichtige Rolle.

Diese Debatte ist auch auf europäischer Ebene aktuell, wo sich die Themen Datenkontrolle und digitale Infrastruktur im breiteren Thema der technologischen und Datensouveränität widerspiegeln.

Aus geschäftlicher Sicht ist es daher wichtig, nicht nur zu bewerten, ob ein bestimmter Cloud-Dienst ausreichend sicher ist, sondern auch, welche Folgen seine Begrenzung, Ausfälle oder Änderungen in Bezug auf die Bereitstellung hätten.

Eine Möglichkeit ist ein hybrider Ansatz, bei dem eine Organisation externe Cloud-KI-Dienste für weniger sensible Aktivitäten nutzt, während ausgewählte vertrauliche Daten und kritische Prozesse in ihrer eigenen oder anderweitig kontrollierten Umgebung bleiben.

Eine solche Lösung ist jedoch nicht automatisch sicherer. Sie erfordert die richtige Architektur, Zugriffskontrolle, ausreichende technische Sicherheit und klar definierte Regeln für den Umgang mit Daten.

Daher sollte die Wahl zwischen Cloud-, On-Premises- und hybriden KI-Operationen auf den spezifischen Sicherheits-, rechtlichen, operativen und wirtschaftlichen Anforderungen des Unternehmens basieren.

KI-Governance: von einzelnen Experimenten bis hin zu kontrollierten Abläufen

Mit der wachsenden Zahl von KI-Tools und Agenten geraten Unternehmen in einer Situation, in der es nicht mehr ausreicht, ihre Nutzung individuell auf Ebene einzelner Teams zu lösen.

Mitarbeiter können eigene Assistenten erstellen, Arbeitsabläufe automatisieren und KI mit anderen Anwendungen verbinden. Wenn eine Organisation jedoch keinen Überblick über ihre Anzahl, ihren Zweck und ihre verantwortlichen Personen hat, verliert sie allmählich die Kontrolle darüber, welche Technologien tatsächlich in ihrer Umgebung funktionieren.

Hier kommt KI-Governance ins Spiel, also ein Managementsystem für künstliche Intelligenz, das Sicherheit, Verantwortlichkeiten, interne Regeln und fortlaufende Kontrolle kombiniert.

Erfahrungen aus Implementierungsprojekten zeigen, dass der gesamte Lebenszyklus einer KI-Lösung ein wichtiges Thema ist. Es reicht nicht aus, über deren Umsetzung zu entscheiden. Organisationen müssen bestimmen, wer sie verwaltet, wer Änderungen genehmigt, wie neue Modellversionen getestet werden und wer eingreifen wird, wenn das System unerwartete Ergebnisse liefert.

Auch die wirtschaftliche Seite ist ein wichtiger Teil. Der Betrieb von KI-Agenten kann mit variablen Kosten verbunden sein, die von der Häufigkeit ihrer Nutzung, der Komplexität der Arbeitslasten oder dem Verbrauch von Rechenressourcen abhängen.

Daher ist es ratsam, nicht nur die technische Machbarkeit und Sicherheit zu bewerten, sondern auch den tatsächlichen Nutzen einer bestimmten Lösung.

KI-Governance erfordert daher die Zusammenarbeit von Management, IT, Cybersicherheit, Datenspezialisten, Finanzen und Geschäftsprozessinhabern.

Das Ziel ist es nicht, Innovationen zu behindern, sondern sicherzustellen, dass einzelne Experimente langfristig nachhaltig und kontrolliert Teil der Unternehmensabläufe werden.

KI-Gesetz und regulatorische Anforderungen: Sicherheit als Teil des verantwortungsvollen Einsatzes von KI

Die Bedeutung des KI-Managements wird auch durch die europäische Regulierung bestätigt.

Das KI-Gesetz legt Regeln für die Entwicklung, Bereitstellung und Nutzung von KI-Systemen fest, mit spezifischen Verpflichtungen, die hauptsächlich auf der Rolle der Organisation und dem Risiko der jeweiligen Nutzung basieren.

Für ausgewählte Systemkategorien legt die Verordnung beispielsweise Wert auf Risikomanagement, Dokumentation, menschliche Aufsicht, Zuverlässigkeit und Cybersicherheit.

Zusätzlich zum KI-Gesetz müssen Unternehmen auch andere relevante Vorschriften berücksichtigen, insbesondere die DSGVO und, je nach Art ihrer Tätigkeiten, auch sektorale Anforderungen.

Der Finanzsektor beispielsweise schenkt diesen Themen verstärkte Aufmerksamkeit. Banken und andere regulierte Institute müssen beim Einsatz neuer Technologien das IKT-Risikomanagement, die digitale operative Resilienz und die Sicherheit sensibler Informationen berücksichtigen. Auch die europäische DORA-Verordnung spielt hier eine wichtige Rolle.

Es ist jedoch entscheidend, dass Unternehmen zwischen der formellen Einhaltung regulatorischer Anforderungen und der tatsächlichen Sicherheit der verwendeten Technologien unterscheiden.

Eine Organisation kann die notwendige Dokumentation bearbeitet haben, aber gleichzeitig hat sie möglicherweise keine Zugriffsberechtigungen, keine Kontrolle über externe Integrationen oder Verfahren im Falle einer korrekten Kompromittierung des KI-Systems.

Regulatorische Compliance und praktisches Sicherheitsmanagement müssen daher miteinander verknüpft sein.

Was sollten Unternehmen vor dem Einsatz von KI überprüfen?

Eine sichere Einführung von KI muss nicht mit einem groß angelegten Transformationsprojekt beginnen. Der erste Schritt sollte darin bestehen, die aktuelle Nutzung der Technologie zu kartieren und Bereiche zu identifizieren, in denen Fehler oder Sicherheitsvorfälle den größten Schaden anrichten können.

Insbesondere sollten sich Organisationen auf folgende Themen konzentrieren:

• Wissen wir, wo wir KI einsetzen? Das Unternehmen sollte einen Überblick über genehmigte und unkontrollierte Werkzeuge, KI-Agenten und deren Verbindung zu internen Systemen haben.
• Haben wir Kontrolle über Unternehmensdaten? Die Daten müssen von ausreichender Qualität, ordnungsgemäß definiert und geschützt sein. Wissen wir, wo sie verarbeitet werden und wer darauf zugreifen kann?
• Können wir die Risiken einer bestimmten Anwendung bewerten? Wir bewerten nicht nur die Funktionalität der Technologie, sondern auch deren sicherheitsbezogene, betriebliche, wirtschaftliche und regulatorische Auswirkungen.
• Wissen wir, wer für KI verantwortlich ist? Verantwortlichkeiten für Genehmigung, Betrieb, Output-Kontrolle, Modelländerungen und mögliche Systemaussetzung müssen festgelegt werden.
• Sind wir auf einen Vorfall vorbereitet? Können wir unerwünschtes KI-Verhalten rechtzeitig erkennen, dessen Auswirkungen begrenzen und schnell genug auf automatisierte Angriffe reagieren?

Es ist wichtig, dass diese Maßnahmen nicht nur ein Teil der Dokumentation bleiben. Ihre Funktionalität muss regelmäßig überprüft und an technologische Veränderungen und deren Nutzung angepasst werden.

Die Zukunft der KI wird nicht nur von der Geschwindigkeit der Innovation abhängen

Künstliche Intelligenz wird die Funktionsweise von Unternehmen, ihre Entscheidungsfindung und die Form von Cyberbedrohungen zunehmend beeinflussen. Daher stehen Organisationen vor einer Aufgabe, die über die IT selbst hinausgeht: technologische Entwicklung mit Sicherheit, Qualitätsdaten, Risikomanagement und klarer Verantwortung zu verbinden.

Unternehmen, die KI ohne ausreichende Kontrollen einsetzen, können unbeabsichtigt ihre eigenen Schwachstellen erweitern. Andererseits werden Organisationen, die Sicherheit in die Entwicklung und Implementierung neuer Lösungen integrieren, bessere Voraussetzungen für deren langfristige und zuverlässige Nutzung erhalten.

Die entscheidende Frage ist daher nicht, wie schnell ein Unternehmen künstliche Intelligenz implementieren kann, sondern ob es diese sicher verwalten kann, selbst wenn sie ein regelmäßiger Teil seines Geschäfts wird.