AI ve firmách: jak zvládnout nová kybernetická rizika a neztratit kontrolu nad technologií
AI ve firmách: jak zvládnout nová kybernetická rizika a neztratit kontrolu nad technologií
Proč AI zásadně zrychluje kybernetické útoky a jak se musí změnit firemní obrana
Jak bezpečně zavádět AI do firemních procesů a proč jsou klíčové kvalitní údaje, přístupová oprávnění a datová suverenita
Jak nastavit AI governance, odpovědnost vedení a kontrolu nad AI agenty s ohledem na bezpečnostní a regulatorní rizika
Zatímco ještě nedávno firmy umělou inteligenci především testovaly, dnes ji stále častěji propojují s interními aplikacemi, dokumenty a databázemi. AI asistenti pomáhají zaměstnancům vyhledávat informace, připravovat analýzy nebo zpracovávat zákaznické požadavky. S rozvojem AI agentů navíc přibývá možností, jak automatizovat celé části pracovních procesů.
Právě přechod od experimentování k reálnému provozu ale odhaluje nové problémy. Firmy postupně zjišťují, že nestačí pořídit kvalitní technologii. Musí také vědět, jaká data využívá, kdo za její fungování odpovídá, jak se kontrolují její výstupy a co se stane, pokud systém začne pracovat nesprávně.
Tyto otázky zaznívaly také na říjnové odborné snídani BDO zaměřené na využití AI a dat ve finančním řízení. Zkušenosti z implementačních projektů ukazují, že jednou z největších překážek není samotná technologie, ale připravenost firemních dat, procesů a pravidel pro její bezpečné používání.
Kybernetické útoky se zrychlují - obrana musí držet krok
Umělá inteligence dnes pomáhá nejen firmám, ale také kybernetickým útočníkům. Generativní nástroje umožňují rychleji připravovat přesvědčivé podvodné zprávy, napodobovat komunikaci konkrétních osob nebo automatizovat některé fáze přípravy útoku.Významným rizikem jsou například podvody využívající technologii deepfake. Útočník může pomocí syntetického hlasu nebo obrazu napodobit člena vedení společnosti a pokusit se přimět zaměstnance k převodu peněz či předání důvěrných informací.
S využitím AI se ale nemění pouze přesvědčivost útoků. Zásadní je také jejich rychlost.
Na odborné konferenci BDO upozornili američtí kolegové na zkušenosti s útoky podporovanými AI agenty, u nichž podle jejich analýzy zbývalo bezpečnostnímu operačnímu centru přibližně 20 až 30 sekund na správnou reakci. Jde o konkrétní zkušenost, nikoliv univerzální časový limit, dobře však ilustruje, jak výrazně může automatizace zkrátit prostor pro obranu.
V takových situacích již nemusí být možné spoléhat výhradně na manuální vyhodnocování bezpečnostních událostí. Firmy budou stále více potřebovat bezpečnostní týmy vybavené automatizovanými nástroji a obrannými AI agenty, kteří dokážou podezřelé chování rychle rozpoznat, vyhodnotit a v předem vymezených případech také zahájit odpovídající reakci.
Lidský dohled přitom zůstává zásadní zejména u rozhodnutí, která mohou ovlivnit kritické systémy nebo provoz společnosti. Budoucnost kybernetické obrany proto nebude spočívat v nahrazení odborníků umělou inteligencí, ale v jejich schopnosti využívat ji ke zrychlení detekce a reakce.
Největší bezpečnostní riziko nemusí přijít zvenčí
Vedle útoků využívajících AI musí firmy řešit také rizika spojená s jejím interním používáním.Představme si společnost, která zavede AI asistenta propojeného s firemním úložištěm dokumentů. Zaměstnanci díky němu mohou rychle vyhledávat informace ze smluv, interních směrnic nebo projektové dokumentace.
Pokud však systém nedostatečně respektuje přístupová oprávnění, může uživateli zpřístupnit informace, ke kterým by za běžných okolností neměl mít přístup.
Právě s podobnými situacemi se odborníci BDO setkávají při posuzování firemního prostředí. Propojení AI nástrojů s rozsáhlými dokumentovými úložišti může odhalit historicky nesprávně nastavená oprávnění nebo citlivé dokumenty, o jejichž dostupnosti organizace dosud neměla dostatečný přehled.
Další riziko představuje neřízené využívání veřejně dostupných AI nástrojů zaměstnanci. Při snaze urychlit práci mohou do těchto služeb vkládat klientská data, interní finanční informace nebo jiné důvěrné dokumenty, aniž by organizace měla dostatečný přehled o podmínkách jejich zpracování.
S rozvojem AI agentů se navíc rozšiřuje prostor pro nežádoucí automatizované operace. Na rozdíl od běžných chatbotů mohou agenti prostřednictvím propojených aplikací vykonávat konkrétní úkoly, například upravovat záznamy, zpracovávat požadavky nebo spouštět pracovní postupy.
Firma proto musí vědět nejen to, k jakým datům má AI přístup, ale také jaké operace smí provádět. Zvláštní pozornost vyžadují oprávnění k úpravám a mazání dat, práce se zálohami nebo možnost provádět nevratné změny v informačních systémech.
Bez kvalitních dat nelze očekávat spolehlivou AI
Jedním z nejvýznamnějších poznatků z praktických implementací AI je důležitost kvality a správy dat.Firmy mohou investovat do pokročilých modelů a automatizace, ale pokud pracují s neúplnými, nekonzistentními nebo nesprávně definovanými informacemi, výsledky nemusí odpovídat očekávání.
Problémem přitom nemusí být pouze chybějící nebo chybná data. Často jde o rozdílné definice stejných ukazatelů napříč organizací.
Typickým příkladem může být pojem „klient“, „tržba“ nebo „ziskovost“, který jednotlivá oddělení používají odlišným způsobem. Pokud AI pracuje s několika různými definicemi bez jasného kontextu, může poskytovat rozdílné výsledky i při zdánlivě totožných dotazech.
Na říjnové snídani BDO zaznělo, že právě kvalita dat a jejich správná interpretace patří mezi opakující se překážky při zavádění AI. Vedle technického zabezpečení proto znovu nabývá na významu také data governance, tedy jasně nastavená pravidla pro správu, vlastnictví, kvalitu a používání firemních dat.
Pro organizace to znamená potřebu určit, kdo za jednotlivé datové zdroje odpovídá, jak se sjednocují definice klíčových ukazatelů a jak lze ověřit původ informací, ze kterých AI vychází.
Zvláště důležité je to ve finančním řízení. Pokud má AI pomáhat při přípravě reportingu nebo manažerských rozhodnutí, musí být možné rozlišit mezi ověřeným výpočtem, odhadem a interpretací vytvořenou jazykovým modelem.
Spolehlivost AI totiž nezačíná u samotného modelu, ale u dat a procesů, na kterých je postaven.
Datová suverenita: kde jsou firemní informace a kdo nad nimi má kontrolu?
S rozšiřováním cloudových AI služeb nabývá na významu také otázka datové suverenity.Firmy dnes stále častěji řeší, kde jsou jejich informace fyzicky ukládány, kdo k nim může přistupovat a jakým právním režimům jejich zpracování podléhá.
Nejde pouze o splnění požadavků na ochranu osobních údajů. Významnou roli hraje také závislost na konkrétních technologických dodavatelích, dostupnost služeb a schopnost organizace získat svá data zpět nebo přejít na jiné řešení.
Tato diskuse je aktuální také na evropské úrovni, kde se otázky kontroly nad daty a digitální infrastruktury promítají do širšího tématu technologické a datové suverenity.
Z pohledu podniků je proto důležité posuzovat nejen to, zda je konkrétní cloudová služba dostatečně zabezpečená, ale také jaké důsledky by mělo její omezení, výpadek nebo změna podmínek poskytování.
Jednou z možností je hybridní přístup, při kterém organizace využívá externí cloudové AI služby pro méně citlivé činnosti, zatímco vybraná důvěrná data a kritické procesy ponechává ve vlastním nebo jinak kontrolovaném prostředí.
Takové řešení však není automaticky bezpečnější. Vyžaduje správnou architekturu, řízení přístupů, odpovídající technické zabezpečení a jasně stanovená pravidla pro práci s daty.
Volba mezi cloudovým, lokálním a hybridním provozem AI by proto měla vycházet z konkrétních bezpečnostních, právních, provozních i ekonomických požadavků společnosti.
AI governance: od jednotlivých experimentů k řízenému provozu
S rostoucím počtem AI nástrojů a agentů se firmy dostávají do situace, kdy již nestačí jejich používání řešit individuálně na úrovni jednotlivých týmů.Zaměstnanci mohou vytvářet vlastní asistenty, automatizovat pracovní postupy a propojovat AI s dalšími aplikacemi. Pokud však organizace nemá přehled o jejich počtu, účelu a odpovědných osobách, postupně ztrácí kontrolu nad tím, jaké technologie v jejím prostředí skutečně fungují.
Právě zde vstupuje do hry AI governance, tedy systém řízení umělé inteligence, který propojuje bezpečnost, odpovědnosti, interní pravidla a průběžnou kontrolu.
Zkušenosti z implementačních projektů ukazují, že důležitou otázkou je celý životní cyklus AI řešení. Nestačí rozhodnout o jeho zavedení. Organizace musí určit, kdo jej bude spravovat, kdo schvaluje změny, jak se testují nové verze modelů a kdo zasáhne, pokud systém začne poskytovat neočekávané výsledky.
Důležitou součástí je také ekonomická stránka. Provoz AI agentů může být spojen s proměnlivými náklady, které závisí na četnosti jejich používání, složitosti úloh nebo spotřebě výpočetních prostředků.
Proto je vhodné posuzovat nejen technickou proveditelnost a bezpečnost, ale také skutečný přínos konkrétního řešení.
AI governance tak vyžaduje spolupráci managementu, IT, kybernetické bezpečnosti, datových specialistů, financí i vlastníků obchodních procesů.
Cílem není inovace brzdit, ale zajistit, aby se z jednotlivých experimentů stala dlouhodobě udržitelná a kontrolovaná součást firemního provozu.
AI Act a regulatorní požadavky: bezpečnost jako součást odpovědného využívání AI
Význam řízení umělé inteligence potvrzuje také evropská regulace.AI Act zavádí pravidla pro vývoj, poskytování a používání AI systémů, přičemž konkrétní povinnosti se odvíjejí zejména od role organizace a rizikovosti daného využití.
U vybraných kategorií systémů klade regulace důraz například na řízení rizik, dokumentaci, lidský dohled, spolehlivost a kybernetickou bezpečnost.
Vedle AI Actu musí firmy zohledňovat také další relevantní předpisy, zejména GDPR a podle charakteru své činnosti i sektorové požadavky.
Zvýšenou pozornost těmto otázkám věnuje například finanční sektor. Banky a další regulované instituce musí při využívání nových technologií řešit řízení ICT rizik, digitální provozní odolnost a bezpečnost citlivých informací. Významnou roli zde hraje také evropské nařízení DORA.
Pro firmy je však zásadní rozlišovat mezi formálním splněním regulatorních požadavků a skutečnou bezpečností používaných technologií.
Organizace může mít zpracovanou potřebnou dokumentaci, ale současně nemusí mít správně nastavena přístupová oprávnění, kontrolu externích integrací nebo postupy pro případ kompromitace AI systému.
Regulatorní soulad a praktické řízení bezpečnosti proto musí být vzájemně propojené.
Co by měly firmy ověřit před rozšířením AI do provozu?
Bezpečné zavádění AI nemusí začínat rozsáhlým transformačním projektem. Prvním krokem by mělo být zmapování současného využívání technologie a identifikace oblastí, ve kterých mohou případné chyby nebo bezpečnostní incidenty způsobit největší škody.Organizace by se měly zaměřit zejména na následující otázky:
- Víme, kde všude AI používáme? Firma má mít přehled o schválených i neřízeně využívaných nástrojích, AI agentech a jejich propojení s interními systémy.
- Máme pod kontrolou firemní data? Data musí být dostatečně kvalitní, správně definovaná a chráněná. Víme, kde jsou zpracovávána a kdo k nim může přistupovat?
- Dokážeme vyhodnotit rizika konkrétního použití? Posuzujeme nejen funkčnost technologie, ale také její bezpečnostní, provozní, ekonomické a regulatorní dopady.
- Víme, kdo za AI odpovídá? Musí být nastaveny odpovědnosti za schvalování, provoz, kontrolu výstupů, změny modelů a případné pozastavení systému.
- Jsme připraveni na incident? Dokážeme včas rozpoznat nežádoucí chování AI, omezit jeho dopady a reagovat dostatečně rychle i na automatizované útoky?
Důležité je, aby tato opatření nezůstala pouze součástí dokumentace. Jejich funkčnost je potřeba pravidelně ověřovat a přizpůsobovat změnám technologií i způsobu jejich využívání.
Budoucnost AI nebude jen o rychlosti inovací
Umělá inteligence bude stále výrazněji ovlivňovat fungování firem, jejich rozhodování i podobu kybernetických hrozeb. Organizace proto stojí před úkolem, který přesahuje samotné IT: propojit technologický rozvoj s bezpečností, kvalitními daty, řízením rizik a jasnou odpovědností.Firmy, které budou AI zavádět bez dostatečných kontrol, mohou neúmyslně rozšiřovat vlastní zranitelnosti. Naopak organizace, které bezpečnost začlení již do návrhu a implementace nových řešení, získají lepší předpoklady pro jejich dlouhodobé a spolehlivé využívání.
Rozhodující otázkou proto není, jak rychle dokáže firma umělou inteligenci zavést, ale zda ji dokáže bezpečně řídit i ve chvíli, kdy se stane běžnou součástí jejího podnikání.