Evropská unie schválila první komplexní právní rámec pro umělou inteligenci na světě, známý jako tzv. AI Act. Tento legislativní milník má za cíl vytvořit rovnováhu mezi podporou inovací a ochranou veřejnosti před riziky, která některé AI systémy přinášejí.
Technologie AI se stává nedílnou součástí moderního světa – od zdravotnictví přes dopravu až po HR systémy. Přestože většina AI řešení přináší benefity, některé mohou představovat vážná rizika, například diskriminaci, ztrátu soukromí nebo ohrožení základních práv. AI Act proto:
Ale co to konkrétně znamená pro firmy, které umělou inteligenci vyvíjejí, používají nebo dovážejí na evropský trh? A proč je dobré začít s přípravou už teď?
Týká se následujících typů subjektů:
Pravidla se různí pro poskytovatele a uživatele
Firmy, které vyvíjejí AI systémy – zejména ty vysoce rizikové – budou muset dodržet řadu povinností. Patří mezi ně:
Ani běžní uživatelé AI se odpovědnosti nevyhnou – zejména u vysoce rizikových systémů (např. scoringy uchazečů o práci, AI v kritických infrastrukturních oblastech apod.) budou muset firmy využívající AI:
U systémů s nízkým rizikem, jako jsou chatboti nebo deepfake videa, postačí oznámit uživatelům, že komunikují se strojem.
Zvláštní kapitolu tvoří obecně použitelné – generické - AI modely (GPAI)
Modely jako GPT-4, Claude nebo Gemini budou mít vlastní sadu pravidel:
Klíčové termíny implementace AI Act:
Proveďte inventarizaci AI systémů
Zvažte validaci externím - nezávislým expertem nebo bezpečnostní testování AI systémů, zejména pokud se jedná o systémy nasazené u klientů nebo ve vysoce regulovaném prostředí.
Autor: Marek Kovalčík
Technologie AI se stává nedílnou součástí moderního světa – od zdravotnictví přes dopravu až po HR systémy. Přestože většina AI řešení přináší benefity, některé mohou představovat vážná rizika, například diskriminaci, ztrátu soukromí nebo ohrožení základních práv. AI Act proto:
- zavádí klasifikaci AI systémů podle míry rizika – od minimálního po nepřípustné;
- stanovuje přísnější pravidla pro vysoce rizikové systémy;
- zakazuje některé nebezpečné aplikace (např. biometrické sledování ve veřejném prostoru v reálném čase).
Ale co to konkrétně znamená pro firmy, které umělou inteligenci vyvíjejí, používají nebo dovážejí na evropský trh? A proč je dobré začít s přípravou už teď?
Proč AI Act vznikl a co je jeho účelem?
AI Act zavádí povinnosti pro vývoj, nasazení a provoz AI systémů v EU. Systémy se rozdělují do kategorií podle rizikovosti. Pro oblast kyberbezpečnosti má zásadní význam kategorie tzv. high-risk systémů – tedy AI systémů používaných např. pro:- detekci kybernetických hrozeb;
- analýzu chování uživatelů (UEBA);
- klasifikaci nebo prioritizaci incidentů;
- rozhodování v rámci bezpečnostních operací (např. SOAR systémy).
U těchto systémů budou vyžadovány konkrétní opatření z hlediska řízení rizik, testování modelů, transparentnosti rozhodování a auditovatelnosti.
Kdo je povinen se AI Actem řídit?
Regulace se týká všech firem, které chtějí vyvíjet, dodávat nebo používat AI na území EU, bez ohledu na to, odkud pochází. Výjimky platí pro použití v oblasti obrany, národní bezpečnosti nebo pro čistě osobní účely.Týká se následujících typů subjektů:
- firmy vyvíjející vlastní AI nástroje pro oblast bezpečnosti;
- dodavatelé bezpečnostních řešení a služeb, kteří AI používají jako součást detekčních a rozhodovacích mechanismů;
- organizace z regulovaných sektorů, které využívají AI nástroje třetích stran a musí ověřit jejich shodu s legislativou;
- subjekty spadající pod jiné evropské regulace jako NIS2, DORA, GDPR, které s AI Actem tvoří vzájemně provázaný rámec požadavků.
Pravidla se různí pro poskytovatele a uživatele
- poskytovatelé (providers) jsou firmy vyvíjející a prodávající AI systémy;
- uživatelé (deployers) jsou firmy a organizace, které AI pouze využívají.
Jaká pravidla platí pro poskytovatele AI?
Firmy, které vyvíjejí AI systémy – zejména ty vysoce rizikové – budou muset dodržet řadu povinností. Patří mezi ně:
- zavedení systému řízení rizik a kvality;
- vedení technické dokumentace a automatických záznamů;
- prokazování shody formou certifikace (conformity assessment);
- transparentnost vůči zákazníkům a úřadům;
- označení CE pro vysoce rizikové systémy;
- informování o incidentech a nedostatcích.
Jaké jsou povinnosti firem, které AI „jen“ používají?
Ani běžní uživatelé AI se odpovědnosti nevyhnou – zejména u vysoce rizikových systémů (např. scoringy uchazečů o práci, AI v kritických infrastrukturních oblastech apod.) budou muset firmy využívající AI:
- zajistit, aby byl systém používán podle návodu;
- provést posouzení dopadů na základní práva (tam, kde je to nutné);
- školit zaměstnance v oblasti AI;
- informovat dotčené osoby, že rozhodnutí bylo učiněno či ovlivněno AI;
- uchovávat záznamy a spolupracovat s dohledovými úřady.
U systémů s nízkým rizikem, jako jsou chatboti nebo deepfake videa, postačí oznámit uživatelům, že komunikují se strojem.
Modely jako GPT-4, Claude nebo Gemini budou mít vlastní sadu pravidel:
- povinnost vést technickou dokumentaci;
- popis schopností a omezení modelu;
- zavedení politiky pro dodržování autorských práv;
- u „systémově významných modelů“ navíc hodnocení rizik a hlášení incidentů.
| Datum | Co vstupuje v platnost |
| 2. února 2025 | Zákaz některých vysoce rizikových AI aplikací |
| 2. srpna 2025 | Povinnosti pro obecně použitelné modely (GPAI) |
| 2. srpna 2026 | Většina povinností AI Actu pro vysoce rizikové systémy |
| 2. srpna 2027 | Zbytek povinností pro vysoce rizikové systémy |
Sankce: až 35 milionů EUR nebo 7 % z obratu!
Nedodržení pravidel se může výrazně prodražit. Regulace proto není něco, co lze nechat „na poslední chvíli“. Firmy by měly začít řešit soulad s regulací už při návrhu AI systémů, ať už patří do kategorie poskytovatelů, nebo uživatelů, a to nejen kvůli legislativním požadavkům a bezpečnostním rizikům, ale i z hlediska konkurenční výhody.
Jak se můžete připravit již dnes?
Představujeme vám sadu doporučení, které byste měli začít realizovat v předstihu, než AI Act vejde plně v platnost:Proveďte inventarizaci AI systémů
- Identifikujte všechny AI systémy a modely používané ve vaší bezpečnostní infrastruktuře – jak interní, tak ty od externích dodavatelů.
- Neomezujte se jen na viditelné nástroje – řada SIEM, SOAR nebo endpoint platforem využívá ML/AI „pod kapotou“.
- Pro každý AI systém posuďte, zda spadá do kategorie „high-risk“ dle AI Actu. Typicky to platí pro systémy, které mají vliv na bezpečnostní rozhodování nebo automatizaci zásahů.
- Zvažte kombinaci technického a právního posouzení – zahrnutí právního oddělení, risk managementu i IT bezpečnosti.
- Vytvořte procesy pro řízení modelových rizik – např. chybná klasifikace, bias ve vstupních datech, zranitelnost vůči adversariálním útokům, tj. technikám používaným k oklamání modelů strojového učení jako je rozpoznávání obrazu, hlasu nebo textu.
- Zaveďte kontrolní mechanismy, jako jsou limity pro autonomní rozhodování AI, fallback scénáře nebo mechanismy pro eskalaci.
- Nastavte procesy pro pravidelné testování AI systémů, včetně adversariálníl testování, validace trénovacích dat a verifikace modelového chování.
- Dokumentujte všechny změny modelů, rozhodnutí o jejich nasazení a výsledky testů – ideálně v rámci existující GRC nebo ISMS struktury.
- AI Act klade důraz na transparentnost a auditovatelnost. Připravte „audit trail“ pro vaše AI systémy.
- Vypracujte politiku pro používání AI v kyberbezpečnosti – definice účelů, odpovědností, přístupových práv a kontrol.
Zvažte validaci externím - nezávislým expertem nebo bezpečnostní testování AI systémů, zejména pokud se jedná o systémy nasazené u klientů nebo ve vysoce regulovaném prostředí.
Autor: Marek Kovalčík