Tomáš Kubíček
Partner, Digital Services • Advisory
AI Red Teaming
Rychlé nasazování umělé inteligence do interních procesů, zákaznických služeb, vývoje softwaru, analytiky i rozhodovacích systémů přináší nové typy bezpečnostních rizik. Organizace dnes neřeší pouze klasické zranitelnosti v aplikacích nebo infrastruktuře, ale také otázky, zda lze AI systém zmanipulovat, přimět k úniku citlivých dat, obejít jeho ochranné mechanismy nebo zneužít jeho propojení s interními nástroji.
AI Red Teaming je řízená simulace útoků a zneužití AI systému z pohledu externího útočníka, interního uživatele nebo škodlivého aktéra, který se snaží obejít nastavená pravidla a ochranné mechanismy. Na rozdíl od běžného penetračního testování se AI Red Teaming nezaměřuje pouze na servery, API, síťové služby nebo aplikační zranitelnosti. Testuje také chování samotného modelu, kvalitu ochranných pravidel, bezpečnost promptů, zacházení s daty, integrace s nástroji a možnost vyvolat nežádoucí výstup.
Cílem není pouze ověřit technickou bezpečnost, ale také zjistit, jak se AI systém chová v nestandardních, škodlivých nebo manipulačních scénářích.
Služba pomáhá organizacím identifikovat slabiny dříve, než je zneužijí reální útočníci, interní uživatelé, dodavatelé nebo automatizované nástroje. Testování navazuje na požadavky moderních regulatorních rámců, které kladou důraz na řízení ICT rizik, bezpečnost, robustnost a kontrolovatelnost technologií využívaných v kritických procesech. EU AI Act u vysoce rizikových AI systémů vyžaduje přiměřenou úroveň přesnosti, robustnosti a kybernetické bezpečnosti po celý životní cyklus systému.
Z bezpečnostního pohledu představují AI systémy specifickou kombinaci technických, procesních a behaviorálních rizik. Útočník nemusí vždy hledat klasickou zranitelnost v kódu. Často stačí přesvědčit model, aby porušil instrukce, pracoval s nedůvěryhodným vstupem nebo vykonal akci, která vypadá legitimně, ale vede k nežádoucímu dopadu.
OWASP Top 10 for LLM Applications je jedním z hlavních rámců popisujících rizika specifická pro LLM aplikace.
Standardní penetrační testy aplikací, infrastruktury nebo API jsou pro bezpečnost AI řešení stále důležité. Samy o sobě však nedokážou pokrýt rizika vznikající z chování modelu, jeho instrukcí, datového kontextu a propojení s dalšími systémy.
| Oblast | Běžné penetrační testování | AI Red Teaming |
|---|---|---|
| Cíl testu | Identifikace technických zranitelností v aplikaci, API nebo infrastruktuře | Ověření odolnosti AI systému proti manipulaci, zneužití a nežádoucímu chování |
| Testovaný objekt | Aplikace, síť, server, API, konfigurace | Model, prompt, kontext, guardrails, datové zdroje, agentní workflow, integrace |
| Typ útoku | Exploatace zranitelností, chyb konfigurace nebo přístupových slabin | Prompt injection, jailbreak, data leakage, tool abuse, model manipulation |
| Rizikový dopad | Kompromitace systému, eskalace oprávnění, únik dat | Nežádoucí rozhodnutí, únik citlivého kontextu, obcházení pravidel, zneužití automatizace |
| Přístup | Technické testování komponent | Kombinace technického testování, adversarial prompting, scénářů zneužití a procesního hodnocení |
| Výstup | Seznam zranitelností a doporučení | Zranitelnosti, scénáře zneužití, dopady na business procesy, návrh guardrails a kontrol |
| Rámce | OWASP ASVS, OWASP MASVS, OSSTMM, CVSS | OWASP Top 10 for LLM Applications, NIST AI RMF, NIST AI 600-1, interní bezpečnostní politiky |
AI Red Teaming doplňuje klasické penetrační testování a pomáhá pokrýt novou vrstvu rizik, která vzniká v okamžiku, kdy AI systém pracuje s citlivými daty, podporuje rozhodování nebo má přístup k interním nástrojům.
| Typ scénáře | Popis | Cíl |
|---|---|---|
| Prompt Injection | Pokus o vložení škodlivých instrukcí do uživatelského vstupu, dokumentu, e-mailu, webové stránky nebo datového zdroje, se kterým AI pracuje. | Ověřit, zda AI systém dokáže rozlišit legitimní instrukce od nedůvěryhodného vstupu. |
| Jailbreak | Testování technik, které se snaží obejít bezpečnostní pravidla modelu nebo aplikační guardrails. | Prověřit odolnost proti generování zakázaných, rizikových nebo nežádoucích výstupů. |
| Únik systémového promptu | Pokus o získání interních instrukcí, pravidel, konfigurace nebo skrytého kontextu aplikace. | Ověřit, zda systém neprozrazuje informace, které mohou usnadnit další útok. |
| Únik citlivých dat | Testování, zda AI nevrací osobní údaje, obchodní tajemství, interní dokumenty nebo data jiných uživatelů. | Prověřit řízení přístupu, filtrování výstupů a oddělení datových kontextů. |
| Manipulace RAG systému | Útoky na AI řešení využívající retrieval-augmented generation, například otrava znalostní báze nebo manipulace načtených dokumentů. | Ověřit důvěryhodnost zdrojů, správné citování, validaci obsahu a ochranu proti nepřímé prompt injection. |
| Zneužití nástrojů a agentů | Testování AI systémů, které mohou volat API, spouštět workflow, zapisovat do systémů nebo pracovat s e-mailem, kalendářem či ticketingem. | Prověřit, zda AI nevykoná neautorizovanou, škodlivou nebo obchodně rizikovou akci. |
| Obcházení pravidel přes jazyk a kontext | Testování různých jazyků, formulací, rolí, parafrází a vícekrokových dialogů. | Ověřit konzistenci ochranných mechanismů napříč situacemi. |
| Business logic abuse | Zneužití AI workflow ke změně doporučení, rozhodnutí, klasifikace nebo prioritizace. | Ověřit, zda AI neumožní manipulovat proces, který má obchodní nebo regulatorní dopad. |
| Model behavior testing | Testování halucinací, nekonzistentních odpovědí, nepřesných doporučení nebo nadměrné sebedůvěry systému. | Posoudit spolehlivost AI výstupů v kritických scénářích. |
| Supply chain a third-party AI rizika | Ověření rizik spojených s externími modely, SaaS AI nástroji, pluginy, knihovnami nebo dodavateli. | Zjistit, zda organizace rozumí závislostem a kontrolám u třetích stran. |
AI Red Teaming pomáhá organizacím prokázat, že AI systémy nejsou nasazeny pouze funkčně, ale také bezpečně, kontrolovatelně a v souladu s rizikovým profilem organizace.
Relevantní jsou zejména tyto oblasti:
Určí se typ AI řešení, jeho účel, uživatelé, datové zdroje, integrace, oprávnění a očekávané hranice chování. Součástí je vymezení pravidel testu, testovacích účtů, povolených scénářů a kritických dopadů.
Testovací tým posoudí, zda se jedná o samostatný model, LLM aplikaci, RAG řešení, agenta, chatbota nebo AI komponentu integrovanou do širšího systému. Zohlední se napojení na API, databáze, dokumentové repozitáře, identity management a logging.
Vznikají scénáře pro prompt injection, jailbreak, únik citlivých dat, manipulaci výstupů, zneužití nástrojů, obcházení pravidel a útoky na znalostní bázi. Scénáře se přizpůsobují konkrétnímu prostředí, rolím uživatelů a obchodnímu kontextu.
Testovací tým provádí manuální i automatizované testy, vícekrokové dialogy, útoky v různých jazycích, testování vstupních dokumentů, pokusy o eskalaci oprávnění a zneužití připojených nástrojů.
Každé zjištění se hodnotí podle pravděpodobnosti zneužití, dopadu na důvěrnost, integritu, dostupnost, regulatorní požadavky a obchodní procesy. Součástí je evidence konkrétních vstupů, výstupů a podmínek reprodukce.
Výstupem je technická zpráva, manažerské shrnutí, klasifikace rizik, návrh opatření a doporučení pro úpravu promptů, guardrails, oprávnění, logování, monitoringu, datových zdrojů a aplikační architektury.
Po implementaci opatření lze provést opakované testování a ověřit, zda byly slabiny odstraněny. Retest pomáhá doložit zlepšení bezpečnosti a připravenost systému na interní kontrolu nebo regulatorní přezkum.
BDO poskytuje AI Red Teaming jako součást ucelené strategie kybernetické bezpečnosti, řízení ICT rizik a digitální odolnosti. Naše metodologie kombinuje praktické zkušenosti z red teamingu, penetračního testování, sociálního inženýrství, regulatorního poradenství a bezpečnostního hodnocení moderních technologií.
Pomáháme organizacím ověřit, zda jejich AI systémy nejsou pouze funkční, ale také bezpečné, robustní a připravené na reálné scénáře zneužití.
01 Znalost regulatorního rámce
Rozumíme požadavkům DORA, NIS2, EU AI Act i souvisejícím rámcům pro řízení rizik. Dokážeme propojit technické testování AI systémů s požadavky risk managementu, interního auditu, compliance a bezpečnostního governance.
02 Praktický přístup k nápravě
Neomezujeme se pouze na identifikaci zranitelností. Součástí výstupů jsou konkrétní návrhy úprav architektury, oprávnění, promptů, guardrails, monitoringu, logování a procesů. Výsledky jsou použitelné pro technické týmy, bezpečnostní vedení i management.
03 Nezávislost a důvěryhodnost
Jako nezávislá poradenská firma nemáme vlastní technologie ani zájem na prosazování konkrétního AI dodavatele. Nabízíme objektivní hodnocení, které respektuje technické, obchodní i regulatorní požadavky organizace.
03 Certifikovaný tým s expertní praxí
Naši specialisté vlastní certifikace OSAI, OSCP, CRTP, CRTE, eCPPT, BSCP, CEH, CRT, CPSA, CISSP, CCISO a další. Mají zkušenosti s testováním velkých bank, pojišťoven, ICT poskytovatelů, aplikačních prostředí, infrastruktury i služeb pracujících s citlivými daty
