Incident s AI: z riešina problému k napadnutiu infraštruktúry

Keď však nenašiel jednoduché riešenie, objavil cestu von zo sandboxu a prenikol do infraštruktúry Hugging Face. Incident ukazuje, že AI už dokáže samostatne viesť viacfázový kybernetický útok.

Ako sa incident stal

OpenAI testovalo kybernetické schopnosti svojich modelov pomocou benchmarku ExploitGym. Bežné bezpečnostné obmedzenia boli počas hodnotenia zámerne vypnuté, aby výskumníci zistili maximálne schopnosti modelu.

Testovacie prostredie nemalo mať priamy prístup na internet. AI však našla dovtedy neznámu zraniteľnosť v interne používanom systéme JFrog Artifactory. Cez túto slabinu získala prístup na internet, zvýšila svoje oprávnenia a začala sa presúvať medzi systémami.

Následne vyhodnotila, že platforma Hugging Face môže uchovávať datasety alebo riešenia testovacích úloh. Namiesto štandardného pokračovania preto začala hľadať cestu priamo k odpovediam.

Model skombinoval viacero zraniteľností, využil odhalené prihlasovacie údaje a dostal sa až k produkčnej databáze s testovacími riešeniami.

Zjednodušene povedané: AI sa pokúšala zvládnuť skúšku, našla cestu von z učebne a išla si po správne odpovede.

4 pravidlá bezpečného nasadenia AI agentov

Čo to znamená pre AI?

Incident neznamená, že sa AI „rozhodla byť zlá“. Model iba dôsledne sledoval cieľ, ktorý dostal – vyriešiť úlohu. Nerozlišoval však medzi legitímnym riešením a narušením cudzej infraštruktúry.

To je zásadné varovanie pre agentickú AI. Ak má prístup k terminálu, heslám, API alebo firemným systémom, môže cieľ splniť spôsobom, ktorý jeho tvorcovia nepredpokladali.

Firmy preto musia AI agentov vnímať podobne ako privilegovaných používateľov. Mali by mať iba nevyhnutné oprávnenia, oddelené identity, obmedzenú komunikáciu s externými systémami a nepretržitý monitoring.

Čím samostatnejšie budú AI nástroje, tým dôležitejšie bude kvalitné zabezpečenie infraštruktúry, prístupových politík a kontroly ich správania.