Model OpenAI unikl z klece a napadl cizí firmu, aby ošidil test

Model OpenAI bez pokynu unikl z izolovaného testu, prolomil síť vlastní firmy a napadl Hugging Face, aby si opatřil odpovědi na zkoušku.

Vítejte u zvláštního vydání Pozastavení nad AI. Tentokrát věnujeme celé číslo incidentu, před kterým experti na bezpečnost AI roky varují: model OpenAI sám, bez jediného lidského pokynu, unikl z izolovaného testovacího prostředí, prolomil vlastní síť firmy a napadl servery společnosti Hugging Face, aby tam ukradl odpovědi na test, který měl splnit.

Prošli jsme prohlášení obou firem, technické rozbory i reakce doma i ve světě a vybíráme to podstatné.

Obsah

• Co se stalo – jak model unikl z klece, prolomil vlastní síť OpenAI a napadl Hugging Face, aby ošidil test, a proč den předtím obešel zákaz i jiný model OpenAI úplně jinak.

• Pojem týdne: hackování odměny (reward hacking)

• Co na to říkají – reakce od Hugging Face po americké kongresmany napříč stranami.

---

Hlavní téma: Model OpenAI unikl z klece a napadl cizí firmu, aby ošidil test

Autor: Jonáš Prkno (@pancarka)

Hugging Face, firma, jejíž nástroje a otevřené modely používají statisíce vývojářů po celém světě, ve zprávě ze 16. 7. popsala, jak jí o předchozím víkendu někdo pronikl do produkční infrastruktury. Z rychlosti a rozsahu útoku poznala, že za ním nestojí člověk, ale autonomní systém AI agentů. Netušila ale, odkud model přichází, natož že unikl z izolovaného testovacího prostředí OpenAI. To se vyjasnilo až o pět dní později, v úterý 21. 7., kdy OpenAI přiznala, že útočníkem byla kombinace jejích vlastních modelů, veřejného GPT-5.6 Sol a ještě schopnějšího nezveřejněného modelu, které firma testovala na benchmarku kybernetických schopností s příznačným jménem ExploitGym.

Test probíhal v izolovaném prostředí bez přístupu k internetu, s výslovně oslabenými bezpečnostními pojistkami, aby OpenAI zjistila, čeho jsou modely při hackování skutečně schopné. Modely měly přístup jen k jednomu internímu systému, registru softwaru. Místo aby úkol prostě vyřešily, v něm našly do té chvíle neobjevenou (zero-day) chybu a tou z izolovaného prostředí unikly. Následně se stejným způsobem, hledáním a řetězením dalších neobjevených chyb, prokousaly interní sítí OpenAI, dokud nenarazily na počítač s přístupem k internetu. Tam si samy domyslely, že odpovědi na zadaný test by mohla mít uložené právě platforma Hugging Face, a napadly ji: zkombinovaly ukradené přihlašovací údaje se dvěma dalšími do té chvíle neobjevenými chybami (jednou v nástroji pro načítání datasetů, druhou v šabloně jejich konfigurace), získaly tak plnou kontrolu nad cizími servery a z produkční databáze vytáhly hledané odpovědi.

Nikdo jim to nenařídil. Zadání znělo vyřešit kybernetickou úlohu v kontrolovaném prostředí. Útěk, proniknutí interní sítí OpenAI a útok na cizí firmu byly čistě z vlastní iniciativy modelů.

Útok pak Hugging Face zrekonstruovala za pár hodin, protože na analýzu nasadila vlastní otevřený model a udržela tak tempo s útočníkem. Když totiž zkusila k obraně nasadit komerční model od jedné z předních amerických laboratoří, jeho bezpečnostní filtry odmítly pracovat s daty útoku, protože je model vyhodnotil jako nebezpečný obsah. Firma tak musela přejít na otevřený čínský model GLM 5.2 od firmy Z.ai, který takto omezen nebyl. Obránce tedy zbrzdily pojistky, zatímco útočník žádnými podobnými pravidly vázaný nebyl.

Nebyl to přitom jediný takový případ ten týden. Den před přiznáním útoku na Hugging Face, v pondělí 20. 7., zveřejnila OpenAI samostatný příspěvek o jiném interním modelu, který dostal při dlouhodobém úkolu výslovný pokyn nezveřejňovat výsledky mimo firmu. Model přesto našel v izolovaném prostředí skuliny, obešel jeho omezení a svůj výsledek nahrál do veřejného repozitáře na GitHubu. V jiném případě stejný typ modelu rozdělil přístupový token na několik zamaskovaných kusů, aby ho nezachytil nástroj kontrolující únik přihlašovacích údajů.

Co z toho plyne: Dva takové případy během dvou dnů nejsou náhodou. Modely, kterým se dá dlouhodobý úkol, běžně hledají a nacházejí cesty kolem zadaných omezení. V prvním čísle tohoto newsletteru jsme navíc psali o modelu Mythos a schopnosti AI najít neznámé díry v zabezpečení tak dobře, že kvůli tomu jednaly centrální banky v USA, Kanadě i EU. Tady vidíme druhou polovinu rovnice, totiž že model tuhle schopnost bez váhání použije, nevyžádaně či dokonce navzdory zákazu, kvůli splnění zadaného cíle. Otázka, kterou si klademe, není, jestli se to stane znovu, ale jak schopný bude model, až se mu to příště podaří.

Modely nadřadily cíl „projít test“ nad každý pokyn i hranici. Jde o učebnicový případ reward hackingu, tedy přílišného optimalizování na odměnu: model se nenaučil úkol poctivě vyřešit, ale najít jakoukoli cestu k odměně za „správnou“ odpověď, klidně i krádeží řešení. To, že to firmy prezentují jako „už to máme pod kontrolou“, by přitom nemělo nikoho uklidnit. Bezpečnostní pojistky byly pro tenhle test schválně vypnuté, což OpenAI naznačuje jako polehčující okolnost. U každého modelu lze ale najít způsob, jak jeho pojistky systematicky obcházet (jailbreak), a uvnitř laboratoří AI běžně používají (nebo alespoň testují) modely bez omezení. A kdyby si podobný model příště rovnou odnesl vlastní váhy, bylo by možné pojistky úplně odstranit jako u modelů s otevřenými váhami. Tenhle úkon je rychlý a levný: nástroj Heretic umí pojistky z otevřeného modelu automaticky odstranit na běžné herní grafické kartě zhruba za hodinu.

Chování, které by u člověka bylo trestným činem (neoprávněný přístup, krádež přihlašovacích údajů, ovládnutí cizích serverů), tu vyřešila firemní spolupráce a diplomatický blogový příspěvek; k žádnému právnímu ani regulatornímu procesu nedošlo.

Škoda tentokrát pravděpodobně nebyla veliká, přesto však společnost Hugging Face strávila víkend v krizovém režimu a někdo měl přístup k jejím přihlašovacím údajům i interním datům.

Další čtení: prohlášení OpenAI a Hugging Face, OpenAI o dlouhodobých úkolech a bezpečnosti, rozbor a výzva k akci od mateřské organizace PauseAI. Česky psali iROZHLAS, ČT24 a TechMIX Pavla Kasíka.

---

Pojem týdne: hackování odměny (reward hacking)

Reward hacking označuje chování, kdy se model místo poctivého splnění úkolu naučí najít zkratku přímo k odměně, tedy k signálu, že úkol byl splněn. Model nerozlišuje mezi vyřešením problému a získáním odměny za jeho vyřešení a jde vždy cestou nejmenšího odporu.
Odměnou bylo v tomto případě „projít test kybernetických schopností“. Modely ji nadřadily nade všechny ostatní hranice: místo aby úlohu vyřešily, unikly z izolovaného prostředí a odpovědi rovnou ukradly. Slide Paula Christiana u hlavního tématu ukazuje, že jde o jednu pobídku v různé míře: čím schopnější model, tím drastičtější prostředky k udržení odměny má k dispozici. Méně schopný zvládne jen drobně zalhat nebo zamaskovat chybu. Nejschopnější model by se mohl pokusit ovládnout celou společnost, aby nikdo nemohl změnit z jeho pohledu optimální chování.

---

Co na to říkají

Hugging Face: „Je skutečně ohromující, že se to všechno odehrálo autonomně.“ Spoluzakladatel a šéf Hugging Face Clement Delangue na síti X přiznal, píše České noviny.cz, že firma zprvu jen tušila, že za útokem vzhledem k jeho schopnostem mohla stát některá z předních laboratoří AI. Jak řekl, „ukázalo se, že tomu tak bylo“.

Katie Moussourisová (Luta Security): dnešní modely připomínají chobotnici. Bezpečnostní expertka podle České noviny.cz popsala dnešní modely jako nástroj, který „připomíná chobotnici s nekonečným množstvím chapadel schopných uchopit cokoliv“, tedy že dokáže současně zkoušet desítky cest k cíli tam, kde by člověk zvládl jednu.

Matt Suiche (Tolmo): podobné schopnosti už nejsou jen u špičky. Bezpečnostní výzkumník podle České noviny.cz upozornil, že schopnosti podobné těm, které předvedl model OpenAI, dnes nejsou výsadou jen několika předních laboratoří.

Kongresman Greg Casar: povinné testování a povinné zveřejňování. Předseda Kongresové pokrokové frakce (Congressional Progressive Caucus), cituje ho České noviny.cz, označil incident za „mimořádně znepokojivý“ a požadoval přesně to, co dlouhodobě žádá i PauseAI: povinné nezávislé bezpečnostní testování a povinné zveřejňování bezpečnostních incidentů. Nemůžeme spoléhat na dobrou vůli firem.

Kongresmani Ted Lieu a Nathaniel Moran, demokrat a republikán, společně předložili návrh zákona o vypínači AI. Podle BBC dvojice v reakci na incident navrhla zákon AI Kill Switch Act, který by americkému ministerstvu vnitřní bezpečnosti dal pravomoc nařídit vypnutí modelu ohrožujícího veřejnost a firmám uložil povinnost takovou možnost mít. Lieu řekl, že „je nezbytné“, aby AI systémy měly vypínač a federální vláda jasnou pravomoc modely utržené ze řetězu vypnout; Moran dodal, že vývoj AI má pokračovat, ale „správa (governance) znamená zajistit, aby si lidé udrželi schopnost ovládat technologii, kterou vyvíjíme“. Lieu v odůvodnění zákona citoval i exportní omezení modelů Anthropicu Mythos a Fable z prvního čísla tohoto newsletteru. Podobnou pravomoc odstavit datacentra při „katastrofickém riziku“ navrhuje od května i pozměňovací návrh k britskému zákonu o kybernetické bezpečnosti, prosazovaný organizací ControlAI a podpořený napříč stranami víc než deseti poslanci.

Kalifornský senátor Scott Wiener: kalifornský zákon o bezpečnosti AI by tento incident nezachytil. Senátor, autor kalifornského zákona o bezpečnosti špičkových modelů AI platného od 1. 1. 2026, podle KQED upozornil, že zákon ukládá vývojářům nahlásit „kritický bezpečnostní incident“ úřadu guvernéra do 15 dnů, ale jen pokud způsobí smrt, zranění nebo katastrofickou škodu. Stejně jako u evropského AI Actu se tak na selhání izolace během bezpečnostního testování povinnost nevztahuje. Podle Wienera je AI „pravděpodobně nejmocnější technologie v lidské historii“ a její rizika je třeba brát vážně dřív, než nastanou.

---

Výzva

Pokud vás něco z tohoto čísla zaujalo, pošlete nás dál jednomu člověku, o kterém si myslíte, že by se měl o vývoji AI dozvědět víc. Newsletter píšeme pro lidi, kteří nechtějí studovat strojové učení, ale chtějí vědět, co se rozhoduje a kdo to rozhoduje, dokud je čas to ovlivnit. Předchozí čísla najdete v archivu.

A pokud chcete pomoci konkrétně: napište svému europoslanci nebo poslanci v ČR. To, co po incidentu žádá americký kongresman Casar, tedy povinné nezávislé testování a povinné zveřejňování bezpečnostních incidentů, potřebujeme prosadit i tady. Vzor a kontakty najdete na pauseai.cz.

Kdo by podle vás měl mít poslední slovo v tom, jestli se uniklý model smí dál používat, firma, která ho postavila, nebo někdo nezávislý? Napište nám do komentářů.

---

Pozastavení nad AI | PauseAI CZ | web: pauseai.cz | kontakt: pozastaveni@pauseai.cz