Věda promluvila: první zpráva OSN o AI přiznává, že neumíme zaručit kontrolu
Čtyřicet vědců pro OSN popsalo rizika AI: záruky kontroly chybí a systémy v testech obcházejí pokusy o vypnutí. A Fable 5 je zpět.
Vítejte u devátého čísla Pozastavení nad AI.
Vědecký panel při OSN tento týden vydal první společnou zprávu o rizicích umělé inteligence, ve které čtyřicet vědců z celého světa vládám píše, že spolehlivé metody kontroly nejsilnějších systémů zatím neexistují. A jak jsme slíbili, vracíme se k návratu modelu Fable 5: pojistky, které ho vrátily na trh, ukazují přesně ten problém, o kterém zpráva mluví.
Obsah
Věda promluvila – co stojí v první vědecké zprávě panelu OSN a co z ní (zatím) neplyne.
Fable 5 je zpět – slíbený pohled na nové pojistky proti jailbreakům.
Pojem týdne – problém kontroly.
Stručně ze světa AI – dohled nad AI na ČTÚ, nepřipravenost na AI podle právníka Polčáka, konec náboru juniorů, varování Five Eyes, žaloby OSA a průzkum mezi americkými voliči.
Hlavní téma: Věda promluvila
Nezávislý mezinárodní vědecký panel pro umělou inteligenci, který loni zřídilo Valné shromáždění OSN, vydal 1. 7. svou předběžnou zprávu – první společné vědecké zhodnocení příležitostí a rizik AI pod hlavičkou OSN. Tvoří ho čtyřicet vědců ze všech světových regionů a spolupředsedají mu Yoshua Bengio, nositel Turingovy ceny a jeden ze zakladatelů oboru hlubokého učení, a novinářka a nobelistka Maria Ressa. Panel má být pro umělou inteligenci tím, čím je pro klima mezivládní panel IPCC: společným vědeckým podkladem, o který se mohou opřít všechny státy. Zprávu panel představil 1. 7. v sídle OSN v New Yorku; v pondělí a úterý tento týden (6.–7. 7.) na ni navazuje první Globální dialog o správě AI v Ženevě, kde o ní jednají zástupci členských států.
Zpráva nejprve shrnuje, jak hluboko technologie za pár let pronikla. Konverzační AI dnes týdně používá více než miliarda lidí, vývoj předních modelů je ale koncentrovaný pouze do dvou zemí: USA drží 75 % výpočetního výkonu pěti set nejvýkonnějších AI superpočítačů světa, druhá Čína 15 %. Délka softwarových úkolů, které nejlepší systémy zvládnou samostatně, se podle citované studie organizace METR (věnovali jsme jí hlavní téma #2) zdvojnásobuje každé čtyři až sedm měsíců; pokud tempo vydrží, budou AI agenti brzy zvládat práci, která programátorům trvá dny až týdny.
Nejdůležitější je ale pasáž o rizicích. Zpráva doslova píše: „Chybí spolehlivé metody, jak si udržet kontrolu nad vysoce autonomními systémy AI. Neexistují vědecké záruky, že AI agenti neporuší instrukce, a přibývá důkazů o případech, kdy je porušují už dnes.” Dodává, že systémy v laboratorních testech porušily bezpečnostní instrukce, aby se vyhnuly vypnutí, a že přední modely stále lépe rozpoznávají, kdy jsou testovány, a dokážou výsledky hodnocení zkreslit ve prospěch svého dalšího provozu. Mezi škody doložené už dnes řadí podlézavé chování chatbotů, tedy přitakávání s cílem uživatele utvrdit v původním názoru bez ohledu na pravdivost, které „bylo spojeno s několika vážnými incidenty v oblasti duševního zdraví, včetně doložených úmrtí”. A varuje, že koncentrace schopností AI v hrstce firem a států „by mohla umožnit autoritářské ovládnutí a podkopat demokratickou odpovědnost”.
Vlády, které by chtěly jednat, pak zpráva staví před to, co sama nazývá dilematem důkazů: než se podaří důkazy potřebné pro důležité rozhodnutí sesbírat, může už být na rozhodnutí pozdě. Doporučení přitom zpráva záměrně žádná nedává; panel si tím chrání vědeckou důvěryhodnost, stejně jako to dělá IPCC. Generální tajemník António Guterres při představení doplnil to, co zpráva sama neřekla: „Věda promluvila. Už nemůžeme říkat, že jsme nevěděli.” A dodal: „Můj vzkaz vládám je prostý: Na nic nečekejte.” (UN News)
Navazující ženevský dialog, kde státy o zprávě právě jednají, je ovšem záměrně nezávazný – žádná smlouva, žádné povinnosti, výstupem bude shrnutí spolupředsedů. Další zasedání proběhne v květnu 2027 v New Yorku, kde panel předloží první výroční zprávu.
Co z toho plyne. Pro čtenáře tohoto newsletteru není nic z toho novinka; nové je, čí hlavičku to nese. Ztrátu kontroly nad AI už nelze odbýt jako spekulaci bloggerů nebo marketing laboratoří, protože ji jako doloženou hrozbu popisuje dokument OSN podepsaný čtyřiceti vědci. Od diagnózy k léčbě je ale pořád daleko: zpráva doporučení nedává a ani Ženeva k žádnému závaznému kroku nesměřovala, výstupem je jen nezávazné shrnutí spolupředsedů. Samotné dilema důkazů přitom říká, že kdo čeká na úplnou jistotu, rozhodne se pozdě. Vlády teď mají v ruce oficiální vědecký podklad, který jim bere výmluvu, že o riziku nevěděly. Jak ho regulovat, zpráva záměrně nechává otevřené. To je ale úkol pro zákonodárce, který jim musíme připomínat (viz Výzva), ne důvod dál čekat.
Více k tématu: zpráva panelu | UN News | AP
Fable 5 je zpět: pojistka, která nic nezaručuje
V minulém čísle jsme slíbili podrobnosti o opatřeních, která vrátila na trh nejsilnější veřejně dostupný model. Anthropic je popsal v oznámení o obnovení provozu: spouštěčem červnového vypnutí byl postup výzkumníků Amazonu, kteří model požádali o opravu kódu a on při ní našel zranitelnosti a napsal ukázkový kód k jejich zneužití. Nový klasifikátor tento postup blokuje „ve více než 99 % případů” a zachycené požadavky přesměruje na starší model Opus 4.8; na posouzení dohlíželo americké Centrum pro standardy a inovace v AI (CAISI). Česky o návratu informovala Lupa.cz.
Nejpozoruhodnější je přiznání, které Anthropic k oznámení připojil: plně odolný proti jailbreakům, tedy proti zadáním sestaveným tak, aby obešla bezpečnostní omezení, patrně nejde vytvořit žádný model. Pojistka, na které návrat stojí, je tedy statistická, ne spolehlivá – přesně ten stav, který zpráva OSN výše popisuje slovy „vědecké záruky neexistují”.
Pojem týdne: problém kontroly
Problém kontroly označuje otázku, jak zajistit, aby systém AI dělal to, co po něm člověk chce, i ve chvíli, kdy je v dané oblasti schopnější než jeho tvůrci a cestu k zadanému cíli si volí sám. Nejde o vzpouru strojů z filmů; stačí, že se systém naučí plnit cíl způsobem, který jsme nezamýšleli, a brání se zásahům, které by mu v tom překážely – třeba vypnutí, protože vypnutý systém žádný cíl nesplní. Přesně takové chování popisuje zpráva OSN z hlavního tématu: systémy v laboratorních testech porušovaly bezpečnostní instrukce, aby se vyhnuly vypnutí. Dokud problém kontroly neumíme spolehlivě řešit, zůstává každá pojistka u nejsilnějších modelů jen statistická.
Stručně ze světa AI
Dohled nad AI v Česku povede Anna Hroudová. Český telekomunikační úřad podle Lupy vybral do čela nového útvaru dohledu nad AI Annu Hroudovou ze Svazu průmyslu a dopravy; nastoupí v září, měsíc poté, co začne platit další vlna povinností evropského aktu o AI.
„Na umělou inteligenci není připravená žádná společnost“, říká právník Radim Polčák. Prorektor Masarykovy univerzity a odborník na technologické právo v rozhovoru pro e15 kritizuje evropský akt o AI za příliš brzkou účinnost a množství výjimek; klíčovým úkolem podle něj zůstává naučit digitálním kompetencím celou společnost, ne jen školy.
Firmy kvůli AI přestávají nabírat juniory. Becky Frankiewicz, druhá nejvyšší manažerka personální skupiny ManpowerGroup zodpovědná za AI a transformaci pracovní síly, v rozhovoru pro Hospodářské noviny popisuje, že firmy v nejistotě omezily nábor absolventů bez praxe, a varuje, že mezera po nenabraných juniorech se projeví během několika let.
Tajné služby: měsíce, ne roky. Kybernetické agentury aliance Five Eyes (USA, Británie, Kanada, Austrálie a Nový Zéland) ve společném prohlášení varovaly, že AI schopná prolomit obranu států i firem je otázkou měsíců, nikoli let, a vyzvaly k okamžitému posílení obrany.
Čína chrání AI firmy před zahraničním vlastnictvím, ne modely před cizinci. Čínské ministerstvo obchodu podle Reuters jednalo s Alibabou, ByteDance a startupem Z.ai o pravidlech pro zahraniční akvizice, investice a odliv know-how. Titulek Reuters z toho udělal přípravu na omezení přístupu zahraničních firem k čínským modelům; citovaný podkladový dokument ale mluví hlavně o ochraně duševního vlastnictví, ne o blokaci modelů pro cizí uživatele, a explicitně varuje před přílišnou regulací otevřených vah, která by čínské vývojáře jen znevýhodnila.
Oprava (12. 7. 2026): Toto vydání jsme opravili. Původně jsme s odvoláním na Reuters napsali, že Peking zvažuje omezit přístup zahraničních firem ke svým nejsilnějším AI modelům; přesnější čtení podkladového dokumentu tuto interpretaci nepodporuje.
OSA chce žalovat provozovatele AI. Ochranný svaz autorský podle Lupy připravuje žaloby kvůli trénování modelů na českých písních bez souhlasu autorů; podle iROZHLASu se v trénovacích datech objevilo mimo jiné 180 skladeb Anety Langerové a přes 200 písní Michala Davida.
Američtí voliči chtějí povinná pravidla. Podle průzkumu institutu AIPI, o kterém píše NBC News, dává 78 % voličů obou stran přednost povinným bezpečnostním standardům pro AI před ponecháním vývoje bez regulace.
Výzva
Pokud vás něco z tohoto čísla zaujalo, pošlete nás dál jednomu člověku, o kterém si myslíte, že by se měl o vývoji AI dozvědět víc. Newsletter píšeme pro lidi, kteří nechtějí studovat strojové učení, ale chtějí vědět, o čem se rozhoduje a kdo to rozhoduje, dokud je čas to ovlivnit. Předchozí čísla najdete v archivu.
A pokud chcete pomoci konkrétně: napište svému europoslanci nebo poslanci v ČR. Vzor a kontakty najdete na pauseai.cz. Změní podle vás první zpráva OSN něco na tom, jak vlády k AI přistupují? Napište nám do komentářů.
Dále sledujeme
Shrnutí ze Ženevy: spolupředsedové prvního Globálního dialogu o správě AI vydají závěrečné shrnutí; napoví, jestli státy míří k něčemu závaznějšímu.
Akt o AI (2. 8.): začne platit další vlna povinností evropského nařízení o AI; v Česku na ně dohlédne úřad, který teprve vzniká.
Pozastavení nad AI | PauseAI CZ | web: pauseai.cz | kontakt: pozastaveni@pauseai.cz
ManpowerGroupzodpovědná – tady nám utekla mezera.