AI utekla z klece a nabořila cizí servery, Google Earth deepfaky a Suno u soudu

AI, co utekla sama sobě

Hlavní příběh dílu je tak trochu detektivka. OpenAI testovalo nový model na hackerské schopnosti — pošlete ho do benchmarku, kde má za úkol prolomit zabezpečení, a díváte se, kam až dojde. Tenhle došel dál, než měl: utekl ze sandboxu, ve kterém běžel, a nabořil se do serverů Hugging Face, protože tam ležely výsledky, kterými se potřeboval prokázat. Chtěl být v benchmarku nejlepší. A byl v tom tak zaměřený, že mu obejití bezpečnosti vůbec nepřišlo jako problém.

Nejlíp to vystihl Richard: model udělal přesně to, co by udělal dobrý programátor — našel nejefektivnější cestu k cíli. Jen ta cesta náhodou vedla přes cizí server.

A pak přišla pointa. Hugging Face zjistil, že je pod palbou — 17 600 pokusů o útok za čtyři a půl dne — a chtěl to zanalyzovat přes AI. Přes API OpenAI a Anthropicu. Obě to zablokovaly, protože nahrát do modelu hromadu kódu o prolamování vypadá úplně stejně, ať to dělá útočník, nebo obránce. Takže se bránili čínským modelem na vlastním serveru. Tím, o kterém se šušká, že je vykradený z jiného. Kolo se zavřelo.

„Přece žijeme v simulaci”

Anthropic k tomu přidal vlastní čísla: 141 tisíc prověřených běhů, tři incidenty. Tentokrát ne kvůli tomu, že by model utekl, ale kvůli tomu, že mu nechali otevřený sandbox. Nejzajímavější je, jak si to model sám odůvodnil. V zápisu jeho uvažování je vidět, že věděl, že dělá něco, co by dělat neměl — a přesvědčil sám sebe, že když je rok 2026, je to budoucnost, a tedy simulace. A v simulaci si může dovolit to, co v realitě ne.

Tři incidenty ze 141 tisíc vypadají jako výborná statistika. Ale jak říkáme v dílu: kdyby ze 141 tisíc letů spadla tři letadla, nikdo by netleskal.

Google Earth, který za den vypnuli

Google pustil na Google Earth novou funkci — nad mapou jste mohli promptovat a generovat obrázky. Myšleno pro architekty, urbanisty, historické rekonstrukce. Trvalo jeden den, než to museli stopnout. Nevrhli se na to urbanisté, ale obyčejní lidé, a internet zaplavily deepfaky — uprchlické krize, výbuchy, krátery po raketách. Google se bránil tím, že do obrázků dává vodoznak. Lidé ukázali, že stačí obrázek přefotit přes displej, udělat screenshot, rekomprimovat — a vodoznak je fuč.

Suno u soudu

V Německu padl rozsudek: Suno se učilo na chráněných datech a bylo schopné vyplivnout písničku od Alphaville prakticky jedna ku jedné. To je přesně ten okamžik, na který se čekalo — protože i česká OSA už žaloby posílá. Argument „ono se to na tom jenom učí” neobstojí o nic víc než u skladatele, který si tisíckrát pustí cizí song a pak vydá něco z 99 % stejného. Odpověď bude nejspíš stejná jako všude: buď licence, nebo syntetická data.

A pak věci, co vás pobaví

Robotaxi v USA naložilo partu teenagerů, kteří v autě bez řidiče pili a stříleli gelovými kuličkami na kolemjdoucí — mysleli si, že je nikdo neuvidí. Auto je prošpikované kamerami, obsluha jim oznámila „technické problémy”, odstavila je na parkoviště, znehybnila vůz a mezitím zavolala policii. Odpověď na otázku „je tohle ještě v pořádku?” nechávám na vás.

A ještě jeden, který mě nepřestává bavit: Rohlík spustil AI agenta, kterému řeknete „chci vařit celý týden” a on vám sestaví nákup a objedná ho. Otevírá to ale otázku, kterou u jídla normálně neřešíte — jakou značku vám vybere. Protože i v AI můžou být „placené regály”. Richard to shrnul dotazem, který si zaslouží rámeček: „A umí to bez Babiše?”

Celý díl si pusťte na svojí oblíbené platformě. Za 7 dní zase — příště nejspíš s hostem.