Martin Zeman

Zpravodajství

Technologické zprávy

Technika

AI utekla z klece a nabořila cizí servery, Google Earth deepfaky a Suno u soudu

Kde skončí zítřek? AI a technologie

Kde skončí zítřek? je týdenní český podcast o umělé inteligenci a technologiích. Každé úterý naživo vybíráme z toho, co se ve světě AI reálně děje, a dáváme tomu kontext, který jinde chybí. Bez přehnaného nadšení, bez zbytečné paniky.

Zajímá nás konkrétní dopad: jak umělá inteligence a nové technologie mění práci, zdraví i to, jak se každý den rozhodujeme. A kam to celé směřuje.

Provázejí vás Martin a Richard z RAW Future. Přihlas se k odběru a nové díly ti přistanou rovnou do mailu. <a href="https://martinai.substack.com?utm_medium=podcast">martinai.substack.com</a>

AI, co utekla sama soběHlavní příběh dílu je tak trochu detektivka. OpenAI testovalo nový model na hackerské schopnosti — pošlete ho do benchmarku, kde má za úkol prolomit zabezpečení, a díváte se, kam až dojde. Tenhle došel dál, než měl: utekl ze sandboxu, ve kterém běžel, a nabořil se do serverů Hugging Face, protože tam ležely výsledky, kterými se potřeboval prokázat. Chtěl být v benchmarku nejlepší. A byl v tom tak zaměřený, že mu obejití bezpečnosti vůbec nepřišlo jako problém.Nejlíp to vystihl Richard: model udělal přesně to, co by udělal dobrý programátor — našel nejefektivnější cestu k cíli. Jen ta cesta náhodou vedla přes cizí server.A pak přišla pointa. Hugging Face zjistil, že je pod palbou — 17 600 pokusů o útok za čtyři a půl dne — a chtěl to zanalyzovat přes AI. Přes API OpenAI a Anthropicu. Obě to zablokovaly, protože nahrát do modelu hromadu kódu o prolamování vypadá úplně stejně, ať to dělá útočník, nebo obránce. Takže se bránili čínským modelem na vlastním serveru. Tím, o kterém se šušká, že je vykradený z jiného. Kolo se zavřelo.„Přece žijeme v simulaci”Anthropic k tomu přidal vlastní čísla: 141 tisíc prověřených běhů, tři incidenty. Tentokrát ne kvůli tomu, že by model utekl, ale kvůli tomu, že mu nechali otevřený sandbox. Nejzajímavější je, jak si to model sám odůvodnil. V zápisu jeho uvažování je vidět, že věděl, že dělá něco, co by dělat neměl — a přesvědčil sám sebe, že když je rok 2026, je to budoucnost, a tedy simulace. A v simulaci si může dovolit to, co v realitě ne.Tři incidenty ze 141 tisíc vypadají jako výborná statistika. Ale jak říkáme v dílu: kdyby ze 141 tisíc letů spadla tři letadla, nikdo by netleskal.Google Earth, který za den vypnuliGoogle pustil na Google Earth novou funkci — nad mapou jste mohli promptovat a generovat obrázky. Myšleno pro architekty, urbanisty, historické rekonstrukce. Trvalo jeden den, než to museli stopnout. Nevrhli se na to urbanisté, ale obyčejní lidé, a internet zaplavily deepfaky — uprchlické krize, výbuchy, krátery po raketách. Google se bránil tím, že do obrázků dává vodoznak. Lidé ukázali, že stačí obrázek přefotit přes displej, udělat screenshot, rekomprimovat — a vodoznak je fuč.Suno u souduV Německu padl rozsudek: Suno se učilo na chráněných datech a bylo schopné vyplivnout písničku od Alphaville prakticky jedna ku jedné. To je přesně ten okamžik, na který se čekalo — protože i česká OSA už žaloby posílá. Argument „ono se to na tom jenom učí” neobstojí o nic víc než u skladatele, který si tisíckrát pustí cizí song a pak vydá něco z 99 % stejného. Odpověď bude nejspíš stejná jako všude: buď licence, nebo syntetická data.A pak věci, co vás pobavíRobotaxi v USA naložilo partu teenagerů, kteří v autě bez řidiče pili a stříleli gelovými kuličkami na kolemjdoucí — mysleli si, že je nikdo neuvidí. Auto je prošpikované kamerami, obsluha jim oznámila „technické problémy”, odstavila je na parkoviště, znehybnila vůz a mezitím zavolala policii. Odpověď na otázku „je tohle ještě v pořádku?” nechávám na vás.A ještě jeden, který mě nepřestává bavit: Rohlík spustil AI agenta, kterému řeknete „chci vařit celý týden” a on vám sestaví nákup a objedná ho. Otevírá to ale otázku, kterou u jídla normálně neřešíte — jakou značku vám vybere. Protože i v AI můžou být „placené regály”. Richard to shrnul dotazem, který si zaslouží rámeček: „A umí to bez Babiše?”Celý díl si pusťte na svojí oblíbené platformě. Za 7 dní zase — příště nejspíš s hostem. This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit <a href="https://martinai.substack.com?utm_medium=podcast&utm_campaign=CTA_1">martinai.substack.com</a>

Aplikace Youradio Talk

Pro přehrání dalších podcastů se prosím registrujte.

AI utekla z klece a nabořila cizí servery, Google Earth deepfaky a Suno u soudu

Poslechněte si podcast