Respekt

Zpravodajství

Zpravodajské komentáře

Umělá inteligence na útěku. Přibývající incidenty svědčí o tom, že firmám vyvíjejícím AI nemůžeme věřit

Zeitgeist

Svět je stále složitější a dění překotnější. Podcast Zeitgeist vám pomůže se v něm lépe vyznat a z odstupu rozlišit podstatné posuny od méně důležité pěny dní. Každé úterý nabídne redakční analýzy globálního dění, rozhovory s pozoruhodnými hosty i rozbor trendů, které formují naši budoucnost napříč světadíly. Připravuje a moderuje Štěpán Sedláček.

S Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti. Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a  že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček. Foto: ČTK / AP / Michael Dwyer

Zeitgeist #37 s Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti. Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a  že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček. Vybrané zdroje a doporuční na další čtení:Vytvářejí superinteligenci a připravují se na moment, kdy se jejich vynález pokusí zničit lidstvo (Nicolas Killian, Die Zeit, přel. Respekt)https://www.respekt.cz/technologie/vytvareji-superinteligenci-a-pripravuji-se-na-moment-kdy-se-jejich-vynalez-pokusi-znicit-lidstvoTechnická zprává o incidentu HUgging Face od OpenAI (26. 8. 2026)https://openai.com/cs-CZ/index/hugging-face-incident-and-the-road-ahead/Analýza od METR a Redwood Research (26. 8. 2026)https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/Výzva vývojářů LLMshttps://www.pacingthefrontier.com/https://ai-2040.com/Preliminary Report of the Independent International Scientific Panel on AI: Evidence-based assessment of opportunities, risks and impacts of AI (OSN červenec 2026)https://www.un.org/independent-international-scientific-panel-ai/en/preliminary-report Foto: ČTK / AP / Michael Dwyer

Aplikace Youradio Talk

Umělá inteligence na útěku. Přibývající incidenty svědčí o tom, že firmám vyvíjejícím AI nemůžeme věřit

Poslechněte si podcast