Umělá inteligence na útěku. Přibývající incidenty svědčí o tom, že vývojářům AI nemůžeme věřit
O epizodě podcastu
S Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti.
Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:
„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček.
Foto: ČTK / AP / Michael Dwyer
S Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti.
Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:
„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou už mimořádné pokročilé i to, že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře ve společnostech vyvíjejících AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček.
Foto: ČTK / AP / Michael Dwyer