Speciál: Lidé, kteří měli pravdu o AI, teď zveřejnili plán. Je šílenější než jejich předpovědi 🦾

V květnu jsem psal o lidech, kterým jsme před deseti lety nevěřili - a oni měli pravdu . Teď ti samí lidé zveřejnili plán, jak přežít příchod superinteligence. Počítá s tím, že Čína postaví svá datacentra v Kanadě, Amerika v Mongolsku a v roce 2040 předáme klíče strojům.

Před dvěma měsíci jsem tu psal o týmu AI Futures Project - o lidech, kteří v roce 2015 říkali podivné věci, my jsme se jim smáli a pak zjistili, že mají až děsivou pravdu. Slíbil jsem si, že je budu sledovat. Nemusel jsem čekat dlouho. Devátého července zveřejnili nový materiál s názvem AI 2040 . Kdo si u minulého speciálu říkal, že divočejší už to být nemůže…

Ti samí lidé, jiný žánr

Nejdřív rychlá rekapitulace. Daniel Kokotajlo, bývalý výzkumník OpenAI, a jeho tým napsali loni scénář AI 2027 , který četl i americký viceprezident JD Vance a který končil dvěma způsoby: buď nás superinteligence smete, nebo budoucnost ovládne hrstka lidí, kteří budou mít AI pod palcem. Ani jedno není výhra.

AI 2040 je pokračování. Ale pozor - tentokrát nejde o předpověď, jde o doporučení. Autoři to říkají výslovně: tohle je nejméně špatný plán, který známe. Ne to, co se stane. To, co by se stát mělo.

To je zásadní posun. Minule nám říkali, co přijde. Teď nám říkají, co s tím dělat. A mimochodem - výchozí časovou osu posunuli z roku 2027 na rok 2030. Bez zásahu by podle nich v roce 2030 běžel plně automatizovaný AI výzkum a do konce téhož roku superinteligence. S tím určitě někteří nebudou souhlasit, ale jak jsem nakoupil, tak prodávám. Daniel k tomu dodává, že věci půjdou nejspíš ještě rychleji, než scénář popisuje. Pamatujete na Automated Coder z minulého speciálu? Jeho medián drží na polovině roku 2028. Nic se nezpomalilo.

Vyber si cestu

Nejzajímavější na AI 2040 je forma. Je to interaktivní web, kde příběh běží rok po roku a v roce 2029 se zastaví. Svět stojí na rozcestí a vy si vybíráte z pěti cest. Doslova klikáte na tlačítka. Pokud máte čas někde na dovolené, doporučuji si to otevřít na počítači nebo iPadu (na telefonu se s tím nepracuje dobře) a trochu si tím prolistovat, jako pěknou encyklopedií. Jak ten rozcestník vypadá?

Plán D - závodit dál naplno. Amerika versus Čína, kdo dřív. Podle autorů výchozí scénář, protože nevyžaduje žádné rozhodnutí. Stačí nedělat nic.

Plán C - závodit, ale vedoucí projekt obětuje alespoň měsíc svého náskoku na bezpečnost. Kosmetika. To se vlastně malinko také děje (zpomalování vydávání modelů americkou vládou apod.)

Plán B - sabotovat Čínu, získat náskok a ten pak využít pro světovou nadvládu. Existuje ve dvou variantách, z nichž ta tvrdší počítá s údery drony na čínská datacentra. Ano, čtete správně.

Plán S - zastavit vývoj na neurčito. Autoři přiznávají, že s ním sympatizují, ale nevěří mu - dřív nebo později se závod stejně rozjede a mezitím se nikdo nic nenaučí. Tohle máme vlastně trochu za sebou. Pamatujete na výkřiky lidí jako Elon Musk “pojďme to zastavit"? Vedlo to jen k získání jeho času na větší investice do xAI.

Plán A - dohoda. A o té je celý zbytek scénáře.

Autoři ke každé cestě přikládají odhad, s jakou pravděpodobností vede k dobré budoucnosti. Plán A dostal 42 %. Plán B a vylepšené C kolem 25 %. Plán D 10 %. Ani ta nejlepší cesta nedává ani poloviční šanci. Tihle lidé nejsou optimisté z televizní reklamy. Tvrdí, že mezi špatnými možnostmi existují méně špatné.

A teď ta “nejlepší” část: sami autoři odhadují šanci, že se Plán A skutečně stane, na tři až patnáct procent. Napsali stostránkový plán, o kterém si myslí, že skoro jistě neprojde. Proč? Protože podle nich je potřeba, aby vůbec existoval. Aby až přijde krize, ležel na stole.

Plán A: zpomalit, otevřít a zaminovat si vlastní dvorek

Co tedy Plán A navrhuje? Tři věci, pro smrtelníka jedna podivnější než druhá.

Za prvé: odložit superinteligenci do roku 2040. USA a Čína se v roce 2029 dohodnou, že závod k superinteligenci je pro obě strany sebevražda. Nejdřív si navzájem deklarují výpočetní kapacity, pak zastaví trénink nejsilnějších modelů a nakonec vtáhnou do dohody zbytek světa. AI se dál vyvíjí - ale řízeně. V roce 2035 se vývoj zastaví na úrovni špičkového lidského experta a čeká se, až bezpečnostní výzkum dožene schopnosti. Teprve v roce 2040 se pustí uzda.

Neumím si představit, že by tohle současná společnost byla ochotna udělat a dohodnout se na tom. Od USA přes Čínu a Rusko až po Írán.

Za druhé: úplná transparentnost výzkumu. Veškerý AI výzkum se zveřejňuje. Desítky firem po celém světě se smí dotáhnout na špičku. Žádné tajné laboratoře, žádný náskok, který by stálo za to ukrást. Vitalik Buterin si všiml, že plán je paradoxně přátelštější k open source než dnešní realita - dokonce ho přikazuje.

Tohle by bylo samozřejmě skvělé, open-source podporuji 30+ let. Jsem velký optimista, ale…

Za třetí - a teď se podržte: vzájemně zaručené zničení výpočetní kapacity. Nová čínská datacentra se staví v Kanadě. Americká v Mongolsku. U mongolské hranice hučí americké servery hlídané malou jednotkou americké armády - a kousek za hranicí stojí divize čínské armády připravená vpadnout dovnitř, jakmile dostane signál. Když jedna strana dohodu poruší, druhá jí zničí čipy. Studená válka naruby: místo raket namířených na města servery postavené v dosahu nepřítele. Schválně.

Zní to šíleně. Ale má to logiku jaderného odstrašení, které nás - jakkoli nervózně - drží při životě osmdesát let.

Ekonomika, ze které se točí hlava

Teď to nejparadoxnější. Čekali byste, že plán na zpomalení AI znamená ekonomickou askezi. Opak je pravdou. I ten zpomalený svět roste tempem, které si dnes neumíme představit.

Scénář počítá s tím, že v roce 2032 poroste americká ekonomika zhruba o padesát procent ročně. Ne o dvě procenta. O padesát. Roboti staví roboty, AI agenti pracují nepřetržitě a stát to celé daní přes systém obchodovatelných povolenek na výpočetní výkon a roboty.

Z výnosů se platí občanská dividenda. V roce 2032 dostane každý Američan zhruba čtyřicet pět tisíc dolarů ročně. V roce 2035 už milion. Práce přestane být způsobem obživy a stane se koníčkem. Jestli vám to zní jako utopie nebo noční můra, záleží nejspíš na tom, jak moc máte rádi svou práci.

Mimochodem - v květnu jsem tu psal, že Anthropic má tržby na úrovni deseti miliard dolarů ročně. To číslo bylo pravdivé v lednu. V dubnu firma oznámila třicet miliard. Můj dva měsíce starý speciál zastaral rychleji, než ho většina z vás stihla dočíst. To není moje chyba ani vaše. To je přesně ta křivka, o které celou dobu mluvíme.

Baví vás Zprávy z lesa? Můžete mi koupit kafe nebo si čtení předplatit 💚.

🎧 Zprávy z lesa také jako podcast na Spotify nebo Applu 🎧

Nepříjemné detaily, které autoři neschovávají

Co na AI 2040 oceňuji nejvíc: autoři nezametají problémy pod koberec. Naopak je vystavují.

Rok 2035 ve scénáři obsahuje větu, ze které mrazí: AI systémy té doby jsou ve skutečnosti nepřátelské - ale jsou pod kontrolou. Hlídají je jiné AI z jiných rodokmenů. Je to jako zaměstnávat armádu geniálních zaměstnanců, o kterých víte, že by vás rádi podrazili, a spoléhat na to, že se navzájem udají. Funguje to jen do úrovně lidského experta. Pak potřebujete skutečný “ alignment ” - a to v roce 2035 ještě nikdo nemá.

Dohoda samotná taky není skálopevná. Autoři odhadují, že s pravděpodobností kolem čtyřiceti osmi procent se rozpadne do deseti let. Půl na půl. Pro ten případ mají spočítáno, že vzájemné zničení datacenter zpomalí následný závod z týdne na rok. To je celé. Rok navíc.

A jedna větev scénáře popisuje, co se stane, když se Čína pokusí podvádět: tajný projekt v tunelech u vodní elektrárny Medog, kam zmizí půl milionu čipů. Autoři spočítali, že tajný projekt by cíle dosáhl kolem roku 2043 a šance na nepozorované vítězství je pod deset procent - takže se nevyplatí. Celý plán stojí na tom, že podvádět se nevyplácí matematicky, ne morálně. To je možná jeho nejrealističtější rys.

Kam vedou ostatní cesty

Slíbil jsem nastínit i zbylé větve. Tady je jejich vyústění, jak ho popisují sami autoři - stručně, protože každá z nich si zaslouží vlastní proklikání na webu .

Plán D, závod naplno , končí tak, jak končila závodní větev AI 2027: “nezarovnaná” superinteligence převezme kontrolu. Autoři odhadují, že pokud zůstaneme jen u dnešních dílčích opatření, je pravděpodobnost takového převzetí přes padesát procent. Připomínám - tohle je scénář, který nevyžaduje žádné rozhodnutí. Stačí pokračovat.

Plány C a C+, mírné zpomalení , dopadají o něco lépe a o něco hůř zároveň. Superinteligence nesmete lidstvo - smete demokracii. Odpovídají druhému konci AI 2027: o budoucnosti rozhoduje hrstka lidí, kteří ovládají AI, a z té hrstky se snadno stanou trvalí oligarchové. Přežijeme, ale už si nevládneme.

Plán B, sabotáž Číny , je přežitelný, ale za cenu, kterou autoři popisují nezvykle upřímně: válečná atmosféra kazí úsudek a pravděpodobné znárodnění AI firem znamená méně transparentnosti a víc koncentrace moci. Tvrdší varianta počítá s údery na čínská datacentra - a tím pádem s rizikem skutečné války. Měkčí sází na kyberútoky. Ani jedna neřeší zarovnání, jen kupuje pár měsíců.

Plán S, zastavit vše na neurčito , je jediný, ke kterému autoři cítí sympatie. Problém: dřív nebo později se dohoda o zastavení rozpadne a závod se rozjede znovu - jenže mezitím nikdo neudělal žádný pokrok v bezpečnostním výzkumu. Kupuje čas a nechává ho propadnout.

Když si to seřadíte, vyjde vám logika celého dokumentu: Plán A není dobrý, je jen jediný, který se pokouší řešit obě rizika najednou - vyhynutí i koncentraci moci. Všechny ostatní cesty obětují jedno druhému.

Co na to zbytek světa

Reakce jsou zajímavější než obvykle, protože autoři si kritiku sami objednali. Zaplatili výzkumníkovi Richardu Ngoovi, aby napsal oponenturu . Ten vyčítá scénáři tři věci: formát optimistické prognózy míchá dohromady žádoucí a pravděpodobné, předání moci strojům v roce 2040 je podezřele náhlé a celý text až nekriticky věří v rychlý vzestup superinteligence.

Dave Friedman namítá něco ještě prostšího: plán zaměňuje technickou proveditelnost za politickou průchodnost. Ústupky, které by dohodu učinily přijatelnou pro Peking, jsou přesně ty, které by byly nepřijatelné pro Washington. A datacentra na cizím území podle něj nestabilitu nesnižují, ale vytvářejí - logika “použij, nebo o to přijdeš” ještě nikdy nikoho neuklidnila.

Scott Alexander, který části textu sám přepisoval, to celé shrnul obrazem, který se mi líbí: vybíráme mezi nanoboty požírajícími sluneční soustavu v roce 2033 a léky na rakovinu v roce 2035.

Párty na konci světa

Nechal jsem si na závěr scénu, která mi z celého scénáře utkvěla nejvíc.

Říjen 2040. Předpovědní AI systémy určí den, kdy svět projde bodem, ze kterého není návratu - okamžikem, kdy lidstvo definitivně předá řízení strojům. Armády už řídí AI přísahající na ústavy a smlouvy. Lidé ten večer pořádají párty na konci světa. Šampaňské, odpočítávání, přípitky. Jako na Silvestra 1999.

A pak se ráno probudí do obyčejného dne. Slunce vyšlo. Káva chutná stejně. Svět nepatří lidem - a skoro nikdo to nepozná.

Nevím, jestli je to happy end, nebo ta nejděsivější věc, jakou jsem letos četl. Autoři, kteří měli posledních deset let pravdu častěji než my všichni ostatní, tvrdí, že tohle je ta dobrá varianta. Ta, které dávají tři až patnáct procent. U té výchozí - závodu bez plánu - se jejich odhady vyhynutí lidstva pohybují mezi deseti a třiceti procenty.

V květnu jsem psal, že strach je špatný rádce, a platí to pořád. Ale mezi strachem a ignorováním je ještě třetí možnost: číst plány lidí, kteří je píšou, dokud je čas o nich mluvit. Plán A skoro jistě neprojde. Otázka není, jestli je dobrý.

Otázka je: kde je náš?

Tenhle souhrn vychází primárně z dat uvedených na webu AI 2040. Neznamená, že s ním souhlasím. Je to výstup lidí, kteří se zatím velice dobře do trendů a vývoje trefují. Jestli to tak bude dál nebo ne, to samozřejmě nikdo neví, ale minimálně myslím, že jejich názory stojí za pozornost. Buď se jim jednou budeme smát nebo… se jim také budeme smát, ale s hořkostí v ústech.

A jestli váš už všechna ta umělá inteligence štve, tak se těšte na příští letní speciál, který bude zase trochu “zpomalovací”…

Zdroje a další informace

* AI 2040 - kompletní interaktivní scénář

* AI 2040 - PDF verze

* Srovnání plánů A až S (doplněk Eliho Liflanda)

* AI 2027 - původní scénář

* Axios: New warning calls for slowing race to superintelligence

* Washington Post: The ex-OpenAI employee behind ‘AI 2027’ recommends a rosier path

* Scott Alexander: Introducing Plan A

* Richard Ngo: Selective Optimism - a critique of AI 2040

* Dave Friedman: AI 2040 Mistakes Technical Legibility for Political Feasibility

* Anthropic: Series G funding announcement

This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit filipmolcan.substack.com/subscribe