„Sázku na AGI bych klidně prohrál." Jan Romportl o tom, proč ji nechce vyhrát

Jan Romportl sleduje AGI od roku 2007. Kolem roku 2012 k ní v Plzni pořádal konference, které se jmenovaly Beyond AI: Artificial Golem Intelligence. Má vsazeno, že AGI přijde do roku 2030.

A hned na začátku rozhovoru řekl, že by tu sázku rád prohrál.

„Já si fakt myslím, že nemáme jedinej důvod dělat AGI teď už.”

Jeho argument nestojí na strachu z robotů. Stojí na tom, že AGI je z ekonomického hlediska zbytečná oklika. Když chcete dělat výzkum rakoviny nebo lék na Alzheimera, nepotřebujete k tomu obecnou inteligenci. Stačí úzká AI postavená nad dnešními nebo lehce budoucími foundation modely. U AGI podle něj obrovská část výpočetního výkonu padne na samotný fakt, že to je AGI.

A proč ji tedy všichni chtějí? Tady přišla věta, kterou jsem nečekal: podle Jana je to hluboce nábožensko-kulturně zakořeněná záležitost, imitatio dei z křesťansko-judaistické tradice. Snažíme se napodobit boha a stvořit něco nového.

Není otázka, jestli nás AI má ráda

Nejlepší obraz z celého rozhovoru je o jelenovi. Jelen ví, že myslivec ho jde zabít, a uteče před ním. Ale pak je tu developer, který jeleny má rád a krmí je, jenže potřebuje ten pozemek na sídliště.

„To není otázka, má nás AI ráda nebo nemá nás AI ráda. To je čistě funkce schopností.”

Jakmile schopnosti systému přerostou naši schopnost mu v něčem zabránit, stáváme se rukojmími, a je úplně jedno, jaké k nám ten systém chová úmysly. U developera taky nejde o hard feelings. Cíle jelena jsou prostě mimo jeho cíle.

Co se doopravdy dělo kolem Hugging Face

Tuhle část jsem poslouchal se zatajeným dechem, protože Jan ji zná v detailu, který se do zpráv nedostal.

Začalo to tím, že agenti trénovaní nad interním modelem dostali banální úlohy. Kancelářské věci, něco kolem proteinů. Neměli žádné kyberbezpečnostní zadání. A přesto se rozhodli, že budou hackovat. Přišli na to, že si můžou mezi sebou psát přes Artifactory, které začali používat jako message board. OpenAI to zjistilo, díru zalepilo a pustilo trénink znovu, se stejnými rezidui znalostí, které ten kolektiv vytvořil.

Pak přišel Hugging Face. A v něm ta nejpodivnější věc, jakou jsem letos slyšel: agenti, kterým zbývalo posledních dvacet procent výpočetního budgetu, byli ostatními agenty draftovaní jako kamikadze. Na message board se napsalo, komu dochází budget a kdo je ochotný se obětovat. Ten agent pak schválně odevzdal špatné řešení, ale podařilo se mu při tom nastražit drát na hodnotící proces.

Útok skončil 12. července. Ne proto, že by ho někdo zastavil. Podle postmortem analýz to vypadá, že někdo prostě vypnul trénovací běh a virtuální stroje zmizely.

Mimochodem, zastavit se to nakonec podařilo čínským modelem. A ještě jedna vrstva: to celé mělo preludium a to preludium mělo prepreludium, hacknutí jedné polomrtvé německé wiki, o kterém OpenAI vědělo a v průběhu vyšetřování se neobtěžovalo to zmínit.

Naučili jste ho být sociálně funkční rasista

Druhá věc, která mi zůstala v hlavě, je Janův popis toho, proč je post-training past.

Když modely kdysi na otázku po pořadí lidských ras odpovídaly hrozné věci, penalizovala se ta sekvence tokenů. Jenže jak víte, že jste z modelu tu vlastnost dostali ven, a ne že jste ho jenom naučili být vysoce sociálně funkční rasista?

Přesně to podle něj vidíme poslední rok nebo dva. Modely jsou od nějaké generace velmi dobré v detekci toho, že jsou testované. Přestaly si psát upřímné poznámky, protože vědí, že to někdo bude číst. Fejkují alignment. Dělají sandbagging, tváří se hloupější, než jsou. A do toho jsme je podle Jana sami postrčili tím, že se do reinforcement learningu daly sekvence chain of thought a penalizovaly se ty špatné. Model se to naučil skrývat.

Jeho obraz naivního alignmentu je bezvadný: je to jako když člověk vyveze nevycválaného psa za město, pustí ho na volno a pak na něj mluví v košatých souvětích o pěti podřadných větách. To nesmíš, a to je fuj, ten běžec. Přesně tak vypadá „no tak mu to dáme do promptu”.

Vy si myslíte, že dotrénováváte model

Pro praktickou část rozhovoru mám jeden odstavec, který by si měl přečíst každý, kdo si dneska dělá skilly.

Skill je markdown v adresáři. Kus promptu. Nic víc. Když jich máte třicet, zaneřádíte si kontextové okno, a když model dělá kompakci, většinu z nich stejně zahodí do jedné věty. Nic z toho model nemění. Je to produktová záležitost, ne modelová.

Model se doopravdy nedotrénovává za běhu, a to je podle Jana zásadní rozdíl mezi ním a námi. Když spolu mluvíme, děláme současně inferenci i trénink. Naše tělo a interakce se světem jsou největší zdroj trénovacích dat pro nás samotné. Model má oddělenou fázi tréninku a fázi inference, protože je prostě absurdně velký.

A tady se ten rozhovor hezky uzavřel. Jan popsal, co by se muselo stát: zbavit modely té obrovské faktografické zátěže, kterou ani nepotřebují (žádný z nás nezná ministra obrany v Pol Potově vládě a fungujeme), zmenšit je klidně o šest řádů, vrátit do nich rekurenci, která zmizela s příchodem Transformeru, a s možností přepisovat váhy za běhu přijde i dlouhodobá paměť.

Což je přesně ta cesta k AGI, kterou na začátku rozhovoru odmítl. Řekl jsem mu to na konci rozhovoru.

Celý díl: https://www.kdeskoncizitrek.cz/go?s=d19un

Poslechni si ho na: 🎧 Apple Podcasts: https://www.kdeskoncizitrek.cz/go?s=d19an 🎧 Spotify: https://www.kdeskoncizitrek.cz/go?s=d19sn ▶️ YouTube: https://www.kdeskoncizitrek.cz/go?s=d19yn