AI ta Krajta #51 | context window 12M tokenů, tajná válka o Manus AI a proč přejít na Read Only AI

🔥 Další díl AI ta Krajta! 51. epizoda, kde řešíme model s 12 miliony tokenů, geopolitiku kolem Manus AI a proč by vaše AI měla pouze číst, ale ne psát.V tomto díle otevíráme novinkami o modelu s neuvěřitelným kontextovým oknem 12 milionů tokenů, které slibuje škálování čistě lineárně a pojme celou Malazskou knihu padlých hned dvakrát. Dále se podíváme na geopolitické drama kolem akvizice Manus AI společností Meta, kterou překazil čínský zásah a zastavení akvizice. Kačka se hlásí živě z konference Machine Learning Prague s postřehy o nutnosti interpretability modelů ve financích a evaluacích AI agentů. Přidáváme i tip na nový nástroj MCPC od Apify, který chytře kombinuje standardy MCP s CLI rozhraním pro úsporu kontextu, a bavíme se i o hackování benchmarků s menšími modely.Druhá půlka epizody se nese ve znamení „distillation panic“ a etiky open-weight modelů. Rozebíráme článek od Nathana Lamberta a to, jak čínské laboratoře údajně zneužívají API Anthropicu pro destilaci, a proč je hranice mezi běžným používáním a nelegální těžbou dat pro trénink tak tenká.Závěr věnujeme konceptu kognitivních výparů a tvorbě digitálního druhého mozku. Představujeme filozofii Read Only AI, která pouze integruje historii vašeho prohlížeče, poznámky či git commity, ale sama za vás nejedná, čímž vás chrání před kontaminací přemýšlení a zamezuje úniku dat. Zamýšlíme se nad rozdíly oproti přístupu Andreje Karpathyho a filozofujeme o tom, zda by mělo být cílem zredukovat svou osobnost do jednoho Markdown souboru, nebo naopak tvořit tak komplexní kontext, který se do žádného okna nevejde. Děkujeme sponzorům:🚀 Promptbook: https://ptbk.io🤖 AI supervize: https://ptbk.io/ai-supervizeSítě, kde nás můžete sledovat:➡️ LinkedIn: https://www.linkedin.com/company/aitakrajta➡️ Spotify: https://open.spotify.com/show/31vLTHTV4vlCBeHpnbMKlK?si=1e51d95b9d3f46dd➡️ Apple Podcasts: https://podcasts.apple.com/cz/podcast/ai-ta-krajta/id1813389353Zdroje k epizodě (ne nutně v pořadí, v jakém se o nich mluví v epizodě): - SubQ (Subquadratic LLM): https://subq.ai/introducing-subq - Novinka od Apify (MCPC): https://github.com/apify/mcpc - Katčin článek o "vektorech zla": https://www.linkedin.com/pulse/directions-evil-kate%C5%99ina-fajmanov%C3%A1-343bf/ - Odkaz na repozitář umožnující decenzuru modelů: https://github.com/p-e-w/heretic - Článek Nathana Lamberta o Distillation Panic: https://open.substack.com/pub/robotic/p/the-distillation-panic?r=2mwbq1&utm_campaign=post&utm_medium=email - Odkaz na Šimonovy sljdy ke kognitivním výparům: https://slides.podhajsky.net/read-only-ai/1 - Odkaz na Šimonovu přednášku na AI Enigneer konferenci: https://www.youtube.com/watch?v=u0TOSBbAw7c - Odkaz na výzkum CrowdStrike o zranitelnostech v kódu souvisejících s "politickým" biasem v DeepSeeku: https://www.crowdstrike.com/en-us/blog/crowdstrike-researchers-identify-hidden-vulnerabilities-ai-coded-software/ - Odkaz na článek o "emergent misalignmentu": https://martins1612.github.io/emergent_misalignment_betley.pdfKapitoly:00:00 - Úvod a poděkování sponzorům (Promptbook)00:38 - Nový model slibující kontextové okno 12 milionů tokenů04:06 - Geopolitika v AI: Kauza akvizice Manus AI společností Meta06:12 - Report z Machine Learning Prague a interpretabilita modelů07:36 - Nástroj MCPC od Apify a prolomení evaluací s malými modely09:45 - Distillation panic a nelegální získávání dat z velkých API11:50 - Trénování Gemmy a multi-token prediction pro lokální inferenci14:11 - Decenzura open-weight modelů: Lineární algebra v praxi22:04 - Suverénní AI, ochrana duševního vlastnictví a lokální modely30:12 - Kognitivní výpary a koncept Read Only AI pro druhou paměť33:47 - Alternativní přístupy k second brainu: Karpathy vs. integrita40:24 - Redukce osobnosti do Markdownu a závěrečné zamyšlení