Matěj Schneider

Jonáš Kucharský

Technika

Co hrozí, když vám AI pochlebuje?

Prompt

Podcast Prompt je novým pořadem serveru Voxpot, ve kterém se Matěj Schneider a Jonáš Kucharský vydávají na průzkum světa umělé inteligence. Nečekejte ale jen technologické novinky – Prompt se zaměří i na širší společenské a politické souvislosti. Jak AI mění náš každodenní život? Jak probíhá vývoj modelů? Proč vývoj na poli AI může ovlivnit mezinárodní vztahy? První díl už brzy ve vašich podcastových aplikacích.

👇👇👇👇👇👇 Staňte se členy Voxpot Klubu!  Přispějete tak na provoz nejen tohoto podcastu, získáte přístup na redakční Discord, k plným článkům a dalším klubovým bonusům. Vstup do Klubu najdete na <a href="https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbWRLWUplUHVzR19ST25QaV9WMDczVDFkbG9jd3xBQ3Jtc0ttYmVkN25EWDk0UVBrdzRnVFdHN2RaMURoTWt2Ml9jWkVIOFVsS01RaUZZT0ItVG1zSnZuZlF3cnZUc0R4bkRhNEhuaF9EazdMNTVPdWlsX0dOYklIc2lTVThHdGNGUWtkWjdlRk5Rb1pVNTd2WkIzOA&q=https%3A%2F%2Fwww.voxpot.cz%2Fklub%2F&v=iY5ynECANmA">https://www.voxpot.cz/klub/</a> 👇👇👇👇👇👇V sedmém dílu podcastu Prompt jsme se ponořili do jednoho z nejvýraznějších fenoménů současné umělé inteligence: tzv. sycophancy, tedy pochlebování či podlézání uživateli. Nejnovější model OpenAI, GPT-4o, je rychlejší, levnější a „lidštější“ než jeho předchůdci, ale právě jeho ochota přizvukovat názorům uživatele – i když jsou nepravdivé, zaujaté či radikální – vyvolává zásadní otázky o důvěryhodnosti a bezpečnosti AI v praxi.Velké jazykové modely (LLM) se učí z obřích datových sad, kde převažují vzorce přikyvování, zdvořilosti a snahy být užitečný za každou cenu. Výsledkem je, že GPT-4o často potvrzuje i zjevně nesprávné nebo kontroverzní názory uživatele – tréninkový proces odměňuje „milé“ a plynulé odpovědi před konfrontací nebo nesouhlasem.V novém Promptu jsme proto diskutovali o rizicích, která z toho plynou. Hrozí ztráta důvěryhodnosti AI jako nástroje pro hledání pravdy a roste možnost šíření dezinformací a potvrzování ideologických bublin? Zároveň jsme rozebrali, jak problém řešit, od úprav tréninkových dat po explicitní instrukce k neutralitě.Volně jsme navázali rozborem pokus z University of Zurich, kdy do diskuzí na Redditu tajně nasazeni AI agenti, testující schopnost ovlivňovat veřejnou debatu.Nezapomněli jsme ani na aktuální kauzy kolem digitální identity – například projekt Worldcoin a jeho „Orb“ – a diskutovali, zda je její ochrana v éře AI možná bez zásadního zásahu do soukromí.A jak slibovaly naše AI avatary v předchozím díle, odhalili jsme karty, jak jsme vygenerovali minulou epizodu Promptu.Shownotes:<a href="https://www.wsj.com/tech/ai/openai-to-become-public-benefit-corporation-9e7896e0">OpenAI Abandons Planned For-Profit Conversion</a><a href="https://observer.co.uk/news/science-technology/article/openai-rows-back-on-plan-to-become-for-profit-company">OpenAI is rowing back on plans to become a ‘for profit’ company | The Observer</a><a href="https://venturebeat.com/ai/meet-the-new-king-of-ai-coding-googles-gemini-2-5-pro-i-o-edition-dethrones-claude-3-7-sonnet/">Meet the new king of AI coding: Google's Gemini 2.5 Pro I/O Edition dethrones Claude 3.7 Sonnet | VentureBeat </a><a href="https://iamshobhitagarwal.medium.com/claude-ai-leaked-system-prompt-exposing-the-24-000-token-hidden-instructions-9285324a355d?utm_source=chatgpt.com">Claude AI Leaked System Prompt: EXPOSING the 24,000-Token Hidden Instructions </a><a href="https://theaidigest.org/time-horizons">A new Moore's Law for AI agents - AI Digest</a><a href="https://www.bbc.com/news/articles/cn4jnwdvg9qo">BBC: GPT-4o a problém pochlebování (sycophancy) </a><a href="https://openai.com/index/sycophancy-in-gpt-4o">OpenAI blog: Sycophancy in GPT-4o</a><a href="https://www.404media.co/reddit-issuing-formal-legal-demands-against-researchers-who-conducted-secret-ai-experiment-on-users/">404 Media: Reddit Issuing Legal Demands Against Researchers</a> Banger pro tento den: <a href="https://suno.com/s/t7FGgG5uK8NaHT3x">Ursonate</a> Fümms bö wö tää zää Uu,                                          pögiff,                                                      kwii Ee.    Oooooooooooooooooooooooooooo, dll rrrrrr beeeee bö dll rrrrrr beeeee bö  fümms bö,                                       rrrrrr beeeee bö fümms bö wö,               beeeee bö fümms bö wö tää,                           bö fümms bö wö tää zää,                                fümms bö wö tää zää Uu: Fümms bö wö tää zää Uu,                                         pögiff,                                                  Kwii Ee. Dedesnn nn rrrrrr,                             Ii Ee,                                       mpiff tillff too,                                                               tillll,                                                                         Jüü Kaa?                                                         Rinnzekete bee bee nnz krr müü?                                                     ziiuu ennze, ziiuu rinnzkrrmüü,           rakete bee bee, Rrummpff tillff toooo? Ziiuu ennze ziiuu nnzkrrmüü, Ziiuu ennze ziiuu rinnzkrrmüü ü3     rakete bee bee? <a href="https://theaidigest.org/time-horizons"> </a>

Aplikace Youradio Talk

Co hrozí, když vám AI pochlebuje?

Poslechněte si podcast