Obrázek epizody Díl 52: FreeToken: velké MoE modely na jedné spotřebitelské grafice

Díl 52: FreeToken: velké MoE modely na jedné spotřebitelské grafice

Obrázek epizody Díl 52: FreeToken: velké MoE modely na jedné spotřebitelské grafice

Poslechněte si podcast

Dnes

32 sec

Podle Stanislava Beliajeva na LinkedInu 20. listopadu je FreeToken otevřený engine pro velké modely směsi expertů na běžných kartách. Srovnali jsme to s článkem na arXiv a kódem FlashML. Příspěvek připisuje vydání Berkeley, korespondenční autor je z Berkeley. Autoři uvádějí u DeepSeek V4 Flash na 32 gigabajtech 22 až 25 tokenů za sekundu. Dvoj- až čtyřnásobek proti Ollamě článek neuvádí.

Zdroj: Stanislav Beliaev, LinkedIn – https://www.linkedin.com/posts/stasbel_uc-berkeley-open-sourced-an-inference-engine-activity-7529575940390203392-JuNu

Namluveno syntetickým hlasem (AI), text připravila AI.

Popis podcastu

Martinův podcast z odkazů. Krátké české díly o článcích, videích a odkazech, které Martin Pohl ukládá do své knihovny: technologie, umělá inteligence, internet, klima i podnikání. Díly namlouvá syntetický hlas vytvořený umělou inteligencí, nejde o hlas Martina Pohla. Texty připravuje AI podle zdrojů, které vybírá Martin Pohl.