Svět velkých jazykových modelů (LLM) se vyvíjí tak rychle, až se domnívám, že je téměř nemožné pro běžného uživatele, aby měl čas si nastudovat, jak se trénují vlastní modely, protože než si osvojíte jednu metodu trénování jazykových modelů, tato metoda stihne mezitím zastarat, nebo se objeví mnohem lepší metody, jak trénovat jazykové modely.
Pro nás uživatele tu je však ta příjemnější část – stahování, jejich provoz a testování s možností kreativního použití, např. v LM studio, které jsme si ukázali v jednom z předchozích článků.
Svět je malý, ukážeme si proč
Když zadáte do vyhledávání v LM studiu, vyhledávajícím jazykové modely nahranných na huggingface.com, ThinkingCap- už po vydání existuje mnoho dalších autorů, kteří nahráli na HuggingFace.com další nějak upravený model, původně upravený Qwen od Bottlecap AI.
Jak se změnil svět LLM od posledních článků na tomto webu?
Velmi významně. Přibyly tzv. MTP moduly – multi-token prediction. Standardní GGUF model, který stáhnete na LM studiu z huggingface.com má pro běh na vaší RTX 3090 24GB anebo na vašich Radeonech RX 6800 16GB velikost v jednotkách až desítkách a v některých případech i stovkách gigabajtů. Extrémy mají terabajty, ale odhaduji, že teď neprodáte všechny svoje nemovitosti, abyste zjistili, že si ani vy, ani já nemůžeme dovolit extrémně drahé Nvidie B300, které by takové modely zvládaly provozovat s použitelnou rychlostí.
Svět se z pohledu LLM znovu změnil na křehký, ale bohatý západ a chudý východ lačnící po větší efektivitě LLM
Zatímco americké firmy vykoupily 70% všech výrobních kapacit pro paměťové čipy pro běh AI na další roky, čímž způsobily růst cen pamětí, zbytek světa nutí pracovat s tím, co je. Zbytku světa nezbývá nic jiného, než se snažit zoptimalizovat existující jazykové modely k rychlejšímu běhu.
Je mi velkou ctí, když mohu dnes psát tento článek o českých BottleCap AI, nejcitovanějším českém vědci Tomášovi Mikolovi, naprosté legendě ve světě jazykových modelů, umělé inteligence a Jaroslavovi Beckovi, druhé legendě v IT průmyslu, která začínala na soundtracích pro velká herní studia (Battlefied atd…) se skutečným vyvrcholením v podobě prodeje VR hry Beat Saber Facebooku. Ti dva se sešli a s dalšími lidmi založili startup BottleCap AI, kterému dnes fandí nejen česká komunita nadšenců do AI, vývojářů, ale zejména má tento startup čím přispět k té východní části zbytku světa na téma: „zefektivnění běhu existujících jazykových modelů“.
Jakou kvantizaci zvolit pro jaký hardware?
Pokud máte 24 GB VRAM (RTX 3090, Různé tesla P40 24GB, Intel ARC B60 24GB), tak sáhněte po bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF Q4_K_M (4 bitová kvantizace) o velikosti 17.74GB. S docela použitelným kontextem cca 51 000 tokenů velikosti kontextu jste schopni velmi pohodlně fungovat i na vaší 24GB grafice.
Pokud máte k dispozici 2x 16GB grafické karty (a tady bych se nebál jít třeba do levnějších radeonů RX 9060 16GB) tak za cenu nižší, než je jedna 24GB karta získáte 32GB VRAM pro běh jazykového modelu. Pak si můžete vyzkoušet např. od uživatele gopi87/ThinkingCap-Qwen3.6-27B-Q6_K-GGUF model o velikosti 23.36 GB a zbyde vám stále vysoké množství tokenů na kontext při 6 bitové kvantizaci.
Jaký krok udělaly Radeony s ROCm a Vulkan API za poslední rok?
Troufnu si říct, že velmi dobrý. Ještě před 2 lety si pamatuji, že ROCm nebyly ani na redditu doporučovány ale doba pokročila a když si koupíte dnes starší 16GB grafiky, zapojíte je do počítače, tak získáte za lidové peníze 32GB VRAM.
Zvoral Intel cenotvorbu u Intel ARC Pro B50, B60 a B70 grafik?
Když Intel před 2 až 3 lety zažíval totální krizi ve vývoji grafických karet, tak jsem tehdy poznamenal, že kdyby vzali jejich tehdejší grafiky ARC 380/B580 atd…, dali jim 24 nebo 32 GB VRAM, tak by byly dost dobře použitelné na práci s LLM.
O pár let později vidíme, že intel vydává Intel ARC B50 (16GB), B60 (24GB) a B70 (32GB).
Jenže Intel totálně zvoral cenotvorbu. Proč byste si kupovali intel ARC pro B50, když si můžete koupit Radeon RX 9060 16GB o pár tisíc levnější a novou a ani kdyby grafika jela celý rok v kuse, tak nedoženete cenovou úsporu, která pro vás znamená TDP 70W Intel arc Pro B50?
Mezitím Intel Arc Pro B50 potká stejně nepříznivý osud, jako mou Nvidia A2 16GB.
Nvidia A2 16GB dobrá karta pro provoz malých modelů.
Problém je, že Nvidii A2 16GB se spotřebou TDP 40W je paradoxně velmi těžké uchladit tak, aby se vám současně vlezla do skříně a současně se nepřehřívala. Ale to je jiný příběh. Možná její čas přijde později, až se podaří stávající modely ještě více zefektivnit. Naštěstí jsem měl kartu levně z německa, tak to není taková finanční škoda.
Proč kupovat Intel ARC Pro B60, když si za stejnou cenu můžete koupit 2x Radeon RX 9060 16GB, budete mít o 8GB VRAM víc a až pomine dnešní doba AI, tak ji prodáte nějakému hráči na aukru stále v perfektní kondici?
Co je výhodnější než intel grafiky?
Pomalejší nvidie RTX 5060 TI se 16GB VRAM neklesají pod úroveň daleko rychlejších (ale i žravějších) radeonů RX 9070 16GB. Nerad se opakuji, ale za cenu intel arc pro B70 dnes koupíte takové 16GB Radeony RX 9060 16GB ve 3 kusech. V případě nvidie RTX 5060 TI 16GB za stejný rozpočet koupíte ve 2 kusech. Radeony usadíte do desky se 3x pci-express 16x a máte 48GB VRAM za cenu inteláckých 32GB VRAM. A ještě budete zvládat narozdíl od toho intelu provozovat 80B modely s 10B experty (MoE Mixture of Experts). Anebo necháte usazené 2 kusy a třetí kus hodíte přes pci-express riser pro těžaře.
Co grafické karty z druhé ruky?
Mě se podařil ještě lepší kousek. Za cenu jedné 32GB Intel Arc Pro B70 karty mám k dispozici 96GB VRAM v šesti radeonech RX 6800 16GB z druhé ruky. Potřebuji mít novou kartu? Ne. Potřebuji mít kartu v perfektním stavu? Ne. Stačí mi i karty, trpící na coil whining (pískání cívek v zátěži), které je extrémně výrazné při provozu jazykových modelů.
Nicméně je dobře, že intel začíná prodávat grafiky a snaží se nějak saturovat trh. Myslím si, že v dnešní době i špatná grafika ve špatném poměru cena/výkon, je stále lepší, než žádná grafika.
Výhody Qwenu od BottleCapu
Dle testů na BottleCap AI stránkách by měl být Qwen 3.6 od Bottlecapu o cca 66% efektivnější. Protože v BottleCap AI zjistili, že originální model od Qwenu trpí overthinkingem, u kterého při jeho redukci dojde k masivnímu nárůstu rychlosti generovaných tokenů s odpovědí bez ztráty kvality odpovědi.
Já jsem zatím ve fázi, kdy jsem si model postahoval. Čeká mě jeho další testování a možná i práce s ním.
Kam by se mohl vydat vývoj dál?
Jestli bych něco rád viděl od BottleCap AI, tak je to tento model, natrénovaný oproti např. Fable 5 od Anthropics, tím by fakt mohli udělat díru do světa. Protože model by byl vzdáleně podobně „chytrý“, jako špičkové modely od společnosti Anthropics, ale svým reasoningem by byl rychlejší při své práci. Jen čas ukáže, jestli moje myšlenky šly správným směrem, nebo vůbec, ale domnívám se, že z hlediska vývoje mít možnost získat chytřejší jazykový model s vlastnostmi rychlejšího modelu, by mohla být velká výhoda.
Jak funguje Knowledge distillation metoda?
Velmi zjednodušeně si sem odložím screenshot z ChatGPT, který znázorňuje popis fungování metody knowledge distillation. Stručně řečeno jde o přenos znalostí (učení) z „chytřejšího/silnějšího“ modelu od Anthropics do jeho „žáka“ např. Qwen3.
( zdroj: https://chatgpt.com/share/6a4e126a-6084-83eb-88cc-41b780cc3932)
AMD Ryzen AI HALO
Stejně jako Nvidia spark DGX jde o fakt pěkné mašinky s docela nízkou spotřebou. Jejich jediným problémem je vysoká pořizovací hodnota. V případě AMD Ryzen AI Halo za 128GB verzi zaplatíte $3999, české ceny jsem ještě neviděl, ale hardwarově to nedává smysl ze 2 důvodů.
- Je to jednodeskový počítač, takže až vám začnou selhávat po letech některé paměťové čipy, nevím jestli v ČR najdete někoho, kdo vám zdetekuje, který paměťový čip je vadný, aby vám ho přepájel. S velkou pravděpodobností už neuplatníte záruku a stane se z toho v lepším případě vadný kus na díly. Předpokládám, že vám po letech buď odejde čip, anebo paměťové čipy.
- Ani jeho nižší spotřeba oproti běžnému PC s větším množstvím grafických karet neobhájí extrémně vysokou pořizovací hodnotu.
Já jsem schopen se s Radeony RX 6800 16GB dostat na cca 42% kupní ceny AMD AI Halo a získat tak 96GB VRAM na 6 grafických kartách. Zbytek modelů mi poběží v RAMkách a silném procesoru. Kdyby se radeony dělaly ve 24 GB VRAM kusech, dokázal bych na 6 grafických kartách dostat dohromady 144 GB VRAM. Narozdíl od těchto jednodeskových počítačů budu mít výhodu v tom, že vadné grafiky lze vyměnit kus za kus. Vyměníte snadno zdroj, základní desku, ssd disk, procesor i RAM. Získáváte trvale udržitelné řešení, které vám bude fungovat i po letech a při zrušení tohoto řešení prostě rozprodáte karty hráčům.
Velká výhoda oproti Nvidia DGX spark však tkví v tom, že na tom rozjede i Windows i Linux.
Menší rada na závěr
Když budete řešit, kolik grafických karet se vleze do vašeho počítače, mějte nejen dostatečně nadimenzovaný zdroj, ale pokud máte větší množství pci-express 16x slotů (rozměrově, funkčně mohou být např. 4x sloty), hlídejte si, aby vám karty nepřesahovaly velikost přes 2 PCI-express sloty. V mém případě mám karty, které zabírají 2,5 nebo 2,7 pci-express slotu a bohužel jsem se tak připravil o možnost plnohodnotného umístění třetí grafické karty do stroje.
Provoz Qwenu 3.6 na grafických kartách má nižší spotřebu, než s modely Gemma 4
V případě qwenu 3.6 mi Radeony RX 6800 16GB hlásí cca 60 – 80W TDP a v případě Gemma 4 modelů vidím spotřebu okolo 160 – 180W na kus.V komentářích můžete případně napsat, jestli máte stejnou zkušenost, nebo jsem něco musel přehlédnout.
zdroj3 – schéma obrázku zdroj4 – multi Token Prediction zdroj5 – Radeony Rx 9060 16GB zdroj6 – AMD ryzen HALO