Vybrat si svůj první místní LLM je jednodušší, než to internet dává najevo

V poslední době se opravdu začínám zajímat o spouštění LLM lokálně, a upřímně se z toho stalo jedno z mých nejnovějších koníčků. Existuje spousta skvělých věcí, které můžete dělat, jakmile si nastavíte lokální AI server.

Ale jedna věc, které si stále všímám, je, že lidé zabloudí dříve, než vůbec začnou. Výběr vašeho prvního modelu je část, na které se všichni zaseknou. Ale jakmile pochopíte, na co se díváte, stane se to opravdu jednoduchým.

Všechny potřebné informace jsou přímo v názvu modelu

Ne, nemusíte rozumět kódu

Když navštívíte Hugging Face a začnete prohlížet modely, všimnete si, že každý název modelu vypadá jako hromada písmen a čísel. Například můžete narazit na gemma-4-26B-A4B, což je rozhodně pořádný oříšek.

Věc je taková, že samotný tento název vám říká HODNĚ o samotném modelu. Název je v podstatě specifikace. Jakmile se naučíte, jak ho číst, už budete vědět obrovské množství o tom, na co se díváte, ještě dříve než kliknete na stránku modelu.

Když se podíváte na různé modely, všimnete si, že stejné komponenty se objevují téměř u každého názvu modelu. Zde je, co každý z nich ve skutečnosti znamená:

Příjmení (Gemma, Qwen, Llama): Považujte to za značku. Říká vám, kdo model vytvořil a která je jeho generace. Gemma je vyrobena Googlem, Qwen je Alibaba a Llama je od Meta.
Celkový počet parametrů (26B): Toto je plná velikost modelu, měřená v miliardách parametrů. Aniž bychom se příliš zabývali tím, co parametry vlastně jsou, stačí si to představit jako hrubé měřítko toho, kolik model ví a jak je schopný. Větší číslo znamená chytřejší model, ale také náročnější provoz.
Aktivované parametry (A4B): Toto se zobrazuje pouze na některých modelech a je opravdu důležité tomu porozumět. I když má tento model celkem 30 miliard parametrů, v daném okamžiku skutečně pracuje pouze 3 miliardy.
Úroveň kvantizace (Q4_K_M, Q8_0, 4bit): Na každém modelu si toho nevšimnete, ale přesto stojí za zmínku. Považujte to za nastavení komprese. Nižší číslo, například Q4, znamená, že soubor modelu je menší a funguje rychleji, s velmi drobným kompromisem v kvalitě, který při každodenním používání nepocítíte.

Jakmile si zvyknete číst názvy modelů tímto způsobem, jste už na 80 % cíle. Stačí jen zjistit, co můžete spustit na svém počítači, a co můžete očekávat od různých modelů.

Musíte jen pochopit, co váš hardware dokáže spustit

Paměť je klíč

Pro spuštění LLM lokálně je nejdůležitější množství paměti, které může model použít. Pokud používáte Mac s Apple Silicon, dostupná paměť je vaše celková sjednocená paměť. Pokud používáte dedikovanou GPU, je to vaše VRAM.

Nejzákladnější věc, kterou je třeba mít na paměti, je počet parametrů. Toto číslo, vyjádřené v miliardách, určuje, kolik paměti model potřebuje k načtení. Přibližně odhadem, 8GB paměti vám umožní modely kolem 8 miliard, 16GB zhruba 13-16 miliard a 24GB otevírá 30 miliard a více. Kromě toho mohou dva další faktory výrazně ovlivnit tuto záležitost.

Prvním je kvantizace. Model Q4 byl komprimován poměrně agresivně, přibližně na polovinu paměti, kterou potřebuje. Model Q8 má nižší kompresi, takže je větší, ale bližší originálu. Pro většinu lidí je Q4 naprosto v pořádku; rozdíl v kvalitě při běžném používání je sotva znatelný.

Podobně je třeba se podívat i na MoE. Když se podíváte například na A3B, ukazuje to, že model během odpovědi aktivuje pouze 3B parametrů, což působí mnohem rychleji.

Běžné nedorozumění: A3B neznamená, že model běží na 3 GB paměti. Stále je potřeba načíst celý model do paměti; aktivované parametry pouze znamenají, že generuje odpovědi rychleji.

Tak si vezměte například Qwen3.6-27B-4bit. Jedná se o model s 27 miliardami parametrů, takže byste potřebovali asi 27 GB paměti k jeho spuštění. Ale protože je kvantizován na 4 bity, klesne to na přibližně 13-14 GB. To znamená, že ho můžete pohodlně spustit na něčem jako základní Mac Mini.

Začněte malými kroky, vždy můžete přidat.

Postupujte nahoru

Neexistuje žádný zlatý model. Každá volba, kterou provedete, je kompromisem mezi rychlostí a kvalitou. Menší model bude reagovat rychleji, ale občas selže u složitých úkolů. Větší model bude schopnější, ale pomalejší. Žádný z nich není špatný; záleží jen na tom, k čemu ho skutečně používáte, a jediný skutečný způsob, jak to zjistit, je ho používat.

Tak si prostě vyberte něco, co odpovídá vašemu hardwaru, a spusťte to na pár dní. Vyzkoušejte to na věcech, které skutečně chcete dělat. Psání, programování, shrnování, cokoliv. Velmi rychle zjistíte jeho limity a ty vám přesně řeknou, co hledat dál. Nebojte se tohoto procesu; tak to prostě funguje.

Pokud si stále nejste jisti, kde vůbec začít, doporučil bych vyzkoušet llmfit. Detekuje specifikace vašeho počítače a hodnotí modely podle toho, co váš systém realisticky zvládne, takže místo hádání dostanete seznam modelů, které budou na vašem počítači skutečně dobře fungovat. Je to mnohem lepší výchozí bod než číst vlákna o benchmarkech na hardware, který není váš.

Experiment, experiment, experiment!

Místní oblast LLM se také rychle vyvíjí. Model, který byl před šesti měsíci působivý, byl pravděpodobně nahrazen něčím menším, co běží lépe.

Takže opravdu nemá smysl trápit se s dokonalou první volbou. Stačí něco rozběhnout, zjistit, co to umí a neumí, a podle toho postupovat.