Přestal jsem platit za ChatGPT a vytvořil soukromé AI nastavení, které může spustit kdokoliv

V poslední době jsem se opravdu začal věnovat spouštění LLM lokálně, a poté, co jsem viděl všechny skvělé věci, které lze dělat s nástroji MCP, jsem si řekl, že je čas trochu vylepšit své vlastní vybavení.

Zpočátku jsem se nadchl pro DeepSeek R1, když byl spuštěn, ale od té doby vyšlo spousta nových modelů. S tím, jak rychle se všechno mění, mi přišlo logické také zdokonalit svůj pracovní postup.

LM Studio je nejlepší místní aplikace LLM, kterou jsem zatím použil.

Ollama je dobrý, ale toto se mi líbí víc

Loni jsem poprvé začal experimentovat s lokálními LLM pomocí Ollama. Fungovalo to dostatečně dobře, ale můj chudý MacBook Air s pouhými 8GB sjednocené paměti rozhodně nebyl stavěný na zvládnutí takového zatížení. Přesto jsem chtěl zkusit něco jiného, částečně ze zvědavosti a částečně abych zjistil, jestli dokážu získat více výkonu.

Proto jsem se rozhodl vyzkoušet LM Studio. Je to aplikace, která vám umožňuje stahovat a spouštět LLM lokálně na vašem počítači, a má také přehledné uživatelské rozhraní. Protože používám Mac, podpora MLX pro mě byla velká věc. Pokud neznáte MLX, jde o Apple framework pro strojové učení, navržený speciálně pro Apple silicon.

V podstatě to umožňuje modelům běžet efektivněji pomocí GPU. Přesto jsem chtěl tato slova převést na čísla, takže jsem porovnal Ollama a LMStudio přímo proti sobě, se stejným modelem.

Dostával jsem více tokenů za sekundu s LM Studio, ale rozdíl byl tak malý, že to opravdu nezměnilo celkový zážitek. Přesto vezmu jakýkoli dodatečný výkon, který mohu získat.

To znamená, že si nemyslím, že by bylo zásadní, zda si vyberete Ollama nebo LM Studio, zvláště protože oba spoléhají na podobné základní frameworky pro lokální spouštění modelů.

Moje hlavní stížnost, když jsem začínal, byla nedostatečná podpora multimodality. Ale to už nyní opravdu není problém. Jak Ollama, tak LM Studio nyní podporují multimodální modely a existuje několik solidních možností, které dokáží překvapivě dobře zvládat text a obrázky na lokálním hardwaru.

Vybrat správný model může být trochu složité

Může to být drahý koníček

Když poprvé nainstalujete LM Studio, první věc, kterou budete muset udělat, je vybrat model. To může být trochu ohromující, pokud jste v tom noví, protože neexistuje jasně daná odpověď „použijte jen tento“. Správná volba opravdu závisí na vašem hardwaru.

Pokud otevřete nabídku Hledání modelu v LM Studiu, uvidíte seznam nejoblíbenějších modelů. Jednoduchý způsob, jak pochopit, jak náročný bude model, je podívat se na číslo těsně před písmenem „B“ v jeho názvu.

To "B" znamená miliardy parametrů. Obecně platí, že čím vyšší je toto číslo, tím schopnější model bývá. To také znamená, že bude vyžadovat více zdrojů. Na Macu s 8GB sjednocené paměti mám pocit, že ideální je někde mezi 3 a 4 miliardami parametrů. Na PC to může být trochu složitější. Místo běžné systémové RAM je důležitější množství VRAM, které máte.

Pokud máte 8 GB VRAM, můžete pohodlně experimentovat s modely s 7 miliardami parametrů, zejména při lehčích kvantizacích. Z mé zkušenosti je nejlepší začít s menším modelem a postupně přecházet na větší, dokud nenajdete ideální bod.

Osobně jsem se přiklonil spíše k modelu Gemma 3 4B, který je postaven na stejné základně jako modely Gemini od Googlu. Přesto bych ale stále doporučil vyzkoušet i modely Qwen. V závislosti na tom, co děláte, mohou být pro vás mnohem vhodnější.

Můžete dokonce přidat webové vyhledávání do svého místního LLM

DuckDuckGo přichází na pomoc

Jednou z největších stížností, které jsem viděl ohledně lokálních LLM, je, jak omezené mohou působit ve srovnání s cloudovými modely jako ChatGPT, pokud jde o vyhledávání na webu. Není to moc užitečné, když se zeptáte na nejnovější iPhone a LLM začne kecat o iPhone 14. To je oblast, kde mají cloudové modely obvykle převahu.

LM Studio má vestavěný systém pluginů a přidání webového vyhledávání je docela jednoduché. Stačí navštívit stránku pluginu DuckDuckGo a vybrat Spustit v LM Studiu.

Jakmile bude povoleno, kdykoli spustíte model, uvidíte pod chatovacím oknem možnost, která se ptá, zda chcete pro svůj dotaz použít DuckDuckGo. Pokud ji zapnete, LM Studio získá aktuální výsledky vyhledávání a před tím, než model vygeneruje odpověď, je do něj vloží.

To ale není všechno, co můžete s pluginy dělat. Tým LM Studio vytvořil několik pluginů, které jsou také velmi užitečné. Například mají plugin pro Wikipedii, který umožňuje vašemu LLM číst a vyhledávat články na Wikipedii (samozřejmě).

Existuje také plugin JavaScript Sandbox, který může být velmi užitečný, pokud se zajímáte o vibe-coding a chcete rychle získat hrubou představu o tom, co je postaveno. Ale neřekl bych, že stojí za to jej používat k vytvoření něčeho připraveného pro produkci.

Zbavte se korporací

Můžete nastavit LM Studio tak, abyste mohli přistupovat ke svému LLM z telefonu, ale pokud chcete přesunout celé odvozování přímo do telefonu, je to také možné. Menší LLM můžete spouštět na telefonu s Androidem, i když nebudou tak výkonné jako to, co byste dostali na svém Macu.

Přesto se tyto lehké modely zlepšují neuvěřitelně rychlým tempem. A vzhledem k očekávanému nárůstu nákladů na hardware by mě nepřekvapilo, kdyby společnosti jako OpenAI nebo Google zvýšily ceny svých předplatných. Je uklidňující mít nastavení, které tím není ovlivněno.