Dovolil jsem svému místnímu LLM přístup k mým osobním souborům a nahradil tři předplacené aplikace
Nástroje pro programování s AI jsou opravdu užitečné, ale předplatné se rychle sčítá. Pokud jich používáte více najednou, utrácíte značné peníze za nástroje, které možná ani nepoužíváte každý den. Spuštění modelů lokálně to všechno eliminuje, jakmile je hardware zaplacen, a byli byste na omylu, pokud byste si mysleli, že lokální LLM nejsou dost dobré a že při přechodu vlastně moc nepřicházíte o nic.
Prémiové AI nástroje jsou skvělé, dokud nepřijdou účty
Předplatné pro asistenční programy pro kódování je těžká měsíční daň, která se rychle sčítá
Prémiové AI nástroje změnily způsob, jakým lidé píšou kód, ale náklady se rychle sčítají. Služby jako Gemini, Claude a ChatGPT Plus stojí každá kolem 20 USD měsíčně, a pokud používáte více než jednu, je to znatelná částka z vašeho rozpočtu, která každého měsíce mizí. Cloudové služby také účtují za milion tokenů, takže pokud hodně experimentujete nebo provozujete dlouhé relace, účty se rychle vymknou kontrole.
Po nějaké době mě unavovalo sledovat, jak se ty poplatky naskládají za nástroje, které jsem ani nepoužíval každý den. Tehdy jsem začal uvažovat o používání místních modelů. Jakmile vlastníte hardware, nejsou žádné poplatky za tokeny, žádné měsíční účty ani žádná omezení použití.
Je možné investovat trochu peněz předem do slušného stroje, ale ve skutečnosti to není nutné. Používám stroj za 200 dolarů a nakonec se mi zaplatil rychleji, než většina lidí očekává. Za minulý rok jsem ušetřil značnou částku jen tím, že jsem přešel od předplatného, za které jsem platil zvyklostí.
Za nástroje AI neplatím, protože lokální AI se také dostala do bodu, kdy už opravdu nepřicházíte o kvalitu. Nástroje jako Ollama a LM Studio usnadňují správu a spouštění modelů na vašem vlastním počítači.
Komunita open-source vydala modely jako Qwen3-Coder a Llama 3, které zvládají složité uvažování a analýzu kódu natolik dobře, že mohou nahradit většinu toho, za co jsem dříve platil. Vaše data zůstávají na vašem hardwaru, nic nejde na cloudový server a nejste závislí, pokud společnost změní ceny nebo zruší funkci, kterou potřebujete.
Ušetřili byste a získali byste mnohem více, než si myslíte
Všechny tyto předplatné jsou pryč
Spuštění lokálního modelu vám šetří peníze rychleji, než většina lidí očekává. Nejzjevnějším výchozím bodem je nahrazení univerzálního chatbota, jako je ChatGPT Plus a Claude, které stojí každý 20 dolarů měsíčně.
Nástroje jako LM Studio, Ollama nebo GPT4All vám všechny umožňují spouštět schopné open-source modely jako Llama 3, Mistral nebo Qwen na vašem vlastním hardware zdarma. Tato jedna změna mi ročně vrátí 480 USD zpět do kapsy, a to ještě než jsem začal nahrazovat dražší specializované nástroje. Jako server pro těžší modely jsem použil starší počítač, takže to ve skutečnosti nic nestálo.
Psací asistenti jako Grammarly jsou tam, kde náklady rychle vymknou kontrole. Grammarly se snaží příliš tlačit na své Premium a AI obvykle způsobuje, že úpravy působí neautenticky. Grammarly účtuje asi 144 dolarů ročně a byl jsem rád, že jsem se toho zbavil.
Stále jsem bojoval s náhodnými problémy s internetovým připojením, které se objevovaly jen kvůli jejich serverům. Všechny tyto problémy si můžete ušetřit spuštěním malého lokálního modelu, jako je Microsoftův Phi-3.5 Mini nebo Meta Llama 3.2, přímo na vašem stolním počítači.
Vzhledem k tomu, že vše běží lokálně, můžete na stejném odstavci pracovat tolikrát, kolikrát chcete, aniž byste narazili na limit nebo museli platit za další měsíc. Přitom získáváte kontrolu gramatiky, kterou skutečně chcete. Grammarly šla v poslední době dolů, a nyní, když má zdarma konkurenci, není důvod ji nadále používat.
Nejlepší je, že když váš editor požádá o návrhy kódu nebo analýzu souborů, požadavek nikdy neopustí váš počítač. Neexistují žádná omezení využití a nemusím čekat, až společnost rozhodne, ke kterým funkcím budu mít přístup a za jakou cenovou úroveň. Protože pro tento typ práce potřebuje mé osobní údaje, vždy raději používám svůj vlastní systém. GPT4All může postrádat některé pokročilé funkce pro velké týmy, ale jeho rozhraní a lokální API z něj činí ideální způsob, jak zjistit, zda je to pro vás.
Qwen a GPT4All jsou vše, co potřebujete
Můžete propojit lokální modely s vaším kódujícím editorem několika kliknutími
K používání AI lokálně nemusíte mít titul z informatiky. Zvolil jsem GPT4All, protože má uživatelsky přívětivé rozhraní a není tak omezený jako LM Studio. Software si můžete stáhnout a vyhledat model pro zahájení nastavení. Nejprve si stáhněte GPT4All a přejděte do Model Hub, kde můžete prozkoumávat a stahovat open-source modely přímo v programu. Použil jsem to k nalezení modelu Qwen2.5-Coder-3B.
Tento model najdete v knihovně GPT4All. Nemusíte ručně spravovat soubory, protože stačí kliknout na stažení verze, která odpovídá vašemu systému. Qwen je schopná rodina modelů a verze 3B je dostatečně malá, aby se rychle načetla a zároveň zůstala inteligentní.
Jakmile je stažen, stačí ho vybrat ze seznamu vašich modelů. Pokud váš počítač není nejsilnější, měli byste vypnout vše ostatní. Všimnete si, že věci zpomalí, a proto jsem si nastavil osobní server. Raději věnuji další počítač tomu než se vypořádám s prodlevou na hlavním stroji. Poté, co načtete svůj model v chatu, přejděte do nastavení a poté vyberte Model.
Srolujte dolů, dokud neuvidíte Max Length. Změňte to na '4096,' nebo vyšší, pokud váš počítač dokáže uvolnit více RAM.
Ušetřete nějaké peníze a používejte své vybavení na maximum
Předběžné náklady na přechod na lokální modely jsou nižší, než většina lidí očekává, a měsíční úspory se projeví okamžitě. Nemusíte se potýkat s limity používání, změnami cen ani s tím, že by vaše data byla posílána někam, kde je nemůžete kontrolovat. GPT4All je rozumný výchozí bod, pokud chcete toto otestovat, aniž byste se zavazovali k něčemu složitému. Jakmile máte model běžící lokálně a propojený s vaším kódovým editorem, je těžké odůvodnit návrat k placení za totéž každý měsíc.