Dával jsem svému místnímu LLM přístup k mým souborům a nahradil tři aplikace, za které jsem platil

Pokud máte spoustu souborů, které musíte neustále prohledávat, pravděpodobně platíte za software, který je pod kapotou čte a shrnuje. Ale vzhledem k tomu, že lokální LLM může převést jakýkoli soubor na myšlenkovou mapu, co kdybyste mu umožnili přístup k vašim souborům?

To přesně jsem udělal, a k mému překvapení byly výsledky skvělé. Žádný cloud, žádné API klíče, nic neodchází z vašeho počítače, a než se nadějete, může to nahradit aplikace, za které byste jinak platili.

Jak lokální indexování AI ve skutečnosti funguje

Nechat váš místní LLM přistupovat k vašim souborům není tak děsivé, jak to zní

Poskytnutí vašemu lokálnímu LLM přístupu k vašim souborům může znít děsivě, ale ve skutečnosti je to jednodušší, než si myslíte. Použil jsem přístup nazvaný RAG neboli Retrieval-Augmented Generation. Místo toho, abyste vkládali celý dokument do kontextového okna modelu, což je pomalé, náročné na tokeny a rychle naráží na limity, může RAG rozdělit vaše soubory na menší části a převést je na vektorová embeddingy, které jsou uloženy v lokální databázi.

Když se AI zeptáte na otázku, systém získá pouze nejrelevantnější části a pošle je modelu. Vaše soubory nikam nepůjdu; model čte jen části, které potřebuje.

Použil jsem pár nástrojů k tomu, abych toho dosáhl. Funkce LocalDocs od GPT4All vám umožní nasměrovat ji na složku a automaticky začne indexovat soubory. Pro cokoli složitějšího můžete použít AnythingLLM, který zvládá soubory PDF, Word, TXT a CSV a umožňuje vytvořit samostatná pracovní prostředí pro různé projekty.

Oba nástroje fungují zcela offline, s jedinou podmínkou, že váš model (a počítač) musí být dostatečně výkonný. Nakonec jsem použil kvantizovanou verzi LLaMA 3 s 3 miliardami parametrů přes Ollama, což je více než dostatečné pro úkoly, které jsem měl na mysli, ale klidně můžete zkusit model s 8B nebo 13B, pokud máte dostatečnou hardwarovou kapacitu. Správa souborů je také jedním z zajímavějších způsobů, jak využít lokální LLM s nástroji MCP.

Konečně jsem zahodil svou aplikaci pro chat s PDF (a nechybí mi)

Jak můj lokální LLM lépe zvládá neuspořádané dokumenty

Pro ty z vás, kteří denně pracují s hromadou PDF, bude AskYourPDF dobře známý. Je to jednoduchý nástroj, který vám umožňuje nahrát dokument, klást dotazy ohledně něj a získávat shrnutí nebo citace. Funguje dobře, ale pokaždé, když ho použijete s nějakým souborem, je tento odeslán na jejich servery, a bezplatná verze je dostačující, ale pokud plánujete vážnější práci, budete potřebovat alespoň prémiový plán za 11,99 $měsíčně.

Můj náhradník? Stačí vložit složku s PDF do LocalDocs v GPT4All, počkat, až proces vkládání dokončí, a začít klást otázky. Výsledky nejsou dokonalé, ale je výborný v získávání konkrétních dat, shrnování částí nebo pokládání specifických otázek o obsahu dokumentů.

Pro složitější dotazy můžete použít AnythingLLM, kde můžete dokumenty jednou vložit a klást otázky napříč různými relacemi. Kromě toho, protože nedocházelo k nahrávání, čekání na server a rozhodování o tom, co mi je povoleno posílat na server třetí strany, se můj pracovní postup výrazně urychlil.

Vyhledávání otázek a odpovědí v Notion AI je pro mě nyní zastaralé

Pokládání lepších otázek ve všech vašich souborech

Mé předplatné My Notion Plus se vyplatilo každý měsíc, ale to už je minulostí. Už jsem přešel z Notion na AFFiNE a s mými lokálními LLM, které dokážou vyhledávat v mých poznámkách, je funkce Q&A od Notion AI — ta, kde se zeptáte na otázku a ona prohledá celý váš workspace, aby na ni odpověděla — pro mě zastaralá.

Vidíte, místní RAG dělá přesně toto, jen bez předplatného. Reor je open-source aplikace pro zapisování poznámek s prioritou lokálního úložiště, která používá Ollama jako základ a automaticky propojuje související poznámky pomocí vektorové podobnosti. Ukázal jsem ji svému AFFiNE trezoru poznámek, které jsou uložené v Markdownu, a než jsem se nadál, měl jsem sémantické vyhledávání, automatické propojení souvisejících poznámek a integrované chatovací rozhraní, které vám umožňuje klást otázky napříč celou vaší znalostní databází. Vše běží lokálně, všechny embeddingy jsou uložené na disku a nic se nikam nikdy nahrává.

Vyhledávání souborů se stalo mnohem výkonnější

Tradiční vyhledávací nástroje se ani zdaleka nevyrovnají lokálním LLM

Používám tři různé vyhledávací aplikace ve Windows, abych našel soubory na počítači, který může být často hlučný během rušných týdnů. Pokud používáte něco jako X1 Search, pokročilou desktopovou vyhledávací aplikaci, která indexuje místní soubory, poštu, přílohy a cloudové úložiště, takže můžete s počítačem zacházet jako s vlastním soukromým Googlem, předplatné se vám brzy bude zdát zbytečné.

Jakmile budete mít lokální LLM s backendem RAG zaměřeným na vaše hlavní pracovní složky, toto předplatné přestane dávat smysl. Můžete vkládat dokumenty, kód, poznámky a exporty do lokálního vektorového úložiště, dát na to chatovací rozhraní a klást otázky běžným jazykem. Můžete nalézt soubory podle obsahu uvnitř nich a získat jak odpovědi, tak cesty k souborům. Jistě, s aplikacemi jako X1 Search nebo dokonce s bezplatnými alternativami jako Fluent Search nebo Command Palette budete mít hezčí uživatelské rozhraní, ale váš lokální LLM dokáže mnohem více než konkurence.

Náklady na používání lokální AI

Není to tak vysoké, jak si myslíš

Kromě času a trpělivosti při nastavení vlastně nemusíte vynakládat žádné náklady. To platí, pokud máte stroj schopný běhu slušného modelu. K provozování AI modelů nepotřebujete ani nejmodernější hardware; pokud máte středně výkonný systém s 16 GB RAM a GPU s asi 6 GB VRAM, může 7B nebo 13B kvantovaný model přes Ollama, například LLaMA 3, Mistral nebo Qwen, svou práci zvládnout docela dobře. Pokud víte, co znamená TOPS, může pomoci také PC s 45 TOPS.

Co to nestojí, je měsíční poplatek, smlouva o datech s firmou, kterou neznáte, nebo úzkost z toho, co se stane s vašimi soubory poté, co je nahráte na server cizí osoby. Lokální umělá inteligence dříve vyžadovala technické znalosti a drahý hardware, ale to je minulostí. Existuje spousta aplikací, které můžete používat, abyste si užili výhody lokálních LLM na svém počítači, a existují úkoly, které může váš lokální LLM zvládnout stejně dobře jako jakýkoli cloudový model.

Přestaňte platit za AI, kterou si můžete provozovat sami

Ukázalo se, že moje soubory byly chytřejší než aplikace, které je četly

Nic z toho není o tom být proti AI nebo proti SaaS. Samozřejmě existují skvělé AI služby i software, oba stojí za poplatky za předplatné, které účtují. Ale když placený nástroj jen hostuje AI model v cloudu a čte vaše soubory, je tu šance, že tuto funkci můžete replikovat na svém místním počítači.

AI modely mohou snadno běžet na vašem hardwaru, vaše soubory mohou zůstat na vašem disku a tyto předplatné lze zrušit. Vše, co to vyžaduje, je trochu dolaďování k nastavení těchto služeb, a pro mnoho pracovních postupů stojí pohodlí a výhody soukromí za tu námahu.