Postavil jsem si soukromý LLM na svém domácím PC pomocí USB disku — ví jen to, co jsem na něj nahrál

Když zadáváte citlivý kód nebo výzkum do cloudové AI, ztrácíte kontrolu nad tím, kam tyto informace putují. Může se to zdát jako malá daň za pohodlí chytrého asistenta, ale ve skutečnosti předáváte svá data serverům, které nevlastníte. Je to riziko, které většina lidí přijímá bez přemýšlení. Nemusíte si však vybírat mezi pokročilými jazykovými modely a bezpečím svých vlastních soukromých souborů; stačí přejít na lokální LLM.

Rizika ochrany soukromí při zpracování v cloudu

Vaše data nikdy nejsou tak bezpečná, jak si myslíte, když používáte cloud

Když posíláte osobní otázky a úryvky kódu na externí server, posíláte svůj soukromý text, duševní vlastnictví a citlivé informace přes internet na počítače, které vlastní někdo jiný. Je snadné na to zapomenout, protože to působí jako váš vlastní domácí počítač.

Spouštění vašich úkolů přes tyto centralizované cloudové systémy vytváří významná rizika pro ochranu vašich osobních údajů a kontrolu nad nimi. Externí společnosti zpracovávají vaše soukromé informace na strojích, které nespravujete, což představuje obrovskou bezpečnostní zranitelnost.

Jelikož mohou být vaše data předána externím partnerům v rámci těchto sítí, jsou vaše informace tak bezpečné, jak je nejslabší článek v tomto řetězci. Někteří hlavní poskytovatelé cloudových služeb uchovávají vaše podněty a výsledky i poté, co vypnete sledování historie. Tato data mohou být uložena přibližně 72 hodin kvůli obnově systému a mohou zůstat na externích serverech až tři roky, pokud jsou označena k lidské kontrole nebo školení.

I když se můžete snažit chránit své soukromí tím, že se vzdáte účasti na tréninku dat, poskytovatelé obvykle vynucují kompromis tím, že zakážou klíčové funkce nebo naruší funkčnost aplikace. To znamená, že skutečné soukromí v cloudu obvykle vyžaduje, abyste se těchto funkcí vzdali, čímž zůstávají vaše data vystavena, pokud nepřijmete narušený zážitek.

Pak je tu školení, kterým musí AI projít. Vaše výzvy a používání jsou ideální pro školení AI. Vzhledem k tomu, že generativní AI je zabudována do toho, jak technologie funguje, jakmile vaše data vstoupí do systému, není možné zaručit, že budou někdy úplně smazána.

Spouštění lokálních modelů s externím úložištěm

Můžete nosit celé své nastavení umělé inteligence v kapse

Vytvoření vlastní soukromé, offline AI začíná stažením softwaru, který spouští open-source jazykové modely přímo na procesoru vašeho počítače. Líbí se mi GPT4All, protože má málo požadavků a poskytuje chatovací okno na ploše, které funguje bez připojení k internetu. Používáním komprimovaných souborů modelů GGUF pro úsporu místa a paměti můžete tyto modely spouštět na běžných počítačových procesorech a grafických kartách.

Protože vše běží lokálně na vašem vlastním počítači, vaše otázky a data nikdy necestují na server v cloudu, což udržuje vaše data soukromá. Můžete dokonce zablokovat softwaru přístup k vaší síti úplně, čímž zajistíte, že se nikdy nebude pokoušet připojit k internetu ani uniknout data.

GPT4All vám také umožňuje nastavit váš model s pravidly a tréninkovými daty. Musíte mít připravené úložiště. Rád používám USB disk s kapacitou 1 TB.

Stačí jít do svých chatů, a pak uvidíte tlačítko LocalDocs na pravé straně. Odtud můžete přidat cokoli, co chcete, jen se ujistěte, že už máte složku s dokumenty. Někdy používám své vlastní dokumenty, ale také jednu mám na flash disku, který jsem zmínil dříve, takže mohu jen mezi počítači přecházet, aniž bych to musel znovu dělat.

Rád ho zkouším na těch nejhorších požadavcích, které mě napadnou. I když to zprvu vypadá hloupě, trénujete ho tím, aby napodobovalo selhání. Pokud ho budete trénovat jen na věcech, ve kterých bude dobré, ve skutečnosti ho nevylepšujete. AI funguje lépe, když má určité omezení, a opravy, které budete muset poskytovat, můžete použít jako dokumenty, které tato omezení budují.

Ujistěte se, že to časem aktualizujete; vlastně to netrénujete. Tato část trvá chvíli, ale začnete si všímat, jak mnohem lépe to funguje, když přidáte více dokumentů.

To je omezeno tím, jak výkonný je váš počítač, protože je potřeba mnohem více výpočetního výkonu pro procházení všech vašich dokumentů. Počet dokumentů není tak důležitý jako jejich velikost a obsah. Rád je odděluji, protože je díky tomu snadné najít ty, které chcete upravit nebo smazat, ale můžete je všechny nechat pohromadě, pokud je to nejjednodušší.

Svůj USB disk můžete stále používat i na jiné věci. Já svůj používám na mnoho dalších věcí, ale ta jedna složka je jen pro AI. Doporučuji mít volný gigabajt, pro případ, že byste chtěli vytvořit postavu nebo opravdu složitou AI.

Bezpečný a výkonný lokální výkon

Nemusíte obětovat rychlost, abyste zůstali v soukromí

Jeden z nejrozšířenějších mýtů o umělé inteligenci je, že ztratíte veškerý výkon, pokud se odmítnete připojit k externímu cloudovému serveru. Už jsme daleko za časem, kdy AI potřebovala drahá zařízení. USB je celkem levné a pravděpodobně jej máte někde po ruce.

Můj pracovní počítač je starší, a přesto vypisuje věci zhruba stejně rychle, jako je dokážu přečíst. Takže jakmile začne psát, není to dlouhé ani časově náročné. Řekl bych, že nejdelší čas zabere získání všech informací, než začne. I tehdy to není dlouhé čekání.

Jen se ujistěte, že model, který vyberete, je GGUF nebo AWQ. Velikosti těchto souborů jsou zmenšeny až o 75 %, přičemž si zachovávají 95 % až 99 % přesnosti a logiky původního modelu. I přes vše, co dělá, vůbec nepotřebujete internet.

Vytrénujte si vlastní AI

Přesunutí vašeho AI nastavení na místní disk na domácím počítači je velká změna. Vyžaduje to určité technické nastavení, aby cesty k souborům zůstaly statické, a jste odpovědní za údržbu vlastního hardwaru a záloh. Pokud rádi používáte obrovský rozsah špičkových cloudových poskytovatelů pro složité úkoly, může se lokální model jevit jako úplně jiný nástroj. Nicméně pro každého, kdo chce analyzovat proprietární kód nebo soukromé dokumenty, aniž by umožnil společnosti sklízet jejich data, je to lepší cesta.