Raspberry Pi 5 má novou rozšířující desku pro zvýšení výkonu

Raspberry Pi prodává desku AI HAT+ už více než rok, což umožňuje deskám Pi spouštět lehké modely strojového učení pro detekci objektů, tagování souborů a další úkoly. Nyní je k dispozici Raspberry Pi AI HAT+ 2, a je dostatečně výkonný na spuštění velkých jazykových modelů (LLM).

Nový Raspberry Pi AI HAT+ 2 je rozšiřující deska pro Raspberry Pi 5, poháněná čipem Halio-10H a 8GB vyhrazené paměti RAM. Může poskytnout výkon inferencí 40 TOPS (INT4), což je blízko 40-60 TOPS u jednotek pro zpracování neuronových sítí (NPU) nalezených v novějších PC čipech od Intelu, AMD a Qualcommu.

Budete schopni spustit velké jazykové modely jako Llama 3.2 1B, DeepSeek-R1-Distill 1.5B, Qwen2.5-Coder 1.5B, Qwen2.5-Instruct 1.5B a Qwen2 1.5B, a Raspberry Pi uvádí, že se vyvíjejí další modely s většími velikostmi parametrů. 8GB RAM nestačí pro modely jako GPT-OSS nebo běžný DeepSeek, ale nebylo by problémem nakonec podporovat Gemma 3 1B nebo jiné menší modely.

Deska není určena jen pro LLM. Funguje se stejným softwarovým stackem pro kameru jako původní AI HAT+, takže můžete nastavit modely založené na vidění pro detekci objektů, odhad polohy nebo jiné workflow strojového učení. Raspberry Pi uvádí, že výkon pro modely vidění jako Yolo je „zhruba ekvivalentní výkonu jeho předchůdce s 26 TOPS, díky vestavěné paměti RAM.“

Raspberry Pi uvedl ve svém blogovém příspěvku: „Cloudové LLM od OpenAI, Meta a Anthropic mají rozsah od 500 miliard do 2 bilionů parametrů; okrajové LLM běžící na Raspberry Pi AI HAT+ 2, které jsou velikostně přizpůsobeny dostupné paměti na desce, obvykle pracují s 1-7 miliardami parametrů. Menší LLM jako tyto nejsou navrženy tak, aby odpovídaly znalostem větších modelů, ale spíše k provozu v rámci omezeného datasetu.“

Pokud pracujete na projektu, který by mohl využít strojové učení nebo generativní AI modely, například fotoaparát, který rozpozná, jaké ptáky vidíte prolétat za oknem, nebo systém převodu textu na řeč, Raspberry Pi 5 s AI HAT+ 2 by mohl být jednym ze způsobů, jak toho dosáhnout. Doufejme, že seznam dostupných modelů se časem rozroste, takže se budou rozšiřovat i možnosti jejich využití.

Od dnešního dne si můžete koupit Raspberry Pi AI HAT+ 2 za 130 $v autorizovaných obchodech. To je o něco dražší než samotný Raspberry Pi s 8 GB RAM, který nyní stojí 95 $.

Zdroj: Raspberry Pi