Pocket Lab: kapesní superpočítač pro 120B LLM bez cloudu

Tiiny AI vsází na to, že další velký krok v oblasti hardwaru pro umělou inteligenci nebude zabírát regály datacenter, ale vejde se do dlaně. Startup oznámil Pocket Lab, kapesní „superpočítač“ navržený tak, aby zvládal velké jazykové modely (LLM) s až 120 miliardami parametrů kompletně offline, bez závislosti na cloudových GPU klastrech.

Small device, big claims

Nenechte se zmást rozměry. Pocket Lab měří přibližně 14,2 × 8 × 2,53 cm a váží kolem 300 gramů, což jej činí skutečně přenosným zařízením vhodným na cesty, do terénu i do laboratorního prostředí. Přesto Tiiny AI tvrdí, že jednotka unese výkonné open‑source modely, které běžně vyžadují drahé GPU clustery. Firma slibuje schopnosti na úrovni pokročilých akademických analýz — včetně složitého vícekrokového uvažování, hlubokého kontextového porozumění a robustního rozboru textu — a to bez odesílání dat do cloudu, což je zásadní pro nasazení citlivých aplikací a pro uživatele s přísnými požadavky na soukromí.

Specs that explain the hype

Na papíře Pocket Lab připomíná kondenzovaný server s komponentami zaměřenými na maximální poměr výkonu k energetické náročnosti a velikosti. Hlavní specifikace naznačují, že jde o pečlivě dimenzovaný systém pro lokální inferenci a vývoj aplikací na okraji sítě (edge AI):

• ARMv9.2 12jádrový CPU pro obecné výpočetní úlohy a orchestraci výpočtů, optimalizovaný pro simultánní zpracování vláken a nízkou latenci při přepínání úloh.
• Vlastní heterogenní výpočetní modul skládající se z SoC doplněného o dedikované NPU (neural processing unit), který dokáže dodávat až ~190 TOPS, tedy vysoký výkon pro paralelní akceleraci neuronových sítí.
• 80 GB LPDDR5X paměti a 1 TB SSD pro uložení velkých modelů, rychlé načítání dat a nízkou latenci při práci s kontextovými okny — konfigurace navržená pro to, aby modely zůstaly v paměti a minimalizovalo se swapování na disk.
• Schopnost provozu modelů až do 120 miliard parametrů plně na zařízení díky agresivní kvantizaci a paměťově efektivním formátům, které snižují požadavky na operační paměť a šířku pásma bez výrazné ztráty kvality inferencí.
• Napájecí profil cílený na přibližně 30 W TDP a typickou systémovou spotřebu kolem 65 W, tedy výrazně nižší spotřebu než ekvivalentní serverová řešení, což otevírá možnosti pro provoz z powerbanky nebo v odbavených prostředích s omezeným přístupem k elektrické síti.
• Princip „offline‑first“ s jedním klikem nasazení pro mnoho open‑source LLM a agentních frameworků — tolik potřebná kombinace jednoduchého vývoje, testování a nasazení v offline režimu bez nutnosti složitých cloudových integrací.

How does it pull off 120B models in your pocket?

Tajemství spočívá v kombinaci vysoké hardwarové hustoty a inteligentního softwarového stacku optimalizovaného pro lokální inference. Pocket Lab obsahuje dedikované NPU navržené pro vysoký počet operací za sekundu (TOPS), ale skutečná průlomovost přichází z páru klíčových technik, které Tiiny AI integruje do svého prostředí:

• TurboSparse — neuronová úroveň řízení sparsity, tedy řízená aktivace neuronů, která umožňuje výrazné snížení počtu nutných výpočtů během inference bez citelného oslabení schopností modelu. TurboSparse dynamicky detekuje a potlačuje redundantní výpočty v interních vrstvách neuronové sítě, čímž zvyšuje efektivitu a snižuje energetickou náročnost.
• PowerInfer — open‑source heterogenní inference engine populární na GitHubu, který dynamicky rozděluje pracovní zátěž mezi CPU a NPU. PowerInfer orchestruje výpočty, alokuje části modelu tam, kde jsou vykonávány efektivněji (například matice na NPU, logika a kontrola na CPU), a tím dosahuje propustnosti srovnatelné se serverovou úrovní při zlomek energetické spotřeby.

Ve spojení s 80 GB LPDDR5X a s pokročilými technikami kvantizace (např. 4bit a smíšená přesnost), paměťově úspornými formáty a strategií rozdělení aktiv (activation sharding) se stává provoz modelů 120B na lokálním zařízení realistickým. Důležité je, že tyto metody nejsou jen teoretické — kombinace hardware‑aware kompilátorů, runtime optimalizací a komunitně ověřených knihoven umožňuje, aby inference byla stabilní, opakovatelná a dostatečně rychlá pro mnoho praktických případů používání.

Models, privacy, and real-world uses

Pocket Lab podporuje široký katalog otevřených modelů — od GPT‑OSS a Llama přes Qwen, Mistral až po Phi — což vývojářům dává volnost vybrat architekturu podle konkrétních požadavků na výkon, licenci či účel použití. Podpora open‑source modelů a frameworků pro agentní systémy rovněž znamená větší kontrolu nad modelem, možnost přizpůsobení (fine‑tuning) a auditovatelnost chování, což je klíčové pro průmyslové aplikace, akademický výzkum i regulovaná prostředí.

Protože zařízení pracuje plně offline, stává se atraktivní volbou pro nasazení citlivých systémů s přísnými požadavky na ochranu osobních údajů, pro terénní výzkum v odlehlých lokalitách i pro vývojáře, kteří chtějí rychlé iterace bez latence způsobené cloudem nebo bez opakovaných provozních nákladů za cloudové instance. Typické scénáře zahrnují: testování agentních pracovních toků přímo na stole vývojáře, pokročilé zpracování přirozeného jazyka (NLP) v offline laboratořích, offline překladové moduly pro mobilní zařízení, bezpečné asistenty pro zdravotnické či vládní instituce a nasazení v průmyslových aplikacích s omezeným přístupem k síti.

What’s next: CES and questions to answer

Tiiny AI plánuje představit Pocket Lab na CES 2026, kde bude možné získat bližší informace, vidět demo v reálném čase a prověřit chování zařízení v pilotních scénářích. Společnost zatím neoznámila oficiální cenu ani přesné datum zahájení prodeje; klíčovým momentem pro přijetí na trhu budou reálné benchmarky: dokáže kapesní zařízení pravidelně doručovat výkon srovnatelný se serverovými konfiguracemi napříč různými typy zátěže, včetně latence‑citlivých aplikací a dlouhodobého provozu při nižší spotřebě energie?

Otázky, které zůstávají otevřené, zahrnují: jaké kompromisy přináší agresivní kvantizace na kvalitu generovaných odpovědí v dlouhém kontextu; jak robustní je řešení proti teplotnímu throttlingu při delší vysoké zátěži; a jak snadné bude nasazení vlastních modelů a aktualizací zabezpečení v uzavřených provozech. Odpovědi na tyto otázky budou zásadní pro to, zda se Pocket Lab stane průlomovým nástrojem pro vývojáře, výzkumníky a firmy, které požadují výkonný, lokální a soukromí‑orientovaný computing.

Přesto Pocket Lab signalizuje zajímavý posun: edge AI se posouvá za hranici malých senzorů a do oblasti skutečně výkonných a soukromí‑zaměřených výpočetních platforem. Pokud se koncept osvědčí v praxi, může to změnit způsob, jakým vývojáři, vědci a uživatelé citlivých dat pracují s LLM — více lokálně, rychleji a s větší kontrolou nad daty i modelem.