Qualcomm: Smartphony a výzvy pro 100miliardové modely

Generální ředitel Qualcommu Cristiano Amon uvedl, že některé společnosti zabývající se umělou inteligencí vyvíjejí chytré telefony, které by do roku 2028 mohly nepřetržitě provozovat jazykové modely s 100 miliardami parametrů.

Amon to řekl v rozhovoru pro Fireside Alpha 10. října 2026 a odmítl jmenovat zapojené společnosti.

Provozování modelu s 100 miliardami parametrů na telefonu naráží na zásadní omezení paměti. 4bitově kvantovaný 100B model vyžaduje zhruba 50 gigabajtů RAM a 2bitová varianta by stále potřebovala asi 25 gigabajtů pouze pro samotný model, aniž by se započítal operační systém, aplikace a vyrovnávací paměť kontextu.

Qualcomm a další uvádějí jako největší překážky dostupnost a cenu DRAM. Společnost uvedla, že průmysl pravděpodobně brzy nepřekročí běžný práh 16 gigabajtů paměti a výrobci zredukovali varianty s vyšší kapacitou RAM kvůli napjatým trhům s DRAM, přestože před zhruba rokem nabízely telefony s Androidem až 24 GB LPDDR5X.

Nepřetržité inferování hustších modelů rovněž zvyšuje zahřívání a riziko tepelných omezení, což zůstává praktickým limitem i kdyby byla k dispozici samotná paměť.

Změny v balení čipsetů, včetně Apple A20 Pro a Qualcomm Snapdragon 8 Elite Extreme Gen 6, řeší některé integrační problémy, ale neodstraňují paměťovou úzkou hranu.

Technická řešení zahrnují agresivní kvantizaci, která výrazně snižuje nároky na paměť; 1bitové varianty se mohou vejít do DRAM, ale podle hodnocení v oboru se kvalita modelu, zejména v oblasti uvažování, výrazně zhoršuje při kvantizaci pod 4 bity.

Další přístup je Mixture of Experts s offloadingem expertů, kde je v RAM pro každý token aktivní pouze podmnožina expertů a zbytek zůstává na flash úložišti. Apple zkoumal provoz modelů z vestavěné flash paměti, ale úložiště UFS a NVMe jsou stále pomalejší než DRAM a mohou snížit rychlost inferencí.

Distilace modelů je prozatím komerčně přijatelnější cesta: destilované modely 20B až 30B mohou na zařízení přiblížit výkon některých 100B modelů a zároveň udržet nároky na paměť a teplo zvládnutelné.

Amon neposkytl technickou cestovní mapu ani neurčil partnery. Dostupnost DRAM, její cena a tepelné limity zůstávají klíčovými omezeními pro nativní provoz 100B modelů na chytrých telefonech do roku 2028.