PEPS: nová metoda pozičního zakódování pro textury

Přemýšlejte o textuře jako o melodii. Jednoduché souřadnice si pobrukují melodii. Představte si, že tu melodii přearanžujete podél cyklické Lissajousovy křivky tak, aby obsahovala mnohem více harmonik. To v podstatě navrhuje projekt AMD nazvaný Promítnuté poziční zakódování (PEPS).

Nový obrat v pozičním zakódování

Tradiční neuronální komprese textur spoléhá na implicitní neuronové reprezentace (INR). Do vícevrstvého perceptronu (MLP) zadáte nízkodimenzionální souřadnice textury a síť se naučí znovu vytvořit obrazové detaily s minimální paměťovou stopou. Poziční zakódování je ta tajná přísada: pozvedne souřadnice do vyššího dimenzionálního sinusového prostoru, takže MLP může zachytit jemné detaily.

PEPS přehodnocuje tento způsob pozvednutí. Místo toho, aby se každé sinusové vložení chovalo jako izolovaný vektor, přistupuje AMD k mapování těchto vložení na body podél Lissajousových křivek a poté vzorkuje enkodér nebo síť v těchto promítnutých bodech. Výsledkem je rozšířená informační množina, se kterou může INR pracovat. V praktických pojmech může model reprezentovat bohatší obsah textury aniž by se měnil základní architektonický skelet sítě, což má dopad na efektivitu komprese textur a kvalitu výsledku.

Háček je v nákladech. Více vzorkování znamená více výpočetního výkonu a více přenosu paměti. Experimenty AMD na GPU 9070 XT ukazují tento kompromis na jasných číslech: vytvoření tříkanálové textury 1024 by 1024 trvalo v jejich základní verzi 4,32 milisekundy. Grid-PEPS to zvýšilo na 5,47 milisekundy. Optimalizovaná varianta zvaná Grid-PinkPEPS tuto penaltu snížila na 4,86 milisekundy, ale ani ta nepřekonala základní verzi. Tyto dodatečné cykly plynou z přídavných promítnutí a náročnějších přístupů do paměti, které PEPS vyžaduje.

Tento výpočetní přesah není katastrofou. Jde o návrhové rozhodnutí. Pokud je vaší prioritou surová účinnost komprese a snížení objemu úložiště, PEPS nabízí nový nástroj. Pokud je hlavním kritériem nízká latence pro renderování v reálném čase, budou prozatím vhodnější lehčí enkodéry a postupy.

Další zajímavý úhel pohledu: trik není omezen jen na barevné textury. PEPS lze aplikovat i na signované vzdálenostní pole (SDF), která stojí za mnoha moderními přístupy k geometrii a objemovému renderování. SDF obvykle vyžadují vysoké rozlišení sítí, které spotřebovávají velké množství VRAM. Kompaktní a expresivní INR, který zachovává věrnost detailů, by mohl významně snížit paměťový tlak ve scénách, které by jinak potřebovaly rozsáhlé texturové a geometrické buffery.

Bude PEPS součástí vašeho dalšího ovladače Radeon? Ne hned. Výzkumná práce byla prezentována na I3D a představuje slibné technické nápady, ale průmyslové přijetí za výzkumem zaostává. Nvidia už zveřejnila některé nástroje a demo zaměřené na pracovní postupy neuronálních textur, přesto žádný mainstreamový titul dosud neobsahuje plnou pipeline pro neuronální kompresi textur. Veřejné materiály AMD zůstávají experimentální a neoznačené; společnost ve svých dokumentech stále používá obecnou terminologii místo spotřebitelsky orientovaného názvu.

Je tu širší kontext, který je potřeba mít na paměti. Průmysl se stále prodírá tím, čemu někteří říkají ramapokalypsa. Grafické karty z poloviny dekády s 8 gigabajty paměti jsou stále běžné, takže každá technika, která snižuje využití paměti bez dramatických hardwarových nároků, má praktický význam. PEPS přesně zapadá do této oblasti: umožňuje expresivnější kompresi za cenu výpočetního výkonu, což může být rozumný kompromis pro studia a herní enginy, které dokážou tuto zátěž CPU/GPU rozložit.

Nakonec PEPS působí jako elegantní experiment s praktickými dopady. Posouvá hranice toho, jak lze poziční zakódování využít, a kombinuje prvky geometrie a zpracování signálu, aby dal INR více prostoru pro vyjádření. Očekávejte více odborných prací, další optimalizace a pomalý, opatrný přenos z laboratorních demonstrací do nástrojů a enginů. Prozatím je PEPS zajímavou zastávkou na cestě k efektivnějším tokům obsahu, nikoli hotovou spotřebitelskou funkcí.