Proč jazykové modely nedokážou nahradit lidský génius

Představte si Alberta Einsteina o samotě s myšlenkovým experimentem. Představí si, že je v uzavřeném výtahu, volně padá vesmírem, a z toho tichého mentálního obrazu vyvodí rovnice, které přepisují fyziku. Ten okamžik, čistá intuice a smyslová představivost, skok s téměř žádnými daty, je druh kreativního skoku, který současné jazykové modely obtížně napodobují.

Proč moře textu není totéž jako zažitý svět

Vědec z DeepMindu Tom Zahavy to v nedávné analýze s názvem 'jazykové modely nedokážou skočit' vyjádřil ostře. Jeho argument rozdělil myšlení do tří režimů: indukce, dedukce a generování hypotéz. Moderní modely v prvním bodě excelují. Komprimují hory vzorů a dokážou předvídat další větu s neobyčejnou přesností. Pokročilé systémy také obstojně zvládají dedukci; automatizované nástroje pro odvozování, včetně projektů jako AlphaProof, ukazují, že stroje mohou sledovat logické řetězce, když jsou jim pravidla dána.

Ale když jde o generování hypotéz, tedy o akt představování si nového rámce na základě téměř žádných empirických vstupů, stroje selhávají. Proč? Protože postrádají tělo ve světě a chybí jim smyslová intuice, kterou lidé používají k vytváření kauzálních vazeb. Einsteinovy počáteční předpoklady nelze odvodit čistě analýzou existujících textů. Jeho vhled vznikl z vtělených metafor a smyslových myšlenkových experimentů, ne z statistického vyhledávání vzorů v literatuře.

Někteří myslitelé, například Jürgen Schmidhuber, dříve chápali vědecké objevy jako extrémní formu komprese dat. DeepMind tuto pozici zpochybňuje. Práce ukazuje, že revoluční teorie často vznikají v kontextech chudých na data, založené na kontrafaktuálních scénářích a živé imaginativní syntéze. Jazykové modely, trénované na retrospektivních vzorcích, zřídka vynalézají nové ontologie, které by přeformulovaly, jak je svět chápán.

S tím jsou spojené praktické důsledky. Současné nástroje umělé inteligence pro kódování a automatizované objevování zůstávají omezené předem definovanými rámci. Dokážou optimalizovat uvnitř krabice. Mají potíže překreslit samotnou krabici. A žádné množství dalšího výpočetního výkonu, větší datová centra nebo intenzivnější trénink automaticky neposkytnou typ kauzální intuice, který stojí za radikálními vědeckými skoky.

Co to tedy znamená pro výzkum a průmysl? Předefinuje očekávání. Jazykové modely jsou silnými spolupracovníky pro úkoly s velkým množstvím vzorů, pro vypracovávání návrhů, zpřesňování hypotéz a zkoumání různých permutací. Doplňují, místo aby nahrazovaly, lidskou jiskru, která vynalézá otázky a koncepční nástroje. Jinými slovy: skvělé pro vytváření opory. Ještě nejsou schopny samy iniciovat revoluce.

Výpočetní rozsah není náhradou za vtělený vhled, lidská představivost stále provádí ten skok.

Existuje otevřená cesta vpřed. Hybridní přístupy, které propojují modely se senzory, experimenty a interaktivními prostředími, by mohly mezeru zmenšit. Ale dokud stroje nezískají formy situovaného porozumění a kauzální intuice přesahující text, nejnápaditější vědecké myšlenky zůstanou v oblasti lidského myšlení.