A PaLM név a pathways language model szavakat takarja, ami lényegében az intelligencia alatt ketyegő Pathways (Útvonal) architektúrára utal. Ennek egyik fontos tulajdonsága, hogy többcélúan alkalmazható, tehát nem csak írogat, hanem később általános mesterséges intelligenciává fejlődhet.

A Pathways sokrétű modellezést tesz lehetővé, amibe a vizuális, hangzó és nyelvi megértés egyaránt beletartozik. Ha a modell a leopárd szót dolgozza fel, vagy azt, ahogy valaki a leopárd szót kimondja, vagy egy futó leopárdot ábrázoló videót, a reakció egy dologhoz kapcsolódik belül: a leopárd fogalmához. Ez olyan modellt eredményez, ami sokkal lényeglátóbb, kevésbé részrehajló és kevesebbet téved

– áll a cég blogbejegyzésében.

Mágikus állatok

A PaLM-2-ről 92 oldalas technikai jelentést is kiadtak, amiből kiderült, hogy a LaMDA 137 milliárd paramétert, PaLM első változata 540 milliárd paramétert kezelt, a PaLM-2 jóval szerényebb 14,7 milliárdtól 100 milliárd paraméterig terjed. Ez több okból is furcsa: egyrészt kisebb számokat látunk, másrészt több számot is. Ez azért van, mert a PaLM-2 különböző méretű változatokban létezik, ezeket gekkónak, vidrának, bölénynek és unikornisnak nevezték el. 

Az architektúra emellett kevesebb paraméterrel dolgozik, de nagyon hatékonyan. A GPT-4-ről ugyan nem kerültek nyilvánosságra egzakt adatok, de a becslések szerint ezermilliárd paramétert kezel.

A teljesítmény tesztelése során a PaLM-2 versenyképesnek mutatkozott a sokkal nagyobb PaLM és GPT-4 modellekkel, a híradások szerint a GSM8K matematikai érvelési próbán felül is múlták a GPT-4-et. Ez utóbbi csak egy cseresznye a tortán, mert az új modell a Google MI-stratégiájának a megtestesülése is egyben. Itt pedig azt látjuk, hogy a modellek számítási- és energiaétvágya terén igyekeznek előnybe kerülni. A fent említett méretváltozatok közül a például a gekkó mobileszközökön offline módban működő PaLM-2 lesz.

A modell emellett nem csak eszközhöz skálázható, de alkalmazási környezethez is igazodik: a PaLM-2 nemcsak száz nyelvet ismer, de készült belőle egy egészségügyi környezetre szakosodott Med-PaLM-2, és egy másik, kiberbiztonsági környezetre specializált Sec-PaLM is. Ha nem is alakul minden hibátlanul, látható, hogy a Google a teljes riadó és a tudósokkal teli különböző alosztályaik egyetlen rohamosztagos csoporttá szervezése után konszolidálta a csapásirányt, és egyszerre igyekszik védeni az üzleti modell központját képező internetes keresést és próbál támadásba lendülni olyan területeken, mint a mobileszközök.

I Forrás: index.hu