Mi ez pontosan?

A letölthető modell neve: GPT-OSS-120B.
Ez egy szupermasszív nyelvi modell, amely:

• 120 milliárd paraméterrel dolgozik (ez háromszor nagyobb, mint a LLaMA 2-70B),
• többnyelvű szövegértésre, szövegírásra, kódolásra is alkalmas,
• teljesítménye eléri vagy meghaladja a GPT-3.5 szintjét bizonyos benchmarkokban,
• kereskedelmi célra is szabadon felhasználható – ami ritkaságszámba megy a nagy modellek között.

Miért nagy szám ez?

A 2023–2024-es években a nyílt nyelvi modellek (pl. Mistral, LLaMA) egyre jobbá váltak, de a legnagyobb modellek – mint a GPT-4 vagy Claude 3 – zártak maradtak. Az OpenAI most ezt a trendet megfordította: olyan méretű modellt tett közzé, amelyet eddig csak egyes cégek futtathattak.

Letölthető lesz?

Már az: https://openai.com/open-models/?utm_source=chatgpt.com

Miben más, mint a GPT-4?

Ez nem a GPT-4 nyílt változata. A GPT-OSS egy másik architektúrára épülő, kisebb tudásbázisú, de teljesen nyílt alternatíva – viszonyítás képpen inkább gondoljuk, hogy a GPT-3.5 és LLaMA 3 közötti rést célozza meg, és célja nem a dominancia, hanem a széleskörű kutatási és fejlesztési felhasználás.

Mekkora rendszer kell a GPT‑OSS‑120B-hez?

Mivel a modell tesztelése hatalmas hardverigénnyel járna, saját benchmarkot nem futtattunk. Ehelyett a témát megvitattuk a GPT-4o és a GPT‑5 Thinking mesterséges intelligenciákkal. Amennyiben a válaszaik halucinációmentesek voltak (amit a jelenlegi ismeretekkel nem lehet teljes bizonyossággal ellenőrizni), akkor a következő, a TechRadar tesztjével kiegészített becslések szolgálhatnak kiindulópontként a hardverigények megértéséhez.(A következő szakasz a ChatGPT segítségével készült).

A TechRadar cikke szerint a modell akár gyengébb gépeken is működésre bírható – ez azonban valószínűleg demonstrációs vagy korlátozott célú tesztelésre érthető. A tényleges felhasználási mód – például kutatás, fejlesztés vagy alkalmazásépítés – jelentősen megnöveli az erőforrásigényt. A válaszidő, a stabilitás és a hatékonyság nagyban függ a promptok összetettségétől, a párhuzamos folyamatok számától és az operációs környezettől is. Gördülékeny, hosszú távon is megbízható használathoz tehát erősebb infrastruktúra szükséges – különösen professzionális környezetben.- vélte az AI.

A GPT‑5 Thinking minimum javaslata (egyszálas, közepes kontextusú inferenciához):

• GPU: 1 × 80 GB HBM GPU
• (pl. NVIDIA H100 / A100 80 GB vagy AMD MI300X – utóbbi akár 192 GB HBM-mel)
• CPU / RAM: 32–64 magos CPU és 128–256 GB RAM
• Tárhely: 1–2 TB NVMe SSD (legalább 7 GB/s írás/olvasás), a modell súlyai és gyorsítótárai miatt

Ez az ajánlás egybevág az OpenAI közlésével is, miszerint a GPT‑OSS‑120B „80 GB GPU-memóriában elfér”.

A GPT‑4o kissé magasabb becslést adott, mivel az inferencia mellett a kényelmes és párhuzamos használatot próbálta figyelembe venni. Az általa javasolt konfiguráció már adatközponti szintű hardvert feltételezett, így azt jelen cikkben nem részletezzük, mivel a legtöbb felhasználó számára nem releváns.

Mi következik?

A mesterséges intelligencia világában ez a bejelentés újraéleszti a versenyt a nyílt modellek térnyeréséért, és lehetőséget ad független fejlesztőknek, kutatóknak, startupoknak is, hogy magas szintű MI-eszközökkel dolgozzanak – felhő nélkül, saját infrastruktúrán.

A mesterséges intelligencia jövője nyitottabb, mint valaha – de csak azoknak, akik tudják, mire nyílik az ajtó.