Az AI-versenyben nem mindig az nyer, aki a legnagyobb modellt építi. Egyre többet számít, hogy mennyire gyorsan, mennyire olcsón és mennyire testre szabhatóan tud elvégezni valódi munkát.

Mi történt

Az Nvidia bemutatta a Nemotron 3.5 család három új tagját. A központi szereplő a Nemotron 3.5 Super VL, egy 120 milliárd paraméteres, nyílt súlyozású modell. A „paraméter” leegyszerűsítve a modell belső beállításait jelenti: minél több van belőlük, annál nagyobb a modell kapacitása, bár ez önmagában még nem garancia a jobb eredményre. A Super VL-t vállalati, folyamatosan működő AI-ügynökökhöz szánják, vagyis olyan rendszerekhez, amelyek nem csak válaszolnak egy kérdésre, hanem több lépésen, akár napokon átívelő feladatokat is végig tudnak vinni.

Az Nvidia állítása szerint a modell kiemelkedően gyors a saját kategóriájában, és bizonyos összehasonlító mérésekben jelentős előnyt mutatott hasonló méretű riválisokkal szemben. Emellett azt is hangsúlyozza, hogy utólagos finomhangolással komoly pontosságnövekedés érhető el speciális területeken. Ez a „post-training” lényegében olyan, mintha egy általános célú dolgozót utólag egy konkrét munkakörre képeznél át: az alapmodell nem feltétlenül a legerősebb mindenben, de saját adatokkal és célzott tanítással sokkal hasznosabbá válhat egy adott vállalat számára.

A Super VL mellett két kisebb, úgynevezett edge modell is érkezik: a Nemotron 3.5 Bolt 74B-A9B 24GB és a Nemotron 3.5 Bolt E4B 4GB. Az edge AI azt jelenti, hogy a modell helyben, helyi eszközön vagy saját infrastruktúrán is futhat, nem feltétlenül kell hozzá állandó felhős kapcsolat. Gondolj rá úgy, mint a különbségre egy online szolgáltatás és egy helyben telepített program között: az utóbbi jobban kézben tartható, és bizonyos környezetekben gyorsabb vagy biztonságosabb is lehet.

Miért fontos

A bejelentés túlmutat egy új modellen. Az elmúlt években a nyílt súlyozású AI-modellek között több kínai fejlesztés diktálta a tempót, miközben a zárt modellek főleg amerikai cégeknél koncentrálódtak. Most viszont látszik egy elmozdulás: nyugati és amerikai szereplők is egyre komolyabban jelennek meg a nyílt modellek mezőnyében. Ez a vállalatoknak azért érdekes, mert a nyílt súlyozású modelleket saját adatokkal lehet tovább finomítani, és saját infrastruktúrán lehet futtatni, ami egyszerre jelenthet nagyobb kontrollt, jobb testreszabhatóságot és kedvezőbb biztonsági helyzetet. A ZDNet értelmezésében ehhez az is hozzájárul, hogy a közelmúlt biztonsági incidensei után már kevésbé tartható az az egyszerű elképzelés, hogy csak a nyílt modellek jelentenek kockázatot.

Mire figyelj

  1. Az első valódi teszt nem a benchmarkoknál lesz, hanem éles vállalati használatban. Ott derül ki, hogy a gyorsaság és a pontosság mennyire marad meg összetett, hosszú munkafolyamatokban.
  2. Érdemes figyelni, mennyire lesz népszerű a post-training vállalati környezetben. Ha a cégek valóban könnyen saját feladataikra tudják szabni ezeket a modelleket, az fontos versenyelőny lehet a zárt rendszerekkel szemben.
  3. A kisebb edge modellek sorsa is sokat elárul majd. Ha helyi futtatás mellett is használható teljesítményt adnak, az új lendületet adhat azoknak a megoldásoknak, ahol az adatokat nem akarják vagy nem tudják felhőbe küldeni.
  4. A nyílt modellek földrajzi versenye sem mellékes. Ha az amerikai és európai fejlesztések tartósan felzárkóznak, az beszerzési, megfelelőségi és kiberbiztonsági szempontból is átrendezheti a vállalati döntéseket.