Ha eddig azért nem futtattál helyben AI-modellt, mert „ehhez úgyis szerver kell”, a Gemma 4 12B pont ezt a kifogást próbálja lejjebb tornázni: 16 GB memóriával is célba veszi a hétköznapi laptopokat.

Mi történt

A Google bővítette a Gemma 4 modellcsaládot egy új, 12 milliárd paraméteres (12B) változattal. A „paraméter” itt a modell belső „súlyainak” száma: gondolj rá úgy, mint a modell memóriájában tárolt rengeteg apró beállításra, ami alapján szöveget generál. Minél több van belőle, általában annál jobb lehet a modell – de annál több erőforrást is kér.

A Gemma 4-et idén tavasszal négy modellel indították: két, mobilokra optimalizált kisebb verzióval (E2B és E4B), illetve két „komolyabb” opcióval (26B Mixture of Experts, és 31B Dense). A Mixture of Experts (MoE) megközelítés leegyszerűsítve olyan, mintha több „szakértő” almodellt tartanál egyben, és a rendszer mindig csak néhányat kapcsolna be a feladathoz – így hatékonyabb lehet, de a teljes csomag kezelése így is nagyobb erőforrásokat igényel. A Dense ezzel szemben „mindenhol ugyanazt a hálót” használja, nincsenek külön szakértők.

Az új 12B modell épp azt a középső sávot tölti ki, ami eddig hiányzott: jóval erősebbnek ígérkezik a mobilos verzióknál, de nem célozza a drága, dedikált AI-gyorsítók (tízezres dollár kategóriájú) világát.

Miért fontos

A generatív AI körüli hardveréhség – különösen a memóriaigény – az egyik legnagyobb gyakorlati akadály a „futtasd otthon” irányban. A Gemma 4 12B ígérete az, hogy 16 GB rendszermemóriával (RAM) vagy videomemóriával (VRAM) már értelmes minőségben lehet helyben dolgozni. A „helyben futtatás” itt azt jelenti, hogy a promptjaid és a feldolgozás nem feltétlenül mennek felhőbe: ez sokaknak költség, késleltetés vagy adatkezelési szempontból is vonzó.

Mire figyelj

  1. 16 GB mire elég valójában? A minimum memória nem ugyanaz, mint a kényelmes használat. Érdemes figyelni a gyakorlati példákat: milyen sebességgel fut, mekkora kontextust (hosszabb szövegeket) bír, és mennyire eszi meg közben a rendszer erőforrásait.
  2. „Majdnem olyan jó” – de miben? A közlés szerint a 12B a benchmarkok alapján közelíti a 26B MoE képességeit, miközben kb. fele akkora memória-lábnyomot kér. A benchmarkok viszont feladatspecifikusak; a valódi különbség sokszor a saját használati mintáidnál derül ki (kódolás, összefoglalás, kreatív írás, többnyelvűség).
  3. Licenc és ökoszisztéma: a Gemma 4 család nyitottabb, Apache 2.0 licenc alá mozdult, ami a fejlesztőknek és cégeknek általában egyszerűbb újrafelhasználást jelent. A kérdés az lesz, milyen gyorsan érkeznek hozzá jó minőségű, közösségi futtatási csomagok és optimalizált build-ek különböző platformokra.

Ha a 12B tényleg hozza a „laptopon is elég jó” szintet, az nem a csúcsteljesítmény versenyét dönti el, hanem a helyi AI mindennapi belépési küszöbét tolhatja lejjebb.