Ha valaha futtattál helyben nyelvi modellt, ismerős lehet a várakozás: a válasz szépen csordogál, tokenről tokenre. A DiffusionGemma pont ezt a „csöpögős” működést próbálja kikerülni — és a számok alapján nem is rosszul.
Mi történt
A Google DeepMind kiadta a Gemma 4 nyílt modellcsalád egy új tagját, a DiffusionGemmát, ami alapvetően eltér a megszokott szöveggeneráló modellektől. A legtöbb nyelvi modell úgynevezett autoregresszív: balról jobbra halad, és mindig a következő tokent (szó- vagy szótöredék-egységet) tippeli meg az addigi szöveg alapján.A DiffusionGemma ehelyett a képgeneráló diffusion modellek logikáját ülteti át szövegre. Gondolj rá úgy, mintha nem mondatot írna betűről betűre, hanem először „telefirkálná” a lapot halvány ceruzával, majd több gyors körben egyre pontosabban radírozná és átírná, míg a végén összeáll a tiszta szöveg. A modell egy „vászonnyi” helykitöltő tokenmezőn fut végig többször, közben egyszerre sok pozíciót javít, majd a végén egy nagy blokkban véglegesíti a kimenetet.
Miért fontos
A helyi futtatásnál (legyen az egy Nvidia DGX vagy egy erősebb gamer GPU) a sebességet gyakran az határozza meg, milyen tempóban lehet adatot mozgatni a memóriában. A DiffusionGemma ezzel szemben a szűk keresztmetszetet inkább számításra tolja át, mert akár 256 tokent is képes párhuzamosan generálni. Ennek gyakorlati hozadéka, hogy ugyanazon hardveren sokkal gyorsabban kapsz használható szöveget — ami nem csak „kényelmi” kérdés: a gyorsabb iteráció jobb felhasználói élményt, és bizonyos munkafolyamatoknál (szerkesztés, javítás, átírás) tényleges produktivitásnyereséget jelent.Mire figyelj
- Architektúra és erőforrásigény: a DiffusionGemma egy Mixture of Experts (MoE) modell. Ez olyan, mintha nem egyetlen óriási „agy” dolgozna mindig, hanem több szakértő modul közül csak néhány kapcsolna be egy adott feladathoz. A teljes méret 26 milliárd paraméter, de futtatáskor csak 3,8 milliárd aktiválódik, így a cél, hogy beférjen egy felsőkategóriás GPU kb. 18 GB VRAM-jába.
- Valós sebességelőny: mérésekben RTX 5090-en kb. 700 token/s, egy Nvidia H100-on 1000+ token/s jött ki — nagyjából 4× annyi, mint a hasonló méretű, klasszikus (autoregresszív) Gemma modelleknél.
- Mely feladatoknál lehet igazán erős: a párhuzamos „önjavítós” működés különösen hasznos lehet nem lineáris problémáknál, például beágyazott szerkesztésnél (inline editing), molekuláris szekvenálásnál vagy matematikai gráfoknál. Ars Technica példaként a Sudoku-hangolást említi: itt a későbbi mezők erősen visszahatnak a korábbi döntésekre, amit a tokenről tokenre haladó modellek nehezebben kezelnek.
A következő hetekben az lesz az igazán érdekes, hogy a diffusion-alapú szövegmodellek mennyire tudnak általános célú minőségben is felzárkózni a megszokott „balról jobbra” generáláshoz, miközben megtartják ezt a tempóelőnyt.