
llm-d 1.0: nyílt infrastruktúra a nagy nyelvi modellek elosztott kiszolgálásához. Illusztráció: WikiAI.hu, MI-generált kép.
WikiAI.hu · Hírek · llm-d 1.0 · AI-infrastruktúra · elosztott inferencia
2026. október 20-án, a PyTorch Conference North America eseményéhez kapcsolódva megjelent az llm-d 1.0. A Google Cloud, az IBM, a Red Hat és partnereik részvételével fejlesztett nyílt forráskódú rendszer a nagy nyelvi modellek (LLM-ek) több gépen történő, üzemszerű kiszolgálását segíti. Nem új chatbot vagy nyelvi modell jelent meg: a változás abban a háttér-infrastruktúrában történik, amelytől az AI-alkalmazások válaszideje, terhelhetősége és üzemeltetési költsége is függhet.
Az 1.0-s kiadás központi újdonsága a több felhasználót és AI-ügynököt kiszolgáló rendszerek megbízhatóbb működtetése. A projekt a korábbi teljesítménytechnikákat – például a kontextust figyelembe vevő kérésirányítást és a gyorsítótár kezelését – stabilabb API-kkal, terhelési prioritásokkal és frissítési mechanizmusokkal egészíti ki. A bejelentés dátuma 2026. október 20.; a WikiAI.hu jelen híre 2026. október 25-én készült a nyilvános elsődleges források alapján.
Mi az llm-d, és miért fontos az elosztott LLM-kiszolgálás?
Az llm-d egy Kubernetes-alapú, nyílt forráskódú, elosztott inference-infrastruktúra. Az inference itt azt jelenti, hogy egy már rendelkezésre álló AI-modell a beérkező kérésekből válaszokat állít elő. Ez különbözik a modell tanításától: az llm-d elsődlegesen nem új modellt fejleszt, hanem a modellek kiszolgálásához szükséges erőforrásokat hangolja össze.
Nagy terhelésnél az AI-szolgáltató nem feltétlenül egyetlen szerveren futtatja a modellt. Több modellkiszolgáló, GPU vagy TPU dolgozhat párhuzamosan. Az llm-d az olyan futtatómotorok, mint a vLLM és az SGLang, valamint a Kubernetes erőforrás-kezelési lehetőségei között teremt összehangolt működést. A cél, hogy egy kérés ne véletlenszerűen jusson egy szerverre, hanem lehetőleg oda, ahol az adott feladathoz szükséges feldolgozott kontextus és szabad kapacitás is rendelkezésre áll.
A projektet 2025-ben a Red Hat, az IBM, a Google Cloud, a CoreWeave és az NVIDIA indította. Az llm-d jelenleg a Cloud Native Computing Foundation (CNCF) Sandbox projektje. A fejlesztők 2026. októberi közlése szerint a munkában több mint 500 közreműködő vett részt, több mint 25 szervezettől. A Sandbox-státusz a projekt alapítványi besorolását jelöli, nem önmagában valamennyi telepítés független minőségtanúsítványát.
Mi változott az llm-d 1.0 verzióban?
Az 1.0 nem a semmiből hozza létre az elosztott inferenciát. A korábbi kiadásokban is megjelent az intelligens kérésirányítás, a KV-cache tehermentesítése és a modellfeldolgozás egyes szakaszainak elkülönítése. A mostani fejlesztés fő hangsúlya az üzemeltetésen van: hogyan maradjon használható ugyanaz a rendszer akkor is, amikor sok, eltérő prioritású feladat érkezik, és közben frissíteni is kell az infrastruktúrát.
Prioritás és igazságosabb erőforrás-elosztás
Az új flow control a feladatok prioritását és a különböző felhasználói vagy alkalmazási csoportok közötti erőforrás-elosztást is figyelembe veszi. Egy hirtelen sok kérést indító AI-ügynök munkája így nem feltétlenül szorítja ki a gyors választ igénylő interaktív kéréseket. Ez különösen a közös infrastruktúrán több ügyfelet kiszolgáló szolgáltatóknál fontos.
Stabilabb API és biztonságosabban végrehajtható frissítések
Az llm-d 1.0 stabil v1 konfigurációs alapokra és megerősített kérésfeldolgozási útvonalra épít. A rendelkezésre állási megoldások, a routerek tartalék működése és a DisaggregatedSet segítségével a projekt támogatja a szolgáltatást megszakítás nélkül célzó, összehangolt frissítéseket. Ez nem általános, minden hibát kizáró garancia: a tényleges rendelkezésre állás az adott telepítésen és az üzemeltetésen is múlik.
AI-ügynökök ismétlődő feladatainak kezelése
Az ügynökök gyakran több körben dolgoznak: újra megnyitnak korábbi kontextust, kódot elemeznek, eszközeredményekre várnak, majd folytatják a munkát. Az 1.0 támogatja a munkamenethez igazodó kérésirányítást és az egyes körök prioritásának kezelését, hogy a korábban már feldolgozott kontextust lehetőség szerint ne kelljen minden lépésnél újra kiszámítani.
Miért számít a KV-cache az AI-ügynökök teljesítményében?
Egy hosszú dokumentumot vagy programkódot értelmező LLM számára erőforrásigényes feladat a bemeneti szöveg feldolgozása. A KV-cache a modell futása során képződő köztes számítási állapotokat tárolja, amelyek bizonyos feltételek mellett későbbi kéréseknél is újrahasznosíthatók. Ha a következő kérés olyan kiszolgálóhoz érkezik, amely már rendelkezik a szükséges közös szövegelőzmény feldolgozott állapotával, csökkenthető a felesleges újraszámítás.
Ez nem azonos azzal, hogy egy AI-asszisztens tartósan „megjegyzi” a felhasználó személyes adatait vagy a korábbi beszélgetéseit. A KV-cache futtatási és erőforrás-optimalizálási technika, nem általános, hosszú távú személyes memóriarendszer. Az llm-d az ilyen gyorsítótárhoz kapcsolódó információkat is használhatja a szerverválasztásnál, és több tárolási szint között kezelheti az állapotot.
Másik fontos technika a prefill és a decode szétválasztása. Az előbbi a bemeneti kontextus feldolgozásához, az utóbbi az új tokenek előállításához kapcsolódik. Eltérő számítási és memóriaigényük miatt nagyobb rendszerekben előnyös lehet külön erőforráscsoportokra osztani őket. Az llm-d az ilyen működést is képes koordinálni.
Mekkora gyorsulást mért a Google az llm-d technológiával?
A Google Cloud 2026. október 20-i beszámolója szerint egy Ironwood TPU (TPU 7x) infrastruktúrán futtatott, AI-alapú programozási terhelésnél a kontextus-előzményt figyelembe vevő útválasztás és a gazdagép-memóriába történő cache-tehermentesítés együtt több mint 85%-kal csökkentette az első tokenig eltelt medián időt (TTFT), és 2,4-szeres teljes áteresztőképességet eredményezett egy egyszerű Kubernetes Service-alapú elosztáshoz képest.
Fontos korlát: ezek a Google által közölt, konkrét hardverre, feladattípusra, beállításokra és összehasonlítási alapra vonatkozó eredmények. Nem jelentik azt, hogy minden LLM, AI-alkalmazás vagy magyar weboldal 85%-kal gyorsabb lesz, és azt sem, hogy a WikiAI.hu saját teljesítménymérése ilyen eredményt igazolt volna. A teljesítmény megfelelő értékeléséhez a modell, a bemeneti hossz, a hardver, a párhuzamos kérések és az üzemeltetési környezet egyaránt számít.
A Google a PyTorch Conference bemutatójában egy 1000 elkülönített AI-ügynökkel végzett demonstrációról is beszámolt, amelyek közös llm-d végponton keresztül használtak különböző modellkiszolgálókat és gyorsítókat. Ez a fejlesztés működését szemléltető bemutató, nem önmagában az összes felhasználási helyzetre érvényes teljesítménygarancia.
Miért lehet fontos ez a magyar fejlesztőknek és vállalatoknak?
Az llm-d elsősorban azoknak a fejlesztői, platformüzemeltetői és vállalati csapatoknak lehet releváns, amelyek saját vagy bérelt GPU-/TPU-kapacitáson szolgálnak ki nagy nyelvi modelleket, és több alkalmazás vagy AI-ügynök egyidejű terhelését kezelik. Ilyen környezetben az egyes kérések kiszolgálási ideje, a gyorsítótár újrahasználata és a hardver kihasználtsága közvetlen üzemeltetési kérdés.
Egy magyar KKV számára ebből nem az következik, hogy azonnal llm-d klasztert kell telepítenie. Ha a vállalkozás kész AI-szolgáltatást használ, a modellkiszolgálás infrastruktúráját jellemzően a szolgáltató működteti. Az llm-d akkor válhat közvetlen döntési tényezővé, ha a cég vagy fejlesztőpartnere saját modellszolgáltatási rendszert tervez, és az elosztott üzemeltetés költségeit és bonyolultságát is vállalja.
A szakmai tanulság szélesebb körben is érvényes: az AI-ügynökök minőségét nemcsak maga a modell határozza meg. A válaszidő, a terheléskezelés, a jogosultságok és a működés megbízhatósága is része a valódi felhasználói élménynek. A nyílt infrastruktúra nagyobb választási lehetőséget adhat a fejlesztőknek, de a megfelelő rendszer kiválasztása továbbra is mérést és műszaki tervezést igényel.
Ugyanaz az llm-d, mint az MCP vagy egy WordPress AI-integráció?
Nem. Az llm-d a nagy nyelvi modellek számítási kiszolgálását és az erőforrások elosztását szervezi. A Model Context Protocol (MCP) ezzel szemben azt szabályozza, hogyan kapcsolódhat egy támogatott AI-alkalmazás külső eszközökhöz és adatforrásokhoz. A WordPress MCP Adapter pedig egy WordPress-webhely meghatározott, jogosultsággal elérhető funkcióit teheti használhatóvá AI-kliensek számára.
A három fogalom különböző rétegekről szól. Egy AI-ügynök használhat MCP-kapcsolatot egy feladat végrehajtásához, miközben az alapjául szolgáló nyelvi modellt a háttérben akár llm-d alapú infrastruktúra szolgálja ki. Egyik technológia jelenléte sem bizonyítja önmagában a másik telepítését. A kapcsolódó témáról a WikiAI.hu korábban a WordPress MCP Adapter megjelenését bemutató hírében írt részletesen.
Ugyanilyen fontos: az llm-d telepítése önmagában nem keresőoptimalizálási eszköz, nem biztosít Google-indexelést, ChatGPT-idézést vagy jobb AI-keresőbeli helyezést. Az infrastruktúra teljesítménye és egy weboldal nyilvános tartalmának keresőbeli megtalálhatósága két eltérő kérdés.
Mit jelent az llm-d 1.0 megjelenése az AI következő szakaszában?
Az llm-d 1.0 megjelenése azt jelzi, hogy az AI fejlődésének egyik fontos iránya már nem kizárólag az új modellek képessége, hanem a meglévő modellek üzembiztos, gazdaságos és tervezhető működtetése. A fejlesztők számára a nyílt forráskódú, több hardverre és futtatókörnyezetre építő architektúra csökkentheti az egyetlen szolgáltatóhoz kötődés szükségességét – de a telepítéshez, a biztonsághoz és az üzemeltetéshez továbbra is szakértelem kell.
A legfontosabb változás nem egy új AI-válaszképesség, hanem az a háttérrendszer, amely sok egyidejű AI-feladat kiszolgálását igyekszik hatékonyabbá tenni. Az, hogy ebből egy adott szervezetnél ténylegesen mennyi előny származik, csak a saját feladatain végzett mérésből állapítható meg.
Hivatalos források és kiadási dokumentáció
Google Cloud – Announcing llm-d 1.0: Open distributed inference for agents (2026. október 20.)
IBM Research – llm-d 1.0 hardens open-source AI inference for production (2026. október 20.)
llm-d projekt – v1.0: State-of-the-art inference, ready for Day 2 (2026. október 20.)
llm-d GitHub – hivatalos v1.0.0 kiadás és komponensverziók (2026. október 20.)








