Die KV-Cache-Lösung (Key-Value) vereint Petascale-Speicherserver von Supermicro, die IBM Storage Scale-Software, die NVIDIA Dynamo-Inferenzsoftware sowie NVIDIA Spectrum-X-Ethernet-Switches Leistungstests zeigen, dass die KV-Cache-Lösung die „Time-to-First-Token" (TTFT) bei langen Kontextfenstern im Vergleich zu Systemen ohne KV-Cache reduziert Kunden können die Effizienz bei der Inferenz durch eine höhere GPU-Auslastung, einen höheren Durchsatz und eine bessere Skalierbarkeit der Infrastruktur erheblich steigern SAN JOSE, Kalifornien, 5. November 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), ein Anbieter von umfassenden IT-Lösungen in den Bereichen KI, Unternehmen, Speicher und 5G/Edge mit Data Center Building Block Solutions® (DCBBS), gab heute gemeinsam mit IBM und NVIDIA eine neue KV-Cache-Speicherlösung bekannt. Die gemeinsame Lösung integriert All-Flash-Speicherserver von Supermicro im Petascale-Bereich mit Prozessoren der AMD EPYC 9005-Serie („Turin"), IBM Storage Scale-Software sowie die NVIDIA Dynamo-Inferenz-Framework-Software und Spectrum-X-Ethernet-Netzwerktechnologie.
Zusammen können diese Technologien die Zeit, die KI-Modelle benötigen, um mit der Generierung einer Antwort zu beginnen, drastisch verkürzen – ein entscheidender Vorteil, da Unternehmen zunehmend agentische und kontextreiche KI-Workflows einsetzen. Die Erweiterung der KV-Cache-Kapazität über den lokalen GPU-Speicher hinaus kann die GPU-Auslastung und den Inferenzdurchsatz verbessern und gleichzeitig eine hohe Verfügbarkeit der KV-Cache-Inhalte sowie eine unterbrechungsfreie Skalierung der KV-Cache-Kapazität ermöglichen. Das Ergebnis ist eine skalierbarere, widerstandsfähigere Inferenzarchitektur, die schnellere und reaktionsfähigere KI-Erlebnisse bietet. „Da sich KI-Workloads vom Training auf die Inferenz ausweiten, müssen Unternehmen und Neoclouds, die Inferenz-Workloads mit hohem Durchsatz einsetzen – wie sie für agentische KI und kontextreiche, mehrstufige generative KI charakteristisch sind –, Engpässe beseitigen, um die GPU-Effizienz zu verbessern", sagte Charles Liang, President und CEO von Supermicro. „Unsere Lösung mit IBM und NVIDIA demonstriert diese Leistungsvorteile eindeutig." Eine Videozusammenfassung dieser Pressemitteilung finden Sie
hier. Inferenz-Workloads bestehen aus zwei Phasen: Prefill und Decode. Während des Prefill-Vorgangs wird der Eingabetext in Token umgewandelt und vom LLM verarbeitet, um die für die Inferenz erforderlichen intermediären Schlüssel-Wert-Zustände (KV-Zustände) zu generieren. Durch die Speicherung dieser zuvor berechneten KV-Zustände in einem persistenten KV-Cache kann das System diese wiederverwenden, anstatt denselben Kontext für nachfolgende Anfragen neu zu berechnen. Agentenbasierte Workflows, Programmierassistenten, RAG mit langem Kontext, multimodale KI und Multi-Turn-Anwendungen können bei der Verarbeitung umfangreicher Codebasen, Dokumente, Konversationen, Bilder und anderer Kontextdaten erhebliche Mengen an KV-Zuständen erzeugen, wodurch die GPU- und CPU-Speicherkapazitäten schnell überschritten werden und die Notwendigkeit entsteht, den KV-Cache auf einen gemeinsam genutzten Netzwerkspeicher mit hoher Kapazität auszulagern. Die KV-Cache-Lösung von Supermicro, IBM und NVIDIA stellt diese persistente Speicherschicht bereit und trägt so zur Verbesserung der Inferenz-Effizienz, des Durchsatzes und der Skalierbarkeit bei, während redundante Berechnungen reduziert werden. Zu den wichtigsten Vorteilen der KV-Cache-Lösung für Kunden zählen: Gemeinsame Lösungsvalidierung – Supermicro, IBM und NVIDIA führten umfangreiche Tests auf Cluster-Ebene durch, um die Leistung zu messen, darunter Szenarien mit hoher Parallelität und „Noisy-Neighbor"-Netzwerkverkehr. Deutlich schnellere und konsistentere Inferenzleistung – In gemeinsamen Tests von Supermicro und NVIDIA mit einem LLM mit 120 Milliarden Parametern lieferte der persistente KV-Cache bei Prompts mit 130.000 Token eine bis zu 56-mal schnellere TTFT.[1] Bei einer Erhöhung der Eingabelänge von 30.000 auf 130.000 Token stieg die TTFT mit KV-Cache nur um 0,377 Sekunden, verglichen mit 29,55 Sekunden ohne KV-Cache, was eine konsistentere Leistung bei Workloads mit langem Kontext ermöglicht. Höhere GPU-Auslastung und höherer Durchsatz – Indem häufig wiederverwendete Kontexte außerhalb des GPU-Speichers verfügbar gehalten werden, trägt die Lösung dazu bei, die Leerlaufzeit der GPU zu reduzieren, den Inferenzdurchsatz zu steigern und eine höhere Parallelität zu unterstützen, ohne die GPU-Ressourcen proportional zu erhöhen. Unternehmensresilienz und vertrauenswürdige KI-Operationen – Ein persistenter, hochverfügbarer KV-Cache trägt zum Schutz des zwischengespeicherten Inferenzzustands bei und ermöglicht gleichzeitig den gemeinsamen Zugriff über GPU-Knoten und Cluster hinweg, wodurch resilientere und speichereffizientere KI-Dienste in großem Maßstab unterstützt werden. Validierte, schlüsselfertige KI-Infrastruktur – Supermicro, IBM und NVIDIA haben die integrierte Architektur gemeinsam in Szenarien mit hoher Parallelität und „Noisy-Neighbor"-Bedingungen validiert, wobei NVIDIA Dynamo, die IBM Storage Scale-Software, Supermicro Petascale-Server sowie NVIDIA Spectrum-X-Netzwerktechnologie kombiniert wurden. Beschleunigte Bereitstellungsdienste – Die werkseitige Rack-Integration und die Vor-Ort-Bereitstellungsdienste von Supermicro können die Bereitstellungszeit dieser Lösung von Wochen auf Tage verkürzen. „Unternehmen benötigen einen grundlegend besseren Ansatz zur Skalierung der KI-Inferenz. Gemeinsam bieten IBM, Supermicro und NVIDIA eine leistungsstarke, ausfallsichere KV-Cache-Lösung an, die Kunden dabei unterstützt, ihre GPU-Investitionen zu maximieren, unabhängig von der Rechenleistung zu skalieren und die Effizienz ihrer Infrastruktur erheblich zu verbessern", sagte Sam Werner, GM bei IBM Storage. „Diese Zusammenarbeit stellt einen wichtigen Schritt dar, um die KI-Inferenz in Unternehmen skalierbarer, zuverlässiger und kosteneffizienter zu gestalten." „Agentische KI und Anwendungen mit langem Kontext sind darauf angewiesen, den Kontext über viele Schritte hinweg effizient wiederzuverwenden, und NVIDIA Dynamo unterstützt die Orchestrierung verteilter Inferenz, sodass Unternehmen aus jeder GPU einen höheren nutzbaren Durchsatz erzielen können", sagte Shruti Koparkar, NVIDIA AI Inference Product Lead. „Durch die Kombination von NVIDIA Dynamo und Spectrum-X-Ethernet mit den Petascale-Speicherservern von Supermicro und IBM Storage Scale schafft diese KV-Cache-Lösung eine leistungsstarke gemeinsame Speicherebene, die redundante Rechenvorgänge reduzieren, die ‚Time-to-First-Token' verkürzen und Kunden dabei unterstützen kann, ausfallsichere KI-Inferenzdienste zu skalieren." Für weitere Informationen zu Supermicro- und IBM-Lösungen
klicken Sie hier. Um das IBM Redbook Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference",
klicken Sie hier. Informationen zu Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) ist ein weltweit führender Anbieter anwendungsoptimierter IT-Gesamtlösungen. Das Unternehmen wurde in San Jose in Kalifornien gegründet, ist dort tätig und setzt sich dafür ein, Innovationen für Enterprise-, Cloud-, KI- sowie 5G-Telco/Edge-IT-Infrastruktur als Erster auf den Markt zu bringen. Wir sind ein Anbieter von IT-Gesamtlösungen mit Server-, KI-, Speicher-, IoT- und Switch-Systemen sowie Software und Supportleistungen. Die Expertise von Supermicro in den Bereichen Mainboard-, Stromversorgungs- und Gehäusedesign unterstützt unsere Entwicklung und Produktion und ermöglicht Innovationen der nächsten Generation von der Cloud bis zum Edge für unsere weltweite Kundschaft. Unsere Produkte werden unternehmensintern (in den USA, Taiwan sowie den Niederlanden) entwickelt und hergestellt. Dabei nutzen wir globale Betriebsstrukturen für Skalierbarkeit und Effizienz, um die Gesamtbetriebskosten zu senken und die Umweltbelastung zu reduzieren (Green Computing). Das preisgekrönte Portfolio der Server Building Block Solutions® ermöglicht Kunden, ihre Systeme exakt auf ihre jeweiligen Workloads und Anwendungen abzustimmen, indem sie aus einer breiten Systemfamilie wählen. Diese basiert auf flexiblen sowie wiederverwendbaren Bausteinen und unterstützt ein umfassendes Spektrum an Formfaktoren, Prozessoren, Arbeitsspeicher, GPUs, Speicherlösungen, Netzwerktechnik, Stromversorgung sowie Kühllösungen (klimatisierte, freie Luftkühlung oder Flüssigkeitskühlung). Supermicro, Server Building Block Solutions und We Keep IT Green sind Marken und/oder eingetragene Marken von Super Micro Computer, Inc. Alle anderen Marken, Namen und Warenzeichen sind Eigentum ihrer jeweiligen Inhaber. 1Detaillierte Ergebnisse im IBM Redbook:
https://www.redbooks.ibm.com/docs/MD260021/MD260021.html 
