CPU-KI-Inferenz: Speicherbandbreite ist der entscheidende Engpass
Veröffentlicht am: 13.08.2026 um 07:22 Uhr | Redaktion boerse-global.de
In einer aktuellen Dokumentation haben Entwickler am 12. August die Leistungserwartungen für die lokale Ausführung von KI-Modellen auf Prozessoren (CPUs) präzisiert. Dabei zeige sich, dass insbesondere die Speicherbandbreite den entscheidenden Engpass für die sogenannte Decode-Geschwindigkeit darstellt. Während die Rechenleistung vor allem die Verarbeitungszeit von Eingabeprompts (Prefill) beeinflusst, hänge die Geschwindigkeit der eigentlichen Textgenerierung maßgeblich von der Datenübertragungsrate des Arbeitsspeichers ab.
Speicherbandbreite als limitierender Faktor der Token-Generierung
Die Analyse der Entwickler verdeutlicht die theoretische Obergrenze für die Generierung von Wortfragmenten (Tokens) bei verschiedenen Hardware-Konfigurationen. Ein System mit DDR4-3200-Speicher im Dual-Channel-Betrieb erreicht eine Bandbreite von 51,2 GB/s, während DDR5-5600-Konfigurationen auf 89,6 GB/s kommen. Deutlich höhere Werte erzielen spezialisierte Architekturen wie der M4 Pro mit 273 GB/s oder der M4 Max mit 546 GB/s.
Diese Bandbreiten wirken sich unmittelbar auf die maximale Ausgabegeschwindigkeit von quantisierten Modellen aus. Für das Modell Llama-3.1-8B (4,92 GB) liege die Kapazitätsgrenze bei DDR4-Speicher beispielsweise bei 10,4 Tokens pro Sekunde, während ein M4 Max theoretisch bis zu 111,0 Tokens pro Sekunde generieren könne. Bei größeren Modellen wie dem Llama-3.1-70B (42,52 GB) sinke die Rate bei DDR4-Systemen auf 1,2 Tokens pro Sekunde, während High-End-Chips wie der M4 Max noch 12,8 Tokens pro Sekunde erreichen.
Die Phase des sogenannten Prefills, also die Verarbeitung des initialen Nutzerwunsches, sei hingegen primär durch die CPU-Rechenleistung begrenzt. Ein Prompt mit 512 Tokens benötige auf einem 16-Kern-Prozessor mit AVX-512-Unterstützung etwa 2,3 Sekunden.
Mit der Einführung lokaler KI-Modelle entstehen in Unternehmen neben neuen Leistungspotenzialen auch neue Sicherheitsanforderungen und gesetzliche Pflichten. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer jetzt kennen müssen. Gratis-Report zu KI-Gesetzen und Cyberrisiken anfordern
Effizienzsprünge auf Kleinstgeräten und Edge-Hardware
Parallel zu den Analysen für Desktop-Systeme zeigen neue Entwicklungen Fortschritte bei der Inferenz auf ressourcenarmen Geräten. Google demonstrierte mit LiteRT auf einem Raspberry Pi 5 mit 8 GB Arbeitsspeicher die Ausführung des Modells Gemma 4 E2B. Dabei wurden im Prefill 99 Tokens pro Sekunde und beim Decoding 9 Tokens pro Sekunde gemessen, wobei die RAM-Spitzenauslastung bei 1432 MB lag.
Das Unternehmen Cactus Compute stellte zudem Needle2 vor, ein Modell mit lediglich 45 Millionen Parametern. Dieses sei speziell für hohe Geschwindigkeiten optimiert und erreiche auf einem Raspberry Pi 5 etwa 500 Tokens pro Sekunde, während auf Smartphones bis zu 6000 Tokens pro Sekunde möglich seien. Diese Leistung werde durch den Verzicht auf MLP-Layer sowie den Einsatz von Walsh-Hadamard-Transformationen und einer 2-Bit-Quantisierung ermöglicht. Allerdings degressive die Qualität der Ergebnisse, sobald mehr als fünf aktive Werkzeuge (Tools) gleichzeitig genutzt werden.
Wer sich mit der Implementierung moderner IT-Lösungen befasst, sollte den Schutz vor digitalen Bedrohungen von Anfang an mitplanen. Experten erklären in diesem kostenlosen E-Book, wie Sie Ihr Unternehmen proaktiv absichern, bevor es zu spät ist. Kostenloses E-Book: Cyber-Sicherheit proaktiv stärken
Optimierungen für Grafikschnittstellen und neue Modellarchitekturen
Abseits der reinen CPU-Nutzung adressieren Entwickler auch Software-Engpässe bei der Virtualisierung. Das Cua-Team identifizierte Performance-Probleme in macOS-VMs, die auf konservative Berichte der Grafikschnittstelle Metal zurückzuführen seien. Ein entwickelter Shim könne durch die Änderung der gemeldeten Hardware-Familie auf Apple 9 und die Aktivierung von SIMD- sowie bfloat16-Unterstützung die Leistung massiv steigern. Auf einem M1 Ultra führe dies bei Modellen wie TinyLlama zu einer über elffach schnelleren Prompt-Verarbeitung und einer mehr als 16-fachen Beschleunigung der Token-Generierung.
Im Bereich der Modellveröffentlichungen präsentierte Meta Superintelligence Labs am 10. August Muse Glimmer. Das multimodale Modell mit 30 Milliarden Parametern ist für lokale Agenten konzipiert und lasse sich durch Quantisierung auf unter 20 GB Speicherbedarf reduzieren. Auf spezieller Hardware wie dem AMD Ryzen AI Max+ 395 erreiche es bis zu 24 Tokens pro Sekunde. NVIDIA wiederum veröffentlichte mit Nemotron 3.5 Lightning ein Modell, das eine bis zu vierfach schnellere Token-Generierung im Vergleich zu Vorgängern ermöglichen soll und speziell auf die Ausführung auf RTX-PCs sowie in Rechenzentren optimiert wurde.
