mlx-serve: Apple-Software beschleunigt KI-Inferenz um 26 Prozent
Veröffentlicht am: 16.08.2026 um 10:22 Uhr | Redaktion boerse-global.de
Mitte August 2026 hat die Softwarelösung mlx-serve neue Leistungsdaten für die lokale Ausführung großer Sprachmodelle (LLMs) auf Apple-Hardware vorgelegt.
Bei der Nutzung des Modells DeepSeek V4 Flash mit 284 Milliarden Parametern erzielte das System eine um 26 Prozent höhere Dekodierungsgeschwindigkeit im direkten Vergleich zur Anwendung LM Studio. Diese Entwicklung unterstreicht die fortschreitende Optimierung spezialisierter Inferenz-Software für die Apple-Silicon-Architektur.
Skalierbarkeit durch verteiltes Serving und Multi-Mac-Inferenz
Ein wesentlicher Fortschritt zeigt sich in der Fähigkeit zur verteilten Inferenz über mehrere Endgeräte hinweg. Unter der Bezeichnung oMLX ermöglicht die Software eine Multi-Mac-Inferenz, die eine signifikante Skalierung der Rechenleistung erlaubt. In Tests mit dem Modell Qwen3.6-27B steigerte der Einsatz von zwei Mac-Systemen die Verarbeitungsrate auf 28,6 Tokens pro Sekunde (tok/s), während ein einzelnes System lediglich 16,1 tok/s erreichte.
Wer das volle Potenzial seines Apple-Computers für anspruchsvolle Anwendungen ausschöpfen möchte, sollte bei der Einrichtung keine Fehler machen. Dieser kostenlose Ratgeber zeigt Ihnen die wichtigsten Einstellungen, um Ihren Mac von Anfang an optimal zu nutzen. Gratis Mac-Starterpaket jetzt herunterladen
Mit der Veröffentlichung der Version oMLX v0.6.0.dev1 wurde zudem ein experimentelles verteiltes Serving eingeführt, das sowohl Metal- als auch CUDA-Schnittstellen unterstützt. Auf Systemen mit dem M3 Ultra Chip führte dies laut technischen Berichten zu einer 43-fachen Verbesserung der sogenannten Decode-Fairness. Diese Kennzahl ist entscheidend für die gleichmäßige Verteilung der Rechenlast bei komplexen Abfragen.
Optimierte Kernel und gesteigerte Effizienz beim Prefill
Die Performance-Gewinne erstrecken sich auch auf den Prozess des sogenannten Prefill, also die vorbereitende Analyse des Eingabetextes vor der eigentlichen Antwortgenerierung. Hier wurden Steigerungen zwischen 23 und 28 Prozent gemessen. Besonders leistungsstarke Hardware wie der M3 Ultra erreichte unter mlx-serve Spitzenwerte von 631 Tokens pro Sekunde bei einer Kontextlänge von 4096 Tokens.
Zusätzliche Optimierungen wurden durch den OpenEvolve-Kernel erzielt. Dieser sorgt für eine Steigerung der Dekodierungsgeschwindigkeit um durchschnittlich 12,5 Prozent, wobei in der Spitze Verbesserungen von bis zu 106 Prozent dokumentiert wurden. Ein weiteres Werkzeug, MLX.Fast, ermöglichte es zudem, die Leistung des Modells Qwen3.8 27B innerhalb eines Zeitfensters von weniger als 16 Stunden um 153 Prozent zu steigern.
Die Arbeit mit komplexer Software auf dem Mac lässt sich durch die richtigen Tastenkombinationen erheblich beschleunigen. Ein Apple-Experte hat die 19 nützlichsten Shortcuts zusammengestellt, mit denen Sie im digitalen Alltag spürbar Zeit sparen. Kostenlosen PDF-Ratgeber mit 19 Mac-Shortcuts sichern
Funktionsumfang und technische Spezifikationen
Im Gegensatz zu vielen anderen Lösungen agiert mlx-serve als nativer Inferenzserver für Apple Silicon, der ohne eine Python-Umgebung auskommt. Die zugehörige MLX Core App bietet neben einer Chat-Schnittstelle auch einen Agent-Modus sowie Unterstützung für Tool-Calling. Das System ist vielseitig kompatibel und unterstützt sowohl MLX- als auch GGUF-Modelle.
Über die reine Textverarbeitung hinaus ist die Software für die Generation verschiedener Medienformate ausgelegt. Dazu zählen die Erstellung von Bildern, Videos, Musik und Sprache sowie die Generierung von 3D-Objekten. In der Fachgemeinschaft stößt das Projekt auf reges Interesse: Auf der Plattform GitHub verzeichnete mlx-serve Mitte August 2026 insgesamt 674 Stars und wurde 50 Mal geforkt.
Die Architektur ist darauf ausgelegt, die Hardware-Ressourcen der Apple-eigenen Grafik-Schnittstelle Metal effizient auszunutzen, um die Lücke zwischen Consumer-Hardware und professionellen KI-Workstations weiter zu schließen.
