KI-Infrastruktur: Milliarden-Investitionen bei nur fünf Prozent Auslastung

Die KI-Branche leidet unter massiv ungenutzter Rechenleistung. Neue Hardware und Strategien sollen die Effizienz steigern.

Die globale KI-Industrie steckt in einem Effizienz-Dilemma: Während die Ausgaben für KI-Infrastruktur auf umgerechnet rund 370 Milliarden Euro gestiegen sind, liegt die durchschnittliche Auslastung von Grafikprozessoren (GPUs) in Unternehmen bei gerade einmal fünf Prozent. Diese alarmierende Diskrepanz, die ein aktueller Bericht vom 8. Mai 2026 offenlegt, zwingt Technologievorstände zum Umdenken.

War die erste Phase des KI-Booms von einem hektischen Wettlauf um Hardware geprägt, rücken nun Integration, Sicherheit und die Gesamtbetriebskosten in den Fokus. Daten aus dem ersten Quartal 2026 zeigen: Knapp 43 Prozent der Unternehmen priorisieren die Einbindung von Cloud- und Daten-Stacks, während 48,7 Prozent sich auf verschärfte Sicherheitsanforderungen konzentrieren.

Anzeige

Da Unternehmen zunehmend auf verschärfte Sicherheitsanforderungen und rechtliche Integration setzen, wird die Einhaltung regulatorischer Rahmenbedingungen zur geschäftskritischen Aufgabe. Dieser kostenlose Leitfaden zeigt Ihnen, welche Pflichten der EU AI Act bereits seit August 2024 für den rechtssicheren Einsatz von KI vorschreibt. Achtung: Diese EU-KI-Pflichten gelten bereits seit August 2024 – ist Ihr Unternehmen vorbereitet?

Das Milliarden-Grab: Rechenzentren laufen leer

Das Problem ungenutzter Rechenleistung betrifft nicht nur kleinere Firmen. Selbst prestigeträchtige Infrastrukturprojekte sind betroffen. Analysten von PitchBook verwiesen am 7. Mai 2026 auf das Colossus-1-Rechenzentrum in Memphis – eine Anlage, die mit xAI in Verbindung steht. Demnach lief die riesige Einrichtung vor einer strategischen Neuausrichtung nur zu elf Prozent Auslastung.

Um diese Überkapazitäten zu nutzen, wurde Anfang der Woche ein bedeutender Deal abgeschlossen. Am 6. Mai 2026 gab Anthropic bekannt, die volle Kapazität der Memphis-Anlage gesichert zu haben. Diese beherbergt mehr als 220.000 Nvidia-GPUs und verbraucht über 300 Megawatt Strom. Durch den Zugriff auf diesen Überschuss konnte Anthropic die Nutzungslimits für sein Claude-Code-Tool verdoppeln und Beschränkungen während der Spitzenzeiten aufheben. Der Schritt ist Teil einer „Multi-Cloud"-Strategie, die auch Partnerschaften mit Amazon, Google und Microsoft umfasst.

Wissenschaftliche Forschung untermauert den Handlungsbedarf. Eine Studie von Falk et al. im Fachjournal Communications Earth & Environment analysierte den Ressourcenverbrauch beim Training großer Modelle. Das Ergebnis: Eine Steigerung der Modell-Flops-Auslastung (MFU) von 35 auf 60 Prozent könnte den GPU-Gesamtbedarf um bis zu 42 Prozent senken. Allerdings erschweren nicht-lineare Ineffizienzen in der Parallelverarbeitung diese Gewinne – sie können den tatsächlichen Hardwarebedarf um 25 Prozent erhöhen, wenn die Effizienzfaktoren sinken.

Hardware-Revolution: Spezialchips für den schnellen Einbau

Die Hersteller reagieren auf die Krise mit Produkten, die sich leichter in bestehende Rechenzentren integrieren lassen. Am 7. Mai 2026 kündigte AMD die Instinct MI350P PCIe-Karte an – einen KI-Beschleuniger im Doppelsteckplatz-Format, der als „Drop-in"-Lösung für luftgekühlte Server konzipiert ist.

Die Karte basiert auf der CDNA-4-Architektur (3nm- und 6nm-Technologie von TSMC), verfügt über 144 GB HBM3E-Speicher und eine Bandbreite von 4 TB/s. Sie ist speziell für Inferenz- und RAG-Aufgaben (Retrieval-Augmented Generation) ausgelegt. Unternehmen können damit anspruchsvolle Modelle betreiben, ohne auf Flüssigkeitskühlung oder komplette Rack-Umbauten angewiesen zu sein. Interne Benchmarks von AMD zeigen einen deutlichen Leistungsvorsprung gegenüber der konkurrierenden Nvidia H200 NVL-Hardware bei theoretischen FP16- und FP8-Berechnungen.

Auch Google zog am 6. Mai 2026 nach und stellte die TPU-8-Architektur vor. Diese teilt die Hardware in zwei Stränge: die TPU 8t für das Training und die TPU 8i für die Inferenz. Die Trainingsvariante liefert 12,6 PFLOPS FP4-Leistung, das Inferenzmodell soll eine um 80 Prozent bessere Leistung pro Euro bieten. Google positioniert die neuen Chips als Teil einer „AI Hypercomputer"-Plattform mit integrierter Vernetzung und maßgeschneiderten CPUs.

Die versteckte Steuer auf ungenutzte GPUs

Mit der zunehmenden Spezialisierung der Hardware rücken Software und Netzwerke als neue Effizienz-Schlachtfelder in den Fokus. Bei einer gemeinsamen Ankündigung am 7. Mai 2026 präsentierten Cisco und AMD einen integrierten KI-Infrastruktur-Stack. Das System kombiniert Cisco-UCS-Server mit acht AMD-Instinct-MI350X-GPUs und nutzt Ethernet-basierte Vernetzung, um die GPU-Produktivität bei skalierbaren Arbeitslasten zu steigern.

Die Kosten für „Leerlaufzeiten" werden zunehmend als versteckte Steuer auf KI-Fabriken betrachtet. Technologieführer von Firmen wie DDN argumentierten am 6. Mai 2026, dass die entscheidende Kennzahl moderner Rechenzentren die „Kosten pro Token" sei – nicht die rohe Hardware-Geschwindigkeit. Durch optimierte Datenplattformen für Hochgeschwindigkeits-Checkpoints und massive Inferenzanforderungen können einige Anbieter die GPU-Auslastung auf bis zu 99 Prozent steigern – im Vergleich zu den niedrigen einstelligen Werten in schlecht optimierten Umgebungen.

Dieser Effizienzdruck treibt auch die Abkehr von General-Cloud-Anbietern hin zu spezialisierten KI-Clouds. Marktdaten zeigen, dass spezialisierte Anbieter wie Coreweave und Lambda deutlich an Boden gewinnen und nun 35,9 Prozent des Marktes ausmachen. Unternehmen suchen gezielt nach Umgebungen, die auf Hochleistungsrechnen zugeschnitten sind.

Anzeige

Während der Markt sich von der reinen Hardware-Beschaffung hin zur effizienten Nutzung bewegt, müssen Unternehmen auch die regulatorischen Risikoklassen ihrer KI-Systeme genau kennen. Sichern Sie sich diesen kompakten Überblick über Pflichten und Fristen, um Ihre IT-Abteilung rechtlich auf der sicheren Seite aufzustellen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Lieferengpässe: Speichermangel zwingt Apple zu drastischen Schritten

Während Unternehmen kämpfen, ihre vorhandenen Chips zu nutzen, erschwert eine globale Knappheit kritischer Komponenten die Beschaffung neuer Systeme mit hohen Spezifikationen. Am 7. Mai 2026 vollzog Apple einen ungewöhnlichen Schritt und reduzierte die RAM-Optionen mehrerer professioneller Computer. Die Modelle Mac mini und Mac Studio verloren ihre höchsten Speicherkonfigurationen aus dem Online-Store. Waren früher bis zu 512 GB RAM möglich, liegt die Grenze nun bei 96 GB.

Apple führte die Änderung auf höhere erwartete Speicherkosten und eine branchenweite Unterschätzung der Nachfrage nach High-Bandwidth Memory (HBM) zurück. Dieser Engpass wird voraussichtlich bis Ende 2026 anhalten, da KI-Chip-Hersteller den Großteil des globalen Angebots an fortschrittlichen DRAM- und NAND-Komponenten verschlingen.

Auch Micron schlug am 8. Mai 2026 Alarm. Die Nachfrage nach Speicher für KI-Inferenz wachse exponentiell. Da die Kontextlängen von Modellen – also die Informationsmenge, die ein Modell während einer Sitzung „behalten" kann – jährlich um den Faktor 30 steigen, wird der Bedarf an Hochgeschwindigkeits-Caches zum Engpass. Trotz des Baus von fünf neuen Fabriken weltweit, so Micron-Vertreter, könne die Industrie derzeit nicht mit dem prognostizierten Speicherbedarf der nächsten KI-Modellgeneration Schritt halten.

Ausblick: Das Ende der Hardware-Hortung

Der Übergang von der „Hardware-Beschaffungsphase" zur „Produktivitätsphase" wird die KI-Industrie für den Rest des Jahres 2026 prägen. Bei einer GPU-Auslastung von fünf Prozent in Unternehmen wächst der Druck auf Chief Information Officers, Investitionen im neunstelligen Euro-Bereich zu rechtfertigen.

Branchenanalysten erwarten einen Schub für softwaredefinierte Optimierungswerkzeuge und eine anhaltende Verschiebung hin zu inferenzspezialisierter Hardware. Unternehmen bewegen sich weg vom reinen Training ihrer Modelle hin zum großflächigen Einsatz. Die anhaltenden Komponentenengpässe, insbesondere im Speichersektor, werden wahrscheinlich große Anbieter mit langfristigen Lieferverträgen begünstigen – während kleinere Unternehmen auf spezialisierte KI-Clouds ausweichen, um die hohen Gesamtbetriebskosten eigener, unterausgelasteter „KI-Fabriken" zu vermeiden.