NVIDIA V100: Alte Server-GPU wird zum KI-Geheimtipp

Gebrauchte Server-GPUs werden mit Adaptern zu preiswerten KI-Beschleunigern umgerüstet und schlagen moderne Karten in Tests.

Ausrangierte NVIDIA Tesla V100-Karten aus dem Rechenzentrum erleben ein unerwartetes Comeback – und schlagen moderne Grafikkarten in KI-Aufgaben.

Die Kosten für aktuelle KI-Hardware sind für viele Forscher und Entwickler schlicht zu hoch. Eine wachsende Bastler-Szene hat deshalb einen überraschenden Ausweg gefunden: Sie rüstet alte NVIDIA Tesla V100-Karten aus Serverbeständen um. Mit speziellen Adaptern und selbst entwickelten Kabeln verwandeln sie die Server-GPUs in leistungsstarke Beschleuniger für große Sprachmodelle (LLMs). Das Ergebnis: Für einen Bruchteil des Neupreises übertreffen die modifizierten Karten moderne Consumer-Grafikkarten bei bestimmten KI-Aufgaben.

Anzeige

Während Bastler an der Hardware schrauben, stellen neue Gesetze Unternehmen vor ganz andere Herausforderungen beim Einsatz von Künstlicher Intelligenz. Dieser kostenlose Leitfaden gibt Ihnen den nötigen Überblick über Risikoklassen und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen

Die SXM2-PCIe-Brücke: Rechenzentrums-Power für den Schreibtisch

Das größte Hindernis bei der Nutzung gebrauchter Server-Hardware ist der proprietäre Formfaktor. Zwar gibt es die Tesla V100 auch als PCIe-Version, doch die günstigeren SXM2-Modelle waren für spezielle Server-Blades konzipiert. Aktuelle Tests vom 10. Mai 2026 zeigen: Mit erschwinglichen Umbausätzen lassen sich diese Hürden überwinden.

Hardware-Analysten dokumentierten die Leistung einer 16GB-V100-SXM2-Karte auf einem handelsüblichen PCIe-Mainboard – vermittelt durch eine Adapterplatine für rund 100 Euro. Die gebrauchte Karte selbst kostete etwa 100 Euro. Gesamtinvestition: rund 200 Euro (ohne Kühlung). Die Ergebnisse im lokalen LLM-Test mit dem Ollama-Framework können sich sehen lassen: 108 Tokens pro Sekunde beim Modell Gemma 4 E4B. Zum Vergleich: Eine moderne RTX 3060 mit 12GB schaffte nur 76 Tokens pro Sekunde.

Beim Modell gpt-oss-20b erreichte die umgerüstete V100 sogar 130 Tokens pro Sekunde und ließ damit so manche Mittelklasse-Hardware alt aussehen. Weil Server-Karten auf passive Kühlung in belüfteten Racks ausgelegt sind, mussten die Bastler allerdings 3D-gedruckte Lüfterhalterungen und aktive Kühlung nachrüsten – 80-Millimeter-Noctua-Lüfter etwa. Der Gesamtpreis des Projekts lag damit bei rund 235 Euro.

Reverse-Engineered NVLink: 64 Gigabyte Arbeitsspeicher für 1.200 Euro

Noch beeindruckender sind die Mehrkarten-Lösungen. Die Community hat erfolgreich die proprietären NVLink-Verbindungen nachgebaut und damit die PCIe-Bandbreiten-Begrenzung umgangen. Technische Anleitungen aus Foren wie Reddits LocalLLaMA beschreiben spezielle Vierfach-Adapaterplatinen – etwa das Modell TAQ-SXM2-4P5A5 eines chinesischen Spezialherstellers.

Diese Platinen ermöglichen ein echtes NVLink-Netzwerk über vier V100-SXM2-Module mit einer bidirektionalen Verbindungsgeschwindigkeit von rund 300 GB/s. Die Software – etwa vLLM oder llama.cpp – behandelt die vier Karten dann wie einen einzigen Speicherpool. Eine solche Konfiguration mit vier 16GB-V100-Modulen liefert 64 GB vereinten Videospeicher für rund 1.200 Euro Gesamtkosten.

Besonders effektiv ist dieser Ansatz bei sogenannten Mixture-of-Experts-Modellen (MoE) wie DeepSeek V3.2. Da MoE-Modelle Speicherbedarf und aktive Inferenz-Bandbreite entkoppeln, kommt die enorme HBM2-Speicherbandbreite der V100 (900 GB/s) voll zur Geltung.

Die Volta-Kompromisse: Effizienz und Kompatibilität

So beeindruckend die Durchsatzwerte sind – die zehn Jahre alte Architektur hat 2026 ihre Tücken. Die V100 basiert auf Volta (Compute Capability 7.0) und unterstützt moderne Datenformate wie BF16 und INT8 nicht. Diese Formate sind heute Standard, um Speicher zu sparen, ohne an Präzision zu verlieren.

Leistungstests zeigen: In FP16 (halbe Genauigkeit) bleibt die V100 zwar konkurrenzfähig, verbraucht aber im Leerlauf deutlich mehr Strom. Ein umgerüstetes V100-System zieht rund 45 Watt im Idle – moderne RTX-Systeme kommen auf 35 Watt. Allerdings zeigte sich: Mit dem Tool nvidia-smi lässt sich die Leistungsaufnahme auf 200 Watt begrenzen, ohne nennenswerte Einbußen (über 98 Prozent der Rechenleistung bleiben erhalten).

Die Software-Kompatibilität bereitet zunehmend Kopfzerbrechen. Während vLLM die Volta-Hardware weiter unterstützt, haben andere moderne Frameworks wie TensorRT-LLM die V100 in aktuellen Versionen aus dem Support genommen. Entwickler berichten von Fehlern bei gruppierten Attention-Kernen neuerer Modelle – oft bleibt nur der Umweg über Multi-GPU-Setups.

Anzeige

Ob im Rechenzentrum oder am heimischen PC – die Nutzung von KI-Systemen unterliegt seit August 2024 strengen EU-Regeln. Erfahren Sie in diesem kostenlosen E-Book, welche Dokumentationspflichten auf Entwickler und Nutzer zukommen. Kostenlosen Umsetzungsleitfaden zum AI Act sichern

Marktanalyse: Hardware-Arbitrage lohnt sich

Das Revival der V100 ist vor allem eine Frage der Ökonomie. Im Mai 2026 sind 16GB-V100-Module bei IT-Entsorgern für 56 bis 99 Euro zu haben. Damit bietet die V100 ein „Cost-per-Token"-Verhältnis, das für nicht-latenzkritische Aufgaben wie Batch-Generierung oder interne Unternehmens-Assistenten attraktiv bleibt.

Marktbeobachter stellen fest: Neuere GPUs wie die NVIDIA A30 mögen in vergleichbaren Tests 24 bis 35 Prozent schneller sein – für preisbewusste Heimanwender und Forscher, die vorhandene Server-Infrastruktur nutzen können, bleibt die V100 die erste Wahl. Besonders begehrt ist die 32GB-Variante: Wenn Modell und Kontextfenster vollständig in den 32 GB HBM2-Speicher passen, kann die V100 sogar mit modernen Karten wie der RTX 3090 Ti mithalten.

Ausblick: Die Zukunft des recycelten Rechnens

Der Trend zur Server-GPU-Modifikation zeigt einen grundlegenden Konflikt der KI-Branche: Die Schere zwischen Software-Anforderungen und bezahlbarer Hardware wird immer größer. Da NVIDIA seine Produktion zunehmend auf margenstarke Enterprise-Karten wie Blackwell und Hopper konzentriert, dürfte der Gebrauchtmarkt für ältere Rechenzentrums-Hardware bis Ende 2026 robust bleiben.

Die Umbauten erfordern handfestes technisches Know-how – Linux-Kenntnisse, mechanische Arbeit an der Kühlung und Toleranz gegenüber nicht offiziell unterstützten Treibern. Doch für die KI-Community sind sie ein entscheidendes „Mittelding": Solange Frameworks wie vLLM und Ollama die Volta-Architektur unterstützen, bleibt die modifizierte V100 der Einstiegspunkt für Entwickler, die Modelle mit 30 bis 80 Milliarden Parametern betreiben wollen – ohne Enterprise-Budget.