KI-Agenten: Lifeboat senkt die p99-Antwortzeit von 189 auf 1,5 Sekunden
Veröffentlicht am: 06.10.2026 um 03:03 Uhr | Redaktion boerse-global.de
Iterate Studio hat mit Lifeboat eine neue Inferenz-Engine veröffentlicht, die die parallele Ausführung von KI-Agenten auf bestehender Hardware grundlegend beschleunigen soll. Nach Angaben des Unternehmens Iterate.ai ermöglicht die Softwarelösung, zwei- bis sechsmal mehr gleichzeitige Agenten-Sitzungen je Grafikprozessor zu betreiben.
Wie Fachmedien am 5. Oktober 2026 berichteten, zielt die Engine darauf ab, bestehende Engpässe bei der Rechenkapazität in Rechenzentren und Unternehmensinfrastrukturen zu verringern.
Höhere Sitzungsdichte und gesteigerter Durchsatz im Test
Um das Leistungspotenzial der Software zu demonstrieren, legte Iterate.ai Ergebnisse aus internen Unternehmensprüfungen vor. In einem Testszenario auf Basis einer Nvidia RTX PRO 6000 Blackwell in Kombination mit dem Sprachmodell Qwen 30B-A3B gelang es, 2.048 Sitzungen vollständig auszuführen. Ohne den Einsatz der Lifeboat-Optimierungen schaffte das System unter denselben Rahmenbedingungen lediglich halb so viele Sitzungen.
Parallel zur erhöhten Sitzungszahl wies das Unternehmen auch Verbesserungen beim Gesamtdurchsatz aus. Im Verlauf der Messungen steigerte Lifeboat den Datendurchsatz auf 8.714 Token pro Sekunde, verglichen mit 4.965 Token pro Sekunde bei einer herkömmlichen Ausführung. Diese Steigerung soll es Unternehmen ermöglichen, komplexe generative Workloads dichter zu bündeln und die Hardwareinvestitionen pro Sitzung zu senken.
Deutliche Latenzsenkung bei langen Kontexten
Ein kritischer Faktor beim Betrieb autonom agierender Softwareagenten ist die Reaktionszeit bei großen Kontextmengen, da Agenten typischerweise umfangreiche Befehlsketten und Historien verarbeiten müssen.
Wer KI-Systeme professionell im Unternehmen einsetzt, muss nicht nur technische Hürden meistern, sondern auch die komplexen rechtlichen Anforderungen der EU kennen. Dieser kostenlose Umsetzungsleitfaden bietet IT- und Rechtsabteilungen einen kompakten Überblick über alle Fristen und Pflichten des EU AI Acts. EU AI Act in 5 Schritten verstehen
Auch hier lieferten die Messungen des Unternehmens auffällige Werte: Bei einer Arbeitslast von 128 parallelen Sitzungen mit Anfragen über 18.000 Token lag die sogenannte p99-Zeit bis zur Ausgabe des ersten Tokens bei 1,5 Sekunden. Ohne die Lifeboat-Optimierungen vergingen im Vergleichstest 189 Sekunden, bis das erste Token erzeugt wurde.
Gerade für echtzeitnahe Anwendungen und interaktive Systeme stellt die Latenz bis zur ersten Antwort einen maßgeblichen Qualitätsfaktor dar. Eine Reduzierung auf wenige Sekunden kann darüber entscheiden, ob mehrstufige Agentenketten praxistauglich in bestehende Geschäftsprozesse integriert werden können.
Lizenzmodelle und Anforderungen an Confidential Computing
Lifeboat ist ab sofort allgemein verfügbar und wird über gestaffelte Lizenzmodelle vertrieben. Für den regulären Produktiveinsatz bietet Iterate.ai eine Standardlizenz zum Preis von 49,99 US-Dollar pro Monat an.
Neben der technischen Performance rücken durch neue Regulierungen auch rechtliche Risikoklassen und Dokumentationspflichten in den Fokus von Unternehmen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und wie Sie die Compliance Ihrer Systeme sicherstellen. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen
Daneben steht eine Confidential-Computing-Edition für 499,99 US-Dollar monatlich bereit, die sich an Einsatzbereiche mit erhöhten Datenschutz- und Sicherheitsanforderungen richtet. Für beide kostenpflichtigen Stufen gewährt das Unternehmen eine siebentägige kostenlose Testphase.
Für nichtkommerzielle Zwecke sowie Evaluierungsphasen stellt der Anbieter eine Developer-Lizenz bereit, die den Betrieb auf bis zu zwei Servern innerhalb eines einzelnen Knotens gestattet. Wer die Confidential-Computing-Variante implementieren möchte, muss zudem spezifische technische Voraussetzungen erfüllen: Die Umgebung erfordert eine Hardware-Attestierung, die für ausgewählte Hardwarekomponenten von AMD, Intel und Nvidia unterstützt wird.
