WorldOracle: Neuer Benchmark prüft Roboter-Weltmodelle an realen Aktionen
Veröffentlicht am: 29.10.2026 um 07:00 Uhr | Redaktion boerse-global.de
Forscher der Princeton University, der University of Texas at Austin, der University of Toronto sowie der Unternehmen NVIDIA und AgiBot haben am 16. Oktober 2026 die Plattform WorldOracle vorgestellt. Der neu entwickelte Benchmark für aktionskonditionierte Weltmodelle (ACWM) ermöglicht es, Modellvorhersagen direkt mit realen Roboterausführungen abzugleichen. Seit dem 16. Oktober 2026 steht das System für Einreichungen von Entwicklern offen.
Reale Operationsdaten statt oberflächlicher Videoqualität
Ziel von WorldOracle ist es, die Genauigkeit von Weltmodellen bei der Vorhersage konkreter Aktionsergebnisse anhand realer Betriebsdaten zu messen, anstatt lediglich die visuelle Qualität generierter Videos zu beurteilen. Entwickler reichen dazu prognostizierte Videosequenzen ein, die auf vorgegebenen Startbildern und Aktionsabfolgen basieren. Diese Vorhersagen werden anschließend gegen reale Ausführungsdaten bewertet.
Der Datensatz umfasst insgesamt 335 reale operationstrajektorien aus verschiedenen Aufgabenbereichen. Dazu gehören das Greifen von Obst, das Aufhängen von Handtüchern, das Eingießen von Wasser sowie das Bedienen von Schubladen. Rund 40 Prozent dieser Trajektorien beinhalten fehlgeschlagene oder suboptimale Interaktionen, um die Prognosefähigkeit der Modelle unter praxisnahen Bedingungen zu überprüfen.
Die Bewertung stützt sich auf vier definierte Metriken: Physical State Correctness, Interaction Spatial Alignment, Key Interaction Area Fidelity und Multi-View Action Coherence. Eine Validierung mit 119 Teilnehmern und 128 Videopaaren belegt die Zuverlässigkeit des Verfahrens. Die Übereinstimmung der automatisierten Metriken mit menschlichen Bewertungen lag dabei zwischen 88,1 Prozent und 93,2 Prozent.
Wer sich mit dem technologischen Fortschritt in der Industrie befasst, erkennt schnell das enorme Potenzial neuer Entwicklungen. Dieser kostenlose Report liefert konkrete Einblicke in Unternehmen, die von Milliarden-Investitionen in Robotik und KI profitieren. Robotik und KI: Profiteure der neuen Industrieära erkennen
Schwächen bei Langzeitkonsistenz und Objektbewegungen
Im Rahmen der ersten Untersuchungen wurden sieben Modelle evaluiert, darunter DreamDojo, Cosmos 3, IRASim und GE-Sim 2.0. Die Ergebnisse zeigen, dass aktuelle Modelle vor allem Schwierigkeiten mit der Konsistenz über längere Zeithorizonte aufweisen, während kurzfristige Bewegungen stabiler prognostiziert werden. Zudem gelingt die Vorhersage von Roboterarmbewegungen vergleichsweise gut, während Positionen und Bewegungen manipulierter Objekte häufig abweichen.
So erreichte das Modell IRASim bei der Vorhersage der Armbewegung einen Wert von 78,8, fiel bei der Objektbewegung jedoch auf 29,1 ab. Ein ähnliches Bild zeigte sich bei Cosmos 3 mit Werten von 89,4 für den Arm und 45,4 für das Objekt. In einer Demonstration sagte ein Modell einen Greifversuch fälschlich als Erfolg voraus, obwohl die Aktion in der realen Ausführung gescheitert war.
Der technologische Umbruch durch Künstliche Intelligenz und Robotik krempelt derzeit ganze Branchen grundlegend um. Erfahren Sie in dieser Experten-Analyse, welche Akteure die industrielle Revolution 2026 wirklich vorantreiben und wer davon profitiert. Kostenlosen Report zur Industrierevolution herunterladen
Auch über vollständige Sequenzen hinweg sinkt die Leistungsfähigkeit vieler Systeme deutlich. Bei der Metrik WorldOracle-SV fiel der Wert von DreamDojo bei der Betrachtung von 30 Sekunden im Vergleich zur vollen Sequenz von 50,56 auf 27,08 ab.
Cosmos 3 sank von 53,99 auf 26,60. Das Modell GE-Sim 2.0 verzeichnete mit einem Rückgang von 73,86 auf 63,33 nicht nur den geringsten Leistungsverlust, sondern erzielte zugleich den höchsten Gesamtwert.
