visionOS 27: Apple setzt auf Googles Gemini für neue Siri

Apple integriert Googles Gemini in Siri und schafft mit visionOS 27 ein neues Framework für Zubehör von Drittherstellern.

Mit visionOS 27 führt Apple ein umfassendes Framework für Zubehör und Objekt-Tracking ein – und setzt auf Google-KI.

Apple hat auf seiner Entwicklerkonferenz WWDC am 8. Juni 2026 die nächste Generation seines Betriebssystems für die Vision Pro vorgestellt. visionOS 27 markiert einen strategischen Kurswechsel: Erstmals erhalten Drittanbieter einen formalen Rahmen, um eigene Hardware nahtlos in das Spatial-Computing-Ökosystem zu integrieren.

Anzeige

Während Apple die Grenzen des räumlichen Arbeitens verschiebt, bleibt die Sicherheit im Home-Office oder unterwegs oft auf der Strecke. Dieser kostenlose Ratgeber liefert Ihnen die nötigen Vorlagen und Checklisten, um mobiles Arbeiten datenschutzkonform und sicher zu gestalten. Sicheres Home-Office in 3 einfachen Schritten einrichten

Zwei Kategorien für externe Geräte

Das neue Update unterteilt verfolgbare Hardware in zwei Klassen. „Spatial Accessories" sind aktive elektronische Geräte mit Infrarot-LEDs, Bewegungssensoren (IMUs) und Bluetooth-Anbindung. Die Vision Pro kann diese Peripherie standardmäßig mit 90 Hertz verfolgen – unter bestimmten Bedingungen sind sogar 120 Hertz möglich.

Die zweite Kategorie, „Tracked Objects", umfasst passive Gegenstände. Diese erkennt das System über hinterlegte 3D-Modelle. Einmal registriert, steht ein Tracking-Profil systemweit zur Verfügung – unabhängig davon, in welcher App es angelegt wurde.

Konkrete Drittanbieter-Controller hat Apple noch nicht angekündigt. Das Unternehmen arbeitet jedoch mit den Hardware-Partnern DFRobot und MIKROE zusammen, die noch in diesem Jahr Referenzhardware und Entwicklerkits bereitstellen sollen.

Entwickler erhalten mächtige Werkzeuge

Die technischen Sessions am 9. Juni 2026 enthüllten die zugrunde liegenden APIs: GCSpatialAccessory und AccessoryTrackingProvider ermöglichen hochfrequentes Tracking und eine metrische Positionsbestimmung ohne Display-Korrekturen.

Deutlich aufgewertet wurde auch RealityKit. Neu sind unter anderem Gaussian Splatting, Stoffsimulation, projektive Texturen und physikalisches Raumlicht. Der Begleitentwickler Reality Composer Pro 3 erhält einen KI-Assistenten zur Vereinfachung der 3D-Erstellung.

Für plattformübergreifende Workflows bringt Apple das Spatial Preview Framework für macOS 27 mit. Es erlaubt Entwicklern, 3D-Inhalte vom Mac direkt auf die Vision Pro zu streamen – ohne eine einzige Zeile visionOS-Code. Ein neues Foveated Streaming Framework überträgt zudem OpenXR-Inhalte von Windows-PCs per WLAN, integriert mit NVIDIAs CloudXR-Technologie.

Siri bekommt Gemini-Unterbau

Die wohl weitreichendste Neuerung: Apple hat Siri grundlegend überarbeitet und setzt dabei auf Googles Gemini-Technologie. Die neue Siri verfügt über visuelle Intelligenz – sie erkennt Objekte im Sichtfeld des Nutzers und liefert Informationen dazu. Aktiviert wird der Assistent per Blicksteuerung oder Sprachbefehl über ein 3D-Widget.

Die praktischen Anwendungen reichen von der Frage, ob ein Gegenstand als Handgepäck durchgeht, bis hin zu Nährwertangaben. Siri kann außerdem Texte verfassen und bearbeiten, verfügt über eine anpassbare Stimme und eine über iCloud synchronisierte Chat-Historie.

Anzeige

Ob für die schnelle Reiseplanung oder als smarter Assistent im Alltag – KI-Tools wie ChatGPT oder Gemini lassen sich bereits heute gewinnbringend nutzen. Erfahren Sie in diesem kostenlosen PDF-Report, wie Sie künstliche Intelligenz ganz ohne Vorkenntnisse für Ihre täglichen Aufgaben einsetzen. ChatGPT & KI-Alltagshelfer kostenlos herunterladen

Weitere Neuerungen und Zeitplan

visionOS 27 bringt zudem zahlreiche Interface-Verbesserungen:

• Gebogene Fenster für Safari, Freeform und Apple TV Multiview
• Spatial Panoramas – Panoramafotos werden zu immersiven 3D-Umgebungen
• Deutlich schnellere WLAN-Verbindungen (bis zu dreimal schneller)
• Erweiterte Blicksteuerung mit „Dwell Control" für freihändige Navigation

Die Entwickler-Beta von visionOS 27 ist seit dem 8. Juni 2026 verfügbar. Eine öffentliche Beta folgt im Juli, der finale Release für alle Vision-Pro-Nutzer ist für den Herbst 2026 geplant. Die neuen Siri-KI-Funktionen starten ebenfalls im Herbst als Beta – zunächst auf Englisch.