Den Moment zum Eingreifen üben.
Immersives XR-Training für das ABLE Project (Active Bystandership for Law Enforcement) der Georgetown Law, das Polizistinnen und Polizisten darauf vorbereitet einzugreifen, wenn ein Kollege kurz davor ist, Schaden anzurichten. Entstanden mit Meta CS Labs, 1stAveMachine und SpecialGuestX; wir haben die KI- und XR-Entwicklung geleitet.
Drei Fälle versetzen die Teilnehmenden mitten in die Szene: Sgt. McDonald nach einer Festnahme bei einer Schießerei in einer Wohnung, Officer Lopez nachts in einer kleinen Wache und eine Verkehrskontrolle, die eskaliert. Die Figuren sprechen die Teilnehmenden an und warten auf eine Antwort, und der Fall verändert sich damit. Die Szenen verbinden echte Schauspieler, KI-gestütztes Motion Tracking und Gesichtsanimation, volumetrische Aufnahmen und in Unreal Engine modellierte Umgebungen. Die ersten Builds wurden im Juli 2023 in Washington DC mit Polizeikräften getestet, und im Dezember wurde die Erfahrung beim Knoxville Police Department gezeigt.
Aufnehmen
Echte Schauspieler werden aufgenommen und mit KI getrackt, ihre Gesichter aus echtem Audio animiert.
Nachbilden
Die Figuren werden zu MetaHumans oder volumetrischen Aufnahmen in Szenen, die in Unreal Engine modelliert sind.
Licht
Licht und Kamera werden Fall für Fall, Szene für Szene abgestimmt.
Eingreifen
Die Polizeikräfte gehen jeden Fall in VR durch, antworten laut und üben den Moment zum Eingreifen.
Text to XR
Innerhalb von ABLExR haben wir zu Text to XR geforscht: Eine schriftliche Beschreibung wird zur Animation einer Figur, auf einen MetaHuman übertragen und in eine Szene für VR oder AR gesetzt.
Arbeitest du an etwas Ähnlichem? Erzähl uns, was du brauchst.
