Skip to content
Eine Teilnehmerin in Polizeiuniform mit VR-Headset steht mit erhobenem Arm auf einer runden Plattform.
#xr#ai

DEFSENSE

KI-gestützte synthetische Trainingsumgebungen

defsense.ai ↗
> by crowtecxr-training · 2022
01· das projekt
> Ein Venture von Crowtec.

Training unter Stress, am Körper gemessen.

DEFSENSE ist unsere synthetische Trainingsumgebung für Streitkräfte, Polizei und Rettungsdienste. Die Teilnehmenden durchlaufen VR- und AR-Szenarien in Unreal Engine, während ihre Körpersignale und ihr Verhalten für die Ausbilder aufgezeichnet und ausgewertet werden. F&E gefördert vom CDTI mit NextGenerationEU-Mitteln.

Sechs Trainingsszenarien decken die drei Bereiche ab, von einer Geiselbefreiung für Streitkräfte über eine verdeckte Operation für die Polizei bis zu einem Verkehrsunfall für Rettungsdienste, gebaut aus 360-Grad-Video, Motion Capture und 3D. Herzfrequenz, Herzfrequenzvariabilität, Hautleitfähigkeit, Blutsauerstoff, Temperatur, Griffdruck und Hirnaktivität werden live erfasst, zum Teil von RAVEN, unserer eigenen Sensorplatine in der Replika-Waffe. Die Ausbilder verfolgen alles auf einem Monitoring-Panel mit Stresskurven, Heatmaps und einer Zeitleiste kritischer Momente und sehen so, wie jeder Teilnehmende unter Druck reagiert hat, nicht nur, was er getan hat.

> cat /works/defsense.md
TYPXR-TRAINING
EIGENES PRODUKTCrowtec
JAHR2022
ORTMADRID
gebaut mit
  • Unreal Engine
  • VR
  • AR
  • Meta Quest Pro
  • RAVEN
  • EmotiBit
  • Biometric sensors
  • AI
02· in zahlen
6> Trainingsszenarien
7> Körpersignale, live erfasst
3> Bereiche: Streitkräfte, Polizei, Rettungsdienste
VR + AR> Szenarien in Unreal Engine
03· so funktioniert es
Ein gerendertes Büro aus dem Szenario verdeckte Operation, mit einem Agenten am Schreibtisch und einem Besucher gegenüber.
01

Aufbau

Jede Übung ist ein eigenes Szenario, gebaut aus 360-Grad-Video, Motion Capture und 3D.

Ein digitaler Mensch beantwortet Fragen an einem Mikrofon in einem Befragungsszenario, am Headset des Teilnehmenden vorbei gesehen.
02

Erlebnis

Die Teilnehmenden durchlaufen VR- und AR-Szenarien in Unreal Engine: eine Geiselbefreiung, eine verdeckte Operation, einen Verkehrsunfall und mehr.

Das Monitoring-Panel während einer Session: Kurven der Hirnaktivität, Herzfrequenz und der Teilnehmende aus Sicht der Raumkamera.
03

Monitoring

Herzfrequenz, Herzfrequenzvariabilität, Hautleitfähigkeit, Blutsauerstoff, Temperatur, Griffdruck und Hirnaktivität werden in Echtzeit erfasst, zum Teil von RAVEN, unserer Sensorplatine in der Replika-Waffe.

Das Auswertungspanel auf einem Tablet: Gesichtstracking, eine Blick-Heatmap und die Sicht des Teilnehmenden auf die Szene.
04

Auswertung

Regeln und KI-Modelle machen aus Daten und Verhalten Stresskurven, Heatmaps und eine Zeitleiste kritischer Momente für die Ausbilder.

04· galerie
05· credits
by crowtec. VR - XR - AI. 2022
06· referenzen

Demo anfragen

defsense.ai ↗
07· nächstes projekt
> cd /works/ikea-next-gen
IKEA Next Gen Seniors> Interaktive Installation
> navbar collapsed · scroll to the end
Crowtec