Erstellung immersiver digitaler Zwillinge für Schulungsumgebungen mit Spatial AI.

Das IN+SIGHT-Projekt vereinfacht die Erstellung immersiver Trainingsumgebungen durch 3D-Digital Twins und die Anwendung von Spatial AI. Dadurch wird XR-basiertes Lernen in verschiedenen Bereichen leichter zugänglich, wie dem Gesundheitswesen, Rettungsdiensten, öffentlicher Infrastruktur, dem Kulturerbe, der Landwirtschaft und der Green Transition. Indem es Fachexpert*innen ermöglicht, selbstständig reale Szenarien mit Smartphones zu erfassen, diese mit räumlich verankerten verbalen Anmerkungen anzureichern und mittels 3D Gaussian Splatting (3DGS) in fotorealistische 3D-Modelle umzuwandeln, reduziert IN+SIGHT die Komplexität und den Aufwand der XR-Trainingsentwicklung, ohne dass spezielle 3D-Kenntnisse erforderlich sind. Der Ansatz von IN+SIGHT besteht aus drei Schritten: 1. Erfassen: Fachexpert*innen können reale Umgebungen mit Smartphones aufnehmen, um daraus fotorealistische 3D Modelle erstellen. Gleich bei der Aufnahme fügen sie verbale Annotationen hinzu. 2. Bearbeiten: Unterstützt durch Conversational AI können die verarbeiteten 3D Daten durch die Fachexpert*innen mit relevantem Wissen aus Dokumenten ergänzt, sowie Lernpfade vorgegeben werden. 3. Lernen: Die Trainings können von Lernenden mit Web 4.0 basierten Technologien absolviert werden, wodurch die Inhalte einem breiten Personenkreis und auf unterschiedlichen Plattformen zugänglich wird (Smartphones, PCs und immersive Headsets). Der Einsatz von Spatial AI bietet kontextbezogene Unterstützung basierend auf der Position innerhalb des Digital Twins. IN+SIGHT verfolgt einen User-Centered Design-Ansatz mit Feedback aus iterativen Evaluierungen gemeinsam mit Anwendungspartner*innen, die verschiedene Branchen und Sektoren repräsentieren: ÖBB, Samariterbund Linz, Österreichisches Rotes Kreuz NÖ, Bundesverband Rettungsdienst, Samariterbund Österreich, BOKU University, Verein Energiewende und Belvedere. Die F&E-Partner*innen Fachhochschule St. Pölten, AIT, Mopius und Johannes Ambrosch (Startup) bringen Expertise in XR-Technologien, KI und Softwareentwicklung ein. Der Hauptnutzen von IN+SIGHT besteht darin, Organisationen zu ermöglichen, selbstständig maßgeschneiderte XR-Trainingsumgebungen sowohl zu erstellen, als auch kontinuierlich zu aktualisieren. Dadurch werden diese einem breiten Kreis von Auszubildenden zugänglich, wodurch besonders Institutionen mit vielen Mitarbeiter*innen (z.B. Gesundheitsorganisationen) profitieren. Die Projektergebnisse und Demonstratoren werden in öffentliche Veranstaltungen, Publikationen und einen Hackathon einer breiteren Anwenderbasis über das Projekt hinaus vorgestellt und zugänglich gemacht.