Data-Driven Immersive Analytics

Digitale Repräsentationen von realen Objekten unterschiedlicher Komplexität sind in digitalen Zwillingen verfügbar. Interaktions- und visuelle Analysemetaphern sind jedoch einfach nicht für den Kontext der realen Welt ausgelegt, und wenn der Benutzer aus der Ferne arbeitet, hat er ein eingeschränktes Raumgefühl. Es ist notwendig, eine einheitliche ganzheitliche Erfahrung von Daten und Analysen anzubieten, die in der realen Welt für lokale oder entfernte Teilnehmer verankert ist.

COVID19 hat die Bedeutung der menschlichen Arbeitskräfte und die Notwendigkeit, eine widerstandsfähigere Gesellschaft zu schaffen, deutlich gemacht. Ausbrüche an Arbeitsplätzen, z. B. in Industrieanlagen und Fabriken, haben gezeigt, wie wichtig es ist, die Gesundheit der Mitarbeiter zu erhalten. Während Schließungen und Reiseverbote weiterhin den als normal angesehenen Betrieb stören, hat uns die Krise vor Augen geführt, dass es möglich ist, viele Tätigkeiten aus der Ferne mit einem unterschiedlichen Maß in Zusammenarbeit durchzuführen. Die Technologie hat die Kommunikation erleichtert, doch die Krise hat den Menschen ihre Grenzen schmerzlich bewusst gemacht: Viele Aktivitäten erfordern ein Bewusstsein für den Raum, ein Gefühl der Präsenz und Bewegungsfreiheit, um zu funktionieren. Dieses Projekt zielt darauf ab, technologische Lösungen zu erforschen und zu entwickeln, die diesen Einschränkungen entgegenwirken und die Fähigkeit stärken, aus sicherer Entfernung zu handeln.

Die Notwendigkeit eines neuen Ansatzes für immersive Interaktion in der realen Welt geht über die Pandemie hinaus. Riesige in die Digitalisierung investierte Summen, führen zu komplexen „cyberphysischen Systemen“, d. h. physischen Systemen, die mit Netzen von Sensoren und Rechenkernen überwacht und gesteuert werden. Verschiedene Daten, die die physische Einheit repräsentieren, werden in digitalen Zwillingen gesammelt, die 3D-Strukturdaten, semantische Informationen und Sensordaten umfassen. Dennoch ist die sensorische Erfahrung, die durch immersive Technologien geboten wird, trotz der jüngsten Fortschritte eher eingeschränkt. Die Daten sind zwar verfügbar, doch der Zugriff, die Interaktion und die Analyse sind von der physischen Einheit getrennt. Dies sind mühsame Tätigkeiten, wenn sie in der physischen Welt durchgeführt werden. Visualisierungs- und Interaktionsmetaphern sowie Analysemethoden wurden einfach nicht für den Kontext der physischen Welt entwickelt. In verschiedenen Fachbereichen benötigen wir jedoch digitale Informationen über physische Einheiten in Echtzeit. Wie sollten die Informationen über physisch und digital existierende Einheiten am besten in einer kohärenten Präsentation kombiniert werden? Und was sind geeignete Interaktionsparadigmen für Analyseprozesse in immersiven Umgebungen?

In diesem Projekt werden neue Berechnungsmethoden für immersive Analysen entwickelt, die sich auf i) Daten stützen, die von einer physischen Einheit über einen digitalen Zwilling stammen, ii) Daten, die vom Benutzer stammen und mit physiologischen Sensoren erfasst werden, und iii) Daten, die aus dem immersiven Erlebnis stammen, so genannte Traces, die mit Softwaresensoren aufgezeichnet werden. Kurz gesagt, die Herausforderungen, die wir angehen wollen, beinhalten, wie man immersive Datenansichten präsentiert und mit ihnen interagiert, welche physiologischen Merkmale zur Wahrnehmungsoptimierung und Personalisierung führen und wie man Spuren von Interaktionen in der Umgebung nutzt, um Empfehlungen und Anleitungen zu erstellen.

Das Ziel ist es, personalisierte Erfahrungen mit Daten und Analysen zu bieten, die in der realen Welt verankert sind – für den einzelnen Teilnehmer oder in Zusammenarbeit mit Gleichgesinnten vor Ort oder aus der Ferne.

• Erforschung von Modellen der verkörperten Interaktion mit immersiver Analytik.
• Entwicklung von Paradigmen für die kollaborative immersive Fernanalyse.
• Erforschung der Personalisierung auf der Grundlage von physiologischer Sensorik und sozialem immersivem Training.

Mit diesem Projekt sollen sieben (7) Forscher finanziert werden: ein Postdoktorand und ein Team von sechs (6) Doktoranden. Sie wurden entlang von (3) Phasen organisiert: Analyse, Zusammenarbeit und Lernen. Diese Phasen erstrecken sich über sechs Forschungsthemen (eines für jeden Doktoranden). (Siehe Abbildung unten)

T1- Immersive Interaktion mit dem digitalen Zwilling: T1 zielt darauf ab, die Interaktion mit dem digitalen Zwilling zu erforschen und voranzutreiben, einschließlich Analysemethoden und mit historischen Daten. In diesem Sinne untersuchen wir das mentale Modell, das der Nutzer durch die Interaktion mit dem digitalen Zwilling gewinnt. Dieses kognitive Modell wird verwendet, um neuartige Para- digmen für die Interaktion mit Analyseprozessen vorzuschlagen, einschließlich der Manipulation und des Vergleichs der von den Daten dargestellten Situation zu verschiedenen Zeitpunkten in der Vergangenheit (aus historischen Daten) oder in der Zukunft, wenn simulierte Daten verfügbar sind.

T2 – Verkörperte Interaktion mit Datenvisualisierungen im Raum: T2 zielt darauf ab, die Organisation des Raumes zu untersuchen, um verschiedene Formen von Datenansichten einzusetzen und wie die Bewegung und Aktion des Benutzers im Raum die Art der Präsentation beeinflussen sollte. Datenansichten können in 2D oder 3D erstellt werden. Sie können im Raum um ein Objekt verankert, an ebenen Flächen angebracht oder um den Benutzer herum angeordnet werden. Wir untersuchen verschiedene Präsentations- und Organisationsformen mit dem Ziel, die immersive Analytik zu einer Erweiterung der intuitiven Bewegung zu machen.

T3- Vermittelte Wahrnehmung für immersive Fernanalysen: Damit ein Benutzer aus der Ferne Analysen so durchführen kann, als wäre er an dem Ort anwesend, an dem die Daten entstehen, ist es notwendig, den Ort zu erfassen und ihn den Sinnen des Benutzers mit ausreichender Genauigkeit zu vermitteln. T3 befasst sich mit der Erforschung und Entwicklung einer „vermittelten Wahrnehmungsplattform“, um Teilnehmern aus der Ferne eine immersive Erfahrung in der ersten Person zu vermitteln, z. B. mit Hilfe eines halbautonomen Roboters.

T4- Auswirkungen des Vorwissens auf das Erleben von Fernarbeit und Zusammenarbeit in der Datenanalyse: Wir untersuchen, wie sich das Vorwissen in der Domäne auf die Erfahrung und die Leistung bei der Fernarbeit und der kollaborativen Datenanalyse auswirkt. Die Kenntnis der Auswirkungen und der relativen Bedeutung des Vorwissens ermöglicht es, 1) fundierte Entscheidungen darüber zu treffen, ob eine Zusammenarbeit unter bestimmten Umständen initiiert werden soll, 2) zusätzliche Teilnehmer für die Zusammenarbeit auszuwählen und 3) Gegenmaßnahmen zu ergreifen, wie z. B. die Bereitstellung von Vorabinformationen oder Schulungen.

T5- Physiologische Modelle für personalisierte immersive Analytik: Wir untersuchen die Effekte, die sich beim Nutzer während des immersiven Erlebnisses manifestieren. Wir werden physiologische Daten mit Sensoren sammeln, einschließlich Eye-Tracking, Herzfrequenz, galvanische Hautreaktion, Elektroenzephalogramm, Elektromyographie, etc. Wir werden die Auswirkungen auf die menschliche Reaktion modellieren und Personalisierungen und/oder Optimierungen für das immersive Erlebnis vorschlagen.

T6- Soziales immersives Training und Unterstützung: Dieses Thema zielt darauf ab, Methoden zu untersuchen, um das Wissen zu nutzen, das ein Benutzer während der immersiven Erfahrung erlangt. Zu diesem Zweck werden Aktivitätsspuren aufgezeichnet, die die Aktionen des Benutzers in der virtuellen Umgebung beinhalten. Wir werden die Verwendung von Aktivitätsspuren auf zwei Arten untersuchen: für personalisierte Empfehlungen und für die Erstellung von Arbeitsabläufen für Tutorials.

Das COMET-Modul schlägt Forschungen zu bahnbrechenden Themen vor, die darauf abzielen, eine immersive analytische (Tele-)Zusammenarbeit zu ermöglichen und zwei neue Perspektiven einzubringen, die bisher im Zusammenhang mit immersivem Computing kaum berücksichtigt wurden: Personalisierung und Paradigmen für soziales Lernen.

Es handelt sich um ein 4-Jahres-Projekt mit einer Förderquote von 80 % und erfordert eine Zusage von Partnern aus dem Privatsektor über einen Gesamtbetrag von 140.000 EUR pro Jahr, der auf fünf (5) Partner verteilt wird. Für jeden Partner beläuft sich der Betrag auf maximal 112.000 EUR, verteilt auf vier Jahre (oder 28.000 EUR pro Jahr, über 4 Jahre).

Eduardo Veas

+43 316 873 30 858