MA | Merging Realities

Abstract

Die Übertragung digitaler Services und Plattformen in die physische Welt geht mit einer weitreichenden technologischen und soziokulturellen Transformation einher, die noch am Anfang steht, jedoch an Fahrt aufnimmt. Zahlreiche Visionen erforschen die Potenziale von Extended Reality (XR) unter anderem aus Sicht von Wirtschaft, Bildung oder Kultur und gleichen je nach Perspektive Utopien oder Dystopien. Voraussetzung für eine faire und nachhaltige Entwicklung, die die Bedürfnisse einer diversen und globalen Gesellschaft versteht, ist die Möglichkeit zur Partizipation. Die Komplexität immersiver Technologien setzt jedoch für eine aktive Beteiligung Fähigkeiten wie Programmierung oder 3D-Modellierung voraus und ist damit vielen Menschen vorenthalten. Diese Arbeit erforscht den Einsatz von Prototyping Methoden, um einen leichteren Zugang zu schaffen, neue Ansätze für XR Projekte zu finden und zu evaluieren. Mit einem Fokus auf Design werden Bedürfnisse und Intentionen der Nutzer in konkrete Funktionen und Werkzeuge für den Prototyping Prozess übertragen, der primär auf Extended Reality Brillen (Headsets) stattfindet. Innerhalb des analysierten Workflows spielen die Auswirkungen des Prototyping Mediums auf das Ergebnis ebenso eine Rolle wie Kollaboration und die Integration von Daten und Anwendungen. Die Untersuchung von Design und Prototyping im Kontext von XR gibt einen Überblick des aktuellen Entwicklungsstands, konkrete Beispiele und Informationen zur Partizipation sowie einen Ausblick des Mediums und seiner Auswirkungen.

Prolog

Ich bin ein Digital Native. Ich bin Teil von mittlerweile mehreren Generationen, die mit digitalen Medien aufgewachsen sind. Wir sind gut vernetzt. Wir kommunizieren via Messenger und produzieren gemeinsam jeden Tag mehr Inhalte für unsere Freunde und Follower als man in 100 Jahren ansehen könnte¹. Die digitale Revolution ist ein weltweites Phänomen. Sechzig Prozent der Menschheit nutzt das Internet². In Europa sind mehr als 95 % online und damit Teil eines globalen Netzwerkes. Der Austausch von Informationen und Medien war nie einfacher. Nicht nur viele Unternehmen bauen auf digitale Strukturen, auch unsere Freizeit und unser Alltag ist stark dadurch geprägt. Von IoT-Geräten, Smartphones und PCs über das Streamen von Musik, Filmen und Serien, bis zu sozialen Netzwerken, nutzen wir täglich eine Vielzahl digitaler Services. Auf diese zu verzichten würde mit erheblichen Einschränkungen einhergehen. Die ständige Verfügbarkeit von online Shops, mobile Banking und grenzenlosen Informationen bringt Komfort und ist zunehmend alternativlos. Unser soziales Umfeld erwartet, dass wir den technologischen Trends folgen und die Apps und Services unserer Freunde nutzen, um in Kontakt zu bleiben.

Digitale Medien sind mehr als gelegentlicher Zeitvertreib und Selbstdarstellung. Sie sind Teil unserer Kultur, unseres täglichen Lebens und unserer Persönlichkeit, und damit genauso vielseitig wie wir. Nicholas Negroponte beschrieb schon 1995 in “Being Digital” eine Zukunft, die unserer sehr nahekommt.

Like a force of nature, the digital age cannot be denied or stopped. It has four very powerful qualities that will result in its ultimate triumph: decentralizing, globalizing, harmonizing, and empowering.³

Plattformen wie Twitter und Facebook besitzen eine globale Strahlkraft, die jedem – unabhängig der Nachricht – zugänglich ist. Sie werden unter anderem genutzt, um für Gleichberechtigung zu werben, lustige Videos zu teilen oder politischen Einfluss auszuüben.

Unabhängig davon, wie wir die Rolle von digitalen Medien in unserem Leben bewerten, sind sie ein wesentlicher Bestandteil dessen. Jeder von uns besitzt eine digitale Persona, mit der wir diese virtuelle Welt betreten und verändern können. Für den einen kann diese Persona nicht nah genug an unserer realen Existenz sein, für den anderen nicht weit genug entfernt. Sie bleibt jedoch bisher meist durch eine scheinbare Grenze getrennt: die Bildschirmkanten unserer Smartphones und PCs. Allgegenwärtig und dennoch nicht fassbar.

Mit technologischen Entwicklungen wie Sprachassistenten oder Augmented Reality versuchen wir diese Grenzen zu überwinden und den nächsten Schritt der fortschreitenden Digitalisierung zu erreichen. Die digitale und reale Welt werden Eins. Hilfsmittel wie Laptops oder Smartphones werden überflüssig und weichen den Inhalten, die sie zugänglich gemacht haben. In einer digital erweiterten Welt stehen reale neben virtuellen Objekten und Informationen. Der Übergang ist fließend. Nachdem wir eine neue Welt erschaffen haben, wird diese nun Teil der Umgebung, in der wir seit dreihunderttausend Jahren leben. Wir erweitern unsere Dimensionen.

Unsere digitale Persona erhält eine Gestalt. Sie wird fassbar.

Envision

Extended Reality (XR) wird als Sammelbegriff für verschiedene immersive Technologien wie Augmented Reality (AR), Mixed Reality (MR) oder Virtual Reality (VR) definiert⁴. Das X steht in dem Kontext für eine austauschbare Variable und deutet auf die Erweiterbarkeit mit zukünftigen Technologien hin.

Der entscheidende Zusammenhang steckt in der Erweiterung der Realität durch virtuelle Welten. Die oft genannte “immersive Erfahrung” meint eine Wahrnehmung und Interaktion mit digitalen Objekten und Informationen auf einer Sinne umfassenden Ebene. Wir nehmen virtuelle Objekte wahr, als wären sie Teil der physischen Umgebung oder bewegen uns in virtuellen Welten, als wären sie real. Darin steckt das Streben nach natürlicher Interaktion. Statt zweidimensionale Fenster auf einem Bildschirm zu betrachten, können wir ihren Inhalt im Raum verteilen. Dieser ist nicht mehr steril, durch eine Scheibe Glas getrennt, sondern liegt auf unserem Couchtisch oder hängt an der Wand.

Der Unterschied zwischen VR, AR und MR findet sich in der Art der Integration virtueller Objekte in unsere reale Umgebung. Virtual Reality meint ein vollständiges Eintauchen in eine virtuelle Welt, in der wir uns bewegen können, die auf uns reagiert und mit der wir interagieren können. Im Gegensatz dazu, wird im Fall von Augmented und Mixed Reality keine neue Welt geschaffen, sondern die reale Welt tatsächlich erweitert. Wir befinden uns weiterhin in unserer gewohnten Umgebung, können jedoch virtuelle Objekte in diese integrieren. Sie werden Teil unserer Welt. Mixed Reality hebt außerdem besonders die Interaktion von realen und virtuellen Objekten hervor. Da die Grenzen zwischen diesen Begriffen jedoch fließend verlaufen und sich die Technologien annähern, hilft der Begriff “Extended Reality” die Definition zu vereinfachen. So sind Virtual Reality Headsets mittlerweile in der Lage, die reale Welt mit Kameras wahrzunehmen und mit virtuellen Welten zu verschmelzen, während Augmented Reality auf dem Smartphone nicht nur Gegenstände im Raum platzieren, sondern diesen vollständig verändern kann.

Technologisch betrachtet bedeutet Extended Reality nicht mehr, als das Aufkommen neuer Methoden für User Input und Output. Digitale Netzwerke und Services stellen weiterhin die Grundlage für Produkte und Medien, wie sie heute bereits verwendet werden. Statt mit der Maus, kann der Anwender nun mit der Hand, per Sprache oder Fokussieren der Augen ein Tool bedienen. Machine Learning und Künstliche Intelligenz ermöglichen es, neue Wege der Kommunikation zwischen Mensch und Maschine zu erschaffen und durch Lernfähigkeit auf die individuellen Anforderungen jedes Anwenders einzugehen.

Betrachten wir jedoch die Auswirkungen auf uns als digitale Menschen, stehen wir vor einer neuen Welt – mit Möglichkeiten, die heute kaum vorstellbar sind. Eugene Chung, Gründer und CEO von Penrose Studios beschreibt den Wandel:

We’ve effectively had the same flat screen medium since 1896. VR/AR uniquely provides a sense of presence and immersion, it’s abrand new art form and brand new form of experiencing.⁵ 

Ähnlich einem Traum ist jeder in der Lage, die virtuelle Welt nach eigenen Vorstellungen zu gestalten. Digitale Objekte unterliegen nicht den Gesetzen der Physik, ihr Material scheint weder Rohstoffe noch Geld zu kosten, sie sind lediglich begrenzt durch unsere Vorstellungskraft.

Traumhafte Zukünfte

Man könnte meinen, dass Technologien wie Extended Reality, Sprachassistenten und Internet of Things (IoT) eine Folge der Fortschritte in Forschung und Entwicklung sind. Die Richtung dieser Entwicklung wird jedoch bestimmt durch die Wünsche und Vorstellungen, die wir als Gesellschaft formen. In zahlreichen Büchern, Filmen oder Serien werden Utopien und Dystopien unserer Zukunft erkundet und fesseln Menschen mit ihren Ideen. Science-Fiction Klassiker wie Star Trek oder 2001: A Space Odyssey enthalten viele Elemente, die heute keine Fiktion mehr sind. Kommunikatoren heißen heute Smartphones, HAL 9000 wurde durch Alexa abgelöst, selbst autonome Fahrzeuge wie KITT aus Knight Rider oder Roboter nach Vorbild von Blade Runner sind heute möglich.

Eine Studie an der University of Hawaii von Philipp Jordan und Kollegen⁶ hat den Einfluss von Science Fiction auf Design und Entwicklung näher untersucht. In Papern aus dem Forschungsbereich Human-Computer Interaction (HCI) fanden sie verschiedene Science Fiction Referenzen und teilten diese in mehrere Kategorien. Darunter Theoretical Design Research, Human-Robot Interaction and AI oder New Interactions, in dem z. B. die Gestensteuerung aus Minority Report erwähnt wird. Jordan zitiert eine Studie zu sozialer Wirkung von Interfaces:

Science-fiction films or books have long included characters such as intelligent computers, robots and androids that evoke the same type of social responses from the audience or the reader. With the evolution of technology, these science-fiction visions are now becoming a reality, and new interactive techniques and devices are designed to evoke social responses from users.⁷

Technologische Fortschritte ermöglichen erst die Umsetzung von bestehenden Visionen. Außerdem stellt Jordans Studie fest, dass der Einfluss von Science Fiction in Design und Forschung zunimmt.

Extended Reality wird ebenfalls in vielen Filmen, Serien und Büchern verwendet. In Form von Holografie kommen immersive Interfaces in den 70ern in Star Trek als Holodeck und in Star Wars zum Einsatz. Anfang 2019 stellt sich Sandbox VR als VR-Experience-Startup mit der Tagline “We’re the holodeck company.”⁸ vor und sichert sich mit Hilfe der Anlehnung hohe Investitionen.

Die XR-Visionen der 70er haben sich weiterentwickelt und produzieren Bilder möglicher Szenarien, die zukünftige Entwicklungen inspirieren werden.

 

 

Joi ist ein Wesen mit wandelbarer Größe und Form aus Blade Runner 2049⁹, das die Emotionen ihres menschlichen Partners lesen und darauf reagieren kann. Sie ist in der Lage, einen menschlichen Körper als Avatar zu nutzen und bricht damit die Grenze zwischen Mensch und Maschine. Ihre wandelbare Form findet sich heute bereits auf einfachem Level in Face Filtern von SnapChat, Instagram und Co. – einer Form der dynamischen Anpassung unseres Aussehens mit digitaler Überlagerung. Die Möglichkeit, unsere Erscheinung jederzeit frei anpassen zu können, würde nicht nur Kosmetik oder sogar operative Eingriffe überflüssig machen, sondern auch persönlichen Ausdruck fördern.

 

 

Samantha zeigt in Spike Jonze’s HER¹⁰, dass ein Betriebssystem mehr sein kann, als ein zweidimensionales Interface. Vielmehr ist sie ein eigenständiges hochintelligentes Wesen, das mit vielen Menschen gleichzeitig kommuniziert und aus ihrem Verhalten lernt. Sie wird vom Protagonisten nicht mehr als Software, sondern als sozialer Partner wahrgenommen. Eine weitere interessante Szene im Film zeigt ein Videospiel, das ein Wohnzimmer um virtuelle Welten erweitert. Der Protagonist ist jedoch nicht in der VR-Umgebung gefangen, Realität und virtueller Raum fließen ineinander. Wesen aus dem Spiel reagieren nicht nur auf den Spieler, sondern werden Teil seiner realen Umgebung, in dem sie mit ihr interagieren. Eine Einteilung in VR, AR oder MR nach heutiger Definition würde dem Szenario nicht gerecht werden. Die Realität des Protagonisten wird erweitert.

 

 

Entgegen der fließenden Grenzen zwischen Realität und Virtualität in Blade Runner und HER, zeigt Ready Player One¹¹ einen Ansatz, der eine vollkommen neue Welt erschafft. Während Menschen in der Realität in einfachen Container-Städten leben, flüchten sie sich in eine virtuelle Umgebung, die sie vollständig einnimmt. Virtual Reality wird bereits in der Tourismusindustrie verwendet, um Ziele zu bewerben¹² und könnte den Urlaub vollständig in virtuelle Welten verlegen. Damit wäre z. B. auch ein Besuch von schwer zugänglichen Orten wie den Archiven im Vatikan, dem Mount Everest oder dem Mond jedem möglich.

Wir stehen kurz davor, viele Teile dieser Visionen Wirklichkeit werden zu lassen. Dabei hat jeder Mensch eine andere Vision seiner oder ihrer Zukunft und welche Rolle XR in dieser spielt. Dystopie oder Utopie ist eine Frage der Perspektive.

Szenarien & Use Cases

Extended Reality wird in vielen Branchen als Katalysator neuer Entwicklungen gesehen. Zu den wirtschaftlich vielversprechendsten Einsatzzwecken der nächsten Jahre gehören laut einer IDC Studie die Industrie und Produktion, Marketing und Produktpräsentation, Bildung und Forschung sowie Spiele und Entertainment¹³. Weitere spannende Use Cases finden sich im Bereich Medizin und Gesundheit.

Industrie und Produktion

Die Einrichtung und Wartung von Maschinen wird zunehmend nicht mehr durch Spezialisten vor Ort, sondern durch die Anleitung des örtlichen Personals aus der Ferne realisiert. Dies hilft nicht nur im Ausnahmezustand der COVID-19-Pandemie, sondern trägt auch zur Reduzierung von Business-Flügen bei. Neue AR-Lösungen¹⁴ versprechen effektive remote Wartung und Training¹⁵ in der Industrie 4.0. Noch vor der Produktion werden VR-Brillen eingesetzt, um virtuelle Modelle von Auto-Cockpits¹⁶ oder Flugzeugkabinen zu testen und Entwicklungskosten zu sparen. Das Berliner Start-up Onboard entwickelt eine VR-Prototyping-Lösung für Fahrzeuginnenräume, die es erlaubt, Ansätze kosteneffektiv zu testen und Nutzerbedürfnisse zu erkennen¹⁷.

Marketing und Produktpräsentation

Auf der Suche nach neuen Vertriebskanälen wird immer öfter die physische Umgebung des Kunden statt einer schlichten statischen Darstellung für die Produktpräsentation genutzt. Nike bietet nicht nur das Ausmessen der eigenen Füße per AR-App¹⁸, sondern nutzt auch einen explorativen Augmented Reality Ansatz. Dabei können Nutzer Schuhe in der Stadt entdecken, die erst dann exklusiv zum Verkauf angeboten werden¹⁹. Die Kommerzialisierung des öffentlichen und privaten Raums wirft jedoch viele ungeklärte Fragen auf.

There are a lot of issues that it opens up like for example who is allowed to place an augmented reality object where. Can someone from Burger King walk into a McDonald's and place a Burger King ad there? What are the rules? It's a whole new kind of field of consideration.²⁰

Wer entscheidet darüber, welche Inhalte wo platziert werden? Brauchen wir Ad-Blocker um nicht von Werbung auf dem Weg zur Arbeit geblendet zu werden? Die Diskussionen um Datenhoheit und Privatsphäre, die bereits in Bezug auf soziale Netzwerke und Anbieter digitaler Services geführt werden, sind ebenso für die Regulation von Extended Reality notwendig.

Bildung und Forschung

Studien weisen darauf hin, dass wir leichter lernen, wenn wir unsere Hände einsetzen können²¹ und mit Objekten im Raum interagieren. Schüler sind durch das neue Medium motivierter, sich mit neuen Inhalten auseinander zu setzen und können diese leichter aufnehmen²². In der Forschung findet XR zum Beispiel Einsatz in der Analyse schwer zugänglicher Umgebungen wie aktiver Vulkane durch hochauflösende 3D-Modelle²³. Auch Geschichte lässt sich direkter erfahren und wird nachvollziehbarer, wie ein Beispiel auf Twitter von @mechpil0t zeigt.

the past & the present at Asakusa temple#AR #AugmentedReality pic.twitter.com/s3ZnS1ZBhO

— mechpilot (@mechpil0t) July 18, 2020

²⁴

Spiele und Entertainment

Mit 15 Mrd. Euro wird XR-Gaming in einer IDC-Studie als Anwendungsbereich mit den höchsten Investitionen prognostiziert. Erfolge wie Pokemon Go, das bereits 2016 Geolocation und Mobile-AR verband oder das VR-Spiel Half Life Alyx weisen auf eine vielversprechende Zukunft für die XR-Unterhaltungsbranche hin. Das Medium erschafft für Storytelling neue Möglichkeiten der Interaktion zwischen Zuschauer und fiktiven Welten. Jason Moore hat mehrere VR Erlebnisse zwischen Film und Spiel erschaffen, und beschreibt in einem Interview sowohl den Drang vieler Menschen, Teil einer Geschichte zu werden, als auch die Herausforderung, die sich daraus für Storytelling ergeben.

We wanted to be part of that story and of that universe. And this idea has always stayed with me. [...] I'm constantly trying to find a balance between telling a story and the need of the users to shape it.²⁵

Medizin und Gesundheit

In der Diagnose und sogar während medizinischer Eingriffe bietet XR die Möglichkeit, Spezialisten nach Bedarf direkt einzubinden, ohne dass diese vor Ort sein müssen²⁶. In der medizinischen Ausbildung fördern virtuelle Modelle das Verständnis für Anatomie und Physiologie. Das Training von Chirurgen in VR kann laut einer Studie²⁷ sowohl effizienter, als auch wesentlich günstiger als klassisches Training gestaltet werden.

The study demonstrated a nearly 50% reduction in surgical errors [...]. [...] VR Training reduced the learning curve by up to 50 cases[...], and is at a minimum 34x less expensive than traditional learning methods.²⁸

Das Projekt DISA²⁹ erforscht an der Fachhochschule Potsdam den Einsatz von Digitalen Medien wie XR in der Therapie von sozialen Angststörungen mittels Prototyping. Auch zur Behandlung von Krankheiten wie Demenz³⁰ und Entwicklungsstörungen wie Autismus³¹ werden bereits VR-Lösungen getestet.

Design Perspektive

Während die genannten Bereiche ein breites Spektrum an Use Cases bieten, sind diese vorrangig aus wirtschaftlicher Perspektive betrachtet und bieten daher eine eher eingeschränkte Perspektive.

Innerhalb eines Hochschulkurses zu dem Thema “Prototyping Reality – Räumliche & Kontextsensitive Interfaces”³², den Valerie Garci-Crespo Lopez und ich gemeinsam 2020 geleitet haben, konnten wir Eindrücke der Wünsche und Visionen von Design Studenten im Kontext von XR sammeln. Die meisten der 15 teilnehmenden Bachelor-Student*innen hatten zuvor wenig oder keine Berührung mit der Gestaltung immersiver Interfaces.

Noch vor der ersten Einführung in das Thema XR, erfolgte ein Brainstorming zu den persönlichen Interessen und Use Cases mit dem Ziel, den Kurs danach ausrichten zu können und einen Überblick der Erwartungen an neue Gestaltungsmedien zu schaffen. Das Brainstorming fand in Gruppen von drei bis vier Teilnehmern statt.

Kunst & Kultur

Als einer der meistgenannten Themenbereiche beschäftigen sich viele Ansätze mit dem Einsatz von XR in kulturellen Einrichtungen. Dazu zählt die Erweiterung von Ausstellungen in Museen um virtuelle Objekte und Informationen und interaktive Kunst am Beispiel von AR Street-Art. Auch Musik spielt eine wichtige Rolle. Neben der Musikproduktion bietet XR auch für Live-Auftritte – besonders unter den Beschränkungen der COVID-Pandemie – neue Möglichkeiten für Künstler, mit ihrem Publikum zu interagieren.

Nachhaltigkeit

Das hochschulweite Klimasemester hatte ebenfalls einen Einfluss auf die Auswahl der Kursthemen. Vor allem, um Transparenz im Verbrauch von Nicht-erneuerbaren Rohstoffen zu schaffen, sehen die Studenten viel Potenzial in räumlichen und personalisierten Datenvisualisierungen. Ob im Supermarkt oder in der eigenen Wohnung: Nachhaltiger Verbrauch und Konsum bedarf direkt verfügbarer Informationen z. B. zum Wasserverbrauch, zur Mülltrennung oder der Ökobilanz von Produkten von der Entstehung bis zum Ende ihrer Lebensdauer. Um für die Auswirkungen nicht nachhaltigen Handelns Bewusstsein zu schaffen, könnte eine virtuelle Zeitreise in die Zukunft eine einprägsame und deutliche Methode sein.

 

 

Kollaboration & Arbeit

Da der Kurs durch Pandemie-Beschränkungen vollständig online stattfinden musste, beschäftigten sich viele Ansätze mit der Verbesserung der online Kommunikation und Zusammenarbeit. Videokonferenzen können nicht das gleiche Gefühl von Präsenz wie ein Treffen im selben Raum vermitteln. Ein virtueller Raum könnte hier eine Alternative bieten und eine stärkere Verbindung zwischen Konferenzteilnehmern schaffen. Die Kollaboration in einem gemeinsamen virtuellen Raum bietet weiter Vorteile: Digitale Medien, Referenzen und sogar 3D-Modelle können schnell ausgetauscht und diskutiert werden. Auch die Erstellung von 3D-Modellen von Produkten ist direkt im Raum möglich. Statt Maus und Tastatur zu nutzen, ließen sich virtuelle Materialien mit Händen bearbeiten und formen.

Mobilität

Während die Automobilindustrie als großer Markt für XR-Lösungen³³ gilt, entstehen auch für nachhaltige Fortbewegungsmittel wie das Fahrrad neue Einsatzzwecke. Ein Fahrradhelm mit AR-Visier könnte z. B. zur Navigation und Kommunikation genutzt werden, ohne die Hände vom Lenker nehmen zu müssen. Durch Integration von Wearables wie Fitness-Trackern stehen weitere Informationen zu Verfügung, die in eine sportliche Routenführung einfließen könnten.

Medien

Wie sieht eigentlich das Internet oder ein Betriebssystem in XR aus? Diese Frage hat mehrere Diskussionen im Kurs angeregt. Während sich die meisten XR-Anwendungen ähnlich ihrer Vorgänger bisher als isolierte Umgebungen präsentieren, treffen diese im Raum aufeinander. Wie sieht Multitasking im Raum aus? Wie präsent darf eine XR Anwendung sein, um nicht den Raum und andere Anwendungen zu überlagern? Diese Fragen bieten einen Ausblick auf die vielen Themen, die erst noch mit praktischen Experimenten erforscht werden müssen.

Extended Reality bietet sowohl für aktuelle Business Cases, als auch für viele Use Cases, die noch erforscht werden, viel Potenzial und wird uns in vielen Bereichen des Lebens begegnen.

Participate

The Web we know now, which loads into a browser window in essentially static screenfuls, is only an embryo of the Web to come.³⁴

Darcy DiNucci sprach Anfang 1999 von dem Übergang in das Web 2.0, wie wir es heute kennen. Während der Nutzer im Web 1.0 die Rolle eines passiven Betrachters statischer Inhalte spielte, ist heute jeder in der Lage, aktiv Inhalte zu erstellen. Das Web 2.0 wird auch als Participatory Web definiert³⁵. Menschen sollten sich demnach nicht nur über wirtschaftlich agierende Plattformen wie Facebook oder Twitter austauschen können, sondern unabhängige Websites und eigene Blogs erstellen können.

Adoption

Damit ein neues Medium oder System von der Gesellschaft angenommen wird und die neuen Möglichkeiten auch tatsächlich genutzt werden, sind drei Faktoren entscheidend:

1. Vertrauen in das neue System
   Der Aufwand, sich in ein neues System einzufinden, muss durch die Vorteile, die dieses mitbringt, aufgewogen werden. Dazu zählt, dass diese Vorteile leicht wahrzunehmen sind und eine niedrige Einstiegshürde mit sich bringen.
2. Bereitschaft Informationen zu teilen
   Die Bereitschaft, persönliche Informationen zu teilen, ist ebenso wichtig, wie diese eigenständig kontrollieren zu können.
3. Technische Fähigkeiten
   Neue Systeme erfordern neue Kompetenzen, die durch Erfahrung mit diesen aufgebaut werden.

Alle drei Faktoren erfordern einen Zeitraum der Adoption. Während Early Adopter früh einsteigen und das Risiko eingehen, dass ein neues System scheitert, profitiert die breite Masse von dem Komfort einer erprobten Umgebung³⁶. Das Internet ist eine Erfahrungs-Technologie³⁷. Wir finden Vertrauen zu neuen Systemen, in dem wir diese verwenden und Funktionen bereitstehen, die den Aufwand des Einstiegs relativieren.

Die gleichen Faktoren der Adoption lassen sich auf die Verbreitung und Erforschung von Extended Reality Anwendungen übertragen.

Während manche Bereiche wie z. B. Gaming in Virtual und Augmented Reality bereits einen Markt besitzen³⁸, liegen die meisten Potenziale noch vor uns. Welche das sind, können wir nur herausfinden, in dem wir kollektiv Erfahrung mit immersiven Interfaces sammeln. Erst wenn wir in der Lage sind, eigene Erfahrungen zu machen und von passiven Konsumenten zu aktiven Teilnehmern werden, wird die erweiterte Realität zu einer partizipativen Realität.

A New Skillset

Um eigene Websites zu erstellen, gibt es eine Vielzahl einfacher Tools wie Squarespace³⁹, Adobe Spark⁴⁰ oder Wix⁴¹, die auch ohne weitreichende Programmierkenntnisse einen schnellen Einstieg bieten. Dabei ist es oft möglich, direkt im Browser neue Inhalte zu erstellen und somit dasselbe Medium für Produktion und Publikation zu nutzen. Die Ergebnisse sind in den meisten Fällen keine kreativen Schöpfungen, bieten aber ein Sprungbrett, um sich tiefer mit dem Medium auseinanderzusetzen. Im Gegensatz dazu gestaltet sich die Erstellung eigener XR-Inhalte wesentlich aufwendiger. Neben technischen Herausforderungen erfordert die Gestaltung in der dritten Dimension ein Gefühl für räumliche Interaktion.

Technische Skills

Ähnlich wie im Web gilt: Die maximale Gestaltungsfreiheit erreicht man mit der Programmiersprache, auf der das System basiert. Die Hersteller von XR Systemen bieten Dokumentationen der Funktionen ihrer Geräte an und zeigen, wie diese in eigenen Anwendungen auf Code-Ebene genutzt werden. In Kombination mit 3D-Engines wie Unity oder Unreal, ist diese Ebene optimal, um in einem Team komplexe Anwendungen zu entwickeln. Dieser Ansatz bringt aber für unerfahrene Nutzer eine erhebliche Einstiegshürde mit sich und richtet sich primär an erfahrene Software-Entwickler.

Es gibt jedoch bereits Tools, die auch ohne Code einfachere XR-Experimente zulassen und für den Einstieg geeigneter sind. Dazu zählt beispielsweise Apple’s Reality Composer⁴², der schnelle und optisch hochwertig Ergebnisse liefert, die sich direkt per iPhone oder iPad im Raum betrachten lassen. Die auf diesem Weg entstandenen Werke lassen sich leicht an Freunde geben oder via Browser im eigenen Raum betrachten, sind jedoch auf Apple Geräte begrenzt. Mit Facebook’s Spark AR⁴³ lassen sich AR Effekte wie Face Filter erstellen und per Instagram mit Freunden ausprobieren. Mit über 400.000 Nutzer in 190 verschiedenen Ländern⁴⁴ besitzt es zudem eine große Nutzerbasis und wird stetig erweitert. Tools und Plattformen großer Anbieter wie Facebook und Apple bringen jedoch die gleichen Nachteile mit sich, wie sie im Web bestehen: Die Ergebnisse sind meist lediglich auf die jeweilige Plattform beschränkt nutz- und editierbar und den wirtschaftlichen Interessen der Anbieter unterworfen.

Design Skills

Joe Connolly, Gründer von Sketchbox, sieht die Schwierigkeit in der Entwicklung von XR-Apps weniger in den notwendigen technischen Skills, sondern vielmehr in fehlenden Workflows und Erfahrungen im Design räumlicher Interfaces:

Building good AR & VR applications is incredibly difficult right now, though not because the development is hard. [...] It doesn’t matter how easily you can develop a poorly designed application.⁴⁵

Die Gestaltung von XR-Apps folgt nicht den Regeln und Mustern, die in den letzten Jahrzehnten für 2D-Apps aufgestellt, getestet und optimiert wurden. Daher sind selbst erfahrene UX- & UI-Designer nicht in der Lage, ihre Kenntnisse in XR-Anwendungen mit guter Usability umzusetzen. Screen Design-Tools wie Sketch, Figma oder Adobe XD bieten Funktionen, die den Design-Prozess für Websites oder Apps wesentlich beschleunigen. Für das Gestalten und Testen von dreidimensionalen Anwendungen sind sie jedoch vollkommen ungeeignet. Die dritte Dimension ändert nicht nur die Form einzelner UI-Elemente, sie ändert ihre Wirkung und Funktionsweise.

Man könnte auf die Idee kommen, bestehende 3D-Tools wie Blender, Sketchup oder Cinema4D für XR-Design zu verwenden. Doch auch wenn es diese Tools ermöglichen, dreidimensionale Objekte zu modellieren, zu texturieren und zu animieren, sind sie nicht für die Gestaltung von XR-Interfaces, sondern für die Erstellung von Inhalten für 3D-Spiele und Filmproduktion optimiert.

I spent tens of thousands of dollars on education at two different schools plus six years trying to become proficient with them. While I achieved some proficiency level, I discovered that making anything in 3D with these applications was extremely difficult, time-consuming, and expensive.⁴⁶

Nate Girard fast in seinem Medium-Artikel “3D Is Hard and It Shouldn’t Be” zusammen, warum die bestehenden Desktop-Tools für 3D Design zu komplex für die meisten Nutzer und mit dem Aufkommen von XR überholt sind. Für die Erstellung von XR-Apps und -Content brauchen wir neue Tools.

Räumliche Interfaces erfordern eine neue Perspektive. Diese Perspektive setzt sich aus unseren Erfahrungen mit der physischen Umgebung und den Möglichkeiten digitaler Services zusammen. Virtuelle Objekte werden im Raum wahrgenommen, wie jedes physische Objekt, das sich direkt neben ihnen befindet. Das gilt sowohl für ihr Aussehen, ihre Beschaffenheit und ihr Verhalten. Während zweidimensionale Interfaces vergleichbar sind mit Papier, auf dem Elemente angezeigt und verschoben werden, besitzen dreidimensionale Elemente physische Eigenschaften. Sie haben ein Gewicht. Sie liegen auf realen Objekten und lassen sich anfassen. Dieses Gestaltungsmodell gilt unabhängig davon, ob die Hardware in der Lage ist, uns tatsächlich dieses Gewicht spüren zu lassen.

You are no longer bringing the user into your world, you’re joining them in their world.⁴⁷

Menschen sind nach Jahrtausenden der Optimierung von Wahrnehmung und Bewegung sehr gut darin, mit realen Objekten zu interagieren. Wir sehen uns als Teil der physischen Umgebung. Wir stehen in Relation zu ihr. Dieselbe Relation wird zu virtuellen Objekten im Raum hergestellt. Verhalten sie sich unvorhersehbar und verschwinden oder verschieben sich z. B. plötzlich, führt das zu Irritation und beeinträchtigt das Vertrauen in die Anwendung.

The old school software model feels incorrect in VR. When what you see and hear is morphing around you it feels like you’re changing places not software.

But somehow software rules still apply instead of spatial ones.

— Ian Kettlewell (@kettlecorn) November 18, 2020

⁴⁸

A new old Design Language

Wie sieht die Zukunft mit XR denn nun aus? Jedes Medium besitzt eine Designsprache, die sich nach seinen Eigenheiten in Funktion und Form richtet. Sie besitzt ein Grundvokabular, in dem sich Designer und Nutzer verständigen können und unzählige Dialekte, die sich durch ihre Communitys prägen.

Um eine Designsprache zu entwickeln, in der wir in XR kommunizieren können, benötigen wir zunächst eine Semantik und Syntaktik. Semantik bezeichnet Zeichen und Wörter, die Bedeutung tragen und lässt sich im UI-Design mit den kleinsten Bestandteilen eines Interfaces, wie z. B. einer Grundform, Farbe, Linie, Kontrast oder Animation vergleichen. Syntaktik gibt einer Sprache Regeln und damit wiedererkennbare Struktur. Ein User Interface wird erst verständlich, wenn seine Grundbestandteile in eine Ordnung gebracht werden, die den Regeln seiner Designsprache folgt.

Die Designsprache für ein neues Medium lässt sich nicht von heute auf morgen entwickeln – sie entsteht und verändert sich mit der Gesellschaft, die sie verwendet. Statt zu versuchen, eine neue Sprache von Grund auf zu entwerfen, sollten bestehende Sprachen adaptiert werden. Das bedeutet nicht, zweidimensionale Apps eins zu eins in den Raum zu übertragen, sondern einzelne Bestandteile und Modelle in einem neuen Medium zu zitieren. Es entsteht eine neue, alte Designsprache.

Auch wenn das Medium XR entscheidende Unterschiede in Interaktion und Kommunikation zu Screen-UI besitzt, sind wir die Verwendung von Apps und Websites gewohnt und bringen Erfahrungen und Erwartungen an ein Interface aus diesem mit. Gleichzeitig bietet ein neues Medium wie XR das Potenzial, sich überholter bestehender Konformitäten bewusst zu werden und mit diesen zu brechen. Dieser Prozess  erfordert ein Verständnis für die Potenziale und Grenzen des Mediums und den Mut, mit Experimenten gestalterische Risiken einzugehen.

User Interfaces lassen sich als kulturelle Artefakte auffassen⁴⁹. Sie haben Einfluss auf die Menschen, die mit ihnen interagieren. Während UIs meist eine kurze Lebensdauer von wenigen Jahren haben, werden gelungene Bestandteile in die übergreifende Designsprache und damit in andere Interfaces aufgenommen.

UI Designsprachen & Dialekte

Ein Blick auf den Status Quo von Designsprachen in zweidimensionalen Interfaces hilft herauszufinden, welche Bestandteile in die Gestaltung räumlicher Interfaces einfließen sollten. Viele UIs verbreiteter und damit einflussreicher Apps verwenden eigene Design Systeme, die ihr Aussehen und Verhalten präzise definieren.

Human Interface Guidelines (Apple)⁵⁰ 

Vom iPhone bis zum Mac definieren die Guidelines sowohl direkt einsetzbare Komponenten wie z. B. App-Icons, Tab-Navigation oder Typographie, als auch Layouts, die ihnen Struktur verleihen. Besonderheiten einzelner Geräte in Interaktion, Größe und Verwendungszweck werden genutzt, unterstehen jedoch der übergreifenden Konsistenz. Die Designsprache der Geräte nähert sich zudem immer weiter an. Das iPad erlaubt Multitasking und ist auch für die Bedienung mit Tastatur und Maus optimiert, macOS verwendet Elemente wie dem Control Center, die lange iPad und iPhone vorbehalten waren.

Die geräteübergreifende Konsistenz der UI und der Nutzen der Hardware-spezifischen Funktionen ist für die Gestaltung von XR-UIs ebenfalls entscheidend.

Material Design (Google)⁵¹

Viele Websites und Apps – primär Android – nutzen die Material Design Ressourcen von Google mit dem Ziel, intuitive UIs möglichst effizient zu erstellen. Die Ressourcen bieten sowohl Gestaltungsprinzipien, als auch Komponenten für den direkten Einsatz. Material Design wird seinem Namen gerecht, in dem es sich an der physikalischen Welt orientiert. Auch wenn die Anwendungen auf zweidimensionalen Screens angezeigt werden, nutzen sie Tiefe als grundlegendes Element für Hierarchie. Durch Schatten und Licht werden Ebenen klar voneinander getrennt und Interaktionen verdeutlicht.⁵² 

 

 

Die Anlehnung an physikalische Objekte im Material Design zeigt, wie wichtig der Einfluss gewohnter Umgebungen auf Designsprachen und intuitive Interfaces ist. Für räumliche Interfaces werden diese Anlehnungen durch den direkten Kontakt virtueller wie physischer Objekte umso wichtiger. Gleichzeitig werden Erwartungen an Funktionen, sowie deren Platzierung und Verhalten im Interface aus 2D-Apps und Websites in den Raum übertragen.

Spectrum (Adobe)⁵³

Im Gegensatz zu Apple werden die Apps von Adobe auf Systemen verschiedener Hersteller eingesetzt, die bereits eigene Guidelines bereitstellen. Spectrum wird daher von diesen beeinflusst, während es versucht, sich durch einen eigenen Dialekt zu differenzieren und der Marke Adobe einen Stil zu geben.

Nate Baldwin, Designer von Adobe’s Design System Spectrum, weist darauf hin, dass eine gute Designsprache mehr ist, als eine stark reglementierte Anordnung einzelner Elemente:

[...]we cannot ignore the fact that a visual interface is in fact a very sophisticated method of visual communication that warrants attention to detail and an understanding of how the elements of design are used to speak to our users.⁵⁴

Während Konsistenz ein wichtiger Faktor für intuitive Bedienung ist, erfordern manche Situationen  eigene Lösungen. UI-Guidelines sollten daher immer eher als Grundlage und Orientierung, statt als Gesetz gesehen werden. Eine übergreifende Designsprache für XR-Interfaces muss grundlegende Verhaltensweisen und Gestaltungsmodelle definieren, während ausreichende Varianz für kreative hardware- und situationsspezifische Lösungen geboten wird.

XR Design Best-Practice

Ähnlich der Design Guidelines von Apple oder Google für zweidimensionale Interfaces, bieten Hersteller von XR-Hardware und -Software umfangreiche Ressourcen zu Entwicklung und Design von Anwendungen. Innerhalb des “Prototyping Reality”-Kurses⁵⁵ haben wir die Guidelines mehrerer großer Anbieter analysiert.

Darunter finden sich:

• Microsoft ist Hersteller verschiedener VR-Headsets, sowie der HoloLens. Die zweite Version dieses fortschrittlichen Mixed Reality Headsets verfügt über Raumerkennung, Hand- und Eye-Tracking und wird vorrangig als Business-Lösung angeboten.
• Apple sammelt mit AR-Funktionen in iPhone und iPad Erfahrung mit Hardware, Software und Design räumlicher Apps. Mit angekündigten XR-Headsets⁵⁶ und großem Einfluss auf den Endverbraucher-Markt wird Apple als einer der Treiber von XR in den nächsten Jahren gesehen⁵⁷.
• Magic Leap ist einer der weniger Hersteller, der mit der Magic Leap One bereits ein Mixed Reality Headset anbietet, das ähnlich der HoloLens Raumerkennung und Hand-Tracking besitzt.

In der Analyse der Guidelines fielen mehrere Modelle und Prinzipien auf, die von nahezu jedem Hersteller genannt werden. Im Austausch mit den Kursteilnehmern hat sich daraus eine Sammlung grundlegender und übergreifender Regeln für XR-Design herauskristallisiert. Viele dieser Regeln sind keineswegs exklusiv für immersive Interfaces gültig, sondern setzen bestehende Grundsätze in den Kontext von XR.

Komfort

Eine angenehme XR-Umgebung ergibt sich aus mehreren Grundprinzipien. Während das Bedienen von Websites oder Apps nur einer kleinen Hand- oder Fingerbewegung bedarf, sind XR-Interfaces mit mehr körperlicher Anstrengung verbunden. UIs, die nicht Bewegung zum Ziel haben, sollten daher darauf achten, diese Anstrengung durch intelligente Platzierung interaktiver Elemente zu minimieren. Eine Überforderung muss ebenso auf visueller Ebene vermieden werden. Ein klarer Fokus und gut erkennbare Objekte leiten Nutzer durch die Anwendung. Da XR-Headsets virtuelle Objekte nur in einem eingeschränkten Sichtbereich anzeigen können, ist es umso wichtiger, Informationen visuell zu priorisieren und sicherzugehen, dass wichtige Informationen auch wahrgenommen werden.

Systemic Design

Besonders AR und MR Anwendungen müssen sich in ihre reale Umgebung integrieren. Da diese Umgebung jedoch nicht vorhersehbar ist, muss das Design der XR-Anwendung Systeme gestalten, die auf Situationen und Umgebungen eingehen können. Ist die Anwendung z. B. für die Verwendung auf einem Tisch gedacht, ist die Tischgröße und Höhe ausschlaggebend dafür, aus welcher Perspektive das Interface bedient wird. Werden virtuelle Objekte z. B. im öffentlichen Raum platziert, kann eine Funktion zum Anvisieren und Heranholen dieser Objekte die Bedienung erleichtern.

Sinne ansprechen

Extended Reality ist keineswegs auf visuelle Wahrnehmung begrenzt. Ganz im Gegenteil: Je mehr Sinne angesprochen werden, desto größer ist die Glaubwürdigkeit der virtuellen Umgebung und damit der immersive Effekt. Sind Objekte beispielsweise gerade nicht im Sichtfeld des Nutzers, können räumlich verortete Töne helfen, diese zu finden. Ähnlich ihren physischen Gegenstücken sind auch virtuelle Objekte in den meisten Fällen nicht lautlos. Töne sollten jedoch unaufdringlich und der Verwendungssituation entsprechend eingesetzt werden.

If a digital tree falls in the middle of the room and nobody else sees it, is it real? ⁵⁸

Eine wesentliche Komponente, die Objekten Präsenz im Raum verleiht, ist ihre Haptik. Ob real oder virtuell, Objekte haben ein Volumen, ein Gewicht, eine Textur und Konsistenz. Während ein audiovisuelles Feedback bereits eine grobe Einschätzung der Objekteigenschaften erlaubt, wird an Lösungen für realistisches haptisches Feedback und Widerstand virtueller Objekte geforscht⁵⁹. Diese setzen in den meisten Fällen entweder auf kutanes Feedback – die Stimulation der Nerven in der Haut – oder kinästhetisches Feedback – auch Force Feedback genannt, das auf die Bewegung einzelner Finger Einfluss nehmen kann. Ist jedoch der Widerstand nicht gut auf das Objekt abgestimmt, führt das eher zu Irritation, als gesteigerter Immersion⁶⁰.

 

⁶¹

Shared Experience

Wir sind es gewohnt, mit anderen Menschen im Raum zu kommunizieren, uns gegenseitig etwas zu zeigen oder Objekte auszutauschen. Diese gewohnte, geteilte Situation ebenso auf virtuelle Objekte zu übertragen, schafft neue Möglichkeiten der Kollaboration und des Austausches. Virtuelle Welten können zudem überwältigend wirken. Diese gemeinsam zu erforschen gibt Sicherheit.

Implizite Funktion

Die Form, Platzierung und das Verhalten von Objekten erzeugt Erwartungen in dessen Funktion. Realistisch wirkende Objekte sollten sich nicht nur visuell an der Realität orientieren, sondern z. B. auch physikalische Eigenschaften übernehmen. Ein sehr schweres Objekt kann wahrscheinlich nicht bewegt werden, ein handliches hingegen schon. Während manche bereits das Comeback des Skeuomorphismus im Web und Mobile Apps sehen⁶², ist diese Anlehnung von UI-Elementen an reale Objekte für XR-Anwendungen ein effektives Gestaltungsmittel, um die Funktion zu verdeutlichen. Im Gegensatz zu Buttons auf einem Display lassen sich virtuelle Buttons im Raum auch unterschiedlich stark drücken.

 

 

Accessibility

Eine grundlegende Erleichterung der Zugänglichkeit von XR-Anwendungen lässt sich bereits mit dem Ansprechen mehrerer Sinne erreichen. Verfügt eine Person über eingeschränktes Seh- oder Hörvermögen, können andere Sinne die Bedienung z. B. durch Untertitel bei Sprache oder hohe Kontraste in der Darstellung erst ermöglichen. XR kann zudem neue Möglichkeiten schaffen, mit bestehenden Services zu interagieren. Eine Studie hat beispielsweise festgestellt, dass AR im Vergleich zu Google Maps oder einer Faltkarte die effektivste Navigationsunterstützung für Menschen mit geistiger Behinderung darstellt⁶³. Inklusion spielt in der Gestaltung neuer Anwendungen noch viel zu oft eine untergeordnete oder keine Rolle⁶⁴. Mit einem neuen Medium wie Extended Reality bietet sich die Möglichkeit, Accessibility als grundlegendes Design-Kriterium zu integrieren.  

Feedback

Die natürliche Wirkung eines virtuellen Objektes ist schnell zerstört, wenn es in keiner Weise auf Interaktion reagiert. Daher gilt auch hier der Grundsatz, die Realität zunächst zu imitieren und dann auf die natürliche Interaktion und das Verhalten aufzubauen. Objekte geben ein multisensorisches Feedback: Sie erzeugen z. B. Geräusche, leuchten bei Berührung oder fallen herunter. Jede Interaktion eines Nutzers erzeugt eine Reaktion der XR-Elemente. Während wir in Apps und Websites scrollen, zoomen oder klicken, werden in XR natürlichere Interaktionen verwendet. Je nach Verfügbarkeit kann bereits das Fokussieren eines Objektes mit Kopf, Augen oder Smartphone einen ersten Hinweis über die Funktionen des Objektes anzeigen. Berührung kann sowohl direkt mit den Händen, mit Controllern oder per Anvisieren und Tippen auf dem Smartphone erfolgen. Jeder Zustand muss Element-übergreifend definiert sein und sich von anderen Zuständen klar unterscheiden lassen.

Stärken nutzen

Wie jedes Medium, besitzen XR und seine einzelnen Spezialisierungen VR, AR und MR Stärken und Schwächen. Während eine Vielzahl an innovativen Use Cases erst durch XR ermöglicht wird, sind andere Einsatzzwecke derzeit effizienter und komfortabler, z. B. mit Screens und physischen Bedienelementen umzusetzen. Die genannten Visionen bieten einen ersten Ansatz für vielversprechende Einsatzmöglichkeiten. Anwendungen, die nur in XR umsetzbar sind, sind besonders geeignet, um die Potenziale des neuen Mediums auszuschöpfen. Bestehende Apps wie z. B. Photoshop als XR-Version umzusetzen bedeutet meist, diese von Grund auf neu zu gestalten. Der begrenzte Platz auf einem Screen und die Interaktion per Maus erzeugt Anforderungen an das Tool, die im Raum nicht in der Form existieren und damit dem Grundbedürfnis, visuelle Inhalte zu erstellen und zu bearbeiten, einen vollkommen neuen Raum geben.

You are no longer bringing the user into your world, you’re joining them in their world.⁶⁵

Durch die Varianz der verfügbaren Funktionen von XR-Hardware empfiehlt es sich eine primäre Interaktionsmethode zu wählen und die Stärken einzelner Geräte zu nutzen. Für Geräte, die Hand Tracking oder Controller unterstützen, ist es beispielsweise naheliegend, die Hände als primäre Eingabe zu nutzen und den Einstieg in eine App über eine Handbewegung zugänglich zu machen. Im Fall der Microsoft HoloLens 2 ist das Hauptmenü beispielsweise über eine Drehung der Hand erreichbar und dient so als zentraler Ein- und Ausstieg zu XR-Apps.

 

Diese Designrichtlinien und -prinzipien versuchen einen ersten Einstieg in die Welt des XR-Designs zu bieten. Auch wenn die Guidelines von Microsoft, Apple und Co. bereits visuell und funktionell definierte Komponenten bereitstellen, sind diese lediglich als erste Ansätze zu sehen, für die aktuelle Hardware eine Sprache zu entwickeln. Sie sind so temporär wie die sich rasant verändernde Hardware und kollektive Erfahrung mit XR-Interfaces. Die Verwendung dieser Komponenten kann die Entwicklung von XR-Anwendungen beschleunigen, verhindert aber eine intensive Auseinandersetzung mit Interaktionsmodellen. Um das Potenzial von XR-Interfaces tatsächlich zu nutzen und die Zukunft der digital erweiterten Realität zu beeinflussen, müssen wir viele verschiedene Richtungen der Gestaltung ausprobieren und evaluieren.

Prototype

Der Begriff “Prototyp” wird sehr divers eingesetzt und seine Verwendung wandelt sich permanent. Im Allgemeinen bezeichnet er eine vorläufige Version eines Produktes, die dazu dient, ein Konzept oder System zu testen und zu evaluieren. Ausschlaggebend ist der geringere Aufwand und damit eine schnellere Entwicklung im Vergleich zur marktreifen Finalisierung des Produktes.

Häufig werden Prototypen in low- und high-fidelity eingeteilt. Die Fidelity (dt: “Genauigkeit”) bezeichnet hier die Nähe eines Prototyps zum finalen Produkt in seiner Funktion. Ein UI-Design Prototyp mit niedriger Fidelity kann schnell erstellt werden und zeigt meist abstrakte Wireframes, während eine hohe Fidelity einen detaillierten, visuellen Eindruck des finalen Produktes in ein oder mehreren Faktoren vermittelt⁶⁶.

Umfrage

Um dem Einsatz von Prototyping und den damit verbundenen Zielen und Anforderungen näher auf den Grund zu gehen, startete ich im Januar 2021 eine Umfrage unter XR Interessierten. Diese setzten sich primär aus Designern im Umfeld der Fachhochschule Potsdam und Personen aus der XR Szene zusammen.

Erfahrung mit XR

Die Befragten gaben zum Großteil (80 %, siehe Abb. 8) an, bereits auf experimenteller Basis mit XR gearbeitet zu haben. Alle der vierzehn Befragten haben bereits XR Apps verwendet und haben somit erste Erfahrungen mit dem Medium.

 

 

Diese Arbeit verzichtet bewusst weitestgehend auf die Trennung von Extended Reality in Augmented, Virtual oder Mixed Reality, da diese Bereiche sich entgegen der derzeitigen Definitionen zunehmend nähern und die zugrundeliegenden Strukturen und verwendeten Methoden zur Erstellung von Inhalten und Anwendungen übergreifend anwendbar sind.

Um jedoch die Verteilung der Erfahrung mit bisherigen Geräten in der Umfrage aufschlüsseln zu können, wurden die Teilnehmer nach genutzter Hardware gefragt. Die meiste Erfahrung besaßen die Befragten im Umgang mit Augmented Reality auf Smartphones oder Tablets. Dies lässt sich durch die erheblich größere Verbreitung dieser Geräte gegenüber VR oder MR Headsets erklären. 70 % gaben an, auch bereits VR-Brillen genutzt zu haben. Mit dem Aufkommen preiswerter VR-Hardware, für die kein zusätzlicher leistungsstarker PC erforderlich ist, wie der Oculus Quest 2⁶⁷, wird der Einstieg in die Technologie attraktiv. Die verfügbaren Mixed Reality Headsets sind hingegen weder technisch noch preislich auf den Endkonsumenten-Markt ausgerichtet. Die Erfahrung mit Geräten wie der Microsoft HoloLens ist damit unter Designern und XR Interessierten derzeit noch eingeschränkt.

 

 

Medium

Ein Prototyp kann viele verschiedene Medien verwenden. Bereits eine schnelle Zeichnung kann ein Konzept oder eine Funktion im Team kommunizieren und Feedback generieren. Auch wenn sich die Interaktion der Teammitglieder mit der Zeichnung in diesem Fall auf das Ansehen und ggf. kommentieren beschränkt, dient diese als spezialisierter Prototyp. Weitet sich die Interaktion mit dem Prototyp aus, können weitere Erfahrungen gesammelt und evaluiert werden.

Mit der Digitalisierung verändern sich auch die Medien und Einsatzmöglichkeiten von Prototypen. Klassische physische Modelle, wie sie im Maschinenbau oder der Architektur verwendet werden, weichen zunehmend digitalen Prototypen, die Aufwand reduzieren, neue Funktionen mitbringen und gemeinsam von weltweit verteilten Teams bearbeitet werden können. In diesem Kontext ist XR als Medium in der Lage, analoge durch digitale Prozesse zu erweitern oder zu ersetzen, ohne die gewohnte räumliche Umgebung gegen Monitore austauschen zu müssen.

Bei der Wahl eines passenden Mediums für einen XR Prototypen ist dessen Funktion, die Messbarkeit seines Erfolgs und die zeitliche und räumliche Verortung des zu evaluierenden Konzeptes entscheidend. Mit dem Einsatz neuer und sich rapide entwickelnder Technologien entstehen viele Konzepte, die in ihrer visionierten Form mit der aktuell verfügbaren Hardware nur eingeschränkt umgesetzt werden können. In dem Fall hilft es, zunächst ein konkretes Szenario aufzustellen, in dem sich das Konzept bewegt und dieses so zu adaptieren, dass es bereits heute evaluiert werden kann. Das kann bedeuten, dass der Prototyp zunächst beispielsweise durch ein Video einen akkuraten, visuellen Eindruck des Konzeptes vermittelt und dafür auf andere Komponenten, wie die direkte Interaktion, verzichtet.

Metrik

Grundbedingung für einen guten Prototyp ist die Messbarkeit seiner Aussagekraft. Noch bevor selbst ein low-fidelity Prototyp erstellt wird, sollte eine überprüfbare Hypothese aufgestellt werden. Sie stellt eine erreichbare Erfolgsbedingung dar und sollte in Aufwand und Zeit begrenzt sein. Während manche Prototypen komplexe Lösungen für sehr spezifische Funktionen generieren sollen, dienen andere der schnellen Iteration möglichst diverser Ansätze.

Funktion

Prototypen werden zu verschiedenen Zeitpunkten und mit verschiedenen konkreten Zielen in der Produktentwicklung und im Engineering eingesetzt. In dieser Arbeit fokussiere ich mich auf die Verwendung von Prototypen im Design Prozess, da diese geeignet sind, Menschen ohne Programmierkenntnisse als aktive Gestalter von XR-Content und -Anwendungen einzubeziehen. Die folgenden Einsatzmöglichkeiten von Prototypen sind als Überblick und nicht als abgeschlossene Aufstellung zu sehen. Sie beziehen sich besonders auf den Einsatz von Prototyping im Kontext von Extended Reality.

Hands-On

Guidelines, Videos und Visualisierungen auf dem Computer Screen können die Erfahrung nicht ersetzen, die man mit dem Ausprobieren einer Idee im Raum gewinnen kann. Um tatsächlich ein Verständnis für immersive Interfaces aufzubauen, hilft es, nicht nur fremde XR-Anwendungen zu testen, sondern vor allem eigene Experimente durchzuführen. Auch wenn es sich mitunter komplex gestaltet, neue Ansätze schnell im Raum mit digitalen Mitteln zu testen, ist dies ohne weitreichende Expertise mit XR-Creation unverzichtbar.

Ideengeber

Die praktische Auseinandersetzung mit Konzepten und Ansätzen erzeugt neue Perspektiven, die in vielen Fällen zu neuen Lösungen und Ideen führen. Implikationen einer konzipierten XR-Anwendung sind nicht vollständig absehbar und treten oft erst in praktischen Tests hervor. Damit werden Prototypen zu einer Methode des visuellen Brainstormings und nutzen die Freiheit des Mediums als Ideenraum.

Präsentation

Auch die vielversprechendsten Konzepte werden selten weiter verfolgt, wenn sie nicht das eigene Team und Stakeholder überzeugen können. Besonders im Fall von neuen Technologien wie Extended Reality hilft eine klare Kommunikation von Form und Funktion mittels High-Fidelity Prototypen, um konkretes Feedback zu generieren. Für die Diskussion in Teams ist hingegen durch die gemeinsame Erfahrung mit dem Medium der Einsatz von low-fidelity Prototypen ebenfalls geeignet.

Proof of Concept

Prototypen können durch ihren per Definition begrenzten Aufwand Produktansätze auf Validität und Markterfolg prüfen, noch bevor sich Unternehmen zur weiteren Verfolgung des Ansatzes mit hohem personellen und damit finanziellen Einsatz entschließen. Dieses Vorgehen ist besonders effektiv in der ersten Auseinandersetzung mit neuen Technologien, mit dem Ziel neue Geschäftsfelder risikoarm zu erforschen.

 

 

Die möglichen Funktionen eines Prototyps lassen sich aus den konkreten Zielen der Designer schließen, die in der Umfrage näher untersucht wurden. Jede der möglichen vorgegebenen Multiple Choice Optionen wurde von mindestens der Hälfte der Befragten gewählt. Damit ergibt sich ein sehr breites Feld an Zielsetzungen und Anforderungen für Prototypen, welches wiederum auf die Komplexität hinweist, verschiedene Ziele in einem generalisierten und agilen Prozess zu vereinen.

Besonders wichtig ist den Befragten (80 %) die Präsentation einer Idee gegenüber verschiedenen Gruppen wie Kollegen, Auftraggebern oder Freunden. Diese bringen in ihrem Feedback weitere Perspektiven ein und tragen damit weitreichend zum Entwicklungsprozess bei.

Wie unterscheidet sich ein Prototyp, der einen schnellen ersten Eindruck einer Idee geben soll, von einem Prototyp, der für die Präsentation im Unternehmen oder zum Test mit Nutzern geeignet ist?

Typen

Verschiedene Formen des Prototypings haben sich bereits im Design Thinking Prozess etabliert und lassen sich auf den Einsatz in XR-Anwendungen adaptieren. Jede Methode ist besonders für bestimmte Funktionen geeignet und sollte daher als Werkzeug verstanden werden, das sich erst in der Kombination mit anderen Prototyping Typen verschiedene Perspektiven zu einem aufschlussreichen Gesamtbild zusammensetzt.

Paper Prototyping

Im User-Centered Design sind Papierprototypen eine etablierte Methode, um frühe Konzepte zu evaluieren. Da keine speziellen Skills benötigt werden, ist das Medium hervorragend für gemischte Teams ohne technische Expertise geeignet und besonders effektiv, um schnell neue Perspektiven zu evaluieren. Während für Websites und Apps oft Abwandlungen von Papierprototypen in Form von digitalen Wireframes oder Storyboards eingesetzt werden (s.u.), besitzt ein analoges Vorgehen mit Papier für XR-Anwendungen mehrere Vorteile:

1. Papier lässt sich im realen Raum verteilen und kann so auf den Kontext anderer Objekte und Situationen eingehen. Durch Rollenspiele lassen sich schnell kollaborative Szenarien testen. Augmented und Mixed Reality Konzepte sind leichter zu verstehen, wenn sie sich nicht in einem leeren digitalen Raum, sondern in der realen Umgebung befinden.
2. Physikalische Eigenschaften sind eine sinnvolle Anlehnung an die Gestaltung räumlicher Anwendungen und lassen sich mit Papier im Raum leicht nachvollziehen.
3. Sticky Notes und gezeichnete Elemente wirken durch den geringen Aufwand und die resultierende rudimentäre Ästhetik sehr variabel. Kleine Änderungen an Abläufen sind schnell gemacht und können direkt im Gesamtbild getestet werden.

Für einzelne Zustände einer XR-Anwendung und einfache Abläufe sind Papierprototypen eine effektive Methode. Mit komplexeren Interfaces und Interaktionen steigt der Aufwand und Materialverbrauch allerdings schnell und hinterlässt den Wunsch nach den Vorteilen digitaler Elemente.

3D-Printing / Lego

Als weitere analoge Prototyping Methode bieten Legosteine eine gute Möglichkeit, um immersive Anwendungen dreidimensional zu konzipieren. Als Miniaturmodell lassen sich Abläufe aus der Vogelperspektive überblicken und im Team spielerisch gestalten und evaluieren. Legosteine und 3D-Drucke können zudem als Platzhalter für virtuelle Objekte in Realgröße fungieren.

Während Lego primär für low-fidelity Prototypen geeignet ist, ist mit 3D-gedruckten Elementen auch präzise Darstellung möglich. Diese Technik wird vorrangig im Rapid-Prototyping verwendet, um die Entwicklung von Bauteilen zu beschleunigen und potenziellen Kunden einen ersten Eindruck zu vermitteln. Da für XR-Anwendungen ebenfalls oft digitale 3D-Modelle erstellt werden, ergibt die Übertragung von angrenzenden Prototyping-Techniken spannende neue Möglichkeiten der Evaluierung.

Storyboard

In der Filmproduktion werden Storyboards verwendet, um die Handlung im Kontext einer Umgebung und Situation zu erklären. Betrachtet man einen Nutzer als Protagonisten, werden auch Anwendungen zu Geschichten, in der persönliche Ziele, Handlungen, Gedanken und Emotionen im Zentrum stehen. Storyboards werden gerne in verschiedenen Phasen des Design Thinking Prozesses verwendet. Besonders während des Prototypings kann ein Storyboard einen Überblick verschaffen und Diskussionen fördern.

Das Design Thinking Toolkit⁶⁸ von IBM empfiehlt ein Vorgehen in drei Phasen:

1. Aus Charakteren, einer Situation und einer Handlung entsteht eine Geschichte. Diese wird in einzelne Szenen aufgeteilt und mit Stichpunkten aufgeschrieben.
2. Ähnlich eines Comics werden die einzelnen Szenen mit Zeichnungen illustriert. Diese können durch Sprech- und Gedankenblasen, sowie Hinweisen aus Pfeilen und Text zur Handlung versehen werden. Das hilft, die Geschichte schneller erfassen zu können.
3. Die Geschichte kann nun im Team besprochen und angepasst werden. In der Diskussion fallen schnell Unklarheiten und Möglichkeiten zur Optimierung auf. Die Qualität der Zeichnungen ist hier nicht entscheidend.

Diese im UX-Design bereits weit verbreitete Methode ist auch in der Konzeption und Gestaltung von XR-Anwendungen sehr hilfreich. Hier ist besonders auf die verwendete Perspektive zu achten. Im Gegensatz zu zweidimensionalen Interfaces sollten XR-Anwendungen perspektivisch skizziert werden. Dies kann entweder aus Sicht eines externen Betrachters auf eine Szene oder direkt aus der Perspektive des Protagonisten erfolgen. Während die externe Ansicht besonders für Abläufe innerhalb einer Gruppe von Anwendern geeignet ist, lassen sich in der Ego-Perspektive einzelne Interaktionen und persönliche Ziele besser darstellen. Auch wenn Storyboards vorrangig visuell aufgebaut sind, können Geräusche oder haptisches Feedback durch grafische Elemente angedeutet oder in digitalen Storyboards direkt eingebunden werden. Die Herausforderung besteht hauptsächlich in der Fähigkeit, perspektivische Zeichnungen anzufertigen. Ist dies erfolgreich, können Zeichnungen auch in VR übertragen und räumlich betrachtet werden⁶⁹.

User Flow

User Flows werden auch UX Flows oder Flowcharts genannt und zeigen die vollständigen Abläufe einer Anwendung. Indem jeder Zustand einer Anwendung visualisiert und durch mögliche Interaktionswege verbunden wird, fallen schnell Lücken in der Struktur auf. Damit eignet sich diese Methode vorrangig für die Evaluierung weitestgehend ausdefinierter Konzepte, die bereits mindestens über ein Layout verfügen.

Wird zum Beispiel ein User Flow für eine Mobile App erstellt, lässt sich das Verhalten eines Nutzers von der ersten Anmeldung bis zum Schließen der App verfolgen. Zur Demonstration gegenüber anderen Designern und der Weitergabe an Entwickler werden interaktive Prototypen in Form von Click-Dummies erstellt, die strukturell auf User Flows aufbauen.

XR-Anwendungen bieten im Vergleich zu Mobile Apps nicht nur eine weitere Dimension, sie besitzen einen variablen, räumlichen und situativen Kontext. Sie verwenden verschiedene Input Optionen, die den gleichen Output generieren können. Extended Reality User Flows müssen daher ebenfalls in der Lage sein, diese Struktur schnell erkennbar darzustellen und ein gewisses Maß an Variabilität zu erlauben. Statt jeden einzelnen Zustand bzw. Screen im Fall einer Mobile App zu definieren, schlägt Lillian Warner – UX Designer & Copywriter – für MR-Anwendungen den Aufbau von Szenen vor.

Designers working in mixed reality aren’t creating a screen-based experience — we’re creating scene-based experiences.⁷⁰

Szenen beinhalten neben einer räumlichen Skizze der Situation eine Auswahl an Input Methoden, wie Spracheingabe oder Berührung, eine Beschreibung der Interaktion und des Feedbacks, sowie Sprachausgaben. Das Template von Lillian Warner bezieht sich auf die Funktionen der Microsoft HoloLens und lässt sich hervorragend auf andere XR-Hardware übertragen. Für den Einsatz innerhalb des Prototyping Reality Kurses im Sommersemester 2020 an der Fachhochschule Potsdam ist ein generalisiertes Template entstanden, dass einzelne Szenen in Beziehung setzt, um komplexe User Flows erstellen zu können.

XR User Flow Template (Miro)
https://miro.com/app/board/o9J_ktwc2pA=/

 

 

Das Template wurde intensiv im Kurs eingesetzt und stellte eine Methode in der Ausarbeitung erster XR-Konzepte dar. In der Vorstellung der User Flows ließen sich die Ansätze der Studenten schnell erkennen und im Kurs diskutieren. Im Kontext von AR und MR Anwendungen empfanden es mehrere Studenten als hilfreich, ein Foto der Einsatzumgebung als Hintergrundbild der Skizze zu verwenden. Damit ließen sich Anwendungen, die sich an physischen Objekten ausrichten und auf diese reagieren, nachvollziehbar konzipieren und demonstrieren. Durch den geringen technischen Aufwand sind User Flows eine effektive Methode des XR-Prototypings.

Video

Die bisher genannten Prototyping Typen bieten niedrigschwellige Möglichkeiten, auch komplexere Konzepte zu einem frühen Zeitpunkt im Projekt zu evaluieren. Sie erfordern keine fortgeschrittenen technischen Fähigkeiten und erzeugen bewusst einen abstrakten Stil, der den Fokus auf Funktion und Abläufe legt. Das erleichtert den Austausch im eingespielten Team und produziert neue Ansätze. In der Kommunikation gegenüber anderen Stakeholdern, wie zum Beispiel in User Tests oder der Präsentation vor Entscheidungsträgern und Kunden, können abstrakte Darstellungen jedoch irritierend wirken und die Diskussion hemmen. High-Fidelity Prototypen enthalten dagegen einen hohen Detailgrad und konkrete Gestaltung. Sie erzeugen einen klaren Eindruck von dem angestrebten Produkt.

Die Produktion von Videos erlaubt es, detaillierte Darstellungen eines Konzeptes zu erzeugen, ohne die gezeigten Inhalte und Abläufe als interaktiven und technisch aufwändigen Prototypen erstellen zu müssen. Videos sind zudem ein Medium, das sehr zugänglich ist und daher besonders für die Demonstration in der Öffentlichkeit, wie zum Beispiel in Portfolios oder für Crowdfunding-Kampagnen, geeignet sind.

Videos haben den Nachteil, ein primär passives Medium zu sein. Durch Unterteilung in Abschnitte, die auf den Input des Nutzers reagieren, lassen sich zwar einfache Abläufe zeigen, der Nutzer bleibt jedoch vorrangig in einer passiven Rolle. Durch 360 Grad Videos lässt sich die Immersion steigern und ein räumlicher Effekt erzeugen, in dem der Nutzer jedoch weiterhin nicht mit der virtuellen Umgebung direkt interagieren kann.

Der technische Aufwand für einen detaillierten Videoprototyp ist zudem nicht zu unterschätzen. Sollen virtuelle Elemente realistisch in ein Video projiziert werden, müssen zunächst entsprechende 3D-Modelle und Animationen angefertigt und dreidimensional platziert werden. Damit teilen Video Prototypen einen Teil des Workflows mit interaktiven XR-Prototypen, die für die detaillierte Evaluierung eines fortgeschrittenen Projektes deutliche Vorteile bieten.

 

 

Während jeder Prototyping Typ besonders für einzelne Einsatzzwecke geeignet ist, gibt der direkte Vergleich Aufschluss über die generelle Verwendung im Prozess und deutet auf Potenziale für noch nicht hinreichend erforschte Typen hin.

Die Ergebnisse meiner Umfrage in Bezug auf die Prototyping Techniken zeigen, dass das Verhältnis von Aufwand bzw. benötigtem Skillset zu dem erreichbaren Ergebnis für den Einsatz eines Typen entscheidend ist. Während die Verwendung von physikalischen Objekten, wie Lego oder 3D-Drucken, die Verfügbarkeit des jeweiligen Materials und eine intensive Auseinandersetzung damit voraussetzt, ist Papier ein allgegenwärtiges und anpassbares Medium, dass zu ähnlichen Ergebnissen führen kann.

Einer der meist genannten Prototyping Typen unter den Umfrageteilnehmern ist das Video. Der hohe Aufwand für die Produktion eines Videoprototyps steht in einem positiven Verhältnis zum Ergebnis, dass sich sehr gut für das meistgenannte Ziel eignet: Die Präsentation eines Prototyps gegenüber Kollegen und Stakeholdern (siehe Abb. 10).

Interaktive Prototypen

Prototyping Techniken wie Storyboards, Papier oder User Flows bieten einfache Wege, Ideen und Konzepte zu testen, ohne erweiterte Skills im Umgang mit 3D Tools oder Programmierung vorauszusetzen. Durch ihre Ferne zu den Möglichkeiten der Zielgeräte sind sie jedoch weder in der Lage, ein Gefühl für das Medium XR zu vermitteln, noch dazu geeignet, interaktive Abläufe konkret zu gestalten und zu evaluieren.

Wie auch in der Umfrage (siehe Abb. 12) bestätigt wird, sind digitale Tools ein wesentliches Werkzeug für Prototyping von XR Anwendungen.

Ebenfalls fällt jedoch der Unterschied zwischen der Verwendung von digitalen 3D Tools mit Programmierung versus ohne Programmierung in der Bewertung der Teilnehmer auf. Da die Befragten vorrangig Designern mit eingeschränkten Programmierkenntnissen sind, ist diese Differenz leicht zu erklären. Gleichzeitig steht die Bevorzugung von Tools, die keine Programmierung erfordern, aber in starkem Kontrast zu den Tools, die heute primär für die Erstellung und das Prototyping von XR Anwendungen eingesetzt werden.

Game Engines wie Unity oder Unreal werden nicht nur als Entwicklungsplattformen für PC- oder Konsolenspiele eingesetzt, sondern sind durch ihre technische Nähe und große Community unter Entwicklern häufig die erste Wahl für XR Anwendungen. Dies wird unterstrichen durch die Unterstützung von XR Hard- und Software Herstellern wie Microsoft, Facebook oder Google, die Ressourcen und Tutorials für die Entwicklung in Game Engines bereitstellen. Doch auch, wenn mit Möglichkeiten zur visuellen Programmierung und neuen Funktionen zur Beschleunigung des AR & MR Entwicklungsprozesses⁷¹ die Einstiegshürde gesenkt wird, erfordern diese Tools ein Verständnis für Programmierung, um einfache Abläufe zu erstellen und sind nicht für agiles Prototyping ausgelegt.

 

In der Suche nach alternativen Möglichkeiten zur Entwicklung interaktiver digitaler Prototypen stieß ich auf eine Vielzahl von Anwendungen für verschiedene Plattformen, mit sehr unterschiedlichen Voraussetzungen und Ausrichtungen. Insgesamt entstand in der Recherche eine Liste von 47 Tools, die über den Zeitraum von April 2020 bis Januar 2021 untersucht wurden. Durch die schnell fortschreitende Entwicklung von XR Hard- und Software, sind innerhalb dieser Zeit bereits mehrere neue Tools entstanden und andere wieder eingestellt worden. Die Auswahl zeigt lediglich einen Ausschnitt der nach erstem Eindruck für XR Prototyping einsetzbaren Anwendungen.

Desktop Anwendungen

Im professionellen Umfeld und besonders in den Bereichen Design und Software-Entwicklung sind PCs und Macs weiterhin die primär genutzte Plattform. Um die Vorteile einer gewohnten Umgebung und die Integration in bestehende Workflows für XR Prototyping zu nutzen, lohnt sich daher der Blick auf die verfügbaren Desktop-Tools. Auch nahezu alle Teilnehmer der Umfrage gaben an, dass sie Desktop Tools für XR Prototyping einsetzen würden.

 

 

Je nach Ziel-Hardware für eine XR Anwendung kommen solche Anwendungen zum Einsatz,  die einzelne oder direkt mehrere Geräte unterstützen. Für iPhones und iPads schafft Apples Reality Composer einen einfachen Weg, Elemente bereits auf dem Mac räumlich zu platzieren. Projekte können Animationen und Interaktion beinhalten und lassen sich unkompliziert auf Apple-Geräte übertragen. Sie sind jedoch bisher auf diese limitiert.

Mit dem neuen Standard WebXR⁷² werden die Vorteile eines offenen Mediums genutzt. Damit können auch XR Inhalte auf Webseiten eingesetzt und bereits auf diversen XR Geräten angesehen werden. Code-Bibliotheken wie A-Frame⁷³ bieten eine Sammlung an Funktionen, die die Erstellung von immersiven Web-Inhalten vereinfachen sollen. Neben den bereits erwähnten Game Engines setzen auch Tools wie Amazons Sumerian⁷⁴ auf Scripting, um Abläufe und Interaktionen erstellen zu können. Auch wenn die Verwendung von JavaScript durch die weite Verbreitung im Web auch Gestalter mit Interesse für Programmierung anspricht, steht nicht der schnelle Entwurfsprozess im Vordergrund, sondern die möglichst nahtlose Integration in den Entwicklungsprozess von XR Anwendungen.

Mehrere Tools nutzen WebXR und Code-Bibliotheken und machen sie durch GUIs (Graphical User Interfaces) auch Menschen ohne Programmierkenntnissen zugänglich. Ottifox⁷⁵ und Hologram⁷⁶ lehnen sich an Design-Tools wie Sketch an und bieten einen einfachen Weg, räumliche Szenen zu erstellen. Dank der Offenheit von WebXR lassen sich die Kreationen sowohl auf Smartphone, Tablets, als auch direkt auf Headsets testen.

Smartphones & Tablets

Mobile Endgeräte stellen ungefähr die Hälfte der weltweiten Internetnutzung dar⁷⁷ und sind damit das mit Abstand wichtigste Medium für die Verteilung für XR Inhalten. Wie in der Umfrage (siehe Abb. 13) zu erkennen, würde aber nur ca. die Hälfte der Befragten Geräte wie Smartphone, Tablet oder auch XR Headsets zum heutigen Zeitpunkt für Prototyping einsetzen. Um herauszufinden, welche Vor- und Nachteile Apps für mobile Endgeräte besitzen, haben 15 Designstudenten in einem Hochschulkurs⁷⁸ 28 verschiedene Apps für iOS oder Android zur Erstellung von AR Inhalten analysiert und verglichen.

Die Funktionen der Apps reichen von Face Filtern für Instagram in Spark AR⁷⁹ über Hand Tracking in ManoMotion Tech⁸⁰ bis zur Platzierung und Animation von Kunst und 3D-Modellen im Raum mit Artivive⁸¹ oder Adobe Aero⁸². Während die meisten Apps jedoch lediglich eine Vorschau für 3D-Inhalte bieten, die auf dem Desktop erstellt werden, erlauben nur wenige auch die Kreation eigener Szenen und Inhalte direkt innerhalb der App. Der Import von externen Modellen ist zwar eine wesentliche Funktion, wird aber erst für Prototyping relevant, wenn mehrere Modelle kombiniert und mit Interaktion versehen werden können. Neben Adobe Aero bieten zum Beispiel Minsar Studio⁸³ oder Torch AR⁸⁴ (eingestellt 2020) ein grundlegendes Toolset für die Erstellung von XR Prototypen auf Smartphones und Tablets.

Vorteile von Prototyping auf Smartphones/Tablets

Im direkten Vergleich zu Desktop Anwendungen besitzen Apps für Smartphones und Tablets mehrere Vorteile für interaktive Prototypen:

1. Die Welt ist nicht leer.
   Neue Projekte in Desktop 3D-Tools starten meist mit einem leeren unendlichen Raum. Die physische Welt hingegen ist das direkte Gegenteil. Erst mit der Möglichkeit, Ansätze direkt in AR zu entwickeln, zerfließen die Grenzen digitaler und analoger Objekte und machen das Potenzial von AR/MR anfassbar.
2. Die App kann direkt getestet werden.
   Während auf Desktop Systemen die Endgeräte lediglich simuliert werden können oder ein Projekt immer wieder zunächst auf ein Testgerät übertragen werden muss, lassen sich auch kleine Änderungen in AR Prototypen auf mobilen Geräten direkt vornehmen und ausprobieren.
3. Die Grenzen sind spürbar.
   Irritierende Interaktionen, überdimensionierte Objekte oder Überlastung der Hardware fallen in AR direkt auf und können früh vermieden werden.

Nachteile von Prototyping auf Smartphones/Tablets

1. Die Welt ist dynamisch.
   Der Vorteil, direkt in der eigenen Umgebung AR Konzepte zu entwickeln, ist gleichzeitig ein Nachteil, da die Umgebung natürlich ortsabhängig ist und dynamische Anpassung erfordert. Desktop Tools bieten Möglichkeiten, die Umgebung auszutauschen und übertragbare Apps zu gestalten.
2. Eingeschränkte Input Möglichkeiten
   Während XR Prototyping ein gutes Gefühl für das jeweilige Zielmedium erfordert, kann die Präzision von Eingaben per Maus und Tastatur den Prototyping Prozess erheblich beschleunigen und das Ergebnis verbessern.

XR Headsets

Die dritte mögliche Plattform für XR Prototyping sind Headsets – dazu zählen sowohl VR- und MR-Brillen. Auch wenn ihre Verbreitung sich derzeit beschleunigt⁸⁵, sind sie auch aufgrund der hohen Anschaffungskosten noch weit seltener als Smartphones, Tablets oder Desktop Systeme. Sie besitzen aber mit Abstand den höchsten Immersionsgrad und vermitteln einen Eindruck der Anwendungsmöglichkeiten, die XR in wenigen Jahren für viele Menschen bieten wird.

XR Headsets lassen sich zum heutigen Zeitpunkt noch relativ klar in die Kategorien Mixed und Virtual Reality trennen. Besonders für VR Headsets sind bereits viele Tools mit verschiedenen Schwerpunkten verfügbar. Manche Tools wie Google Tilt Brush⁸⁶ verfolgen mit grundlegenden Zeichenwerkzeugen vorrangig einen künstlerischen Ansatz. Mehr kreative Freiheit bietet zum Beispiel Oculus Quill⁸⁷, das nicht nur erlaubt, komplexe visuelle Welten zu erschaffen, sondern diese auch zu animieren und als immersive Erfahrungen mit der Community zu teilen.

Andere Tools richten sich an Produktdesigner und erlauben es, detaillierte und präzise Modelle zu gestalten. Dazu zählen zum Beispiel Gravity Sketch⁸⁸, Minddesk⁸⁹ oder flyingshapes°⁹⁰. Sie bieten ein großes Set spezialisierter Funktionen wie Messwerkzeuge, Modellierung mit Vektoren oder Bezier-Kurven, die für die Erstellung von physischen Produkten oder Architekturmodellen eingesetzt werden.

[...]2D screens are good for photo editing and stereo headphones are needed for making music. But why would you limit yourself to a 2D screen to create an AR/VR experience? The medium is simply not the most appropriate.⁹¹

Diverse Tools wie zum Beispiel Sketchbox⁹² oder Tvori⁹³ versuchen sich als Generalisten für verschiedene Design Aufgaben. Sie bieten meist eine Auswahl aus grundlegender Modellierung, Zeichnen, Erstellung von Szenen und Animation. Einen ähnlichen Funktionsumfang für Mixed Reality Geräte bietet Microsoft’s Maquette⁹⁴. Mit eingebauter Kollaboration im Raum bringen diese Tools - auf den ersten Blick - alles mit, was für interaktive XR Prototypen gebraucht wird.

XR Headsets besitzen mehrere Vor- und Nachteile als Plattform für die Erstellung von XR Prototypen sowohl im Vergleich zu Desktop Anwendungen, als auch gegenüber Mobile Apps.

Vorteile von Prototyping mit XR Headsets

1. Natürliche Wahrnehmung
   Anstatt virtuelle Welten durch ein Fenster wie dem Smartphone Display oder Computer Screen zu sehen, können wir diese mit XR Headsets betreten wie einen realen Raum, in dem wir uns frei bewegen. Auch wenn die Ansicht von virtuell überlagerten Objekten in Mixed Reality Geräten noch auf einen Teil des möglichen Sichtfeldes beschränkt ist⁹⁵, erschaffen MR und VR Headsets einen nahezu nahtlosen Übergang zwischen physischer und virtueller Welt.
2. Freie Hände
   Der entscheidende Unterschied von XR Brillen gegenüber Screens liegt in der primären Interaktion. Statt digitale Elemente durch den Smartphone-Bildschirm per Touch oder auf dem Monitor per Maus und Tastatur zu bedienen, sind diese unmittelbar anfassbar. Die Fixierung von XR Headsets am Kopf erlaubt es, die Hände frei zu bewegen und virtuelle Objekte zu manipulieren, als wären diese Teil des physischen Raums. Die aus dem realen Raum übertragenen Erwartungen erzeugen Herausforderungen für das User Interface in XR Apps, die durch praktische Tests in XR effizient gelöst werden können.
3. Offenes Zielmedium
   XR Headsets eignen sich nicht nur dafür immersive Anwendungen für XR Headsets zu testen, sondern können auch eingesetzt werden, um AR Apps für Smartphones und Tablets zu gestalten. Tvori ist zum Beispiel ein VR Tool zum Erstellen von Visualisierungen und Animationen und wirbt aktiv mit der Möglichkeit, AR Apps in VR zu prototypen.

Nachteile von Prototyping mit XR Headsets

1. Leistung vs. Freiheit
   Durch die Unterschiede in der Leistung von standalone XR Headsets und PC basierten Headsets ergeben sich stark abweichende Möglichkeiten der Darstellung und Komplexität von XR Anwendungen. High-Fidelity Prototypen sind damit für standalone Geräte nur eingeschränkt zu erreichen. Die zunehmende Leistung und die daraus folgende Verbreitung von standalone Headsets zeigt jedoch positive Aussichten für Tools, die auf beiden Plattformen verfügbar sind.
2. Abgeschlossene Welt
   Im Gegensatz zu Smartphone oder PC Screens sind virtuelle Welten in XR Headsets nur für den Träger des Headsets sichtbar und lassen sich damit nicht so einfach anderen Personen zeigen und im Team diskutieren. Diese Beschränkung lässt sich am leichtesten mit einer Bildschirmübertragung umgehen, in der jedoch die Wirkung einer räumlichen Anwendung nur begrenzt dargestellt werden kann. Effektiver aber aufwendiger ist die Verwendung mehrere Headsets und einer geteilten virtuellen Umgebung.

Hot take: Consumer buy-in for headset AR does not happen without smartphones.

The biggest problem with headsets is that only the people with them on can actually see what's going on. Integrating into a pre-exististing market that's already used to mobile AR is ESSENTIAL.

— Alexandria Heston (@ali_heston) January 28, 2021

⁹⁶

Welche Plattform ist am besten für XR Prototyping geeignet?

Zu den wichtigsten Zielen eines XR Prototypen (siehe Abb. 10) gehört es, schnelle Entwürfe zu erstellen, das Ergebnis mit Kollegen und Stakeholdern zu evaluieren und ein Gefühl für das Medium zu gewinnen. Sowohl alleine mit Desktop Tools als auch in Kombination mit Mobile Apps lassen sich diese Ziele nicht erreichen. Auch wenn jede Plattform Vorteile für bestimmte Aufgaben mitbringt, die Teil des Prototyping Prozesses sein können, wäre ein ständiges Wechseln der Plattform für jeden Schritt im Prototyping sehr ineffizient. Welche Plattform bringt also die Voraussetzungen mit primär für XR Prototyping eingesetzt zu werden?

Die Umfrage im Januar 2021 hat ergeben, dass der Prototyping Prozess vorrangig auf dem Gerät stattfinden sollte, für das der Prototyp geschaffen ist. Den vollständigen Prozess ausschließlich auf der jeweiligen Zielplattform zu entwickeln, können sich hingegen die wenigsten vorstellen. Im Fall von Prototypen, die VR Konzepte testen, ist die Antwort also einfach: VR Headsets erscheinen als die passende primäre Plattform für VR Prototyping. Das Gleiche gilt mit Einschränkung für MR Headsets und AR auf Smartphones und Tablets. Die zweithäufigste Antwort offenbart, dass die Teilnehmer VR Headsets ebenfalls für die Erstellung von MR und AR Prototypen nutzen würden.

XR Headsets bieten mit Abstand das größte Potenzial für die Gestaltung räumlicher Erlebnisse heute und in den kommenden Jahren. Virtual Reality Geräte haben gegenüber Mixed Reality Geräten einen deutlichen Vorsprung in technologischer Reife und sind preiswerter. Die wachsende Community aus Entwicklern und Designern macht sie zu einer nachhaltigen Lösung für Prototyping.

 

 

Lediglich 20 % der Befragten würde vorrangig Desktop Anwendungen für XR Prototyping nutzen. Dieses Ergebnis steht im Konflikt mit einem anderen Umfrageergebnis (siehe Abb. 13), aus dem hervorgeht, dass das die Mehrheit im allgemeinen Desktop Systeme als XR Prototyping Plattform nutzen würde. Durch die Möglichkeit, am Ende der Umfrage freie Meinungen zu äußern und auf direkte Nachfrage, gaben einzelne Teilnehmer den Grund für diesen scheinbaren Widerspruch an: Desktop Tools sind mangels XR Hardware entweder die einzige gerade verfügbare Möglichkeit für Prototyping bzw. die Funktionen der bisher verwendeten Tools für XR Geräte werden als nicht ausreichend für die persönlichen Anforderungen im Prototyping Prozess wahrgenommen.

Dass die bestehenden Tools noch nicht sehr effektiv für XR Prototyping sind, deckt sich mit meinen persönlichen Erfahrungen mit diversen Tools sowohl auf XR Headsets, als auch AR Geräten. In mehreren XR Projekten traf ich schon in ersten praktischen Tests auf Grenzen in den Tools. In den meisten Fällen fehlten mir bestimmte Funktionen, um meine Vision adäquat testen zu können. Oft sind die Tools auf die Vorbereitung von Objekten auf dem PC oder Mac angewiesen oder besitzen eine solche Menge an Funktionen und Werkzeugen, dass sie den Prototyping Prozess vollkommen ausbremsen.

Doch wie kann ein effektiver und agiler Prototyping Workflow aussehen? Welche Methoden und Modelle lassen sich von etablierten Tools für Design Prototyping auf den virtuellen Raum adaptieren? Was brauchen Designer, Storyteller und andere Nicht-Programmierer, um innovative XR Projekte zu entwickeln?

Um die Entwicklung von Extended Reality Visionen zu fördern und partizipativer zu gestalten, werden genau diese Fragen in dem finalen Kapitel dieser Arbeit erforscht.

A new old Workflow

Auch wenn Extended Reality Geräte und Apps in einzelnen Bereichen wie Gaming oder Fitness bereits den Konsumer-Markt erreicht haben, sind dies lediglich die ersten Anzeichen der Zusammenführung unseres digitalen und analogen Lebens. Das bedeutet, dass wir uns in einer Phase der Neuorientierung befinden, in der Menschen aus expeditiven und adaptiv-pragmatischen Milieus⁹⁷ wie Visionäre, Designer und XR Enthusiasten erst neue Potenziale entdecken und Lösungen etablieren müssen. Dafür braucht es die passenden Werkzeuge und einen effektiven Workflow.

Wie sich aus dem direkten Vergleich zwischen mehreren analogen und digitalen Prototyping Methoden ergibt, sind digitale Prototypen auf XR Headsets ein vielversprechender Weg, der jedoch weiterer Exploration bedarf.

Aus den Ergebnissen der Umfrage, Erfahrungen mit Design Studenten und eigener Wahrnehmung der Herausforderungen im XR Design Prozess ist eine Sammlung entstanden, die XR Prototyping in verschiedenen Kategorien erforscht und auf mögliche Potenziale hinweist.

Tool Struktur

Fragt man einzelne Designer, welche Werkzeuge sie für die prototypische Realisierung einer XR Vision benötigen, erhält man sehr unterschiedliche Antworten, die sich zudem mit jedem Projekt ändern. Für ein Augmented Reality Schaufenster kann beispielsweise die Erkennung des Ortes und die Möglichkeit Grafiken und Texte an diesem zu positionieren ausreichen. Im nächsten Konzept soll ein virtueller Begleiter in Form eines Haustiers getestet werden, dass sich nicht nur im realen Raum frei bewegt, sondern auch auf das Verhalten des Nutzers reagieren soll. Von der Modellierung, über dynamische Animationen, bis hin zur Spracherkennung werden hier in diesem Beispiel mehrere komplexe Werkzeuge benötigt.

Um einen Prototyp schnell erstellen zu können, reicht es nicht, alle gegebenenfalls benötigten Werkzeuge, jederzeit verfügbar zu haben. Im Idealfall sind nur exakt die Werkzeuge griffbereit, die gerade benötigt werden. Dieser Idealfall kann durch die Varianz der Anforderungen für einzelne Prototypen jedoch in der Praxis durch ein generalisiertes Tool nicht erreicht werden. Die Annäherung ist das Ziel.

Um diesem Ziel näherzukommen, gibt es zwei Richtungen. Entweder werden die Funktionen und Werkzeuge so stark auf das Wesentliche reduziert, dass sie schnell erlernt und angewendet werden können oder sie werden klar strukturiert hierarchisch angeordnet. Auf eine Hierarchisierung mit mehreren Ebenen zu verzichten, ist sinnvoll, solange die Ziele des Nutzers nicht die Möglichkeiten des Tools übersteigen. Google Blocks⁹⁸ setzt zum Beispiel auf lediglich sechs verschiedene primäre Werkzeuge: Shape, Stroke, Paint, Modify, Grab und Erase. Mit dieser Auswahl ist die App darauf optimiert, schnell grobe 3D-Modelle erstellen zu können.

 

 

In meiner Rolle als UX Designer eines digitalen Whiteboards bei neXenio⁹⁹, einem Berliner Start-up, war die Auswahl der Werkzeuge ein wesentlicher Teil der Tool-Entwicklung. Mit einem Fokus auf agiles Arbeiten und Design Thinking, sowie der Anlehnung an physische Whiteboards lag die Tendenz nahe, die Werkzeuge auf das Wesentliche zu beschränken und den Workflow damit zu beschleunigen.

Für statische low-fidelity Prototypen wären wenige ausgewählte Werkzeuge bereits ausreichend. Das Ziel, neue komplexere XR Konzepte zu testen und zu evaluieren, ist damit allerdings nur eingeschränkt erreichbar. Für interaktive Prototypen ist aufgrund der hohen Diversität und Anzahl der benötigten Funktionen stattdessen eine mehrstufige Struktur für das Tool zu bevorzugen.

Räumliche Positionierung

Zweidimensionale Desktop- und Mobile-Anwendungen nutzen hierarchische Modelle, um Funktionen auf dem limitierten Platz so zu platzieren, dass sie schnell auffindbar sind, wenn sie benötigt werden und nicht stören, wenn sie nicht benötigt werden. Die meisten Anwendungen setzen auf wiederkehrende Muster, wie zum Beispiel ein Hauptmenü, dass sich meist im oberen Bereich des Screens und auf der Seite der Leserichtung befindet. Funktionen sind in Kategorien wie “Bearbeiten” oder “Ansicht” oder “Hilfe” unterteilt und lassen sich in der zweiten Ebene über Dropdown Menüs meist schnell finden. Besonders häufig verwendete Werkzeuge und Funktionen werden hingegen auf der ersten Ebene – also dem ohne jede weitere Interaktion sichtbaren Teil eines Tools – angeboten.

In räumlichen Interfaces existiert keine klare Grenze in Breite, Höhe oder Tiefe wie bei einem Bildschirm. Ein Menü am oberen Bildschirmrand zu positionieren, ließe sich in XR theoretisch auf den peripheren Sichtbereich des Nutzers übertragen. Doch sind sekundäre Funktionen dort immer noch gut erreichbar und gleichzeitig nicht aufdringlich? Virtuelle Elemente im Sichtfeld des Nutzers zu fixieren, wirkt im Gegensatz zu Desktop und Mobile sehr irritierend. Um diesen Effekt zu umgehen, werden Elemente zum Beispiel “lazy” (dt. “träge”) positioniert. Das bedeutet, sie sind im Raum positioniert und bewegen sich nur, wenn sie Gefahr laufen, außerhalb des Sichtfeldes zu liegen. Grundsätzlich sollten virtuelle Elemente daher in Relation zum realen oder virtuellen Raum positioniert werden.

Hände

Eine Position, die sich anbietet, um Werkzeuge und Funktionen griffbereit zu halten, sind die eigenen Hände. Alle getesteten XR Prototyping Apps nutzen eine der beiden Hände – im Idealfall die dominante Hand –, um die wichtigsten Funktionen anzubieten.

Während die Interaktion mit Händen alleine ein sehr intuitiver und nahtloser Umgang mit der virtuellen Welt sein kann und bei der Umfrage als Interaktionsmethode präferiert wurde (siehe Abb. 16), kommen in vielen Fällen auch Controller zum Einsatz. Diese bieten eine höhere Präzision und einheitliche Funktionen, die die Planung möglicher Interaktionen vereinfacht. Prinzipiell sind grundlegende Interaktionsmuster aber sowohl mit Händen, als auch Controllern umsetzbar.

 

 

Die Hauptnavigation wird in den meisten Fällen per Drehung des Handgelenks oder per Button auf dem Controller aufgerufen und mit der anderen Hand bedient. Ein Vorteil ist die permanente und schnelle Verfügbarkeit der Funktionen. Nachteilig hingegen ist, dass in mehreren Apps nur eine Hand in der Lage ist, Werkzeuge auszuwählen und damit keine beidhändige Bedienung möglich ist. Mit einer dynamischen Platzierung des Menüs an beiden Händen könnten verschiedene Werkzeuge gleichzeitig verwendet werden.

Während die Auswahl einzelner Tools, wie zum Beispiel einem Werkzeug zur Formgebung, zum Zeichnen oder zur Einfärbung an einer Hand einen schnellen Wechsel erlaubt, kann die zweite Hand auch verwendet werden, um das gewählte Werkzeug anzupassen. Ein Zeichen-Tool wird deutlich flexibler, wenn verschiedene Stift- und Pinselspitzen zur Verfügung stehen.

Raum

Hände sind eine naheliegende und sinnvolle Position für primäre Werkzeuge und können außerdem als Einstiegspunkt der Funktionen dienen, die seltener oder nur in Teilen des Prototyping-Prozesses verwendet werden. Besonders komplexere Tools mit größerem Platzbedarf wirken an einer Hand schnell schwer und durch die Nähe unübersichtlich.

Zudem hängt die Verfügbarkeit von Hand-Tracking oder Controllern von der verwendeten Plattform ab. Es ist daher von Vorteil – ähnlich des “Mobile First” Prinzips in der Entwicklung von Webseiten – eine Anwendung so zu strukturieren, dass sie minimale Anforderungen an die verfügbaren Input-Optionen setzt. Sind hingegen weitere In- und Outputs wie Handposition oder sogar Körperposition und Spracherkennung vorhanden, sollten diese dynamisch eingebunden werden.

Eine weitere Option zur Positionierung komplexerer Funktionen, die zum Beispiel von Oculus Quill¹⁰⁰ genutzt wird, ist der Raum selbst. Ähnlich den Fenstern in Desktop Programmen werden zusammengehörige Funktionen wie zum Beispiel zur Erstellung von Animation von der Hand gelöst und können frei im Raum positioniert werden. Mit mehreren Fenstern kann so ein eigener Arbeitsbereich erstellt werden, der sich der jeweiligen Prototyping Situation anpasst.

 

 

Layer

In vielen Desktop Anwendungen, wie z. B. Photoshop oder Unity, gibt es ebenfalls die Möglichkeit, eigene Arbeitsbereiche zu erstellen. Diese werden meist mit Snapping in vordefinierten Bereichen oder frei als eigenständige Fenster platziert. Im Zentrum steht das Editor- oder Vorschaufenster, in dem Bildkompositionen oder dreidimensionale Szenen bearbeitet werden. Diese klare Trennung zwischen bearbeitetem Element und den Werkzeugen ist nur schwer in Extended Reality zu übertragen. Das Modell von Layern funktioniert auf zweidimensionalen Screens und ist daher auch auf Augmented Reality in Smartphones anwendbar. Während sich das Userinterface hier auf dem Screen befindet und von der realen Welt inklusive digitaler Objekte abhebt, fehlt diese Grenze in XR Headsets. Werkzeuge und bearbeitete Objekte sind Teil der gleichen virtuellen Welt.

Diese fehlende Trennung führt zu praktischen Einschränkungen. Werden Tools im Raum platziert, können diese mit den Elementen kollidieren, die Teil der Kreation des Nutzers sind. Dies kann so weit führen, dass Funktionen nicht mehr sichtbar oder nutzbar sind. Gleichzeitig bedeutet dies, dass andere Faktoren als die Positionierung für die Unterscheidung von Teilen der Prototyping Umgebung und der erstellten Szene benötigt werden.

Werkzeuge

Neben dem Aufbau eines Tools entscheiden die enthaltenen Werkzeuge über die Eignung für den XR Prototyping Workflow. Über diese Kernfunktionen unterscheiden sich die getesteten Anwendungen und erhalten einen individuellen Fokus. Um herauszufinden, welche Werkzeuge essenziell sind und welche nur selten verwendet werden, hatten die Teilnehmer der Umfrage die Möglichkeit, diverse Werkzeuge nach ihren persönlichen Anforderungen zu bewerten. Die insgesamt 22 Funktionen und Werkzeuge wurden für die Umfrage auf Grundlage der getesteten XR Anwendungen vorausgewählt und in mehrere Kategorien verteilt.

Primäre Werkzeuge

In der ersten Kategorie liegt der Fokus explizit auf dem Vergleich von Grundfunktionen. Mehrere Funktionen, die keine spezifischen Möglichkeiten des Mediums darstellen oder Teil anderer Werkzeuge sind, werden an dieser Stelle nicht eingeschlossen. Dazu gehören beispielsweise die Möglichkeit, Änderungen rückgängig zu machen, erstellte Objekte zu bewegen oder diese wieder zu löschen.

 

 

Formen erstellen

Eine der grundlegenden Funktionen zur Erstellung von digitalen Prototypen für zweidimensionale Interfaces ist die Erstellung primitiver Formen wie Rechteck, Kreis oder Polygon. Das Gleiche gilt für XR Prototypen. Sogenannte Primitives wie Würfel, Kugeln oder Polyeder sind vielseitig einsetzbar und gehen aus der Umfrage als wichtigstes Werkzeug hervor.

Sketchbox¹⁰¹ bietet nicht nur simple Körper, sondern viele verschiedene Polyeder, die sowohl zu einfachen 3D-Modellen kombiniert werden können, als auch die Erstellung von UI-Elementen, wie bspw. abgerundete Buttons, beschleunigen.

 

 

Werden komplexere Modelle nötig, um ein Konzept zu testen oder einen Prototyp mit höherer Fidelity zu erstellen, reichen Grundkörper schnell nicht mehr aus. Eine Option, die Gestaltungsfreiheit dennoch schnell zu erhöhen, ist die Bearbeitung der Grundformen auf Vektorebene. Dreidimensionale Körper werden durch ihre Eckpunkte beschrieben und können daher nicht nur als Ganzes bewegt und skaliert werden, sondern auch ihre einzelnen Punkte. Desktop-Anwendungen wie Blender¹⁰² bieten sowohl die Möglichkeit, einzelne Punkte, Kanten und Flächen zu manipulieren, als auch Neue hinzuzufügen. Im Gegensatz zur klassischen 3D-Modellierung, bei der die Qualität der Modelle im Vordergrund steht, ist die Bearbeitung auf Vektorebene für XR Prototyping aus Sicht von ca. 70 % der Umfrageteilnehmer nur selten oder gar nicht erforderlich (siehe Abb. 18).

Diverse 3D-Tools bieten einen weiteren Weg zur Erstellung von Modellen. Angelehnt an die Bildhauerei können Grundkörper mit Meißel, Messer und Schaber geformt oder mit Lehm-ähnlicher Masse erweitert werden. Die Übertragung analoger Handwerkskünste wie der Bildhauerei oder dem Töpfern auf den digitalen Raum legt nahe, dass die Technik eine effektive Methode zur Modellierung in Extended Reality darstellen könnte.

This pottery simulator is all done using shaders

Here's a thread of how I did it
[1/7] pic.twitter.com/k8cDcQhuFk

— Daniel Beauchamp (@pushmatrix) January 19, 2021

¹⁰³

 

Adobe Medium¹⁰⁴ nutzt verschiedene analoge Werkzeuge wie Pinsel oder Messer und durchbricht, mit Erweiterungen wie Modelliermasse und der Möglichkeit, Körper nahezu beliebig zu verformen, physische Grenzen. Die Ergebnisse wirken durch die freie Bearbeitung im Raum organisch und natürlich.

 

 

Für XR Konzepte, die beispielsweise Avatare oder Charaktere einsetzen, lassen sich auf diese Weise schnell grobe Modelle für Prototypen erstellen, ohne auf weitere Tools angewiesen zu sein.

Auch wenn diese Techniken den Gestaltungsraum erheblich vergrößern, zeigt die Umfrage ein geteiltes Ergebnis, wenn es um die Anwendung im XR Prototyping geht. Während etwas mehr als die Hälfte der Befragten diese natürliche Form der Modellierung häufig nutzen würde oder sogar als essenziell ansieht, sehen die anderen Befragten hier nur selten oder keinen Mehrwert. Damit landet diese Funktion auf den unteren Plätzen im Vergleich der primären Werkzeuge. Mit einer eingeschränkten Auswahl an Optionen könnte die Übertragung handwerklicher Werkzeuge eine sinnvolle Erweiterung für XR Prototyping darstellen.

Text

Texte können nicht nur als Beschriftungen und Teil prototypischer Interfaces verwendet werden, sondern auch abstrakte Formen erklären. Während ein konkretes Modell wie einen Stuhl zu erstellen, entweder Werkzeuge zur Modellierung oder externer Tools bedarf, reicht in vielen Fällen bereits ein Quader mit einer Objektbeschriftung, um das Konzept darzustellen.

Auch wenn die Eingabe von Text auf virtuellen Tastaturen in XR Headsets gewöhnungsbedürftig sein kann, sind Texte ein essenzieller Bestandteil im XR Prototyping Prozess. Das bestätigen fast 80 % der Befragten (Abb. 18), die Texte in den meisten Prototyping Situationen verwenden würden.

Zeichnen

Mit wenigen Strichen lassen sich bereits viele Informationen darstellen. Sie können konkrete Formen oder Symbole ergeben, Zusammengehörigkeit andeuten oder auf Abläufe hinweisen.

Die Anforderungen an ein Zeichenwerkzeug unterscheiden sich erheblich je nach Einsatzzweck. Künstlerische Anwendungen wie Google Tilt Brush¹⁰⁵ bieten nicht nur einen Stift und eine handvoll Farben, sondern vielseitige Pinsel und Muster, die detaillierte Szenen entstehen lassen. Für schnelles Prototyping hingegen ist diese Auswahl zu komplex und hinderlich.

 

¹⁰⁶

 

Ein einfaches Zeichenwerkzeug ist bereits vielseitig einsetzbar, erfordert allerdings Übung, um im Raum aussagekräftige Ergebnissen zu erzielen. Die meisten Konzepte lassen sich mit einem einfachen Stift andeuten und machen diesen zu einem sehr effizienten Prototyping Werkzeug. Wird diese Grundfunktion mit wenigen Optionen wie zum Beispiel Farbe oder Strichstärke erweitert, können nicht nur Wireframes, sondern auch komplexere Darstellungen erreicht werden.

Während die Ungenauigkeit, die das Zeichnen per Hand mit sich bringt, ein Teil des gewünschten temporären Stils eines Entwurfs sein kann, ist diese in XR nicht immer gewünscht. Durch die höhere Anstrengung der Armbewegung im Raum und der nicht immer präzisen Verfolgung der Hand oder des Controllers durch das XR Headset können ungewollt ungerade Linien und Formen entstehen. Methoden wie das Glätten der gezeichneten Pfade oder die Erkennung und Optimierung von gezeichneten Formen werden bereits in Desktop Tools für Ideation und Kollaboration wie Miro¹⁰⁷ eingesetzt. Sie können die Präzision steigern und damit den Prozess beschleunigen.

 

 

Audio

Wie im Kapitel XR Design Best-Practice angesprochen, kann Ton nicht nur als direktes Kommunikationsmedium genutzt werden, sondern auch virtuellen Objekten eine weitere Dimension verleihen. Mit Geräuschen erkennen wir zum Beispiel um welches Material es sich handelt, und ziehen weitere Schlüsse über die Eigenschaften eines Objektes.

Wird der Ton einer bestimmten Quelle zugeordnet und damit im Raum positioniert, kann diese geortet werden, auch wenn sie sich gerade nicht im Sichtfeld befindet. Mozilla’s WebXR Demo¹⁰⁸ enthält mit einem virtuellen Xylophon sowohl einen interessanten Use Case für Audio in XR, als auch einen “Sound Room”, in dem Töne an zufälligen Positionen in einem leeren Raum abgegeben werden und diesen auditiv erfahrbar machen.

Während Augmented und Mixed Reality Experiences als Teile der realen Welt auf eine vorhandene Geräuschkulisse aufbauen, fehlt diese in Virtual Reality. Umso erstaunlicher ist, dass nur wenige XR Tools Optionen mitbringen, Audio zu positionieren. Besonders in der ersten Auseinandersetzung mit räumlichen Tonquellen würde ein Audio-Werkzeug den Möglichkeitsraum von XR Konzepten erweitern und inspirierend wirken.

Für den Einsatz von Audio im Prototyping Prozess deckt sich meine persönliche Erfahrung jedoch mit denen der Umfrageteilnehmer: Lediglich in ausgewählten Projekten ist Ton ein wesentlicher Bestandteil. Gleichzeitig bringt die Funktion neue Komplexität durch Produktion, Import und Platzierung von Audioinhalten mit sich und ist daher für Prototyping nur bedingt notwendig.

Räumlicher Kontext

Abhängig von dem Grad der Abgeschlossenheit einer XR Anwendung sind weitere Werkzeuge erforderlich, um auf externe Informationen aus der physischen Umgebung einzugehen. Viele spannende Use Cases für Mixed oder Augmented Reality Apps erweitern physische Objekte um digitale Informationen oder sind an einen bestimmten Ort gebunden, wie z. B. Zusatzinformationen zu einer Sehenswürdigkeit.

Solange die Interaktion zwischen Prototyp und Orten oder Objekten auf die reine Präsenz begrenzt ist, kann bereits eine ungefähre Platzierung vor Ort oder Fotos in VR ausreichen, um den Kontext anzudeuten. Soll eine App jedoch komplexere Abläufe an physischen Objekten, wie zum Beispiel bei der Wartung von Maschinen und Anlagen abbilden, kann ein Werkzeug zur Erkennung des Objektes und der präzisen Platzierung den Prozess erheblich vereinfachen.

Eine Alternative zur Verwendung realer Daten ist die Simulation von erkannten Orten und Objekten durch 3D-Modelle, die auch in Virtual Reality anwendbar ist. Statt sich für ein Medium nach heutiger Definition zu entscheiden, hilft die Simulation von physischen Relationen, die zunehmend fließende Grenze zwischen AR, MR und VR frühzeitig zu überwinden.

Funktionen, wie die Platzierung an realen Orten, Objekten oder Personen, sind in den meisten AR und MR Projekten erforderlich und werden von dem Großteil der befragten Designer als essenziell oder häufig benötigt bewertet.

Präzision

Meine ersten Versuche, in XR freihändig eine erkennbare Form zu zeichnen oder ein Objekt zu modellieren, führten zu ernüchternden Ergebnissen. Mit etwas Übung verbesserten sich diese etwas, leiden aber weiterhin an der ungewohnten und wenig präzisen Handbewegung.

Zum Glück lassen sich aber Möglichkeiten digitaler Tools nutzen, um die Defizite in Raumgefühl und Motorik auszugleichen. Zu diesen gehören:

1. Snapping
   Ein virtuelles Objekt auf einen Tisch zu stellen, ist schwierig, wenn das Objekt ohne erkennbaren Widerstand im Tisch versinkt. Mit dem Einrasten an Oberflächen – ob virtuell oder physisch – bei Annäherung, wird die Platzierung von Objekten wesentlich einfacher.
2. Grid
   Visuelle Ordnung gibt Interfaces Struktur und Klarheit. Das gilt ebenfalls für immersive Interfaces in Extended Reality. Raster können, wie aus Desktop Anwendungen bekannt, aus definierten Abständen bestehen oder sich nach bestehenden Elementen richten.
3. Bewegung Skalieren
   Statt die Bewegung der Hand eins zu eins auf ein Objekt zu übertragen, lässt sich eine andere Übersetzung verwenden, um eine deutlich präzisere Kontrolle zu erhalten. Legt die steuernde Hand einen Meter zurück, bewegt sich ein Objekt bei einer eins zu zehn Übersetzung nur zehn Zentimeter. Diese Methode lässt sich auch auf Zeit anwenden, um zum Beispiel flüssige Animationen erstellen zu können.

Unter den vielen weiteren denkbaren Techniken finden sich auch Ansätze, die analoge Werkzeuge in den virtuellen Raum übertragen. Ein digitales Lineal kann bereits im Hand Physics Lab¹⁰⁹ getestet werden und zeigt, wie trotz motorischer und technologischer Einschränkungen präzise Steuerung ermöglicht werden kann.

 

 

Bewegung

Bewegung kann aus einer Sammlung statischer virtueller Elemente eine lebendige Welt erschaffen, die sich real anfühlt und dazu einlädt, mit ihr zu interagieren. Dieser Eindruck entsteht vorrangig durch zeitliche und räumliche Kontinuität, die es ermöglicht, Zusammenhänge, Hierarchie und Veränderung in einem Interface zu erkennen. Das bedeutet, dass virtuelle Objekte und Interaktionselemente ein vorhersehbares Verhalten erfordern, das an der physischen Welt angelehnt ist. Dieser Ansatz ist bereits fester Bestandteil des UX (User Experience) Designs von Screen-basierten Interfaces. Wird beispielsweise ein Menü geöffnet, tauchen die Menüpunkte nicht an einer zufälligen Stelle auf dem Bildschirm auf, sondern nutzen den Menü-Button als Ursprung und führen damit den Blick des Nutzers.

Humans are remarkably adept at using spatial frameworks to navigate both in the real world and in digital experiences. Providing spatial origin and departure references helps reinforce mental models of where users are in the UX.¹¹⁰

Diese Prinzipien sind – wie im Kapitel “A new old Design Language” beleuchtet – genauso wichtig für die Navigation räumlicher Anwendungen.

Aufnehmen & Abspielen

Der einfachste Weg, Bewegung innerhalb einer Prototyping Umgebung zu erschaffen, ist die manuelle Aufnahme. Während die Erstellung von Animationen am Desktop meist auf der Veränderung einzelner Eigenschaften eines Objektes an verschiedenen Zeitpunkten einer Timeline basiert, sind durch die Interaktionsmöglichkeiten im Raum direkte Aufnahmen eine effektive Alternative. Nach Start der Aufnahme können Objekte im Raum bewegt, skaliert oder in ihrer Erscheinung verändert werden. Die entstandene Sequenz kann Abläufe zeigen oder Interaktionen zum Zweck der Präsentation simulieren. In Adobe Aero¹¹¹ lassen sich auf ähnliche Weise einfache Animationen für AR Konzepte erstellen. Durch die unpräzise Steuerung von Elementen im Raum via Touchscreen ist AR als Plattform nur eingeschränkt für manuelle Animation geeignet.

Tvori¹¹² unterstützt die Aufnahme von Animationen in XR und kann diese nicht nur abspielen, sondern bietet zudem einen Timeline-Editor. Automatisch erstellte Keyframes können hier im Nachhinein bearbeitet werden und geben präzise Kontrolle über das Timing von Animationen.

 

 

Übergänge

Animationen mit vielen Objekten sind mit manuelle aufgenommenen Sequenzen eine zeitaufwändige Aufgabe. Eine Alternative bieten automatische Übergangseffekte nach Vorbild von Microsoft PowerPoint oder Apple Keynote. Statt einzelne Objekte zu animieren, werden Inhalte einfach auf einer Folie platziert und auf der nächsten Folie dupliziert und zum Beispiel verschoben. Die Anwendung berechnet nun automatisch einen animierten Übergang von einer Folie zur nächsten. Für Prototypen werden auf diese Weise lediglich verschiedene Zustände benötigt, zwischen denen übergeblendet wird. 

Während die Möglichkeit, mehrere Szenen und damit potenziell Zustände einer App anzulegen in mehreren XR Tools möglich ist, ist mir aktuell keines bekannt, dass Übergänge aus diesen erstellt und damit komplexere Interaktionen und Animationen andeuten kann.

Physik

Vordefinierte Animationen können auf Eingaben des Nutzers nur eingeschränkt reagieren. Wird ein virtuelles Objekt berührt, kann eine Animation es zum Beispiel einmal aufleuchten lassen. Dieses Vorgehen ist ausreichend, um Elemente des User-Interfaces wie Buttons, Dropdown Menüs oder Fortschrittsbalken zu visualisieren, kann aber Objekten wie bspw. einem virtuellen Ball nicht die erwartete Dynamik verleihen.

Physikalische Simulation in Echtzeit wird seit Jahrzehnten in der Forschung und in Videospielen eingesetzt und weiterentwickelt. Damit lassen sich digitale Objekte mit realistischen physischen Eigenschaften in Gewicht und Beschaffenheit versehen. Ein im Raum schwebender Granitblock ist in einer VR Weltraum-Umgebung vielleicht glaubwürdig, wirkt auf der Erde aber in real und ebenso in XR eher irritierend.

Für Prototypen kann die Verwendung von Physik eine Zeitersparnis darstellen und den Raum möglicher Interaktionen mit geringem Aufwand erheblich vergrößern. Diese Möglichkeiten führen jedoch auch zu einer gewissen Unvorhersehbarkeit und bedürfen der Planung oder Einweisung innerhalb von Demonstrationen. 

Interaktivität

Statische low-fidelity Prototypen sind sehr effektiv, um schnell Ideen und Konzepte innerhalb eines Teams auszutauschen. Mit etwas Modellierung und Animation werden auch Präsentationen zu einem möglichen Einsatzzweck eines Prototyps. Besteht das Ziel jedoch darin, neue Erkenntnisse durch User Tests oder eigene Experimente zu generieren und in die weitere Entwicklung einfließen zu lassen, sind interaktive Prototypen von Vorteil.

Interactive prototyping is a process of exploring design ideas by building an interactive experience that helps other people see your vision.¹¹³

Click-Dummies

Eine naheliegende und für viele Designer bereits bekannte Methode für interaktive Prototypen finden sich in diversen Screendesign Tools wie Sketch oder Invision. Auch als Click-Dummies bezeichnet werden Screens oder Artboards mit Links zu Abläufen verbunden. Mit Animationen für Übergänge und der Simulation von App-typischen Verhaltensweisen wie Scrolling entstehen realistische Prototypen eines Screendesigns.

 

 

Sketchbox ermöglicht es, mehrere Szenen in XR anzulegen und zwischen diesen zu wechseln. Mit der Navigation über die Hauptnavigation, statt der Möglichkeit einen Szenenwechsel über Elemente innerhalb des Prototyps auszulösen, bleiben dargestellte Abläufe auf einem einfachen Level.

Wie im Kapitel “User Flow” beschrieben, entspricht die Struktur von XR Anwendungen eher flexiblen Szenen als einzelnen statischen Screens. Szenen können diverse Objekte enthalten, die jeweils verschiedene Interaktionen zulassen. Statt jeden möglichen Zustand der App in einen Screen zu fassen, wird das Verhalten innerhalb von sozialen und räumlichen Situationen beschrieben. Die große Varianz, die räumliche Interfaces besitzen, ist daher oft durch XR Click-Dummies nicht adäquat abbildbar.

Direkte Reaktion

Eine Methode für funktionale XR Prototypen, die der dynamischen Natur von XR Anwendungen eher entspricht, ist die direkte Interaktion mit einzelnen Objekten. Die Funktionen einzelner virtueller Elemente – vom einfachen Button bis zum digitalen Haustier – werden durch Interaktionen, wie dem Antippen, der Annäherung oder dem Anschauen, angesprochen und erzeugen je nach Situation eine Reaktion des Elements.

Die Reaktion kann eine vordefinierte Animation von importierten 3D-Modellen sein, oder auch durch Veränderung einzelner Objekt-Eigenschaften erfolgen. Dazu können alle Eigenschaften gehören, die das jeweilige Objekt auch außerhalb einer Reaktion besitzt, wie zum Beispiel die Position, Skalierung, Farbe oder Deckkraft.

Um zwischen der Bearbeitung und dem Test eines Prototyps unterscheiden zu können, wird ein Vorschau-Modus benötigt, wie er bereits in Screendesign Tools üblich ist.

Events

In den meisten Interfaces – ob auf dem Screen oder in XR – reagiert jedoch nicht nur das Objekt, mit dem interagiert wird, sondern auch andere Bestandteile. Neue Elemente werden dem Interface hinzugefügt, andere verändern sich oder lösen sich auf. Indem das Modell der direkten Interaktion und Reaktion sich auf weitere Elemente ausweitet, werden deutlich komplexere Abläufe innerhalb des Prototyps möglich. Nähert sich der Nutzer einem Objekt, erscheinen weitere Elemente, die neue Funktionen offenlegen. Virtuelle Inhalte werden dynamisch und können sich den Umständen der Umgebung anpassen.

Eine ähnliche Methode zur Erstellung dynamischer und komplexer Abläufe ist ein Eventsystem, wie es beispielsweise in Unity eingesetzt wird. Der wesentliche Unterschied zur Verkettung von Interaktion mit einem Objekt und der Auswirkung auf verschiedene weitere Objekte ist die Unabhängigkeit der Events. Events sind App-übergreifend verfügbar. Während Interaktionen mit beliebigen Elementen ein bestimmtes Event auslösen können, reagieren andere Objekte auf das Event. Diese übergreifende Struktur ist besonders effizient, wenn viele Objekte auf einzelne Interaktionen reagieren sollen, erzeugt aber eine neue Hierarchie-Ebene, die den Prototyping Workflow in XR komplexer gestaltet.

 

 

Obwohl Interaktion und Reaktion, wie auch die Umfrage bestätigt, ein wesentliches Werkzeug für XR Prototyping darstellt, bietet fast keines der derzeit angebotenen Tools eine Option für Interaktionen mit einzelnen oder mehreren Objekten. Abläufe sind damit in den meisten Fällen lediglich durch Animationen simulierbar, können jedoch keinen umfangreichen Eindruck des Mediums XR vermitteln oder für die Evaluierung von konzipierten Funktionen verwendet werden.

Wie funktionale XR Prototypen erstellt werden könnten, erforscht derzeit Minsar Studio in einer Beta-Version für XR Headsets, wie die Oculus Quest.

 

 

Innerhalb der App können Elemente mit Auslösern wie Antippen, Ansehen oder Annähern und vordefinierten Aktionen versehen werden. Durch die Verbindung von Aktionen mit Auslösern verschiedener Elemente können einfache Szenarien erstellt und im Vorschau-Modus getestet werden. Auch wenn die Möglichkeiten durch die geringe Auswahl an Aktionen und die fehlende Anpassung von Objekteigenschaften als Reaktion limitiert sind, zeigt die Anwendung eine zukunftsweisende Richtung für weitere Exploration.

UI Komponenten

Eine schnelle Option, ein User Interface zu gestalten, ist die Verwendung von vorgefertigten Komponenten. Im Screendesign ist dieses Vorgehen gängige Praxis und beschleunigt auch die Software Entwicklung, da Komponenten – zum Beispiel für Websites – Standards folgen, um unabhängig vom jeweiligen Endgerät zu funktionieren. Buttons, Texteingabefelder, Slider oder Checkboxen sind gängige UI Komponenten, die auch in XR Interfaces eingesetzt werden.

Microsoft Maquette ist eines der XR Tools mit dem größten Funktionsumfang und bietet diverse funktionale UI Komponenten an. Jede Komponente kann im Detail konfiguriert und im Vorschau-Modus getestet werden. Interaktionen sind jedoch ohne Skripte nicht nutzbar und auf das visuelle Feedback einzelner Komponenten limitiert. Das Antippen eines Buttons hat keine Auswirkung auf andere Elemente.

 

 

Auch wenn die Verwendung von UI Komponenten für die Umfrageteilnehmer ein wesentliches Werkzeug für XR Prototyping darstellt, beeinflussen vorgefertigte Komponenten und Vorlagen, wie die Verwendung im Screendesign zeigt, das Ergebnis¹¹⁴. Um die Exploration des Mediums zu erlauben und neue Ansätze für visuelle Gestaltung und Interaktion zu fördern, sind UI Komponenten als Erweiterung zu betrachten. Das gleiche und ähnliche Ergebnisse sollten auch ohne den Einsatz von Komponenten möglich sein. Die Kombination von Grundkörpern, Beschriftungen und Funktion zu eigenen Komponenten beschleunigt den Prozess, ohne kreative Grenzen zu setzen.

Logik

Die Kombination aus Event-basierten Interaktionen, UI Komponenten und Szenen würde bereits einen großen Möglichkeitsraum für XR Prototypen schaffen, der in erreichbarer Nähe scheint. Dennoch sind Szenarien denkbar, die durch ihre Komplexität mehr Flexibilität erfordern. Maquette bietet diese Flexibilität mit Scripting, aber begrenzt damit den Zugang auf Softwareentwickler.

Während Scripting die höchste Flexibilität ermöglicht, nutzen diverse Tools bereits Methoden, die sich an Programmierung anlehnen, ohne das Schreiben von Code zu verlangen. Visual Programming stellt Funktionen wie Schleifen, Bedingungen oder Variablen in Komponenten bereit, die zu logischen Abläufen verbunden werden können. Bolt¹¹⁵ ist zum Beispiel ein Editor für Unity, der Flussgrafiken mit visuellen Nodes (dt. “Knoten”) erstellen kann und damit statischen Szenen Funktion gibt.

 

¹¹⁶

 

Visual Programming würde mit den zahlreichen resultierenden Optionen zur Spezialisierung aus einem zielgerichteten Prototyping Workflow einen zeitintensiven Produkt-Entwicklungs-Prozess machen. Mit reduziertem Funktionsumfang sind Operatoren mit einfacher Logik eine denkbare Alternative zu komplexen visuellen Programmiersprachen. Grundlegende Bedingungen, wie das Erreichen eines Wertes durch einen Slider und Reaktion des Interfaces, würden die Einsatzmöglichkeiten von UI Komponenten und anderen interaktiven Elementen erheblich vergrößern.

Wie aus der Umfrage (Abb. 26) hervorgeht, wären Logikbausteine in vielen Szenarien ein hilfreiches Werkzeug, das bisher nicht vertreten ist und der weiteren Erforschung im Kontext von XR Prototyping bedarf.

Workflow Integration

Kollaboration

Die Realität zu erweitern, bezieht sich nicht nur auf die abgeschlossene Welt einzelner Personen, sondern schließt den sozialen Kontext ein. Das gilt für XR Konzepte wie auch für XR Prototyping. Eine einnehmende, soziale Erfahrung zu erschaffen, wird im direkten Austausch mit Teammitgliedern eine leichte Aufgabe.

Je nach Phase und Ausrichtung des Prototyping Prozesses, sind verschiedene Akteure direkt oder indirekt beteiligt. Dazu können unter anderen Designer, 3D-Künstler, Projektmanager oder Softwareentwickler gehören. Während viele der beteiligten Gruppen eigene spezialisierte Werkzeuge für ihre Aufgaben verwenden, bieten funktionale Prototypen einen gemeinsamen Raum für den notwendigen intensiven Austausch. Verschiedenste Perspektiven werden gesammelt und fließen in den weiteren Prototyping Prozess ein.

Diverse XR Tools bieten bereits die Möglichkeit, Meetings zu erstellen und Teilnehmer ortsunabhängig zu XR Konferenzen einzuladen. Weitere Möglichkeiten eröffnen sich durch cloudbasierte Projekte. Im Gegensatz zu einzelnen temporären Meetings wird mit permanent verfügbaren und automatisch synchronisierten Räumen auch zeitversetztes Arbeiten global ermöglicht.

 

 

Im Gegensatz zur virtuellen Kollaboration, beschränkt sich die Demonstration auf eine zwar funktionale, aber nicht durch Teilnehmer außerhalb der Grenzen des Prototyps veränderbare Testumgebung. Als eines der wesentlichen Ziele von Prototypen sollte die Präsentation und interaktive Demonstration gegenüber Teammitgliedern oder auch Nutzern fester Bestandteil des Workflows sein.

Die Relevanz der Evaluierung mit Außenstehenden wird auch durch die Umfrage bestätigt: Die Präsentation und Demonstration eines Prototyps wird von mehr als 90 Prozent der Befragten als essenziell oder häufig benötigt bewertet, während die direkte Kollaboration im virtuellen Raum von weniger als der Hälfte der Befragten als essenziell oder häufig benötigt wahrgenommen wird.

Toolchain

Die analysierten Werkzeuge und darin enthaltene Bedürfnisse innerhalb des Prototyping Prozesses ergeben eine komplexe Sammlung an Funktionen, die einem schnellen und dynamischen Vorgehen im Weg stehen würde. Da bereits eine Vielzahl spezialisierter Tools für einzelne Teile des Workflows bestehen, ist eine nahtlose Integration mit diesen deutlich effektiver, als ein einzelnes generalisiertes und sehr umfangreiches Tool einzusetzen.

 

 

Import

Digitale Tools für 3D Modellierung und Animation gibt es seit den späten 80ern¹¹⁷. Während XR mittlerweile auch Teil vieler Film- und Videospiel-Produktionen ist¹¹⁸, nutzen 3D-Künstler für die Modellierung von Artefakten und Welten weiterhin primär Desktop Tools wie 3DS Max, Blender oder Maya. Der deutliche Entwicklungsvorsprung und die gesammelte Erfahrung kann durch das Importieren von Modellen in einen Prototyp einfließen und den Workflow im Team beschleunigen. Dieses Vorgehen schließt nicht nur 3D-Modelle, sondern beliebige Medien wie Videos, Fotos, Audio oder Icons ein.

Die Übertragung von 3D-Objekten von Desktop Systemen in den XR Raum zwingt jedoch zu einem Wechsel des Mediums, der schnelle Änderungen an Modellen, wie sie im Prototyping häufig notwendig sind, ausschließt. Eine Alternative sind andere XR-basierte Tools wie Adobe Medium oder Gravity Sketch, die sich auf Modellierung fokussieren. Ohne den virtuellen Raum verlassen zu müssen, können Kreationen in verschiedenen Anwendungen der Situation entsprechend erstellt und direkt in einem Prototyp verwendet werden.

Eine Quelle, die eine breite Auswahl an Modellen bietet, sind externe Bibliotheken wie Sketchfab oder Google Poly. Auch wenn die Qualität der Modelle durch den Community-Ansatz schwankt, sind für viele Prototyping Szenarien bereits passende Elemente zu finden.

 

 

Google Blocks besitzt eine Integration für Poly, Google’s Bibliothek für 3D-Modelle. Die Modelle sind, wie der Name andeutet, im Low-Poly Style gebaut. Sie bestehen aus wenigen Polygonen und besitzen damit eine grobe Ästhetik, die Vorteile für Geräte mit geringer Rechenleistung, wie standalone XR Headsets haben. Intel verwendet Google Blocks für VR Prototyping und sieht in der geringen Auflösung der Objekte und schnellen Produktion deutliche Vorteile für die Entwicklung von XR Projekten in Projektteams.

With the new workflow, you can quickly obtain shapes closer to finished assets and provide additional direction for the development of finalized assets as a result of what you learn during interaction development¹¹⁹

Export

Wie das Beispiel von Intel zeigt, müssen einzelne Elemente nicht nur importiert, sondern auch für die Verwendung in anderen Tools exportiert werden können. Um die Übergabe der Prototyping Ergebnisse an Entwickler, 3D-Künstler und andere Teammitglieder möglichst nahtlos zu gestalten, gibt es mehrere Voraussetzungen.

Die meisten Prototypen setzen sich aus verschiedenen Elementen wie 3D-Modellen, UI Komponenten, Animationen, Beschriftungen und Szenen zusammen. Je nach Übergabeziel müssen einzelne Elemente oder auch Kombinationen daraus selektiert und exportiert werden können.

Für die Kollaboration in remote arbeitenden Teams und User Tests sind einzelne Elemente eines Prototyps aber nicht ausreichend. Ablauf und Interaktion sind wesentliche Bestandteile des Prototyps und erfordern die Weitergabe als interaktive, evaluierbare Anwendung. Anbieter wie zum Beispiel Zappar¹²⁰ ermöglichen nicht nur die Erstellung von AR Inhalten, sondern auch die einfache Verteilung der interaktiven Ergebnisse innerhalb der Zappar eigenen App für mobile Geräte. Eine ähnliche Option für XR Headsets bietete Minsar Studio, in dem interaktive Prototypen über eine App von Minsar oder über Facebook’s Spark geteilt werden können.

Das Teilen und Veröffentlichen auf Plattformen, die dem Anbieter der Prototyping Umgebung angehören, ist unkompliziert, aber meist mit Kosten verbunden. Gleichzeitig wird die Distribution mit diesem Vorgehen stark limitiert und ist von der weiteren Unterstützung des Anbieters abhängig. Noch innerhalb der Recherche für diese Arbeit haben mehrere Dienste ihre Geschäftseinstellung bekannt gegeben. Oftmals gehen mit der Aufgabe von Plattformen große Teile der Arbeitsergebnisse ihrer Nutzer verloren.

We can only consider the works we create on a computer to truly be “ours” if we can share them in the same ways you share physical tools in a workshop.¹²¹

Das Malleable Systems Collective hat sich intensiv mit der Rolle von Nutzern und Machtverteilung in Software Tools auseinandergesetzt und einen Katalog aus Prinzipien aufgestellt. Insbesondere die Forderung nach einer freien Verteilung von eigenen Kreationen zeigt die Relevanz der Unabhängigkeit von Plattformen und Anbietern, die für die Erstellung in Anspruch genommen wurden. Diese Freiheit kann mit offenen Standards und Formaten wie WebXR oder glTF erreicht werden, die nicht nur eine Plattform-unabhängige Verteilung, sondern auch Bearbeitung ermöglichen.

Fidelity

Wie sich in der Tool-Analyse zeigt, erfordern XR Prototypen je nach Zielsetzung verschiedene Methoden, Werkzeuge und Funktionen. Diese Diversität überträgt sich ebenfalls auf die Komplexität eines Prototyps. Die Fidelity beschreibt die Genauigkeit in verschiedenen Dimensionen wie der visuellen Darstellung, dem Inhalt und der Interaktivität¹²². Zwischen diesen Dimensionen gibt es eine gewisse Abhängigkeit. Ein Prototyp, der für die Evaluation räumlicher Interaktion in XR mit User Tests geeignet ist, besitzt gleichzeitig eine hohe visuelle Reife und realistische Inhalte.

Häufig eingesetzte Methoden für low-fidelity Prototyping wie Paper, Wireframes oder Zeichnungen produzieren Ergebnisse, die schnell iteriert werden können. Die grobe Ästhetik ist eine Folge der eingesetzten Werkzeuge und Ausdruck der Wandelbarkeit. Diese Übertragung von Werkzeug auf visuelle Qualität lässt sich direkt auf Prototypen in Extended Reality anwenden.

 

 

Um einen schnellen Entwurf einer XR Idee zu erstellen, bieten bereits einfache Formen und Zeichenwerkzeuge ausreichende Möglichkeiten. Die Mehrheit der befragten Designer würde Wireframes, Papier und Stift auch im virtuellen Raum für low-fidelity Prototypen einsetzen. Wireframes können im Raum auch dreidimensional sein und bereits einen Eindruck von Modellen geben, die Teil des Konzeptes sind.

Da die Einteilung von Prototypen in verschiedene Fidelity-Stufen nicht klar definiert wird, sondern sich nach dem persönlichen Verständnis richtet, nutzt die Umfrage neben low- und high-fidelity noch eine Zwischenstufe. Damit ergibt sich ein differenzierteres Bild für den Einsatz von einfarbigen und texturierten Objekten.

Abseits importierter Modelle nutzen die meisten XR Design Tools einfarbige Grundkörper für die Erstellung von 3D-Modellen. In einzelnen Tools wie Adobe Medium ist es zusätzlich möglich, die Modelle mit verschiedenen Werkzeugen zu bemalen und damit Texturen zu erschaffen.

Texturen erhöhen den Detailgrad von Körpern. Ein Modell kann aus wenigen Eckpunkten bestehen, und dennoch mit aufgemalten Mustern und angedeuteten Schatten eine realistische Wirkung besitzen. Für Medium bis high-fidelity Prototypen sind Texturen eine Methode, die mit den Ansprüchen an visuelle Qualität wächst.

Produkt vs. Prototyp

Desktop Tools zur 3D-Modellierung nutzen Materialien, die nicht nur die Oberflächenfarbe, sondern zum Beispiel auch ihre Reflexion, Struktur und Leuchtkraft bestimmt. Sie lassen sich auf mehrere Objekte anwenden und geben eine nahezu unbegrenzte Gestaltungsfreiheit. Diese Freiheit wirft die Frage auf, wann aus einem High-Fidelity Prototyp ein Produkt wird. Wenn der Prototyp bereits aussieht und funktioniert wie das angestrebte Produkt, ist er dann noch ein Prototyp?

Ein wesentlicher Unterschied findet sich in der Datengrundlage. Während ein Prototyp lediglich mit Platzhaltern und Beispiel-Inhalten gefüllt wird, basieren die meisten Produkte und Services auf individuellen Daten ihrer Nutzer. Erst durch die Personalisierung entsteht ein Mehrwert für den einzelnen Kunden und damit ein Produkt.

Damit wird auch der Umfang eines Prototyps begrenzt: Er muss lediglich so komplex sein, wie notwendig um das konkrete Konzept zu erklären und den nächsten Schritt der Produktentwicklung zu erreichen. Wo genau dieser Punkt liegt, hängt von der Zielgruppe des Prototyps ab. In einem eingespielten Team aus Designern und Software-Entwicklern kann bereits ein medium Fidelity mit klaren Beschreibungen ausreichen.

Lernkurve

Tools und Services sollten jedem die Freiheit geben, sie auf jede gewünschte Weise zu nutzen. Es sollte keine Barriere geben, die Sie von Ihrer Rolle als aktiver Teil der Tool-Entwicklung zurückhält. Die Möglichkeit, ein Tool zu gestalten und neue Technologien zu nutzen und formen, sollte nicht auf Profis beschränkt sein, sondern jedem zur Verfügung stehen.

Dieses Ideal sollte im Entwicklungsprozess neuer Tools und Dienste berücksichtigt werden, kann aber letztlich auch die Nutzbarkeit eines Dienstes und seinen Mehrwert beeinträchtigen.

Je größer die Anpassungs- und Personalisierungsmöglichkeiten eines Systems ist, desto höher ist auch der Aufwand, die notwendigen Fähigkeiten dafür zu erlernen. Ein System, das stark angepasst werden kann und seinen Benutzern ein hohes Maß an Kontrolle bietet, ist von Natur aus komplexer als ein einfaches und sehr aufgabenspezifisches System. Da es für eine Aufgabe meist mehr als ein Werkzeug oder einen Dienst gibt, wird die Lösung mit der geringsten Einstiegshürde bevorzugt.

Abstraktionslevel

Wie lassen sich die verschiedenen Ziele, Rollen, Fidelity-Level und Werkzeuge in einem einzelnen XR Tool kombinieren?

Statt eine statische Anordnung von Funktionen zu verwenden, muss ein Tool dynamisch mit den Fähigkeiten und Anforderungen eines Nutzers wachsen. Diese dynamische Struktur lässt sich in mehreren Stufen zusammenfassen, die durch das Level an Abstraktion definiert werden. Je abstrakter das Tool, desto einfacher ist es zu bedienen, aber desto weniger Gestaltungsfreiheit wird gleichzeitig geboten. Das Gegenteil ist ein sehr direktes Tool, das praktisch alle Möglichkeiten offenbart, die durch Programmierung zu erreichen wären.

1. Hohes Abstraktionslevel
   Ausgewählte generalisierte Werkzeuge stellen Grundfunktionen bereit und erleichtern den Einstieg. Tutorials erklären während der Verwendung die Funktionen des Tools. Besonders die Verwendung von Templates, UI Komponenten und fertigen Modellen beschleunigt die ersten XR Projekte.
2. Mittleres Abstraktionslevel
   Das Interface wird mit spezialisierten Werkzeugen personalisiert und richtet sich dynamisch nach dem Arbeitskontext. Neue Funktionen werden durch Plug-ins hinzugefügt. Elemente und ihre Eigenschaften wie Aussehen und Verhalten können präzise manipuliert werden. Die meisten Prototypen sind auf diesem Level effizient umsetzbar.
3. Geringes Abstraktionslevel
   Die vorhandenen Werkzeuge werden eigenständig erweitert und verändert. Auf Code-Ebene lassen sich Inhalte und Verhalten jenseits der Möglichkeiten des User-Interfaces steuern und an persönliche Anforderungen anpassen.

Die meisten für Prototyping bestimmten XR Tools bieten im Gegensatz zu vergleichbaren Desktop Anwendungen lediglich ein hohes Abstraktionslevel und begrenzen damit ihre Einsatzmöglichkeiten. Ein effizientes Prototyping Tool kombiniert die verschiedenen Level miteinander und schafft fließende Übergänge.

Diskussion

Digitale Prozesse sind bereits Teil unseres Alltags und nicht nur für digital Natives selbstverständlich. Smartphones, PCs, Wearables und IOT geben Einblick in eine globale Parallelwelt aus Informationsströmen. Während die einen versuchen mit Digital Detox nicht den Anschluss an die “reale” Welt zu verlieren, haben wir uns als Gesellschaft längst an die Vorteile der Digitalisierung gewöhnt und sind auf diese angewiesen. Ob Social Media, Job, Bildung, Dating oder Shopping: Längst findet die Digitalisierung in allen Lebensbereichen statt und erzeugt stetig neue Bedürfnisse und Herausforderungen¹²³.

Während zum Beispiel Sprachassistenten alternative Zugänge zu digitalen Services und Informationen explorieren, findet der Großteil der Interaktion mit Daten und fernen Menschen über Bildschirme statt. Pandemiebedingt fanden im Jahr 2020 die meisten meiner Gespräche mit Familie, Freunden, Kollegen und Kommilitonen via Videokonferenz in Zoom oder Facetime statt. Umso deutlicher wurde der Unterschied zwischen direkter Kommunikation von Angesicht zu Angesicht und der Lite-Version per Bildschirm. Müssen wir uns entscheiden zwischen unserer physischen Präsenz und dem Anschluss an eine global vernetzte Gesellschaft? Oder, um ein bekanntes Meme zu zitieren: Können wir nicht beides haben?

 

 

Extended Reality ist in der Lage, unsere physische und digitale Persönlichkeit zu vereinen. Es setzt den Transfer von digitalen Daten in den Raum fort und kombiniert virtuelle und physische Welten zu einer neu wahrgenommenen Realität.

Transformation

Mit dieser Entwicklung geht ein Transformationsprozess einher, der Auswirkungen auf weite Teile der Gesellschaft hat. Wie unterschiedlich diese aussehen könnten, lässt sich aus dem großen Spektrum von Szenarien und Visionen ableiten. Während Filme und Bücher fantastische Zukünfte beschreiben, haben Unternehmen bereits das marktwirtschaftliche Potenzial erkannt und arbeiten an ersten Business-Cases.

Die treibenden Kräfte der Entwicklung von XR-Hardware und Software sind heute Technologiekonzerne wie Google, Microsoft und Apple. Sie versuchen ihre bestehenden Plattformen und Ökosysteme aus Diensten, Nutzern und Entwicklern auf das neue Medium auszuweiten. Währenddessen sehen Konzerne wie Facebook und Amazon Extended Reality als Weg neue Plattformen zu erschaffen.¹²⁴

I’ve been saying for a while that augmented and virtual reality is going to be the next major computing platform[...]You know, there’s only so much you can do with apps without also shaping and improving the underlying platform.¹²⁵

Die Bereitstellung und Etablierung von Plattformen wie iOS ist ein erträgliches Geschäft, da App-Anbieter erhebliche Anteile der Einnahmen an den Plattform-Betreiber – in dem Fall Apple – abgeben müssen. Im Juni 2020 wurde Kritik von Entwicklern an der resultierenden ungleichen Machtverteilung laut und zeigt, welche Nachteile aus einer Monopolisierung der zukünftigen Bereitstellung von XR Inhalten entstehen würden.

Mit Extended Reality werden nicht nur die Vorteile der Digitalisierung in die physische Welt übertragen. Bestehende Diskussionen um Privatsphäre und Recht an persönlichen Daten werden umso wichtiger, je komplexer und eingreifender die Daten werden. Die Schlüsse, die aus erhobenen Daten der Bewegung oder persönlichen Umgebung gezogen werden können wachsen mit der technologischen Entwicklung und sind kaum absehbar. Nur durch Regulierung und Stärkung der Unabhängigkeit von Nutzern können Strukturen entstehen, die positive Effekte auf Gesellschaft und langfristig auch Wirtschaft haben.

Partizipation

Extended Reality hat das Potenzial, weit mehr als ein neues Medium für Entertainment und Konsum zu werden. Kreative Visionen setzten XR im Kontext von Nachhaltigkeit und für kollektive Vorteile ein. Von neuen ethischen Kriterien beim AR-unterstützten Einkauf bis hin zu partizipativer Stadtplanung: An Hochschulen entstehen bereits vielversprechende Ansätze und Konzepte.

Mit der Herausforderung konfrontiert, Studenten einen Weg zu präsentieren, ihre Visionen weiterzuentwickeln und zu testen, wurde mir klar, dass ein effizienter Workflow erst entstehen muss. Dieser überträgt Methoden und Werkzeuge aus UX-Design, Game-Design und -Entwicklung auf die Gestaltung immersiver Anwendungen und fördert ihre Exploration.

Prototyping kann die Hürde senken, eigene Ansätze in XR verfolgen zu können. Statt auf umfangreiche Kompetenzen in Software-Entwicklung und 3D-Modellierung angewiesen zu sein, erfordern XR Prototyping Tools lediglich ein grundsätzliches Verständnis für die jeweilige XR Hardware und Umgebung. Dieses Verständnis wird am leichtesten in praktischen Experimenten innerhalb des Mediums aufgebaut. XR Headsets sind besonders für die Erstellung von XR Inhalten und Prototypen geeignet, da sie eine freie Bewegung und Interaktion im Raum erlauben und Geräte mit anderen Interaktionsmethoden wie Smartphones und Tablets simulieren können.

In dieser Arbeit ist ein Überblick der Methoden und Funktionen entstanden, die innerhalb des Prototyping Prozesses für Extended Reality Konzepte benötigt werden. Bestehende Tools dienen als Beispiele für angewandte Methoden und zeigen wie unterschiedlich diese ausfallen können. Je nach Situation lassen sich verschiedene Anwendungen in Gestaltungsaufgaben nutzen.

Idealerweise macht diese Arbeit die Potenziale von Extended Reality deutlich und motiviert, sich mit diesen zu beschäftigen. Mit den dargestellten Designprinzipien, Prototyping Methoden und einem skizzierten Workflow sollen Menschen in die Lage versetzt werden die Welt mit Extended Reality aktiv zu formen.

Reflexion

Das Ziel der Arbeit, die Partizipation an der technologischen und sozialen Transformation durch XR zu stärken, ist nicht limitiert auf Designer oder XR Enthusiasten, sondern richtet sich an eine breite Gesellschaft. Gleichzeitig ist die Arbeit stark durch meine Perspektive als Designer und Entwickler geprägt und wendet vorrangig Methoden an, die mit einer Affinität für Digitale Medien und Design leichter zu verstehen sind. Um dieses Ungleichgewicht zu reduzieren, enthält die Arbeit Verweise an relevanten Stellen zur weiteren Einarbeitung und einen Glossar mit Fachbegriffen.

Extended Reality ist wie in der Arbeit erläutert kein rein visuelles Medium, sondern umfasst alle Sinne. Die konkrete Übertragung von Daten aus und in die physische Umgebung wird jedoch in dieser Arbeit nicht umfassend behandelt und erfordert im Kontext von XR weiter Forschung. Im Physical Computing werden Sensoren und Aktoren für produktive Anwendungen und die Exploration neuer Interaktionsmethoden eingesetzt. Diese geben Extended Reality weitere Dimensionen und Einsatzmöglichkeiten, die ich als Tutor an der Fachhochschule Potsdam mit Studenten prototypisch erforschen werde.

Ein weiterer wesentlicher Bestandteil der Thesis ist der Einsatz von Prototyping als Einstieg und Weg zu neuen XR Konzepten zu gelangen. Entgegen diesem praktischen Ansatz ist die Arbeit primär eine theoretische Sammlung von Anforderungen und Möglichkeiten. Dieses Vorgehen ist der technischen Komplexität und dem damit einhergehenden Zeitaufwand geschuldet. Im Hintergrund der Arbeit sind mehrere praktische Experimente entstanden, die neue persönliche Erkenntnisse über den Status Quo von XR ergeben haben und deren Essenz in die Arbeit eingeflossen sind. Statt sich dem Thema über einzelne Szenarien oder Projekte zu nähern, werden verschiedene Perspektiven und Optionen holistisch betrachtet. Während die praktische Nähe auf die Auseinandersetzung mit bestehenden Methoden und Tools begrenzt ist, zeigt der untersuchte Workflow welche Herausforderungen generalistische Prototyping Anwendungen mit sich bringen. Um den dargestellten Workflow zu evaluieren wird die Web-Version dieser Arbeit mit praktischen Beispielen in WebXR erweitert.

Ausblick

Innerhalb der Workflow Analyse wird klar, dass nicht nur Use Cases, Geräte oder Designsprachen für das Medium XR noch am Anfang ihrer Entwicklung stehen: Auch die Prototyping Tools, in denen neue Szenarien getestet werden sollen, entwickeln sich erst mit dem Medium und sind in keiner Weise ausgereift. Sie sind nicht vergleichbar mit etablierten UX- und UI-Design Tools wie Sketch oder Adobe XD. Dass der Workflow noch nicht in der Form auf einzelne Anwendungsfälle wie im Screen-Design optimiert ist, bedeutet auch, dass das Ergebnis diverser ausfallen kann. Neue Tools können die Vielfalt von XR Szenarien durch Exploration des Mediums weiter fördern.

Viele technologisch und gestalterisch ambitionierte Menschen treffen bereits auf Plattformen wie Twitter auf einander und tauschen eigene XR Experimente und Kreationen aus. Ob mit Code, oder ohne: Es entstehen täglich neue Visionen einer digital erweiterten Welt zwischen Dystopie und Utopie. Welche davon eintreten sollte die Gesellschaft entscheiden, die in ihr lebt.

Der Shift zu immersiven Interfaces stellt auch neue Anforderungen an Hochschulen und Bildungsangebote. Erfahrungen mit Screen-Design lassen sich nur eingeschränkt auf Extended Reality übertragen. Die Integration und Verflechtung von Informationen, Services und der individuellen Umgebung einzelner Nutzer erfordert neue Kompetenzen und Workflows. Während Themenfelder wie Game-Design und -Entwicklung durch ihre technologische Nähe zunächst einen Vorteil für die Erstellung von XR Anwendungen besitzen, entstehen auch hier neue Arbeitsmethoden, die den bestehenden Prozess von zweidimensionalen Screen-basierten Interfaces in den Raum verlagern.

Interdisziplinäre Studienangebote sind in der Lage Kompetenzen aus dem physischen und digitalen Raum zu kombinieren, um sich der digital erweiterten Realität nähern zu können. Die Zusammenführung insbesondere von Produktdesign und Interface-/ Interactiondesign erfüllt die Anforderungen an ein wesentliches Skillset für XR und stellt deren Trennung grundsätzlich in Frage. Ist noch entscheidend, ob ein Produkt materiell oder virtuell existiert, wenn die Differenz zunehmend verschwimmt?

Ich werde das Potenzial von XR weiter im akademischen und wirtschaftlichen Kontext erforschen und hoffe, dass die theoretischen und praktischen Erkenntnisse dieser Arbeit die Entwicklung innovativer XR Konzepte durch Studenten und Enthusiasten fördern.

 

Vielen Dank an die betreuenden Professoren, Kommilitonen, Teilnehmer der Umfrage, Korrekturleser und Unterstützer dieser Arbeit!

---

 

Glossar

Extended Reality (XR)

Wird als Sammelbegriff für Technologien verwendet, die Realität digital erweitern. Dazu gehören Augmented (AR), Mixed (MR) und Virtual Reality (VR). Da sich diese Technologien annähern und immer weniger klar zu unterscheiden sind, verzichtet diese Arbeit in den meisten Fällen auf eine Spezifizierung in AR, MR oder VR.

Augmented Reality (AR)

Diese Bezeichnung wird vorrangig für immersive Apps auf Smartphones oder Tablets verwendet. Über das Kamerabild des Geräts werden virtuelle Gegenstände in den physischen Raum gelegt. Entgegen verbreiteter Definitionen können digitale und reale Objekte miteinander interagieren. Durch das Display des Smartphones oder Tablets ist die Interaktion des Nutzers im digital erweiterten Raum hingegen limitiert.

Virtual Reality (VR)

Mit dem Einsatz von abgeschlossenen Brillen (Headsets) wird die Umgebung gegen eine virtuelle Welt ausgetauscht. Je nach Hardware, kann man sich in dieser frei bewegen und Hände oder Controller nutzen, um mit ihr zu interagieren.

Mixed Reality (MR)

Virtuelle Objekte werden mithilfe von MR Brillen (Headsets) in den physischen Raum integriert und interagieren mit realen Gegenständen. Der Nutzer ist in der Lage gleichzeitig mit digitalen und physischen Objekten zu interagieren.

User Interface (UI)

Schnittstelle zwischen Mensch und Maschine, die zum Beispiel eine visuelle Nutzeroberfläche darstellen kann.

User Experience (UX)

Beschreibt die umfassende Erfahrung, die ein Mensch während der Nutzung eines Services oder Produktes macht. Bedürfnisse werden identifiziert und fließen in Struktur und Umsetzung eines User Interfaces ein.

Internet of Things (IoT)

Objekte, die an digitale Netzwerke angebunden sind, bilden eine Verbindung aus physischer und digitaler Welt. Sie machen die Realität durch Sensorik erfassbar.

Fidelity

Im Kontext von Prototyping ist der Detailgrad gemeint. Dieser kann sich auf einzelne Eigenschaften wie die visuelle Qualität, die Funktion oder den Inhalt eines Prototyps beziehen, oder die allgemeine Nähe zum Produkt beschreiben.

Design Thinking

Bezeichnet verschiedene Methoden zur Entwicklung von Ideen unter Berücksichtigung von Nutzerbedürfnissen, die auf ein iteratives und agiles Vorgehen aufbauen.

Skeuomorphismus

Designrichtung, die einen alten Stil auf ein neues Medium überträgt, um den Eindruck einer gewohnten Umgebung zu erschaffen.