In Millionen von Jahren hat die Evolution den menschlichen Körper und unser Gehirn so geformt, dass wir in der physischen Welt wahrnehmen, handeln und denken können. Um Nahrung zu ertasten, zu verarbeiten und zu beurteilen – eine Überlebensnotwendigkeit –, spielten Hände und Lippen eine Schlüsselrolle in der taktilen Wahrnehmung. Trotz ihrer geringen physischen Größe befindet sich auf unseren Lippen und Fingerspitzen die höchste Dichte an Rezeptoren. Folglich ist auch der Anteil des Gehirns, der dem Tastsinn gewidmet ist, relativ groß. Nehmen wir als Gedankenspiel einmal an, dass die Relevanz der einzelnen menschlichen Sinne für das Handeln in der physischen Welt den für die Verarbeitung zuständigen Anteilen am Gehirn entspricht und dass wir diese Anteile auf eine intuitiv verständliche Weise visualisieren könnten. Darf ich vorstellen? Penfields Homunkulus – eine deformierte menschliche Gestalt, bei der die Größe der Körperteile so verändert ist, dass sie diesen Proportionen entspricht (Box 1 und Abb. 1). Die Evolution hat uns gut auf die physische Welt vorbereitet – aber gilt das auch für das Metaverse?

Mit der zunehmenden Verfügbarkeit von Virtual-Reality-Geräten auf Konsumentenmärkten werden sich wohl immer mehr Menschen regelmäßig in virtuellen Welten bewegen. Derzeit bieten virtuelle Umgebungen jedoch nur für einen kleinen Teil des menschlichen Wahrnehmungsspektrums eine sensorische Stimulation. Die heute angebotenen virtuellen Erfahrungen sind überwiegend visuell. Im besten Fall werden sie durch akustische Ergänzungen aufgewertet. Es gibt jedoch keine systematisch angebotenen olfaktorischen oder gustatorischen und kaum taktile oder kinästhetische Stimuli. Würden wir einen Homunkulus entwerfen, der die für das derzeitige Metaverse erforderlichen Anpassungen abbildet, wäre er deutlich anders als Penfields Homunkulus. Tatsächlich könnte unser „Homunculus Metaversensis“ für die virtuelle Realität so aussehen wie in Abbildung 2 dargestellt. Werfen wir nun einen genaueren Blick auf den aktuellen „sensorischen“ Stand des Metaverse und die Technologien, die unsere Sinne in virtuellen Umgebungen stimulieren.

Während die unmittelbare Wahrnehmung taktiler Reize und der eigenen Körperhaltung für unser Handeln in der realen Welt unerlässlich ist, sind es die visuelle und die auditive Wahrnehmung, die unsere Informationsgesellschaft vorantreiben. Es ist daher nicht verwunderlich, dass sich die Medientechnologie im Rahmen der Kommunikationsmedien bislang darauf konzentriert hat, Reize an unsere visuellen und auditiven Systeme zu liefern. Virtual- und Augmented-Reality-Technologien, z. B. Head-Mounted Displays wie das Varjo XR-3 oder das Valve Index, die häufig visuelle und auditive Darstellungsformen verbinden, sind Grundpfeiler des Metaverse und werden ihre Erfolgsgeschichte fortsetzen. Fortschritte in der Computertechnologie, insbesondere bei Grafikprozessoren, und die fortschrittlichen Anzeigetechnologien in den hochmodernen Head-Mounted Displays ermöglichen es uns, fotorealistische digitale Welten in Auflösungen zu erleben, bei denen das menschliche Auge einzelne Pixel nicht mehr unterscheiden kann.

Der grundlegende Unterschied zwischen virtueller und erweiterter Realität und anderen Medien ist, dass Menschen sowohl sensorisch als auch motorisch in die digital erzeugte Welt eintauchen. Verschiedene Tracking-Technologien ermöglichen es uns, die Bewegungen unseres Kopfes und unserer Hände in Bewegungen in der digitalen Welt umzusetzen. Es sind nicht mehr wir, die digitale Informationen auf einem begrenzten physischen 2D-Bildschirm bewegen, sondern wir bewegen uns selbst in digitalen Informationen, und die digitalen Informationen reagieren auf unsere direkten Aktionen. Stellen Sie sich ein Ehepaar vor, das einen Architekten aufsucht, um den ersten Entwurf für sein neues Haus zu begutachten. Überlegen Sie, wie die beiden versuchen, mit einem CAD-Programm auf dem 2D-Bildschirm eines Grafikarbeitsplatzes durch ein 3D-Modell zu navigieren, oder alternativ in der virtuellen Realität durch ein lebensgroßes 3D-Modell des Hauses gehen. Die zweite Variante ist sicher einfacher in der Navigation. Darüber hinaus wird es dem Paar leichter fallen, vorgeschlagene Lösungen zu erkennen und Schlussfolgerungen zu ziehen. Sie können das Erlebnis mit ihrem Körper als bekanntem Bezugsrahmen in Verbindung bringen, und es wird für sie einfacher, ihre Ideen und Erwartungen auszudrücken. Wenn man prinzipiell versteht, wie Virtual-Reality-Technologien einsetzbar sind, kann man Interaktionen mit virtuellen digitalen Inhalten einfacher und qualitätsvoller gestalten als mit herkömmlichen digitalen Medien.

Die großen Hände des Homunkulus verraten uns, dass taktiles Feedback sehr wichtig ist. Folglich ist die Forschung auf dem Gebiet der Haptik und der taktilen Stimulation viel aktiver als im Bereich der olfaktorischen oder gustatorischen Stimulation. Die künstliche taktile Stimulation für die Hände ist an sich recht einfach, steht aber vor mehreren Problemen: Die Haut zu stimulieren, um die Oberflächenstrukturen eines Möbelstücks zu erkunden oder den Reifegrad einer Frucht zu beurteilen, indem wir sie mit den Fingern umfassen, erfordert eine gewisse Kraftentwicklung, während die Finger gegen die Oberfläche drücken. Die künstliche Erzeugung von Kräften ist jedoch in alltäglichen Anwendungsfällen nur schwer realisierbar. Fortgeschrittene Lösungen erfordern komplexe Exoskelette und werden z. B. für Teleoperationen von Robotern im Weltraum erforscht – was schon einiges über ihren Preis und die Rentabilität solcher Investitionen verrät. Es gibt ein paar erschwingliche taktile Lösungen für den Konsumentenmarkt wie „taktile Westen“. Sieht man sich jedoch die Marketingunterlagen der Hersteller an, erkennt man, dass diese offenbar weniger neue soziale Interaktionen wie Telehugging im Kopf haben, sondern sich eher auf gewalttätigere Begegnungen konzentrieren. Das neu veröffentlichte System der PlayStation VR2 von Sony bietet zumindest haptisches Feedback im Headset sowie an den Controllern und am Trigger.

Im Film „Matrix“ beschließt die Figur Cypher, die Realität und seine Freunde zu verraten, um mit den folgenden Worten in der Matrix zu bleiben: „Ich weiß, dass dieses Steak nicht existiert. Ich weiß, dass, wenn ich es in meinen Mund stecke, die Matrix meinem Gehirn sagt, dass es saftig ist und ganz köstlich. [...] Unwissenheit ist ein Segen!“ Bei unserem derzeitigen Entwicklungsstand würde Cypher wohl bei seinen Kumpels in der physischen Welt bleiben. Die sogenannten TasteDisplay-Technologien sind eher unbeholfene Geräte, die beispielsweise physiologische Effekte wie die galvanische Geschmacksstimulation oder chemische Substanzen nutzen, um unseren Geschmackssensoren Reaktionen auf grundlegende Geschmacksrichtungen zu entlocken. Ein frühes Gerät namens Food Simulator etwa wurde speziell entwickelt, um eine haptische Schnittstelle für die Simulation eines Bissgefühls zu schaffen. Die Forscher bezeichneten Geschmack als „letzte Bastion“ der virtuellen Realität und stellten ihr System auf einer Virtual-RealityKonferenz im Jahr 2003 vor. Das Gerät war ein komplexes mechanisches Konstrukt; die Benutzer mussten es in den Mund nehmen, um das Gefühl zu erleben, auf einen Käsecracker zu beißen. Dabei wurden das sanfte Eindringen in den weichen Käse, der Kontakt mit der harten Kruste des Crackers und der dafür nötige festere Biss simuliert, bis der Cracker in einem plötzlichen und befriedigenden Moment zerbrach und sich die Spannung auflöste. In Kombination mit diesem System lieferte eine Injektionspumpe eine Mischung an chemischen Substanzen zur Stimulierung von Grundgeschmacksrichtungen wie süß oder umami und versuchte so, das sensorische Empfinden umfassend abzubilden und ein ganz besonderes Erlebnis zu gewährleisten. Zwar gibt es inzwischen weitere technologische Ansätze, doch auch zwanzig Jahre später sind diese noch weit entfernt von der Wiedergabequalität der verfügbaren Allzweck-Displays, die es für den visuellen oder auditiven Bereich gibt.

Die gute Nachricht ist, dass wir uns recht schnell dem Metaverse anpassen werden. Die Abbildung von Gehirnfunktionen, die in der physischen Welt und für sie entwickelt wurden, kann sich dem neuen sensorischen Angebot des Metaverse anpassen. Lanier, einer der VR-Pioniere der 1980er Jahre, zitiert in diesem Zusammenhang frühe Untersuchungen, die Menschen als Avatare mit den seltsamsten Körpern in die virtuelle Realität eintauchen ließen. Zur großen Überraschung der Forscher waren die Menschen in der Lage, sich schnell an neue Körperschemata zu gewöhnen, und konnten z. B. problemlos wie ein Hummer durch virtuelle Welten laufen. Die Vorstellung eines anpassungsfähigen Homunkulus und neuronaler Plastizität – der Fähigkeit des Gehirns, seine Verbindungen zu verändern und sich neu zu vernetzen – ist beruhigend, wirft aber auch so manche Frage auf. Beruhigend, weil die Flexibilität dem Menschen hilft, Unzulänglichkeiten oder Macken von Interaktionstechnologien zu überwinden, so wie es Menschen auch in der realen Welt schaffen, mit dem Verlust von Gliedmaßen oder Sinnen umzugehen. Sie werden schnell lernen, ihre Handlungen den technologisch gebotenen Möglichkeiten anzupassen. Vorausgesetzt, die Designer der MenschComputer-Interaktion machen ihre Arbeit richtig, wird die Technologie selbst bald in den Hintergrund des Bewusstseins treten. Aber können wir es uns auf Dauer leisten, uns so stark auf Bild und Ton zu konzentrieren? Wäre Augmented Reality beim aktuellen Stand der Technik nicht eine bessere Option?

Virtuelle Realität ist ein hochinteressantes Medium für viele Branchen. Die größten Vorteile ergeben sich, wenn die Produkte oder Dienstleistungen in der physischen Welt existieren und visuell überprüft und erkundet werden können. Wo Produkte traditionell in Schauräumen oder Geschäften verkauft wurden, wird Virtual Reality ein wichtiger Baustein in der digitalen Transformation der Customer Journey sein. Wenn die Entscheidungen der Konsumenten jedoch auch von anderen Sinnen abhängen, bietet sich Augmented Reality (AR) als praktikable Alternative an. AR funktioniert in Kombination mit den physischen Objekten, sodass keine Ersatzsimulation von Geschmack, Geruch oder Berührung erforderlich ist. Wenn es der Geruch des Innenraums eines neuen Autos oder der von frischem Obst und Gemüse ist, der die Konsumenten letztendlich zu einem Kauf bewegt, dann ist AR heute die bessere Wahl. Auch aus der Sicht unseres sensorischen Homunkulus gibt es eine klare Präferenz: Den Geruch und die Berührung einer saftigen Orange mit visuellen Informationen über die Nachhaltigkeit ihrer Lieferkette auf einem AR-Gerät zu ergänzen, entspricht dem entwickelten menschlichen Sensorium und seiner Neugier einfach eher. Virtual Reality ist also noch nicht wirklich bereit für alle unsere Sinne. Vielleicht wird die Forschung uns aber irgendwann die noch fehlenden bahnbrechenden Technologien liefern können. Derzeit scheinen jedoch Mixed-Reality-Anwendungen, die physische und digitale Erfahrungen kombinieren, die bessere Wahl, um anspruchsvollere sensorische Erwartungen zu erfüllen.

Lanier, J. (2006). Homuncular Flexibility. What is your dangerous idea? Edge. www.edge.org/response-detail/11182

Iwata, H., Yano, H., Uemura, T., & Moriya, T. (2003). Food Simulator. ICAT 2003. icat.vrsj.org/papers/2003/00876_00000.pdf