Login

Evaluation von Methoden zur Echtzeitmessung von Emotionen

Motivation

Emotionen spielen in nahezu allen Bereichen der Customer Journey eine entscheidende Rolle, sei es bei spontanen Impulskäufen, dauerhafter Marken- und Produktbindung oder bei der Werbung. Emotionen gelten allgemein als Relevanzdetektoren, weshalb die automatische Erkennung emotionaler Reaktionen auf Stimuli, wie beispielsweise TV-Werbung, ist zu einem Schwerpunktthema im Bereich des Affective Computing geworden. Aber welche emotionalen Reaktionen zeigen Konsumenten beispielsweise auf TV Werbung und wie lassen sich diese messen?

Obwohl sich die Wissenschaftler einig sind, dass emotionale Prozesse auf verschiedenen Ebenen ablaufen, wie z. B. subjektives Erleben, physiologische oder verhaltensbezogene-expressive Prozesse, und Messansätze für jede dieser Ebenen existieren, gibt es nur wenig Forschung, die versucht, Reaktionsmuster auf allen drei Verarbeitungsebenen zu identifizieren.

Dieses Projekt widmet sich dieser Frage, indem physiologische und verhaltensbezogene Indikatoren herangezogen werden, um die emotionalen Zustände Valenz und Arousal zu identifizieren und so die Messansätze zu evaluieren und zu vergleichen.

Methode

In experimentellen Studien wurden in für das Marketing relevanten Settings emotionale Zustände induziert, nämlich positive und negative Valenz sowie hohe und niedrige Erregung, und deren Wechselwirkung mit physiologischen Reaktionen (insbesondere Herzfrequenz) sowie Stimm- und Gesichtsausdruck gemessen.

Relevanz

Neben den Implikationen für die akademische Forschung ist dieses Projekt auch für praktische Anwendungen von Bedeutung. Emotionen sind eine der Haupttriebkräfte in vielen verschiedenen Entscheidungssituationen, bestimmen z.B. die Produkt- oder Markentreue oder sind Ursache für Mundpropaganda. Die Messansätze unterscheiden sich jedoch in Bezug auf Kosten, Anwendbarkeit und Zuverlässigkeit. In manchen Fällen können beispielsweise einfach Webcams eingesetzt werden, wie z.B. zur Ermittlung von Emotionen von Kunden bei Servicegesprächen, die über Video-Chat geführt werden. Mittlerweile können mit Webcams aber nicht nur Sprache und Video, sondern auch die Herzfrequenz gemessen werden. Allerdings ist die Herzfrequenzmessung über die Webcam derzeit noch nicht sehr genau, so dass bei der Auswahl der Messmethoden Kompromisse eingegangen werden müssen. Außerdem könnten Stimme und Videos in Situationen verwendet werden, in denen die Emotionen ganzer Gruppen analysiert werden müssen, während die Messung der Physiologie in Gruppen von Menschen sehr aufwändig und schwer zu realisieren sein könnte. In anderen Situationen stehen möglicherweise keine Video- und Sprachdaten zur Verfügung, sondern nur physiologische Messungen, z. B. bei medizinischen Anwendungen.

In diesem Projekt geben wir Antwort auf die Frage, mit welchen Methoden verschiedene emotionale Reaktionen am besten gemessen werden können, und wie diese im Marketingkontext eingesetzt werden können.

Partner

Prof. Dr. Jella Pfeiffer, Universität Gießen

Prof. Dr. Klaus Scherer, Universität Genf

audEERING GmbH

Publikationen

Publikation in Vorbereitung

Verwandte Projekte

Was die Stimme verrät: Emotionen und der soziale Austausch von Erfahrungen

Verwandte Publikationen

Seuss, D., Hassan, T., Dieckmann, A., Unfried, M., Scherer, K. R., Mortillaro, M., Garbas, J., (2021), Automatic Estimation of Action Unit Intensities and Inference of Emotional Appraisals, IEEE Transactions on Affective Computing.

Scherer, K. R., Mortillaro, M.,  Dieckmann, A., Unfried M. & Ellgring, H., (2021), Investigating appraisal-driven facial expression and inference in emotion communication, Emotion, 21(1), 73-95.

Dieckmann, A., & Unfried, M. (2020). Thrilled or Upset: What Drives People to Share and Review Product Experiences?, NIM Marketing Intelligence Review, 12(2), 56-61.

Seuss, D., Dieckmann, A., Hassan, T., Garbas, J.U., Ellgring, J.H., Mortillaro, M., & Scherer, K. (2019). Emotion expression from different angles: A video database for facial expressions of actors shot by a camera array. Proceedings of the 8th International Conference on Affective Computing and Intelligent Interaction (ACII 2019) (pp. 35-41). Cambridge, United Kingdom.

Scherer, K. R., Ellgring, H., Dieckmann, A., Unfried, M., & Mortillaro, M. (2019). Dynamic facial expression of emotion and observer inference. Frontiers in Psychology, 10, 508.
Dieckmann, A., Unfried, M., Garbas, J., & Mortillaro, M. (2017). Automatic analysis of facial expressions in an advertising test with Chinese respondents. GfK Verein Working Paper Series, 5.

Eyben, F., Unfried, M., Hagerer, G., & Schuller, B. (2017). Automatic multi-lingual arousal detection from voice applied to real product testing applications. Proceedings of the 42nd IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP, New Orleans, LA, USA.

Garbas, J. U., Ruf, T., Unfried, M., & Dieckmann, A. (2013). Towards robust real-time valence recognition from facial expressions for market research applications. Proceedings of the Humaine Association Conference on Affective Computing and Intelligent Interaction, 570-575.