Maschinelle Emotionserkennung in der Mensch-Maschine Interaktion

Abstract

Zukünftige technische Systeme werden in Form von Companion-Systemen realisiert sein. Diese können sich hoch adaptiv auf individuelle Bedürfnisse und Befindlichkeiten ihrer Nutzer anpassen und gehen so in ihrem Bedienkomfort weit über die Fähigkeiten gegenwärtiger smarter Technologien hinaus. Zur Realisierung solcher Funktionen werden Companion-Systeme, neben anderen Komponenten, mit einer Vielzahl von Sensoren ausgestattet sein, welche es erlauben den Nutzer multimodal in Sprache, Gestik, Mimik und Biophysiologie zu erfassen. Ein Companion-System ist so in der Lage den emotionalen Zustand seiner Nutzer zu bewerten. Da emotionales Verhalten sehr komplex ist, werden hierfür Verfahren der Mustererkennung und des maschinellen Lernens eingesetzt um multimodale Sensordaten auf emotionale Kategorien und Intensitäten abzubilden. Diese Verfahren Lernen dabei anhand von umfangreichen Trainingsdaten. Die Arbeit beschreibt zunächst Eigenschaften, welche diese Daten erfüllen müssen, um zum Training von multimodalen Klassifikatoren geeignet zu sein. Mit dem uulmMAC wird ein multimodaler Korpus vorgestellt, welcher die notwendigen Eigenschaften erfüllt. Der uulmMAC verwendet dabei neben klassischen kontinuierlichen Emotionsmodellen exemplarisch Mensch-Maschine-Interaktionstypische Elemente wie mentale Über- und Unterforderung oder Frustration. Da solch umfangreiche Datenbasen bisher nur unter enormem Aufwand manuell annotiert werden können, werden multimodale Ansätze des aktiven Lernens vorgeschlagen, um eine effiziente Annotation unter Verwendung des Annotationswerkzeuges ATLAS zu ermöglichen. ATLAS begleitet den Prozess der Entwicklung emotionserkennender Komponenten der Companion-Technologie bei der Annotation, aber auch bereits beim explorativen Traingsdatenentwurf sowie, dem Klassifikatorentwurf, der Evaluation und dem prototypischen Systementwurf. Aufbauend auf dem annotierten uulmMAC werden multimodale Klassifikationsverfahren vorgestellt und evaluiert, welche es ermöglichen den mentalen Belastungszustand eines Nutzers zu erfassen. Diese werden abschließend in prototypische Companion-Systemen eingesetzt, und auf ihre reale Anwendungsfähigkeit hin bewertet. Dabei kommt die, bereits zur sensorischen Datenerfassung des uulmMAC, vorgeschlagene MAR2S Architektur erneut zum Einsatz, um einen vollständig modularen Aufbau der Prototypen zu erlauben.