Anwendungsübergreifende Dialoge durch Wissensbasen und Taskmodelle

Abstract

Elektronische Geräte sind zunehmend allgegenwärtig und beinhalten diverse Funktionen mit verschiedenen Anwendungen. Benutzern sind diese Funktionen oftmals so wichtig, dass sie diese selbst durchführen, wenn sie von anderen Aufgaben, wie dem Führen eines Fahrzeugs, abgelenkt werden. Eine Sprachbedienung kann die Ablenkung signifikant reduzieren. Jedoch stellt sich die Frage, wie Nutzer im Fahrzeug anwendungsübergreifende Aufgaben mit einem Sprachdialogsystem ausführen. Speziell der Anwendungswechsel birgt im nutzer-geführten Dialog die Gefahr von sprachlichen Äußerungen, die durch die Systemfunktionalität nicht abgedeckt sind. Um Nutzer dennoch zum Aufgabenerfolg zu führen, müssen Dialogsysteme Fehlerbehandlungsstrategien umsetzen. Der Einsatz solcher Strategien in anwendungsübergreifenden Dialogen und deren Nutzung im Fahrzeug, wurde jedoch bisher wenig untersucht. Daher werden in dieser Arbeit Fahrer im Fahrsimulator mit anwendungsübergreifenden Aufgaben konfrontiert. Die Analyse zeigte kein Bewusstsein für eine Anwendungstrennung und ein subjektives Ablenkungspotential durch nicht-erfolgreiche Anwendungswechsel. Iterativ wurden multimodale Hilfestrategien entwickelt, um die Ablenkung zu minimieren und Gebrauchstauglichkeit sowie Aufgabenerfolg zu maximieren. Zwei Nutzerstudien zeigten, dass bei nicht-eindeutigen Anwendungswechseln Nutzer die Möglichkeit haben sollten, die gesuchte Anwendung sprachlich, aus möglichst wenigen Alternativen, auszuwählen. Auf Basis der Studienergebnisse ließ sich die Anforderung, eine konsistente Interaktion über Anwendungen hinweg mit Parameterübergabe sowie Vorhersage der nächsten möglichen Anwendungen, definieren.

Daraufhin wurde untersucht, wie ein Dialogsystem mit mehreren dynamisch verfügbaren Anwendungen umzusetzen ist. Für Software- und grafische Bedienschnittstellenentwicklung zeigen modellgetriebene Prozesse Erfolg, die jedoch bisher für die Modalität Sprache nur sekundär betrachtet wurden. In dieser Arbeit wurde daher ein Konzept auf Basis von Taskmodellen (ConcurTaskTrees) und einer lexikalisch-semantischen Wissensbasis entwickelt (Princeton WordNet). Die Taskmodelle definieren hierbei das Interaktionsschema und die Wissensbasis die Bedeutung von Parametern für Tasks, wodurch anwendungsübergreifende Dialoge möglich werden. Eine Implementierung und Evaluation anhand des Korpus der Dialog State Tracking Challenge, zeigte die Machbarkeit sowie Vorteile bezüglich der Interpretation eindeutig bestimmbarer Objekte und Nachteile hinsichtlich mehrdeutiger Eingaben, wie zum Beispiel Zahlenwerte.

Consumer electronics devices are more and more ubiquitous and provide multiple functions and applications. For users these functions are often so important that they want to use them during other tasks, e.g. while driving a car, regardless of a potential distraction. Speech control can reduce distraction issues. This leads to the question, how people will manage tasks containing multiple applications with a speech dialogue system during a primary driving task. Application switching is particularly interesting, as in a user-driven dialog utterances may be spoken, which are not covered by the system's functionality. In this case dialogue systems need to apply error recovery strategies to ensure task success. Error recovery strategies in multi-application dialogues and their integration into the car have not been considered yet. For this work users were faced with multi-application dialogues during a primary driving simulator task. The results did not show any awareness of using different applications. Furthermore, unsuccessful application switching showed an increase in the subjective distraction. In an iterative process multi-modal error recovery strategies were developed to minimize driver distraction, increase usability, and maximize task success. Two user studies showed that users need the possibility to select applications by speech in case of ambiguous application switching. Thereby the number of choices needs to be minimized. Based on the results of the user studies, requirements were defined to enable a consistent interaction across multiple applications with parameter exchange and prediction of the next probable application.

For the second part of this work it was analyzed, how to implement a spoken dialogue system with multiple dynamically available applications. For the development of software and graphical user interfaces, model-driven processes are often used successfully. However, for spoken dialogue systems they are considered rarely. In this work a concept based on task models (ConcurTaskTrees) in combination with a lexical-semantic knowledge base (Princeton WordNet) was developed. The task model defines the interaction pattern while the knowledge base describes the task parameters. This enables consistent dialogues over different applications with parameter exchange. An implementation showed the feasibility. In the evaluation (with the corpus of the Dialog State Tracking Challenge) advantages for distinct objects and disadvantages for unambiguous inputs, such as numbers, were identified.