Advancing understanding and assessment of learner-state characteristics associated with complex cognitive skill acquisition during learning with serious games

Abstract

Serious games, as one type of multimedia learning environments, are widely assumed to foster the acquisition of complex cognitive skills. However, while the potential of serious games is well founded in theory, empirical evidence for this claim is scattered. One reason for this can be seen in the application of largely inadequate assessments relating to complex cognitive skill acquisition. Secondly, learner-state characteristics (such as learner engagement and learning-centred emotions) during learning can affect learning outcomes in serious games. The interrelations between learner-state characteristics, however, have largely been neglected in research so far. This lack of research can partly be explained by the difficulties of assessing learner-state characteristics during learning. This thesis addresses these shortcomings in three empirical studies. The first study introduces an assessment focused on complex cognitive skill acquisition, based on measuring the development of learners’ mental models. Moreover, two components of learner engagement are tested in relation to the development of mental models, using a learning analytics approach as an online assessment. Self-monitoring (pertaining to the component of cognitive-behavioural engagement) was found to be the only significant positive predictor for the accuracy of mental models after a game. Based on this finding, the second study considers the interrelations between self-monitoring and the learning-centred emotions of enjoyment, boredom and frustration. The results reveal, firstly, that during learning with serious games, diverging temporal relations exist between self-monitoring and these different emotions. Secondly, boredom was found to have a direct negative effect on development of mental models after learning with serious games, whereas an indirect negative effect of frustration was detected via self-monitoring. The results of the second study also point to the issue of continuous emotion assessment during learning. The third study, therefore, investigates the potential for bodily expression to be used as a non-invasive online assessment tool to gauge learning-centred emotions during learning with serious games. Using a depth-image sensor, head posture, activity and upper-body posture parameters could be identified as indicators of enjoyment, boredom and frustration. In conclusion, this thesis not only provides deeper insights into how the learner-state characteristics of learner engagement and learning-centred emotions interrelate to affect acquisition of complex cognitive skills through serious games; it also extends the methodological toolkit that could be utilized in future research to investigate learner characteristics “as they occur” during learning with serious games and in other multimedia learning environments.

Serious Games, als multimedialen Lernumgebungen, wird das Potential zugeschrieben, Lernende bei der Aneignung komplexer kognitiver Fertigkeiten zu unterstützen. Die empirische Befundlage stützt diese Annahme bislang jedoch nur teilweise. Ursachen hierfür werden zum einen in der oftmals inadäquaten Erfassung komplexer kognitiver Fertigkeiten gesehen. Zum zweiten können Lerner-Charakteristika während des Lernens mit Serious Games (wie Lerner-Engagement und lernbezogene Emotionen) erheblichen Einfluss auf das Lernresultat nehmen. Deren Zusammenwirken ist bislang jedoch noch unzureichend erforscht, wofür wiederum die hohen Anforderungen an die Erfassung solcher Charakteristika im Lernverlauf mitverantwortlich gemacht werden. Diese Dissertation widmet sich daher in drei empirischen Studien der Erfassung sowie der komplexen Wirkbeziehungen von Lerner-Engagement, lernbezogenen Emotionen und dem Erlernen komplexer kognitiver Fertigkeiten. In der ersten Studie wird zunächst die Erfassung komplexer kognitiver Fertigkeiten im Bereich Finanzkompetenz mittels mentaler Modelle vorgestellt. Darüber hinaus werden unterschiedliche Komponenten von Lerner-Engagement über Learning-Analytics Techniken während des Lernens mit einem Serious Game erfasst und in Hinblick auf die mentale Modellentwicklung untersucht. Die Ergebnisse zeigen, dass lediglich das zur Komponente des kognitiv-behavioralen Engagements gehörende Self-Monitoring ein signifikanter positiver Prädiktor für die Genauigkeit des mentalen Modells nach dem Spielen ist. Darauf aufbauend widmet sich die zweite Studie den Wirkbeziehungen zwischen Self-Monitoring und den lernbezogenen Emotionen Freude, Langeweile und Frustration im Lernverlauf. Hier zeigen sich zum einen unterschiedliche Dynamiken in den Beziehungen zwischen Self-Monitoring und den verschiedenen Emotionen. Zum zweiten können ein direkter negativer Effekt von Langeweile und ein indirekter negativer Effekt von Frustration (via Self-Monitoring) auf die mentale Modellentwicklung beobachtet werden. Die dritte Studie befasst sich schließlich mit der Problematik der kontinuierlichen Erfassung lernbezogener Emotionen im Lernverlauf. Unter Verwendung eines Tiefensensors wurde der Körperausdruck der Lernenden erfasst und mit selbst-berichteter Emotion während des Lernens mit dem Serious Game in Beziehung gesetzt. Dabei konnten Parameter der Kopfhaltung bzw. -bewegung sowie der Oberkörperhaltung als Indikatoren für Freude, Langeweile und Frustration identifiziert werden. Zusammenfassend tragen die Ergebnisse dieser Dissertation nicht nur zum Verständnis von Lerner-Charakteristika im Lernverlauf in Serious Games bei. Darüber hinaus werden auch Ansätze zur Erfassung dieser Charakteristika aufgezeigt, die künftige Erforschung in diesem Bereich erleichtern kann.