From driver to supervisor: cognitive implications of increasing vehicle automation

Abstract

The progress in vehicle automation promises to revolutionise transportation by decreasing human error, enhancing driving safety and efficiency, and improving user experience. However, until fully autonomous vehicles are available, human operators will remain involved in operating semi-automated vehicles. Nevertheless, semi-automated vehicles progressively control more active tasks, and human drivers primarily serve a supervisory role. The new, passive role poses different demands and challenges than manual driving.

This thesis presents four studies which explore three closely related cognitive states and processes: mental workload, attentional resources allocation, and fatigue. These concepts are inherently intertwined, dynamically affecting each other. The four presented studies were conducted both in a driving simulator and on a test track, and drivers' brain activity was recorded using electroencephalography (EEG). Mental workload, fatigue, and attentional resources allocation were assessed across manual, SAE Level 2 (L2), and SAE Level 3 (L3) automated driving. Event-related potentials (ERPs) were the primary objective method for assessing drivers' cognition. The P3a ERP component evoked by a passive auditory oddball task was used to evaluate drivers' objective mental workload and attentional resources allocation. Moreover, self-reported and performance-based measures were used to understand how vehicle automation influences drivers' cognition. Study I proposed a method to improve joint driver-vehicle performance when operating an L3 vehicle. Study II addressed mental workload, attention allocation, and fatigue in manual, L2, and L3 driving using a prototype automated vehicle on a test track. Study III was a replication of Study II in a simulated environment. Study IV used the neuroergonomic approach to evaluate the cognitive implications of mental workload manipulation in simulated manual driving.

The results from both simulated and realistic environments suggest that manual and L2 driving were perceived similarly regarding subjective mental workload, while L3 driving was perceived as less demanding. Moreover, drivers reported more fatigue in L3 driving. The results on the attentional resources allocation, closely related to objective mental workload, were inconsistent across the environments. In a real vehicle on the test track, drivers allocated more attentional resources to process environmental stimuli when driving manually than during L2 and L3 driving. However, there was no difference in attentional resources allocation between manual, L2, and L3 driving in the driving simulator. These findings suggest that while the P3a ERP component evoked by the passive auditory oddball task was influenced by the mental workload of the primary task, this relationship might not be direct and exclusive. Other factors, such as top-down attention control, perception of risk, or environmental complexity, may play a significant role, especially in underloading scenarios which do not induce competition for the limited pool of cognitive resources.

These findings have implications for the design of safe and user-centred automated vehicles. These vehicles must be designed for drivers who experience mental underload, passive fatigue, and pay less attention to their environment. Automated vehicles should employ driver monitoring systems that continuously assess drivers' cognitive states. Based on the driver monitoring data, the automated system should dynamically adapt to drivers' current needs, manage their attention, and support them in their new role. This is especially important for L3 vehicles. This thesis advocates for a holistic approach to evaluating cognitive states, combining various measures (self-report, performance-based, and psychophysiological measures) and prioritizing real-world testing over driving simulators, as the simulator findings might have limited real-world applicability.Der Fortschritt in der Fahrzeugautomatisierung verspricht, die Mobilität durch die Verringerung menschlicher Fehler zu revolutionieren, die Fahrsicherheit und Effizienz zu steigern, und das Benutzererlebnis zu verbessern. Jedoch werden, bis vollständig autonome Fahrzeuge verfügbar sind, menschliche Fahrer weiterhin an der Steuerung und Überwachung teilautomatisierter Fahrzeuge beteiligt sein. Dennoch übernehmen teilautomatisierte Fahrzeuge zunehmend mehr Fahraufgaben, während menschliche Fahrer primär eine überwachende Rolle einnehmen. Aus der neuen, passiven Rolle des menschlichen Fahrers ergeben sich im Vergleich zum manuellen Fahren neue Anforderungen und Herausforderungen.

Diese Dissertation präsentiert vier Studien, die drei eng miteinander verbundene kognitive Zustände und Prozesse untersuchen: mentale Arbeitsbelastung, Zuweisung von Aufmerksamkeitsressourcen, und Ermüdung. Diese Konzepte sind inhärent miteinander verknüpft und beeinflussen sich gegenseitig dynamisch. Die vier vorgestellten Studien wurden sowohl in einem Fahrsimulator als auch auf einer Teststrecke durchgeführt, wobei die Gehirnaktivität der Fahrer mittels Elektroenzephalographie (EEG) aufgezeichnet wurde. Mentale Arbeitsbelastung, die Zuweisung von Aufmerksamkeitsressourcen, und Ermüdung wurden im manuellen Fahren, SAE-Level 2 (L2) und SAE-Level 3 (L3) automatisiertem Fahren bewertet. Ereigniskorrelierte Potenziale (ERPs) waren die primäre objektive Methode zur Beurteilung der kognitiven Prozesse der Fahrer. Die P3a-ERP-Komponente, hervorgerufen durch eine passive akustische Oddball-Aufgabe, wurde verwendet, um die objektive mentale Arbeitsbelastung und die Zuweisung von Aufmerksamkeitsressourcen der Fahrer zu evaluieren. Darüber hinaus wurden selbstberichtete und leistungsbasierte Maße verwendet, um zu verstehen, wie die Fahrzeugautomatisierung die Kognition der Fahrer beeinflusst. Studie I untersuchte eine Methode zur Verbesserung der gemeinsamen Leistung von Fahrer und Fahrzeug bei der Bedienung eines L3-Fahrzeugs. Studie II befasste sich mit mentaler Arbeitsbelastung, Aufmerksamkeitszuweisung und Ermüdung beim manuellen, L2- und L3-Fahren unter Verwendung eines Prototyps eines automatisierten Fahrzeugs auf einer Teststrecke. Studie III war eine Replikation von Studie II in einer simulierten Umgebung. Studie IV verwendete den neuroergonomischen Ansatz, um die kognitiven Implikationen der Manipulation der mentalen Arbeitsbelastung beim simulierten manuellen Fahren zu bewerten.

Die Ergebnisse aus simulierten und realistischen Umgebungen legen nahe, dass manuelles und L2-Fahren hinsichtlich der subjektiven mentalen Arbeitsbelastung ähnlich wahrgenommen wurden, während L3-Fahren als weniger anspruchsvoll empfunden wurde. Darüber hinaus zeigten die Fahrer mehr Ermüdung beim L3-Fahren. Die Ergebnisse zur Zuweisung von Aufmerksamkeitsressourcen, die eng mit der objektiven mentalen Arbeitsbelastung korreliert sind, waren in den verschiedenen Umgebungen inkonsistent. In einem Fahrzeug auf der realen Teststrecke wiesen die Fahrer mehr Aufmerksamkeitsressourcen zur Verarbeitung von Umweltreizen beim manuellen Fahren auf als während des L2- und L3-Fahrens. Im Fahrsimulator hingegen gab es keinen Unterschied in der Zuweisung von Aufmerksamkeitsressourcen zwischen manuellem, L2- und L3-Fahren. Diese Befunde legen nahe, dass während die P3a-ERP-Komponente, hervorgerufen durch die passive akustische Oddball-Aufgabe, durch die mentale Arbeitsbelastung der Hauptaufgabe beeinflusst wurde, dieser Zusammenhang under Umständen nicht direkt und exklusiv ist. Andere Faktoren, wie die Top-Down Kontrolle der Aufmerksamkeit, die Wahrnehmung von Risiken oder die Umweltkomplexität, können insbesondere in Szenarien der mentalen Unterforderung, die keine Schwierigkeit bei der Verteilung der begrenzten kognitiven Ressourcen hervorrufen, eine bedeutende Rolle spielen.

Diese Ergebnisse haben Implikationen für die Gestaltung sicherer und benutzerzentrierter automatisierter Fahrzeuge. Solche Fahrzeuge müssen für Fahrer konzipiert werden, die mentale Unterforderung und passive Ermüdung erleben, sowie weniger Aufmerksamkeit auf ihre Umgebung richten. Automatisierte Fahrzeuge sollten Fahrerüberwachungssysteme einsetzen, die kontinuierlich die kognitiven Zustände der Fahrer beurteilen. Basierend auf den Daten der Fahrerüberwachung sollte das automatisierte System dynamisch an die aktuellen Bedürfnisse der Fahrer angepasst werden, ihre Aufmerksamkeit verwalten und sie in ihrer neuen Rolle unterstützen. Dies ist insbesondere für L3-Fahrzeuge wichtig. Diese Dissertation befürwortet einen ganzheitlichen Ansatz zur Bewertung kognitiver Zustände, der verschiedene Maßnahmen (selbstberichtete, leistungsbasierte und psychophysiologische Maßnahmen) kombiniert und reale Tests im Vergleich zu Fahrsimulatoren bevorzugt, da die Ergebnisse der Simulatoren möglicherweise eine begrenzte Anwendbarkeit in der realen Welt haben.