Generic sensor data fusion in information space and a new approach to processing dense sensor data

Abstract

Sensor data fusion is the key to a comprehensive environment perception by today’s and future systems basing on object tracking. Early and rather simple advanced driver assistance systems (ADAS) are still using a sensor setup with a single sensor where the problem of fusing different data sources does not arise. With the intent on fusing data from multiple heterogeneous sensors into one common object tracking system, various fusion methods are conceivable. Probabilistic data association (PDA) is one of these methods and it has been shown to be feasible and effective in former publications [Mäh09; Mun11]. In very complex scenarios, algorithms based on finite set statistics [Mah03] have become popular over the last few years. These allow the modeling of interactions between the tracked objects to resolve ambiguities comparable to the multi-object Bayes filter. Independent of the fusion method, all procedures share one major drawback: the interchangeability of the sensors is not possible. In many systems it is necessary to transmit knowledge about the sensors to the fusion system. Thus, a change of the sensor setup can entail comprehensive consequences and can be expensive and costly in development time. Besides increasing the sensor interchangeability, the anonymization of the sensor is desirable. This allows sensors to be used without knowledge of the sensors’ theoretical principles and enables the sensor manufacturer to maintain secrecy about the details. The generic linkage of sensors to object tracking systems as well as the anonymization of sensors is the purpose of this work. Therefore, a mathematically equivalent alternative to the Kalman filter, the information filter, is used. The focus is set on probabilistic data association and the successful adaption of it to use the information filter is evaluated in simulation and real-data scenarios. Additionally, it is shown how to use the information filter approach in many other fusion systems. In the further course of this work a novel approach to preprocessing high density data from distance measuring sensors is presented. This new approach meets the requirements on generically linked sensors. It allows the use of the information space and simultaneously increases the perception performance markedly in comparison to former attempts. This is achieved by filtering the raw sensor data over time and generating reliable object hypotheses using the filtered data. The performance of the achieved sensor model is demonstrated in various real-data scenarios.

Sensordatenfusion ist der Schlüssel zu heutigen und zukünftigen Systemen, die auf einer Objektverfolgung zur umfassenden Umgebungserfassung beruhen. Frühe und einfache Systeme basieren noch heute auf lediglich einem Sensor, wodurch sich das Problem der Fusion verschiedener Datenquellen nicht ergibt. Sollen jedoch Daten mehrerer heterogener Sensoren in eine gemeinsame Objektverfolgung eingebracht werden, kommen diverse Fusionsmethoden in Frage. Die probabilistische Datenassoziation (PDA) ist eine dieser Methoden und hat sich in Untersuchungen früherer Publikationen [Mäh09; Mun11] als einfach und wirkungsvoll erwiesen. In sehr komplexen Szenarien kommen in den letzten Jahren auch vermehrt Methoden der Statistik endlicher Mengen (engl. finite set statistics (FISST)) [Mah03] zum Einsatz. Diese erlauben zusätzlich die Modellierung von Abhängigkeiten zwischen den Objekten, wodurch Mehrdeutigkeiten aufgelöst werden können. Unabhängig von der Fusionsmethode teilen sich alle Verfahren jedoch ein Problem: die Austauschbarkeit der Sensorik ist nicht vollständig gewährleistet. Es muss stets Wissen über die verwendeten Sensoren in das System eingebracht werden. Eine Veränderung des Sensoraufbaus kann weitreichende Konsequenzen nach sich ziehen und verursacht sowohl Zeit- als auch Kostenaufwand. Des Weiteren ist neben dem Vereinfachen des Sensoraustauschs auch eine Anonymisierung des Sensors wünschenswert. Dies würde es erlauben, Sensoren ohne Wissen über ihr Messprinzip zu verwenden. Auf der anderen Seite müsste der Hersteller dann keine detaillierten Informationen über den Sensor preisgeben. Die generische Anbindung von Sensoren an fusionierende Systeme zur Objektverfolgung sowie die Anonymisierung der Sensoren sind Ziel dieser Arbeit. Um dies zu realisieren, wird der Informationsfilter als Alternative zum mathematisch äquivalenten Kalman Filter verwendet. Besonderes Augenmerk wird dabei auf die PDA gelegt. Deren erfolgreiche Anpassung wird anhand von Simulation und realer Daten ausgewertet. Darüber hinaus wird gezeigt, wie der Informationsfilter-Ansatz auch in vielen anderen Fusionsmethoden eingesetzt werden kann. Im weiteren Verlauf dieser Arbeit wird ein neuartiger Ansatz zur Vorverarbeitung für hochauflösende und Distanz messende Sensoren präsentiert, die den Anforderungen an generisch angebundenen Sensoren entspricht. Dies ermöglicht den Einsatz des Informationsraumes und verbssert gleichzeitig die Detektionsleistung deutlich gegenüber bisherigen Ansätzen. Dabei werden direkt die Sensorrohdaten zeitlich verfolgt, um zuverlässige Hypothesen erzeugen zu können. Die Leistungsfähigkeit des neuen Ansatzes wird in verschiedenen realen Szenarien nachgewiesen.