Forschung
Die räumlich dreidimensionale Erfassung einer ganz oder teilweise unbekannten oder zeitveränderlichen Umgebung ist eine Herausforderung für moderne Sensorsysteme. Dreidimensional messende Sensoren, wie z.B. das Photonic Mixer Device (PMD) oder vergleichbare Systeme, bieten aber konstruktionsbedingt nur eine geringe laterale Auflösung im Vergleich zu CCD/CMOS-Bildsensoren mit z.T. Millionen von Pixeln. Mehrere dieser zweidimensional messenden Systeme können zwar auch Tiefeninfomationen einer Szene generieren, stoßen aber auf Grund von Komplexität und Rechenaufwand schnell an ihre Leistungsgrenzen. Was liegt daher näher, als die Informationen von diesen beiden Sensortypen, grob aufgelöste Entfernungsdaten und hoch aufgelöste Helligkeitsbilder, miteinander zu verknüpfen, um daraus eine 2D/3D Multisensorkamera für Echtzeitanwendungen zu entwickeln.
Im Fokus des hier beschriebenen Projektes steht die schnelle Aufnahme von 3D-(Tiefen-)Informationen mittels einer chipbasierten Phasenmessung (PMD-Sensor) und einer damit synchronisierten 2D-Bilddatenerfassung mit CMOS/CCD-Bildsensoren in Verbindung mit einer hardwareunterstützten Signal- und Datenverarbeitung. Ein wesentlicher Aspekt ist dabei die Entwicklung einer echtzeitfähigen Systemplattform mit verschiedenen 2D/3D Kameras sowie die Überprüfung der Leistungsparameter anhand relevanter Anwendungssituationen.
Ein PMD-Sensor kann im Prinzip als ein Array von Photomischsensoren verstanden werden, mit dessen Hilfe im Lichtlaufzeit-Verfahren Entfernungen gemessen werden. Die zu vermessende Szene wird dazu mit inkohärentem, moduliertem Licht einer Beleuchtungseinheit bestrahlt. Der PMD-Sensor empfängt das von den Objekten der Szene reflektierte, modulierte Licht und korreliert es mit dem Modulationssignal der Beleuchtungseinheit. Mit dem Ergebnis können die Phasenverschiebung und damit die Entfernung bestimmt werden.
Die Möglichkeiten der Fusionierung von 2D- und 3D-Daten und die Qualität der Ko-Registrierung hängen von der Konzeption und Struktur der Multichip-Kamera ab. Wichtige Aspekte der Bildsensor-Beleuchtungskonfiguration und einer aktiven Beleuchtungssteuerung in Verbindung mit den Möglichkeiten der Kalibrierung der Konfigurationen werden untersucht. Bereits vorhandene Erkenntnisse aus dem Bereich des Stereosehens werden genutzt, um mit Hilfe der synchronisierten 2D/3D-Bilderfassung deutliche Verbesserungen zu erzielen.
Unter dem Aspekt der Echtzeitfähigkeit werden neben optimierten Datenfluss- und Datensynchronisierungsverfahren neue Möglichkeiten der Bilddatenauswertung entwickelt, die aufgrund der Pixel-synchronisierten 2D/3D-Daten neue Möglichkeiten der Echtzeitbilddatenverarbeitung erlauben. Hier werden verschiedene Aufbauten und Verfahren der chipbasierten Vorverarbeitung auf Basis der im ZESS vorhandenen System on Programmable Chip (SoPC) Technologie untersucht sowie die Verteilung der Bildverarbeitung auf das Embedded System der Kamera und einer nach geordneten Weiterverarbeitung.
Downloads