Learning 2 Sense
Die Deutsche Forschungsgemeinschaft (DFG) hat L2S als eine von acht Forschergruppen in Deutschland ausgewählt, die dezidierte Grundlagenforschung auf dem Gebiet der künstlichen Intelligenz zusammen mit einem interdisziplinären Partnerfeld, in diesem Fall der Sensorsystementwicklung, betreiben. Das Projekt ist an der ZESS angesiedelt, wo es auf mehr als 30 Jahre Erfahrung im Bereich der grundlagen- und anwendungsorientierten, interdisziplinären Forschung aufbauen kann.
Vision
Das vergangene Jahrzehnt hat gezeigt, dass das gemeinsame Lernen bei der visuellen Datenverarbeitung zu deutlich qualitativ hochwertigeren Lösungen führt als sequenzielle Ansätze (Merkmalsentwurf gefolgt von Klassifizierung). Beim derzeitigen End-to-End-Lernen werden aufgezeichnete Bilddaten jedoch nach wie vor als feststehend behandelt, wobei außer Acht gelassen wird, dass Bilder selbst das Ergebnis vorgelagerter Entscheidungen beim Sensordesign sind – was den Ansatz in der Praxis sequenziell macht.
Die Forschungseinheit „Learning to Sense“ (L2S) verfolgt die gemeinsame Optimierung von Designparametern für Sensorsysteme und der Analyse durch neuronale Netze und entwickelt so eine echte End-to-End-Methodik für anwendungsspezifische Aufgaben. L2S betreibt Grundlagenforschung zu: (1) adaptiven Sensorsystemen, die neue Freiheitsgrade bieten, und (2) Methoden des maschinellen Lernens, die eine gemeinsame Optimierung von Sensor- und Netzwerkparametern ermöglichen.
Langfristig strebt L2S die Etablierung einer Methodik für die integrale Entwicklung adaptiver Sensorsysteme mit neuronalen Netzen an, um eine effizientere und präzisere Szenenanalyse mit minimalem manuellem Aufwand bei der Sensorauslegung zu erreichen.
Dieses Ziel wird von den folgenden, miteinander verbundenen Zielen geleitet:
-
Lernen, wie physikalisches Wissen, das Netzwerkarchitekturen enthält, genutzt werden kann, um adaptive synthetische Bilderzeugungsansätze zu entwickeln, die die Bildqualität verbessern und szenenabhängige Interferenzartefakte für kohärente 3D-Bildgebung korrigieren.
-
Bewertung und Verständnis der Robustheit der auf maschinellem Lernen basierenden Segmentierung von rekonstruierten 3D-THz-Bilddaten, die aus spärlichen Beleuchtungs- und Sensoranordnungen stammen, einschließlich differentieller Bildgebungsmodi.
-
Bewertung und Lernen, ob eine Segmentierung aus sensorischen Rohdaten direkt erreicht werden kann, ohne einen Zwischenschritt der 3D-Bilderzeugung durch synthetische Rekonstruktion.
-
Lernen, wie eine sensorische, aufgabenabhängige Systemoptimierung die Bildgebungs- und Erkennungsfähigkeiten grundlegend maximieren und gleichzeitig den Aufwand für Hardware und Datenerfassung minimieren kann.
Alles auf einen Blick
-
Laufzeit
01.12.2022 - 30.11.2026 (Laufend) -
Forschungsbereich
Sensorik, Simulation, Maschinelles Lernen, Computer Vision -
Finanzierung
DFG
Subprojekte
L2S-Training mit kontinuierlichen Sensorsystemparametern und unregelmäßigen Daten
Unsere Vision der gemeinsamen Optimierung von Netzwerk- und Sensorsystemen bringt vier grundlegende ML-Herausforderungen mit sich:
- Veränderliche Datenverteilung: Bei optimierbarem Sensorlayout ändert sich die räumliche Verteilung der Sensordaten kontinuierlich – Netzwerke müssen mit unregelmäßigen, sich wandelnden Daten umgehen können.
- Physikalisches Vorwissen: Effiziente Optimierung profitiert von Verständnis, wie Sensor-Designparameter die Aufzeichnungen beeinflussen. Dieses Wissen muss in Netzwerkarchitekturen integriert werden.
- Simulationsbasiertes Training: Da reale Sensorsysteme zu langsam für Echtzeit-Trainingsdaten sind, basieren Trainingsprozesse auf Simulationen. ML-Systeme müssen Domänenlücken überbrücken und auf reale Daten verallgemeinern.
- Kostenfunktion: Die Formulierung für gemeinsame Optimierung von Sensor- und Netzwerkparametern ist entscheidend. Datenaufteilung in zwei Teile zur Optimierung unterschiedlicher Parameter kann Generalisierungsfähigkeit weiter verbessern.
Das Projekt adressiert diese vier Herausforderungen anhand konkreter Beispiele aus 3D-Mikroskopie und THz-Bildgebung.
Interpretierbare und robuste L2S-Optimierung
Dieses Teilprojekt untersucht die gemeinsame Optimierung von neuronalen Netzwerken und Sensoren, um Vorhersagegenauigkeit, Generalisierungsfähigkeit und Robustheit zu verbessern.
Zentrale Untersuchungsaspekte umfassen:
- Architektursuche: Entwicklung neuronaler Architekturen im Kontext gemeinsamer Netzwerk- und Sensoroptimierung
- Adversariales Training: Steigerung von Robustheit und Generalisierungsfähigkeit
- Erklärbarkeit: Analyse optimierter Architektur- und Sensorsysteme
Architekturen für L2S-Bildverarbeitungssysteme ohne Bildgenerierung
Das Teilprojekt „Architekturen für nicht-bildgebende L2S-Bildverarbeitungssysteme“ untersucht ML-Ansätze zur Entwicklung und Optimierung neuer Sensoren für sichtbares Licht und THz-Strahlung.
Ziel sind für spezifische Bildverarbeitungsaufgaben optimierte Sensoren, die keine klassischen Bilder aufnehmen. Stattdessen nutzen sie Differenzsignale wie räumlichen Kontrast, Bewegung und foveales Sehen – viele Techniken vom menschlichen Sehsystem inspiriert.
L2S für den Entwurf von CMOS-Bildsensoren
CMOS-Bildsensoren haben unser Leben revolutioniert und maßgeblich zum KI-Wachstum beigetragen. Doch konventionelle Digitalkameras sind für Bildschirmdarstellung konzipiert, nicht für ML-Aufgaben optimiert. Während sich KI-Algorithmen am tierischen Gehirn orientieren, ist der Bildsensor kaum vom tierischen Auge inspiriert und führt kaum Bildverarbeitung durch. Digitale Kameras bleiben daher Datenquellen mit begrenzter Informationsextraktion.
Dieses Projekt entwickelt neuartige Bildsensorarchitekturen gemeinsam mit intelligenten Algorithmen:
- Pixelgeometrie und Layout: Neugestaltung für optimale Eingaben in Bildverarbeitungsaufgaben (entwickelt von L2S-Kooperationspartnern)
- Analoge Signalverarbeitung: Frühe Verarbeitung nahe am Pixel via mathematischer Operatoren (Ableitungen, Faltung) und Eingangsstufen neuronaler Netze
- Effizienzsteigerung: Reduktion der Rechenkomplexität für nachfolgende KI-Software
Gemeinsame Forschung zwischen Sensorentwicklern und KI-Forschern gewährleistet, dass optische und Recheneffizienz erhalten bleiben.
Vorwärts- und differenzierbare Simulation von L2S-Sensordaten
Die Forschungseinheit „Learning to Sense" (L2S) verfolgt die gemeinsame Optimierung von Sensor-System-Designparametern und neuronalen Netzwerken. Dies erfordert umfangreiche Trainingsdaten für diverse Sensor- und Szenekonfigurationen. Da reale Datenerfassung oft kostspielig oder unmöglich ist, ist die Simulation des Sensordatenbildungsprozesses ein entscheidender Erfolgsfaktor.
Dieses Teilprojekt konzentriert sich auf die effiziente Simulation des Sensordatenbildungsprozesses:
- Physikalische Effekte: Simulation verschiedener Wellenlängen, kohärenter Strahlung und Materialwechselwirkungen
- Abbildungsverfahren: Synthetische (unfokussierte) Abbildungen und Sensor-System-Design (Pixel- und Spektralfilteranordnungen)
- Technischer Fokus: Vorwärts- und differenzierbare Simulation ermöglicht ML-basierte Anwendung- und Hardwareentwicklung für beliebige Parameter
3D-Mikroskopie für ungefärbte Zellcluster
Mit dem Ziel, Werkzeuge für die zeitaufgelöste 3D-Beobachtung von Krebszellclustern in vitro, d. h. unter normalen Lebensbedingungen, jedoch außerhalb des Körpers, zu entwickeln, untersucht das Teilprojekt „3D-Mikroskopie für ungefärbte Zellcluster“ untersucht das Verbesserungspotenzial der 3D-Brechungsindexmikroskopie mit dem Ziel, deren Geschwindigkeit, Genauigkeit und/oder Auflösung mithilfe von Werkzeugen des maschinellen Lernens zu verbessern und neuartige Hardwarekonfigurationen zu entwerfen.
Erfassung von Signalen für fortschrittliche kohärente THz-Bildgebungssysteme (HQE)
Die kohärente Bildgebung im Millimeterwellen- und THz-Frequenzbereich eröffnet ein riesiges Anwendungsspektrum und bietet innovative Bildgebungs- und Sensormöglichkeiten in optisch unzugänglichen Situationen, wie unter anderem Fernerkundung unter beliebigen Umgebungsbedingungen, autonome Fahrzeugsichtsysteme, die gegen Nebel und Regen unempfindlich sind, Untergrundbildgebung für Materialanalyse, Qualitätskontrolle und zerstörungsfreie Prüfung sowie sicherheitsrelevante Bildgebungssysteme für Anwendungen wie die Erkennung versteckter Sprengstoffe an Flughafenkontrollpunkten. Im Rahmen dieses Projekts sollen Ansätze auf Basis des maschinellen Lernens genutzt werden, um den grundlegenden Einschränkungen kohärenter Bildgebungssysteme zu begegnen und deren Eignung im Millimeterwellen- und THz-Frequenzbereich zu trainieren und zu validieren. Die experimentelle Umsetzung konzentriert sich auf Ansätze der spärlichen Multiple-Input-Multiple-Output (MIMO)-Synthetic-Aperture-Radar (SAR)-Bildgebung im Millimeterwellen- und THz-Bereich (von 300 GHz bis THz), da diese eine breite Anwendungsrelevanz und inhärente Vorteile aufweisen.
Dieses Ziel wird durch die folgenden, miteinander verknüpften Teilziele geleitet:
-
Erforschung, wie physikalisches Wissen über Netzwerkarchitekturen genutzt werden kann, um adaptive Ansätze zur Erzeugung synthetischer Bilder zu entwickeln, die die Bildqualität verbessern und szenenabhängige Interferenzartefakte für die kohärente 3D-Bildgebung korrigieren.
-
Bewertung und Verständnis der Robustheit der auf maschinellem Lernen basierenden Segmentierung rekonstruierter 3D-THz-Bilddaten, die aus spärlichen Beleuchtungs- und Sensoranordnungen stammen, einschließlich differentieller Bildgebungsmodi.
-
Beurteilung und Ermittlung, ob eine Segmentierung aus rohen Sensordaten direkt erreicht werden kann, ohne einen zwischengeschalteten Schritt der 3D-Bildgenerierung durch synthetische Rekonstruktion.
-
Erforschung, wie eine sensoraufgabenabhängige Systemoptimierung die Bildgebungs- und Erkennungsfähigkeiten grundlegend maximieren und gleichzeitig den Aufwand für Hardware und Datenerfassung minimieren kann.
Mitarbeiter
Die Forschungseinheit L2S ist das Zentrum eines internationalen Netzwerks von Forschern, die sich mit verschiedenen Aspekten der Sensorik, Simulationen, des maschinellen Lernens und der Bildverarbeitung befassen. Nachfolgend sind unsere engsten Kooperationspartner aufgeführt, die alle als DFG-Mercator-Stipendiaten an unseren Projekten beteiligt sind und daher längere Forschungsaufenthalte in unserer Forschungsgruppe absolvieren werden.
- Wolfgang Heidrich, König-Abdullah-Universität für Wissenschaft und Technologie
- Felix Heide, Princeton University, USA
- Vincent Wallace, University of Western Australia
- Dr. Rajiv Joshi, IBM, T. J. Watson Research Center