In der industriellen Bildverarbeitung ist stereoskopisches Sehen Standard – doch das ist nicht die einzige Möglichkeit zur Bildaufnahme. Die Lichtfeld-Technologie bietet einen weiteren Ansatz, der dank umfangreicher Informationen ein präziseres Ergebnis liefert.
Neue Chancen durch spezielle Kamera-Arrays
Der ein oder andere erinnert sich vielleicht noch; von 2014 bis 2016 konnte man auf dem Endkundenmarkt eine sog. „Lichtfeldkamera“ erwerben. Der Clou: Aufnahmen mit dieser Digitalkamera erlaubten es, den Fokuspunkt auf Fotos nachträglich in einer Software festzulegen. Die „Computational Photography“ war geboren. Die aufgenommene Szene war immer absolut scharf – und sogar eine 3D-Simulation war möglich. Leider beschloss das dahinterstehende Unternehmen später, sich vollends auf die industrielle Anwendung von VR zu konzentrieren. Das Produkt wurde eingestampft.
Doch der Name der Kamera war Programm: Sie nahm – wie alle Kameras dieser Klasse – das gesamte Lichtfeld einer Szene auf. Aber was versteckt sich hinter einem Lichtfeld? Wieso ist es so besonders und warum bedeutet es für die industrielle Bildverarbeitung einen wahren Glücksfall? Diesen Fragen wollen wir heute nachgehen.
Lichtfeld und plenoptische Funktion
Das Lichtfeld ist ein physikalisches Konzept und beschreibt die Gesamtheit aller Licht-bezogenen Informationen einer Szene. Dazu gehören:
- Ein Lichtstrahl (Gerade) aus der aufgenommenen Szene, bestimmt durch zwei Winkel θ und ζ
- ein Ort der Betrachtung des Lichtstrahls (Vx, Vy, Vz)
Die Variablen der Funktion können bei Bedarf um die Wellenlänge λ des Lichts für farbige Aufnahmen sowie die Zeit t für eine Videoaufzeichnung erweitert werden.
Aus diesen Einzelaspekten ergibt sich die eigentliche plenoptische Funktion P(θ, ζ , λ, t,Vx , Vy , Vz). Auf dieser Grundlage lassen sich alle weiteren Berechnungen zum Einsatz der Lichtfeld-Technologie vornehmen.
Lichtfeld-Technologie – oder der Versuch, alle Lichtinformationen als Bild zu bannen
Mithilfe der plenoptischen Funktion und ihrer Anwendung, der plenoptischen Kamera, lässt sich exakt bestimmen, aus welcher Richtung das Licht in der fotografierten Szene kam.
Aufnahme einer Szene mit einem nachgelagerten Kamera-Array, das zahlreiche Micro Images erzeugt. Diese werden im Anschluss digital zu einem Bild zusammengeführt.
Um zusätzlich die Kameraposition und damit auch den dazugehörigen Schärfepunkt herauszurechnen, setzt die Lichtfeld-Technologie auf Kamera-Arrays mit mehreren Linsen. Dieses Gitter bricht die jeweiligen Lichtstrahlen noch einmal in einen Kegel auf – moderne Algorithmen sind so in der Lage, einen exakten Eintrittswinkel und damit die Position des ursprünglich aufgenommenen Punktes zu berechnen. Dadurch relativieren sich Position und Schärfepunkt des Bildes. Eine entsprechende Software kann nun beide beliebig versetzen – das Bild ist überall scharf und kann nach Belieben angepasst werden. Auch der Blickwinkel kann im Nachhinein variiert werden.
Vielfältige Datenprodukte aus dem Lichtfeld
Nimmt man das Lichtfeld mithilfe eines Arrays auf, sind variable Position und Schärfepunkt jedoch nicht die einzigen Datenprodukte. Aufgrund seiner Anordnung erlaubt die Lichtfeld-Technologie auch die Ableitung zahlreicher weiterer Informationen. Dazu gehören neben den 2D-Bildinformationen und Geometrie ebenfalls Auskünfte zu Oberflächenbeschaffenheit, Glanz und Farbe. Die mitgelieferten Tiefeninformationen können außerdem zur Generierung hochpräziser 3D-Punktwolken genutzt werden.
Wozu lassen sich diese Bildinformationen in der Praxis nutzen?
In der industriellen Bildverarbeitung liefern diese Informationen zusätzliches Potenzial für schwierige Aufgaben. So erfassen Lichtfeldkameras komplexe Materialien problemlos, selbst wenn diese beispielsweise glänzen oder schimmern. Bei einer stereoskopischen Aufnahme wäre stattdessen häufig der Glanzpunkt fälschlicherweise als Oberflächenpunkt interpretiert. Dies führt zu Fehlern der Tiefenschätzung. Insgesamt muss die Oberfläche für Stereoansätze als Lambert‘sch angenommen werden – also mit absolut matten Reflexionseigenschaften, was in der Realität nie erreicht wird. Vorteilhaft wirkt sich die Lichtfeld-Technologie auch in Werkshallen aus, wo keine aktive Beleuchtung erwünscht ist, da das Lichtfeld sehr robust ist. Mit den eingesetzten Kamera-Arrays reicht bereits reguläres Umgebungslicht für eine gute Aufnahme aus.
Lichtfeld-Technologie angewandt für Pick-&-Place komplexer Teile
Ebenfalls wichtig: Mithilfe der Lichtfeld-Technologie lassen sich exakte Positionen in den Aufnahmen berechnen. Der Schritt zur detaillierten Punktwolke, zu quantifizierten Oberflächeneigenschaften oder zur 3D-Simulation ist damit nur noch sehr klein. Diese wiederum kann im Anschluss für verschiedene industrielle Anwendungen – wie Objekterkennung, Bin Picking oder Qualitätsinspektion – eingesetzt werden.