DE102007033835B4

DE102007033835B4 - Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern

Info

Publication number: DE102007033835B4
Application number: DE102007033835A
Authority: DE
Inventors: Peter Paul Dr. Deimel; Gerald Dr. Sobotta
Original assignee: EADS Deutschland GmbH
Current assignee: Airbus Defence and Space GmbH
Priority date: 2007-07-18
Filing date: 2007-07-18
Publication date: 2010-07-15
Anticipated expiration: 2027-07-19
Also published as: DE102007033835A1; WO2009010550A1

Abstract

Bildsegmentierungsvorrichtung, umfassend eine Beleuchtungseinrichtung (4) zur aktiven Beleuchtung einer ein Objekt (12) umfassenden Szene (11); eine Aufnahmeeinrichtung (1) zur Aufnahme eines Bildes (B0, B1, ..., Bn) der beleuchteten Szene (11) basierend auf einer von der Szene reflektierten Beleuchtung; und eine mit der Aufnahmeeinrichtung (1) verbundene Segmentierungseinrichtung (7) zum Ableiten eines segmentierten Bildes (S) aus dem aufgenommenen Bild (B0, B1, ..., Bn), in dem das Objekt (12) markiert ist, wobei
die Beleuchtungseinrichtung (4) zumindest eine Beleuchtungseinheit (5) umfasst und eingerichtet ist, die Szene (11) mit einer von der zumindest einen Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation zu beleuchten; und
die Aufnahmeeinrichtung (1) bezüglich ihrer Orientierung gegenüber der Szene im wesentlichen unveränderlich ist und eingerichtet ist, eine zumindest zwei Bilder (B0, B1, ..., Bn) umfassende statische Bildfolge (10) der im wesentlichen unveränderten Szene (11) aufzunehmen;
gekennzeichnet durch
eine Steuereinrichtung (2), die eingerichtet ist, die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die...

Description

Die Erfindung betrifft eine Bildsegmentierungsvorrichtung zum Markieren eines Objekts in einem Bild einer das Objekt umfassenden Szene, sowie ein entsprechendes Segmentierungsverfahren.
Die Segmentierung von Objekten in digitalen Bildern, die eine bestimmte Szene zeigen, d. h. die Erkennung und Markierung einer Kontur oder einer Fläche eines zu erkennenden Objektes in dem digitalen Bild, ist eine grundlegende und anspruchsvolle Aufgabe der digitalen Bildverarbeitung und -analyse. Gesuchte Objekte in Bildern können z. B. Gegenstände, Personen oder topologische Strukturen sein, wie z. B. Löcher, Gräben oder sonstige geometrische Figuren in realen Szenen. Da es sich bei der Segmentierung zumeist um eine (low level) Vorverarbeitung eines digitalen Bilds handelt, die eine (high level) Vermessung, Zählung oder anderweitige quantitative Analyse der segmentierten Objekte ermöglicht, ist die Qualität eines Segmentierungsverfahrens entscheidend für die Zuverlässigkeit einer übergeordneten optischen Überwachungs- oder Qualitätsanalyseanwendung. Hinzu kommt, dass bei der Überwachung von Personenbewegungen und/oder industriellen Prozessen oft eine Echtzeitbildanalyse erforderlich ist, die erhebliche Geschwindigkeits- und insofern auch Qualitätsanforderungen an ein Segmentierungsverfahren stellt.
Bei der Segmentierung von Einzelbildern, bei der kein Kontext- bzw. Modellwissen über die zu segmentierende Szene vorhanden ist oder ausnutzt werden kann, ist die erforderliche Zuverlässigkeit nicht ohne weiteres zu gewährleisten. Prinzipiell ist es jedoch möglich, zufriedenstellende Segmentierungsergebnisse entweder durch Verbesserungen der Beleuchtungs- und/oder Bildaufnahmetechnik oder durch algorithmische Weiterentwicklung zu erzielen. Im Zusammenhang mit dem erstgenannten Ansatz ist es bekannt, dreidimensionale Aufnahmetechniken einzu setzen, die zwar umfangreiche Objektinformationen liefern und insofern eine bessere Ausgangslage für die algorithmische Bildsegmentierung schaffen, aber auch technisch wesentlich aufwendiger und kostenintensiver sind und deshalb eine Echtzeitbildverarbeitung weiter erschweren.
Ebenso ist sowohl bei der zweidimensionalen als auch bei der dreidimensionalen Bildaufnahme bekannt, die aufzunehmende Szene mit einer homogenen Beleuchtung oder mit einer strukturierten Beleuchtung zu beleuchten, also ein reproduzierbares oder zufälliges Muster auf die Objekte zu projizieren, um die Objekte im Bildvordergrund gegenüber dem Bildhintergrund zu betonen und dadurch eine bessere Unterscheidbarkeit von Objekt und Hintergrund zu erreichen. Darüber werden auch Ansätze mit einer Infrarotbeleuchtung bzw. einer Beleuchtung im nicht-sichtbaren Spektralbereich verfolgt, bei denen zumindest Störungen durch eine natürliche Umgebungsbeleuchtung der Szene ausgeschlossen werden können. Jedoch sind hierbei Objektkanten und -konturen jedoch zumeist nicht störungsfrei zu erkennen, da prinzipiell jegliche Art von indirekter Umgebungsbeleuchtung für eine zuverlässige Bildsegmentierung nachteilig ist.
Insbesondere für sensible Echtzeitanwendungen, wie z. B. in der Sicherheitstechnik oder bei der optischen Qualitätskontrolle, gilt für alle vorgenannten Ansätze, dass der algorithmische Aufwand zu Segmentierung der aufgenommenen Bilder erheblich ist, da bei derartigen Anwendungen eine hohe Detektionswahrscheinlichkeit bei gleichzeitiger Reduktion der Fehlerrate erforderlich ist.
Aus R. M. Harrison: ”Digital Radiography”, Phys. Med. Biol., 1988, Vol. 33, No. 7, pp. 751–784 ist es bekannt, bei einem medizinischen Röntgenverfahren bei unterschiedlicher Intensität oder Belichtung aufgenommene Röntgenabsorptionsbilder unter Anwendung von Subtraktionsverfahren der jeweiligen Röntgenbilder so zu bearbeiten, dass bestimmte anatomische Strukturen verstärkt oder unterdrückt werden.
Aus Paul E. Debevec, Jitendra Malik: ”Recovering High Dynamic Range Radiance Maps from Photographs”, ACM Press/Addison-Wesley, 1997, Proceedings of the 24th Annual Conference an Computer Graphics and Interactive Techniques, pp. 369–378; ISBN 0-89791-896-7, ist es bekannt, durch mehrfaches Aufnehmen einer gegebenen Szene mit unterschiedliche Belichtung und Fusionieren der verschiedenen Aufnahmen eine bildliche Darstellung mit erhöhtem Dynamikumfang zu erzeugen.
Die US 6 587 582 B1 beschreibt ein Verfahren zur Qualitätssicherung bei der Halbleiterherstellung, mit dem Artefakte in der Halbleiterschaltungsstruktur sichtbar zu machen, indem zwei bei unterschiedlichen Beleuchtungsbedingungen aufgenommene Bilder voneinander Subtrahiert werden, um die Artefakte anschließend durch Binarisierung des Subtraktionsergebnisses deutlich zu machen.
Die US 2006/0008171 A1 schließlich beschreibt auf dem Gebiet der digitalen Blitzlichtfotografie ein bildverbesserndes Verfahren, bei dem ein Bildpaar derselben Szene bestehend aus einem Bild ohne Blitzlichtbeleuchtung und einem Bild mit Blitzlichtbeleuchtung aufgenommen wird, um ein Ergebnisbild zu erzeugen, in welches bestimmte Komponenten beider Bilder eingehen.
Es ist die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zu einer einfachen und verbesserten Echtzeitbildsegmentierung zu schaffen.
Diese Aufgabe wird erfindungsgemäß durch eine Segmentierungsvorrichtung sowie ein Segmentierungsverfahren mit den Merkmalen der unabhängigen Ansprü che gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung angegeben.
Eine erfindungsgemäße Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung mit zumindest einer Beleuchtungseinheit zur Erzeugung einer zeitlichen Beleuchtungsmodulation zur aktiven Beleuchtung einer ein Objekt umfassenden Szene, eine Aufnahmeeinrichtung zur Aufnahme einer zumindest zwei Bilder umfassenden statischen Bildfolge der Szene sowie eine mit der Aufnahmeeinrichtung verbundene Segmentierungseinrichtung, die aus der Bildfolge ein segmentiertes Ergebnisbild ableitet, in dem das Objekt von dem Hintergrund unterscheidbar markiert ist. Durch die von der zumindest einen Beleuchtungseinheit erzeugt Beleuchtungsmodulation, kann die Szene mit einer veränderlichen Beleuchtung beleuchtet werden. Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation sowie die Bildaufnahme der Aufnahmeeinrichtung werden durch eine Steuereinrichtung der Bildsegmentierungsvorrichtung koordiniert gesteuert. Die Steuereinrichtung ist dazu eingerichtet, die Beleuchtungsmodulation der Beleuchtungseinrichtung sowie die Aufnahmeeinrichtung derart zu steuern, dass ein erstes Bild der Bildfolge bei Umgebungsbeleuchtung aufgenommen wird und jedes weitere Bild der Bildfolge bei aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit aufgenommen wird. Die Segmentierungseinrichtung ist dazu eingerichtet, jeweils ein Differenzbild aus dem bei Umgebungsbeleuchtung aufgenommenen Bild der Bildfolge und jeweils einem bei aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit aufgenommenen weiteren Bild der Bildfolge zu bilden und aus jedem Differenzbild jeweils ein binärwertiges segmentiertes Bild abzuleiten und die binärwertigen segmentierten Bilder mittels eines Binäroperators zu fusionieren.
Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation kann beispielsweise in einer zeitlichen Veränderung der Beleuchtungsintensität oder einer Variation des elektromagnetischen Spektrums der Beleuchtung bestehen. So kann beispielsweise bei entsprechender Beleuchtung das Objekt stark aufgehellt werden, während der das Objekt umgebende Hintergrund fast unverändert bleibt. Da aufgrund der Steuerung durch die Steuereinrichtung für jedes Bild der Bildfolge die Szene aufgrund der Beleuchtungsmodulation unterschiedlich beleuchtet wird, ergeben sich in einem entsprechenden Differenzbild (bei einer Bildfolge aus zwei Bildern) bzw. den entsprechenden Differenzbildern (bei einer Bildfolge aus zumindest drei Bildern) deutliche Intensitätsunterschiede zwischen dem Objekt und dessen Hintergrund. Die Beleuchtungsmodulation ist hierbei derart ausgestaltet und mit der Bildaufnahme koordiniert, dass sie das von dem Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Licht möglichst stark verändert, während das von dem Hintergrund reflektierte Licht weitestgehend konstant bleibt. Aufgrund der daraus resultierenden starken Helligkeitsdifferenz zwischen Objekt und Hintergrund in einem Differenzbild ist aus dem Differenzbild durch einfache und robuste Bildverarbeitungsoperationen ein segmentiertes Bild – z. B. in Form eines Binärbilds – ableitbar, das das Objekt gegenüber dem Hintergrund markiert.
Aufgrund der im Hinblick auf die Bildaufnahme gesteuerten Beleuchtungsmodulation werden große Helligkeitsdifferenzen des Objekts in den Bildern der Bildfolge verursacht. Dadurch können auch unter realen unvorteilhaften Umweltbedingungen – z. B. bei schlechten Umgebungsbeleuchtungsverhältnissen, hohen Rauschanteilen oder beweglichen Objekten mit einer zweidimensionalen Kameratechnik – zuverlässige und robuste Segmentierungsergebnisse erreicht werden.
Die Bildfolge wird prinzipiell statisch aufgenommen, d. h. bei unveränderter relativer Position und Ausrichtung der Aufnahmeeinrichtung im Verhältnis zu der aufgenommenen Szene. Dadurch sind einfachste und entsprechend rechenzeiteffiziente Bildverarbeitungsoperationen, wie z. B. die bildpunktweise Bildsubtraktion, ausreichend, um robuste Segmentierungsergebnisse zu erhalten. Die vorliegende Erfindung zeichnet sich also durch einen vergleichsweise geringen apparativen Aufwand und dementsprechend geringe Kosten sowie durch eine hohe Berechnungseffizienz aus, die insgesamt eine zuverlässige Echtzeitbildsegmentierung ermöglichen. Demzufolge ist zumindest die erfindungsgemäße Bildaufnahme bei der üblichen Aufnahmefrequenz von 50 bis 60 Hz in der Regel in weniger als 0,1 Sekunden abgeschlossen. Dabei wird abhängig von dem anwendungsspezifischen Aufbau einer aufzunehmenden Bildfolge die relative Helligkeit der gesuchten Objekte von Bild zu Bild derart verändert, dass eine robuste Segmentierung mit sehr geringem Berechnungsaufwand mittels der Berechnung von Differenzbildern erreicht werden kann. Die Binarisierung eines Differenzbildes mit einem geeigneten automatisch ermittelbaren Schwellenwert liefert dabei bereits gute und robuste Segmentierungsergebnisse. Diese mit der Erfindung einhergehenden Vorteile erlauben es, einen großen Umfang von Detektions-, Überwachungs- und Zählanwendungen mit geringem technischen Aufwand bei zufriedenstellender Zuverlässigkeit zu lösen, also insbesondere ohne den Einsatz einer 3D-Sensorik oder aufwendigen algorithmischen Segmentierungsansätzen. Ferner sind die mit der Erfindung erzielbaren Segmentierungsergebnisse derart robust, dass der Kalibrierungsaufwand der erfindungsgemäßen Bildsegmentierungsvorrichtung im Hinblick auf Positionen, Entfernungen oder Ausrichtungen der Beleuchtungs- und Aufnahmeeinrichtung bezüglich der Szene zu vernachlässigen ist.
Bei aktiver modulierter Beleuchtung der Szene durch die Beleuchtungseinrichtung ändert sich im aufgenommenen Bild das Objekt stärker als der Hintergrund, da die Intensität eines reflektierten Beleuchtungsanteils mit 1/r² abhängig ist von dem Abstand r des Objekts/Hintergrunds zur jeweiligen Beleuchtungseinheit. Die Helligkeit des Objekts verändert sich im Bild bei aktiver Beleuchtung deshalb wesentlich stärker als die Helligkeit des Hintergrunds. Deshalb entsteht durch die punktweise Subtraktion von jeweils zwei Bildern der Bildfolge – insbesondere durch die Subtraktion eines bei Umgebungsbeleuchtung (d. h. ohne aktive Beleuchtung) auf genommenen Bildes von jeweils sämtlichen anderen aktiv beleuchteten Bildern der Bildfolge – für die dem Objekt zuzuordnenden Bildpunkte des jeweiligen Differenzbildes ein hoher Helligkeitswert, während dem Hintergrund zuzuordnende Bildpunkte in einem Differenzbild geringe oder vernachlässigbare Helligkeitswerte aufweisen.
Die Beleuchtungseinrichtung der Bildsegmentierungsvorrichtung umfasst zumindest eine Beleuchtungseinheit, mit der sie abhängig von der Steuerung durch die Steuereinrichtung eine Beleuchtungsmodulation der Szene erzeugt. Jede Beleuchtungseinheit der Beleuchtungsvorrichtung emittiert vorzugsweise in einem schmalbandigen Beleuchtungsspektrum, das auch im Nahinfrarotbereich liegen kann. Das schmalbandige Spektrum liegt bevorzugt zwischen 700 nm und 1000 nm, besonders bevorzugt um 850 nm. Die Beleuchtungseinrichtung kann zumindest zwei Beleuchtungseinheiten umfassen, die zur Beleuchtung der Szene paarweise unterschiedliche schmalbandige Beleuchtungsspektren erzeugen, wobei die Beleuchtungseinrichtung derart gesteuert wird, dass bei einer aktiven Beleuchtung jeweils eine der zur Verfügung stehenden Beleuchtungseinheiten jeweils genau ein Bild der Bildfolge durch die Aufnahmeeinrichtung aufgenommen wird. Dadurch wird eine Beleuchtungsmodulation sichergestellt, die zu einer paarweise unterschiedlichen Beleuchtung der Bilder der aufgenommenen Bildfolge führt. Hierbei werden die Beleuchtungseinrichtung und die Aufnahmeeinrichtung vorzugsweise derart koordiniert, dass ein Bild (z. B. das erste Bild der Bildfolge) gänzlich ohne eine aktive Beleuchtung aufgenommen wird, d. h. ausschließlich durch Reflektion der Umgebungsbeleuchtung durch das Objekt bzw. den Hintergrund. Jedes weitere Bild der Bildfolge wird dann bei einer aktiven Beleuchtungsmodulation aufgezeichnet, die paarweise unterschiedliche Beleuchtungen der Szene für jedes Bild der Bildfolge zur Folge hat.
Zur Unterstützung der Beleuchtungsmodulation durch eine Beleuchtung mit paarweise unterschiedlichen Beleuchtungsspektren kann die Aufnahmeeinrichtung mit entsprechenden Spektralfiltern ausgestattet werden, die automatisch oder manuell entsprechend der jeweils aktiven Beleuchtungseinheit bzw. deren emittiertem Spektrum zugeschaltet werden können. Dadurch wird eine Störlichtunterdrückung bei der Bildaufnahme erreicht, die die natürliche Umgebungsbeleuchtung sehr stark abschwächt, jedoch das Beleuchtungsspektrum der jeweils aktiven Beleuchtungseinheit passieren lässt. Aus diesem Grund findet sich in einem Differenzbild, das durch Subtraktion eines nicht aktiv beleuchteten (d. h. lediglich bei Umgebungsbeleuchtung aufgenommenen) Bildes und eines aktiv beleuchteten Bildes, bei dessen Aufnahme ein angepasstes Spektralfilter verwendet wurde, ein stark gegenüber dem Hintergrund hervorgehobenes Objekt, das deshalb auch einfach segmentierbar ist.
In einer weiteren Ausführungsform wird ausgenutzt, dass der von dem beleuchteten Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Beleuchtungsanteil wesentlich von der geometrischen Anordnung der jeweiligen Beleuchtungseinheit abhängt, insbesondere von dem Einfallswinkel der Beleuchtung auf die reflektierende Oberfläche des Objektes. Durch Verwendung einer Beleuchtungsmodulation, die durch mehrere bezüglich der aufzunehmenden Szene jeweils unterschiedlich geometrisch angeordnete Beleuchtungseinheiten erzeugt wird, wird insbesondere die Segmentierung von solchen Szenen verbessert, die durch verschieden zueinander geneigte Flächen gekennzeichnet sind, z. B. bei der Detektion von Kratzern und anderen Oberflächenfehlern bei der optischen Qualitätskontrolle.
Bei dieser Ausführungsform wird die Beleuchtungsmodulation durch die unterschiedlichen Einfallswinkel der aktiven Beleuchtungen der vorhandenen Beleuchtungseinheiten erzeugt. Bei jeweils vergleichbarem Abstand der Beleuchtungsein heiten von der aufzunehmenden Szene wird die Abhängigkeit der Reflektionsrichtung des auf das Objekt auftreffenden Beleuchtungsanteils von der Ausrichtung der jeweiligen Objektoberflächen ausgenutzt (die durch den Normalenvektor der Objektoberfläche beschrieben wird). In diesem Zusammenhang können also Schatteneffekte erzeugt und ausgenutzt werden und bei gleichzeitiger Beleuchtung der Szene durch mehr als eine Beleuchtungseinheit auch Halbschatteneffekte.
Bei der Beleuchtungsmodulation durch unterschiedlich angeordnete Beleuchtungseinheiten werden vorzugsweise zumindest zwei bezüglich der Szene geometrisch jeweils paarweise verschieden angeordnete Beleuchtungseinheiten verwendet, während die Aufnahmeeinrichtung eine zumindest drei Bilder umfassende Bildfolge aufnimmt, wobei ein Bild bei ausgeschalteten Beleuchtungseinheiten (d. h. lediglich bei Umgebungsbeleuchtung) aufgenommen wird, während die restlichen Bilder bei aktiver Beleuchtung durch jeweils eine der Beleuchtungseinheiten aufgenommen werden. Darüber hinaus ist es auch möglich, die Szene mit Kombinationen von jeweils zwei oder mehr aktiven Beleuchtungseinrichtungen zu beleuchten, die für jedes Bild paarweise verschieden sind, da sich auch auf diese Weise in den entsprechenden Differenzbildern unterscheidbare Objekte ergeben. Die Beleuchtungsmodulation durch Veränderung der Einfallswinkel kann auch mit einer Beleuchtungsmodulation durch paarweise verschiedene schmalbandige Beleuchtungsspektren kombiniert werden, so dass auch durch die Kombination von verschiedenen Modulationseffekten in den Bildern eine hohe Robustheit des Segmentierungsergebnisses erreicht werden kann.
Bei einer Bildfolge, die aus zumindest drei Bildern besteht, ergeben sich bei paarweiser Subtraktion immer zumindest zwei oder mehr Differenzbilder. Die Differenzbilder werden dann vorzugsweise jeweils separat segmentiert und die entstehenden segmentierten Bilder anschließend zu einem Ergebnisbild fusioniert, bei spielsweise durch eine geeignete algebraische Operation, z. B. einen Bool’schen Operator. Auf diese Weise sind in dem resultierenden Ergebnisbild Objektinformationen aus sämtlichen Differenzbildern und somit auch aus sämtlichen Bildern der Bildfolge vorhanden.
Eine ausreichend gute Segmentierung eines in der Regel mehrwertigen (bzw. grauwertigen) Differenzbildes ist aufgrund der vergleichsweise hohen Helligkeitsdynamik der abgebildeten Objekte gegenüber dem jeweiligen Hintergrund mit einfachsten Bildverarbeitungsoperationen zu erreichen. Vorzugsweise wird ein Differenzbild durch eine initiale Tiefpassfilterung, die eine Rauschunterdrückung bezweckt, und eine anschließende Binarisierung des gefilterten Differenzbildes durch einen geeigneten globalen Schwellenwert segmentiert. Dieser globale Schwellenwert ist aufgrund der großen Helligkeitsunterschiede zwischen Objekt- und Hintergrundbildpunkten in den Differenzbildern ein eher unkritischer Wert, so dass in den meisten Fällen eine ausreichende Segmentierungsqualität bereits durch Schwellenwerte erreicht wird, die geringfügig über dem Helligkeitsniveau des Hintergrundes liegen, welches aufgrund der Subtraktion verschiedenartig beleuchteter Bilder im Allgemeinen nahezu Null sein wird. Diese globale Schwellenwertsegmentierung ist deshalb sehr zuverlässig und robust gegenüber (globalen) Störeinflüssen und Artefakten.
Die Aufnahmeeinrichtung kann eine herkömmliche Kamera sein, die jedoch vorzugsweise ein Spektrum erfasst, das in den Infrarotbereich hinein reicht, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum. Ferner kann die Aufnahmeeinrichtung eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit sein, wodurch die Farb- bzw. Helligkeitsauflösung der Bilder der Bildfolge und somit auch die Helligkeitsauflösung der Differenzbilder und schließlich auch die Robustheit der Segmentierungsoperation erhöht wird.
Die Beleuchtungseinrichtung ist vorzugsweise aus Diodenfeldern aufgebaut, die die einzelnen Beleuchtungseinheiten bilden. Die Beleuchtungseinheiten können zusätzlich mit Polarisationsfiltern ausgestattet sein. Entsprechend kann auch die Aufnahmeeinrichtung mit Polarisationsfiltern ausgestattet sein, die bei der Aufnahme der Bildfolge abhängig von der jeweils aktiven Beleuchtungseinheit zugeschaltet werden können. Die Polarisationsfilter unterdrücken diffus reflektierendes Licht und lassen nur Licht einer bestimmten Polarisation passieren. Die Umgebungsbeleuchtung kann dadurch sehr wirkungsvoll unterdrückt werden, was bei der Subtraktion von aktiv beleuchteten und nicht aktiv beleuchteten Bildern zu einer noch besseren Unterscheidbarkeit von Objekt und Hintergrund führt.
Vorzugsweise besitzt die Kamera der Aufnahmeeinrichtung eine logarithmische Kennlinie, d. h. es besteht zwischen einer Eingangshelligkeit des von dem Objekt reflektierten Lichtes und dem entsprechenden von der Aufnahmeeinrichtung erzeugten Ausgangssignal, das die Helligkeitswerte eines aufgenommenen Bildes repräsentiert, ein logarithmischer Zusammenhang, so dass sich bei einer linear ansteigenden Eingangshelligkeit die durch das Ausgangssignals kodierten Helligkeiten lediglich logarithmisch erhöhen. Durch die logarithmische Kennlinie wird der an sich multiplikative Zusammenhang zwischen dem Beleuchtungsanteil und dem Reflektionsanteil, deren Produkt von der Aufnahmeeinrichtung als Eingangshelligkeit aufgezeichnet wird, in einen additiven Zusammenhang transformiert, so dass sich die im aufgezeichneten Bild niederschlagende Helligkeit des Ausgangssignals als Summe des Beleuchtungsanteils und des Reflektionsanteils ergibt. Dies hat den Vorteil, dass aufgrund des nunmehr additiven Zusammenhangs bei der anschließenden Bildsubtraktion der Reflektionsanteil von dem Beleuchtungsanteil getrennt werden kann, was bei einem multiplikativen Zusammenhang nicht möglich wäre. Im Differenzbild kann somit der durch die Beleuchtungsmodulation veränderliche Beleuchtungsanteil von dem nahezu unveränderlichen Reflektionsanteil getrennt werden, was wiederum zu einer einfachen und robusten Segmentierung führt.
Die erfindungsgemäße Segmentierungsvorrichtung umfasst vorzugsweise neben einer Kamera als Aufnahmeeinrichtung und einer Anordnung von Diodenfeldern oder sonstigen Beleuchtungselementen als Beleuchtungseinrichtung einen Computer mit einem Speicher und einem Prozessor, wobei die Segmentierungseinrichtung ein in dem Speicher gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm repräsentiert. Bei der Aufnahme der Bildfolge durch die Aufnahmeeinrichtung wird die Bildfolge über eine Datenkommunikationsschnittstelle zwischen Computer und Aufnahmeeinrichtung in den Speicher des Computers zur nachfolgenden algorithmischen Segmentierung gespeichert. Bei einer derartigen Ausgestaltung der erfindungsgemäßen Segmentierungsvorrichtung kann die koordinierende Steuereinrichtung als auf dem Computer ausführbares Steuerprogramm ausgestaltet sein, oder als in die Kamera integrierte, die Beleuchtungseinrichtung steuernde Steuereinheit der Kamera. Eine solche Steuereinheit kann dann auch die Kommunikation der Kamera mit dem Computer bzw. dem Segmentierungsprogramm übernehmen.
Weitere Merkmale der Erfindung ergeben sich aus der folgenden Beschreibung verschiedener erfindungsgemäßer Ausführungsbeispiele und Ausführungsalternativen. Es wird auf die folgenden Figuren verwiesen, welche zeigen:
1 ein Flussdiagramm eines prototypischen erfindungsgemäßen Segmentierungsverfahrens;
2 einen Aufbau einer ersten Ausführungsform der erfindungsgemäßen Segmentierungsvorrichtung;
3 ein Beispiel der bei der Segmentierung entstehenden Bilddaten; und
4 ein Aufbau einer zweiten Ausführungsform der vorliegenden Erfindung.
Nachfolgend wird eine Vorrichtung sowie ein Verfahren zum Erzeugen eines segmentierten Bildes einer Szene beschrieben, die ein oder mehrere Objekte umfasst, die zu erkennen, zu vermessen, zu zählen oder anderweitig zu analysieren sind. Das Verfahren zeichnet sich durch eine hohe Robustheit der Segmentie rungsergebnisse aus, d. h. einer geringen Fehleranfälligkeit und Abhängigkeit von Bildartefakten, einen im Vergleich zu z. B. gängigen 3D-Aufnahmetechniken geringen apparativen Aufwand sowie außerordentlich geringen algorithmischen Berechnungsanforderungen, woraus insgesamt die Echtzeitfähigkeit des beschriebenen Segmentierungsverfahrens resultiert. Das Verfahren ist deshalb insbesondere für solche Bildverarbeitungs- und Segmentierungsanwendungen geeignet, die eine hohe Verarbeitungsgeschwindigkeit bei einer gleichzeitigen hohen Zuverlässigkeit der Segmentierungs- und Erkennungsergebnisse erfordern. Dies gilt insbesondere im industriellen Bereich für die Überwachung von Produktionsvorgängen und die optische Qualitätskontrolle sowie für den Bereich der Personenüberwachung, -registrierung oder -erkennung, beispielsweise an Flughäfen, bei Grenzbehörden, zur Zugangskontrolle zu geschützten Bereichen und dergleichen.
Ein prototypischer Ablauf des Segmentierungsverfahrens ist in 1 in Form eines Flussdiagramms gezeigt. Die Schritte S1 bis S5 betreffen dabei die Aufnahme einer Bildfolge B0, B1, ..., Bn, während die Schritte S6 bis S9 die algorithmische Weiterverarbeitung der Bildfolge B0, B1, ..., Bn betreffen, die schließlich in einem einzelnen segmentierten Ergebnisbild S resultiert, das ein oder mehrere in der Szene vorhandene Objekte deutlich und von dem Hintergrund unterscheidbar markiert, z. B. in Form eines Binärbilds mit weißen Objektbildpunkten (Binärwert 1) und schwarzen Hintergrundbildpunkten (Binärwert 0).
Nach dem Beginn des Verfahrens mit Schritt S1 (START) bilden die Schritte S2, S3 und S4 eine Schleife zur sequentiellen Aufnahme von Einzelbildern der Bildfolge. In Schritt S2 werden die Einzelbinder jeweils von einer Kamera statisch aufgenommen (ACQUISITION), deren Ausrichtung und Orientierung sich gegenüber der aufzunehmenden Szene nicht verändert. Im Idealfall haben also alle aufgenommenen Bilder der Bildfolge B0, B1, ..., Bn einander entsprechende Bildpunkte, die jeweils einen nahezu identischen Szenenausschnitt repräsentieren. In den Schrit ten S3 (SET MODULATION) und S4 (ILLUMINATION) wird die Beleuchtung der Szene für das jeweils nächste aufzunehmende Einzelbild festgelegt.
Im ersten Durchlauf der Schleife S2, S3, S4 wird in Schritt S2 das Bild B0 bei Umgebungsbeleuchtung aufgenommen, d. h. ohne eine aktive Beleuchtung durch eine Beleuchtungseinrichtung. In Schritt S3 wird dann erstmals für die Aufnahme des Bildes B1 eine Beleuchtung(-smodulation) eingestellt bzw. verändert und in Schritt S3 wird die Szene mit der eingestellten Beleuchtung beleuchtet, um anschließend in Schritt S2 als Bild B1 aufgenommen zu werden. Nach insgesamt n Schleifendurchläufen liegt in Schritt S5 schließlich die vollständige Bildfolge B0, B1, ..., Bn vor (SEQUENCE). Die Beleuchtungsmodulation wird in Schritt S3 derart bildweise angepasst, dass die Bilder B0, B1, ..., Bn jeweils paarweise derart verschieden beleuchtet sind, dass auch paarweise unterschiedliche Darstellungen insbesondere des Objekts vorliegen. Die Art der Beleuchtungsmodulation wird nachfolgend im Zusammenhang mit den 2 und 4 im Detail erläutert.
Die in Schritt S5 vorliegende Bildfolge B0, B1, ..., Bn wird in Schritt S6 von einer Segmentierungseinrichtung in eine Folge von Differenzbildern D1 = B1 – B0, D2 = B2 – B0, ..., Dn = Bn – B0 transformiert, indem jeweils aus dem unbeleuchtet aufgenommenen Bild B0 und jedem der aktiv und paarweise unterschiedlich beleuchteten Bilder B1, B2, ..., Bn ein entsprechendes Differenzbild erzeugt wird (DIFFERENCE). Da die aktive Beleuchtung der Bilder B1, B2, ..., Bn gegenüber dem unbeleuchteten Bild B0 zu einem deutlichen Helligkeitsänderung des Objekts führt, sind die Objekte in den Differenzbildern D1, D2, ..., Dn jeweils deutlich dargestellt, während der Hintergrund, auf den die Beleuchtungsmodulation einen geringen Einfluss hat, in den Differenzbildern D1, D2, ..., Dn vernachlässigbar kleine Helligkeitswerte besitzt.
In Schritt S7 werden die Differenzbilder D1, D2, ..., Dn einer Rauschfilterung unterzogen (LOW-PASS), beispielsweise durch ein geeignetes Tiefpass-, Median- oder sonstiges Rauschfilter, und in Schritt S8 wird jedes einzelne der gefilterten Differenzbilder durch eine Schwellenwertoperation in die Binärbilder S1, S2, ..., Sn binarisiert (THRESHOLD). Der angelegte Schwellenwert ist dabei derart gewählt, dass die Helligkeiten der Hintergrundbildpunkte in einem Differenzbild im Wesentlichen unterhalb des Schwellenwerts liegen, während die Helligkeiten der Objektbildpunkte im Differenzbild im Wesentlichen oberhalb der Schwelle liegen. Demzufolge sind in den Binärbildern S1, S2, ..., Sn Objektbildpunkte z. B. mit dem Binärwert 1 dargestellt, während Hintergrundbildpunkte mit dem Binärwert 0 dargestellt sind. Jedes Binärbild S1, S2, ..., Sn kann aufgrund der paarweise unterschiedlichen Beleuchtungen durch die Beleuchtungsmodulation eine leicht veränderte Objektinformation bzw. Objektrepräsentation zeigen, so dass in Schritt S9 ein einzelnes resultierendes Ergebnisbild S des Segmentierungsprozesses durch eine Fusion der Binärbilder S1, S2, ..., Sn errechnet wird (FUSION). Diese Fusion kann beispielsweise durch Bool’sche Binäroperatoren erfolgen, z. B. durch ein logisches UND, ein logisches ODER oder ein exklusives ODER (XOR).
2 zeigt einen Aufbau einer ersten bevorzugten Ausführungsform der Erfindung. Eine Kamera 1 mit einer integrierten Steuereinrichtung 2 und einer vorgeschalteten Spektralfilteranordnung 3 nimmt eine Bildfolge B1, B2, ..., Bn der Szene 11 auf, die ein Objekt 12 vor einem Hintergrund 13 zeigt. Nach einer erfolgreichen Aufnahme und Segmentierung soll das Objekt 12 im Rahmen einer Sicherheitsanwendung oder optischen Qualitätskontrolle beispielsweise vermessen, registriert oder erkannt werden. Zur Beleuchtung der Szene 11 ist eine Beleuchtungseinrichtung 4 vorgesehen, die eine oder mehrere Beleuchtungseinheiten 5 umfasst. Die Beleuchtungseinheiten 5 können hierbei beispielsweise Diodenfelder sein, die jeweils paarweise unterschiedliche schmalbandige Beleuchtungsspektren emittieren, welche nach einer Reflektion durch das Objekt 12 und den Hintergrund 13 und einer Filterung durch das Spektralfilter 3 von der Kamera 1 aufgezeichnet werden.
Die Steuereinrichtung 2 der Kamera 1 steht mit der Beleuchtungseinrichtung 4 in Verbindung und steuert die durch die Beleuchtungseinheiten 4 hervorgerufene Beleuchtungsmodulation derart, dass bei der Aufnahme des Bildes B0 die Szene nicht aktiv beleuchtet wird und bei der Aufnahme der weiteren Bilder B1, B2, ..., Bn jeweils genau eine der verschiedenen Beleuchtungseinheiten 4 die Szene 11 aktiv beleuchtet. Die Bilder B0, B1, ..., Bn werden also jeweils mit paarweise unterschiedlichen Beleuchtungen aufgenommen.
Die Bildfolge 10 wird von der Steuereinrichtung 2 in einem Speicher 9 eines Computers 6 abgespeichert, der ein Segmentierungsprogramm 7 zur Berechnung einer Segmentierung der Szene 11 aus der Bildfolge 10 umfasst. Im einfachsten Falle werden Bildfolgen mit lediglich zwei Einzelbildern B0 und B1 erzeugt. Beispielhaft ist in 2 ein unbeleuchtetes Bild B0 mit einem dunklen Objekt sowie ein aktiv beleuchtetes Bild B1 mit einem beleuchteten helleren Objekt gezeigt, sowie das entsprechende Differenzbild D1 = B1 – B0 und ein sich durch eine Schwellenwertoperation ergebendes Binärbild S, das das weiße Objekt 12 von einem schwarzen Hintergrund 13 unterscheidbar markiert. Die Kamera 1 kann hierbei beispielsweise eine Schwarz/Weiß-Kamera sein, die auch außerhalb des sichtbaren Spektralbereichs bis zu einer Wellenlänge von 1100 nm im Nahinfrarotbereich empfindlich ist. Zur schmalbandigen Beleuchtung werden die Beleuchtungseinheiten 5 als Diodenfelder ausgebildet, wobei zumindest eine der Beleuchtungseinheiten 5 ein schmalbandiges Spektrum im Bereich von 850 nm erzeugt, das bei Reflektion durch das Objekt 12 durch ein auf den Spektralbereich der Beleuchtungseinheit 5 abgestimmtes schmalbandiges Spektralfilter 3 gefiltert von der Kamera 1 aufgenommen wird.
Kern des Segmentierungsverfahrens ist die variierende Beleuchtung des Objekts 12 bei gleichzeitiger nahezu unveränderter Beleuchtung des Hintergrunds 13 durch die koordinierte Beleuchtungsmodulation der Beleuchtungseinrichtung 4, z. B. durch die Verwendung von paarweise unterschiedlichen Beleuchtungsspektren. Diese Tatsache resultiert aus einer 1/r²-Abhängigkeit der Beleuchtungsstärke von dem Abstand r einer Punktlichtquelle zum Objekt 12 bzw. zum Hintergrund 13. Dadurch wird unabhängig von der tatsächlichen Helligkeit des Hintergrunds 13 in der Bildfolge 10 dieser im Differenzbild D1, ..., Dn immer relativ geringe Helligkeitswerte haben und dunkel dargestellt werden. Die signifikante Helligkeitsdifferenz zwischen Objekt 12 und Hintergrund 13 kann dabei durch ein Spektralfilter 3 zur Unterdrückung einer Umgebungsbeleuchtung unterstützt werden, indem dann die in der Regel diffuse und den Segmentierungsprozess störende Umgebungsbeleuchtung in den Einzelbindern B1, ..., Bn nicht aufgezeichnet wird. Dadurch wird eine ansonsten notwendige Subtraktion von hohen, vergleichbaren Hintergrundhelligkeiten verhindert, die ansonsten leicht zu verrauschten Differenzbildern führen könnte. Eine darüber hinaus entstehende Rauschkomponente in den Differenzbildern D1, ..., Dn kann bei der eigentlichen Segmentierung durch eine Tiefpassfilterung weiter eliminiert werden. Daraus resultiert auch, dass bereits kleine Helligkeitsdifferenzen zwischen einem Objekt 12 und dem entsprechenden Hintergrund 13 aufgrund der oben erläuterten 1/r²-Abhängigkeit zur zuverlässigen Trennung des Objekts 12 von dem Hintergrund 13 ausreicht.
Bei Anwendungsgebieten aus der Sicherheitstechnik, dem Zählen oder Registrieren von Personen oder industriellen Gegenständen oder dergleichen ist die Verwendung einer Beleuchtung außerhalb des sichtbaren Spektralbereichs sinnvoll, beispielsweise im Infrarotbereich, da auf diese Weise eine Störung der Beleuchtungsmodulation durch eine Umweltbeleuchtung weiter minimiert werden kann. Darüber hinaus kann eine im Infrarotbereich bzw. allgemein im nicht sichtbaren Lichtbereich operierende Segmentierungsvorrichtung relativ unauffällig arbeiten.
Die Kamera 1 kann eine hochdynamische Kamera mit einem dynamischen Intensitätsbereich oberhalb des 8-Bit-Standards (entspricht 256 digitalen Intensitätswerten) sein. Bei der Nutzung eines nicht-sichtbaren Spektralbereichs ist der Nahinfrarotbereich zwischen 700 nm und 1000 nm besonders bevorzugt, da für diesen Spektralbereich konventionelle und somit preiswerte Siliziumtechnologien als Bildaufnahmechips eingesetzt werden können.
Bei einer besonders bevorzugten Ausführungsvariante besitzt die Kamera 1 eine logarithmische Kennlinie, wodurch die sich aus der Eingangshelligkeit an der Kamera 1 (bzw. einem Bildaufnahmesensor des Kamera 1) ergebende, in einem digitalen Bild niederschlagende Helligkeit eines entsprechenden Ausgabesignals lediglich logarithmisch (anstatt linear) mit der Eingangshelligkeit wächst. Dadurch wird der natürliche multiplikative Zusammenhang zwischen einem Beleuchtungsanteil L(x, y) und einem Reflektionsanteil R(x, y) in der Gesamthelligkeit H(x, y) = R(x, y) × L(x, y) (mit x, y als Bildkoordinaten) (1)eines Bildes (B0, B1, ..., Bn) durch die Logarithmierung in einen additiven Zusammenhang logH(x, y) = logR(x, y) + logL(x, y) (2)der logarithmierten Beleuchtungs- und Reflektionsanteile transformiert, was insbesondere bei der Subtraktion (negative Addition) unterschiedlich beleuchteter Bilder nützlich ist.
Zwischen der Objekthelligkeit H_O(B0) = R_O(B0) × L_O(B0) eines Objekts 12 in einem (nicht aktiv beleuchteten) Bild B0 und der Helligkeit H_O(B1) = R_O(B1) × L_O(B1) eines Objekts 12 in einem (aktiv beleuchteten) Bild B1 sowie zwischen den entspre chenden Hintergrundhelligkeiten H_H(B0) = R_H(B0) × L_H(B0) und H_H(B1) = R_H(B1) × L_H(B1) ergibt sich durch die logarithmischen Kennlinie der Kamera 1 in den Ausgangsbildern folgender Zusammenhang: logHO(B0) = logRO(B0) + logLO(B0) logHO(B1) = logRO(B1) + logLO(B1) (3) logHH(B0) = logRH(B0) + logLH(B0) logHH(B1) = logRH(B1) + logLH(B1) (4)woraus sich für ein Differenzbild D1 = B1 – B0 bei einem helleren Bild B2 ergibt: logHO(B1) – logHO(B0) = logRO(B1) – logRO(B0) + logLO(B1) – logLO(B0) logHH(B1) – logHH(B0) = logRH(B1) – logRH(B0) + logLH(B1) – logLH(B0) (5)
Hierbei setzt sich die Oberflächenbeleuchtungsstärke L aus einem konstanten Anteil L^const und einem modulierten Anteil L^mod zusammen: L = Lconst + Lmod mit Lmod = 0 für Bild B0. (6)
Für ein Objekt 12 vor einem Hintergrund 13 ist die Beleuchtungseinrichtung 4 vorzugsweise so ausgestaltet, dass der modulierte Anteil in der Oberflächenbeleuchtungsstärke 10 wesentlich größer ist, als der modulierte Anteil in der Hintergrundbeleuchtungsstarke L_H: LO mod >> LH mod (7)was wegen des oben erläuterten Helligkeitsabfalls mit 1/r² bei wachsendem Abstand r des Objekts 12 von der Lichtquelle 5 leicht realisierbar ist. Aufgrund der in jedem Bild B0, B1, ..., Bn nahezu unveränderten Reflexionskomponente R und der unveränderten konstanten Anteile L^const gilt: logHO(B1) – logHO(B0) = logLO(B1) – logLO(B0) = log(LO const(B1) + LO mod(B1)) – logLO const(B0) = log(1 + LO mod(B1)/LO const(B0)) (8a) logHH(B1) – logHH(B0) = logLH(B1) – logLH(B0) = log(LH const(B1) + LH mod(B1)) – logLH const(B0) = log(1 + LH mod(B1)/LH const(B0)) (8b)woraus sich aus log(1 + L_H ^mod(B1)) aufgrund L_O ^const(B0) ≈ log1 = 0 und log(1 + L_O ^mod(B1)/L_O ^const(B0)) >> 0 die folgende entscheidende Relation ergibt: logHO(B1) – logHO(B0) >> logHH(B1) – logHH(B0). (9)
Dies bedeutet, dass im Differenzbild D1 = B1 – B0 die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Objekts 12 wesentlich größer sind als die Helligkeitsdifferenzen von entsprechenden Bildpunkten des Hintergrunds 13, so dass sich das Objekt 12 im Differenzbild D1 sogar nahezu unabhängig von seiner Oberflächenreflektivität R_O(B0) bzw. R_O(B1) im Vergleich zur Hintergrundreflektivität R_H(B0) bzw. R_H(B1) deutlich hervorhebt. Diese hohen Helligkeitsunterschiede zwischen Objekt 12 und Hintergrund 13 im Differenzbild D1 ermöglicht eine entsprechend einfache Segmentierung durch eine relativ robuste, globale Schwellenwertoperation.
Die Verwendung einer Kamera 1 mit logarithmischer Kennlinie (also die apparative Logarithmierung bei Bildaufnahme) ist deshalb besonders vorteilhaft, weil sich gegenüber der der eigentlichen Bildaufnahme nachgeschalteten algorithmischen Lo garithmierung eine vorteilhaftere Rauschfehlerfortpflanzung ergibt. In diesem Zusammenhang wird auf die Bildbeispiele der 3 verwiesen, die zwei Einzelbilder B0 (ohne aktive Beleuchtung) und B1 (mit aktiver Beleuchtung) zeigt, sowie das Differenzbild D1 = B0 – B1 in Falschfarbendarstellung und ein segmentiertes Ergebnisbild S, das die hellen Objektbildpunkte von den dunklen Hintergrundbildpunkten deutlich markiert.
4 zeigt eine zweite bevorzugte Ausführungsform der vorliegenden Erfindung, bei der die Beleuchtungsmodulation durch zwei im Hinblick auf die aufzunehmende Szene geometrisch unterschiedlich angeordnete Beleuchtungseinheiten 5 der Beleuchtungseinrichtung 4 erreicht wird. Hierbei wird ausgenutzt, dass die Oberflächenreflektivität R_O eines Objekts 12 (im Beispiel der 4 eines Kratzers in einem Materialstück, das auch den Hintergrund 13 bildet) von der geometrischen Anordnung der Beleuchtungseinheit 5 abhängt, d. h. von dem Einfallswinkel der modulierten Beleuchtung auf die Objektoberfläche bzw. auf die im Verhältnis zur Objektoberfläche unterschiedlich ausgerichteten weiteren Oberflächen im Bereich des Kratzers 12 der 4. Bei einem vergleichbaren Abstand der beiden Beleuchtungseinheiten 5 zu der aufzunehmenden Szene 11 wird die Reflektivität von der durch den Normalenvektor der jeweiligen Oberfläche beschriebenen Ausrichtung der Oberfläche bestimmt, wobei auch Schatten- und Halbschattenbildeffekte erzeugt und ausgenutzt werden können.
In 4 finden sich neben der regulären Oberfläche des Werkstücks (Hintergrund 13) noch mindestens zwei Objekt- bzw. Kantenoberflächen, deren Ausrichtung sich von derjenigen der Hintergrundfläche 13 unterscheidet. Es ist deshalb sinnvoll, eine Bildfolge 10 aus zumindest drei Bildern B0, B1, B2 mit einer entsprechenden Kamera 1 aufzuzeichnen, wobei das Bild B0 bei ausgeschalteter Beleuchtungseinrichtung 4 (d. h. bei Umgebungsbeleuchtung) aufgenommen wird, während die Bilder B1 und B2 bei Beleuchtung durch jeweils eine der beiden Be leuchtungseinheiten 5 aufgezeichnet werden. Daraus resultierend werden ausgehend von den Differenzbildern D1 = B1 – B0 und D2 = B2 – B0 zwei entsprechenden segmentierte Bilder S1 und S2 durch Tiefpassfilterung und eine Schwellenwertoperation erzeugt, die schließlich zu einem gemeinsamen Ergebnisbild S fusioniert werden. Durch die Fusion mehrerer segmentierter Bilder S1, ..., Sn, die jeweils aus Bildpaaren B0, B1; ...; B0, Bn gewonnen werden, erhält man ein einheitliches binäres Ergebnisbild S für die gesamte aufgenommene Bildfolge B0, B1, ..., Bn. Das Ergebnisbild S vereint dabei alle Objektinformationen der segmentierten Bilder S1, ..., Sn und ist in der Regel hinreichend robust gegenüber Artefakten bei der Aufnahme und/oder Beleuchtungsfehlern.
Grundsätzlich sind zur Segmentierung auch Schattenflächen 15, die keine direkte Beleuchtung erfahren, und Halbschattenflächen 14, die wenigsten von einer Beleuchtungseinheit 5 direkt beleuchtet werden, zur Objektsegmentierung nutzbar, so dass auch alle Positions- und Ausrichtungskombinationen von Kamera 1 und Beleuchtungseinrichtung 4 bezüglich der Szene 11 ausgenutzt werden können. Deshalb ist es sinnvoll, dass die Beleuchtungseinrichtung 4 auch mehrere geometrisch unterschiedliche ausgerichtete Beleuchtungseinheiten 5 umfasst und dementsprechend längere Bildfolgen B0, B1, ..., Bn aufgezeichnet werden, aus denen wiederum entsprechend mehr Differenz- D1, ..., Dn und segmentierte Bilder S1, ..., Sn errechnet werden, wobei bei Aufnahme der Bilder paarweise unterschiedliche Kombinationen von aktiven Beleuchtungseinheiten 5 eingesetzt werden. Die Fusion der segmentierten Bilder S1, ..., Sn zu einem Ergebnisbild S kann dabei auf einfache Weise eine logische UND-Operation realisiert werden, so dass im resultierenden Ergebnisbild S lediglich solche Objektbildpunkte gesetzt sind, die in allen Differenzbildern D1, ..., Dn gesetzt sind.
Bei der in 4 illustrierten Beleuchtungsanordnung werden Polarisationsfilter 16 bei den Beleuchtungseinheiten 5 und/oder bei der Kamera 1 eingesetzt. Dadurch zeichnen sich z. B. gut reflektierende Metalloberflächen durch starke Helligkeitsdifferenzen aus, die zu robust erkennbaren Objektbereichen in den entsprechenden Differenzbildern führen. Bei der in 4 gezeigten Beleuchtungsanordnung lässt sich auf diese Weise z. B. ein Kratzer 12 unterschiedlich zu einer glatten Metalloberfläche 13 darstellen und segmentieren. Dadurch wird eine Segmentierung hinsichtlich der Ausrichtung der Objektoberflächen im Koordinatensystem der Beleuchtungseinrichtung 4 ermöglicht.
Dieses Vorgehen kann mit einer kameraseitigen Polarisationsfilterung verbunden werden, wobei ein Polarisationsfilter 16 der Kamera 1 auf ein gegebenenfalls eingesetztes Polarisationsfilter 16 der Beleuchtungseinheiten 5 abgestimmt ist und bei Bedarf automatisch zugeschaltet werden kann. Die Reflektion des unpolarisierten Umgebungslichts liefert hinsichtlich des Normalenvektors der verschiedenen reflektierenden Oberflächen polarisationsabhängige Helligkeiten und ermöglicht somit eine Segmentierung hinsichtlich der Objektoberflächenausrichtung im Kamerakoordinatensystem.
Die Polarisationsfilterung kann auch im Zusammenhang mit der Anordnung gemäß 2 oder bei Kombinationen der Spektralmodulation gemäß 2 und der Ausrichtungsmodulation gemäß 4 eingesetzt werden. Die Polarisationsfilterung an den Beleuchtungseinheiten 5 und der Kamera 1 bewirkt prinzipiell eine weitere Unterdrückung von diffusem Umgebungslicht und anderer Beleuchtungseffekte und -artefakte, denn es wird nur reflektiertes Licht derjenigen Polarisationsrichtung aufgezeichnet, die auch tatsächlich von der betreffenden Beleuchtungseinrichtung 5 emittiert wurde.
Die erläuterten Ausführungsformen der vorliegenden Erfindung zeichnen sich allgemein dadurch aus, dass Bildfolgen B0, B1, ..., Bn mit unveränderter relativer Position und Ausrichtung der Kamera 1 (statische Bildfolge) im Szenenkoordina tensystem aufgenommen werden, die durch unterschiedliche Beleuchtungsmodulationen hinsichtlich der Geometrie und des emittierten Beleuchtungsspektrums und durch unterschiedliche Spektral- und/oder Polarisationsfilterung des einfallenden Lichtes entstehen. Die gesamte zur Informationsextraktion erforderliche Bildfolge B0, B1, ..., Bn ist bei der üblichen 50 bis 60 Hz Aufnahmetechnik in der Regel in weniger als 0,1 Sekunden aufgezeichnet. Wesentlich ist dabei die Tatsache, dass die anwendungsspezifische Komposition der Bildfolgen B0, B1, ..., Bn die relative Helligkeit der gesuchten Objekte 12 derart verändert, dass eine robuste Segmentierung mit einem geringen algorithmischen Aufwand (Rechenzeit) lediglich durch bildpunktweise Bildsubtraktion und eine Schwellenwertoperation erreicht werden kann. Auf diese Weise ist eine Vielzahl von industriellen und anderen Bildverarbeitungs- und Segmentierungsaufgaben mit sehr geringem technischen Aufwand und in Echtzeit durchführbar. Aufgrund der außergewöhnlichen Robustheit der Segmentierungsergebnisse ist der Kalibrierungsaufwand für die Beleuchtungs- und die Aufnahmeeinrichtung grundsätzlich vernachlässigbar.

Claims

Bildsegmentierungsvorrichtung, umfassend eine Beleuchtungseinrichtung (4) zur aktiven Beleuchtung einer ein Objekt (12) umfassenden Szene (11); eine Aufnahmeeinrichtung (1) zur Aufnahme eines Bildes (B0, B1, ..., Bn) der beleuchteten Szene (11) basierend auf einer von der Szene reflektierten Beleuchtung; und eine mit der Aufnahmeeinrichtung (1) verbundene Segmentierungseinrichtung (7) zum Ableiten eines segmentierten Bildes (S) aus dem aufgenommenen Bild (B0, B1, ..., Bn), in dem das Objekt (12) markiert ist, wobei die Beleuchtungseinrichtung (4) zumindest eine Beleuchtungseinheit (5) umfasst und eingerichtet ist, die Szene (11) mit einer von der zumindest einen Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation zu beleuchten; und die Aufnahmeeinrichtung (1) bezüglich ihrer Orientierung gegenüber der Szene im wesentlichen unveränderlich ist und eingerichtet ist, eine zumindest zwei Bilder (B0, B1, ..., Bn) umfassende statische Bildfolge (10) der im wesentlichen unveränderten Szene (11) aufzunehmen; gekennzeichnet durch eine Steuereinrichtung (2), die eingerichtet ist, die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die Aufnahmeeinrichtung (1) derart zu steuern, dass ein erstes Bild (B0) der Bildfolge (10) bei Umgebungsbeleuchtung aufgenommen wird und jedes weitere Bild (B1, ..., Bn) der Bildfolge (10) bei aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit (5) aufgenommen wird; und die Segmentierungseinrichtung (7) eingerichtet ist, jeweils ein Differenzbild (D1, ..., Dn) aus dem bei Umgebungsbeleuchtung aufgenommenen Bild (B0) der Bildfolge (10) und jeweils einem bei unterschiedlicher aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit (5) aufgenommenen weiteren Bild (B1, ..., Bn) der Bildfolge (10) zu bilden und aus jedem Differenzbild (D1, ..., Dn) jeweils ein binärwertiges segmentiertes Bild (S1, ..., Sn) abzuleiten und die binärwertigen segmentierten Bilder mittels eines Binäroperators zu fusionieren.
Segmentierungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die zumindest eine Beleuchtungseinheit (5) zur Beleuchtung ein schmalbandiges Spektrum im Nahinfrarotbereich erzeugt, vorzugsweise zwischen 700 nm und 1000 nm, besonders bevorzugt bei 850 nm.
Segmentierungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) zumindest zwei Beleuchtungseinheiten (4) umfasst, die zur Beleuchtung paarweise verschiedene schmalbandige Spektren erzeugen, und die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungseinrichtung (4) und die Aufnahmeeinrichtung (1) derart zu steuern, dass bei aktiver Beleuchtung jeweils einer der Beleuchtungseinheiten (5) jeweils ein Bild (B0, B1, ..., Bn) der Bildfolge (10) aufgenommen wird.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1) ein auf die Beleuchtungsmodulation der Beleuchtungseinrichtung (4) abgestimmtes Spektralfilter (3) umfasst, das eine Umgebungsbeleuchtung unterdrückt und ein der aktive Beleuchtung der jeweiligen Beleuchtungseinheit (5) entsprechendes Spektralband passieren lässt, wobei die Aufnahmeeinrichtung (1) eingerichtet ist, das Spektralfilter (3) bei der Aufnahme der Bildfolge (10) abhängig von der jeweils aktiven Beleuchtung bildweise zuzuschalten.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) zumindest zwei bezüglich der Szene (11) geometrisch jeweils unterschiedlich angeordnete Beleuchtungseinheiten (5) umfasst und eingerichtet sind, die Szene (11) mit einer aus der unterschiedlichen geometrischen Anordnung der Beleuchtungseinheiten (5) resultierenden Beleuchtungsmodulation zu beleuchten; die Aufnahmeeinrichtung (1) eingerichtet ist, eine zumindest drei Bilder (B0, B1, ..., Bn) umfassende Bildfolge (10) aufzunehmen; und die Steuereinrichtung (2) eingerichtet ist, die Beleuchtungseinrichtung (4) und die Aufnahmeeinrichtung (1) derart zu steuern, dass ein erstes Bild (B0) der Bildfolge (10) bei Umgebungsbeleuchtung und weitere Bilder (B1, ..., Bn) der Bildfolge (10) bei aktiver Beleuchtung durch jeweils zumindest eine Beleuchtungseinheit (5) aufgenommen wird.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1) eine Kamera ist, die eingerichtet ist, ein in den Infrarotbereich hineinreichendes Spektrum zu erfassen, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1) eine Kamera mit logarithmischer Kennlinie ist.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (1) eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit ist.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die zumindest eine Beleuchtungseinheit (5) der Beleuchtungseinrichtung (4) jeweils mit einem Polarisationsfilter (16) ausgestattet ist und/oder die Aufnahmeeinrichtung (1) ein Polarisationsfilter (16) umfasst und ein gerichtet ist, das Polarisationsfilter (16) bei der Aufnahme der Bildfolge (10) abhängig von der jeweils aktiven Beleuchtung bildweise zuzuschalten.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (4) Diodenfelder als zumindest eine Beleuchtungseinheit (5) umfasst.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Segmentierungseinrichtung (7) eingerichtet ist, aus einem Differenzbild (D1, ..., Dn) durch eine Tiefpassfilterung und eine Schwellenoperation ein segmentiertes Bild (S1, ..., Sn) als Binärbild abzuleiten, wobei das Objekt (12) durch einen Binärwert des Binärbilds markiert wird.
Segmentierungsvorrichtung nach einem der Ansprüche 1 bis 11, gekennzeichnet durch einen Computer (6) mit einem Speicher (9), einem Prozessor (8) und einer Datenkommunikationsschnittstelle, wobei die Segmentierungseinrichtung (7) ein in dem Speicher (9) gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm ist und die Aufnahmeeinrichtung (1) über die Datenkommunikationsschnittstelle an den Computer (6) angeschlossen ist.
Segmentierungsverfahren zum Markieren eines Objekts (12) in einem eine das Objekt (12) umfassende Szene (11) wiedergebenden Bild (B0, B1, ..., Bn), umfassend die Schritte: – Aktives Beleuchten (S4) der das Objekt (12) umfassenden Szene (11) mit modulierter Beleuchtung; – Aufnehmen (S2) eines Bildes (B0, B1, ..., Bn) der beleuchteten Szene (11) basierend auf einer von der Szene reflektierten Beleuchtung; – Ableiten (S6–S9) eines segmentierten Bildes (S), in dem das Objekt (12) markiert ist, aus dem aufgenommenen Bild (B0, B1, ..., Bn); wobei eine zumindest zwei Bilder (B0, B1, ..., Bn) umfassende statische Bildfolge (10) mit einer im wesentlichen unveränderlichen Orientierung aufgenommen wird (A2) und die Szene (11) im wesentlichen unverändert ist; dadurch gekennzeichnet, dass die Szene derart mit einer Beleuchtungsmodulation beleuchtet wird (S3, S4) und die Bildfolge (10) derart aufgenommen wird (S5), dass ein erstes Bild (B0) der Bildfolge (10) bei Umgebungsbeleuchtung aufgenommen wird (S2) und jedes weitere Bild (B1, ..., Bn) der Bildfolge (10) bei unterschiedlichen modulierten Beleuchtungen aufgenommen wird; und aus den zumindest zwei Bildern (B0, B1, ..., Bn) der Bildfolge (10) jeweils ein Differenzbild (D1, ..., Dn) aus dem bei Umgebungsbeleuchtung aufgenommenen Bild (B0) und jeweils einem der bei unterschiedlicher aktiver modulierter Beleuchtung aufgenommenen weiteren Bild (B1, ..., Bn) der Bildfolge (10) abgeleitet wird, wobei aus jedem der Differenzbilder (D1, ..., Dn) jeweils ein binärwertiges segmentiertes Bild (S1, ..., Sn) abgeleitet wird und die binärwertigen segmentierten Bilder (S1, ..., Sn) mittels eines Binäroperators fusioniert werden.
Segmentierungsverfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Szene (11) bei der Beleuchtungsmodulation mit zumindest einem schmalbandigen Spektrum im Nahinfrarotbereich beleuchtet wird (S2), vorzugsweise mit einer Wellenlänge zwischen 700 nm und 1000 nm, besonders bevorzugt bei einer Wellenlänge von 850 nm.
Segmentierungsverfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Szene (11) bei der Beleuchtungsmodulation derart mit zumindest zwei paarweise verschiedenen schmalbandigen Spektren beleuchtet wird (S3, S4), dass bei Beleuchtung durch jeweils eines der zumindest zwei paarweise verschiedenen Spektren jeweils ein Bild (B0, B1, ..., Bn) der Bildfolge (10) aufgenommen wird (S2).
Segmentierungsverfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass bei der Aufnahme (S2) der Bildfolge (10) das von der Szene (11) reflektierte Licht abhängig von der jeweiligen Beleuchtung derart bildweise spektral gefiltert wird, dass eine Umgebungsbeleuchtung unterdrückt und ein der jeweiligen Beleuchtung entsprechendes Spektralband passieren gelassen wird.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass eine zumindest drei Bilder (B0, B1, ..., Bn) umfassende Bildfolge (10) aufgenommen wird (S5), wobei die Szene (11) derart mit einer aus zumindest zwei bezüglich der Szene geometrisch unterschiedlich ausgerichteten Beleuchtungen resultierenden Beleuchtungsmodulation beleuchtet wird (S3, S4), dass ein erstes Bild (B0) der Bildfolge bei Umgebungsbeleuchtung aufgenommen wird (S2) und jedes weitere Bild (B1, ..., Bn) der Bildfolge (10) bei jeweils zumindest einer der geometrisch unterschiedlich ausgerichteten Beleuchtungen aufgenommen wird (S2).
Segmentierungsverfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass bei der Aufnahme der Bildfolge (10) ein in den Infrarotbereich hineinreichendes Spektrum erfasst wird (S2), vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 18, dadurch gekennzeichnet, dass die Bilder (B0, B1, ..., Bn) der Bildfolge (10) derart aufgenommen werden, dass zwischen einer Eingangsintensität des zur Aufnahme eines Bildes (B0, B1, ..., Bn) erfassten Lichts und einem das Bild (B0, B1, ..., Bn) bildenden Ausgangssignal eine logarithmische Abhängigkeit besteht und das ein Diffe renzbild (D1, ..., Dn) derart gebildet wird, dass Bildpunkte des Differenzbildes (D1, ..., Dn), die einen das Objekt (12) umgebenden Hintergrund (13) der aufgenommenen Szene (11) wiedergeben, im Vergleich zu Bildpunkten des Differenzbildes (D1, ..., Dn), die das Objekt (12) wiedergeben, vernachlässigbare Helligkeitswerte besitzt.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 19, dadurch gekennzeichnet, dass die Bilder (B0, B1, ..., Bn) der Bildfolge (10) mit einer Farbtiefe von mehr als 8 Bit aufgenommen werden (S2).
Segmentierungsverfahren nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass die Szene (11) mit polarisiertem Licht beleuchtet wird und/oder bei der Aufnahme der Bildfolge (10) das von der Szene (11) reflektierte Licht bildweise polarisationsgefiltert wird.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 21, dadurch gekennzeichnet, dass die Beleuchtung durch Diodenfelder erzeugt wird.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 22, dadurch gekennzeichnet, dass durch eine Tiefpassfilterung und eine Schwellenoperation aus einem Differenzbild (D1, ..., Dn) ein segmentiertes Bild (S1, ..., Sn) als Binärbild abgeleitet wird, wobei das Objekt (12) durch einen Binärwert des Binärbilds markiert wird.
Segmentierungsverfahren nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass die Szene von einer Beleuchtungseinrichtung (4) beleuchtet wird, die mit einer die Bildfolge (10) aufnehmenden Aufnahmeeinrichtung (1) derart koordiniert wird, dass die Bildfolge (10) bei einer Beleuchtungsmodulation aufgenommen wird, und die aufgenommene Bildfolge (10) einem auf einem Com puter (6) ausgeführten Segmentierungsprogramm (7) bereitgestellt wird, das aus der Bildfolge (10) das segmentierte Bild (S) ableitet.