-
Die
Erfindung betrifft ein Bildverarbeitungsverfahren zur Bestimmung
von Tiefeninformationen aus wenigstens zwei mittels eines Stereokamerasystems
aufgenommenen Eingangsbildern, wobei die Tiefeninformation aus einer
Disparitätskarte unter Einbeziehung von geometrischen Eigenschaften
des Stereokamerasystems berechnet wird. Des weiteren betrifft die
Erfindung ein Computerprogramm, ein Computerprogrammprodukt und
eine Vorrichtung, um ein derartiges Verfahren auszuführen
bzw. durchzuführen.
-
Stand der Technik
-
Die
Tiefenberechnung auf Basis zweier Stereobilder ist ein Standardproblem
in der Bildverarbeitung, zu dessen Lösung zahlreiche Algorithmen
bekannt sind. Dabei werden mit Hilfe von Stereoauswertungsverfahren
Disparitäten d zwischen zeitlich synchronisierten und rektifizierten
Stereobildpaaren bzw. Stereovideobildpaaren bestimmt. Wie aus 1 ersichtlich,
ist die Disparität d als eindimensionaler Verschiebungsvektor
in Richtung der Bildzeile definiert und gibt ausgehend von einem
Pixel bzw. Bildpunkt xi in dem linken Bild A1 den korrespondierenden
Bildpunkt xj in dem rechten Bild A2 an. Die Menge aller Disparitäten
d mit d = xj – xi' wird auch als Disparitätskarte
bezeichnet. xi' bezeichnet den von dem linken Bild A1 in das rechte
Bild A2 projizierten Bildpunkt. Die Tiefeninformation des Stereobilds lässt
sich dann mit Hilfe der Disparitätskarte unter Einbeziehung
der geometrischen Eigenschaften des Stereokamerasystems berechnen.
Maßgeblich bei der Bestimmung der Disparitäten
d ist die Ermittlung von Korrespondenzen von Bildpunkten in den
Stereobildern. Zur Bestimmung der Disparitäten d werden häufig
merkmalsbasierte Verfahren bzw. Algorithmen vorgeschlagen. Eine Übersicht
und Gegenüberstellung dieser Verfahren ist M. Z.
Brown, D. Burschka, und G. D. Hager "Advances in computational
stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence,
Vol. 25, Nr. 8, Seiten 993–1008, August 2003 [1]
und D. Scharstein und R. Szeliski "A taxonomy and
evaluation of dense two-frame stereo correspondence algorithms",
International Journal of Computer Vision, Vol. 47, Seiten 7–42,
April 2002 [2] zu entnehmen.
-
Zur
Berechnung der Disparitätskarte werden im Allgemeinen die
in 2 dargestellten algorithmischen Verfahrensschritte
V, S1–S3 (in gestricheltem Rahmen), N durchlaufen. Die
Originalbilddaten lassen sich mit Hilfe von Vorbereitungsschritten
V hinsichtlich des gewählten Stereoverfahrens manipulieren
(z. B. Median-Filterung, Rangtransformation). In dem ersten Verfahrensschritt
S1 erfolgt die Berechnung eines Distanzmaßes. Dabei werden
häufig Distanzmaße oder korrelationsbasierte Maße
verwendet. Abhängig von dem jeweils verwendeten Distanzmaß kann
die in dem Verfahrensschritt S2 durchgeführte Aggregation
der Kosten pixelweise direkt oder aber unter Verwendung von Fenstern
erfolgen. Insbesondere in dem zuerst genannten Fall werden innerhalb
der Korrespondenzsuche in Verfahrensschritt S3 Annahmen über
die Glattheit, die Eindeutigkeit oder auch die Ordnung der Disparitäten
als Nebenbedingung berücksichtigt. Der Aufwand, der innerhalb
der Korrespondenzsuche im Verfahrensschritt S3 betrieben wird, ist
oftmals für die Dichte, die Robustheit und die Zuverlässigkeit
der Ergebnisse ausschlaggebend und durch die verwendete Optimierungstechnik
definiert. Dabei sind aus dem Stand der Technik zum Beispiel die
folgenden Optimierungstechniken bekannt: Dynamic Programming, Scan-Line
Optimization, Graph-Based Techniques, Simulated Annealing und klassische
lokale Methoden. Anschließend kann in einem Verfahrensschritt
N eine Nachbearbeitung bzw. ein Post-Processing durchgeführt
werden, insbesondere um offensichtlich fehlerhafte Bereiche, welche
etwa durch Verdeckungen entstehen können, aus der Disparitätskarte
zu entfernen oder um durch Interpolation in dem zuvor ermittelten
Kostenraum eine Subpixel-Genauigkeit der Disparitätsschätzung
zu erreichen.
-
Die
bekannten Stereo-Verfahren bzw. Stereo-Auswertungsverfahren basieren
im Kern auf der Minimierung von Kostenfunktionen (siehe hierzu Veröffentlichung
[2]), welche die Differenz zwischen Bildblöcken aus zeitlich
synchron aufgenommenen Bildpaaren des Stereokamerasystems quantifizieren. Hierzu
werden häufig Distanzmaße, wie die Summe der absoluten
Differenzen (Sum of Absolute Differences/SAD), die Summe der quadrierten
Differenzen (Sum of Squared Differences/SSD) und der Kreuzkorrelationskoeffizient
(Cross Correlation Coeffi cient/CCC) oder auch einfache Hamming-Distanzen zwischen
Codeworten nach einer geeigneten Transformation und Quantisierung
der Bilddaten verwendet (siehe Veröffentlichungen [1] und
[2]). Das Distanzmaß stellt ein Maß für
die Unähnlichkeit bzw. Unterschiedlichkeit dar. Der entscheidende
Nachteil dieser Verfahren zur Schätzung von Stereodisparitäten auf
realen Bildsequenzdaten besteht in den unzureichenden Invarianz-
bzw. Robustheitseigenschaften. So setzen das SAD- und das SSD-Kriterium
implizit die Konstanz des Mittelwerts der Daten voraus, was unter
realen Bedingungen im Allgemeinen nicht gegeben ist. Mittelwertfreie
Versionen dieser Kriterien weisen diesen Nachteil zwar nicht auf.
Dennoch sind die Invarianzeigenschaften weiterhin unzureichend, da
bereits eine einfache Skalierung der Daten, wie sie beispielsweise
durch globale Beleuchtungsänderungen verursacht werden
kann, nicht kompensiert wird. Dies gelingt erst durch Verwendung
des verhältnismäßig rechenaufwändigen
vorstehend genannten CCC-Kriteriums, welches jedoch wiederum bei
nicht linearen Störungen der Daten, die etwa durch lokale Beleuchtungsänderungen
hervorgerufen werden können, versagt. Verfahren auf der
Basis von Hamming-Distanzen zwischen Codeworten transformierter,
quantisierter Daten basieren im Allgemeinen auf heuristischen Ansätzen,
so dass die entsprechenden Invarianzeigenschaften nicht analytisch
bestimmt werden können. Auch die in [1] erwähnte
nichtparametrische Rangtransformation stellt lediglich eine Heuristik
dar.
-
Somit
lässt sich zusammenfassen, dass die bekannten Verfahren
zur Stereoauswertung zur Bestimmung von Tiefeninformation bzw. zur
3D-Rekonstruktion auf Basis von Stereokamerasystemen bzw. Stereovideosystemen
je nach Implementierungsvariante einen oder mehrere der folgenden
Nachteile aufweisen:
- – Die Rechenkomplexität übersteigt
die Rechenleistung von verwendeten eingebetteten Systemen (Embedded
Systems) um eine oder mehrere Größenordnungen.
- – Die Disparitätsschätzungen liegen
nur für einen Bruchteil von beispielsweise weniger als
10% der Bildpunkte vor.
- – Die Disparitätsschätzungen weisen
einen signifikanten Anteil von groben Fehlmessungen auf.
- – Die Disparitätsschätzungen weisen
eine unzureichende Genauigkeit, z. B. eine Standardabweichung in
der Größenordnung von mehreren Disparitätsstufen
auf.
-
-
Offenbarung der Erfindung
-
Erfindungsgemäß wird
ein Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation
aus wenigstens zwei, insbesondere stereoskopisch mittels eines Stereokamerasystems,
insbesondere mit wenigstens zwei Bildsensoren, aufgenommenen, insbesondere
zeitlich synchronsierten und/oder rektifizierten, Eingangsbildern,
wobei die Tiefeninformation aus einer Disparitätskarte
unter Einbeziehung von geometrischen Eigenschaften des Stereokamerasystems
berechnet bzw. bestimmt wird, vorgeschlagen, welches durch folgende
Verfahrensschritte zur Ermittlung der Disparitätskarte
gekennzeichnet ist:
- – Transformation
der Eingangsbilder in Signaturbilder mittels eines vorgegebenen
Operators;
- – Kostenberechnung anhand der Signaturbilder mittels
eines parameterfreien bzw. nichtparametrischen statistischen Rangkorrelationsmaßes
zur Ermittlung eines Kostenraums für vorgegebene Disparitätsstufen
in Bezug zu wenigstens einem der wenigstens zwei Eingangsbilder;
- – Durchführung einer Korrespondenzanalyse
für jeden Punkt des Kostenraums für die vorgegebenen
Disparitätsstufen, wobei die jeweils zu bestimmende Disparität
die Korrespondenz mit den geringsten Kosten aufweist; und
- – Ermitteln der Disparitätskarte aus den zuvor
bestimmten Disparitäten.
-
In
vorteilhafter Weise werden die eingangs erwähnten Mängel
der bekannten Verfahren durch das erfindungsgemäße
Bildverarbeitungsverfahren vollständig behoben. Das erfindungsgemäße
Bildverarbeitungsverfahren zur Ermittlung der Stereo-Video-Disparitäten
bzw. der Disparität auf Basis eines statischen Rangkorrelationsmaßes
besitzt keine der genannten Einschränkungen. Die eingesetzte
parameterfreie bzw. nichtparametrische Statistik der Daten ist invariant
gegenüber monotonen, nichtlinearen Transformationen. Die
parameterfreie Statistik beschäftigt sich mit parameterfreien
statistischen Modellen und parameterfreien statistischen Tests.
Andere gebräuchliche Bezeichnungen sind nichtparametrische
Statistik oder verteilungsfreie Statistik. Die Modellstruktur ist
dabei nicht vorab festgelegt. Es werden keine Annahmen über
die Wahrscheinlichkeitsvertei lung der untersuchten Variablen gemacht.
Ein Rangkorrelationskoeffizient bzw. ein Rangkorrelationsmaß stellt
dementsprechend ein parameterfreies Maß für Korrelationen
dar, womit gemessen werden kann, wie gut die Übereinstimmung
zwischen zwei stochastischen Variablen ist, ohne Annahmen über die
parametrische Struktur der Wahrscheinlichkeitsverteilung der Variablen
zu machen. Das Verfahren ermöglicht eine Implementierung
auf aktuellen eingebetteten Systemen, z. B. auf programmierbaren
integrierten Schaltkreisen (Field Programmable Gate Arrays/FPGA),
eine dichte Schätzung von Disparitäten für
allgemein mehr als 90% der relevanten Bildpunkte, eine robuste Schätzung
von Disparitäten mit einem Ausreißeranteil von
im Allgemeinen weniger als 1% und eine Disparitätsschätzung
mit einer Genauigkeit im Bereich von Subpixeln. Bei dem erfindungsgemäßen
Bildverarbeitungsverfahren wird ein statistisches Maß bzw.
eine statistische Metrik statt deterministischer Distanzmaße
eingesetzt. Die Verwendung einer statistischen Rangkorrelation lässt
sich streng mathematisch motivieren, da das Verfahren auf einen
normierten Korrelationskoeffizienten zurückgeführt
werden kann.
-
Die
Eingangsbilder können nicht rektifiziert, teilrektifiziert
oder nichtrektifiziert sein. Unter Rektifizierung bzw. Berichtigung
wird allgemein die Eliminierung geometrischer Verzerrungen in Bilddaten, beispielsweise
bedingt durch nicht ideale Abbildungseigenschaften der Optik oder
kleine geometrische Herstellungstoleranzen des Imagers, verstanden.
-
Sehr
vorteilhaft ist es, wenn als nicht parametrisches statistisches
Rangkorrelationsmaß der Kendalls-Tau-Rangkorrelationskoeffizient
bzw. eine Variante dieses Koeffizienten verwendet wird. Das Rangkorrelationsmaß von
Kendall ist beispielsweise in H. Abdi, Kendall rank correlation.
In N. J. Salkind (Ed.): "Encyclopedia of Measurement and
Statistics" Thousand Oaks (CA), 2007 [3] beschrieben,
welches bereits 1938 in der mathematischen Statistik eingeführt
wurde. Aufgrund des verhältnismäßig hohen Rechenaufwands
für hochdimensionale Daten hat das Verfahren jedoch für
praktische Implementierungen im Bereich der Signalverarbeitung bislang
keine Anwendung gefunden. Erst die Leistungsfähigkeit moderner
eingebetteter Systeme sowie die applikationsspezifische Ausgestaltung
des erfindungsgemäßen Bildverarbeitungsverfahrens
erschließt das hier beschriebene sowie benachbarte Anwendungsfelder.
-
Unter
einem Signaturbild wird ein mittels eines vorgegebenen Operators
transformiertes Eingangsbild verstanden. Als vorgegebener Operator kann
ein Vorzeichenoperator verwendet werden.
-
Mittels
des Vorzeichenoperators können die Vorzeichen der Differenzen
von Bilddaten, insbesondere Grauwerten, unterschiedlicher Bildpunkte
der jeweiligen Eingangsbilder in einem beliebig wählbaren
Teilbereich der Eingangsbilder bestimmt und in den Signaturbildern
abgespeichert werden.
-
Erfindungsgemäß kann
ferner vorgesehen sein, dass ein betrachtetes Bilddatenpaar mit
ersten Bilddaten eines ersten Bildpunkts an entsprechenden Positionen
eines ersten Eingangsbilds und eines zweiten Eingangsbilds und zweiten
Bilddaten eines zweiten Bildpunkts an entsprechenden Positionen des
ersten Eingangsbilds und des zweiten Eingangsbilds in dem beliebig
wählbaren Teilbereich der ersten und zweiten Eingangsbilder
verträglich ist bzw. korrespondiert, wenn das Vorzeichen
der Differenz der Bilddaten des ersten Bildpunkts in dem ersten Eingangsbild
von den Bilddaten des zweiten Bildpunkts in dem ersten Eingangsbild
und das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts
in dem zweiten Eingangsbild von den Bilddaten des zweiten Bildpunkts
in dem zweiten Eingangsbild übereinstimmt bzw. die Vorzeichen
an den entsprechenden Positionen der ersten und zweiten Bildpunkte
in den Signaturbildern der ersten und zweiten Eingangsbilder übereinstimmen.
-
In
einer Ausgestaltung des erfindungsgemäßen Bildverarbeitungsverfahrens
kann vorgesehen sein, dass in dem beliebig wählbaren Teilbereich
der Kendalls-Tau-Rangkorrelationskoeffizient durch
mit –1 ≤ t ≤ 1
gegeben ist, wobei f die Anzahl der verträglichen Bilddatenpaare,
g die Anzahl der nicht verträglichen Bilddatenpaare und
n die Anzahl sämtlicher betrachteter Bilddatenpaare des
beliebig wählbaren Teilbereichs ist.
-
Das
Rangkorrelationsmaß nach Kendall kann sonach wie folgt
eingesetzt werden. Gegeben sind Paare (A1i, A2i), (A1j, A2j) von
beobachteten Daten, z. B. Grauwerten von Bildpunkten in einem beliebig
wählbaren Teilbereich der Bilder A1 und A2 eines Stereovideobildpaares.
Als wesentliche Rechenoperation sind lediglich die Vorzeichen der
Differenzen sign(A1j – A1i), sign(A2j – A2i) zu bestimmen. Stimmen
diese Vorzeichen überein, so ist das betrachtete Datenpaar
verträglich, ansonsten nicht verträglich. Bezeichnet
nun f die Anzahl der verträglichen Datenpaare und g die
Anzahl der nicht verträglichen Datenpaare, so ist durch
s = f – g; –1 ≤ t ≤ 1
das Rangkorrelationsmaß nach Kendall definiert, welches
zur Realisierung des erfindungsgemäßen robusten
Bildverarbeitungsverfahrens genutzt werden kann. Varianten des Verfahrens, welche
den Fall verschwindender Differenzen explizit behandeln, sind ebenfalls
zur Umsetzung des beschriebenen Stereoverfahrens geeignet, werden
jedoch nicht näher betrachtet.
-
Das
Stereokamerasystem kann als Stereovideosystem und die Eingangsbilder
als Eingangsvideobilder ausgeführt sein. Selbstverständlich
kommen dementsprechend als Bildsensoren CCD- oder CMOS-Kameras in
Frage. Darüber hinaus ist es möglich, auch Bildsensoren
in anderen Wellenlängenbereichen, beispielsweise dem Infrarotbereich
zu verwenden und dementsprechend Wärmebildkameras einzusetzen.
-
Erfindungsgemäß wird
ein Computerprogramm mit Programmcodemitteln bzw. ein Computerprogrammprodukt
mit Programmcodemitteln, die auf einem computerlesbaren Datenträger
gespeichert sind, um das erfindungsgemäße Bildverarbeitungsverfahren
auszuführen, vorgeschlagen.
-
Des
Weiteren ist eine Vorrichtung, insbesondere ein Fahrerinformationssytem
oder ein Fahrerassistenzsystem eines Kraftfahrzeugs mit wenigstens einem
Stereokamerasystem oder Stereovideosystem, welches eine Bildverarbeitungseinrichtung
aufweist, welche zur Durchführung des erfindungsgemäßen
Bildverarbeitungsverfahrens bzw. zur Ausführung des entsprechenden
Computerprogramms eingerichtet ist, angegeben.
-
Das
erfindungsgemäße Bildverarbeitungsverfahren ist
vorzugsweise als Computerprogramm auf einer Bildverarbeitungseinrichtung
eines Stereokamerasystems oder Stereovideosystems, insbesondere
im Rahmen eines Fahrerinformationssystems bzw. Fahrerassistenzsystems
eines Kraftfahrzeugs, realisiert, wobei auch andere Lösungen
selbstverständlich in Frage kommen. Dazu kann das Computerprogramm
in einem Speicherelement (z. B. ROM, EEPROM oder der gleichen) der
Bildverarbeitungseinrichtung gespeichert sein. Durch Abarbeitung
auf der Bildverarbeitungseinrichtung wird das Bildverarbeitungsverfahren
ausgeführt. Die Bildverarbeitungseinrichtung kann einen
Mikrocomputer mit einem Mikroprozessor, einen programmierbaren integrierten Schaltkreis
(Field Programmable Gate Array/FPGA), einen anwendungsspezifischen
integrierten Schaltkreis (Application Specific Integrated Circuit/ASIC), einen
Digitalen Signalprozessor (DSP) oder dergleichen aufweisen. Das
Computerprogramm kann auf einem computerlesbaren Datenträger
(Diskette, CD, DVD, Festplatte, USB-Memorystick, Speicherkarte oder
dergleichen) oder einem Internetserver als Computerprogrammprodukt
gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen
werden.
-
Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den Unteransprüchen. Nachfolgend ist anhand der Zeichnungen ein
Ausführungsbeispiel der Erfindung prinzipmäßig beschrieben.
-
Kurzbeschreibung der Zeichnungen
-
Es
zeigen:
-
1 eine
schematische Darstellung eines Stereobildpaars zur Veranschaulichung
der Disparität gemäß dem Stand der Technik;
-
2 ein
vereinfachtes Flussdiagramm des Ablaufs der Disparitätsschätzung
in Stereoauswertungsverfahren gemäß dem Stand
der Technik;
-
3 ein
vereinfachtes schematisches Blockdiagramm eines Fahrerinformationssystems mit
einem Stereovideosystem; und
-
4 ein
vereinfachtes schematisches Diagramm eines erfindungsgemäßen
Bildverarbeitungsverfahrens.
-
Beschreibung von Ausführungsbeispielen
-
3 zeigt
ein als Stereovideosystem 10 ausgebildetes Stereokamerasystem
mit zwei Bildsensoren 11 und 12, zwei Bildsensorsignalleitungen 13, 14,
einer Auswerteeinheit bzw. Bildverarbeitungseinrichtung 15,
einer Ausgangssignalleitung 16 und einem nachfolgenden
System 17. Als Bildsensoren 11, 12 sind
beispielsweise CCD- oder CMOS-Kameras, aber auch Wärmebildgeräte
oder dergleichen einsetzbar. Beide Bildsensoren 11, 12 sind
derart angeordnet, dass sie dieselbe Szenen abbilden, allerdings
unter einem etwas unterschiedlichen Sichtwinkel. Die Bildsensoren 11, 12 übermitteln
Bilder der beobachteten Szene an die Bildverarbeitungseinrichtung 15.
Die Bildverarbeitungseinrichtung 15 erzeugt auf der Ausgangssignalleitung 16 ein
Ausgangssignal, welches elektrisch, digital, akustisch und/oder
visuell zur Anzeige, Information und/oder Speicherung an das nachfolgende
System 17 übertragen wird. Im vorliegenden Ausführungsbeispiel
ist das nachfolgende System ein Fahrerinformationssystem 17 eines
nicht dargestellten Kraftfahrzeugs, welches das Stereovideosystem 10 aufweist.
In weiteren Ausführungsbeispielen könnte das nachfolgende
System 17 auch ein Fahrassistenzsystem eines Kraftfahrzeugs oder
dergleichen sein.
-
In 4 ist
ein erfindungsgemäßes Bildverarbeitungsverfahren
zur Bestimmung von Tiefeninformation aus wenigstens zwei stereoskopisch
mittels des Stereokamerasystems 10 mit den zwei Bildsensoren 11, 12 aufgenommenen,
vorzugsweise zeitlich synchronisierten und rektifizierten, Eingangsbildern
A1, A2, wobei die Tiefeninformation aus einer Disparitätskarte
unter Einbeziehung von geometrischen Eigenschaften (insbesondere
der Basisabstand zwischen den beiden Bildsensoren 11, 12)
des Stereokamerasystems 10 bestimmt bzw. berechnet wird,
schematisch dargestellt. Das erfindungsgemäße
Bildverarbeitungsverfahren wird für den Ablauf eines Echtzeit-Stereovideosystems
auf Basis eines statistischen Rangkorrelationsverfahrens verwendet. Als
Eingangsdaten zur Echtzeitprozessierung der Disparitätskarte
liegen die rektifizierten Stereovideobilder bzw. Eingangsvideobilder
A1, A2 vor. Das erfindungsgemäße Bildverarbeitungsverfahren
ist durch folgende Verfahrensschritte zur Ermittlung der Disparitätskarte
gekennzeichnet:
In einem ersten Verfahrensschritt erfolgt eine
Transformation der Eingangsbilder A1, A2 in Signaturbilder B1, B2
mittels eines vorgegebenene Operators. In dem ersten Verfahrensschritt
werden sozusagen die Grauwerte der Videobilder A1, A2 zu Signaturbildern B1,
B2 transformiert. Dazu wird als vorgegebener Operator ein Vorzeichenoperator
verwendet. Neben dem einfachen Vorzeichenoperator können
in weiteren, nicht dargestellten Ausführungsbeispielen
auch komplexere Operatoren eingesetzt werden, welche z. B. eine
Epsilon-Umgebung des Nullpunktes separat kodieren und den jeweiligen
Schwellwert hierzu an die lokale Bildinformation adaptieren und/oder
z. B. aus Rechenzeitgründen nur eine geeignete Teilmenge
der Signaturen bestimmen.
-
In
einem zweiten Verfahrensschritt C wird eine Kostenberechnung anhand
der Signaturbilder B1, B2 mittels eines nichtparametrischen statistischen
Rangkorrelationsmaßes zur Ermittlung eines Kostenraums
für vorgegebene Disparitätsstufen in Bezug zu
wenigstens einem der wenigstens zwei Eingangsbilder A1, A2 durchgeführt.
Die anschließende Kostenberechnung auf den Signaturbildern B1,
B2 basiert auf dem statistischen Rangkorrelationsmaß bzw.
naheliegenden Varianten dieser Metrik, welche z. B. in weiteren
Ausführungsbeispielen aus Rechenzeitgründen nur
eine Teilmenge der verfügbaren Signaturen auswerten kann.
Der resultierende Kostenraum (auch als Disparity Space Image/DSI bezeichnet)
wird schichtweise für die einzelnen Disparitätsstufen,
z. B. im Bezug zum linken Ausgangsbild A1, ermittelt. Als nichtparametrisches
statistisches Rangkorrelationsmaß wird ein Kendalls-Tau-Rangkorrelationskoeffizient
bzw. dessen Varianten verwendet.
-
Anschließend
erfolgt in einem dritten Verfahrensschritt D die Durchführung
einer Korrespondenzanalyse für jeden Punkt des Kostenraums
für die vorgegebenen Disparitätsstufen, wobei
die jeweils zu bestimmende Disparität d die Korrespondenz
mit den geringsten Kosten aufweist, wonach anschließend
in einem vierten Verfahrensschritt die Disparitätskarte aus
den zuvor bestimmten Disparitäten d ermittelt wird. Die
Korrespondenzanalyse bzw. Korrespondenzsuche verläuft innerhalb
des Kostenraums für jeden Punkt in Richtung der Disparitätsdimension. Die
ermittelte Disparität d entspricht der Korrespondenz mit
den geringsten Kosten und ist sozusagen optimal. Zur Vermeidung
von Ausreißern können Nebenbedingungen, wie z.
B. die Eindeutigkeit des Kostenminimums oder auch die lokale Ausprägung
der Kostenfunktion, berücksichtigt werden. Das erfindungsgemäße
Bildverarbeitungsverfahren liefert zunächst pixelgenaue
Disparitäten d, welche in einem weiteren Verarbeitungsschritt
als Nachbereitung zur Bestimmung einer subpixelgenauen Disparitätskarte verfeinert
werden können.
-
Mittels
des Vorzeichenoperators werden die Vorzeichen der Differenzen von
Bilddaten, insbesondere Grauwerten, unterschiedlicher Bildpunkte
der jeweiligen Eingangsvideobilder A1, A2 in einem beliebig wählbaren
Teilbereich der Eingangsvideobilder bestimmt und in den Signaturbildern
B1, B2 abgespeichert.
-
Ein
betrachtetes Bilddatenpaar mit ersten Bilddaten eines ersten Bildpunkts
an entsprechenden Positionen des ersten Eingangsvideobilds A1 und
des zweiten Eingangsvideobilds A2 und zweiten Bilddaten eines zweiten
Bildpunkts an entsprechenden Positionen des ersten Eingangsvideobilds
A1 und des zweiten Eingangsvideobilds A2 in dem beliebig wählbaren
Teilbereich der ersten und zweiten Eingangsvideobilder A1, A2 ist
verträglich bzw. korrespondiert, wenn das Vorzeichen der
Differenz der Bilddaten des ersten Bildpunkts in dem ersten Eingangsvideobild
A1 von den Bilddaten des zweiten Bildpunkts in dem ersten Eingangsvideobild
A2 und das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts
in dem zweiten Eingangsvideobild A2 von den Bilddaten des zweiten
Bildpunkts in dem zweiten Eingangsvideobild übereinstimmt
bzw. die Vorzeichen an den entsprechenden Positionen der ersten und
zweiten Bildpunkte in den Signaturbildern B1, B2 der ersten und
zweiten Eingangsvideobilder A1, A2 übereinstimmen.
-
In
dem beliebig wählbaren Teilbereich ist der Kendalls-Tau-Rangkorrelationskoeffizient
durch
mit –1 ≤ t ≤ gegeben,
wobei f die Anzahl der verträglichen Bilddatenpaare, g
die Anzahl der nicht verträglichen Bilddatenpaare und n
die Anzahl sämtlicher betrachteter Bilddatenpaare des beliebig
wählbaren Teilbereichs ist.
-
Das
erfindungsgemäße Bildverarbeitungsverfahren ist
vorzugsweise als Computerprogramm auf der Bildverarbeitungseinrichtung 15 des
Stereovideosystems 10, insbesondere im Rahmen des Fahrerinformationssystems 17 des
Kraftfahrzeugs, realisiert, wobei auch andere Lösungen
selbstverständlich in Frage kommen. Dazu kann das Computerprogramm
in einem Speicherelement (z. B. ROM, EEPROM oder dergleichen) der
Bildverarbeitungseinrichtung 15 gespeichert sein. Durch
Abarbeitung auf der Bildverarbeitungseinrichtung 15, wird
das Bildverarbeitungsverfahren ausgeführt. Die Bildverarbeitungseinrichtung 15 kann
einen Mikrocomputer mit einem Mikroprozessor, einen programmierbaren
integrierten Schaltkreis (Field Programmable Gate Array/FPGA), einen
anwendungsspezifischen integrierten Schaltkreis (Application Specific
Integrated Circuit/ ASIC), einen Digitalen Signalprozessor (DSP) oder
dergleichen aufweisen. Das Computerprogramm kann auf einem computerlesbaren
Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick,
Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt
gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 15 übertragen
werden.
-
Nichtpatentliteratur:
-
[1] M.
Z. Brown, D. Burschka, und G. D. Hager "Advances in computational
stereo", IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. 25, Nr. 8, Seiten 993–1008, August 2003
-
[2] D.
Scharstein und R. Szeliski "A taxonomy and evaluation of
dense two-frame stereo correspondence algorithms", International
Journal of Computer Vision, Vol. 47, Seiten 7–42, April
2002
-
[3] H.
Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): "Encyclopedia
of Measurement and Statistics" Thousand Oaks (CA), 2007
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - M. Z. Brown,
D. Burschka, und G. D. Hager ”Advances in computational
stereo”, IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. 25, Nr. 8, Seiten 993–1008, August 2003 [0002]
- - D. Scharstein und R. Szeliski ”A taxonomy and evaluation
of dense two-frame stereo correspondence algorithms”, International
Journal of Computer Vision, Vol. 47, Seiten 7–42, April
2002 [0002]
- - H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): ”Encyclopedia
of Measurement and Statistics” Thousand Oaks (CA), 2007 [0010]
- - M. Z. Brown, D. Burschka, und G. D. Hager ”Advances
in computational stereo”, IEEE Transactions on Pattern
Analysis and Machine Intelligence, Vol. 25, Nr. 8, Seiten 993–1008,
August 2003 [0034]
- - D. Scharstein und R. Szeliski ”A taxonomy and evaluation
of dense two-frame stereo correspondence algorithms”, International
Journal of Computer Vision, Vol. 47, Seiten 7–42, April
2002 [0035]
- - H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): ”Encyclopedia
of Measurement and Statistics” Thousand Oaks (CA), 2007 [0036]