DE19938845B4 - Videobild-Überwachungsverfahren - Google Patents

Abstract

Videobild-Überwachungsverfahren, bei dem ein in Pixel aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels in eine digitalisierte Signalform gebrachtes, fortlaufend festgehaltenes Bild oder ein Ausschnitt desselben mit einem in gleicher Weise in Pixel aufgeteilten, hinsichtlich der Helligkeit jedes Pixels ebenfalls in einer digitalisierten Signalform gespeicherten Referenzbild oder mit dem entsprechenden Ausschnitt desselben mittels einer Korrelationsanalyse verglichen wird und dabei ein Korrelationsausgangssignal erzeugt wird, welches das Korrelationsergebnis zwischen den Bildern oder den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen wird, wobei jeweils der Wert „null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht, dadurch gekennzeichnet, dass vorher die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder oder beider Bildausschnitte einem Kantenextraktionsprozess unterzogen werden.

Description

• Die Erfindung bezieht sich auf ein Videobild-Überwachungsverfahren.
• In der Video-Überwachungstechnik werden zunehmend automatisch arbeitende Systeme eingesetzt, bei denen allenfalls in Ausnahmefällen die mit einer Videokamera aufgenommenen Bilder sichtbar dargestellt und dann tatsächlich auch betrachtet werden, weil sie beispielsweise im Normalbetrieb nur aufgezeichnet werden oder weil sie erst bei Bewegungen in kritischen Bereichen, dann meist gekoppelt mit einem Alarm, sichtbar gemacht werden. In derartigen Video-Überwachungsanlagen, wie sie z.B. aus DE 26 17 112 B2 bekannt sind, soll mit jeder Kamera eine bestimmte Szene hinsichtlich Feststellung einer Bewegung bzw. einer Veränderung in einem Überwachungsbereich beobachtet werden. In aller Regel gibt es aber kaum noch Kontrollen dahingehend, ob die Ausrichtung der Videokamera – entweder absichtlich oder unbeabsichtigt – verändert worden ist.
• Aus der Patentschrift DE 30 01 588 ist zum Vergleich eines aktuellen Videobildes mit einem Bezugsvideobild ein digitaler Video-Korrelator bekannt, bei dem ein Digitalisierer zum Aufteilen des aktuellen Bildes und des Bezugsbildes in Pixel (Bildpunkte) und zum Digitalisieren der Pixel in binäre Daten-Bits sowie ein mit dem Digitalisierer verbundenes erstes Schieberegister zum Empfang der binären Daten-Bits der digitalisierten Daten-Bits des aktuellen Bildes in sequentieller Folge vorgesehen ist. Ein mit dem Digitalisierer und dem ersten Schieberegister verbundener Korrelator, der die digitalisierten Pixel des Bezugsbildes empfängt und speichert, empfängt auch die digitalisierten Pixel des aktuellen Bildes vom ersten Schieberegister. Im Korrelator werden also die sich entsprechenden Bildteile des aktuellen Bildes und des Bezugsbildes oder diese beiden ganzen Bilder miteinander verglichen, woraufhin ein Ausgangssignal erzeugt wird, das die Korrelation zwischen den beiden Bildern anzeigt.
• Diese bekannten Video-Überwachungsverfahren sind allerdings nicht ausreichend trennscharf und darüber hinaus auch zu empfindlich gegenüber Änderungen der Szenenbeleuchtung.
• Aus der DE 196 03 935 A1 ist ein Videobild-Überwachungsverfahren entnehmbar, bei dem ein in Pixel Dij-aufgeteiltes, hinsichtlich der Helligkeit Hij jedes Pixels in eine digitalisierte Signalform gebrachtes, fortlaufend festgehaltenes Bild Dzy mit einem in gleicher Weise in Pixel aufgeteilten, hinsichtlich der Helligkeit jedes Pixels ebenfalls in einer digitalisierten Signalform gespeicherten Referenzbildes mittels einer Korrelationsanalyse verglichen wird und dabei ein Korrelationsausgangssignal Pxy erzeugt wird, welches das Korrelationsergebnis zwischen den Bildern anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen wird. Aus dieser Schrift ist ersichtlich, dass jeweils die Differenz des einzelnen Helligkeitswertes und des mittleren Helligkeitswertes des Gesamtbildes gebildet wird, der Wert „0" somit vorliegt, wenn Hij gleich H_mittel. Mit anderen Worten entspricht jeweils der Wert „0" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes.
• Aus dem Standardwerk: Digitale Bildverarbeitung, Peter Haberäcker, Hauserverlag, ISBN-3-446-15644-5 (Seite 134 bis 139) ist bekannt, Korrelationsverfahren und Kantenextraktionsprozesse zu verwenden, deren Grundlage Differenzoperatoren nach Sobel und Laplace bilden.
• Die im oben genannten deutschen Patent beschriebenen Verfahren weisen nachteilig eine geringe Trennschärfe auf.
• Es ist daher Aufgabe der Erfindung, das bereits bekannte Verfahren hinsichtlich seiner Trennschärfe zu verbessern. Damit soll eine trennscharfe und damit sichere Objektpositions-Videoüberwachung und Videokamera-Ausrichtungskontrolle ermöglicht werden, wobei für beide Fälle durch eine teilweise Veränderung der Szene, wenn z.B. ein Teil der zu überwachenden Szene beispielsweise von einer Person abgedeckt wird oder eine nicht extrem krasse Beleuchtungsänderung eintritt, keine Meldung ausgelöst wird.
• Diese Aufgabe wird dadurch gelöst, dass vorher die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder oder beider Bildausschnitte einem Kantenextraktionsprozess unterzogen werden.
• Zweckmäßige Weiterbildungen des Videobild-Überwachungsverfahrens nach der Erfindung sind in den Unteransprüchen angegeben.
• Das Videobild-Überwachungsverfahren nach der Erfindung kann somit dazu genutzt werden, zum einen eine sogenannte „Videokamera-Positionsauthentifikation", d.h. eine selbständige Kontrolle der Ausrichtung der Kamera auszuführen, und zum anderen zu überwachen, ob ein Objekt, welches durch die Videokamera betrachtet wird, verschoben oder entfernt worden ist, wobei ein typischer Anwendungsfall die Überwachung z.B. eines wertvollen Bildes in einem Museum ist. In Analogie zur vorher benutzten Bezeichnung „Videokamera-Positionsauthentifikation" kann der letztgenannte Einsatzfall des Videobild-Überwachungsverfahrens nach der Erfindung „Objektpositionsauthentifikation" genannt werden.
• Beim Verfahren nach der Erfindung wird davon ausgegangen, dass ein Referenzbild oder ein Ausschnitt davon mit einem aktuellen Bild verglichen wird und bei Veränderung, insbesondere bei einer Verschiebung des Bildes, eine Meldung ausgelöst wird. Wichtig in beiden vorgenannten Einsatzfällen ist, daß durch eine teilweise Veränderung der Szene, wenn beispielsweise etwas oder jemand, vor der Videokamera stehend, einen Teil der Szene abdeckt oder bei einer Beleuchtungsänderung keine Meldung ausgelöst wird. Es wird beim Videobild-Überwachungsverfahren nach der Erfindung die sogenannte Korrelationsanalyse angewandt. Es werden dabei Videobilder verwendet, die in digitalisierter Form vorliegen, d.h. es gibt eine 2-dimensionale Matrix von Bildpunkten, also Pixeln, bei der die Helligkeit eines jeden Pixels als numerischer Wert beschrieben wird. Andere Ausgangsvoraussetzungen sind zwar prinzipiell denkbar, jedoch bei Zugrundelegen des in diesem Zusammenhang derzeitig bekannten Standes der Technik eher unwahrscheinlich. Bei der Korrelationsanalyse wird jedes Pixel des Referenzvideobildes mit dem entsprechenden Pixel des aktuellen Videobildes multipliziert, und danach werden sämtliche, bei den einzelnen Multiplikationen entstandenen Produkte summiert. Dabei ist es beim Verfahren nach der Erfindung von wesentlicher Bedeutung, daß der Wert "null" der Helligkeitsskala der Pixel nicht, wie in der Videoildverarbeitungstechnik üblich, der Helligkeit "null", also schwarz, sondern der mittleren Helligkeit des Gesamtbildes entspricht. Dieses Helligkeitsergebnisse werden mit den Helligkeitsergebnissen des Referenzbildes in Relation gesetzt, so daß z.B. identische Bilder den Korrelationskoeffizienten vom Wert 1 oder 100% ergeben. Wenn sich der Bildinhalt des aktuellen Bildes etwas verschiebt oder wenn dieses Bild teilweise abgedeckt bzw. verändert wird, bleibt das Ergebnis dieser Korrelationsanalyse relativ hoch, z.B. >50%, während größere Verschiebungen zu sehr viel kleineren Korrelationsergebnissen führen.
• So weit das Videobild-Überwachungsverfahren nach der Erfindung bisher beschrieben ist, kann es ihm jedoch noch an ausreichender Trennschärfe mangeln und es kann auch relativ empfindlich gegenüber Änderungen der Szenenbeleuchtung sein.
• Eine erhebliche Verbesserung läßt sich erfindungsgemäß durch einen Kantenextraktionsprozess erreichen.
• Deswegen läßt sich gemäß einer ersten Weiterbildung der Erfindung eine richtungsabhängige Kantenextraktion zur Vorverarbeitung der Ausgangsbilder verwenden. Danach ergeben sich positive Werte dort, wo das Bild heller wird, und negative Werte dort, wo das Bild dunkler wird. Diese Gesetzmäßigkeit kann auch umgekehrt formuliert sein. Dieser Kantenextraktionsprozeß kann bzw. muß getrennt in horizontaler und vertikaler Abtastrichtung durchgeführt werden, was beispielsweise in Abhängigkeit vom jeweiligen Anwendungsfall gewählt werden kann. Eine Korrelationsanalyse nach dieser ersten Weiterbildung arbeitet sehr trennscharf. Schon bei einer Verschiebung des aktuellen Bildes um wenige Pixel kann das Korrelationsergebnis gegen null gehen. Bei weiterer Verschiebung des aktuellen Bildes schwankt der Korrelationskoeffizient dann in einem Wahrscheinlichkeitsbereich um den Nullwert herum, der aufgrund der Vielzahl der Eingangswerte, in typischer Weise ca. 200 000 Pixel, sehr klein ist. In der Praxis wird oftmals eine derart hohe Trennschärfe gar nicht erwünscht sein, so daß dann in vorteilhafter Weise die Eingangsbilder vorab verkleinert oder unschärfer gemacht werden, was in beiden Fällen zum gleichen Ergebnis führt.
• Obwohl durch diese Weiterbildung das Videobild-Überwachungsverfahren nach der Erfindung bereits merklich verbessert arbeitet, läßt es sich in bezug auf Beleuchtungsänderungen noch einmal qualitativ deutlich steigern, da Beleuchtungsänderungen die Richtung der Hell/Dunkel-Übergänge ändern können und so das Korrelationsergebnis erheblich reduzieren können.
• Gemäß der im folgenden angegebenen zweiten Weiterbildung des Videobild-Überwachungsverfahren nach der Erfindung wird daher ein richtungsunabhängiger Kantenextraktionsprozeß durchgeführt. Zu diesem Zweck werden die Ergebnisse der horizontalen und vertikalen Kantenextraktion, die in der vorherigen Wei terbildung erläutert wurden, zunächst Pixel für Pixel quadriert, so daß sie ausschließlich positiv sind, dann werden die quadrierten Ergebnisse der horizontalen und der vertikalen Kantenextraktion Pixel für Pixel miteinander addiert und anschließend daraus die Quadratwurzel gezogen. Es ergeben sich dabei ausschließlich positive Werte an allen Stellen, an denen Kanten zu finden sind in den restlichen Bereichen bleibt das Ergebnis "null". Für die Korrelationsanalyse ist diese Verarbeitung aber noch nicht ausreichend, da bei ihr keine negativen Werte auftreten, so daß die Wahrscheinlichkeit eines relativ hohen Korrelationsergebnisses auch bei völlig unkorrelierten Bildern zu hoch ist. In zweckmäßiger Weise wird deshalb in Analogie zum bereits im Zusammenhang mit der Korrelationsanalyse der Videobilder ausgeführten Merkmal des Videobild-Überwachungsverfahren nach der Erfindung von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert, so daß der Wert "null" wieder der mittleren Helligkeit des Kantenbildes entspricht.
• In einer dritten Weiterbildung wird ein weiterer, richtungsunabhängiger Kantenextraktionsprozeß durchgeführt. Er läßt sich mittels des sogenannten "Laplace-Operators" erreichen, der an jeder Kante auf der einen Seite der Kante ein positives und auf der anderen Seite der Kante ein negatives Bildsignal erzeugt. Die mittlere Bildhelligkeit ist immer "null", so daß kein weiterer Rechenprozeß erforderlich ist. Bei der Verwendung dieses Verfahrens wird ein eventuell unerwünschter Effekt, der sich bei dem vorher beschriebenen Verfahren nach der zweiten Weiterbildung ergibt, vermieden. Beim Verfahren nach der zweiten Weiterbildung werden Bildbereiche, in denen sehr viele dicht beieinander liegende Kanten vorhanden sind, nach der Kantenextraktion weitgehend lückenlose positive Werte ergeben. Wenn diese Bereiche verschoben werden, bleibt das Korrelationsergebnis beim Verfahren nach der zweiten Weiterbildung hoch, beim Verfahren nach der dritten Weiterbildung mit der Verwendung des Laplace-Operators aber nicht.
• Bei Einsetzen der beiden beschriebenen, zweiten und dritten Kantenextraktions-Weiterbildungen des Videobild-Überwachungsverfahrens nach der Erfindung wird eine sehr hohe Unempfindlichkeit gegenüber Beleuchtungsänderungen erreicht, da es keine Rolle spielt, ob eine Kante einen Übergang von "Schwarz" nach "Weiß" oder in umgekehrter Richtung darstellt. In bestimmten Fällen könnte es bei Durchführung dieser Weiterbildung im Gegensatz zur davor abgehandelten, ersten Kantenextraktions-Weiterbildung von Nachteil sein, daß sanfte Helligkeitsübergänge, d.h. Verläufe, die eine konstante Schräge über mehr als die Größe des Laplace-Operator haben, keine Ausgangsinformationen mehr erzeugen. In zweckmäßiger Weise wird in einem solchen Fall eine Auswertung mit den beschriebenen Kantenextraktionsprozessen gemäß den beiden Weiterbildungen zugleich durchgeführt, und es werden für eine Meldung oder Alarmierung dann beide Ergebnisse berücksichtigt.
• Anhand eines in einer Figur dargestellten Blockschaltbildes wird die Funktion des Videobild-Überwachungsverfahrens nach der Erfindung erläutert.
• Eine Videokamera 1 liefert ein Bild von einem Überwachungsraum, in dem ein zu beobachtendes Objekt 2, z.B. ein Bild, angeordnet ist. Das Videobild-Ausgangssignal der Videokamera wird einem Pixel-Digitalisierer und -Codierer 3 zugeführt, der hinsichtlich seiner Codierung von einer Einrichtung 4 zur Ermittlung der mittleren Bildhelligkeit so gesteuert wird, daß jeweils der Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht. Die digitalisierten Pixel eines Videobildes werden über einen Umschalter 5, der zur Aufnahme eines Referenzbildes in seine untere Stellung gebracht wird, einem Videokorrelator 6 zugeführt. Der Videokorrelator 6 enthält ein erstes Datenregister 7, das einer 2-dimensionalen Matrix der Pixel-Helligkeitswerte eines aktuellen Videobildes entspricht, und ein zweites Datenregister 8, das einer 2-dimensionalen Matrix der Pixel-Helligkeitswerte eines Referenzbildes entspricht. Im digitalen Videokorrelator 6 werden in Multiplizierern 9 alle Pixelwerte des ersten Datenregisters 7 mit den entsprechenden Referenzpixelwerten des zweiten Datenregisters 8 multipliziert. In einem digitalen Summierer 10 des Videokorrelators 6 werden dann alle entstandenen Produkte der Multiplizierer 9 summiert. Am Ausgang 11 des Korrelators 6 wird dann das Korrelationsergebnis abgenommen. Es wird somit durch die dargestellte Schaltung ein Korrelationsausgangssignal erzeugt, welches am Ausgang 11 das Korrelationsergebnis zwischen den Bildern bzw. den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen werden kann. Mit einer Einrichtung 12 zur richtungsabhängigen und/oder richtungsunabhängigen Kantenextraktion wird eine höhere Trennschärfe und eine geringere Empfindlichkeit gegenüber Änderungen der Szenenbeleuchtung erreicht.

Claims (6)

1. Videobild-Überwachungsverfahren, bei dem ein in Pixel aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels in eine digitalisierte Signalform gebrachtes, fortlaufend festgehaltenes Bild oder ein Ausschnitt desselben mit einem in gleicher Weise in Pixel aufgeteilten, hinsichtlich der Helligkeit jedes Pixels ebenfalls in einer digitalisierten Signalform gespeicherten Referenzbild oder mit dem entsprechenden Ausschnitt desselben mittels einer Korrelationsanalyse verglichen wird und dabei ein Korrelationsausgangssignal erzeugt wird, welches das Korrelationsergebnis zwischen den Bildern oder den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen wird, wobei jeweils der Wert „null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht, dadurch gekennzeichnet, dass vorher die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder oder beider Bildausschnitte einem Kantenextraktionsprozess unterzogen werden.
2. Videobild-Überwachungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Kantenextraktionsprozess richtungsabhängig durchgeführt wird, in der Weise, dass sich gesetzmäßig positive Werte in denjenigen Bereichen ergeben, in denen das Bild heller wird, und negative Werte in denjenigen Bereichen, in welchen das Bild dunkler wird, oder gesetzmäßig stets umgekehrt.
3. Videobild-Überwachungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Kantenextraktionsprozess in horizontaler oder vertikaler Abtastrichtung oder getrennt in allen beiden Abtastrichtungen durchgeführt wird.
4. Videobild-Überwachungsverfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Eingangsbilder vorab verkleinert oder unschärfer gemacht werden.
5. Videobild-Überwachungsverfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein weiterer Kantenextraktionsprozess richtungsunabhängig durchgeführt wird, in der Weise, dass die Ergebnisse einer richtungsabhängigen, insbesondere horizontalen und vertikalen Kantenextraktion zunächst Pixel für Pixel quadriert werden, sodass sie ausschließlich positiv sind, dann die quadrierten Ergebnisse der horizontalen und der vertikalen Kantenextraktion Pixel für Pixel miteinander addiert werden und anschließend daraus die Quadratwurzel gezogen wird, wobei sich dabei ausschließlich positive Werte an allen Stellen ergeben, an denen Kanten zu finden sind, und in den restlichen Bereichen das Ergebnis „null" bleibt, und dass von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert wird, sodass der Wert „null" wieder der mittleren Helligkeit des Kantenbildes entspricht.
6. Videobild-Überwachungsverfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein weiterer richtungsunabhängiger Kantenextraktionsprozess durchgeführt wird, der mittels des so genannten Laplace-Operators erreicht wird, der an jeder Kante auf der einen Seite der Kante ein positives und auf der anderen Kante des Bildes ein negatives Bildsignal erzeugt, wobei die mittlere Bildhelligkeit dann immer „null" ist, sodass kein weiterer Rechenprozess erforderlich ist.