EP1762995B1 - Detektion von Rauch mit einer Videokamera - Google Patents

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion von Rauch durch Analyse mindestens eines von einer ein Gebiet überwachenden Videokamera aufgenommenen Videobildes.
• Die US 5153722 A offenbart ein Feuer-Detektionssystem mit einer Farb-Video-Kamera, einer Bildfang-Schaltung und einem Computer-Prozessor zum Auswerten und Speichern von der Kamera aufgenommenen Bildern. Ultraviolett- und Infrarot-Detektoren signalisieren eine Gefahr bei der Detektion eines vorher definierten Schwellwertes. Daraufhin wertet der Prozessor die von der Kamera empfangenen Bilder nach diversen Kriterien wie z. B. hellen Gebieten aus.
• In jüngster Zeit bestehen Bestrebungen, die für die Sicherheitsüberwachung in Gebäuden, Tunneln etc. ohnehin vorhandenen Videosysteme zur Detektion von Rauch zu verwenden. Da die Videobilder für einen Betrachter sehr oft uninteressant sind und ausserdem durch Rauch nur sehr kleine Veränderungen im Videobild verursacht werden, kommt eine Überwachung durch das Personal an den Bildschirmen nicht in Frage. Wenn überhaupt, kann die Überwachung nur durch eine automatische Auswertung der Videobilder erfolgen. Bei einem bekannten Verfahren zur automatischen Untersuchung von Videobildern auf das Auftreten von Rauch werden die Intensitätswerte der einzelnen Pixel aufeinander folgender Bilder miteinander verglichen. Wenn Intensitätswerte gemessen werden, die für ein helleres, durch die Anwesenheit von Rauch verursachtes Bild repräsentativ sind, wird auf das Vorhandensein von Rauch geschlossen und Alarm ausgelöst.
• Bei diesem Verfahren besteht unter anderem das Problem, dass Rauch vor einem hellen Hintergrund nicht erkannt und selbst Feuer, welches nur wenig Rauch erzeugt, nicht detektiert wird. Ausserdem können Helligkeitsänderungen, wie sie beispielsweise durch sich durch das Blickfeld der Kamera bewegende Personen verursacht werden, einen Fehlalarm auslösen. Dieses Problem hat man dadurch zu lösen versucht, dass man zusätzlich zum eigentlichen Überwachungsbereich noch einen äusseren Bereich untersucht und bei Änderungen in diesem äusseren Bereich die Beobachtung des Überwachungsbereichs unterbricht. Dieses Verfahren hat den Nachteil, dass ein Feuer unter Umständen erst nach einer bestimmten Verzögerung detektiert wird, und dass Rauchquellen in dem zusätzlich zum Überwachungsbereich vorgesehenen äusseren Bereich nicht erkannt werden.
• Die Aufgabe der vorliegenden Erfindung ist darin zu sehen, eine effiziente Möglichkeit für die Detektion von Rauch mittels mindestens eines von einer ein Gebiet überwachenden Videokamera aufgenommenen Videobildes vorzuschlagen.
• Die Aufgabe wird erfindungsgemäß jeweils durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
• Ein Kern der Erfindung ist darin zu sehen, dass Rauch durch Analyse mindestens eines von einer ein Gebiet überwachenden Videokamera aufgenommenen Videobildes detektiert wird. Ein Gebiet kann dabei ein Raum, ein Tunnel(-teilstück), ein Parkplatz, eine Strasse bzw. ein Strassenabschnitt etc. sein. Grundsätzlich wird in einem ersten Schritt durch Bestimmung der Richtung und der Grösse bei einem sich bewegenden Bereich des mindestens einen Videobildes ein wahrscheinliches Vorliegen von Rauch in dem sich bewegenden Bereich überprüft. Weist ein sich bewegender Bereich ein positives Prüfergebnis auf, besteht also eine gewisse Wahrscheinlichkeit für das Vorliegen von Rauch. Danach wird zumindest ein Teil des sich bewegenden Bereichs abhängig mindestens einer für Rauch charakteristischen Information hinsichtlich des Vorliegens von Rauch ausgewertet. Als für Rauch charakteristische Informationen werden erfindungsgemäss die Geschwindigkeit des Rauches, die Anzahl der Pixel im Videobild, die diese Bewegung beschreiben, die Luminanz-Änderung (Helligkeitsänderung) des mindestens einen Videobildes bezüglich des Hintergrundes, die Änderung der Farbe des bewegten Rauches und die Bewegung des Rauches angesehen.
• Ein Vorteil des erfindungsgemäßen Verfahrens bzw. der erfindungsgemässen Vorrichtung ist darin zu sehen, dass effizient Rauch detektiert werden kann. Insbesondere wird dies durch die zweigeteilte Auswertung und durch die geeignete Auswahl der für Rauch charakteristischen Informationen erreicht.
• Die Erfindung wird anhand eines in einer Figur dargestellten Ausführungsbeispiels näher erläutert. Dabei zeigen

Figur 1

ein erfindungsgemässes Blockschema zur Detektion von Rauch,

Figur 2

eine vereinfachte Darstellung eines Videobildes,

Figur 3

ein Entscheidungsdiagramm für die Detektion von Rauch,

Figur 4

eine erfindungsgemässe Vorrichtung.

• Figur 1 zeigt ein erfindungsgemässes Blockschema zur Detektion von Rauch. Aus mindestens einem Videobild, welches mit einer bestimmten Frequenz erzeugt wurde, wird mindestens ein Intensitätsbild [X_ij(t)] gewonnen. Das Videobild kann dabei zum Beispiel eine Grösse von 352x288 Pixel aufweisen. Als nächster Schritt kommt die Vorverarbeitung. Die Vorverarbeitung hat das Ziel, dass die Bereiche, die für die Detektion von Rauch interessant sind, aus dem Videobild herausgefiltert werden. Dazu wird als erstes eine Hintergrund-Akkumulationsmatrix [B_ij(t)] erstellt. Die Hintergrund-Akkumulationsmatrix [B_ij(t)] wird aus den mit einem Gewichtungsfaktor gewichteten Intensitätsbildern [X_ij(t)] gewonnen, wobei der Gewichtungsfaktor α angibt, wie stark die Intensitätsbilder in die Akkumulationsmatrix [B_ij(t)] einfließen. Die Akkumulationsmatrix wird wie folgt bestimmt: $$\mathrm{Bij}\left(\mathrm{t}\right)\mathrm{=}\mathrm{\alpha \; Bij}\left(\mathrm{t}\mathrm{-}\mathrm{1}\right)\mathrm{+}\left(\mathrm{1}\mathrm{-}\mathrm{\alpha }\right)\mathrm{Xij}\left(\mathrm{t}\right)\mathrm{,}\mathrm{\alpha }\mathrm{=}\mathrm{Gewichtungsfaktor}$$

  
• Als nächstes wird eine Subtraktionsmatrix D_ij(t) = /B_ij (t) - X_ij (t) / für mindestens einen sich bewegenden Bereich berechnet. Durch die Farbgewichtung der Substraktionsmatrix D_ij (t) erhält man schliesslich die farbgewichtete Subtraktionsmatrix [S_ij(t)].
• Diese Subtraktionsmatrix [S_ij(t)] wird berechnet aus $${\mathrm{S}}_{\mathrm{ij}}\left(\mathrm{t}\right)\mathrm{=}\mathrm{Luma}\left\{{\mathrm{D}}_{\mathrm{ij}}\left(\mathrm{t}\right)\right\}\mathrm{\times }\left\{\mathrm{1}\mathrm{-}\left|\mathrm{ChromaU}\left\{{\mathrm{D}}_{\mathrm{ij}}\left(\mathrm{t}\right)\right\}\mathrm{-}\mathrm{ChromaV}\left\{{\mathrm{D}}_{\mathrm{ij}}\left(\mathrm{t}\right)\right\}\right|\right\}$$

  

  
  , wobei Luma{Dij} der Helligkeitsteil von Dij, ChromaU(Dij) der U-Farbanteil von Dij and ChromaU(Dij) der V-Farbanteil von Dij ist.
• Das wahrscheinliche Vorliegen von Rauch am Ort (i, j) wird schließlich zum Beispiel durch die Projektion der farbgewichteten Subtraktionsmatrix [S_ij(t)] auf die x-/y-Achse eines kartesischen Koordinatensystems bestimmt.
• Die Projektion auf ein kartesisches Koordinatensystem sieht dabei wie folgt aus: $$\begin{array}{ll}\left[{\mathrm{i}}_{\mathrm{m}},,{\mathrm{j}}_{\mathrm{m}}\right]\left(\mathrm{t}\right)\mathrm{=}\mathrm{\{}\left(\mathrm{i},,\mathrm{j}\right)\mathrm{|}& \mathrm{i}\mathrm{=}\max \left\{\mathrm{x}\mathrm{-}{\mathrm{projection\; of\; S}}_{\mathrm{ij}}\left(\mathrm{t}\right)\right\}\mathrm{,}\\ & \mathrm{j}\mathrm{=}\max \left\{\mathrm{y}\mathrm{-}{\mathrm{projection\; of\; S}}_{\mathrm{ij}}\left(\mathrm{t}\right)\mathrm{\}}\right\}\end{array}$$

  

  
  x-Projektion von Sij (t) : p_xi (t) - S_i0 (t)+ S_i1 (t)+ S_i2 (t) + ... + S_iv (t)
  y-Projektion of Sij (t) : p_yj(t) = S_0j (t) + S_1j (t) + S_2j (t) + ... + S_Hj(t)
• Sij hat in diesem Beispiel die Grösse HxV (H = Geschwindigkeit des Rauchs x der Bewegung des Rauchs = V). Selbstverständlich ist die Wahl des Koordinatensystems beliebig. So könnten etwa auch Kugelkoordinaten, Zylinderkoordinaten etc. verwendet werden.
• Mit Hilfe der farbgewichteten Subtraktionsmatrix [S_ij(t)] kann dann ein wahrscheinliches Vorliegen von Rauch bei einem sich bewegenden Bereich des Videobildes überprüft werden. Bei einem wahrscheinlichen Vorliegen von Rauch wird ein gegenüber dem ursprünglichen Bild reduzierter, interessierender Videobildbereich (ROI = Region of Interest) definiert. Selbstverständlich können auch mehrere ROI-Bereiche in einem Videobild bzw. bei mehreren Kanälen definiert werden. Durch die Reduzierung der Daten auf etwa 1:100, die Grösse des ROI kann dabei zum Beispiel 8x128 Pixel sein, wird die Prozessorlast für die eigentliche Analyse bzw. Auswertung erheblich vermindert. Ob bei einem sich bewegenden Bereich des aufgenommenen Videobildes Rauch vorliegt wird anhand von mindestens einer für Rauch charakteristischen Information geklärt. Im vorliegenden Beispiel werden zur Erhöhung der Detektionssicherheit die fünf folgenden Informationen verwendet.
• Als für Rauch charakteristische Information werden die Geschwindigkeit des Rauches (Bewegung des Rauchs), die Anzahl der Pixel (aktive Pixel), die diese Bewegung beschreiben, die Luminanz-Änderung (Helligkeitsänderung) des mindestens einen Videobildes bezüglich des Hintergrundes, die Änderung der Farbe (Farbwechsel) des bewegten Rauches und die Bewegung des Rauches (y-Position im Histogramm) angesehen.
• Für jeden ROI-Bereich werden nun die folgenden für Rauch charakteristischen Informationen berechnet:
• die Rauchbewegung von SROI(t): v(t) = Zeitkorrelation der γ-Projektion von SROI(t), zum Beispiel pyj(t),
• die Varianz von BROI(t) und XROI(t), die zur Bestimmung der Helligkeitsveränderung relativ zum (normalen) Hintergrund: 1(t) = 1 - var{B_ROI(t)}/var{B_ROI(t)},
• aktive Pixel von S_ROI(t): a(t) = Anzahl der Pixel von S_ROI(t) mit einem Wert grösser als 0,
• Farbwechsel: c(t) = Anzahl der Pixel mit {1-|ChromaU(D_ROI(t)) - ChromaV(D_ROI(t)|} < Schwellwert,
• y-Position im Histogramm: h(t) = Werte der y-Projektion von S_ROI(t), zum Beispiel p_yj(t) wird genutzt um ein Histogramm mit 64 Kanälen zu erstellen
• Danach werden die für Rauch charakteristischen Informationen v(t), l(t), a(t), c(t) und h(t) über eine bestimmte Zeit und damit über mehrere Bilder integriert. Die Funktion sieht beispielsweise dabei wie folgt aus: $$F_X=\underset{{\mathrm{t}}_{\mathrm{o}}\mathrm{<}\mathrm{t}\mathrm{<}{\mathrm{t}}_{\mathrm{n}}}{X}=\mathrm{\Sigma x}\left(t\right)\mathrm{mit\; X}\mathrm{=}\mathrm{V}\mathrm{,}\mathrm{L}\mathrm{,}\mathrm{A}\mathrm{,}\mathrm{C}\mathrm{,}\mathrm{H}$$

  
• Aus den über die Zeit integrierten Informationen wird der jeweilige Mittelwert bestimmt.

  Mittelwert Rauchbewegung	FV = V
  Mittelwert Helligkeitswechsel	FL = L
  Mittelwert aktive Pixel	FA = A
  Mittelwert Farbwechsel	FC = C
  Mittelwert y-Position im Histogramm	FH = H

• Danach wird für jeden dieser Mittelwerte die Wahrscheinlichkeit für das Vorliegen von Rauch berechnet. Dies geschieht über die Mustererkennung. Für jeden Mittelwert wird ein Dis-Diskriminatorwert Ψ bestimmt. Ein Schwellwert δ (oder auch eine Wahrscheinlichkeitsfunktion) kann beispielsweise den Diskriminator in der folgenden Art definieren:
• Für die Helligkeitsveränderung $${\mathrm{\Psi }}_L=\mathrm{\Gamma }\left({\mathrm{F}}_L\right)=\{\begin{array}{c}{\mathrm{F}}_L>{\mathrm{\delta }}_L,{\mathrm{dann\; \Psi }}_L=1\\ {\mathrm{F}}_L<{\mathrm{\delta }}_L,{\mathrm{dann\; \Psi }}_L=0\end{array}$$

  

  
  oder 0 ≤ Γ(F _L ) ≤ 1, mit Γ(x) als Wahrscheinlichkeitsfunktion
• Das Rauchmuster ist definiert durch das Produkt aller Diskriminatoren $$\aleph \left(\mathrm{t}\right)={\displaystyle \sum _{i=\mathrm{Information}}}{\mathrm{\Psi }}_{\mathrm{i}}=\left\{{\mathrm{\Psi }}_V\cdot {\mathrm{\Psi }}_L\cdot {\mathrm{\Psi }}_A\cdot {\mathrm{\Psi }}_C\cdot {\mathrm{\Psi }}_H\right\}$$

  

  
  oder als Mittelwert aller Diskriminatoren $$\aleph \left(\mathrm{t}\right)=1/{\mathrm{N}}_{\mathrm{F}}{\displaystyle \sum _{i=\mathrm{Information}}}{\mathrm{\Psi }}_{\mathrm{i}}=\left\{{\mathrm{\Psi }}_V+{\mathrm{\Psi }}_L+{\mathrm{\Psi }}_A+{\mathrm{\Psi }}_C+{\mathrm{\Psi }}_H\right\}/{\mathrm{N}}_{\mathrm{F}}$$

  

  
  , wobei N_F = 5 die Anzahl der Informationen ist.
• Zum Schluss erfolgt die Entscheidung, ob es sich bei dem sich bewegenden Bereich des Videobildes um das Abbild von Rauch handelt. Hierzu wird ein Integrator I(t), der um einen Wert σ zu- oder abnimmt, bestimmt
  I (t=0) = 0;

  falls (t) = 1

  dann wird I(t) - I(t-1) + σ+ (hinzugefügt zu S+ falls I(t) > S+) sonst I(t) = I(t-1) - σ-(hinzugefügt zu S- (üblicherweise 0) falls I(t) < S-)

  , wobei σ+,σ- üblicherweise den Wert +1 annimmt
• Rauch wird detektiert und es wird zum Beispiel Alarm ausgelöst, wenn I(t) einen kritischen Wert κ überschreitet:

Falls I(t) > κ

dann Rauch
sonst kein Rauch

• Figur 2 zeigt eine vereinfachte Darstellung eines Videobildes VB. Das Bild enthält einen sich bewegenden Bereich, der Rauch darstellen soll. Weiterhin zeigt das Videobild VB einen ROI-Bereich, der gemäß der Beschreibung zur Figur 1 bestimmt wurde.
• Figur 3 zeigt ein Entscheidungsdiagramm für die Detektion von Rauch, wie es unter Figur 1 beschrieben ist. Falls I(t) einen bestimmten Schwellenwert κ übersteigt wird Alarm ausgelöst und es wurde mit hoher Wahrscheinlichkeit Rauch detektiert. Damit I(t) nicht ins Unendliche steigt und damit die Reaktionszeit zur Rauchdetektion unnötig herabsetzt wird ein maximaler Wert I_T definiert. Als kritische Zeit wird die Zeit bis zum Auslösen des Alarms bezeichnet. Diese Zeit sollte möglichst kurz sein.
• Figur 4 zeigt eine erfindungsgemässe Vorrichtung VR mit einer Empfangseinheit E und eine Sendeeinheit S zum Kommunizieren zum Beispiel mit anderen Einheiten, wie Sensoren, Zentraleinheiten etc. und einer Verarbeitungseinheit V zum Durchführen des Verfahrens gemäss Figur 1. Die Vorrichtung kann dabei in einer Videokamera, einer Zentraleinheit etc. integriert sein oder eine separate Einheit darstellen.

Claims (13)

1. Verfahren zur Detektion von Rauch durch Analyse mindestens eines von einer ein Gebiet überwachenden Videokamera aufgenommenen Videobildes, wobei mindestens ein sich bewegender Bereich des mindestens einen Videobildes durch Bestimmung der Richtung und der Grösse des sich bewegenden Bereichs auf das wahrscheinliche Vorliegen von Rauch überprüft wird, wobei bei einem positiven Prüfergebnis zumindest ein Teil des mindestens einen sich bewegenden Bereichs abhängig mindestens einer für Rauch charakteristischen Information hinsichtlich des Vorliegens von Rauch ausgewertet wird,
   dadurch gekennzeichnet,
   dass das mindestens eine Videobild mit einer bestimmten Frequenz erzeugt und daraus mindestens ein Intensitätsbild [X_ij(t)] gewonnen wird und
   dass eine Hintergrund-Akkumulationsmatrix [B_ij(t)], welche aus den mit einem Gewichtungsfaktor gewichteten Intensitätsbildern [X_ij(t)] gewonnen wird, wobei der Gewichtungsfaktor angibt, wie stark die Intensitätsbilder in die Akkumulationsmatrix [B_ij(t)] einfließen, verwendet wird.
2. Verfahren nach Anspruch 1,
   dadurch gekennzeichnet,
   dass als mindestens eine für Rauch charakteristische Information die Geschwindigkeit des Rauches, die Anzahl der Pixel, die diese Bewegung beschreiben, die Luminanz-Änderung des mindestens einen Videobildes bezüglich des Hintergrundes, die Änderung der Farbe des bewegten Rauches und die Bewegung des Rauches verwendet werden.
3. Verfahren nach Anspruch 1,
   dadurch gekennzeichnet,
   dass mit Hilfe einer Subtraktionsmatrix D_ij (t) = |B_ij(t) - X_ij(t)| mindestens ein sich bewegender Bereich ermittelt wird.
4. Verfahren nach Anspruch 3,
   dadurch gekennzeichnet,
   dass aus der Subtraktionsmatrix [D_ij(t)] eine farbgewichtete Subtraktionsmatrix [S_ij(t)] bestimmt wird.
5. Verfahren nach Anspruch 4,
   dadurch gekennzeichnet,
   dass mit Hilfe der farbgewichteten Subtraktionsmatrix [S_ij(t)] ein wahrscheinliches Vorliegen von Rauch bei einem sich bewegenden Bereich des Videobildes überprüft wird und bei Vorliegen eines positiven Prüfergebnisses ein gegenüber dem ursprünglichen Bild reduzierter, interessierender Videobildbereich (ROI) definiert wird.
6. Verfahren nach Anspruch 5,
   dadurch gekennzeichnet,
   dass der interessierende Videobildbereich (ROI) zumindest einen Teil des sich bewegenden Bereichs des Videobildes darstellt.
7. Verfahren nach Anspruch 5,
   dadurch gekennzeichnet,
   dass der interessierende Videobildbereich (ROI) als Rechteck mit dem Länge/Breite - Verhältnis 16:1 dargestellt wird.
8. Verfahren nach Anspruch 4,
   dadurch gekennzeichnet,
   dass das wahrscheinliche Vorliegen von Rauch am Ort (i, j) durch die Projektion der farbgewichteten Subtraktionsmatrix [S_ij(t)] auf die x-/y-Achse eines kartesischen Koordinatensystems bestimmt wird.
9. Verfahren nach einem der vorangegangenen Ansprüche,
   dadurch gekennzeichnet,
   dass im interessierenden Videobildbereich die mindestens eine für Rauch charakteristische Information ausgewertet wird.
10. Verfahren nach Anspruch 9,
    dadurch gekennzeichnet,
    dass die mindestens eine genannte für Rauch charakteristische Information über eine bestimmte Zeit und damit über mehrere Bilder integriert wird und ihr Mittelwert bestimmt wird und dass für jeden dieser Mittelwerte die Wahrscheinlichkeit für das Vorliegen von Rauch berechnet wird.
11. Verfahren nach Anspruch 10,
    dadurch gekennzeichnet,
    dass die Wahrscheinlichkeit, ob Rauch vorliegt durch den Vergleich mit einem Schwellwert δ und/oder durch eine Wahrscheinlichkeitsfunktion Γ(x) bestimmt wird.
12. Verfahren nach Anspruch 10 und 11,
    dadurch gekennzeichnet,
    dass aus den Wahrscheinlichkeiten der Mittelwerte eine Gesamtwahrscheinlichkeit für das Vorliegen von Rauch im interessierenden Videobildbereich berechnet wird, dass diese Gesamtwahrscheinlichkeit über mehrere Bilder integriert wird und dass bei Überschreiten einer Schwelle (κ) durch den integrierten Wert Alarm ausgelöst wird.
13. Vorrichtung (VR) zur Detektion von Rauch durch Analyse mindestens eines von einer ein Gebiet überwachenden Videokamera aufgenommenen Videobildes,

    - mit einer Empfangseinheit (E) und einer Sendeeinheit (S) zum Durchführen der Kommunikation mit weiteren Einheiten,

    - mit einer Verarbeitungseinheit (V) zum Überprüfen des wahrscheinlichen Vorliegens von Rauch durch Bestimmung der Richtung und der Grösse eines sich bewegenden Bereichs des mindestens einen Videobildes, bei einem positiven Prüfergebnis zum Auswerten zumindest eines Teils des mindestens einen sich bewegenden Bereichs abhängig mindestens einer für Rauch charakteristischen Information hinsichtlich des Vorliegens von Rauch, zum Erzeugen mindestens eine Videobild mit einer bestimmten Frequenz und zur Gewinnung mindestens ein Intensitätsbild [X_ij(t)] daraus und zum Gewinnen einer Hintergrund-Akkumulationsmatrix [B_ij(t)] aus den mit einem Gewichtungsfaktor gewichteten Intensitätsbildern [X_ij(t)], wobei der Gewichtungsfaktor angibt, wie stark die Intensitätsbilder in die Akkumulationsmatrix [B_ij(t)] einfließen.

Images