-
Stand der Technik
-
Aus der
EP 2 044 573 B1 ist bereits eine Überwachungskamera und ein Verfahren zum Kalibrieren der Überwachungskamera bekannt. Die Überwachungskamera, die an einer stationären Überwachungsposition positioniert ist, verfügt über eine Kalibrierungshilfsvorrichtung, die bei einer Kalibrierung der Überwachungskamera unterstützt. Hierbei ist die Kalibrierungshilfsvorrichtung als eine Sensor- und Recheneinheit zur Ermittlung einer stationären Überwachungsposition der Überwachungskamera ausgebildet, wobei die stationäre Überwachungsposition die absolute Position und die Orientierung der Überwachungskamera umfasst. Mittels eines Kalibriermoduls werden Umgebungsinformationen in Form von digitalen Umgebungskarten oder digitalen Gebäudeplänen mit der durch die Kalibrierungshilfsvorrichtung ermittelten stationären Überwachungsposition der Überwachungskamera zur Kalibrierung der Kamera zusammengeführt, wobei der tatsächliche Blickwinkel der Überwachungskamera ermittelt wird. Eine Kalibrierung der Überwachungskamera dient hierbei dem Zweck, das in Pixel gemessene Größen von Objekten in den Bilddatenströmen der Überwachungskamera in metrische Einheiten umgerechnet werden können. Auf diese Weise kann für ein detektiertes Objekt die tatsächliche physikalische Größe angegeben werden. Ebenso ist es dann möglich, Geschwindigkeiten oder Beschleunigungen des Objekts in metrischen Größen anzugeben. Hierbei werden die zur Kalibrierung benötigten Daten ohne eine Benutzerinteraktion mit Hilfe der als Sensor- und Recheneinheit ausgebildeten Kalibrierhilfsvorrichtung ermittelt und stehen dann für eine Bildanalyse zur Verfügung.
-
Offenbarung der Erfindung
-
Vorteile der Erfindung
-
Ein erfindungsgemäßes Verfahren zum Einstellen, insbesondere zum Kalibrieren, einer Kamera hat hierbei den Vorteil, dass eine entsprechende Kalibrierung des erfassten Kamerabildes alleine aus einer Analyse des aufgenommenen Bildes erfolgen kann. Hierzu wird die Kamera zunächst an einer gewünschten Position angeordnet und dann eingestellt. Bei der Einstellung wird ein Bild aufgenommen, wobei sich eine automatische Analyse des aufgenommenen Bildes anschließt. Hierbei wird wenigstens einem Bildbereich des aufgenommenen Bildes ein Objekt zugeordnet. Anschließend wird versucht, das Objekt zu identifizieren. Hierzu wird das Objekt beispielsweise mit einer Vielzahl von Bildern von gespeicherten Objekten verglichen. Wird festgestellt, dass es sich bei dem Objekt um ein bekanntes Objekt handelt, dessen Außenabmaße bekannt sind, dann können diese bekannten Außenabmaße in Bezug zu denjenigen Bildpunkten des aufgenommenen Bildes gesetzt werden, die das Objekt in dem aufgenommenen Bild einnimmt.
-
Hat ein in dem aufgenommenen Bild identifiziertes Objekt eine bekannte Höhe, so kann die entsprechende Ausdehnung in dem aufgenommenen Bild, beispielsweise die Anzahl von Pixeln, die der Höhe des Objekts in dem Bild entspricht, mit der bekannten Höhe gleichgesetzt werden. Damit kann das Objekt dazu herangezogen werden, das Kamerabild unter Ausnutzung dieser bekannten Größe zu skalieren. In idealer Weise können Breite, Höhe und Tiefe eines Objekts bestimmt werden, so dass eine räumliche Skalierung des Bildes ermöglicht wird. Vorzugsweise werden mehrere Objekte in einem Bildbereich identifiziert, so dass eine Skalierung in verschiedenen Bildbereichen möglich ist.
-
Ist die Größe eines Objekts bekannt, kann unter Berücksichtigung einer bekannten Brennweite einer Optik der Kamera auch ein Abstand der Kamera zu dem Objekt bestimmt werden. Somit ist eine Abstandsbestimmung der Kamera zu dem Objekt und/oder eine Skalierung des aufgenommenen Bildes in eine oder mehrere Raumrichtungen möglich, ohne dass hierzu zusätzliche Sensoren abgefragt werden müssen. Damit wird eine Skalierung des aufgenommenen Bildes und damit eine Kalibrierung bzw. eine initiale Einstellung einer Kamera erleichtert. Zudem wird ein Hardware-Aufwand verringert, da außer der Recheneinheit für die Analyse des aufgenommenen Bildes und gegebenenfalls einer Speichereinheit bzw. einer Schnittstelle zum Abfragen von Informationen zur Identifikation von Objekten in dem Bild keine weiteren Informationen der Kamera zur Verfügung gestellt werden müssen. Insbesondere ist es für einen Benutzer nicht erforderlich, entsprechende Messungen selbst vorzunehmen und in die Kamera einzugeben.
-
Weitere Vorteile ergeben sich aus den abhängigen Ansprüchen. So ist es vorteilhaft, eine äußere Form eines erkannten Objekts mit der erwarteten Form bei einer frontalen Ansicht zu vergleichen, um aus dem Vergleich eine Ausrichtung einer Flächennormalen des Objekts zu der Kamera zu bestimmen. Hierdurch kann eine Skalierung des Bildes verbessert werden, da die Ausrichtung des Objekts zur Kamera dann bekannt ist und damit z. B. festgestellt werden kann, dass ein Gegenstand mit seiner Flächennormalen nicht auf die Kamera sondern in eine abweichende Richtung zeigt und somit auch für eine Skalierung kein konstanter, sondern ein fließender Maßstab über das aufgenommene Bild hinweg anzuwenden ist.
-
Weiterhin ist es vorteilhaft, wenigstens ein Symbol innerhalb des dem Objekt zugeordneten Bildbereichs zu erfassen und als ergänzende Information für eine Identifikation des Objekts auszuwerten. Hierbei kann es sich beispielsweise um eine Typenbeschreibung oder eine Markenbezeichnung eines Objekts handeln. Ferner ist es aber auch möglich, dass auf einem Objekt ein Informationssymbol, z. B. ein QR-Code oder ein Strichcode, aufgebracht ist, um eine Identifikation eines Objekts zu erleichtern. Dies ist insbesondere dann vorteilhaft, wenn ein besonderes, normiertes Objekt zur vereinfachten Kalibrierung der Kamera an eine Position in einem Blickfeld der Kamera eingebracht wird. Denn über ein solches, für eine Kamera leicht zu erfassendes und zu interpretierendes Symbol kann eine Wahrscheinlichkeit einer korrekten Objekterkennung und -zuordnung vereinfacht werden.
-
Weiterhin ist es vorteilhaft, eine Eingabeerfassung eines Benutzers zusätzlich zu berücksichtigen. Hierdurch kann der Benutzer insbesondere bei Zweifelsfällen einer durchgeführten automatischen Identifizierung ein korrektes Erkennen eines Objekts bestätigen. Ferner ist es aber auch möglich, dass ein Benutzer ihm bekannte Zusatzinformationen zu einem Objekt auf einfache Weise eingibt, so dass dann beispielsweise Größeninformationen, die dem Benutzer nicht bekannt sind, abgerufen werden können. So kann ein Benutzer beispielsweise Typeninformationen eines Gerätes eingeben, das als Objekt erkannt worden ist. Auch wenn ihm Größeninformation nicht bekannt sind, können diese aus einer Speichereinrichtung, in der die Größeninformationen vorliegen, oder über ein Datennetz unter Berücksichtigung der zusätzlich eingegebenen Informationen abgerufen werden. Hiermit werden die Erkennungsgenauigkeit eines Objekts und damit die Skalierung verbessert, ohne dass ein Benutzer Detailinformationen oder Größeninformationen eingeben muss. Vielmehr kann der die ihm bekannten Informationen eingeben, die dann ausgewertet werden. So können einem Benutzer Identifikationsinformationen oder weitere Informationen zu dem identifizierten Objekt ausgegeben werden, so dass ein Benutzer feststellen kann, ob eine Erkennung in korrekter Weise erfolgt ist.
-
Weiterhin ist es vorteilhaft, eine dem Objekt zugeordnete Datenmenge, insbesondere Daten des dem Objekt zugeordneten Bildbereichs, an einen Suchalgorithmus zur Identifizierung des Objekts zu übermitteln, so dass auf einfache Weise mittels eines Algorithmus eine Identifizierung des Objekts erfolgen kann. Vorteilhaft ist insbesondere eine Identifikation eines Objekts unter Ausnutzung eines eingelernten neuronalen Netzes, in dem mögliche, identifizierbare Objekte bereits abgelegt sind. Bei einer Anwendung der Kamera im Haushalt können z. B. in einem Haushalt übliche Geräte wie beispielsweise Haushaltsgeräte oder Unterhaltungs-Elektronikgeräte abgelegt sein. Neben Haushaltsgeräten können auch Möbel wie z.B. Schränke oder Tische analysiert werden. Ferner ist es aber auch möglich, andere Haushaltsgegenstände wie Tassen, Besteck, Zeitschriften oder Bücher heranzuziehen. Bei einem industriellen Einsatz können dies beispielsweise in einer Fertigung häufig auftretende Geräte, wie Produktionsmaschinen oder standardisierte Verpackungsmaterialien, wie beispielsweise Paletten oder Drahtgitterboxen sein.
-
Für eine nachfolgende Überwachung eines von der Kamera aufgenommenen Bildbereiches wird die Skalierung nicht nur für das soeben aufgenommene Bild, sondern auch für im Anschluss von der Kamera nachfolgend aufgenommene Bilder durchgeführt bzw. verwendet, insbesondere wenn die Kamera ortsfest angeordnet ist. Hierbei kann dann das für die Skalierung in dem zunächst aufgenommenen Bild verwendete Objekt auch wieder aus dem erfassten Bild entfernt worden sein.
-
Weiterhin ist eine Überwachungseinrichtung mit Mitteln, die geeignet sind, die Schritte des Verfahrens durchzuführen sowie ein entsprechendes Computerprogramm und ein computerlesbares Medium, auf dem das Computerprogramm gespeichert ist, mit entsprechenden Vorteilen versehen.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 eine Überwachungseinrichtung zur Durchführung des Verfahrens,
- 2 ein beispielhaftes Sichtfeld der Kamera mit darin befindlichen Objekten,
- 3 und 4 verschiedene Ansichten eines zu identifizierenden Objekts,
- 5 ein Ausführungsbeispiel für einen Verfahrensablauf.
-
Ausführungsformen der Erfindung
-
Das erfindungsgemäße Verfahren zur Einstellung einer Kamera kann für beliebige Kameraeinrichtungen verwendet werden. Insbesondere ist es vorteilhaft für Kameras, die fest angeordnet oder montiert einer Überwachung einer zu beobachtenden, bestimmten Szene, also eines bestimmten Raumbereichs innerhalb oder außerhalb eines Gebäudes dienen, der zu überwachen ist. Die Aufgabe der Kamera ist es hierbei nicht nur, das jeweilige Bild aufzunehmen, sondern auch Objekte, insbesondere bewegte Objekte und Veränderungen in dem zu überwachenden Raumbereich zu erkennen und auszuwerten. Um hierbei jedoch sicher Objekte erkennen zu können und beispielsweise eine Bewegung eines Menschen erkennen zu können, ist eine Kameraeinstellung im Sinne einer Kamerakalibrierung erforderlich, um Objekten innerhalb eines aufgenommenen Bildes innerhalb des zu beobachtenden Raumes in diesem dreidimensionalen Raum eindeutig eine Ausdehnung zuordnen zu können. Mit dem erfindungsgemäßen Verfahren wird ein nach Montage der Kamera vorzunehmender Kalibrierungsschritt sowohl vereinfacht als auch sicher durchgeführt, so dass eine nachfolgende Auswertung des erfassten Bildes zuverlässig erfolgen kann. Hierbei wird für beliebige Objekte in der Szene eine Erfassung einer Größe durch die Kamera nach erfolgter Kalibrierung ermöglicht, ohne dass von einem Benutzer Bemaßungen oder Größenangaben manuell eingegeben werden müssen.
-
In der 1 ist eine Kamera 10 dargestellt, die über eine Optik 11 einen Raumbereich beobachtet. Eine Recheneinrichtung 12 wertet das von der Kamera 10 über die Optik 11 erfasste Bild aus, das beispielsweise über eine Bilderfassungseinheit 13, z. B. einen CCD-Baustein, erfasst wird. Nach einem erstmaligen Einschalten der Kamera oder auf eine Aufforderung durch einen Benutzer führt die Kamera 10 ein Einstellverfahren durch. Dieses wird beispielhaft anhand der Beispielszene der 2 erläutert.
-
Die 2 zeigt ein von der Kamera 10 aufgenommenes Bild 20. In diesem Bild 20 werden mehrere Objekte identifiziert, ein erstes Objekt 21, ein zweites Objekt 22 ein drittes Objekt 23 sowie eine erste Fläche 24, eine zweite Fläche 25 und eine dritte Fläche 26, z.B. anhand unterschiedlicher Farbgebung und/oder Struktur der jeweiligen Bildbereiche. Die den Objekten zugewiesenen Bildbereiche werden anschließend einer gesonderten Analyse zur Identifizierung der Objekte zugeführt. Diese Identifizierung kann in der Recheneinheit 12 erfolgen. Jedoch kann die Kamera 10 auch über eine Datenverbindung 14 mit einer Recheneinrichtung 15 beispielsweise über ein Datennetz oder über eine Nahfeld-Kommunikationsverbindung verbunden sein. In der Recheneinrichtung 15 wird versucht, den jeweilige Bildbereich unter Zugriff auf eine Speichereinrichtung einem in der Speichereinrichtung 16 zugeordneten Objekt zuzuordnen. In einer ersten Ausführungsform kann der aufgenommene Bildbereich hierbei mit gespeicherten Bildinformationen verglichen werden, die in der Speichereinrichtung 16 abgelegt sind. Insbesondere ist die Speichereinrichtung 16 zusammen mit der Recheneinrichtung 15 als ein neuronales Netzwerk ausgeführt, mittels dem eine Bildauswertung des Bildbereichs erfolgt. Die gespeicherten Objekte in der Speichereinrichtung 16 sind hierbei möglichst mit einer Größenangabe abgelegt, so dass diese Größeninformation über die Datenverbindung 14 an die Kamera 10 nach einer erfolgreichen Objektidentifikation zurückgemeldet werden kann.
-
So wird bespielhaft in der 2 das erste Objekt 21 als ein Fernseher erkannt. Idealerweise wird anhand des Aussehens des Objekts 21 auch die Größe des Fernsehers ermittelt. Sollte diese Information noch nicht ausreichend sein, so kann in einer ersten Ausführungsform über eine Ein- Ausgabeschnittstelle 17, beispielsweise ein Smartphone, ein Tablet-Computer oder über eine andere, geeignete Recheneinrichtung einem Benutzer ausgegeben werden, dass das erste Objekt 21 als ein Fernseher erkannt wurde. Der Benutzer kann nunmehr aufgefordert werden, eine Typenbezeichnung des Fernsehers einzugeben. Unter Berücksichtigung der Typenbezeichnung kann dann wiederum auf die Speichereinrichtung 16 zugegriffen werden, um eine Größeninformation des Fernsehers auch unter Berücksichtigung der Typeninforation zu bestimmen. In einer anderen Ausführungsform kann die Recheneinrichtung 15 aber auch dazu ausgerichtet sein, selbstständig eine Suche in einem Datennetz, wie z. B. dem Internet durchzuführen, um eine Abmessung des Fernsehers zu ermitteln. In einer weiteren Ausführungsform kann ein Symbol 27, das auf dem ersten Objekt 21 angeordnet ist, von der Kamera 10 erfasst und an die Recheneinrichtung 15 zur Auswertung weitergegeben werden. Hierbei kann es sich um eine Markenbezeichnung oder um eine Typenbezeichnung des ersten Objekts handeln. Diese Information wird bei der Identifizierung des Objekts vorzugsweise mit berücksichtigt.
-
In einer Ausführungsform kann über die Ein- Ausgabeschnittstelle 17 nach einer erfolgten Identifizierung einem Benutzer optional eine Bezeichnung des ersten Objekts beispielsweise „Fernseher der Marke XY und des Typs Z“ angezeigt werden. Der Benutzer kann nun aufgefordert werden, diese Identifizierung zu bestätigen oder zu verneinen.
-
Sind nun die Abmaße des ersten Objekts, beispielsweise die Abmaße eines bestimmten Fernsehertyps, ermittelt, so kann eine Ausdehnung in einer erste Richtung 28 und eine Ausdehnung in eine zweite Richtung 29 zur Skalierung der Bildinformation herangezogen werden.
-
Da nach einer Identifizierung des ersten Objekts 21 eine Größe des ersten Objektes, also in dem hier gezeigten Ausführungsbeispiel des Fernsehers bekannt ist, kann zudem unter Berücksichtigung der Brennweite der Kamera festgestellt werden, wie weit sich das erste Objekt von der Kamera 10 entfernt befindet. Damit ist auch eine Bestimmung der Entfernung zwischen dem ersten Objekt 21 und der Kamera 10 möglich, die das erste Objekt 21 erfasst. Diese Information kann für eine Einstellung der Kamera 10 ebenfalls mit herangezogen werden.
-
Ferner wird das zweite Objekt 22 beispielsweise als ein Toaster eines bestimmten Typs identifiziert. Auch zu diesem Objekt sind Abmaße in dem hier gezeigten Ausführungsbeispiel bekannt, so dass auch für das zweite Objekt 22 eine Größenbestimmung und nachfolgend eine Skalierung erfolgen kann.
-
Für das dritte Objekt, 23, eine Kommode, existieren beispielsweise in der Speichereinrichtung 16 keine Größenmaße. Über die Ein- Ausgabeschnittstelle 17 kann dem Betrachter angezeigt werden „drittes Objekt wurde als Kommode identifiziert, deren Größenangabe jedoch nicht bekannt ist“. Ein Benutzer kann nun entweder die Abmaße der Kommode eingeben oder er kann beispielsweise eine Typenbezeichnung der Kommode eingeben, die zu einer Identifizierung der Größeninformation herangezogen werden kann.
-
Ferner hat die Kamera eine erste Fläche 24, eine zweite Fläche 25 und eine dritte Fläche 26 erkannt. Dadurch, dass das dritte Objekt 23 auf der dritten Fläche 26 steht, wird die dritte Fläche 26 als Bodenfläche erfasst. Die erste und die zweite Fläche 24, 25 werden entsprechend als Wandfläche erfasst. Mittels der bereits vorliegenden Skalierungen durch das erste und das zweite Objekt 21, 22 kann beispielsweise ein Abstand 30 des ersten Objekts 21 zu einer Übergangslinie 31 zwischen der ersten Wandfläche und der zweiten Wandfläche sowie ein Abstand 33 zwischen dem zweiten Objekt und der Übergangslinie 31 bestimmt werden. Damit wird ein dreidimensionaler, skalierter Raum in der von der Kamera 10 gemäß der 2 sichtbaren Szene aufgespannt. Diese Skalierung kann dann dazu herangezogen werden, beispielsweise ein zu einem späteren Zeitpunkt in die Szene eingebrachtes Objekt 34, das in der 2 gestrichelt dargestellt ist, hinsichtlich seiner Größe durch die Recheneinrichtung 12 abzuschätzen und damit beispielsweise festzustellen, ob dieses Objekt eine Gefahr darstellt oder nicht oder ob es sich bei dem Objekt beispielsweise um eine Person handelt.
-
Um eine Ausrichtung eines Objekts im Raum genau zu erfassen, wird vorteilhafterweise zudem einen Normalenvektor einer Fläche bestimmt, die der Kamera zuweist. Ein Verfahren hierzu ist anhand der 3 und 4 dargestellt. Die 3 und 4 zeigen eine Frontseite eines Fernsehers, der in unterschiedlichen Winkeln zu einer ihn betrachtenden Kamera dargestellt ist. In der 3 befindet sich eine rechte Seite 41 des Fernsehers 40 näher an der Kamera als eine linke Seite 42. In der 4 ist die linke Seite 42' näher als die rechte Seite 41' angeordnet. Dies führt dazu, dass bei der 3 die rechte Seite 41 länger als die linke Seite 42 erscheint und in der 4 die linke Seite 42' länger als die rechte Seite 41' erscheint. Da die beiden Seitenkanten jedoch tatsächlich gleichlang sind, kann anhand dieses Längenvergleichs leicht berechnet werden, in welchem Winkel der Fernseher zu einer ihm betrachtenden Kamera steht. Ist bekannt, dass ein Objekt also eine regelmäßige, rechteckige Form aufweist, kann durch eine Auswertung des Längenverhältnisses der linken und der rechten Seite festgestellt werden, wie ein Normalenvektor der Oberfläche, der rechteckigen, auf die Kamera zuweisenden Fläche zu einer Blickrichtung der Kamera steht. Ist ein Objekt, wie z.B. das erste Objekt 21 gemäß der 2, an einer Wand angeordnet, kann diese Information für die Skalierung der Wand entsprechend herangezogen werden.
-
In der 5 ist ein Ausführungsbeispiel für einen erfindungsgemäßen Verfahrensablauf dargestellt. In einem Initialisierungsschritt 50 wird entweder automatisch oder manuell eine Kalibrierung der Kamera gestartet. In einem anschließenden Bildaufnahmeschritt 51 wird von der Kamera ein Bild einer Szene aufgenommen. In einem anschließenden Analyseschritt 52 wird nach Bildbereichen gesucht, die möglicherweise einem Objekt zuzuweisen sind.
-
Hierbei handelt es sich insbesondere um Flächen, die eine ähnliche Farbe und/oder eine vergleichbare Struktur aufweisen. In einem anschließenden Prüfschritt 53 wird überprüft, ob ein Objekt identifiziert werden konnte. Ist dies nicht der Fall, so wird zu dem Bildaufnahmeschritt 51 zurückverzweigt. Wurde ein Objekt erkannt, so wird in einem Identifizierungsschritt 54 das Objekt identifiziert. Der Analyseschritt 52 wird fortgeführt, bis keine weiteren Objekte vorhanden sind. Anschließend wird in einem Ermittlungsschritt 55 eine Größeninformation für die einzelnen Objekte bestimmt. In einem anschließenden Skalierungsschritt 56 wird eine Skalierung des erfassten Bildes durchgeführt. In einem optionalen Ausgabeschritt 57 werden einem Benutzer die erfassten Skalierungsgrößen und/oder Informationen zu den erfassten Objekten angezeigt. In einem Abfrageschritt 58 kann ein Nutzer nunmehr die erfasste durchgeführte Skalierung bestätigen, dann wird das Kalibrierungsverfahren in einem Endschritt 59 beendet und die ermittelte Skalierung wird für nachfolgende Bildauswertungen herangezogen. Andernfalls wird von dem Abfrageschritt 58 zu dem Bildaufnahmeschritt 51 zurückverwiesen.
-
In einer weiteren Ausführungsform ist es auch möglich, ein normiertes Objekt, beispielsweise einen Würfel mit 25 cm Kantenlänge an verschiedenen Positionen in einem Bild einzubringen. Dieser Würfel kann beispielsweise durch einen Barcode gesondert gekennzeichnet sein, so dass er von der Kamera leicht erfasst werden kann.
-
Neben einer Skalierung mit einer einzigen Bildaufnahme ist es auch möglich, eine Bildfolge aufzunehmen und in der Bildfolge nacheinander eine Skalierung für einzelne Bereiche des Bildes durchzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-