[go: up one dir, main page]

DE102015211871A1 - Objekterkennungsvorrichtung - Google Patents

Objekterkennungsvorrichtung Download PDF

Info

Publication number
DE102015211871A1
DE102015211871A1 DE102015211871.1A DE102015211871A DE102015211871A1 DE 102015211871 A1 DE102015211871 A1 DE 102015211871A1 DE 102015211871 A DE102015211871 A DE 102015211871A DE 102015211871 A1 DE102015211871 A1 DE 102015211871A1
Authority
DE
Germany
Prior art keywords
candidate image
determination
parts
pedestrian
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015211871.1A
Other languages
English (en)
Inventor
Shun IWASAKI
Keisuke Miyagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of DE102015211871A1 publication Critical patent/DE102015211871A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Eine Objekterkennungsvorrichtung 10 enthält eine Kandidatbild-Extraktionseinheit 12, die ein Kandidatbildteil 22, das ein Bildteil eines Objekts ist, aus einem Aufnahmebild 21 einer Kamera 2 extrahiert, sowie eine Kandidatbild-Bestimmungseinheit 14, die den Objekttyp des Kandidatbildteils 22 in einem Bestimmungsbereich R'1 auf der Basis davon bestimmt, ob eine erste vorbestimmte Anzahl k oder mehr von Kandidatbildteilen 22, die in dem Aufnahmebild 21 von der Kandidatbild-Extraktionseinheit 12 extrahiert worden sind, in dem Bestimmungsbereich R'1 extrahiert worden sind, dessen Breite in der horizontalen Richtung eine vorbestimmte Breite oder weniger ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, die konfiguriert ist, um auf der Basis eines Aufnahmebilds einer Kamera ein Objekt zu erkennen.
  • 2. Beschreibung der verwandten Technik
  • Bislang ist eine Objekterkennungsvorrichtung bekannt geworden, die dazu ausgelegt ist, auf einem Bild einer Straße vor dem Fahrzeug, das von einer im Fahrzeug angebrachten Kamera erfasst wird, einen Fußgänger zu erkennen, mit dem ein Kontakt durch das Fahrzeug vermieden werden soll (siehe z. B. japanische Patentanmeldung-Offenlegung Nr. 2002-279808 ).
  • Gemäß der Objekterkennungsvorrichtung, die in der vorstehenden Publikation beschrieben ist, wird ein Bildteil eines Objekts, das sich in der Umgebung eines Fahrzeugs befindet (Kandidat eines Bildteils eines Fußgängers) aus einem von einer Kamera erfassten Bild extrahiert, und dann wird identifiziert, ob das Bildteil des Objekts ein Bildteil eines Fußgängers ist oder nicht. Danach wird die Orientierung des Fußgängers in dem Bildteil, das als das Bildteil des Fußgängers identifiziert worden ist, bestimmt, und es wird ferner bestimmt, ob der Kontakt des Fahrzeugs mit dem Objekt vermieden werden soll. Dann wird, auf der Basis des Ergebnisses der Bestimmung, einem Fahrer eine Meldung gegeben.
  • Eine Identifizierungstechnik wie etwa ein Verfahren zum Identifizieren, ob das Bildteil eines Objekts das Bildteil eines Fußgängers ist oder nicht, beruht auf den Charakteristiken, die die Form eines Objekts angeben, wie etwa dem Aspektverhältnis des Bildteils eines Objekts, dem Verhältnis zwischen der Fläche des Bildteils des Objekts und der Fläche eines das Bildteil des Objekts umschreibenden Vierecks, oder den Charakteristiken, wie etwa der Größe des Bildteils des Objekts und der Luminanzverteilung auf einem Grauwertbild.
  • Wenn jedoch ein Fußgänger aus einem Aufnahmebild einer Kamera erkannt wird, dann muss, falls mehrere Kandidaten der Bildteile des Fußgängers extrahiert werden, jeder der Kandidaten geprüft werden, zum Identifizieren, ob der Kandidat das Bildteil des Fußgängers ist oder nicht, was ein Problem einer verlängerten Zeit darstellt, die zum Erkennen des Fußgängers erforderlich ist.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung ist im Hinblick auf den vorstehenden Hintergrund gemacht worden, und Aufgabe der Erfindung ist es, eine Objekterkennungsvorrichtung anzugeben, die in der Lage ist, die Zeit zu verkürzen, die zum Erkennen eines Objekts erforderlich ist, wenn mehrere Kandidaten eines Bildteils des Objekts aus einem Aufnahmebild einer Kamera extrahiert werden.
  • Eine Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung enthält:
    eine Kandidatbild-Extraktionseinheit, die ein Kandidatbildteil, das ein Bildteil eines Objekts ist, aus einem Aufnahmebild einer Kamera extrahiert; und
    eine Kandidatbild-Bestimmungseinheit, die einen Objekttyp des Kandidatbildteils in einem Bestimmungsbereich basierend darauf bestimmt, ob eine erste vorbestimmte Anzahl oder mehr der Kandidatbildteile von der Kandidatbild-Extraktionseinheit in dem Bestimmungsbereich extrahiert worden ist, wobei eine Breite des Bestimmungsbereichs in horizontaler Richtung im Aufnahmebild eine vorbestimmten Breite oder weniger ist.
  • Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung extrahiert zunächst ein Kandidatbildteil, das ein Bildteil eines Objekts ist, aus einem Aufnahmebild einer Kamera durch eine Kandidatbild-Extraktionseinheit.
  • Dann bestimmt die Kandidatbild-Bestimmungseinheit den Objekttyp eines Kandidatbildteils in einem Bestimmungsbereich auf der Basis davon, ob die erste vorbestimmte Anzahl oder mehr der Kandidatbildteile von der Kandidatbild-Extraktionseinheit in dem Bestimmungsbereich extrahiert worden ist, wobei die Breite des Bestimmungsbereichs in der horizontalen Richtung in dem Aufnahmebild eine vorbestimmte Breite oder weniger ist.
  • Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung ist in der Lage, den Objekttyp des Kandidatbildteils in dem Bestimmungsbereich durch einen einfachen arithmetischen Prozess zu bestimmen, der von der Kandidatbild-Bestimmungseinheit durchgeführt wird, was es möglich macht, die Zeit zu verkürzen, die zum Erkennen eines Objekts erforderlich ist, wenn mehrere Kandidatbildteile extrahiert werden.
  • Der Begriff „der Bestimmungsbereich, dessen Breite in der horizontalen Richtung in dem Aufnahmebild eine vorbestimmte Breite oder weniger ist” bezieht sich auf einen Bestimmungsbereich, dessen Breite in der horizontalen Richtung innerhalb einer vorbestimmten Breite im Aufnahmebild liegt, oder einen Bestimmungsbereich, dessen Breite in der horizontalen Richtung orthogonal zur Abbildungsrichtung der Kamera innerhalb einer vorbestimmten Breite oder weniger liegt, wenn das Aufnahmebild in einen realen Raum umgewandelt wird.
  • Ferner wird der Fall, wo „eine erste vorbestimmte Anzahl oder mehr der Kandidatbildteile in dem Bestimmungsbereich extrahiert wird”, durch einen Fall exemplifiziert, wo zwei Spuren, welche die Spuren von Rädern sind, auf einer verschneiten Straße ausgebildet sind, und dann der Schnee von nur einer der Spuren schmilzt, was die Schneemasse zwischen den zwei Spuren belässt, und das Bildteil der verbleibenden Schneemasse als Kandidatbildteile extrahiert wird.
  • Ferner ist, in der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung, der Bestimmungsbereich bevorzugt ein Bereich, dessen entsprechende Realraum-Position innerhalb einer vorbestimmten Breite in der horizontalen Richtung orthogonal zu einer Abbildungsrichtung der Kamera liegt.
  • Ferner kann in der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung der Bestimmungsbereich in der horizontalen Richtung orthogonal zur Abbildungsrichtung der Kamera in einer Mehrzahl vorliegen, und kann die Kandidatbild-Bestimmungseinheit die Bestimmung an jedem der Bestimmungsbereiche durchführen.
  • Ferner bestimmt, in der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung, die Kandidatbild-Bestimmungseinheit bevorzugt, dass in dem Fall, wo die erste vorbestimmte Anzahl oder mehr der Kandidatbildteile in dem Bestimmungsbereich extrahiert wird, das Kandidatbildteil in dem Bestimmungsbereich eine geringe Wahrscheinlichkeit haben, dass es ein Bildteil eines Fußgängers ist.
  • Diese Anordnung macht es möglich, zu bestimmen, dass die Wahrscheinlichkeit, dass das Kandidatbildteil in dem Bestimmungsbereich das Bildteil eines Fußgängers ist, gering ist.
  • Wenn die erste vorbestimmte Anzahl oder mehr der Kandidatbildteile in dem Bestimmungsbereich extrahiert wird, dann ist die Wahrscheinlichkeit gering, dass das Kandidatbildteil in dem Bestimmungsbereich ein Bildteil eines Fußgängers ist. Dies ist so, weil, anders als eine Schneemasse, eine Fußgänger eine bestimmte Höhe hat, so dass ein Fußgänger hinter einem anderen Fußgänger an der benachbarten Seite, die der Kamera näher ist, versteckt wird, und kein Bildteil des Fußgängers dahinter extrahiert wird.
  • Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung enthält bevorzugt eine Fußgängerbild-Identifizierungseinheit, die einen Fußgängeridentifizierungsprozess durchführt, zum Identifizieren, ob Kandidatbildteile, in Bezug auf Kandidatbildteile ausschließlich von Kandidatbildteilen, die unter den von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteilen, von der Kandidatbild-Bestimmungseinheit als solche identifiziert wurden, die mit geringer Wahrscheinlichkeit Bildteile eines Fußgängers sind, Bildteile eines Fußgängers sind oder nicht.
  • Mit dieser Anordnung führt die Fußgängerbild-Identifizierungseinheit den Fußgänger-Identifizierungsprozess an den verbleibenden Kandidatbildteilen nach Ausschluss der Kandidatbildteile durch, von denen, unter den von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteilen, die Kandidatbild-Bestimmungseinheit bestimmt hat, dass sie weniger wahrscheinlich Bildteile eines Fußgängers sind. Dies macht es möglich, die Anzahl der Kandidatbildteile zu reduzieren, die in dem Fußgängeridentifizerungsprozess zu bearbeiten sind, um hierdurch die Zeit zu verkürzen, die zum Identifizieren eines Fußgängers erforderlich ist.
  • Ferner wählt, in der mit der Fußgängerbild-Identifizierungseinheit versehenen Objekterkennungsvorrichtung, die Fußgängerbild-Identifizierungseinheit bevorzugt eine zweite vorbestimmte Anzahl oder weniger von Kandidatbildteilen, deren entsprechende Realraum-Positionen innerhalb des vorbestimmten Abstands von der Kamera vorhanden sind, aus den Kandidatbildteilen aus, die von der Kandidatbild-Bestimmungseinheit als solche bestimmt worden sind, die eine geringe Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind, und führt den Fußgängeridentifizerungsprozess an den ausgewählten Kandidatbildteilen durch.
  • Wenn mit dieser Anordnung die Kandidatbildteile, die von der Kandidatbild-Bestimmungseinheit als solche bestimmt worden sind, die weniger wahrscheinlich Bildteile eines Fußgängers sind, ein Bildteil eines Objekts enthalten, das der Kamera benachbart und innerhalb eines vorbestimmten Abstands davon ist, und dessen Überwachung besonders notwendig ist, dann kann der Fußgängeridentifizerungsprozess an diesem bestimmten Bildteil durchgeführt werden.
  • Ferner kann die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung eine Abstandsberechnungseinheit enthalten, die einen Abstand zwischen einer entsprechenden Realraum-Position und einer Kamera an einem von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteil berechnet, wobei die Kandidatbild-Bestimmungseinheit bestimmen kann, dass ein Kandidatbildteil, dessen entsprechende Realraum-Position zu dem Bestimmungsbereich gehört, eine geringe Wahrscheinlichkeit hat, dass es ein Bildteil eines Fußgängers ist, in einem Fall, wo die Kandidatbildteile, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich gehören, die erste vorbestimmte Anzahl oder weniger und eine dritte vorbestimmte Anzahl oder mehr von Kandidatbildteilen enthalten, die unterschiedliche Abstände von der Kamera haben, unter Kandidatbildteilen, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich gehören, wobei die Abstände von der Abstandsberechnungseinheit berechnet werden.
  • Mit dieser Anordnung lässt sich bestimmen, dass eine Mehrzahl von kontinuierlichen Objekten mit geringer Höhe, die in der Abbildungsrichtung der Kamera angeordnet sind (z. B. der vorgenannten Schneemasse zwischen den Spuren), weniger wahrscheinlich ein Bildteil eines Fußgängers ist.
  • Ferner kann in der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung die Bestimmung auch unter Verwendung eines Einzelbilds, das zu einem Zeitpunkt erfasst wird, durchgeführt werden. Alternativ kann die Bestimmung jedoch auch unter Verwendung einer Mehrzahl von Aufnahmebildern erfolgen, die über die Zeit aufeinanderfolgend erfasst werden.
  • Zum Beispiel kann die Kandidatbild-Bestimmungseinheit den Objekttyp der Kandidatbildteile in dem Bestimmungsbereich bestimmen, falls die erste vorbestimmte Anzahl oder mehr von Kandidatbildteilen in dem Bestimmungsbereich extrahiert werden, oder eine durchschnittliche Anzahl der Extraktionen von Kandidatbildteilen, die in dem Bestimmungsbereich in jedem der Aufnahmebilder extrahiert werden, eine vierte vorbestimmte Anzahl oder mehr in Aufnahmebildern der vorbestimmten Anzahl oder mehr ist, die kontinuierlich über die Zeit erfasst worden sind.
  • Alternativ kann die Kandidatbild-Bestimmungseinheit den Objekttyp der Kandidatbildteile in dem Bestimmungsbereich bestimmen, falls in einer vorbestimmten Anzahl oder mehr von Aufnahmebildern, die kontinuierlich über die Zeit erfasst worden sind, die erste vorbestimmte Anzahl oder mehr Kandidatbildteile in dem Bestimmungsbereich des zu einem ersten Zeitpunkt erfassten Aufnahmebilds extrahiert werden, und die erste vorbestimmte Anzahl oder weniger und eine fünfte vorbestimmte Anzahl oder mehr der Kandidatbildteile in dem Bestimmungsbereich von jedem der Aufnahmebilder extrahiert werden, die zu unterschiedlichen Zeitpunkten nach dem ersten Zeitpunkt erfasst werden.
  • Gemäß diesen Verfahren kann die Genauigkeit der Bestimmung des Objekttyps verbessert werden, im Vergleich zu dem Fall, wo die Bestimmung nur mittels eines Aufnahmebilds erfolgt, das zu einem Zeitpunkt erfasst wird.
  • In diesem Fall kann die vorbestimmte Anzahl von Aufnahmebildern, die kontinuierlich über die Zeit erfasst werden, entsprechend der Fahrgeschwindigkeit des Fahrzeugs verändert werden, in dem die Kamera angebracht ist.
  • Ferner setzt die Kandidatbild-Bestimmungseinheit bevorzugt die Bestimmung des Objekttyps fort, bis nach der Bestimmung des Objekttyps Kandidatbildteile in dem Bestimmungsbereich eine vorbestimmte Zeit abgelaufen ist.
  • Mit dieser Anordnung lässt sich verhindern, dass sich die Bestimmung des Objekttyps innerhalb der vorbestimmten Zeit aufgrund des Einflusses von Rauschen oder dergleichen ändert, nachdem die Kandidatbild-Bestimmungseinheit den Objekttyp der Kandidatbildteile in dem Bestimmungsbereich bestimmt hat.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockdiagramm einer Objekterkennungsvorrichtung;
  • 2 ist ein Flussdiagramm eines von der Objekterkennungsvorrichtung durchgeführten Prozesses;
  • 3 ist ein Erläuterungsdiagramm, das Kandidatbildteile in einem Aufnahmebild darstellt;
  • 4A und 4B sind Erläuterungsdiagramme, die einen Prozess zum Berechnen eines Abstands darstellen, wobei 4A ein Aufnahmebild 21 darstellt und 4B ein Verfahren zum Berechnen eines Abstands darstellt; und
  • 5 ist ein Erläuterungsdiagramm, das die Positionen von Koordinaten von Kandidatbildteilen in einem Aufnahmebild darstell, die in reale Koordinaten umgewandelt worden sind.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
  • Eine Ausführung einer Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung wird im Bezug auf 1 bis 5 beschrieben.
  • Im Bezug auf 1 ist eine Objekterkennungsvorrichtung 10 in einem Fahrzeug 1 angebracht, das mit einer Kamera 2 (Farbkamera) versehen ist.
  • Die Objekterkennungsvorrichtung 10 ist eine elektronische Einheit, die aus einer CPU, Speichern, verschiedenen Typen von Schnittstellen und dergleichen (nicht dargestellt) aufgebaut ist, und fungiert als Aufnahmebilderfassungseinheit 11, als Kandidatbild-Extraktionseinheit 12, Abstandsberechnungseinheit 13, Kandidatbild-Bestimmungseinheit 14, Fußgängerbild-Identifizierungseinheit 15, Fußgängerorientierungs-Bestimmungseinheit 16, Vermeidungs-Bestimmungseinheit 17 und Alarm-Ausgabeeinheit 18, durch Ausführung eines Objekterkennungsprogramms, das in einem Speicher gehalten wird, durch die CPU.
  • Gemäß dem in 2 angegebenen Flussdiagramm beschreibt das Folgende den Prozess zum Erkennen eines Objekts (einer Person, eines Fahrrads oder dergleichen), das auf einer Straße existiert, der von der Objekterkennungsvorrichtung 10 ausgeführt wird. Die Objekterkennungsvorrichtung 10 führt den Prozess bei jedem vorbestimmten Steuerzyklus gemäß dem Prozess des in 2 angegebenen Flussdiagramms durch, um ein Objekt (Fußgänger) zu erkennen, das auf der Straße existiert, auf der das Fahrzeug 1 fährt, bestimmen, ob das Objekt ein Objekt ist, mit dem das Fahrzeug 1 einen Kontakt vermeiden sollte, und einen Fahrer in Kenntnis zu setzen.
  • Der Prozess in Schritt 1 von 2 wird von der Aufnahmebild-Erfassungseinheit 11 ausgeführt. Die Aufnahmebild-Erfassungseinheit 11 empfängt Videosignale des das Fahrzeug 1 umgebenden Bereichs (vorderen Bereichs), die von der im Fahrzeug angebrachten Kamera 2 ausgegeben werden, und unterzieht die Farbkomponenten (R-Wert, G-Wert und B-Wert) der Videosignale einer Entmosaikisierung, um ein Farb-Aufnahmebild zu erfassen, dass den R-Wert, G-Wert und B-Wert als die Daten jedes Pixels aufweist. Die Daten des Farb-Aufnahmebilds vor dem Fahrzeug 1 werden in einem Bildspeicher 20 gehalten. Dann wird der Prozess zum Umwandeln der Farbkomponente jedes Pixels vom Farbaufnahmebild in Luminanzgrade durchgeführt, um ein Grauwert-Aufnahmebild (nachfolgend als „das Aufnahmebild” bezeichnet) 21 zu erzeugen, und wird das erzeugte Aufnahmebild in dem Bildspeicher 20 gehalten.
  • Der Prozess im nächsten Schritt S2 wird von der Kandidatbild-Extraktionseinheit 12 ausgeführt. Die Kandidatbild-Extraktionseinheit 12 extrahiert Kandidatbildteile 22, die Bildteile eines Objekts sind, das ein Fußgänger sein kann, aus einem Aufnahmebild 21. Zum Beispiel stellt 3 die Bildteile eines fern liegenden Gebirges dar, das aus einer Mehrzahl von Kandidatbildteilen 22 extrahiert wird. Die Bildteile zeigen Schnee, der zwischen zwei Spuren verbleibt, nachdem die zwei Spuren auf einer verschneiten Straße durch Räder gebildet sind, und nur der Schnee entlang den Spuren geschmolzen ist.
  • Die Kandidatbildteile 22 werden aus dem Aufnahmebild 21 zum Beispiel durch Absuchen nach Bereichen extrahiert, die die Quantität von Charakteristiken eines Fußgängers in dem Grauwert-Aufnahmebild 21 haben. Die Suche nach einem Fußgänger in Schritt S2 erfolgt unter Verwendung der Daten eines einfachen Nachschlagewerks (einer Schablone der Quantität von Charakteristiken eines Fußgängers), das lockerer gesetzt worden ist als im Prozess zum Identifizieren eines Fußgängers in Schritt 8, wie später diskutiert wird.
  • Anschließend wird der Prozess in Schritt 3 von der Abstandsberechnungseinheit 13 ausgeführt. Die Abstandsberechnungseinheit 13 berechnet den Abstand zwischen einer entsprechenden Realraum-Position der Kamera 2 an jedem der Kandidatbildteile 22.
  • Wie in 4A dargestellt, bestimmt die Abstandsberechnungseinheit 13 zunächst die Koordinate eines Straßenfluchtpunkts 32, der ein Punkt in der Unendlichkeit ist, aus dem Schnittpunkt von Bildteilen 31a, 31b von Fahrbahnmarkierungen (weißen Linien), die eine Fahrbahn in dem Aufnahmebild 21 der Kamera 2 definieren, und bestimmt eine Differenz Δy zwischen dem Pixel des Straßenfluchtpunkts 32 und dem Pixel des untersten Punkt des Kandidatbildteils 22. Dann berechnet, wie in 4B dargestellt, die Abstandsberechnungseinheit 13 einen Winkel θ relativ zum Unendlichkeitspunkt gemäß dem nachfolgend angegebenen Ausdruck (1) und berechnet einen Abstand D zwischen dem Fahrzeug 1, in dem die Kamera 2 angebracht ist, und einem Objekt 33, d. h. den Abstand zwischen dem Fahrzeug 1 und der entsprechenden Realraum-Position des Kandidatbildteils 22 gemäß dem nachfolgend angegebenen Ausdruck (2). H bezeichnet die Höhe der Kamera 2 und „focal” bezeichnet die Brennweite der Kamera 2. tanθ = Δy/focal (1) D = H/tanθ (2)
  • Der anschließende Prozess in Schritt 4 bis Schritt 7 wird von der Kandidatbild-Bestimmungseinheit 14 ausgeführt.
  • In Schritt 4 kartiert die Kandidatbild-Bestimmungseinheit 14 zuerst die Koordinatenpositionen der Kandidatbildteile 22 in dem Aufnahmebild 21 auf reale Koordinaten auf der Basis der von der Abstandsberechnungseinheit 13 berechneten Abstände und den Positionen der horizontalen Richtung im Aufnahmebild 21, wie in 5 dargestellt.
  • Als nächstes setzt die Kandidatbild-Bestimmungseinheit 14, als Bestimmungsbereich R (die schraffierten Abschnitte der Zeichnung), einen Bereich, dessen Breite in der horizontalen Richtung orthogonal zur Fahrtrichtung des Fahrzeugs 1 (Abbildungsrichtung der Kamera 2) innerhalb einer vorbestimmten Breiten-Reichweite liegt, wie in 5 dargestellt. Das Folgende beschreibt einen Fall, wo ein einzelner Bestimmungsbereich R vorhanden ist. Alternativ ist es jedoch auch möglich, eine Mehrzahl von Bestimmungsbereichen R zu setzen.
  • Anschließend werden unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22 jene Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich R gehören, gezählt. Wenn es einen oder mehrere Bestimmungsbereich R gibt, deren jeder eine Zahl k enthält („k” entspricht einer ersten vorbestimmten Anzahl in der vorliegenden Erfindung) oder mehr der Kandidatbildteile 22 enthält, dann geht der Prozess zu Schritt 5 weiter. Wenn es keinen Bestimmungsbereich R gibt, der die Zahl k oder mehr der Kandidatbildteile 22 enthält, geht der Prozess zu Schritt 7 weiter.
  • In Schritt 5 bestimmt die Kandidatbild-Bestimmungseinheit 14, dass die Kandidatbildteile 22 in dem Bestimmungsbereich R, der die Zahl k oder mehr Kandidatbildteile 22 unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22 enthält, die weniger wahrscheinlich ein Fußgänger sind, und geht zu Schritt 6 weiter, der die Kandidatbildteile 22 aus in dem Schritt 8 zu bearbeitenden ausschließt, was später diskutiert wird.
  • In Schritt 6 setzt die Kandidatbild-Bestimmungseinheit 14, als die in Schritt 8 zu bearbeitenden Bildteile, nur jene Kandidatbildteile 22 (22a in der Zeichnung) außer den Kandidatbildteilen 22, die in Schritt 5 ausgeschlossen worden sind, und geht zu Schritt 8 weiter.
  • In Schritt 7 setzt die Kandidatbild-Bestimmungseinheit 14, als die im nächsten Schritt 8 zu bearbeitenden Bildteile, alle von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteile 22 und geht zu Schritt 8 weiter.
  • Im anschließenden Schritt 8 wird der Prozess durch die Fußgängerbild-Identifizierungseinheit 15 durchgeführt. Die Fußgängerbild-Identifizierungseinheit 15 führt einen Fußgängeridentifizerungsprozess an jedem der Kandidatbildteile 22 durch, die in Schritt 6 oder Schritt 7 als zu bearbeitenden Bildteile gesetzt sind, um zu identifizieren, ob das Kandidatbildteil 22 ein Bildteil eines Fußgängers ist oder nicht. Das Kandidatbildteil 22, das als Bildteil eines Fußgängers bestimmt worden ist, wird dem in Schritt 9 durchgeführten Prozess unterzogen. Wenn das Kandidatbildteil 22 nicht als Bildteil eines Fußgängers bestimmt wird, dann wird der Prozess durch die Objekterkennungsvorrichtung 10 beendet.
  • Der Fußgängeridentifizierungsprozess wird zum Beispiel durch Absuchen nach Bereichen durchgeführt, die die Quantität von Charakteristiken eines Fußgängers in dem Aufnahmebild 21 haben.
  • Der Prozess in Schritt 9 wird von der Fußgängerorientierungs-Bestimmungseinheit 16 durchgeführt. Die Fußgängerorientierungs-Bestimmungseinheit 16 bestimmt die Orientierung eines Fußgängers auf jedem der Kandidatbildteile 22, die von der Fußgängerbild-Identifizierungseinheit 15 als Bildteile des Fußgängers bestimmt worden sind.
  • Der im anschließenden Schritt 10 durchgeführte Prozess wird von der Vermeidungs-Bestimmungseinheit 17 ausgeführt. An jedem der Kandidatbildteile 22, die als die Bildteile eines Fußgängers bestimmt worden sind, wird gemäß der von der Fußgängerorientierungs-Bestimmungseinheit 16 bestimmten Orientierung des Fußgängers bestimmt, ob eine Vermeidung notwendig ist oder nicht (ob es eine hohe Kollisionsmöglichkeit mit dem Fahrzeug 1 gibt). Zum Beispiel wird bestimmt, dass die Vermeidung notwendig ist, wenn der Fußgänger nach vorne weist (zum Fahrzeug 1 hin) oder der Fußgänger, der an der rechten Seite des Fahrzeugs 1 angeordnet ist, nach links weist (zum Fahrzeug 1 hin), wohingegen bestimmt wird, dass eine Vermeidung nicht notwendig ist, wenn der an der rechten Seite des Fahrzeugs 1 angeordnete Fußgänger nach rechts weist (vom Fahrzeug 1 weg). Wenn die Anzahl der Kandidatbildteile 22, die als Bildteile eines zu vermeidenden Objekts bestimmt worden sind, eins oder mehr ist, dann geht der Prozess zu Schritt 11 weiter, oder wenn ein solches Kandidatbildteil 22 vorhanden ist, dann wird der Prozess durch die Objekterkennungsvorrichtung 10 beendet.
  • Der Prozess in Schritt 11 wird von der Alarm-Ausgabeeinheit 18 durchgeführt. Die Alarm-Ausgabeeinheit 18 gibt einen Alarm für das Kandidatbildteil 22 aus, das von der Vermeidungs-Bestimmungseinheit 17 als Bildteil eines zu vermeidenden Objekts bestimmt worden ist, unter den Kandidatbildteilen, die als die Bildteile eines Fußgängers bestimmt worden sind. Der Alarm kann zum Beispiel in der Form einer Audio-Anleitung oder einer Anzeige auf einer Anzeigeeinheit ausgegeben werden.
  • Wie oben beschrieben, werden, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22, jene Kandidatbildteile 22 in dem Bestimmungsbereich R, der die Zahl k oder mehr Kandidatbildteile 22 enthält, bestimmt, dass sie weniger wahrscheinlich die Bilder eines Fußgängers sind, und werden danach aus dem Prozess ausgeschlossen. Ferner wird unter den Kandidatbildteilen 22, die von der Kandidatbild-Extraktionseinheit 12 extrahiert sind, der anschließende Prozess (der Prozess durch die Fußgängerbild-Identifizierungseinheit 15 in Schritt 8) nur an dem Kandidatbildteil 22 (22a) durchgeführt, der nach dem Ausschluss verbleibt, wie oben beschrieben.
  • Somit kann, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, wenn mehrere Kandidatbildteile 22 aus dem Aufnahmebild 21 der Kamera 2 extrahiert werden, die Anzahl der Kandidatbildteile 22, die dem Fußgängeridentifizerungsprozess zu unterziehen sind, reduziert werden, um hierdurch die Zeit zu verkürzen, die zur Erkennung eines Fußgängers erforderlich ist.
  • Wenn ferner, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, in Schritt 4 bestimmt wird, dass es einen oder mehrere Bestimmungsbereiche R gibt, deren jeder die Zahl k oder mehr von Kandidatbildteilen 22 enthält, geht der Prozess zu Schritt 5 weiter. Alternativ kann der Prozess auch zu Schritt 5 weitergehen, wenn in Schritt 4 bestimmt wird, dass es einen oder mehrere Bestimmungsbereiche R gibt, deren jeder die Zahl k oder mehr von den Kandidatbildteilen 22 enthält, und auch eine Zahl m oder mehr (m ≤ k, und m entspricht einer zweiten vorbestimmten Anzahl in der vorliegenden Erfindung) der Kandidatbildteile 22 enthält, die unterschiedliche Abstände von der Kamera 2 haben (22b in der Zeichnung), wobei die Abstände von der Abstandsberechnungseinheit 13 berechnet werden.
  • Ferner werden, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung in Schritt 6 nur jene Kandidatbildteile 22, die nach dem Ausschluss in Schritt 5 verbleiben, im nächsten Schritt 8 als zu bearbeitend gesetzt (der Fußgängerbild-Identifizierungseinheit 15). Alternativ kann im Schritt 6, unter den in Schritt 5 ausgeschlossenen Kandidatbildteilen 22, eine Zahl n („n” entspricht einer dritten vorbestimmten Anzahl in der vorliegenden Erfindung) der Kandidatbildteile 22, deren entsprechenden Realraum-Positionen innerhalb eines vorbestimmten Abstands liegen, der Reihe nach ausgewählt werden, ausgehend von jenem, das der Kamera 2 am nächsten ist, und kann zu den in Schritt 8 zu bearbeitenden Bildteilen hinzugefügt werden. Wenn somit die Kandidatbildteile 22 in dem Bestimmungsbereich R, der die Zahl k oder mehr von Kandidatbildteilen 22 enthält, ein Bildteil eines Objekts enthalten, das dem Fahrzeug 1 benachbart ist, und mit hoher Dringlichkeit zu überwachen ist, dann kann der Fußgängeridentifizerungsprozess an diesem bestimmten Bildteil durchgeführt werden.
  • Ferner werden, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, die entsprechenden Realraum-Positionen der Kandidatbildteile 22 auf reale Koordinaten in 5 kartiert, und dann wird die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen in dem Bestimmungsbereich R liegen, gezählt. Als alternatives Verfahren kann ein Bestimmungsbereich R'1, entsprechend dem Bestimmungsbereich R, dessen Realraum-Position innerhalb einer vorbestimmten Breiten-Reichweite in der horizontalen Richtung orthogonal zur Fahrtrichtung des Fahrzeugs 1 liegt, in das Aufnahmebild 21 in 3 gesetzt werden, und dann kann die Anzahl der Kandidatbildteile 22 gezählt werden, deren entsprechende Realraum-Positionen in dem Bestimmungsbereich R'1 in dem Aufnahmebild 21 enthalten sind. Alternativ kann ein Bestimmungsbereich R'2, dessen Breite in der horizontalen Richtung in einer vorbestimmten Breiten-Reichweite liegt, in das Aufnahmebild 21 gesetzt werden, und kann die Anzahl der Kandidatbildteile 22, die in dem Bestimmungsbereich R'2 in dem Aufnahmebild 21 enthalten sind, gezählt werden. Jedoch wird der Bestimmungsbereich R'1 bevorzugt gegenüber dem Bestimmungsbereich R'2 verwendet, weil der Bestimmungsbereich R'2 ein Bildteil B vom Hintergrund enthält, das in einem Bereich mit Abstand von dem Fahrzeug 1 einen geringen Zusammenhang mit der Fahrt des Fahrzeugs 1 hat, wohingegen der Bestimmungsbereich R'1 das Bildteil B vom Hintergrund nicht enthält, auch in einem Bereich mit Abstand von dem Fahrzeug, einen geringen Zusammenhang mit der Fahrt des Fahrzeugs 1 hat, wie in 3 dargestellt.
  • Ferner können, wie in 5 dargestellt, Bestimmungsbereiche RLA, RLB entsprechend der linken Richtung des Fahrzeugs 1 und Bestimmungsbereiche RRA, RRB entsprechend der rechten Richtung des Fahrzeugs 1 als eine Mehrzahl der Bestimmungsbereiche R gesetzt werden. Wenn zum Beispiel mit dieser Anordnung mehrerer anderer Fahrzeuge an einer Seite einer Straße geparkt sind (entsprechend dem Bestimmungsbereich RLB oder RRB), dann können die Bildteile der geparkten Fahrzeuge bestimmt werden, dass sie weniger wahrscheinlich Bildteile eines Fußgängers sind.
  • Ferner ist in der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung die Kamera 2 in dem Fahrzeug 1 angebracht. Alternativ kann die Kamera 2 aber auch an einer Seite einer Straße oder über einer Straße angebracht sein.
  • Wenn in Schritt 4 bestimmt wird, dass es einen oder mehrere Bestimmungsbereiche R gibt, deren jeder die Zahl k oder mehr von Kandidatbildteilen 22 enthält, geht der Prozess zu Schritt 5 weiter; jedoch sind die Kandidatbildteile 22 in dem Bestimmungsbereich R weniger wahrscheinlich Bildsegmente eines Fußgängers. Das ist so, weil, anders als bei einer Schneemasse, eine Fußgänger eine bestimmte Höhe hat, so dass ein Fußgänger hinter einem anderen Fußgänger auf dieser Seite, die der Kamera 2 näher ist, versteckt ist, und kein Bildteil eines Fußgängers dahinter extrahiert wird, was zu einer geringen Wahrscheinlichkeit führt, dass es so viele wie die Zahl k der Kandidatbildteile 22 in dem Bestimmungsbereich R gibt.
  • Wenn es ferner, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Erfindung, einen oder mehrere Bestimmungsbereiche R gibt, deren jeder die Zahl k oder mehr Kandidatbildteile 22 enthält, in einem einzelnen Aufnahmebild 21, das zu einem Zeitpunkt aufgenommen wird, dann bestimmt die Kandidatbild-Bestimmungseinheit 14 in Schritt 4 bis Schritt 5, dass die Kandidatbildteile 22 in dem Bestimmungsbereich R weniger wahrscheinlich Bildteile eines Fußgängers sind. Als alternatives Verfahren kann auch eine Mehrzahl der Aufnahmebilder 21, die kontinuierlich über die Zeit aufgenommen werden, verwendet werden, um die Bestimmung auszuführen. Dieses Verfahren wird nachfolgend beschrieben.
  • Die Kandidatbild-Bestimmungseinheit 14 bestimmt zunächst, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem der Bestimmungsbereich R gehören, die Zahl k oder mehr in einem Aufnahmebild 21 t1 ist oder nicht, das zu einem Zeitpunkt t1 erfasst wird.
  • Wenn die Anzahl der Kandidatbildteile 22 die Zahl k oder mehr ist, dann bestimmt die Kandidatbild-Bestimmungseinheit 14, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem der Bestimmungsbereich R gehören, eine Zahl p oder mehr ist oder nicht („p” entspricht einer fünften vorbestimmten Anzahl in der vorliegenden Erfindung), in einem Aufnahmebild 21, das zu einem Zeitpunkt t2 erfasst wird. „p” kann gleich k oder kleiner als k sein.
  • Wenn ferner die Anzahl der Kandidatbildteile 22 die Zahl p oder mehr ist, dann bestimmt die Kandidatbild-Bestimmungseinheit 14, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem der Bestimmungsbereiche R gehören, die Zahl p oder mehr in einem Aufnahmebild 21 ist oder nicht, das zu einem Zeitpunkt t3 erfasst wird.
  • Die Kandidatbild-Bestimmungseinheit 14 wiederholt den obigen Prozess und bestimmt, dass die Kandidatbildteile 22, die zu dem Bestimmungsbereich R gehören, weniger wahrscheinlich Bildteile eines Fußgängers sind, wenn die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich R gehören, die Zahl p oder mehr in einem Aufnahmebild 21 ist, das zu einem Zeitpunkt tq erfasst wird.
  • Gemäß dem Verfahren, in dem eine Mehrzahl von Aufnahmebildern 21 t1, 21 t2, 21 t3 ..., 21 tq, die kontinuierlich über die Zeit erfasst werden, wie oben beschrieben, dazu benutzt wird, eine niedrige Wahrscheinlichkeit bestimmen, dass Bildteile ein Fußgänger sind, kann die Genauigkeit eines Bestimmungsergebnisses weiter verbessert werden, im Vergleich zu dem Verfahren, in dem nur ein zu einem Zeitpunkt erfasstes Aufnahmebild 21 verwendet wird.
  • Im oben beschriebenen Verfahren wird die Anzahl der Kandidatbildteile 22 auf einer Zahl q bestimmt („q” entspricht einer vorbestimmten Erfassungsanzahl in der vorliegenden Erfindung) der Aufnahmebilder 21 t1, 21 t2, 21 t3 ..., 21 tq. Jedoch kann die vorbestimmte Erfassungsanzahl q der Aufnahmebilder 21 auch entsprechend der Fahrgeschwindigkeit des Fahrzeugs 1 verändert werden.
  • Zum Beispiel sind die Aufnahmebilder ab 21t2 und danach, nämlich die Aufnahmebilder 21 t2, 21 t3 ..., 21 tq, falls die Fahrgeschwindigkeit hoch ist, solche Aufnahmebereiche, die im Bezug auf die realen Raumpositionen weiter entfernt sind als die Aufnahmebilder 21 t2, 21 t3 ..., 21 t, falls die Fahrgeschwindigkeit niedrig ist. Wenn daher Kandidatbilder auf Bereichen mit dem gleichen Abstand bestimmt werden, können die Kandidatbildteile 22 auch dann zuverlässig extrahiert werden, wenn die vorbestimmte Erfassungszahl q auf dem Aufnahmebild 21 reduziert wird, wenn die Fahrgeschwindigkeit zunimmt. Im Ergebnis ist in dem Fall, wo die Fahrgeschwindigkeit zunimmt, eine reduzierte Anzahl von Aufnahmebildern 21 erforderlich, um es möglich zu machen, die niedrige Wahrscheinlichkeit zu bestimmen, dass Bildteile ein Fußgänger sind, um es zu ermöglichen, die Zeit zur Durchführung der Bestimmung zu verkürzen.
  • Ferner ist das Verfahren zum Bestimmen der niedrigen Wahrscheinlichkeit, dass Bildteile ein Fußgänger sind, unter Verwendung der Mehrzahl von Aufnahmebildern 21 t1, 21 t2, 21 t3 ..., 21 tq, die kontinuierlich über die Zeit erfasst werden, nicht auf die vorstehenden Verfahren beschränkt. Zum Beispiel kann der Typ des Objekts der Kandidatbildteile 22 in den Bestimmungsbereich R auch bestimmt werden, wenn die Zahl k oder mehr der Kandidatbildteile 22 in dem Bestimmungsbereich R in jedem der Aufnahmebilder 21 t1, 21 t2, 21 t3 ..., 21 tq extrahiert wird, oder die durchschnittliche Extraktionszahl der Kandidatbildteile 22, die in den Aufnahmebildern 21 t1, 21 t2, 21 t3 21 tq extrahiert werden, eine Zahl r oder mehr ist („r” entspricht einer vierten vorbestimmten Anzahl in der vorliegenden Erfindung).
  • Ferner können in der Objekterkennungsvorrichtung 10 der vorliegenden Erfindung die Kandidatbildteile 22, die einmal von der Kandidatbild-Bestimmungseinheit 14 als ein Objekt bestimmt worden sind, das weniger wahrscheinlich ein Fußgänger ist, in dem zu einem bestimmten Zeitpunkt erfassten Aufnahmebild 21 als ein Objekt bestimmt werden, das weniger wahrscheinlich ein Fußgänger ist, und zwar auch in den Aufnahmebildern 21, die danach erfasst werden, bis ab dem vorstehenden Zeitpunkt eine vorbestimmte Zeit abgelaufen ist. Hiermit lässt sich verhindern, dass das Ergebnis einer Bestimmung, dass Bildteile in dem zu einem bestimmten Zeitpunkt erfassten Aufnahmebild 21 weniger wahrscheinlich einen Fußgänger anzeigen, innerhalb einer vorbestimmten Zeit aufgrund des Einflusses von Rauschen oder dergleichen verändert wird.
  • Eine Objekterkennungsvorrichtung 10 enthält eine Kandidatbild-Extraktionseinheit 12, die ein Kandidatbildteil 22, das ein Bildteil eines Objekts ist, aus einem Aufnahmebild 21 einer Kamera 2 extrahiert, sowie eine Kandidatbild-Bestimmungseinheit 14, die den Objekttyp des Kandidatbildteils 22 in einem Bestimmungsbereich R'1 auf der Basis davon bestimmt, ob eine erste vorbestimmte Anzahl k oder mehr von Kandidatbildteilen 22, die in dem Aufnahmebild 21 von der Kandidatbild-Extraktionseinheit 12 extrahiert worden sind, in dem Bestimmungsbereich R'1 extrahiert worden sind, dessen Breite in der horizontalen Richtung eine vorbestimmte Breite oder weniger ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2002-279808 [0002]

Claims (11)

  1. Objekterkennungsvorrichtung, welche aufweist: eine Kandidatbild-Extraktionseinheit (12), die ein Kandidatbildteil (22), das ein Bildteil eines Objekts ist, aus einem Aufnahmebild (21) einer Kamera (2) extrahiert; und eine Kandidatbild-Bestimmungseinheit (14), die einen Objekttyp des Kandidatbildteils (22) in einem Bestimmungsbereich (R) basierend darauf bestimmt, ob eine erste vorbestimmte Anzahl (k) oder mehr der Kandidatbildteile (22) von der Kandidatbild-Extraktionseinheit (12) in dem Bestimmungsbereich (R) extrahiert worden ist, dessen Breite in horizontaler Richtung im Aufnahmebild (21) innerhalb einer vorbestimmten Breite liegt.
  2. Objekterkennungsvorrichtung nach Anspruch 1, wobei der Bestimmungsbereich (R) ein Bereich ist, dessen entsprechende Realraum-Position innerhalb einer vorbestimmten Breite in der horizontalen Richtung orthogonal zu einer Abbildungsrichtung der Kamera (2) liegt.
  3. Objekterkennungsvorrichtung nach Anspruch 1 oder 2, wobei der Bestimmungsbereich in der horizontalen Richtung orthogonal zur Abbildungsrichtung der Kamera (2) in einer Mehrzahl (RLB, RLA, RRA, RRB) vorliegt, und die Kandidatbild-Bestimmungseinheit (14) die Bestimmung an jedem der Bestimmungsbereiche (RLB, RLA, RRA, RRB) durchführt.
  4. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Kandidatbild-Bestimmungseinheit (14) bestimmt, dass in dem Fall, wo die erste vorbestimmte Anzahl (k) oder mehr der Kandidatbildteile (22) in dem Bestimmungsbereich (R) extrahiert wird, die Kandidatbildteile (22) in dem Bestimmungsbereich (R) eine geringe Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind.
  5. Objekterkennungsvorrichtung nach Anspruch 4, welche aufweist: eine Fußgängerbild-Identifizierungseinheit (15), die einen Fußgängeridentifizierungsprozess durchführt, zum Identifizieren, ob Kandidatbildteile (22), die nach Ausschluss von Kandidatbildteilen (22) verbleiben, die, unter den von der Kandidatbild-Extraktionseinheit (12) extrahierten Kandidatbildteilen (22), von der Kandidatbild-Bestimmungseinheit (14) als solche identifiziert wurden, die mit geringer Wahrscheinlichkeit Bildteile eines Fußgängers sind, Bildteile eines Fußgängers sind oder nicht.
  6. Objekterkennungsvorrichtung nach Anspruch 5, wobei die Fußgängerbild-Identifizierungseinheit (15) eine zweite vorbestimmte Anzahl (m) oder weniger von Kandidatbildteilen (22), deren entsprechende Realraum-Positionen innerhalb des vorbestimmten Abstands von der Kamera (2) vorhanden sind, aus den Kandidatbildteilen (22) auswählt, die von der Kandidatbild-Bestimmungseinheit (14) als solche bestimmt worden sind, die eine geringe Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind, und den Fußgängeridentifizerungsprozess an den ausgewählten Kandidatbildteilen (22) durchführt.
  7. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 6, welche aufweist: eine Abstandsberechnungseinheit (13), die einen Abstand zwischen einer entsprechenden Realraum-Position und der Kamera (2) an dem von der Kandidatbild-Extraktionseinheit (12) extrahierten Kandidatbildteil (22) berechnet, wobei die Kandidatbild-Bestimmungseinheit (14) bestimmt, dass ein Kandidatbildteil (22), dessen entsprechende Realraum-Position zu dem Bestimmungsbereich (R) gehört, eine geringe Wahrscheinlichkeit hat, dass es ein Bildteil eines Fußgängers ist, in einem Fall, wo die Kandidatbildteile (22), deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich (R) gehören, die erste vorbestimmte Anzahl (k) oder weniger und eine dritte vorbestimmte Anzahl (n) oder mehr von Kandidatbildteilen (22) enthalten, die unterschiedliche Abstände von der Kamera (2) haben, wobei die Abstände von der Abstandsberechnungseinheit (13) berechnet werden.
  8. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Kandidatbild-Bestimmungseinheit (14) den Objekttyp der Kandidatbildteile (22) in dem Bestimmungsbereich (R) bestimmt, falls die erste vorbestimmte Anzahl (k) oder mehr von Kandidatbildteilen (22) in dem Bestimmungsbereich (R) extrahiert wird, oder eine durchschnittliche Anzahl von Malen der Extraktion von Kandidatbildteilen (22), die in dem Bestimmungsbereich (R) in jedem der Aufnahmebilder (21) extrahiert wird, eine vierte vorbestimmte Anzahl (r) oder mehr in jedem von Aufnahmebildern (21) der vorbestimmten Anzahl oder mehr ist, die kontinuierlich über die Zeit erfasst worden sind.
  9. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Kandidatbild-Bestimmungseinheit (14) den Objekttyp der Kandidatbildteile (22) in dem Bestimmungsbereich (R) bestimmt, falls in Aufnahmebildern (21) einer vorbestimmten Anzahl oder mehr, die kontinuierlich über die Zeit erfasst worden sind, die erste vorbestimmte Anzahl (k) oder mehr Kandidatbildteile (22) in dem Bestimmungsbereich (R) des zu einem ersten Zeitpunkt erfassten Aufnahmebilds (21) extrahiert werden, und die erste vorbestimmte Anzahl (k) oder weniger und eine fünfte vorbestimmte Anzahl (p) oder mehr der Kandidatbildteile (22) in dem Bestimmungsbereich (R) von jedem der Aufnahmebilder (21) extrahiert werden, die zu unterschiedlichen Zeitpunkten nach dem ersten Zeitpunkt erfasst werden.
  10. Objekterkennungsvorrichtung nach Anspruch 8 oder 9, wobei die vorbestimmte Anzahl von Aufnahmebildern (21), die kontinuierlich über die Zeit erfasst werden, entsprechend einer Fahrgeschwindigkeit des Fahrzeugs verändert wird, in dem die Kamera (2) angebracht ist.
  11. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei die Kandidatbild-Bestimmungseinheit (14) das Bestimmungsergebnis des Objekttyps beibehält, bis nach der Bestimmung des Objekttyps Kandidatbildteile (22) in dem Bestimmungsbereich (R) eine vorbestimmte Zeit abgelaufen ist.
DE102015211871.1A 2014-06-30 2015-06-25 Objekterkennungsvorrichtung Withdrawn DE102015211871A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014134669A JP6483360B2 (ja) 2014-06-30 2014-06-30 対象物認識装置
JP2014-134669 2014-06-30

Publications (1)

Publication Number Publication Date
DE102015211871A1 true DE102015211871A1 (de) 2015-12-31

Family

ID=54840029

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015211871.1A Withdrawn DE102015211871A1 (de) 2014-06-30 2015-06-25 Objekterkennungsvorrichtung

Country Status (4)

Country Link
US (1) US9824449B2 (de)
JP (1) JP6483360B2 (de)
CN (1) CN105320928B (de)
DE (1) DE102015211871A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
CN109472809B (zh) * 2017-09-06 2020-09-25 中国移动通信有限公司研究院 一种目标鉴别方法及设备
US10435020B2 (en) * 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
CN110006440B (zh) * 2019-04-12 2021-02-05 北京百度网讯科技有限公司 一种地图关系的表达方法、装置、电子设备及存储介质
CN112633258B (zh) * 2021-03-05 2021-05-25 天津所托瑞安汽车科技有限公司 一种目标确定方法及装置、电子设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279808A (ja) 2001-03-22 2002-09-27 Koito Mfg Co Ltd 車両用灯具

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350721B2 (ja) 1994-10-07 2002-11-25 シャープ株式会社 着衣量測定装置および着衣量計測方法
DE10301468B4 (de) 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
US8369593B2 (en) * 2007-12-21 2013-02-05 Siemens Medical Solutions Usa, Inc. Systems and methods for robust learning based annotation of medical radiographs
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
JP4815488B2 (ja) 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
WO2011155152A1 (ja) 2010-06-07 2011-12-15 本田技研工業株式会社 車両の周辺監視装置
JP2013186664A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279808A (ja) 2001-03-22 2002-09-27 Koito Mfg Co Ltd 車両用灯具

Also Published As

Publication number Publication date
CN105320928B (zh) 2019-05-21
US9824449B2 (en) 2017-11-21
JP2016012303A (ja) 2016-01-21
US20150379372A1 (en) 2015-12-31
CN105320928A (zh) 2016-02-10
JP6483360B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE102014206704B4 (de) Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
DE102015211874A1 (de) Objekterkennungsvorrichtung
DE102012101014A1 (de) Fahrzeugdetektionsvorrichtung
EP3520024B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102014213981A1 (de) Parkplatz-Erfassungsvorrichtung und entsprechendes Verfahren
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
DE102009050492A1 (de) Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens
DE102009050505A1 (de) Detektion eines freien Pfads durch Strassenmodellerstellung
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102018121008B4 (de) System zum fahren eines autonomen fahrzeugs sowie damit ausgestattetes fahrzeugs
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE102010020298B4 (de) Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
DE102016200828A1 (de) Objekterfassungsvorrichtung und Objekterfassungsverfahren
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R163 Identified publications notified
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee