DE112017006904T5

DE112017006904T5 - Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren

Info

Publication number: DE112017006904T5
Application number: DE112017006904.1T
Authority: DE
Inventors: Shigeyuki Odashima; Sosuke Yamao; Shan Jiang
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-01-24
Filing date: 2017-01-24
Publication date: 2019-10-02
Also published as: US10997449B2; JPWO2018138782A1; JP6729723B2; WO2018138782A1; US20190340456A1

Abstract

Eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform beinhaltet eine Erfassungseinheit, eine Merkmalsberechnungseinheit und eine Merkmalspunktextraktionseinheit. Die Erfassungseinheit erfasst Merkmalspunkte aus einem aufgenommenen Bild. Die Merkmalsberechnungseinheit berechnet aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen eine Vielzahl von Kontextmerkmalsbeträgen mit einem Erfolgs- oder Fehlervektor eines Einzelattributs. Die Merkmalspunkteextraktionseinheit extrahiert aus den erfassten Merkmalspunkten Merkmalspunkte, von denen ein Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist.

Description

TECHNISCHER BEREICH
Eine Ausführungsform der vorliegenden Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Merkmalspunkteextraktionsprogramm und ein Merkmalspunkteextraktionsverfahren.
STAND DER TECHNIK
Konventionell gibt es eine Selbstpositionsschätzungstechnik, bei der die Position von sich selbst auf einer Karte geschätzt wurde, als eine Technik, um autonome Bewegungen wie automatisches Fahren und Fahrsteuerung eines Roboters zu erreichen. Karteninformationen zur Selbstpositionsschätzung behalten Merkmalspunkte eines szenischen Bildes auf einer Karte bei, um eine Zuordnung zu einem Eingang eines Sensors, wie beispielsweise einer Kamera, die in einer Vorrichtung installiert ist, die sich autonom bewegt, herzustellen.
Das szenische Bild beinhaltet beispielsweise das Erscheinen eines sich vorübergehend bewegenden Objekts, wie beispielsweise einer Person. Infolgedessen kann die Verwendung aller Merkmalspunkte des szenischen Bildes zur Selbstpositionierung zu einer destabilisierten Selbstpositionierung führen. Somit wird bei der Selbstpositionsschätzung aus den Merkmalspunkten eines szenischen Bildes ein stabiler Merkmalspunkt ohne Schwankungen (im Folgenden: stabiler Merkmalspunkt) extrahiert.
Beispiele für konventionelle Techniken zum Extrahieren eines stabilen Merkmalspunktes sind eine Technik, bei der ein Bereich, der einer Sache mit geringer Wahrscheinlichkeit entspricht, dass die Position oder Form so beibehalten wird, wie sie für eine vorbestimmte Zeitspanne oder länger in der realen Welt ist, aus einem szenischen Bild extrahiert wird, und dann Merkmalspunkte, die aus dem extrahierten Bereich extrahiert werden.
ZITIERLISTE
PATENTSCHRIFT

Patentdokument 1: Internationale Publikationsbroschüre Nr. WO 2012/46671
Patentdokument 2: Japanische offengelegte Patentveröffentlichung Nr. 2012-185011
Patentdokument 3: Japanische offengelegte Patentveröffentlichung Nr. 2011-215053
Patentdokument 4: Japanische offengelegte Patentveröffentlichung Nr. 2011-215974
Patentdokument 5: Japanische offengelegte Patentveröffentlichung Nr. 2015-108604

ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Die obige konventionelle Technik verwendet jedoch einen Merkmalsbetrag, der auf einer Langzeitbeobachtung eines Objekts basiert, um einen stabilen Merkmalspunkt zu extrahieren. Nachteilig ist daher, dass beispielsweise eine Langzeitbeobachtung von szenischen Bildern an der gleichen Position erforderlich ist, was die Extraktion des stabilen Merkmalspunktes erschwert.
In einem Aspekt ist es ein Objekt der vorliegenden Erfindung, eine Informationsverarbeitungsvorrichtung, ein Merkmalspunkteextraktionsprogramm und ein Merkmalspunktextraktionsverfahren bereitzustellen, die in der Lage sind, die Extraktion eines stabilen Merkmalspunktes zu erleichtern.
PROBLEMLÖSUNG
In einem ersten Vorschlag beinhaltet eine Informationsverarbeitungsvorrichtung eine Erfassungseinheit, eine Merkmalbetragsberechnungseinheit und eine Merkmalspunktextraktionseinheit. Die Erfassungseinheit erfasst Merkmalspunkte aus einem aufgenommenen Bild. Die Merkmalbetragsberechnungseinheit berechnet aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen eine Vielzahl von Kontextmerkmalsbeträgen mit einem Erfolgs- oder Fehlervektor eines Einzelattributs. Die Merkmalspunkteextraktionseinheit extrahiert aus den erfassten Merkmalspunkten Merkmalspunkte, von denen ein Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist.
VORTEILHAFTE AUSWIRKUNGEN DER ERFINDUNG
Gemäß einem Aspekt der Ausführungsform der vorliegenden Erfindung kann ein stabiler Merkmalspunkt leicht extrahiert werden.
Figurenliste

1 ist ein Blockdiagramm einer exemplarischen funktionalen Konfiguration einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform.
2 ist eine erklärende Darstellung zur Beschreibung der Beträge von Kontextmerkmalen.
3 ist ein Flussdiagramm, das die Funktionsweise der Erstellung einer Merkmalspunktkarte veranschaulicht.
4 ist eine erklärende Darstellung zur Beschreibung der jeweiligen Positionen von Merkmalspunkten in einem Aufnahmebereich.
5 ist eine erklärende Darstellung zur Beschreibung der Bewegung von Merkmalspunkten in einem Aufnahmebereich.
6 ist eine erklärende Darstellung zur Beschreibung der Existenzwahrscheinlichkeit der Farbe oder Form von Merkmalspunkten in einem Aufnahmebereich.
7 ist ein Flussdiagramm, das den Ablauf der Extraktion eines stabilen Merkmalspunktes veranschaulicht.
8 ist eine erklärende Darstellung zur Beschreibung der Extraktion eines stabilen Merkmalspunktes.
9 ist eine erklärende Darstellung zur Beschreibung der Extraktion eines stabilen Merkmalspunktes mit dem gleichzeitigen Auftreten von Kontextmerkmalen einer Vielzahl von Merkmalspunkten.
10 ist eine erklärende Darstellung zur Beschreibung des Gewichtungslernens für Kontextmerkmalsbeträge.
11 ist ein Flussdiagramm, das die Funktionsweise des Gewichtungslernens veranschaulicht.
12 ist ein Flussdiagramm, das die Funktionsweise der Schätzung einer Selbstposition veranschaulicht.
13 ist ein Blockdiagramm eines exemplarischen Computers, der ein Programm ausführt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden werden eine Informationsverarbeitungsvorrichtung, ein Merkmalspunkteextraktionsprogramm und ein Merkmalspunktextraktionsverfahren gemäß einer Ausführungsform mit Bezug auf die Zeichnungen beschrieben. Die Konfigurationen mit den gleichen Funktionen in der Ausführungsform werden durch die gleichen Referenzzeichen gekennzeichnet, und die redundante Beschreibung entfällt. Es ist zu beachten, dass die Informationsverarbeitungsvorrichtung, das Merkmalspunkteextraktionsprogramm und das in der folgenden Ausführungsform zu beschreibende Merkmalspunktextraktionsverfahren nur ein Beispiel sind und somit die Ausführungsform nicht darauf beschränkt ist. Darüber hinaus kann jede der nachstehenden Ausführungsformen im Rahmen der Widerspruchsfreiheit angemessen kombiniert werden.
1 ist ein Blockdiagramm einer exemplarischen funktionalen Konfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform. Wie in 1 dargestellt, dient eine Informationsverarbeitungsvorrichtung 1 als Computer, der die Verarbeitung der Fahrdaten 101a des mobilen Abbildungssystems (engl. Mobile Mapping System, MMS) durchführt, einschließlich eines peripheren szenischen Bildes, das während der Fahrt mit einem Fahrzeug 2 aufgenommen wurde (im Folgenden als Bildaufnahme bezeichnet). Es ist zu beachten, dass die Informationsverarbeitungsvorrichtung 1 ein fahrzeuginterner Computer sein kann, der am Fahrzeug 2 montiert ist, oder ein Personalcomputer (PC) oder Cloud Computing sein kann, der/das vom Fahrzeug 2 getrennt ist.
Die Informationsverarbeitungsvorrichtung 1 beinhaltet: eine Speichereinheit 101; eine Merkmalspunktkartenerstellungseinheit 102; eine Kontextmerkmalsberechnungseinheit 103; eine Merkmalspunktkartenauswahleinheit 105; eine Stabilitätsmerkmalspunktextraktionseinheit 106; und eine Kontextmerkmalsbetragsgewicht-Lerneinheit 107. Es ist zu beachten, dass beispielsweise in einem Fall, in dem die Informationsverarbeitungsvorrichtung 1 ein am Fahrzeug 2 montierter Fahrzeugcomputer ist, die Informationsverarbeitungsvorrichtung 1 eine Sensoreingabeeinheit 201, eine Selbstpositionsschätzeinheit 202 und eine Schätzergebnisausgabeeinheit 203 im Fahrzeug 2 beinhalten kann.
Die Speichereinheit 101 dient als Speichervorrichtung, wie beispielsweise eine Festplatte (engl. Hard Disk Drive, HDD). Die Speichereinheit 101 speichert MMS-Reisedaten 101a, die gesammelt und erfasst wurden, wobei das Fahrzeug 2 eine Sensorvorrichtung in der darauf montierten MMS aufweist, wie beispielsweise ein globales Positionierungssystem (engl. Global Positioning System, GPS), einen Laserscanner und eine Kamera. Die MMS-Reisedaten 101a werden mit Informationen gespeichert, die einen Zustand angeben, z.B. für jeden Zustand zum Zeitpunkt der Datenerfassung, wie z.B. eine Zeitzone (z.B. Tag oder Nacht) und Wetter (z.B. gutes oder regnerisches Wetter).
Die MMS-Reisedaten 101a beinhalten Informationen über die Fahrposition und Ausrichtung des Fahrzeugs 2 mit dem GPS oder dergleichen und dreidimensionale Punktwolkendaten, die die Position eines Objekts mit einem aufgenommenen Bild (Objekt, das mit der Kamera aufgenommen wurde) zusammen mit einem mit der Kamera aufgenommenen Bild während der Fahrt des Fahrzeugs 2 darstellen. Die dreidimensionalen Punktwolkendaten zeigen dreidimensionale Positionsinformationen basierend auf der Fahrposition und Orientierung des Fahrzeugs 2 sowie dem Abstand vom Fahrzeug 2 zum Objekt und der mit einem Laserscanner oder dergleichen gemessenen Orientierung.
Die Merkmalspunktkartenerstellungseinheit 102 erfasst Merkmalspunkte, die jeweils dem im aufgenommenen Bild enthaltenen Objekt entsprechen, auf der Grundlage des Objekterkennungsergebnisses des aufgenommenen Bildes, das in den MMS-Fahrdaten 101a enthalten ist und mit der Kamera während der Fahrt des Fahrzeugs 2 aufgenommen wurde. Das heißt, die Merkmalspunktkartenerstellungseinheit 102 ist ein Beispiel für eine Erfassungseinheit, die Merkmalspunkte aus einem aufgenommenen Bild erfasst.
Beispiele für die Objekterkennung aus einem aufgenommenen Bild in der Merkmalspunktkartenerstellungseinheit 102, die verwendet werden können, sind eine Objekterkennung mit Histogrammen von Merkmalen orientierter Gradienten (engl. histograms of oriented gradients, HoG) und eine Unterstützungsvektormaschine (engl. Support vector machine, SVM). Alternativ kann auch ein tiefgehendes Lernmodell (engl. Deep learning model) wie eine schnellere R-CNN-Methode (engl. Faster R-CNN method) für die Objekterkennung verwendet werden.
Anschließend erstellt die Merkmalspunkterstellungseinheit 102 auf der Grundlage der in den MMS-Reisedaten 101a enthaltenen dreidimensionalen Punktwolkendaten eine Merkmalspunktkarte 104 als dreidimensionale Positionsinformation zu jedem erfassten Merkmalspunkt. Das heißt, die Merkmalsunktkarte 104 ist ein Beispiel für Karteninformationen, einschließlich Positionsinformationen zu jedem Merkmalspunkt.
Es ist zu beachten, dass die Merkmalspunktkartenerstellungseinheit 102 für jeden Zustand eine Merkmalspunktkarte 104 auf der Grundlage von MMS-Reisedaten 101a für jeden Zustand wie Zeitzone (z.B. Tag oder Nacht) und Wetter (z.B. gutes oder regnerisches Wetter) erstellt.
Die Kontextmerkmalsberechnungseinheit 103 berechnet mit voreingestellten Bedingungen für jeden Merkmalspunkt, der mit der Merkmalspunktkartenerstellungseinheit 102 erfasst wurde, eine Vielzahl von Kontextmerkmalsbeträgen mit einem Erfolgs- oder Fehlervektor eines Einzelattributs. Anschließend stellt die Kontextmerkmalsberechnungseinheit 103 die Vielzahl der für jeden Merkmalspunkt berechneten Kontextmerkmalsbeträge in jeden Merkmalspunkt der Merkmalspunktkarte 104 zur Verfügung und führt die Registrierung des Ergebnisses durch. Infolgedessen beinhaltet die Merkmalspunktkarte 104 die Vielzahl der Kontextmerkmalsbeträge an jedem Merkmalspunkt zusammen mit Positionsinformationen zu jedem Merkmalspunkt.
Jede der mit der Kontextmerkmalsberechnungseinheit 103 berechneten Kontextmerkmalsbeträge bezieht sich auf die Position des Merkmalspunktes, die Bewegung des Merkmalspunktes, die Darstellung des Merkmalspunktes und dergleichen und zeigt an jedem Merkmalspunkt einen Merkmalsbetrag an, der Erfolg oder Misserfolg eines Attributs mit den vorgegebenen Bedingungen anzeigt.
Zum Beispiel hat der Wettbewerbsmerkmalsbetrag einen Erfolgs- oder Fehlervektor, der als „1“ definiert ist, wenn eine voreingestellte Bedingung erfüllt ist, und „0“, wenn die Bedingung nicht erfüllt ist, für ein einzelnes Attribut mit der voreingestellten einen Bedingung. Es ist zu beachten, dass das Einzelattribut die Position des Merkmalspunktes in einem Aufnahmebereich, die Bewegung des Merkmalspunktes im Aufnahmebereich und die Existenzwahrscheinlichkeit der Farbe oder Form des Merkmalspunktes im Aufnahmebereich beinhaltet. Die Kontextmerkmalsberechnungseinheit 103 berechnet einen Erfolgs- oder Fehlervektor für jede voreingestellte Bedingung, für jeden Merkmalspunkt, der mit der Merkmalspunktkartenerstellungseinheit 102 erfasst wurde, und berechnet eine Vielzahl von Kontextmerkmalsbeträgen. Es ist zu beachten, dass das vorliegende Beispiel einen Wert beschreibt, den ein Kontextmerkmal als Binärwert von 0/1 annehmen kann. Das Kontextmerkmal kann jedoch beispielsweise ein kontinuierlicher Wert sein, der einen Wert zwischen 0 und 1 annimmt, wie beispielsweise ein Wahrscheinlichkeitswert, oder ein ganzer reeller Wert, wie beispielsweise ein Erkennungswert mit beispielsweise einer Trägervektormaschine.
Als Beispiel bestimmt die Kontextmerkmalsberechnungseinheit 103 für jeden Merkmalspunkt das Vorhandensein oder Fehlen eines Attributs, das sich auf die Position des Merkmalspunktes bezieht, mit der Bedingung, dass die Höhe, in der der Merkmalspunkt liegt, 1 m oder höher ist. Darüber hinaus bestimmt die Kontextmerkmalsberechnungseinheit 103 das Vorhandensein oder Fehlen eines Attributs, das sich auf die Bewegung des Merkmalspunktes bezieht, mit der Bedingung, ob die Bewegung des Merkmalspunktes (Bewegungsvektor des Merkmalspunktes in einem aufgenommenen Bild) gleich oder kleiner als ein bestimmter Wert ist. Darüber hinaus bestimmt die Kontextmerkmalsberechnungseinheit 103 das Vorhandensein oder Fehlen eines Attributs, das sich auf die Existenzwahrscheinlichkeit der Farbe oder Form des Merkmalspunktes bezieht, mit der Bedingung, ob das Vorhandensein des Merkmalspunktes (Existenzwahrscheinlichkeit der Farbe oder Form) gleich oder größer als ein Schwellenwert ist. Die Kontextmerkmalsberechnungseinheit 103 berechnet auf der Grundlage dieser Bestimmungsergebnisse eine Vielzahl von Kontextmerkmalsbeträgen mit einem Erfolgs- oder Fehlervektor für jedes Attribut.
2 ist eine erläuternde Darstellung zur Beschreibung der Kontextmerkmalsbeträge. Es ist zu beachten, dass im Beispiel von 2 davon ausgegangen wird, dass die Schilder 111 bis 113 als Merkmalspunkte aus einem aufgenommenen Bild 101b aufgenommen wurden. Für jeden Merkmalspunkt (k₁, k₂, ..., k_i) im aufgenommenen Bild 101b erhält die Kontextmerkmalsberechnungseinheit 103 eine Vielzahl von Kontextmerkmalsbeträgen ϕ(k_i) = (Darstellung des Merkmalspunktes ist gleich oder größer als der Schwellenwert, Höhe, in der der Merkmalspunkt existiert, ist 1 m oder höher, ....).
So ist beispielsweise das Schild 112 mit vertikalen Zeichen mit ähnlichen Schildern versehen, die im Umfang des Schildes 112 angeordnet sind. So ist die Darstellung der Merkmalspunkte geringer, und die Punktzahl, die die Darstellung anzeigt, ist kleiner als die Schwelle. Darüber hinaus befindet sich das Schild 112 über den Personen, die auf der Straße gehen, und hat eine Höhe von 1 m oder höher. Somit ist ϕ(k₁) = (0, 1, 1, ...).
Andererseits ist das Schild 111 mit horizontalen Zeichen ohne ein ähnliches Schild vorgesehen, die am Umfang des Schildes 111 angeordnet ist. Somit ist die Darstellung des Merkmalspunktes höher, und die Bewertung, die die Darstellung anzeigt, ist gleich oder höher als die Schwelle. Darüber hinaus befindet sich das Schild 111 auf der Straße und hat eine Höhe von weniger als 1 m. Somit ist ϕ(k₂) = (1, 0, ...).
Das Schild 113 mit vertikalen Zeichen ist ohne ein ähnliches Schild im Umfang des Schildes 113 angeordnet. Somit ist die Darstellung des Merkmalspunktes höher, und die Bewertung, die die Darstellung anzeigt, ist gleich oder höher als die Schwelle. Darüber hinaus befindet sich das Schild 113 über den Personen, die auf der Straße gehen, und hat eine Höhe von 1 m oder höher. Somit ist ϕ(k₃) = (1, 1, 1, ...).
Der Merkmalspunkt (k₂), der dem Schild 111 mit einer geringeren Höhe entspricht, wird wahrscheinlich von einem Passanten auf der Straße oder dergleichen verdeckt, so dass der Merkmalspunkt (k₂) schwer zu einem stabilen Merkmalspunkt zu werden vermag. Der dem Schild 112 entsprechende Merkmalspunkt (k₁) ist höher, so dass der Merkmalspunkt (k₁) wahrscheinlich nicht von einem Passanten auf der Straße oder dergleichen verdeckt wird. Der Merkmalspunkt (k₁) ist jedoch niedriger in der Darstellung und wird mit einem anderen Merkmalspunkt verwechselt, so dass der Merkmalspunkt (k₁) wahrscheinlich kein stabiler Merkmalspunkt sein wird. Andererseits ist es unwahrscheinlich, dass der Merkmalspunkt (k3), der dem Schild 113 entspricht, das in Höhe und Darstellung höher ist, von einem Passanten auf der Straße oder dergleichen verdeckt wird und nicht mit einem anderen Merkmalspunkt verwechselt wird. Somit ist der Merkmalspunkt (k3) wahrscheinlich ein stabiler Merkmalspunkt.
Wie vorstehend beschrieben, kann selbst dann, wenn bei einem Einzelattributwert an einem Merkmalspunkt, d.h. einem Kontextmerkmalsbetrag, die beschreibende Kraft zur Unterscheidung, ob der Merkmalspunkt ein stabiler Merkmalspunkt ist, schwach ist, ein stabiler Merkmalspunkt mit einem logischen Produkt aus einer Kombination aus einer Vielzahl von Kontextmerkmalsbeträgen extrahiert werden.
So wird eine Punktzahl von ϕ(k_i) = (Darstellung des Merkmalspunktes ist gleich oder höher als der Schwellenwert und die Höhe am Merkmalspunkt ist 1 m oder höher, ...) erhalten, und wenn die erhaltene Punktzahl gleich oder höher als ein vorgegebener Schwellenwert ist, kann der Merkmalspunkt als stabiler Merkmalspunkt ohne Verwendung von Merkmalsbeträgen basierend auf einer Langzeitbeobachtung eines Subjekts erhalten werden. Im obigen Beispiel sind ϕ(k₁) und ϕ(k₂) (0, ...); jedoch ist ϕ(k₃) (1, ...) und die Bewertung ist höher. Somit kann der dem Schild 113 entsprechende Merkmalspunkt (k₃) als stabiler Merkmalspunkt extrahiert werden.
Die Merkmalspunktkartenauswahleinheit 105 wählt aus den Merkmalspunktkarten 104 eine Merkmalspunktkarte 104 aus, die einem Zustand (z.B. Zeit oder Wetter) des aktuellen Zeitpunktes entspricht, in dem die Selbstposition geschätzt werden soll. Insbesondere sammelt die Merkmalspunktkartenauswahleinheit 105 Informationen wie Zeit und Wetter zum aktuellen Zeitpunkt aus einem externen Netzwerk (z.B. dem Internet) und wählt eine Merkmalspunktkarte 104 aus, die mit einem Zustand des aktuellen Zeitpunkts übereinstimmt. Die Merkmalspunktkartenauswahleinheit 105 gibt die ausgewählte Merkmalspunktkarte 104 an die Stabilitätsmerkmalspunktextraktionseinheit 106 aus. Infolgedessen kann die Informationsverarbeitungsvorrichtung 1 die stabilen Merkmalspunkte aus der Merkmalspunktkarte 104 extrahieren, die dem aktuellen Zeitpunkt entspricht, zu dem das Fahrzeug 2 eine Selbstposition schätzen soll.
Die Stabilitätsmerkmalspunktextraktionseinheit 106 berechnet für jeden in der Merkmalspunktkarte 104 enthaltenen Merkmalspunkt das Produkt aus der Vielzahl der mit der Kontextmerkmalsberechnungseinheit 103 berechneten Kontextmerkmale. Es wird davon ausgegangen, dass aus der Vielzahl der Kontextmerkmalsbeträge eine Kombination der Kontextmerkmalsbeträge, deren zu berechnendes Produkt voreingestellt ist. Als nächstes extrahiert die Stabilitätsmerkmalspunktextraktionseinheit 106 als stabilen Merkmalspunkt einen Merkmalspunkt mit dem Produktwert der Vielzahl von berechneten Kontextmerkmalelementen, die gleich oder größer als ein vorgegebener Schwellenwert sind.
Insbesondere multipliziert die Stabilitätsmerkmalspunktextraktionseinheit 106 jede der Vielzahl von Kontextmerkmalsbeträgen an jedem Merkmalspunkt mit einem Kontextmerkmalsbetragsgewicht 108 für jede aus einer Vielzahl von Kontextmerkmalsbeträgen, die mit der Kontextmerkmalsbetragsgewicht-Lerneinheit 107 gelernt wurden. Anschließend berechnet die Stabilitätsmerkmalspunktextraktionseinheit 106 das Produkt aus der Vielzahl von Kontextmerkmalsbeträgen mit dem reflektierten Kontextmerkmalsbetragsgewicht 108 und extrahiert einen Stabilitätsmerkmalspunkt mit dem Produktwert gleich oder größer als der vorgegebene Schwellenwert.
Hier wird der Verarbeitungsablauf von der Erstellung einer Merkmalspunktkarte 104 bis zur Extraktion eines stabilen Merkmalspunktes aus der erstellten Merkmalspunktkarte 104 konkret beschrieben. 3 ist ein Flussdiagramm, das die Funktionsweise der Erstellung einer Merkmalspunktkarte veranschaulicht.
Wie in 3 dargestellt, empfängt die Merkmalspunktkartenerstellungseinheit 102 zu Beginn der Verarbeitung eine Eingabe der MMS-Fahrdaten 101a (S1) und erfasst einen Merkmalspunkt von einem in den MMS-Fahrdaten 101a enthaltenen Aufnahmebild 101b auf der Grundlage des Objekterkennungsergebnisses (S2).
Als nächstes führt die Kontextmerkmalsberechnungseinheit 103 eine Schleifenverarbeitung durch, bei der ein Erfolgs- oder Fehlervektor mit einem Attributwert für jeden mit der Merkmalspunktkartenerstellungseinheit 102 erfassten Merkmalspunkt erhalten wird, für jede voreingestellte Bedingung, die sich beispielsweise auf die Position eines Merkmalspunktes, die Bewegung des Merkmalspunktes, die Darstellung des Merkmalspunktes oder dergleichen bezieht (S3 bis S5).
Insbesondere, wenn die Schleifenverarbeitung beginnt (S3), erfasst die Kontextmerkmalsberechnungseinheit 103 eine Bedingung aus den voreingestellten Bedingungen, die sich beispielsweise auf die Position des Merkmalspunktes in einem Aufnahmebereich, die Bewegung des Merkmalspunktes in dem Aufnahmebereich und die Existenzwahrscheinlichkeit der Farbe oder Form des Merkmalspunktes in dem Aufnahmebereich bezieht. Anschließend bestimmt die Kontextmerkmalsberechnungseinheit 103 für jeden Merkmalspunkt, ob die erworbene Bedingung erfüllt ist, und berechnet dann einen Erfolgs- oder Fehlervektor mit einem Einzelattributwert (S4). Die Kontextmerkmalsberechnungseinheit 103 führt die obige Verarbeitung für alle vorgegebenen Bedingungen durch und beendet die Schleifenverarbeitung (S5).
Als nächstes stellt die Kontextmerkmalsberechnungseinheit 103 eine Vielzahl von Kontextmerkmalsbeträgen zur Verfügung, die für jeden Merkmalspunkt in jeden Merkmalspunkt berechnet wurden, und erstellt eine Merkmalspunktkarte 104 (S6).
4 ist eine erklärende Darstellung zur Beschreibung der jeweiligen Positionen von Merkmalspunkten in einem Aufnahmebereich. Wie auf der linken Seite von 4 dargestellt, kann die Kontextmerkmalsberechnungseinheit 103 auch Erfolgs- oder Fehlervektoren (ϕ) für die jeweiligen Merkmalspunkte erhalten, die in einem aufgenommenen Bild 101b („X“ in der Zeichnung) enthalten sind, je nachdem, ob die Merkmalspunkte innerhalb eines Bereichs 121 mit einer Höhe von 3 m bis 5 m von der Straße entfernt liegen. So sind beispielsweise Merkmalspunkte, die in dem Bereich 121 jeweils als Erfolgs- oder Fehlervektor ϕ = 1 definiert sind, und Merkmalspunkte, die in dem Bereich 121 jeweils nicht vorhanden sind, als Erfolgs- oder Fehlervektor ϕ = 0 definiert, mit dem bestimmt werden kann, dass „ein Objekt (Merkmalspunkt) an einer hohen Stelle unwahrscheinlich verstopft sein wird“.
Darüber hinaus kann die Kontextmerkmalsberechnungseinheit 103, wie auf der rechten Seite von 4 dargestellt, auch einen Erfolgs-oder-Fehlervektor (ϕ) für entsprechende Merkmalspunkte erhalten, die in einem aufgenommenen Bild 101b enthalten sind, und zwar abhängig davon, ob ein Abstand von einem Bereich 123, der einem Ampelsignal entspricht, das aufgrund des Objekterkennungsergebnisses erkannt wurde, gleich oder größer als der Schwellenwert ist. So ist beispielsweise für einen Merkmalspunkt, dessen Abstand vom Bereich 123 kleiner als der Schwellenwert ist, der Merkmalspunkt als Erfolgs-oder Fehlervektor ϕ = 0 definiert, und für einen Merkmalspunkt mit dem Schwellenwert oder größer ist der Merkmalspunkt als Erfolgs- oder Fehlervektor ϕ = 1 definiert. Dieser Erfolgs-oder-Fehlervektor ermöglicht die Bestimmung, dass „sich Personen wahrscheinlich in der Nähe der Ampel versammeln und ein Objekt (Merkmalspunkt) wahrscheinlich nicht eingeschlossen wird“.
Es ist zu beachten, dass in der Beschreibung eines Erfolgs- oder Fehlervektors, der Beschreibung der Beziehung zwischen einem aufgrund des Objekterkennungsergebnisses erkannten Objekt und einem Merkmalspunkt, z.B. „der Merkmalspunkt ist in einem Fahrzeugbereich enthalten“, implizit das Verschwinden der vereinfachten Erkennung zum Ausdruck gebracht werden kann. Darüber hinaus ermöglicht die Verwendung eines Objekterkennungswertes (z.B. Punktwert, der Objektähnlichkeit anzeigt) anstelle der direkten Verwendung eines Objekterkennungsergebnisses eine Unterscheidung, z.B. „ein Objekt mit einem Objekterkennungswert in einem gewissen Grad für ein Fahrzeug und ein Bus ist ein Spielgerät in einem Park, so dass der Objekterkennungswert in Ausnahmefällen als stabiler Merkmalspunkt verwendet werden kann“. Darüber hinaus beschreibt die Verwendung eines Erfolgs- oder Fehlervektors für einen Attributwert gleichzeitig einem Bereich, die einen Merkmalspunkt gleichzeitig mit einem Objekterkennungsergebnis enthält, wie beispielsweise „20% der Aufnahme in den oberen Teil eines Hauses“, was eine Diskriminierung ermöglicht, z.B. dass sich Schnee auf dem Dach ansammeln kann und der Merkmalspunkt nicht geeignet ist, als stabiler Merkmalspunkt verwendet zu werden.
5 ist eine erklärende Darstellung zur Beschreibung der Bewegung von Merkmalspunkten in einem Aufnahmebereich. Wie in 5 dargestellt, ist die Kontextmerkmalsberechnungseinheit 103 in der Lage, die Bewegung eines Merkmalspunktes, der einer Person 124 oder dergleichen entspricht, auf der Grundlage des Differenzwertes zwischen optischen Strömen am Umfang von Merkmalspunkten, die in einem aufgenommenen Bild 101b enthalten sind, und dem Mittelwert des gesamten aufgenommenen Bildes 101b zu erhalten.
Darüber hinaus kann die Bewegung eines Merkmalspunktes auf der Grundlage des Differenzbetrags zwischen dem Unschärfebetrag der Peripherie der mit Autokorrelation erhaltenen Merkmalspunkte und dem Unschärfebetrag des gesamten aufgenommenen Bildes 101b erhalten werden. Es ist zu beachten, dass der Differenzbetrag vom Unschärfebetrag des gesamten aufgenommenen Bildes 101b verwendet wird, da eine am Fahrzeug 2 angebrachte Kamera sehr wahrscheinlich bewegt wird, und somit die Möglichkeit besteht, dass die Bewegung eines tatsächlich stationären Objekts auch dann beobachtet wird, wenn der Bewegungsbetrag des Merkmalspunktes einfach verwendet wird.
Auf der Grundlage der Bewegung des erhaltenen Merkmalspunktes wird ein Erfolgs- oder Fehlervektor berechnet, der angibt, ob der Merkmalspunkt eine Bewegung aufweist, die gleich oder größer als ein Schwellenwert ist. Dieser Erfolgs- oder Fehlervektor ermöglicht die Bestimmung, dass „das sich bewegende Objekt mit hoher Wahrscheinlichkeit verschwindet“.
6 ist eine erklärende Darstellung zur Beschreibung der Existenzwahrscheinlichkeit (Existenzwahrscheinlichkeit von Farbe im dargestellten Beispiel) der Farbe oder Form von Merkmalspunkten in einem Aufnahmebereich. Wie in 6 veranschaulicht, erhält die Kontextmerkmalsberechnungseinheit 103 die Existenzwahrscheinlichkeit der Vektorquantisierung eines visuellen Merkmals (z.B. Merkmal bezogen auf eine Farbe wie Grün, Braun und Weiß) von Merkmalspunkten, die in einem aufgenommenen Bild 101b enthalten sind. Diese Existenzwahrscheinlichkeit gibt Informationen zur Beschreibung „ob ein Merkmalspunkt in einem Aufnahmebereich leicht zu identifizieren ist“ an und drückt implizit die erleichternde Identifizierung eines Merkmalspunktes aus. So ist beispielsweise die Existenzwahrscheinlichkeit eines braunen Merkmalspunktes kleiner als die Präsenzwahrscheinlichkeit eines grünen oder weißen Merkmalspunktes. Somit kann man sagen, dass der braune Merkmalspunkt ein stabiler Merkmalspunkt ist, der leicht zu identifizieren ist.
Es ist zu beachten, dass die Kontextmerkmalsberechnungseinheit 103 bei der Berechnung der „Existenzwahrscheinlichkeit“ beispielsweise auch die Existenzwahrscheinlichkeit jedes Merkmalspunktes in einer öffentlichen Datenbank wie ImageNet erhalten kann. Darüber hinaus kann die Kontextmerkmalsberechnungseinheit 103 Merkmalspunkte aus dem vorherigen oder nächsten Rahmen eines Rahmens extrahieren, aus dem Merkmalspunkte extrahiert wurden, und die Existenzwahrscheinlichkeit jedes Merkmalspunktes mit den Verteilungen der Existenzwahrscheinlichkeit erhalten.
Auf der Grundlage der erhaltenen Existenzwahrscheinlichkeit des Merkmalspunktes wird ein Erfolgs- oder Fehlervektor berechnet, ob der Merkmalspunkt mit der Existenzwahrscheinlichkeit gleich oder kleiner als ein Schwellenwert ist. Dieser Erfolgs- oder Fehlervektor ermöglicht die Bestimmung, ob „der Merkmalspunkt im Aufnahmebereich leicht zu identifizieren ist“.
7 ist ein Flussdiagramm, das die Funktionsweise der Extraktion eines stabilen Merkmalspunktes veranschaulicht. Wie in 7 dargestellt, empfängt die Stabilitätsmerkmalspunktextraktionseinheit 106 zu Beginn der Verarbeitung die Dateneingabe einer Merkmalspunktkarte 104, die mit der Merkmalspunktkartenauswahleinheit 105 (S11) ausgewählt wurde.
Als nächstes extrahiert die Stabilitätsmerkmalspunktextraktionseinheit 106 aus jedem Merkmalspunkt jeder eingegebenen Merkmalspunktkarte 104 (S12) einen Erfolgs- oder Fehlervektor mit einem Einzelattributwert, d.h. eine Vielzahl von mit der Kontextmerkmalsberechnungseinheit 103 berechneten Kontextmerkmalsbeträgen.
Als nächstes multipliziert die Stabilitätsmerkmalspunktextraktionseinheit 106 die Erfolgs-oder Fehlervektoren mit jedem Attributwert auf der Grundlage einer vorgegebenen Kombination von Kontextmerkmalsbeträgen, wie beispielsweise mit einer Höhe, die gleich oder größer als ein Schwellenwert ist, und auch mit einer Darstellung, die gleich oder größer als der Schwellenwert für das Auftreten ist. Die Stabilitätsmerkmalspunktextraktionseinheit 106 berechnet mit dieser Multiplikation den Multiplikationsbetrag(Produktwert) der Erfolgs- oder Fehlervektoren (S13).
Anschließend berechnet die Stabilitätsmerkmalspunktextraktionseinheit 106 aus dem Kontextmerkmalsbetrag 108 für die Kontextmerkmalsbeträge der der Multiplikation unterworfenen Erfolgs- oder Fehlervektoren und dem Multiplikationsbetrag (S14) den Wert eines Merkmalspunktes, der ein Bewertungswert als Stabilitätsmerkmalspunkt ist. Insbesondere berechnet die Stabilitätsmerkmalspunktextraktionseinheit 106 durch Integration des Kontextmerkmalsbetragsgewichts 108 einen Wert für die Kontextmerkmalsbeträge der der Multiplikation unterzogenen Erfolgs- oder Fehlervektoren mit dem Multiplikationsbetrag. Als nächstes extrahiert die Stabilitätsmerkmalspunktextraktionseinheit 106 als Stabilitätsmerkmalspunkt einen Merkmalspunkt mit einer Punktzahl, die gleich oder höher als ein vorgegebener Schwellenwert (S15) ist.
8 ist eine erklärende Darstellung zur Beschreibung der Extraktion eines stabilen Merkmalspunktes. In dem in 8 dargestellten Beispiel wird als eine Vielzahl von Kontextmerkmalsbeträgen erhalten (ob die Höhe 1 bis 3 m beträgt, ob der Bewegungsbetrag gleich oder größer als ein Schwellenwert ist und ob die Existenzwahrscheinlichkeit des visuellen Merkmals gleich oder kleiner als ein Schwellenwert ist). Zum Beispiel für den Merkmalspunkt des oberen rechten Gebäudes, ϕ(k₁) = (0, 0, 1). Zusätzlich für den Merkmalspunkt des linken unteren Passanten ϕ(k₂) = (0, 1, 1).
Die Stabilitätsmerkmalspunktextraktionseinheit 106 multipliziert ein logisches Produkt aus einer Kombination der Vielzahl von Kontextmerkmalsbeträgen mit dem Kontextmerkmalbetragsgewicht 108 (w_T), um S(k1) und S(k₂) zu erhalten, die die Werte der Merkmalspunkte sind. Wenn beispielsweise das Kontextmerkmalsbetragsgewicht 108 (w_T) als w_T = (1.0, -0.5, 1.0) definiert ist, ist die Punktzahl für den Merkmalspunkt des oberen rechten Gebäudes S(k₁) = 1. Zusätzlich ist die Punktzahl für den Merkmalspunkt des linken unteren Passanten S(k₂) = -0,5.
Anschließend vergleicht die Stabilitätsmerkmalspunktextraktionseinheit 106 die jeweiligen Werte (S(k₁), S(k₂)) der Merkmalspunkte mit einem vorgegebenen Schwellenwert (z.B. 0,5), um den Merkmalspunkt des oberen rechten Gebäudes als stabilen Merkmalspunkt zu extrahieren. Wie vorstehend beschrieben, ist die Informationsverarbeitungsvorrichtung 1 in der Lage, einen stabilen Merkmalspunkt mit Extraktion des stabilen Merkmalspunktes auf der Grundlage eines logischen Produkts aus einer Kombination einer Vielzahl von Kontextmerkmalsbeträgen ohne Verwendung von Merkmalsbeträgen basierend auf einer Langzeitbeobachtung eines Subjekts leicht zu erhalten.
Es ist zu beachten, dass die Stabilitätsmerkmalspunktextraktionseinheit 106 als Verfahren zum Extrahieren eines stabilen Merkmalspunktes mit einer Kombination aus einer Vielzahl von Kontextmerkmalsbeträgen für jeden Merkmalspunkt ein anderes Verfahren als das Verfahren zum Extrahieren eines Stabilitätsmerkmalspunktes mit dem Erhalten eines Produkts aus einer Vielzahl von Kontextmerkmalsbeträgen verwenden kann. So kann beispielsweise die Stabilitätsmerkmalspunktextraktionseinheit 106 einen Stabilitätsmerkmalspunkt unter Verwendung nicht nur des Multiplikationsbetrags einer Vielzahl von Kontextmerkmalsbeträgen an einem einzigen Merkmalspunkt (Menge gleichzeitigen Vorkommens von Kontextmerkmalen an einem einzigen Merkmalspunkt), sondern auch der Kombinationsbetrag der Kontextmerkmalsbeträge einer Vielzahl von Merkmalspunkten (Menge gleichzeitigen Vorkommens von Kontextmerkmalen an einer Vielzahl von Merkmalspunkten) extrahieren.
So kann beispielsweise die Stabilitätsmerkmalspunktextraktionseinheit 106 die Menge gleichzeitigen Vorkommens von Kontextmerkmalen einer Vielzahl von Merkmalspunkten verwenden, wie beispielsweise „ob ein Merkmalspunkt mit einem bestimmten Attributwert innerhalb eines bestimmten Bereichs als Stabilitätsmerkmalspunkt ausgewählt wurde“, und eine Kombination von Stabilitätsmerkmalspunkten mit dem höchsten Wert extrahieren.
9 ist eine erklärende Darstellung zur Beschreibung der Extraktion eines stabilen Merkmalspunktes mit dem gleichzeitigen Auftreten von Kontextmerkmalen einer Vielzahl von Merkmalspunkten. Es ist zu beachten, dass im Beispiel von 9 davon ausgegangen wird, dass ein stabiler Merkmalspunkt unter der Bedingung extrahiert wird (Auswahl eines Merkmalspunktes mit einem Bewegungsbetrag von 1 bis 3 Pixeln und Auswahl eines Merkmalspunktes in einer Höhe von 1 bis 3 m von der Straße). In einem aufgenommenen Bild 101b im oberen Teil von 9 sind stationäre Merkmalspunkte (schwarze „X“s) von etwa 1 bis 3 m vorhanden, so dass die Merkmalspunkte bevorzugt extrahiert werden. Der Merkmalspunkt des Baumes (durchgängig weißes „X“) wird nicht als stabiler Merkmalspunkt extrahiert, da sich der Baum bei Wind oder dergleichen wiegend bewegt.
In einem aufgenommenen Bild 101b im unteren Teil von 9 sind stationäre Merkmalspunkte um 1 bis 3 m nicht vorhanden, so dass der Merkmalspunkt (schwarzes „X“) des Baumes mit im Wind schwankender Bewegung als zweitbestes extrahiert wird. So ermöglicht die Verwendung des Kombinationsbetrags von Kontextmerkmalsbeträgen einer Vielzahl von Merkmalspunkten eine Erhöhung der Robustheit der Auswahl von Stabilitätsmerkmalspunkten.
Um auf 1 zurückzukommen, lernt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 das Kontextmerkmalsbetragsgewicht 108, das mit den jeweiligen Kontextmerkmalsbeträgen zu multiplizieren ist, um Fehler bei der Selbstpositionsschätzung mit dem mit der Stabilitätsmerkmalspunktextraktionseinheit 106 extrahierten Stabilitätsmerkmalspunkt zu reduzieren.
10 ist eine erklärende Darstellung zur Beschreibung des Gewichtungslernens für Kontextmerkmalsbeträge. Wie in 10 dargestellt, verwendet die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 korrekt positioniert hinzugefügte Bewegtbilder 101c, für die jeweils die richtige Position bereits in den mit dem MMS oder dergleichen gefahrenen MMS-Fahrdaten 101a bekannt ist, und aktualisiert das Kontextmerkmalsbetragsgewicht 108, um Fehler bei der Selbstpositionierung zu minimieren.
Konkret verwendet die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 die korrekt positioniert hinzugefügte Bewegtbilder 101c, um eine Merkmalspunktkarte 104 (S20) zu erstellen. Anschließend extrahiert die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 aus der Merkmalspunktkarte 104 und der Merkmalsbetragsgewichtung 108 einen stabilen Merkmalspunkt (schwarz „X“) (S21). Anschließend schätzt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 eine Selbstposition aus dem stabilen Merkmalspunkt und den verbleibenden korrekt positioniert hinzugefügten Bewegtbildern 101c und aktualisiert mit einer Verstärkungslerntechnik wie dem Q-Lernen den Wert des Kontextmerkmalsbetragsgewichts 108 auf der Grundlage der Differenz zwischen der Selbstpositionsschätzung und den richtigen Positionen (S22).
Für das Q-Lernen werden ein Zustand (S), eine Aktion (A) und eine Belohnung (r) definiert, und eine Wertfunktion (Q_Θ(S, A)) einer Aktion in jedem Zustand wird gelernt. Wenn beispielsweise eine Wertfunktion Q_Θ(S, A2) einer bestimmten Aktion A2 höher ist als eine Wertfunktion QΘ(S, A1) einer bestimmten Aktion A1 im Zustand S, bedeutet dies, dass die Auswahl der Aktion A2 besser ist.
Wenn eine Gewichtung für dem zu erlernenden Kontextmerkmalsbetrag als Θ definiert ist, wird die Formulierung als Ausdruck (1) unten vorgenommen und das Gewicht eines Merkmalsbetrags des Erfolgs bei der Selbstpositionsschätzung wird erlernt.
[Mathematische Formel 1] $\begin{array}{l} Q_{Θ} (S, A) = Θ \cdot ϕ (S, A) \\ (\begin{matrix} wobei, \\ ϕ (S, A) = (\begin{matrix} ϕ (k_{1}, a_{1}) \\ \dots \\ ϕ (k_{n}, a_{n}) \end{matrix}) & ϕ (k_{i}, a_{i}) = (\begin{array}{l} sign (a_{i} = 1) \cdot ϕ (k_{i}) \\ sign (a_{i} = 0) \cdot ϕ (k_{i}) \end{array}) \\ Θ = (\begin{matrix} θ \\ \dots \\ θ \end{matrix}) & θ = (\begin{array}{l} w (a = 1) \\ w (a = 0) \end{array}) \end{matrix}) \end{array}$
Es ist zu beachten, dass der Zustand (S), die Aktion (A) und die Belohnung (r) in Ausdruck (1) wie folgt definiert sind.

-Zustand (S): Geschätztes Selbstpositionierungsergebnis eines bestimmten Rahmens und Lesen der Merkmalspunktkarte (K)
-K = {k₁, ..., k_i}: Jeder Merkmalspunkt der gelesenen Merkmalspunktkarte
-Aktion (A) = {a₁, ..., a_n} : ob der gelesene Merkmalspunkt k_i als stabiler Merkmalspunkt für die Selbstpositionsschätzung verwendet wird (an = 1) oder nicht (an = 0).
-Belohnung (r) = -C (Fehler zwischen richtiger Position und geschätzter Position ist gleich oder größer als ein bestimmter Betrag oder die aktuelle Position ist verloren) oder 0 (Fehler zwischen richtiger Position und geschätzter Position ist gleich oder größer als ein bestimmter Betrag oder anders als der Verlust der aktuellen Position).

11 ist ein Flussdiagramm, das die Funktionsweise des Gewichtungslernens veranschaulicht. Wie in 11 veranschaulicht, empfängt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 die Dateneingabe von korrekt positioniert hinzugefügten Bewegtbildern 101c (S201) und extrahiert Teile aus jedem korrekt positioniert hinzugefügten Bewegtbild 101c, um Merkmalspunktkarten 104 (S202) zu erstellen. Anschließend initialisiert die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 den Wert des Gewichtes 108 (S203) für das Kontextmerkmal.
Anschließend führt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 wiederholt eine Schleifenverarbeitung durch (S204 bis S217), mit der der Wert des Kontextmerkmalsbetragsgewichts 108 erhalten wird, bis das Kontextmerkmalsbetragsgewicht 108 auf einen bestimmten Wert konvergiert oder bis die Verarbeitung eine bestimmte Anzahl von Malen durchgeführt wird.
Wenn die Schleifenverarbeitung beginnt, mit der der Wert des Kontextmerkmalsbetragsgewichts 108 erhalten wird, führt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 bei jedem Bewegtbild (S205 bis 216) eine Schleifenverarbeitung durch.
Wenn die Schleifenverarbeitung bei jedem Bewegtbild beginnt, liest die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 die Merkmalspunktkarten 104, die einen Ort enthalten, der dem korrekt positioniert hinzugefügten Bewegtbild 101c (S206) entspricht. Anschließend setzt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 einen Zustand (S) an einer korrekten Position zum Zeitpunkt des Starts des Bewegtbildes (S207).
Als nächstes führt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 eine Schleifenverarbeitung für jedes Einzelbild im Bewegtbild (S208 bis S215) durch. Insbesondere extrahiert die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 aus dem aktuellen Zustand (S) (S209) eine Merkmalspunktkarte 104 zur Selbstpositionierung und berechnet die jeweiligen Kontextmerkmalsbeträge von Merkmalspunkten in der extrahierten Merkmalspunktkarte 104 (S210).
Anschließend bestimmt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107, ob jeder Merkmalspunkt gemäß der Kontextmerkmalsbetragsgewichtung 108 und den Kontextmerkmalsbeträgen, ähnlich der Stabilitätsmerkmalspunktextraktionseinheit 106 (S211), als stabiler Merkmalspunkt verwendet wird.
Anschließend schätzt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 eine Selbstposition mit dem stabilen Merkmalspunkt, der auf der Grundlage des Bestimmungsergebnisses von S211 (S212) extrahiert wurde, und bestimmt eine Belohnung (r) auf der Grundlage der Differenz zwischen dem Ergebnis der Selbstpositionsschätzung und der richtigen Position, um das Gewicht 108 (S213) des Kontextmerkmals zu aktualisieren. Anschließend aktualisiert die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 die aktuelle Position auf eine für den aktuellen Frame (S214) geschätzte Selbstposition und setzt die Schleifenverarbeitung für jeden Frame im Bewegtbild fort.
Wenn die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 die Schleifenverarbeitung beendet (S204 bis S217), gibt die Kontextmerkmalsbetragsgewicht-Lerneinheit 107 das erhaltene Gewicht 108 (S218) für die Kontextmerkmalsbeträge aus und beendet die Verarbeitung.
Zurück zu 1, empfängt die Sensoreingabeeinheit 201 einen Eingang von einer Sensorvorrichtung, wie beispielsweise einem globalen Positionierungssystem (GPS), einem Laserscanner oder einer am Fahrzeug montierten Kamera 2. Insbesondere empfängt die Sensoreingabeeinheit 201 Informationen über die Fahrposition und Orientierung des Fahrzeugs 2 von der Sensorvorrichtung wie dem GPS oder dergleichen zusammen mit einem mit der Kamera während der Fahrt des Fahrzeugs 2 aufgenommenen Aufnahmebild. Die Sensoreingabeeinheit 201 gibt die von der Sensorvorrichtung empfangenen Informationen an die Selbstpositionierungseinheit 202 aus.
Die Selbstpositionsschätzeinheit 202 schätzt die Selbstposition des Fahrzeugs 2 auf der Grundlage des aufgenommenen Bildes der am Fahrzeug 2 montierten Kamera und der Informationen über die Fahrposition und Ausrichtung des Fahrzeugs 2 sowie der Informationen über den mit der Stabilitätsmerkmalspunktextraktionseinheit 106 extrahierten Stabilitätsmerkmalspunkt. Die Selbstpositionsschätzungseinheit 202 gibt die geschätzte Selbstposition des Fahrzeugs 2 an die SchätzungsergebnisAusgabeeinheit 203 aus.
12 ist ein Flussdiagramm, das die Funktionsweise der Schätzung einer Selbstposition veranschaulicht. Wie in 12 dargestellt, empfängt die Selbstpositionsschätzungseinheit 202 zu Beginn der Verarbeitung die Dateneingabe einer Merkmalspunktkarte 104 einschließlich eines Bildes einer am Fahrzeug 2 montierten Kamera und des stabilen Merkmalspunkts (S30).
Anschließend ordnet die Selbstpositionsschätzeinheit 202 einen im Bild der am Fahrzeug montierten Kamera enthaltenen Merkmalspunkt dem mit der Stabilitätsmerkmalspunktextraktionseinheit 106 in der Merkmalspunktkarte 104 (S31) extrahierten stabilen Merkmalspunkt zu. Anschließend verwendet die Selbstpositionsschätzeinheit 202 einen bekannten Algorithmus zur Selbstpositionsschätzung auf der Grundlage der Positionsinformationen (dreidimensionale Positionsinformationen) über den zugehörigen stabilen Merkmalspunkt und der Informationen über die Fahrposition und Orientierung des Fahrzeugs 2 und gibt die Position und Richtung des Fahrzeugs 2 aus, wie beispielsweise Fehler minimiert werden (S32).
Wie vorstehend beschrieben, verwendet die Selbstpositionsschätzungseinheit 202 den mit der Stabilitätsmerkmalspunktextraktionseinheit 106 extrahierten Stabilitätsmerkmalspunkt, um eine Selbstposition zu schätzen, wodurch die Hemmung eines destabilisierten Schätzergebnisses ermöglicht wird.
Die Schätzergebnisausgabeeinheit 203 gibt die mit der Selbstpositionsschätzungseinheit 202 geschätzte Selbstposition des Fahrzeugs 2 an eine externe Vorrichtung aus. Beispiele für die externe Vorrichtung, die ein Ausgabeziel der Schätzergebnisausgabeeinheit 203 sein soll, sind eine Steuervorrichtung, die eine autonome Bewegung auf der Grundlage einer geschätzten Selbstposition steuert, und eine Anzeigevorrichtung, die die geschätzte Selbstposition anzeigt.
Wie vorstehend beschrieben, beinhaltet die Informationsverarbeitungsvorrichtung 1 die Merkmalspunktkartenerstellungseinheit 102, die Kontextmerkmalsberechnungseinheit 103 und die Stabilitätsmerkmalspunktextraktionseinheit 106. Die Merkmalspunktkartenerstellungseinheit 102 erfasst Merkmalspunkte aus einem aufgenommenen Bild. Die Kontextmerkmalsberechnungseinheit 103 berechnet aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen eine Vielzahl von Kontextmerkmalsbeträgen mit einem Erfolgs- oder Fehlervektor eines Einzelattributs. Die Stabilitätsmerkmalspunktextraktionseinheit 106 extrahiert aus den erfassten Merkmalspunkten Merkmalspunkte, deren Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist. Daher ist die Informationsverarbeitungsvorrichtung 1 in der Lage, auf einfache Weise einen stabilen Merkmalspunkt ohne Verwendung von Merkmalsbeträgen zu extrahieren, die auf einer Langzeitbeobachtung eines Objekts basieren.
Es ist zu beachten, dass die jeweiligen Bestandteile der dargestellten Geräte und Vorrichtungen nicht notwendigerweise physikalisch konfiguriert sind, wie in den Zeichnungen dargestellt. Das heißt, die spezifischen Aspekte der Trennung und Integration jeder der Vorrichtungen und Vorrichtungen sind nicht auf die veranschaulichten Aspekte beschränkt, und die gesamte oder ein Teil der Vorrichtungen oder Vorrichtungen kann funktionell oder physisch getrennt und in jede Einheit integriert werden, entsprechend den verschiedenen Lasten und dem Benutzerstatus.
Darüber hinaus können verschiedene Verarbeitungsfunktionen, die mit der Informationsverarbeitungsvorrichtung 1 ausgeführt werden, ganz oder teilweise auf einer zentralen Verarbeitungseinheit (engl. Central Processing Unit, CPU) (oder einem Mikrocomputer, wie beispielsweise einer Mikroprozessoreinheit (engl. Microprocessor Unit, MPU) oder einer Mikrosteuereinheit (engl. Micro Controller Unit, MCU)) ausgeführt werden. Darüber hinaus ist es selbstverständlich, dass die gesamte oder ein Teil verschiedener Verarbeitungsfunktionen von einem zu analysierenden und auszuführenden Programm auf einer CPU (oder einem Mikrocomputer, wie einer MPU oder einer MCU) oder auf Hardware durch drahtgebundene Logik ausgeführt werden kann. Darüber hinaus können verschiedene Verarbeitungsfunktionen, die mit der Informationsverarbeitungsvorrichtung 1 ausgeführt werden, von einer Vielzahl von Computern in Zusammenarbeit über Cloud Computing ausgeführt werden.
Inzwischen können die verschiedenen Arten der Verarbeitung, die in der obigen Ausführungsform beschrieben sind, durch die Ausführung eines vorbereiteten Programms auf einem Computer erreicht werden. So wird im Folgenden ein Beispiel für einen Computer (Hardware) beschrieben, der ein Programm mit ähnlichen Funktionen wie die Funktionen in der obigen Ausführungsform ausführt. 13 ist ein Blockdiagramm eines exemplarischen Computers, der ein Programm ausführt.
Wie in 13 dargestellt, beinhaltet ein Computer 3 eine CPU 301, die verschiedene Arten der arithmetischen Verarbeitung ausführt, eine Eingabevorrichtung 302, die Dateneingaben empfängt, einen Monitor 303 und einen Lautsprecher 304. Darüber hinaus beinhaltet der Computer 3 eine Medienlesevorrichtung 305, die ein Programm und dergleichen von einem Speichermedium liest, eine Schnittstellenvorrichtung 306, die zum Verbinden mit verschiedenen Vorrichtungen verwendet wird, und eine Kommunikationsvorrichtung 307, die eine kommunikative Verbindung mit einer externen Vorrichtung auf drahtgebundene oder drahtlose Weise herstellt. Darüber hinaus verfügt der Computer 3 auch über einen Direktzugriffsspeicher (engl. Random Access Memory, RAM) 308, der verschiedene Arten von Informationen vorübergehend speichert, und ein Festplattenlaufwerk 309. Darüber hinaus ist jedes Teil (301 bis 309) im Computer 3 mit einem Bus 310 verbunden.
Die Festplatte 309 speichert ein Programm 311, das verschiedene Arten der Verarbeitung in der in der obigen Ausführungsform beschriebenen funktionalen Konfiguration ausführt. Darüber hinaus speichert die Festplatte 309 verschiedene Arten von Daten 312, auf die sich das Programm 311 bezieht. Die Eingabevorrichtung 302 empfängt beispielsweise eine Eingabe von Betriebsinformationen von einem Benutzer. Der Monitor 303 zeigt beispielsweise verschiedene Bildschirme an, die vom Bediener bedient werden. Die Schnittstellenvorrichtung 306 ist z.B. an ein Druckgerät angeschlossen. Die Kommunikationsvorrichtung 307 ist mit einem Kommunikationsnetzwerk, wie beispielsweise einem lokalen Netzwerk (engl. Local Area Network, LAN), verbunden und tauscht über das Kommunikationsnetzwerk verschiedene Arten von Informationen mit der externen Vorrichtung aus.
Die CPU 301 liest das auf der Festplatte 309 gespeicherte Programm 311 und lädt das Programm 311 in das RAM 308, um das Programm 311 auszuführen. Anschließend führt die CPU 301 die verschiedenen Arten der Verarbeitung aus. Es ist zu beachten, dass das Programm 311 möglicherweise nicht auf der Festplatte 309 vorgespeichert ist. So kann beispielsweise der Computer 3 das auf einem für den Computer 3 lesbaren Speichermedium gespeicherte Programm 311 lesen und das Programm 311 ausführen. Das Speichermedium, das von dem Computer 3 gelesen werden kann, entspricht beispielsweise einem tragbaren Aufzeichnungsmedium, wie beispielsweise: einer CD-ROM, einer DVD-Diskette und einem USB-Speicher (Universal Serial Bus), einem Halbleiterspeicher, wie beispielsweise einem Flash-Speicher, und einer Festplatte. Alternativ kann das Programm 311 in einer Vorrichtung gespeichert werden, die mit einer öffentlichen Leitung, dem Internet, einem LAN oder dergleichen verbunden ist, und der Computer 3 kann das Programm 311 von der Vorrichtung lesen, um das Programm 311 auszuführen.
Bezugszeichenliste

1: Informationsverarbeitungsvorrichtung
2: Fahrzeug
3: Computer
101: Speichereinheit
101a: MMS-Reisedaten
101b: aufgenommenes Bild
101c: korrekt positioniert hinzugefügtes Bewegtbild
102: Merkmalspunktkartenerstellungseinheit
103: Kontextmerkmalsberechnungseinheit
104: Merkmalspunktkarte
105: Merkmalspunktkartenauswahleinheit
106: Stabilitätsmerkmalspunktextraktionseinheit
107: Kontextmerkmalsbetragsgewicht-Lerneinheit
108: Kontextmerkmalsbetragsgewicht
111 bis 113: Schild
121 bis 123: Bereich
124: Person
201: Sensoreingabeeinheit
202: Selbstpositionsschätzungseinheit
203: Schätzungsergebnisausgabeeinheit
301: CPU
302: Eingabevorrichtung
303: Monitor
304: Lautsprecher
305: Medienlesevorrichtung
306: Schnittstellenvorrichtung
307: Kommunikationsvorrichtung
308: RAM
309: Festplatte
310: Bus
311: Programm
312: verschiedene Arten von Daten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012185011 [0004]
JP 2011215053 [0004]
JP 2011215974 [0004]
JP 2015108604 [0004]

Claims

Eine Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinheit, die konfiguriert ist, Merkmalspunkte aus einem aufgenommenen Bild zu erfassen; eine Merkmalsbetragsberechnungseinheit, die konfiguriert ist, aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen eine Vielzahl von Kontextmerkmalsbeträgen zu berechnen, die einen Erfolgs-oder Fehlervektor eines Einzelattributs aufweisen; und eine Merkmalspunktextraktionseinheit, die konfiguriert ist, aus den erfassten Merkmalspunkten Merkmalspunkte zu extrahieren, von denen ein Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist.
Die Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit ferner Positionsinformationen erfasst, die eine Position anzeigen, an der das Bild aufgenommen wurde, und Karteninformationen erzeugt, die Positionsinformationen über die erfassten Merkmalspunkte beinhalten, und die Merkmalsberechnungseinheit stellt in den Karteninformationen die Vielzahl von Kontextmerkmalsbeträgen zur Verfügung, die aus jedem der Merkmalspunkte berechnet wurden.
Die Informationsverarbeitungsvorrichtung nach Anspruch 2, ferner umfassend: eine Eingabeeinheit, die konfiguriert ist, einen Eingang eines mit einer an einem Fahrzeug montierten Kamera aufgenommenen Bildes zu empfangen; eine Positionsschätzungseinheit, die konfiguriert ist, einen im Eingabebild enthaltenen Merkmalspunkt mit einem Merkmalspunkt zu verknüpfen, der basierend auf der Vielzahl von Kontextmerkmalsbeträgen, die in den Karteninformationen enthalten sind, extrahiert wurde, und konfiguriert ist, eine Position des Fahrzeugs basierend auf den Positionsinformationen über den zugehörigen Merkmalspunkt zu schätzen; und eine Ausgabeeinheit, die konfiguriert ist, die geschätzte Position des Fahrzeugs auszugeben.
Die Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, ferner umfassend: eine Lerneinheit, die konfiguriert ist, die Gewichtung für jede der Kontextmerkmalsbeträge zu lernen, basierend auf jedem der extrahierten Merkmalspunkte, wobei die Merkmalspunktextraktionseinheit die erlernte Gewichtung auf jeden der Kontextmerkmalsbeträge reflektiert und einen Merkmalspunkt extrahiert, von dem ein Produkt des Kontextmerkmals nach der Reflexion der Gewichtung gleich oder größer als der Schwellenwert ist.
Die Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das einzelne Attribut eine beliebige Position jedes der Merkmalspunkte in einem Aufnahmebereich, die Bewegung jedes der Merkmalspunkte in dem Aufnahmebereich und die Existenzwahrscheinlichkeit von Farbe oder Form jedes der Merkmalspunkte in dem Aufnahmebereich beinhaltet.
Ein Merkmalspunkteextraktionsprogramm, das bewirkt, dass ein Computer eine Verarbeitung ausführt, umfassend: Erfassen von Merkmalspunkten aus einem aufgenommenen Bild; Berechnen einer Vielzahl von Kontextmerkmalsbeträgen aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen, die einen Erfolgs- oder Fehlervektor eines Einzelattributs aufweisen; und Extrahieren von Merkmalspunkten aus den erfassten Merkmalspunkten, von denen ein Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist.
Ein Merkmalspunkteextraktionsverfahren zum Ausführen einer Verarbeitung mit einem Computer, wobei die Verarbeitung umfasst: Erfassen von Merkmalspunkten aus einem aufgenommenen Bild; Berechnen einer Vielzahl von Kontextmerkmalsbeträgen aus jedem der erfassten Merkmalspunkte unter vorgegebenen Bedingungen, die einen Erfolgs- oder Fehlervektor eines Einzelattributs aufweisen; und Extrahieren von Merkmalspunkten aus den erfassten Merkmalspunkten, von denen ein Produkt aus der Vielzahl der berechneten Kontextmerkmalsbeträge gleich oder größer als ein vorgegebener Schwellenwert ist.