-
[Technisches Gebiet]
-
Die vorliegende Erfindung betrifft eine Bediener-Beurteilungsvorrichtung und ein Bediener-Beurteilungsverfahren zur Beurteilung eines Insassen, der ein in einem Fahrzeug installiertes Gerät bedient.
-
[Hintergrundtechnologie]
-
Es gibt bisher eine Technologie, bei der während der Fahrt eines Fahrzeugs die Bedienung von in dem Fahrzeug installierten Geräten wie einer Navigationsvorrichtung usw. durch den Fahrer deaktiviert wird. Bei dieser Technologie besteht die Problematik, dass nicht nur eine Bedienung durch den Fahrer sondern auch durch andere Insassen einschließlich des Insassen auf dem Beifahrersitz deaktiviert wird, wodurch die Zweckmäßigkeit des Geräts leidet.
-
Als Maßnahme gegen dieses Problem ist eine Technologie offenbart (vgl. z. B. Patentdokument 1), bei der mittels eines durch eine Kamera aufgenommenen Bildes die Bewegung der Hand eines Bedieners prognostiziert wird, und basierend auf der Bewegung der betreffenden Hand der Bediener beurteilt wird. Ferner ist eine Technologie offenbart (vgl. z. B. Patentdokument 2), bei welcher ein Bediener basierend auf der Position des Arms des Bedieners in einem durch eine Kamera aufgenommenen Bild beurteilt wird. Durch eine derartige Beurteilung des Insassen kann während der Fahrt eines Fahrzeugs die Bedienung des Fahrers deaktiviert und die Bedienung anderer Insassen aktiviert werden.
-
[Dokumente des Standes der Technik]
-
[Patentdokumente]
-
- [Patentdokument 1] Patentveröffentlichung Nr. JP 2014-58268 A
- [Patentdokument 2] Patentveröffentlichung Nr. JP 2005-274409 A
-
[Übersicht über die Erfindung]
-
[Durch die Erfindung zu lösende Aufgabe]
-
Bei der Technologie, die in den Patentdokumenten 1 und 2 offenbart ist, wird die Hand oder der Arm eines Bedieners mittels Bildverarbeitung eines Bildes detektiert, das durch eine Kamera aufgenommen wurde. Beinhaltet das durch die Kamera aufgenommene Bild jedoch ein anderes Objekt als eine Hand oder einen Arm, kann das betreffende Objekt als Hand oder Arm fehldetektiert werden. In diesem Fall besteht die Möglichkeit einer Fehlbeurteilung des Bedieners. Es kann daher nicht gesagt werden, dass der Bediener, der ein in einem Fahrzeug installiertes Gerät bedient, gemäß dem Stand der Technik korrekt beurteilt wird.
-
Die vorliegende Erfindung erfolgte zur Lösung dieser Problematik und macht es sich zur Aufgabe eine Bediener-Beurteilungsvorrichtung und ein Bediener-Beurteilungsverfahren bereitzustellen, durch die ein Bediener, der ein in einem Fahrzeug installiertes Gerät bedient korrekt beurteilt werden kann.
-
[Mittel zum Lösen der Aufgabe]
-
Um die vorstehende Aufgabe zu lösen, umfasst die Bediener-Beurteilungsvorrichtung gemäß der vorliegenden Erfindung eine Bilderwerbssektion zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale des Insassen folgert, eine Kopfposition-Folgerungssektion, die basierend auf durch die Gesichtsmerkmal-Folgerungssektion gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zur Kamera folgert, eine Körperteil-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild folgert, eine Physis-Folgerungssektion, die basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der durch die Physis-Folgerungssektion gefolgerten Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der durch die Prädiktionsbedienung-Folgerungssektion gefolgerten Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt.
-
[Effekte der Erfindung]
-
Der vorliegenden Erfindung zufolge umfasst die Bediener-Beurteilungsvorrichtung eine Physis-Folgerungssektion, die basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfes eines Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der durch die Physis-Folgerungssektion gefolgerten Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der durch die Prädiktionsbedienung-Folgerungssektion gefolgerten Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt, wodurch eine korrekte Beurteilung des Bedieners, der das in dem Fahrzeug installierte Gerät bedient, ermöglicht wird.
-
Aufgabe, Charakteristik, Aspekte und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Erläuterung und den angefügten Figuren deutlicher.
-
Figurenliste
-
- [1] 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [2] 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [3] 3 ist eine Ansicht, die ein Beispiel der Ausgabe eines Beurteilungsergebnisses der Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [4] 4 ist eine Ansicht, die ein Beispiel der Ausgabe eines Beurteilungsergebnisses der Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [5] 5 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [6] 6 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [7] 7 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [8] 8 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
- [9] 9 ist ein Blockbild, das ein Beispiel des Aufbaus eines Bediener-Beurteilungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
-
[Formen zur Ausführung der Erfindung]
-
Im Folgenden werden Formen zur Ausführung der vorliegenden Erfindung anhand der Figuren erläutert.
-
<Ausführungsformen>
-
<Aufbau>
-
1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung 1 gemäß der vorliegenden Ausführungsform zeigt. 1 zeigt dabei den erforderlichen Mindestaufbau einer Bediener-Beurteilungsvorrichtung gemäß der vorliegenden Ausführungsform. Ferner ist hierbei vorausgesetzt, dass die Bediener-Beurteilungsvorrichtung 1 in einem Fahrzeug eingebaut ist.
-
Wie in 1 gezeigt, umfasst die Bediener-Beurteilungsvorrichtung 1 eine Bilderwerbssektion 2, eine Gesichtsmerkmal-Folgerungssektion 3, eine Kopfposition-Folgerungssektion 4, eine Körperteil-Folgerungssektion 5, eine Physis-Folgerungssektion 6, eine Prädiktionsbedienung-Folgerungssektion 7 und eine Bediener-Beurteilungssektion 8. Ferner ist die Bilderwerbssektion 2 mit einer Kamera 9 verbunden. Die Kamera 9 ist, wie beispielsweise in 3 und 4 gezeigt, die im Folgenden beschrieben werden, in einem Fahrzeug eingebaut.
-
Die Bilderwerbskomponente 2 erwirbt ein durch die Kamera 9 aufgenommenes Bild des Insassen in einem Fahrzeug. Die Gesichtsmerkmal-Folgerungssektion 3 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild Gesichtsmerkmale des Insassen. Die Kopfposition-Folgerungssektion 4 folgert basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. Die Körperteil-Folgerungssektion 5 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild.
-
Die Physis-Folgerungssektion 6 folgert basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion 5 gefolgerte Größe der jeweiligen Körperteile die Physis des Insassen. Die Prädiktionsbedienung-Folgerungssektion 7 folgert basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eine Prädiktionsbedienung, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt. Die Bediener-Beurteilungssektion 8 beurteilt basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das Gerät bedient.
-
Als Nächstes wird ein anderer Aufbau einer Bediener-Beurteilungsvorrichtung erläutert, welche die in 1 gezeigte Bediener-Beurteilungsvorrichtung 1 einschließt.
-
2 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung 10 gemäß einem anderen Aufbau zeigt. Hierbei ist vorausgesetzt, dass die Bediener-Beurteilungsvorrichtung 10 in einem Fahrzeug eingebaut ist.
-
Wie in 2 gezeigt, umfasst die Bediener-Beurteilungsvorrichtung 10 eine Bilderwerbssektion 2, eine Gesichtsmerkmal-Folgerungssektion 3, eine Kopfposition-Folgerungssektion 4, eine Körperteil-Folgerungssektion 5, eine Physis-Folgerungssektion 6, eine Prädiktionsbedienung-Folgerungssektion 7, eine Bediener-Beurteilungssektion 8 und eine Beurteilungsergebnis-Ausgabesektion 11. Ferner ist die Bilderwerbssektion 2 mit einer Kamera 9 verbunden. Die Beurteilungsergebnis-Ausgabesektion 11 ist mit einem CID (Center Information Display) 12 verbunden. Das CID 12 ist in einem Kombiinstrument (Center Cluster) in einem Fahrzeug installiert. Das Kombiinstrument ist der mittlere Abschnitt des Armaturenbretts und entspricht dem Zwischenraum zwischen dem Fahrersitz und dem Beifahrersitz.
-
Die Bilderwerbskomponente 2 erwirbt ein durch die Kamera 9 aufgenommenes Bild des Insassen in einem Fahrzeug. Die Aufnahme durch die Kamera 9 erfolgt derart, dass zumindest die Insassen, die jeweils auf dem Fahrersitz und dem Beifahrersitz sitzen, beinhaltet sind. Die Aufnahme durch die Kamera 9 kann auch derart erfolgen, dass nicht nur die Insassen, die auf dem Fahrersitz und dem Beifahrersitz sitzen, sondern auch Insassen, die auf dem Rücksitz sitzen, beinhaltet sind.
-
Die Gesichtsmerkmal-Folgerungssektion 3 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bildes Gesichtsmerkmale des Insassen. Konkreter vergleicht die Gesichtsmerkmal-Folgerungssektion 3 das durch die Bilderwerbssektion 2 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert Merkmale der Gesichter, die die Position des Gesichts, der Augen, der Nase usw. des Insassen zeigen, die in dem durch die Bilderwerbssektion 2 erworbenen Bild beinhaltet sind. Beispielsweise folgert die Gesichtsmerkmal-Folgerungssektion 3 als Merkmale der Gesichter die Position und Größe der Pupillen, den Abstand der beiden Augen, bei dem es sich um den Abstand zwischen den Zentren der jeweiligen Pupille der beiden Augen handelt, die Position der beiden Enden der Augenbrauen, die Position der beiden Enden der Augen, die Position der Nasenspitze, die Position der beiden Enden des Mundes usw. des Insassen, wobei hierauf keine Beschränkung besteht und auch andere Merkmale der Gesichter gefolgert werden können. In dem Lernlexikon sind die Gesichtsmerkmale einer Vielzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Vielzahl von Insassen, folgert die Gesichtsmerkmal-Folgerungssektion 3 die Gesichtsmerkmale der jeweiligen Insassen.
-
Die Kopfposition-Folgerungssektion 4 folgert basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. Konkreter folgert die Kopfposition-Folgerungssektion 4 basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, die durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgert wurden, die physikalische relative Position des Kopfes des Insassen zu der Kamera 9. Das heißt, die Kopfposition-Folgerungssektion 4 folgert den Abstand zwischen der Kamera 9 und dem Kopf des Insassen.
-
Bei der vorliegenden Ausführungsform wird basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, bei welchen eine Beeinflussung durch Körperbauunterschiede gering ist, die relative Position des Kopfes des Insassen zu der Kamera 9 gefolgert. Infolgedessen kann ungeachtet des Körperbaus des Insassen die relative Position des Kopfes des Insassen zu der Kamera 9 präzise gefolgert werden. Ferner kann auch bei einer Änderung der Sitzposition, in der die Insassen sitzen, der Änderung entsprechend die relative Position des Kopfes des Insassen zu der Kamera 9 präzise gefolgert werden.
-
Die Körperteil-Folgerungssektion 5 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild. Konkreter vergleicht die Körperteil-Folgerungssektion 5 das durch die Bilderwerbssektion 2 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert die Größe und Position in dem Bild der jeweiligen Körperteile wie Hals, Schultern, Arme, Hände, Oberkörper usw. des Insassen, die in dem durch die Bilderwerbssektion 2 erworbenen Bild beinhaltet sind. In dem Lernlexikon sind die Größe und Position in dem Bild der jeweiligen Körperteile einer Vielzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Vielzahl von Insassen, folgert die Körperteil-Folgerungssektion 5 die Größe einer Vielzahl von Körperteilen der jeweiligen Insassen. Die Einheit der Größe der jeweiligen Körperteile des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wird, ist pix (Pixel).
-
Die Körperbau-Folgerungssektion 6 folgert basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9 und der durch die Körperteil-Folgerungssektion 5 gefolgerte Größe der jeweiligen Körperteile des Insassen in dem Bild den Körperbau des Insassen. Konkreter konvertiert die Physis-Folgerungssektion 6 zunächst die Größe der jeweiligen Körperteile des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen. Bei einer Vielzahl von Insassen folgert die Physis-Folgerungssektion 6 die tatsächliche Größe der jeweiligen Körperteile der jeweiligen Insassen.
-
Das Verfahren, mit dem die Physis-Folgerungssektion 6 die Schulterbreite eines Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Schulterbreite konvertiert, wird nun erläutert. Die Physis-Folgerungssektion 6 berechnet eine tatsächliche Schulterbreite d mittels des folgenden Ausdrucks (1).
[Gleichung 1]
-
Im Ausdruck (1) zeigt n die Größe der Schulterbreite in dem Bild an. M zeigt die Querbreite des Bildes an und wird durch den Bildwinkel θ der Kamera 9 bestimmt. Durch x wird der Abstand zwischen der Kamera 9 und dem Kopf des Insassen angezeigt, und entspricht der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9. Auf diese Weise konvertiert die Physis-Folgerungssektion 6 die Größe der jeweiligen Körperteile in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, durch eine Korrektur mittels der relativen Position des Kopfes des Insassen, die durch die Kopfposition-Folgerungssektion 4 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen.
-
Wie Ausdruck (1) zeigt, berechnet die Physis-Folgerungssektion 6 mittels der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9 die tatsächliche Größe der jeweiligen Körperteile des Insassen. Infolgedessen kann die Physis-Folgerungssektion 6 auch bei einer Änderung der Sitzposition, in der die Insassen sitzen, die tatsächliche Größe der jeweiligen Körperteile des Insassen korrekt berechnen. Vorstehend wurde die Berechnung der Schulterbreite eines Insassen erläutert, eine gleichartige Berechnung kann jedoch auch bezüglich anderer Körperteile eines Insassen erfolgen. Beispielsweise kann die Physis-Folgerungssektion 6 auch die Größe des Insassen im Sitzen, die Größe des Gesichts und die Länge der Arme berechnen.
-
Eine Konversion der Größe der jeweiligen Körperteile eines Insassen in dem Bild in die tatsächliche Größe der jeweiligen Körperteile des Insassen ist möglich, da anzunehmen ist, dass sich an der relativen Position des Kopfes des Insassen zu der Kamera 9 sämtliche Körperteile des Insassen befinden. Dabei ist es zwar vorstellbar, dass sich Schultern, Wirbelsäule und Gesicht im Wesentlichen an derselben Stelle befinden wie die relative Position des Kopfes des Insassen zu der Kamera 9, da die Arme jedoch um die Schultern herum umfangreich bewegt werden können, besteht hierauf keine Beschränkung. Bezüglich der Arme kann die Körperteil-Folgerungssektion 5 auch, wenn durch eine Änderung im chronologischen Verlauf der Bilder die Größe der Arme maximal geworden ist, die betreffende maximal gewordene Größe der Arme als Größe der Arme des Insassen folgern. In diesem Fall konvertiert die Physis-Folgerungssektion 6 die Größe der Arme des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Größe der Arme des Insassen.
-
Als Nächstes folgert die Physis-Folgerungssektion 6 basierend auf der tatsächlichen Größe der jeweiligen Körperteile des Insassen die Physis des Insassen. Konkreter gibt die Physis-Folgerungssektion 6 in ein (nicht dargestelltes) Lerngerät, das einen Lernprozess abgeschlossen hat, bei dem ein mechanisches Lernen zur Folgerung der Physis eines Insassen erfolgt ist, die tatsächliche Größe der jeweiligen Körperteile des Insassen ein und erwirbt von dem Lerngerät durch das Ausführen einer Rechenverarbeitung des Lerngerätes ein Folgerungsergebnis der Physis des Insassen. Bei einer Vielzahl von Insassen folgert die Physis-Folgerungssektion 6 die Physis der jeweiligen Insassen.
-
Das Lerngerät weist ein Lernlexikon (nicht dargestellt) auf, in dem die tatsächliche Größe der jeweiligen Körperteile einer Vielzahl von Menschen mit der Physis der jeweiligen Menschen in Verbindung gesetzt aufgezeichnet ist. Wurde beispielsweise von der Physis-Folgerungssektion 6 in das Lerngerät die Sitzhöhe, die Schulterbreite, die Größe des Gesichts und die Länge der Arme eingegeben, vergleicht das Lerngerät die tatsächliche Größe der eingegebenen Körperteile mit dem Lernlexikon und folgert die Physis mit der höchsten Wahrscheinlichkeit als Physis des Insassen der eingegebenen jeweiligen Körperteile. Auf diese Weise liegt eine Korrelation zwischen der tatsächlichen Größe der jeweiligen Körperteile des Insassen mit der Physis des Insassen vor. Die Physis-Folgerungssektion 6 erwirbt das Folgerungsergebnis der Physis des Insassen von dem Lerngerät.
-
Die Prädiktionsbedienung-Folgerungssektion 7 folgert basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eines Insassen eine Prädiktionsbedienung, die eine Prädiktion der Bedienung des CID 12 durch den Insassen anzeigt. Beispielsweise folgert die Prädiktionsbedienung-Folgerungssektion 7 eine Prädiktionsbedienung des CID 12 durch den Insassen, wenn es sich bei der Bewegung der Physis des Insassen von der Schulter bis zur Hand um eine zu dem CID 12 gerichtete Bewegung handelt.
-
Bei der Prädiktionsbedienung-Folgerungssektion 7 besteht keine Beschränkung auf eine Bewegung der Physis des Insassen von der Schulter bis zur Hand, sodass auch eine Prädiktionsbedienung basierend auf einer Bewegung der Physis eines anderen Körperteils des Insassen gefolgert werden kann. Ferner besteht bei der Prädiktionsbedienung-Folgerungssektion 7 keine Beschränkung auf eine zu dem CID 12 gerichtete Bewegung, sodass auch basierend auf einer anderen Bewegung eine Prädiktionsbedienung gefolgert werden kann.
-
Die Prädiktionsbedienung-Folgerungssektion 7 kann nicht nur basierend auf einer Bewegung der Physis eines Insassen, sondern auch basierend auf einer Bewegung der Gelenke des Insassen eine Prädiktionsbedienung folgern. Beispielsweise ist eine Beugung des Ellenbogengelenks des Insassen zur Innenseite möglich, während eine Beugung zur Außenseite nicht möglich ist. Da somit der Bewegungsbereich der Gelenke beschränkt ist, kann dadurch, dass nicht nur eine Bewegung der Physis sondern auch eine Bewegung der Gelenke berücksichtigt wird, die Präzision der Prädiktionsbedienung verbessert werden.
-
Bei der Prädiktionsbedienung-Folgerungssektion 7 besteht keine Beschränkung auf eine Bewegung der Physis eines Insassen, sondern es ist auch die Folgerung einer Prädiktionsbedienung basierend auf der Blickrichtung und der Gesichtsrichtung eines Insassen möglich. Die Blickrichtung und die Gesichtsrichtung eines Insassen können auch durch eine Bildverarbeitung eines durch die Bilderwerbssektion 2 erworbenen Bildes detektiert werden. Beispielsweise kann die Prädiktionsbedienung-Folgerungssektion 7 folgern, dass es sich bei dem Insassen um keine Prädiktionsbedienung handelt, wenn die Bewegung der Physis des betreffenden Insassen zwar zu dem CID 12 gerichtet ist, aber die Blickrichtung und die Gesichtsrichtung des Insassen nicht zu dem CID 12 gerichtet sind. Da somit nicht nur eine Bewegung der Physis sondern auch die Blickrichtung und die Gesichtsrichtung des Insassen berücksichtigt werden, kann die Präzision der Prädiktionsbedienung verbessert werden. Es ist auch möglich, dass die Prädiktionsbedienung-Folgerungssektion 7 nur entweder die Blickrichtung oder die Gesichtsrichtung des Insassen berücksichtigt. Ferner kann die Prädiktionsbedienung-Folgerungssektion 7 auch unter Berücksichtigung einer Bewegung der Gelenke eine Prädiktionsbedienung folgern.
-
Die Prädiktionsbedienung-Folgerungssektion 7 kann auch mittels eines Lernlexikons (nicht dargestellt) eine Prädiktionsbedienung folgern. In diesem Fall folgert die Prädiktionsbedienung-Folgerungssektion 7 eine Prädiktionsbedienung eines Geräts durch den Insassen durch einen Vergleich der Bewegung einer durch die Physis-Folgerungssektion 6 gefolgerten Physis mit dem Lernlexikon. In dem Lernlexikon ist eine Prädiktionsbedienung von Geräten durch eine Vielzahl von Menschen aufgezeichnet.
-
Die Bediener-Beurteilungssektion 8 beurteilt basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das CID 12 bedient. Beispielsweise wird von einem Fahrzeug ausgegangen, dessen Lenkrad sich in Fahrtrichtung auf der rechten Seite befindet. Handelt es sich in diesem Fall bei der Bewegung von der Schulter bis zur Hand der rechten Seite eines Insassen um eine zu dem CID 12 gerichtete Bewegung, beurteilt die Bediener-Beurteilungssektion 8, dass es sich bei dem Bediener des CID 12 um den Insassen des Beifahrersitzes handelt. Handelt es sich ferner bei der Bewegung von der Schulter bis zur Hand der linken Seite eines Insassen um eine zu dem CID 12 gerichtete Bewegung, beurteilt die Bediener-Beurteilungssektion 8, dass es sich bei dem Bediener des CID 12 um den Insassen des Beifahrersitzes handelt.
-
Vorstehend wurde ein Beispiel erläutert, bei dem ein Insasse anhand einer Bewegung von der Schulter bis zur Hand des Insassen beurteilt wird, wobei hierauf keine Beschränkung besteht. Wie vorstehend erläutert, handelt es sich bei einer Prädiktionsbedienung, die durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgert wurde, nicht nur um eine Bewegung der Physis eines Insassen, sondern beinhaltet auch eine Bewegung der Gelenke des Insassen, die Blickrichtung des Insassen und die Gesichtsrichtung des Insassen. Die Bediener-Beurteilungssektion 8 beurteilt den Bediener eines Geräts basierend auf einer durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, d. h. der Bewegung eines Insassen, die durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgert wurde. Hierdurch kann die Bediener-Beurteilungssektion 8 beurteilen, ob ein Insasse, der entweder auf dem Fahrersitz, dem Beifahrersitz oder dem Rücksitz sitzt, das CID 12 bedient hat.
-
Die Beurteilungsergebnis-Ausgabesektion 11 gibt an das CID 12 ein Beurteilungsergebnis aus, das den Insassen anzeigt, von dem die Bediener-Beurteilungssektion 8 beurteilt hat, dass er das CID 12 bedient.
-
Das CID 12 führt entsprechend dem Insassen, der das betreffende CID 12 bedient, eine die Bedienung aktivierende oder deaktivierende Steuerung durch. Beispielsweise wird für den Fall, dass der Fahrer das CID 12 bedient, wie in 3 gezeigt, die Bedienung durch den betreffenden Fahrer deaktiviert. Bei dem Beispiel in 3 wird ein „X“-Zeichen angezeigt, durch das darstellt wird, dass die Bedienung des Bildschirms des CID 12 deaktiviert ist, wobei es sich um eine beliebige Information handeln kann, solange durch diese Information dargestellt wird, dass die Bedienung deaktiviert ist. Ferner wird für den Fall, dass der Insasse des Beifahrersitzes das CID 12 bedient, wie in 4 gezeigt, die Bedienung durch den betreffenden Insassen des Beifahrersitzes aktiviert. Bei dem Beispiel in 4 wird „OK“ angezeigt, durch das darstellt wird, dass die Bedienung des Bildschirms des CID 12 aktiviert ist, wobei es sich um eine beliebige Information handeln kann, solange durch diese Information dargestellt wird, dass die Bedienung aktiviert ist.
-
In 3 und 4 ist der Fall dargestellt, dass eine Information angezeigt wird, die darstellt, dass eine Bedienung deaktiviert oder aktiviert ist, wobei keine Beschränkung hierauf besteht. Beispielsweise ist auch eine Sprachausgabe möglich, die anzeigt, dass eine Bedienung deaktiviert oder aktiviert ist. Es ist ferner auch möglich, dass eine Information angezeigt wird, die darstellt, dass die Bedienung deaktiviert oder aktiviert ist, und außerdem eine Sprachausgabe erfolgt, die anzeigt, dass die Bedienung deaktiviert oder aktiviert ist.
-
Vorstehend wurde der Fall erläutert, dass die Beurteilungsergebnis-Ausgabesektion 11 das Beurteilungsergebnis an das CID 12 ausgibt, wobei hierauf keine Beschränkung besteht. Im Folgenden wird ein Ausgabebeispiel des Beurteilungsergebnisses erläutert.
-
Beispielsweise kann die Beurteilungsergebnis-Ausgabesektion 11 das Beurteilungsergebnis auch an eine in dem Fahrzeug installierte Klimaanlage ausgeben. In diesem Fall kann die Klimaanlage bei einer Bedienung der Klimaanlage durch den Fahrer die betreffende Bedienung deaktivieren, und bei einer Bedienung der Klimaanlage durch den Insassen des Beifahrersitzes die betreffende Bedienung aktivieren. Ferner kann die Klimaanlage auch die Windrichtung zu dem Bediener der betreffenden Klimaanlage hin ändern.
-
Die Beurteilungsergebnis-Ausgabesektion 11 kann das Beurteilungsergebnis auch an ein in dem Fahrzeug installiertes Audiogerät ausgeben. In diesem Fall kann das Audiogerät bei einer Bedienung des Audiogeräts durch den Fahrer die betreffende Bedienung deaktivieren, und bei einer Bedienung des Audiogeräts durch den Insassen des Beifahrersitzes die betreffende Bedienung aktivieren. Ferner kann das Audiogerät auch ein dem Geschmack des betreffenden Bedieners des Audiogeräts entsprechendes Musikstück wiedergeben.
-
<Arbeitsweise>
-
5 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 1 gezeigten Bediener-Beurteilungsvorrichtung 1 zeigt.
-
In Schritt S11 erwirbt die Bilderwerbskomponente 2 ein Bild des Insassen eines Fahrzeugs, das durch die Kamera 9 aufgenommen wurde. In Schritt S12 folgert die Gesichtsmerkmal-Folgerungssektion 3 basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bildes Gesichtsmerkmale des Insassen.
-
In Schritt S13 folgert die Kopfposition-Folgerungssektion 4 basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. In S14 folgert die Körperteil-Folgerungssektion 5 basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild.
-
In Schritt S15 folgert die Physis-Folgerungssektion 6 basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion 5 gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen. In Schritt S16 folgert die Prädiktionsbedienung-Folgerungssektion 7 basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eines Insassen eine Prädiktionsbedienung, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt. In Schritt S17 beurteilt die Bediener-Beurteilungssektion 8 basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das Gerät bedient.
-
6 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 2 gezeigten Bediener-Beurteilungsvorrichtung 10 zeigt. Schritt S21 bis Schritt S27 in 6 entsprechen Schritt S11 bis Schritt S17 in 5, sodass hier eine Erläuterung ausgelassen wird. Im Folgenden wird Schritt S28 erläutert.
-
In Schritt S28 gibt die Beurteilungsergebnis-Ausgabesektion 11 an ein Gerät ein Beurteilungsergebnis aus, das den Insassen anzeigt, von dem die Bediener-Beurteilungssektion 8 beurteilt hat, dass er das CID 12 bedient.
-
<Wirkungen>
-
Den vorliegenden Ausführungsformen zufolge kann die Kopfposition-Folgerungssektion 4 basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, bei welchen eine Beeinflussung durch Körperbauunterschiede gering ist, die relative Position des Kopfes des Insassen zu der Kamera 9 präzise folgern. Die Physis-Folgerungssektion 6 kann mittels der präzise gefolgerten relativen Position des Insassen die Physis des Insassen präzise folgern. Die Prädiktionsbedienung-Folgerungssektion 7 kann basierend auf einer Bewegung der exakten Physis eines Insassen eine Prädiktionsbedienung präzise folgern. Auf diese Weise kann die Bediener-Beurteilungsvorrichtung 1, 10 selbst bei einer Änderung der Sitzposition, an der die Insassen sitzen, den Bediener, der ein in dem Fahrzeug installiertes Gerät bedient, präzise beurteilen.
-
<Hardware-Aufbau>
-
Die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 bei der vorstehend erläuterten Bediener-Beurteilungsvorrichtung 10 werden mittels einer Verarbeitungsschaltung realisiert. Das heißt, die Bediener-Beurteilungsvorrichtung 1, 10 umfasst eine Verarbeitungsschaltung zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, zum Folgern der Gesichtsmerkmale des Insassen, zum Folgern der relativen Position des Kopfes des Insassen zur Kamera, zum Folgern der Größe einer Vielzahl von Körperteilen des Insassen in dem Bild, zum Folgern der Physis des Insassen, zum Folgern einer Prädiktionsbedienung des Insassen und zur Beurteilung des Bedieners. Die Verarbeitungsschaltung kann eine spezielle Hardware sein, sie kann jedoch auch mittels eines Prozessors (auch als CPU (Central Processing Unit), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, DSP (Digital Signal Processor) bezeichnet) gebildet sein, der in einem Speicher abgelegte Programme ausführt.
-
Handelt es sich bei der Verarbeitungsschaltung um eine spezielle Hardware, entspricht die Verarbeitungsschaltung 13, wie in 7 gezeigt, z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) oder deren Kombination. Die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 können durch jeweilige Verarbeitungsschaltungen 13 realisiert werden, die jeweiligen Funktionen können aber auch insgesamt durch eine einzige Verarbeitungsschaltung 13 realisiert werden.
-
Handelt es sich bei der Verarbeitungsschaltung 13 um einen Prozessor 14, wie in 8 gezeigt, werden die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 durch eine Software, Firmware oder eine Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm dargestellt und in einem Speicher 15 abgelegt. Der Prozessor 14 liest in dem Speicher 15 aufgezeichnete Programme aus, und führt sie aus, wodurch die jeweiligen Funktionen realisiert werden. Das heißt, die Bediener-Beurteilungsvorrichtung 1, 10 umfasst einen Speicher 15 zum Ablegen von Programmen, durch die schließlich ein Schritt zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, ein Schritt zum Folgern der Gesichtsmerkmale des Insassen, ein Schritt zum Folgern der relativen Position des Kopfes des Insassen zur Kamera, ein Schritt zum Folgern der Größe einer Vielzahl von Körperteilen des Insassen in dem Bild, ein Schritt zum Folgern der Physis des Insassen, ein Schritt zum Folgern einer Prädiktionsbedienung des Insassen und ein Schritt zur Beurteilung des Bedieners ausgeführt werden. Es kann ferner gesagt werden, dass es sich bei diesen Programmen um die Abfolge oder das Verfahren zur Ausführung der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 auf einem Computer handelt. Der Speicher kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) usw., eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine DVD (Digital Versatile Disc) usw., oder verschiedene zukünftig verwendete Speichermedien sein.
-
Bezüglich der jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 ist es auch möglich, dass ein Teil der Funktionen mittels einer speziellen Hardware realisiert wird, und andere Funktionen durch eine Software oder Firmware realisiert werden.
-
Hierbei kann die Verarbeitungsschaltung die vorstehend beschriebenen jeweiligen Funktionen durch eine Hardware, Software, Firmware oder deren Kombination realisieren.
-
<Systemaufbau>
-
Die vorstehend erläuterte Bediener-Beurteilungsvorrichtung kann nicht nur auf eine Onboard-Navigationsvorrichtung, d. h. eine Autonavigationsvorrichtung, sondern auch auf eine Navigationsvorrichtung, die als System aufgebaut ist, bei dem ein in ein Fahrzeug einbaubares PND (Portable Navigation Device) und ein außerhalb des Fahrzeugs vorgesehener Server usw. in geeigneter Weise kombiniert sind, oder auf eine andere Vorrichtung als eine Navigationsvorrichtung angewendet werden. In diesem Fall können die jeweiligen Funktionen der Bediener-Beurteilungsvorrichtung oder die jeweiligen Bestandteile verteilt auf die jeweiligen Funktionen, aus denen das System aufgebaut ist, angeordnet werden.
-
Konkret kann als ein Beispiel die Funktion der Bediener-Beurteilungsvorrichtung auf einem Server angeordnet werden. Wie in 9 gezeigt, umfasst beispielsweise ein Fahrzeug eine Kamera 9 und ein CID 12. Ferner umfasst ein Server 16 die Bilderwerbssektion 2, die Gesichtsmerkmal-Folgerungssektion 3, die Kopfposition-Folgerungssektion 4, die Körperteil-Folgerungssektion 5, die Physis-Folgerungssektion 6, die Prädiktionsbedienung-Folgerungssektion 7, die Bediener-Beurteilungssektion 8 und die Beurteilungsergebnis-Ausgabesektion 11. Durch einen derartigen Aufbau kann ein Bediener-Beurteilungssystem aufgebaut werden.
-
Somit können selbst bei einem Aufbau, bei dem die jeweiligen Funktionen der Bediener-Beurteilungsvorrichtung auf die jeweiligen das System bildenden Funktionen verteilt angeordnet sind, die gleichen Effekte wie bei der vorstehenden Ausführungsform erzielt werden.
-
Die Software zum Ausführen des Betriebs bei der vorstehenden Ausführungsform kann beispielsweise auch auf einem Server installiert werden. Bei dem Bediener-Beurteilungsverfahren, das durch das Ausführen dieser Software durch den Server realisiert wird, wird ein Bild des Insassen in einem Fahrzeug erworben, das durch eine Kamera aufgenommen wurde, basierend auf dem erworbenen Bild werden Gesichtsmerkmale des Insassen gefolgert, basierend auf den gefolgerten Gesichtsmerkmalen wird die relative Position des Kopfes des Insassen zur Kamera gefolgert, basierend auf dem erworbenen Bild wird die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild gefolgert, basierend auf der relativen Position des Kopfes des Insassen und der Größe der jeweiligen Körperteile wird die Physis des Insassen gefolgert, basierend auf einer Bewegung der gefolgerten Physis wird eine Prädiktionsbedienung gefolgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und basierend auf der gefolgerten Prädiktionsbedienung wird der das Gerät bedienende Insasse beurteilt.
-
Auf diese Weise werden dadurch, dass die Software zum Ausführen des Betriebs bei der vorstehenden Ausführungsform auf einem Server installiert und betrieben wird, die gleichen Effekte wie bei der vorstehenden Ausführungsform erzielt.
-
Bei der vorliegenden Erfindung ist es innerhalb des Bereichs der Erfindung möglich, Formen der Ausführung in geeigneter Weise abzuwandeln oder wegzulassen.
-
Die vorliegende Erfindung wurde detailliert erläutert, wobei die vorstehende Erläuterung in sämtlichen Aspekten eine beispielhafte Darstellung ist, und die Erfindung nicht hierauf beschränkt ist. Auch unzählige abgewandelte Beispiele, die nicht beispielhaft dargestellt sind, werden als ohne Abweichung von dem Bereich dieser Erfindung vorstellbar aufgefasst.
-
Bezugszeichenliste
-
- 1
- Bediener-Beurteilungsvorrichtung
- 2
- Bilderwerbssektion
- 3
- Gesichtsmerkmal-Folgerungssektion
- 4
- Kopfposition-Folgerungssektion
- 5
- Körperteil-Folgerungssektion
- 6
- Physis-Folgerungssektion
- 7
- Prädiktionsbedienung-Folgerungssektion
- 8
- Bediener-Beurteilungssektion
- 9
- Kamera
- 10
- Bediener-Beurteilungsvorrichtung
- 11
- Beurteilungsergebnis-Ausgabesektion
- 12
- CID
- 13
- Verarbeitungsschaltung
- 14
- Prozessor
- 15
- Speicher
- 16
- Server
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2014058268 A [0003]
- JP 2005274409 A [0003]