[go: up one dir, main page]

DE112019007569T5 - Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren - Google Patents

Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren Download PDF

Info

Publication number
DE112019007569T5
DE112019007569T5 DE112019007569.1T DE112019007569T DE112019007569T5 DE 112019007569 T5 DE112019007569 T5 DE 112019007569T5 DE 112019007569 T DE112019007569 T DE 112019007569T DE 112019007569 T5 DE112019007569 T5 DE 112019007569T5
Authority
DE
Germany
Prior art keywords
occupant
section
inferred
physique
inference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019007569.1T
Other languages
English (en)
Inventor
Mizuki Kawase
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112019007569T5 publication Critical patent/DE112019007569T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manufacture Of Switches (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung macht es sich zur Aufgabe eine Bediener-Beurteilungsvorrichtung und ein Bediener-Beurteilungsverfahren bereitzustellen, durch die ein Insasse, der ein in einem Fahrzeug installiertes Gerät bedient, korrekt beurteilt werden kann. Die Bediener-Beurteilungsvorrichtung gemäß der vorliegenden Erfindung umfasst eine Bilderwerbssektion zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem Bild Gesichtsmerkmale des Insassen folgert, eine Kopfposition-Folgerungssektion, die basierend auf den Gesichtsmerkmalen die relative Position des Kopfes des Insassen zur Kamera folgert, eine Körperteil-Folgerungssektion, die basierend auf dem Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild folgert, eine Physis-Folgerungssektion, die basierend auf der relativen Position des Kopfes des Insassen und der Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch den Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt.

Description

  • [Technisches Gebiet]
  • Die vorliegende Erfindung betrifft eine Bediener-Beurteilungsvorrichtung und ein Bediener-Beurteilungsverfahren zur Beurteilung eines Insassen, der ein in einem Fahrzeug installiertes Gerät bedient.
  • [Hintergrundtechnologie]
  • Es gibt bisher eine Technologie, bei der während der Fahrt eines Fahrzeugs die Bedienung von in dem Fahrzeug installierten Geräten wie einer Navigationsvorrichtung usw. durch den Fahrer deaktiviert wird. Bei dieser Technologie besteht die Problematik, dass nicht nur eine Bedienung durch den Fahrer sondern auch durch andere Insassen einschließlich des Insassen auf dem Beifahrersitz deaktiviert wird, wodurch die Zweckmäßigkeit des Geräts leidet.
  • Als Maßnahme gegen dieses Problem ist eine Technologie offenbart (vgl. z. B. Patentdokument 1), bei der mittels eines durch eine Kamera aufgenommenen Bildes die Bewegung der Hand eines Bedieners prognostiziert wird, und basierend auf der Bewegung der betreffenden Hand der Bediener beurteilt wird. Ferner ist eine Technologie offenbart (vgl. z. B. Patentdokument 2), bei welcher ein Bediener basierend auf der Position des Arms des Bedieners in einem durch eine Kamera aufgenommenen Bild beurteilt wird. Durch eine derartige Beurteilung des Insassen kann während der Fahrt eines Fahrzeugs die Bedienung des Fahrers deaktiviert und die Bedienung anderer Insassen aktiviert werden.
  • [Dokumente des Standes der Technik]
  • [Patentdokumente]
    • [Patentdokument 1] Patentveröffentlichung Nr. JP 2014-58268 A
    • [Patentdokument 2] Patentveröffentlichung Nr. JP 2005-274409 A
  • [Übersicht über die Erfindung]
  • [Durch die Erfindung zu lösende Aufgabe]
  • Bei der Technologie, die in den Patentdokumenten 1 und 2 offenbart ist, wird die Hand oder der Arm eines Bedieners mittels Bildverarbeitung eines Bildes detektiert, das durch eine Kamera aufgenommen wurde. Beinhaltet das durch die Kamera aufgenommene Bild jedoch ein anderes Objekt als eine Hand oder einen Arm, kann das betreffende Objekt als Hand oder Arm fehldetektiert werden. In diesem Fall besteht die Möglichkeit einer Fehlbeurteilung des Bedieners. Es kann daher nicht gesagt werden, dass der Bediener, der ein in einem Fahrzeug installiertes Gerät bedient, gemäß dem Stand der Technik korrekt beurteilt wird.
  • Die vorliegende Erfindung erfolgte zur Lösung dieser Problematik und macht es sich zur Aufgabe eine Bediener-Beurteilungsvorrichtung und ein Bediener-Beurteilungsverfahren bereitzustellen, durch die ein Bediener, der ein in einem Fahrzeug installiertes Gerät bedient korrekt beurteilt werden kann.
  • [Mittel zum Lösen der Aufgabe]
  • Um die vorstehende Aufgabe zu lösen, umfasst die Bediener-Beurteilungsvorrichtung gemäß der vorliegenden Erfindung eine Bilderwerbssektion zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale des Insassen folgert, eine Kopfposition-Folgerungssektion, die basierend auf durch die Gesichtsmerkmal-Folgerungssektion gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zur Kamera folgert, eine Körperteil-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild folgert, eine Physis-Folgerungssektion, die basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der durch die Physis-Folgerungssektion gefolgerten Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der durch die Prädiktionsbedienung-Folgerungssektion gefolgerten Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt.
  • [Effekte der Erfindung]
  • Der vorliegenden Erfindung zufolge umfasst die Bediener-Beurteilungsvorrichtung eine Physis-Folgerungssektion, die basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfes eines Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der durch die Physis-Folgerungssektion gefolgerten Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der durch die Prädiktionsbedienung-Folgerungssektion gefolgerten Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt, wodurch eine korrekte Beurteilung des Bedieners, der das in dem Fahrzeug installierte Gerät bedient, ermöglicht wird.
  • Aufgabe, Charakteristik, Aspekte und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Erläuterung und den angefügten Figuren deutlicher.
  • Figurenliste
    • [1] 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [2] 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [3] 3 ist eine Ansicht, die ein Beispiel der Ausgabe eines Beurteilungsergebnisses der Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [4] 4 ist eine Ansicht, die ein Beispiel der Ausgabe eines Beurteilungsergebnisses der Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [5] 5 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [6] 6 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [7] 7 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [8] 8 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Bediener-Beurteilungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • [9] 9 ist ein Blockbild, das ein Beispiel des Aufbaus eines Bediener-Beurteilungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • [Formen zur Ausführung der Erfindung]
  • Im Folgenden werden Formen zur Ausführung der vorliegenden Erfindung anhand der Figuren erläutert.
  • <Ausführungsformen>
  • <Aufbau>
  • 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung 1 gemäß der vorliegenden Ausführungsform zeigt. 1 zeigt dabei den erforderlichen Mindestaufbau einer Bediener-Beurteilungsvorrichtung gemäß der vorliegenden Ausführungsform. Ferner ist hierbei vorausgesetzt, dass die Bediener-Beurteilungsvorrichtung 1 in einem Fahrzeug eingebaut ist.
  • Wie in 1 gezeigt, umfasst die Bediener-Beurteilungsvorrichtung 1 eine Bilderwerbssektion 2, eine Gesichtsmerkmal-Folgerungssektion 3, eine Kopfposition-Folgerungssektion 4, eine Körperteil-Folgerungssektion 5, eine Physis-Folgerungssektion 6, eine Prädiktionsbedienung-Folgerungssektion 7 und eine Bediener-Beurteilungssektion 8. Ferner ist die Bilderwerbssektion 2 mit einer Kamera 9 verbunden. Die Kamera 9 ist, wie beispielsweise in 3 und 4 gezeigt, die im Folgenden beschrieben werden, in einem Fahrzeug eingebaut.
  • Die Bilderwerbskomponente 2 erwirbt ein durch die Kamera 9 aufgenommenes Bild des Insassen in einem Fahrzeug. Die Gesichtsmerkmal-Folgerungssektion 3 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild Gesichtsmerkmale des Insassen. Die Kopfposition-Folgerungssektion 4 folgert basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. Die Körperteil-Folgerungssektion 5 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild.
  • Die Physis-Folgerungssektion 6 folgert basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion 5 gefolgerte Größe der jeweiligen Körperteile die Physis des Insassen. Die Prädiktionsbedienung-Folgerungssektion 7 folgert basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eine Prädiktionsbedienung, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt. Die Bediener-Beurteilungssektion 8 beurteilt basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das Gerät bedient.
  • Als Nächstes wird ein anderer Aufbau einer Bediener-Beurteilungsvorrichtung erläutert, welche die in 1 gezeigte Bediener-Beurteilungsvorrichtung 1 einschließt.
  • 2 ist ein Blockbild, das ein Beispiel des Aufbaus einer Bediener-Beurteilungsvorrichtung 10 gemäß einem anderen Aufbau zeigt. Hierbei ist vorausgesetzt, dass die Bediener-Beurteilungsvorrichtung 10 in einem Fahrzeug eingebaut ist.
  • Wie in 2 gezeigt, umfasst die Bediener-Beurteilungsvorrichtung 10 eine Bilderwerbssektion 2, eine Gesichtsmerkmal-Folgerungssektion 3, eine Kopfposition-Folgerungssektion 4, eine Körperteil-Folgerungssektion 5, eine Physis-Folgerungssektion 6, eine Prädiktionsbedienung-Folgerungssektion 7, eine Bediener-Beurteilungssektion 8 und eine Beurteilungsergebnis-Ausgabesektion 11. Ferner ist die Bilderwerbssektion 2 mit einer Kamera 9 verbunden. Die Beurteilungsergebnis-Ausgabesektion 11 ist mit einem CID (Center Information Display) 12 verbunden. Das CID 12 ist in einem Kombiinstrument (Center Cluster) in einem Fahrzeug installiert. Das Kombiinstrument ist der mittlere Abschnitt des Armaturenbretts und entspricht dem Zwischenraum zwischen dem Fahrersitz und dem Beifahrersitz.
  • Die Bilderwerbskomponente 2 erwirbt ein durch die Kamera 9 aufgenommenes Bild des Insassen in einem Fahrzeug. Die Aufnahme durch die Kamera 9 erfolgt derart, dass zumindest die Insassen, die jeweils auf dem Fahrersitz und dem Beifahrersitz sitzen, beinhaltet sind. Die Aufnahme durch die Kamera 9 kann auch derart erfolgen, dass nicht nur die Insassen, die auf dem Fahrersitz und dem Beifahrersitz sitzen, sondern auch Insassen, die auf dem Rücksitz sitzen, beinhaltet sind.
  • Die Gesichtsmerkmal-Folgerungssektion 3 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bildes Gesichtsmerkmale des Insassen. Konkreter vergleicht die Gesichtsmerkmal-Folgerungssektion 3 das durch die Bilderwerbssektion 2 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert Merkmale der Gesichter, die die Position des Gesichts, der Augen, der Nase usw. des Insassen zeigen, die in dem durch die Bilderwerbssektion 2 erworbenen Bild beinhaltet sind. Beispielsweise folgert die Gesichtsmerkmal-Folgerungssektion 3 als Merkmale der Gesichter die Position und Größe der Pupillen, den Abstand der beiden Augen, bei dem es sich um den Abstand zwischen den Zentren der jeweiligen Pupille der beiden Augen handelt, die Position der beiden Enden der Augenbrauen, die Position der beiden Enden der Augen, die Position der Nasenspitze, die Position der beiden Enden des Mundes usw. des Insassen, wobei hierauf keine Beschränkung besteht und auch andere Merkmale der Gesichter gefolgert werden können. In dem Lernlexikon sind die Gesichtsmerkmale einer Vielzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Vielzahl von Insassen, folgert die Gesichtsmerkmal-Folgerungssektion 3 die Gesichtsmerkmale der jeweiligen Insassen.
  • Die Kopfposition-Folgerungssektion 4 folgert basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. Konkreter folgert die Kopfposition-Folgerungssektion 4 basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, die durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgert wurden, die physikalische relative Position des Kopfes des Insassen zu der Kamera 9. Das heißt, die Kopfposition-Folgerungssektion 4 folgert den Abstand zwischen der Kamera 9 und dem Kopf des Insassen.
  • Bei der vorliegenden Ausführungsform wird basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, bei welchen eine Beeinflussung durch Körperbauunterschiede gering ist, die relative Position des Kopfes des Insassen zu der Kamera 9 gefolgert. Infolgedessen kann ungeachtet des Körperbaus des Insassen die relative Position des Kopfes des Insassen zu der Kamera 9 präzise gefolgert werden. Ferner kann auch bei einer Änderung der Sitzposition, in der die Insassen sitzen, der Änderung entsprechend die relative Position des Kopfes des Insassen zu der Kamera 9 präzise gefolgert werden.
  • Die Körperteil-Folgerungssektion 5 folgert basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild. Konkreter vergleicht die Körperteil-Folgerungssektion 5 das durch die Bilderwerbssektion 2 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert die Größe und Position in dem Bild der jeweiligen Körperteile wie Hals, Schultern, Arme, Hände, Oberkörper usw. des Insassen, die in dem durch die Bilderwerbssektion 2 erworbenen Bild beinhaltet sind. In dem Lernlexikon sind die Größe und Position in dem Bild der jeweiligen Körperteile einer Vielzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Vielzahl von Insassen, folgert die Körperteil-Folgerungssektion 5 die Größe einer Vielzahl von Körperteilen der jeweiligen Insassen. Die Einheit der Größe der jeweiligen Körperteile des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wird, ist pix (Pixel).
  • Die Körperbau-Folgerungssektion 6 folgert basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9 und der durch die Körperteil-Folgerungssektion 5 gefolgerte Größe der jeweiligen Körperteile des Insassen in dem Bild den Körperbau des Insassen. Konkreter konvertiert die Physis-Folgerungssektion 6 zunächst die Größe der jeweiligen Körperteile des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen. Bei einer Vielzahl von Insassen folgert die Physis-Folgerungssektion 6 die tatsächliche Größe der jeweiligen Körperteile der jeweiligen Insassen.
  • Das Verfahren, mit dem die Physis-Folgerungssektion 6 die Schulterbreite eines Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Schulterbreite konvertiert, wird nun erläutert. Die Physis-Folgerungssektion 6 berechnet eine tatsächliche Schulterbreite d mittels des folgenden Ausdrucks (1).
    [Gleichung 1] d = Mn 2 × tan ( θ / 2 )
    Figure DE112019007569T5_0001
  • Im Ausdruck (1) zeigt n die Größe der Schulterbreite in dem Bild an. M zeigt die Querbreite des Bildes an und wird durch den Bildwinkel θ der Kamera 9 bestimmt. Durch x wird der Abstand zwischen der Kamera 9 und dem Kopf des Insassen angezeigt, und entspricht der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9. Auf diese Weise konvertiert die Physis-Folgerungssektion 6 die Größe der jeweiligen Körperteile in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, durch eine Korrektur mittels der relativen Position des Kopfes des Insassen, die durch die Kopfposition-Folgerungssektion 4 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen.
  • Wie Ausdruck (1) zeigt, berechnet die Physis-Folgerungssektion 6 mittels der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen zu der Kamera 9 die tatsächliche Größe der jeweiligen Körperteile des Insassen. Infolgedessen kann die Physis-Folgerungssektion 6 auch bei einer Änderung der Sitzposition, in der die Insassen sitzen, die tatsächliche Größe der jeweiligen Körperteile des Insassen korrekt berechnen. Vorstehend wurde die Berechnung der Schulterbreite eines Insassen erläutert, eine gleichartige Berechnung kann jedoch auch bezüglich anderer Körperteile eines Insassen erfolgen. Beispielsweise kann die Physis-Folgerungssektion 6 auch die Größe des Insassen im Sitzen, die Größe des Gesichts und die Länge der Arme berechnen.
  • Eine Konversion der Größe der jeweiligen Körperteile eines Insassen in dem Bild in die tatsächliche Größe der jeweiligen Körperteile des Insassen ist möglich, da anzunehmen ist, dass sich an der relativen Position des Kopfes des Insassen zu der Kamera 9 sämtliche Körperteile des Insassen befinden. Dabei ist es zwar vorstellbar, dass sich Schultern, Wirbelsäule und Gesicht im Wesentlichen an derselben Stelle befinden wie die relative Position des Kopfes des Insassen zu der Kamera 9, da die Arme jedoch um die Schultern herum umfangreich bewegt werden können, besteht hierauf keine Beschränkung. Bezüglich der Arme kann die Körperteil-Folgerungssektion 5 auch, wenn durch eine Änderung im chronologischen Verlauf der Bilder die Größe der Arme maximal geworden ist, die betreffende maximal gewordene Größe der Arme als Größe der Arme des Insassen folgern. In diesem Fall konvertiert die Physis-Folgerungssektion 6 die Größe der Arme des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 5 gefolgert wurde, in die tatsächliche Größe der Arme des Insassen.
  • Als Nächstes folgert die Physis-Folgerungssektion 6 basierend auf der tatsächlichen Größe der jeweiligen Körperteile des Insassen die Physis des Insassen. Konkreter gibt die Physis-Folgerungssektion 6 in ein (nicht dargestelltes) Lerngerät, das einen Lernprozess abgeschlossen hat, bei dem ein mechanisches Lernen zur Folgerung der Physis eines Insassen erfolgt ist, die tatsächliche Größe der jeweiligen Körperteile des Insassen ein und erwirbt von dem Lerngerät durch das Ausführen einer Rechenverarbeitung des Lerngerätes ein Folgerungsergebnis der Physis des Insassen. Bei einer Vielzahl von Insassen folgert die Physis-Folgerungssektion 6 die Physis der jeweiligen Insassen.
  • Das Lerngerät weist ein Lernlexikon (nicht dargestellt) auf, in dem die tatsächliche Größe der jeweiligen Körperteile einer Vielzahl von Menschen mit der Physis der jeweiligen Menschen in Verbindung gesetzt aufgezeichnet ist. Wurde beispielsweise von der Physis-Folgerungssektion 6 in das Lerngerät die Sitzhöhe, die Schulterbreite, die Größe des Gesichts und die Länge der Arme eingegeben, vergleicht das Lerngerät die tatsächliche Größe der eingegebenen Körperteile mit dem Lernlexikon und folgert die Physis mit der höchsten Wahrscheinlichkeit als Physis des Insassen der eingegebenen jeweiligen Körperteile. Auf diese Weise liegt eine Korrelation zwischen der tatsächlichen Größe der jeweiligen Körperteile des Insassen mit der Physis des Insassen vor. Die Physis-Folgerungssektion 6 erwirbt das Folgerungsergebnis der Physis des Insassen von dem Lerngerät.
  • Die Prädiktionsbedienung-Folgerungssektion 7 folgert basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eines Insassen eine Prädiktionsbedienung, die eine Prädiktion der Bedienung des CID 12 durch den Insassen anzeigt. Beispielsweise folgert die Prädiktionsbedienung-Folgerungssektion 7 eine Prädiktionsbedienung des CID 12 durch den Insassen, wenn es sich bei der Bewegung der Physis des Insassen von der Schulter bis zur Hand um eine zu dem CID 12 gerichtete Bewegung handelt.
  • Bei der Prädiktionsbedienung-Folgerungssektion 7 besteht keine Beschränkung auf eine Bewegung der Physis des Insassen von der Schulter bis zur Hand, sodass auch eine Prädiktionsbedienung basierend auf einer Bewegung der Physis eines anderen Körperteils des Insassen gefolgert werden kann. Ferner besteht bei der Prädiktionsbedienung-Folgerungssektion 7 keine Beschränkung auf eine zu dem CID 12 gerichtete Bewegung, sodass auch basierend auf einer anderen Bewegung eine Prädiktionsbedienung gefolgert werden kann.
  • Die Prädiktionsbedienung-Folgerungssektion 7 kann nicht nur basierend auf einer Bewegung der Physis eines Insassen, sondern auch basierend auf einer Bewegung der Gelenke des Insassen eine Prädiktionsbedienung folgern. Beispielsweise ist eine Beugung des Ellenbogengelenks des Insassen zur Innenseite möglich, während eine Beugung zur Außenseite nicht möglich ist. Da somit der Bewegungsbereich der Gelenke beschränkt ist, kann dadurch, dass nicht nur eine Bewegung der Physis sondern auch eine Bewegung der Gelenke berücksichtigt wird, die Präzision der Prädiktionsbedienung verbessert werden.
  • Bei der Prädiktionsbedienung-Folgerungssektion 7 besteht keine Beschränkung auf eine Bewegung der Physis eines Insassen, sondern es ist auch die Folgerung einer Prädiktionsbedienung basierend auf der Blickrichtung und der Gesichtsrichtung eines Insassen möglich. Die Blickrichtung und die Gesichtsrichtung eines Insassen können auch durch eine Bildverarbeitung eines durch die Bilderwerbssektion 2 erworbenen Bildes detektiert werden. Beispielsweise kann die Prädiktionsbedienung-Folgerungssektion 7 folgern, dass es sich bei dem Insassen um keine Prädiktionsbedienung handelt, wenn die Bewegung der Physis des betreffenden Insassen zwar zu dem CID 12 gerichtet ist, aber die Blickrichtung und die Gesichtsrichtung des Insassen nicht zu dem CID 12 gerichtet sind. Da somit nicht nur eine Bewegung der Physis sondern auch die Blickrichtung und die Gesichtsrichtung des Insassen berücksichtigt werden, kann die Präzision der Prädiktionsbedienung verbessert werden. Es ist auch möglich, dass die Prädiktionsbedienung-Folgerungssektion 7 nur entweder die Blickrichtung oder die Gesichtsrichtung des Insassen berücksichtigt. Ferner kann die Prädiktionsbedienung-Folgerungssektion 7 auch unter Berücksichtigung einer Bewegung der Gelenke eine Prädiktionsbedienung folgern.
  • Die Prädiktionsbedienung-Folgerungssektion 7 kann auch mittels eines Lernlexikons (nicht dargestellt) eine Prädiktionsbedienung folgern. In diesem Fall folgert die Prädiktionsbedienung-Folgerungssektion 7 eine Prädiktionsbedienung eines Geräts durch den Insassen durch einen Vergleich der Bewegung einer durch die Physis-Folgerungssektion 6 gefolgerten Physis mit dem Lernlexikon. In dem Lernlexikon ist eine Prädiktionsbedienung von Geräten durch eine Vielzahl von Menschen aufgezeichnet.
  • Die Bediener-Beurteilungssektion 8 beurteilt basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das CID 12 bedient. Beispielsweise wird von einem Fahrzeug ausgegangen, dessen Lenkrad sich in Fahrtrichtung auf der rechten Seite befindet. Handelt es sich in diesem Fall bei der Bewegung von der Schulter bis zur Hand der rechten Seite eines Insassen um eine zu dem CID 12 gerichtete Bewegung, beurteilt die Bediener-Beurteilungssektion 8, dass es sich bei dem Bediener des CID 12 um den Insassen des Beifahrersitzes handelt. Handelt es sich ferner bei der Bewegung von der Schulter bis zur Hand der linken Seite eines Insassen um eine zu dem CID 12 gerichtete Bewegung, beurteilt die Bediener-Beurteilungssektion 8, dass es sich bei dem Bediener des CID 12 um den Insassen des Beifahrersitzes handelt.
  • Vorstehend wurde ein Beispiel erläutert, bei dem ein Insasse anhand einer Bewegung von der Schulter bis zur Hand des Insassen beurteilt wird, wobei hierauf keine Beschränkung besteht. Wie vorstehend erläutert, handelt es sich bei einer Prädiktionsbedienung, die durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgert wurde, nicht nur um eine Bewegung der Physis eines Insassen, sondern beinhaltet auch eine Bewegung der Gelenke des Insassen, die Blickrichtung des Insassen und die Gesichtsrichtung des Insassen. Die Bediener-Beurteilungssektion 8 beurteilt den Bediener eines Geräts basierend auf einer durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, d. h. der Bewegung eines Insassen, die durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgert wurde. Hierdurch kann die Bediener-Beurteilungssektion 8 beurteilen, ob ein Insasse, der entweder auf dem Fahrersitz, dem Beifahrersitz oder dem Rücksitz sitzt, das CID 12 bedient hat.
  • Die Beurteilungsergebnis-Ausgabesektion 11 gibt an das CID 12 ein Beurteilungsergebnis aus, das den Insassen anzeigt, von dem die Bediener-Beurteilungssektion 8 beurteilt hat, dass er das CID 12 bedient.
  • Das CID 12 führt entsprechend dem Insassen, der das betreffende CID 12 bedient, eine die Bedienung aktivierende oder deaktivierende Steuerung durch. Beispielsweise wird für den Fall, dass der Fahrer das CID 12 bedient, wie in 3 gezeigt, die Bedienung durch den betreffenden Fahrer deaktiviert. Bei dem Beispiel in 3 wird ein „X“-Zeichen angezeigt, durch das darstellt wird, dass die Bedienung des Bildschirms des CID 12 deaktiviert ist, wobei es sich um eine beliebige Information handeln kann, solange durch diese Information dargestellt wird, dass die Bedienung deaktiviert ist. Ferner wird für den Fall, dass der Insasse des Beifahrersitzes das CID 12 bedient, wie in 4 gezeigt, die Bedienung durch den betreffenden Insassen des Beifahrersitzes aktiviert. Bei dem Beispiel in 4 wird „OK“ angezeigt, durch das darstellt wird, dass die Bedienung des Bildschirms des CID 12 aktiviert ist, wobei es sich um eine beliebige Information handeln kann, solange durch diese Information dargestellt wird, dass die Bedienung aktiviert ist.
  • In 3 und 4 ist der Fall dargestellt, dass eine Information angezeigt wird, die darstellt, dass eine Bedienung deaktiviert oder aktiviert ist, wobei keine Beschränkung hierauf besteht. Beispielsweise ist auch eine Sprachausgabe möglich, die anzeigt, dass eine Bedienung deaktiviert oder aktiviert ist. Es ist ferner auch möglich, dass eine Information angezeigt wird, die darstellt, dass die Bedienung deaktiviert oder aktiviert ist, und außerdem eine Sprachausgabe erfolgt, die anzeigt, dass die Bedienung deaktiviert oder aktiviert ist.
  • Vorstehend wurde der Fall erläutert, dass die Beurteilungsergebnis-Ausgabesektion 11 das Beurteilungsergebnis an das CID 12 ausgibt, wobei hierauf keine Beschränkung besteht. Im Folgenden wird ein Ausgabebeispiel des Beurteilungsergebnisses erläutert.
  • Beispielsweise kann die Beurteilungsergebnis-Ausgabesektion 11 das Beurteilungsergebnis auch an eine in dem Fahrzeug installierte Klimaanlage ausgeben. In diesem Fall kann die Klimaanlage bei einer Bedienung der Klimaanlage durch den Fahrer die betreffende Bedienung deaktivieren, und bei einer Bedienung der Klimaanlage durch den Insassen des Beifahrersitzes die betreffende Bedienung aktivieren. Ferner kann die Klimaanlage auch die Windrichtung zu dem Bediener der betreffenden Klimaanlage hin ändern.
  • Die Beurteilungsergebnis-Ausgabesektion 11 kann das Beurteilungsergebnis auch an ein in dem Fahrzeug installiertes Audiogerät ausgeben. In diesem Fall kann das Audiogerät bei einer Bedienung des Audiogeräts durch den Fahrer die betreffende Bedienung deaktivieren, und bei einer Bedienung des Audiogeräts durch den Insassen des Beifahrersitzes die betreffende Bedienung aktivieren. Ferner kann das Audiogerät auch ein dem Geschmack des betreffenden Bedieners des Audiogeräts entsprechendes Musikstück wiedergeben.
  • <Arbeitsweise>
  • 5 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 1 gezeigten Bediener-Beurteilungsvorrichtung 1 zeigt.
  • In Schritt S11 erwirbt die Bilderwerbskomponente 2 ein Bild des Insassen eines Fahrzeugs, das durch die Kamera 9 aufgenommen wurde. In Schritt S12 folgert die Gesichtsmerkmal-Folgerungssektion 3 basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bildes Gesichtsmerkmale des Insassen.
  • In Schritt S13 folgert die Kopfposition-Folgerungssektion 4 basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 3 gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zu der Kamera 9. In S14 folgert die Körperteil-Folgerungssektion 5 basierend auf dem durch die Bilderwerbskomponente 2 erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild.
  • In Schritt S15 folgert die Physis-Folgerungssektion 6 basierend auf der durch die Kopfposition-Folgerungssektion 4 gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion 5 gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen. In Schritt S16 folgert die Prädiktionsbedienung-Folgerungssektion 7 basierend auf einer Bewegung der durch die Physis-Folgerungssektion 6 gefolgerten Physis eines Insassen eine Prädiktionsbedienung, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt. In Schritt S17 beurteilt die Bediener-Beurteilungssektion 8 basierend auf der durch die Prädiktionsbedienung-Folgerungssektion 7 gefolgerten Prädiktionsbedienung, den Insassen, der das Gerät bedient.
  • 6 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 2 gezeigten Bediener-Beurteilungsvorrichtung 10 zeigt. Schritt S21 bis Schritt S27 in 6 entsprechen Schritt S11 bis Schritt S17 in 5, sodass hier eine Erläuterung ausgelassen wird. Im Folgenden wird Schritt S28 erläutert.
  • In Schritt S28 gibt die Beurteilungsergebnis-Ausgabesektion 11 an ein Gerät ein Beurteilungsergebnis aus, das den Insassen anzeigt, von dem die Bediener-Beurteilungssektion 8 beurteilt hat, dass er das CID 12 bedient.
  • <Wirkungen>
  • Den vorliegenden Ausführungsformen zufolge kann die Kopfposition-Folgerungssektion 4 basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, bei welchen eine Beeinflussung durch Körperbauunterschiede gering ist, die relative Position des Kopfes des Insassen zu der Kamera 9 präzise folgern. Die Physis-Folgerungssektion 6 kann mittels der präzise gefolgerten relativen Position des Insassen die Physis des Insassen präzise folgern. Die Prädiktionsbedienung-Folgerungssektion 7 kann basierend auf einer Bewegung der exakten Physis eines Insassen eine Prädiktionsbedienung präzise folgern. Auf diese Weise kann die Bediener-Beurteilungsvorrichtung 1, 10 selbst bei einer Änderung der Sitzposition, an der die Insassen sitzen, den Bediener, der ein in dem Fahrzeug installiertes Gerät bedient, präzise beurteilen.
  • <Hardware-Aufbau>
  • Die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 bei der vorstehend erläuterten Bediener-Beurteilungsvorrichtung 10 werden mittels einer Verarbeitungsschaltung realisiert. Das heißt, die Bediener-Beurteilungsvorrichtung 1, 10 umfasst eine Verarbeitungsschaltung zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, zum Folgern der Gesichtsmerkmale des Insassen, zum Folgern der relativen Position des Kopfes des Insassen zur Kamera, zum Folgern der Größe einer Vielzahl von Körperteilen des Insassen in dem Bild, zum Folgern der Physis des Insassen, zum Folgern einer Prädiktionsbedienung des Insassen und zur Beurteilung des Bedieners. Die Verarbeitungsschaltung kann eine spezielle Hardware sein, sie kann jedoch auch mittels eines Prozessors (auch als CPU (Central Processing Unit), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, DSP (Digital Signal Processor) bezeichnet) gebildet sein, der in einem Speicher abgelegte Programme ausführt.
  • Handelt es sich bei der Verarbeitungsschaltung um eine spezielle Hardware, entspricht die Verarbeitungsschaltung 13, wie in 7 gezeigt, z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) oder deren Kombination. Die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 können durch jeweilige Verarbeitungsschaltungen 13 realisiert werden, die jeweiligen Funktionen können aber auch insgesamt durch eine einzige Verarbeitungsschaltung 13 realisiert werden.
  • Handelt es sich bei der Verarbeitungsschaltung 13 um einen Prozessor 14, wie in 8 gezeigt, werden die jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 durch eine Software, Firmware oder eine Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm dargestellt und in einem Speicher 15 abgelegt. Der Prozessor 14 liest in dem Speicher 15 aufgezeichnete Programme aus, und führt sie aus, wodurch die jeweiligen Funktionen realisiert werden. Das heißt, die Bediener-Beurteilungsvorrichtung 1, 10 umfasst einen Speicher 15 zum Ablegen von Programmen, durch die schließlich ein Schritt zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, ein Schritt zum Folgern der Gesichtsmerkmale des Insassen, ein Schritt zum Folgern der relativen Position des Kopfes des Insassen zur Kamera, ein Schritt zum Folgern der Größe einer Vielzahl von Körperteilen des Insassen in dem Bild, ein Schritt zum Folgern der Physis des Insassen, ein Schritt zum Folgern einer Prädiktionsbedienung des Insassen und ein Schritt zur Beurteilung des Bedieners ausgeführt werden. Es kann ferner gesagt werden, dass es sich bei diesen Programmen um die Abfolge oder das Verfahren zur Ausführung der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 auf einem Computer handelt. Der Speicher kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) usw., eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine DVD (Digital Versatile Disc) usw., oder verschiedene zukünftig verwendete Speichermedien sein.
  • Bezüglich der jeweiligen Funktionen der Bilderwerbssektion 2, der Gesichtsmerkmal-Folgerungssektion 3, der Kopfposition-Folgerungssektion 4, der Körperteil-Folgerungssektion 5, der Physis-Folgerungssektion 6, der Prädiktionsbedienung-Folgerungssektion 7, der Bediener-Beurteilungssektion 8 und der Beurteilungsergebnis-Ausgabesektion 11 ist es auch möglich, dass ein Teil der Funktionen mittels einer speziellen Hardware realisiert wird, und andere Funktionen durch eine Software oder Firmware realisiert werden.
  • Hierbei kann die Verarbeitungsschaltung die vorstehend beschriebenen jeweiligen Funktionen durch eine Hardware, Software, Firmware oder deren Kombination realisieren.
  • <Systemaufbau>
  • Die vorstehend erläuterte Bediener-Beurteilungsvorrichtung kann nicht nur auf eine Onboard-Navigationsvorrichtung, d. h. eine Autonavigationsvorrichtung, sondern auch auf eine Navigationsvorrichtung, die als System aufgebaut ist, bei dem ein in ein Fahrzeug einbaubares PND (Portable Navigation Device) und ein außerhalb des Fahrzeugs vorgesehener Server usw. in geeigneter Weise kombiniert sind, oder auf eine andere Vorrichtung als eine Navigationsvorrichtung angewendet werden. In diesem Fall können die jeweiligen Funktionen der Bediener-Beurteilungsvorrichtung oder die jeweiligen Bestandteile verteilt auf die jeweiligen Funktionen, aus denen das System aufgebaut ist, angeordnet werden.
  • Konkret kann als ein Beispiel die Funktion der Bediener-Beurteilungsvorrichtung auf einem Server angeordnet werden. Wie in 9 gezeigt, umfasst beispielsweise ein Fahrzeug eine Kamera 9 und ein CID 12. Ferner umfasst ein Server 16 die Bilderwerbssektion 2, die Gesichtsmerkmal-Folgerungssektion 3, die Kopfposition-Folgerungssektion 4, die Körperteil-Folgerungssektion 5, die Physis-Folgerungssektion 6, die Prädiktionsbedienung-Folgerungssektion 7, die Bediener-Beurteilungssektion 8 und die Beurteilungsergebnis-Ausgabesektion 11. Durch einen derartigen Aufbau kann ein Bediener-Beurteilungssystem aufgebaut werden.
  • Somit können selbst bei einem Aufbau, bei dem die jeweiligen Funktionen der Bediener-Beurteilungsvorrichtung auf die jeweiligen das System bildenden Funktionen verteilt angeordnet sind, die gleichen Effekte wie bei der vorstehenden Ausführungsform erzielt werden.
  • Die Software zum Ausführen des Betriebs bei der vorstehenden Ausführungsform kann beispielsweise auch auf einem Server installiert werden. Bei dem Bediener-Beurteilungsverfahren, das durch das Ausführen dieser Software durch den Server realisiert wird, wird ein Bild des Insassen in einem Fahrzeug erworben, das durch eine Kamera aufgenommen wurde, basierend auf dem erworbenen Bild werden Gesichtsmerkmale des Insassen gefolgert, basierend auf den gefolgerten Gesichtsmerkmalen wird die relative Position des Kopfes des Insassen zur Kamera gefolgert, basierend auf dem erworbenen Bild wird die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild gefolgert, basierend auf der relativen Position des Kopfes des Insassen und der Größe der jeweiligen Körperteile wird die Physis des Insassen gefolgert, basierend auf einer Bewegung der gefolgerten Physis wird eine Prädiktionsbedienung gefolgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch einen Insassen anzeigt, und basierend auf der gefolgerten Prädiktionsbedienung wird der das Gerät bedienende Insasse beurteilt.
  • Auf diese Weise werden dadurch, dass die Software zum Ausführen des Betriebs bei der vorstehenden Ausführungsform auf einem Server installiert und betrieben wird, die gleichen Effekte wie bei der vorstehenden Ausführungsform erzielt.
  • Bei der vorliegenden Erfindung ist es innerhalb des Bereichs der Erfindung möglich, Formen der Ausführung in geeigneter Weise abzuwandeln oder wegzulassen.
  • Die vorliegende Erfindung wurde detailliert erläutert, wobei die vorstehende Erläuterung in sämtlichen Aspekten eine beispielhafte Darstellung ist, und die Erfindung nicht hierauf beschränkt ist. Auch unzählige abgewandelte Beispiele, die nicht beispielhaft dargestellt sind, werden als ohne Abweichung von dem Bereich dieser Erfindung vorstellbar aufgefasst.
  • Bezugszeichenliste
  • 1
    Bediener-Beurteilungsvorrichtung
    2
    Bilderwerbssektion
    3
    Gesichtsmerkmal-Folgerungssektion
    4
    Kopfposition-Folgerungssektion
    5
    Körperteil-Folgerungssektion
    6
    Physis-Folgerungssektion
    7
    Prädiktionsbedienung-Folgerungssektion
    8
    Bediener-Beurteilungssektion
    9
    Kamera
    10
    Bediener-Beurteilungsvorrichtung
    11
    Beurteilungsergebnis-Ausgabesektion
    12
    CID
    13
    Verarbeitungsschaltung
    14
    Prozessor
    15
    Speicher
    16
    Server
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2014058268 A [0003]
    • JP 2005274409 A [0003]

Claims (9)

  1. Bediener-Beurteilungsvorrichtung umfassend eine Bilderwerbssektion zum Erwerben eines Bildes des Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale des Insassen folgert, eine Kopfposition-Folgerungssektion, die basierend auf durch die Gesichtsmerkmal-Folgerungssektion gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zur Kamera folgert, eine Körperteil-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild folgert, eine Physis-Folgerungssektion, die basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfes des Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, eine Prädiktionsbedienung-Folgerungssektion, die basierend auf einer Bewegung der durch die Physis-Folgerungssektion gefolgerten Physis eine Prädiktionsbedienung folgert, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch den Insassen anzeigt, und eine Bediener-Beurteilungssektion, die basierend auf der durch die Prädiktionsbedienung-Folgerungssektion gefolgerten Prädiktionsbedienung den das Gerät bedienenden Insassen beurteilt.
  2. Bediener-Beurteilungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Kopfposition-Folgerungssektion basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen die relative Position des Kopfes des Insassen zu der Kamera folgert.
  3. Bediener-Beurteilungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Prädiktionsbedienung-Folgerungssektion basierend auf einer Bewegung von Gelenken des Insassen die Prädiktionsbedienung folgert.
  4. Bediener-Beurteilungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Prädiktionsbedienung-Folgerungssektion basierend auf der Blickrichtung und der Gesichtsrichtung des Insassen die Prädiktionsbedienung folgert.
  5. Bediener-Beurteilungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Physis-Folgerungssektion die Größe der jeweiligen Körperteile, die durch die Körperteil-Folgerungssektion gefolgert wurde, mittels der relativen Position des Kopfes des Insassen, die durch die Kopfposition-Folgerungssektion gefolgert wurde, korrigiert und die tatsächliche Größe der jeweiligen Körperteile des Insassen berechnet.
  6. Bediener-Beurteilungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die tatsächliche Größe der jeweiligen Körperteile des Insassen die Sitzhöhe, die Schulterbreite, die Größe des Gesichts und die Länge der Arme beinhaltet.
  7. Bediener-Beurteilungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Physis-Folgerungssektion in ein Lerngerät, das einen Lernprozess abgeschlossen hat, bei dem ein mechanisches Lernen zur Folgerung der Physis des Insassen erfolgt ist, die tatsächliche Größe der jeweiligen Körperteile des Insassen eingibt, und dadurch, dass eine Rechenverarbeitung des Lerngeräts ausgeführt wird, von dem Lerngerät das Folgerungsergebnis der Physis des Insassen erwirbt.
  8. Bediener-Beurteilungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass diese außerdem eine Beurteilungsergebnis-Ausgabesektion zur Ausgabe eines Beurteilungsergebnisses umfasst, das den Insassen darstellt, von den die Bediener-Beurteilungssektion beurteilt hat, dass er das Gerät bedient.
  9. Bediener-Beurteilungsverfahren durch das ein Bild eines Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, erworben wird, basierend auf dem erworbenen Bild Gesichtsmerkmale des Insassen gefolgert werden, basierend auf den gefolgerten Gesichtsmerkmalen die relative Position des Kopfes des Insassen zur Kamera gefolgert wird, basierend auf dem erworbenen Bild die Größe einer Vielzahl von Körperteilen des Insassen in dem Bild gefolgert wird, basierend auf der gefolgerten relativen Position des Kopfes des Insassen und der gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen gefolgert wird, basierend auf einer Bewegung der gefolgerten Physis eine Prädiktionsbedienung gefolgert wird, die eine Prädiktion der Bedienung eines in dem Fahrzeug installierten Geräts durch den Insassen anzeigt, und basierend auf der gefolgerten Prädiktionsbedienung der das Gerät bedienende Insasse beurteilt wird.
DE112019007569.1T 2019-09-05 2019-09-05 Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren Pending DE112019007569T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034914 WO2021044567A1 (ja) 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法

Publications (1)

Publication Number Publication Date
DE112019007569T5 true DE112019007569T5 (de) 2022-04-28

Family

ID=74853086

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019007569.1T Pending DE112019007569T5 (de) 2019-09-05 2019-09-05 Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren

Country Status (3)

Country Link
JP (1) JP7003335B2 (de)
DE (1) DE112019007569T5 (de)
WO (1) WO2021044567A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044566A1 (ja) 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
CN114954321A (zh) * 2022-05-05 2022-08-30 华人运通(上海)云计算科技有限公司 一种车辆的控制方法、装置和车辆
WO2024004195A1 (ja) * 2022-07-01 2024-01-04 三菱電機株式会社 操作判定装置及び操作判定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274409A (ja) 2004-03-25 2005-10-06 Sanyo Electric Co Ltd カーナビゲーション装置
JP2014058268A (ja) 2012-09-19 2014-04-03 Alps Electric Co Ltd 動作予測装置及びそれを用いた入力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5217754B2 (ja) 2008-08-06 2013-06-19 株式会社デンソー 行動推定装置、プログラム
JP2015118404A (ja) 2013-12-16 2015-06-25 株式会社オートネットワーク技術研究所 運転支援装置
JP6443393B2 (ja) 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置,学習装置,並びに方法およびプログラム
JP2018131110A (ja) 2017-02-16 2018-08-23 パナソニックIpマネジメント株式会社 推定装置、推定方法、及び推定プログラム
DE102017113781B4 (de) 2017-06-21 2023-10-05 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für einen Kraftwagen, sowie Kraftwagen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274409A (ja) 2004-03-25 2005-10-06 Sanyo Electric Co Ltd カーナビゲーション装置
JP2014058268A (ja) 2012-09-19 2014-04-03 Alps Electric Co Ltd 動作予測装置及びそれを用いた入力装置

Also Published As

Publication number Publication date
JP7003335B2 (ja) 2022-01-20
WO2021044567A1 (ja) 2021-03-11
JPWO2021044567A1 (de) 2021-03-11

Similar Documents

Publication Publication Date Title
DE112019007569T5 (de) Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren
DE202014101703U1 (de) System zur Abbildung eines Fahrers eines Fahrzeugs
DE102014214516A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102014214514A1 (de) Vorrichtung und Verfahren zum Austausch von Daten zwischen Fahrzeugen zum Einrichten einer Kolonnenfahrt
DE102017202194A1 (de) Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE102016215291A1 (de) Verfahren zur Klassifikation von Fahrerbewegungen
DE102020126953B3 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
DE102014207398B4 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102018127880A1 (de) Gestenbestimmungsvorrichtung und Programm
DE102017217027A1 (de) Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
DE102016001054A1 (de) Verfahren zur Eingabe eines Befehls in ein Steuergerät eines Fahrzeuges
DE102018131805A1 (de) Vorrichtung zum erfassen einer gesichtsposition
DE112020006670T5 (de) Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren
DE102017124000A1 (de) Anzeigevorrichtung für ein Fahrzeug
DE112016006769B4 (de) Verfahren für Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs und Fahrzeug
EP3695268B1 (de) Tragbare vorrichtung zur reduzierung von simulatorkrankheitsbedingten störungen bei verwendung einer elektronischen datenbrille in einem fahrzeug
DE102016205311A1 (de) Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
DE102021200306A1 (de) Verfahren zur Körperhaltungs- und/oder Bewegungsanalyse einer Person
DE102018004277A1 (de) Verfahren zum Betrieb einer Fahrerkamera eines Fahrzeuges
DE102017212031A1 (de) Verfahren zur Reduktion von kinetosebedingten Symptomen eines Insassen in einem Fahrzeug
DE112019007033B4 (de) Gesichtsdetektionsverarbeitungsvorrichtung und Gesichtsdetektionsverarbeitungsverfahren
DE102018208833A1 (de) System und Verfahren für Ansteuerung der Kartennavigation eines Fahrzeuges
DE102021104917A1 (de) Fahrerüberwachungssystem für kraftfahrzeug
DE102016206311B4 (de) Verfahren für ein Fahrzeug
DE102020206090A1 (de) Müdigkeitspegelschätzsystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence
R016 Response to examination communication