[go: up one dir, main page]

JP2011163979A - Reception control device and reception control method of vehicle-mounted device - Google Patents

Reception control device and reception control method of vehicle-mounted device Download PDF

Info

Publication number
JP2011163979A
JP2011163979A JP2010027933A JP2010027933A JP2011163979A JP 2011163979 A JP2011163979 A JP 2011163979A JP 2010027933 A JP2010027933 A JP 2010027933A JP 2010027933 A JP2010027933 A JP 2010027933A JP 2011163979 A JP2011163979 A JP 2011163979A
Authority
JP
Japan
Prior art keywords
operator
determination
distance image
reception control
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010027933A
Other languages
Japanese (ja)
Inventor
Junichi Fujita
順一 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Priority to JP2010027933A priority Critical patent/JP2011163979A/en
Publication of JP2011163979A publication Critical patent/JP2011163979A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

【課題】車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立可能な技術を提供することを目的とする。
【解決手段】距離画像を用いて、操作の有無、操作者の識別、適格性の判別を連続的に行う。そして、車両の走行状態、操作者および適格性に応じて、予め定められたルールに従って、操作受付を制限する。なお、適格性の判別に、距離画像と同時に取得した電荷から算出した変調光画像をさらに用い、精度を高めるよう構成してもよい。
【選択図】図1
An object of the present invention is to provide a technology capable of achieving both safety and convenience with a simple configuration in input control of an in-vehicle device.
Using a distance image, presence / absence of an operation, identification of an operator, and determination of eligibility are continuously performed. And according to the driving | running | working state of a vehicle, an operator, and eligibility, operation reception is restrict | limited according to a predetermined rule. In addition, it may be configured to further improve accuracy by further using a modulated light image calculated from the charge acquired at the same time as the distance image in the determination of suitability.
[Selection] Figure 1

Description

本発明は、車載装置の制御技術に関する。特に、カーナビゲーション装置等、車両の走行状態および操作者に応じて操作に制約のある装置の制御技術に関する。   The present invention relates to a control technique for an in-vehicle device. In particular, the present invention relates to a control technology for a device such as a car navigation device that is restricted in operation according to a traveling state of a vehicle and an operator.

車両に搭載されるオーディオ装置、カーナビゲーション装置等は、その多機能化に伴い、複雑な操作が要求されるようになっている。操作を行う際は、画面を注視しなければならないため、安全性を考慮して、走行中の操作は制限される。このような操作の制限は、車速センサ、ブレーキセンサなどの信号を利用して行われるため、操作者によらず、制限を受ける。安全性の観点からの制限であれば、運転者以外の操作を制限する必要はなく、その分、利便性が損なわれる。   Audio devices, car navigation devices, and the like mounted on vehicles are required to perform complicated operations as their functions increase. When performing an operation, it is necessary to pay attention to the screen. Therefore, in consideration of safety, operations during traveling are limited. Such restriction of operation is performed using signals from a vehicle speed sensor, a brake sensor, and the like, and thus is restricted regardless of the operator. If it is a restriction | limiting from a viewpoint of safety, it is not necessary to restrict | limit operation other than a driver | operator, and the convenience will be impaired to that extent.

利便性の観点から不要な制限を減らすため、ナビゲーション装置に位置検出センサを設け、操作者の着座方向を検出し、助手席側からの操作は受け入れるよう制御するものがある(例えば、特許文献1参照。)。また、タイマーで時間的に機能を制限するものがある(例えば、特許文献2参照。)。また、シート毎に付与された識別信号で判別するものがある(例えば、特許文献3参照。)。   In order to reduce unnecessary restrictions from the viewpoint of convenience, a navigation device is provided with a position detection sensor that detects an operator's seating direction and controls to accept an operation from the passenger seat (for example, Patent Document 1). reference.). In addition, there is a timer whose function is limited in time (see, for example, Patent Document 2). Further, there is one that is discriminated by an identification signal given to each sheet (for example, see Patent Document 3).

一方、安全性の観点からは、運転者以外であっても、子供などによる操作は制限を設けたほうがよい。これは、走行中、停止中といった車両の走行状態は問わない。乗員の体格等を識別するものとして、車内を撮影し、2次元画像と距離画像とを得、これらの画像により識別するものがある(例えば、特許文献4参照、特許文献5参照。)。   On the other hand, from the viewpoint of safety, it is better to limit the operation by children, etc., even if it is not a driver. This does not matter whether the vehicle is running or stopped. As a method for identifying the physique and the like of the occupant, there is a method in which the interior of a vehicle is photographed to obtain a two-dimensional image and a distance image, and these images are used for identification (see, for example, Patent Document 4 and Patent Document 5).

特開平07−306055号公報Japanese Patent Application Laid-Open No. 07-306055 特開2005−43064号公報Japanese Patent Laying-Open No. 2005-43064 特開平07−103778号公報Japanese Patent Application Laid-Open No. 07-103778 特開平02−224185号公報Japanese Patent Laid-Open No. 02-224185 特開2007−198929号公報JP 2007-198929 A

特許文献1に開示されている技術では、操作指示を受けた方向のみで操作者を判断するため、運転者が助手席側に腕を回して操作を行った場合は受け付けてしまう。また、センサの近傍に物体がある場合は操作者が正しく検出できない。特許文献2に開示されている技術では、制限時間外であれば、誰でも操作ができる。特許文献3に開示の技術では、シート毎に識別信号を印加する手段を設けなければならず、システムが大掛かりとなる。特許文献4および特許文献5に開示の技術では、通常画像と距離画像とを独立して取得するため、これらを対応づける構成が必要となる。そして、大掛かりな処理が必要となるにも関わらず、精度が高くない。さらに、判別した乗員と車載装置の操作者とを結びつけることができない。   In the technique disclosed in Patent Document 1, since the operator is determined only in the direction in which the operation instruction is received, the driver accepts the operation when the driver turns the arm to the passenger seat side. Further, when there is an object in the vicinity of the sensor, the operator cannot correctly detect it. With the technique disclosed in Patent Document 2, anyone can perform an operation outside the time limit. In the technique disclosed in Patent Document 3, a means for applying an identification signal must be provided for each sheet, which increases the system. In the techniques disclosed in Patent Document 4 and Patent Document 5, since the normal image and the distance image are acquired independently, a configuration for associating them is necessary. And although large-scale processing is required, the accuracy is not high. Further, the determined occupant cannot be associated with the operator of the in-vehicle device.

いずれにしても、各種の問題があり、車両の走行状態に応じて、不適格な者からの操作を受け付けず、かつ、適格な者からの操作は受け付けるといった制御の確実性が低く、安全性と利便性とを両立できない。   In any case, there are various problems, and depending on the driving state of the vehicle, the control from not accepting operations from unqualified persons and accepting operations from qualified persons is low and safety is low. And convenience cannot be achieved.

本発明は、上記事情に鑑みてなされたもので、車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立可能な技術を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technology capable of achieving both safety and convenience with a simple configuration in input control of an in-vehicle device.

本発明は、距離画像を用いて、操作の有無、操作者の識別、適格性の判別を連続的に行う。そして、車両の走行状態および操作者に応じて、予め定められたルールに従って、操作受付を制限する。また、適格性の判別に、距離画像と同時に取得した電荷から算出した変調光画像をさらに用いてもよい。   In the present invention, presence / absence of an operation, identification of an operator, and determination of suitability are continuously performed using a distance image. And according to the driving | running | working state of a vehicle and an operator, according to a predetermined rule, operation reception is restrict | limited. Moreover, you may further use the modulated light image calculated from the electric charge acquired simultaneously with the distance image for discrimination | determination of eligibility.

具体的には、操作者からの操作に応じて処理を行う車載装置の操作の受け付けを制御する受付制御装置であって、当該車載機器が搭載される車両が走行中か否かを判別する走行状態判別手段と、距離画像を取得する画像取得手段と、前記距離画像を用い、操作の有無を判別する操作有無判別手段と、前記距離画像を用い、操作者を判別する操作者判別手段と、前記走行状態判別手段の判別結果と前記操作者判別手段の判別結果とに応じ、操作の受付を制限する制限信号を出力する信号出力手段と、を備え、前記信号出力手段が制限信号を出力した場合、前記操作の受付を制限することを特徴とする受付制御装置を提供する。   Specifically, a reception control device that controls reception of an operation of an in-vehicle device that performs processing according to an operation from an operator, and that determines whether or not the vehicle on which the in-vehicle device is mounted is traveling State determination means, image acquisition means for acquiring a distance image, operation presence / absence determination means for determining presence / absence of an operation using the distance image, operator determination means for determining an operator using the distance image, Signal output means for outputting a restriction signal for restricting the acceptance of an operation according to the determination result of the traveling state determination means and the determination result of the operator determination means, and the signal output means outputs the restriction signal In this case, a reception control device is provided that limits reception of the operation.

また、車載装置に対する操作者からの操作の受け付けを制限する車載装置の受付制御方法であって、距離画像を取得する距離画像取得ステップと、前記距離画像を用いて、操作の有無を判別する操作有無判別ステップと、前記操作有無判別ステップで操作有りと判別された場合、当該距離画像上で操作者を判別する操作者判別ステップと、当該車載装置が搭載される車両が走行中か否かを判別する走行状態判別ステップと、操作者判別ステップの判別結果と走行状態判別ステップの判別結果とに応じて、操作の受け付けを制限する受付制御ステップと、を備えることを特徴とする受付制御方法を提供する。   An on-vehicle apparatus reception control method for restricting the reception of an operation from an operator for the on-vehicle apparatus, the distance image acquiring step for acquiring a distance image, and an operation for determining presence / absence of an operation using the distance image When it is determined that there is an operation in the presence / absence determination step and the operation presence / absence determination step, an operator determination step for determining an operator on the distance image, and whether or not the vehicle on which the in-vehicle device is mounted is running. A reception control method comprising: a traveling state determination step for determining; and an acceptance control step for restricting the acceptance of operations according to the determination result of the operator determination step and the determination result of the traveling state determination step. provide.

本発明によれば、車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立できる。   ADVANTAGE OF THE INVENTION According to this invention, in input control of a vehicle-mounted apparatus, both safety and convenience can be achieved with a simple configuration.

(a)は、第一の実施形態のナビゲーション装置の概略構成図であり、(b)は、受付制御部の機能ブロック図である。(A) is a schematic block diagram of the navigation apparatus of 1st embodiment, (b) is a functional block diagram of a reception control part. (a)、(b)は、第一の実施形態の距離画像センサおよびナビゲーション装置の設置位置を説明するための説明図である。(A), (b) is explanatory drawing for demonstrating the installation position of the distance image sensor of 1st embodiment, and a navigation apparatus. (a)、(b)は、第一の実施形態の操作有無判別部による操作有無の判別処理の概要を説明するための説明図である。(A), (b) is explanatory drawing for demonstrating the outline | summary of the operation determination processing by the operation presence determination part of 1st embodiment. 距離画像の画素数から実長を算出する手法を説明するための説明図である。It is explanatory drawing for demonstrating the method of calculating real length from the pixel count of a distance image. 第一の実施形態の制限データベースの一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the restriction | limiting database of 1st embodiment. 第一の実施系形態の受付制御処理のフローチャートである。It is a flowchart of the reception control process of 1st embodiment. 第一の実施形態の制限データベースの他の例を説明するための説明図である。It is explanatory drawing for demonstrating the other example of the restriction | limiting database of 1st embodiment. 第二の実施形態の受付制御部の機能ブロック図である。It is a functional block diagram of the reception control part of 2nd embodiment. 第二の実施系形態の受付制御処理のフローチャートである。It is a flowchart of the reception control process of 2nd embodiment.

<<第一の実施形態>>
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
<< First Embodiment >>
Hereinafter, a first embodiment to which the present invention is applied will be described. Hereinafter, in all the drawings for explaining the embodiments of the present invention, those having the same function are denoted by the same reference numerals, and repeated explanation thereof is omitted.

本実施形態の車載装置の全体構成について、ナビゲーション装置を例にあげて説明する。図1(a)は、本実施形態のナビゲーション装置の概略構成図である。本実施形態のナビゲーション装置100は、ナビゲーション処理部110と、入力装置120と、出力装置130と、車両状態センサ受信部140と、受付制御部150と、を備える。   The overall configuration of the in-vehicle device according to the present embodiment will be described by taking a navigation device as an example. FIG. 1A is a schematic configuration diagram of the navigation device of the present embodiment. The navigation device 100 of this embodiment includes a navigation processing unit 110, an input device 120, an output device 130, a vehicle state sensor receiving unit 140, and an acceptance control unit 150.

入力装置120および出力装置130は、操作者とのインタフェースを構成する。入力装置120は、操作者からの操作を受け付け、出力装置130は、ナビゲーション装置100による処理結果を操作者に通知する。入力装置120は、操作ボタン、スイッチ、タッチパネル等であり、出力装置130は、表示装置、音声出力装置等がある。表示装置が入力装置120および出力装置130を兼ねてもよい。   The input device 120 and the output device 130 constitute an interface with the operator. The input device 120 receives an operation from the operator, and the output device 130 notifies the operator of the processing result by the navigation device 100. The input device 120 is an operation button, a switch, a touch panel, or the like, and the output device 130 is a display device, an audio output device, or the like. The display device may also serve as the input device 120 and the output device 130.

車両状態センサ受信部140では、車両に備えられる、車両の各種状態を検出する各種センサからの信号を受信する。本実施形態では、車両状態センサとして、車両の速度を検出し、速度に応じた車速信号を出力する車速センサを備え、車両状態センサ受信部140は、この車速センサから出力される車速信号を受信し、受付制御部150に出力する。   The vehicle state sensor receiving unit 140 receives signals from various sensors that are included in the vehicle and detect various states of the vehicle. In the present embodiment, the vehicle state sensor includes a vehicle speed sensor that detects the speed of the vehicle and outputs a vehicle speed signal corresponding to the speed, and the vehicle state sensor receiver 140 receives the vehicle speed signal output from the vehicle speed sensor. And output to the reception control unit 150.

ナビゲーション処理部110は、入力装置120を介して入力される操作者からの指示に従って、予め保持する地図データ等のナビゲーション用データ、車両状態センサ受信部140で受信したセンサ信号を用い、ナビゲーション処理を行い、結果を出力装置130に出力する。   The navigation processing unit 110 performs navigation processing using navigation data such as map data stored in advance and sensor signals received by the vehicle state sensor receiving unit 140 in accordance with instructions from the operator input via the input device 120. And output the result to the output device 130.

受付制御部150は、操作者および車両の走行状態に応じて、ナビゲーション装置100への操作の受け付けを制限する。受け付けの制限は、制限信号を出力することにより行う。図1(b)は、本実施形態の受付制御部150の機能ブロック図である。本実施形態の受付制御部150は、受付制御を実現するため、図1(b)に示すように、走行状態判別部210と、画像取得部220と、走査有無判別部230と、操作者判別部240と、適格性判別部250と、信号出力部260とを備え、各部の動作を制御し、条件に応じて制限信号を出力する。また、制限信号を出力するルールを保持する制限データベース(制限DB)270をさらに備える。   The reception control unit 150 limits the reception of operations to the navigation device 100 according to the operator and the traveling state of the vehicle. The acceptance is restricted by outputting a restriction signal. FIG. 1B is a functional block diagram of the reception control unit 150 of the present embodiment. As shown in FIG. 1B, the reception control unit 150 of the present embodiment realizes reception control, as shown in FIG. 1B, a traveling state determination unit 210, an image acquisition unit 220, a scanning presence / absence determination unit 230, and an operator determination. Unit 240, eligibility determination unit 250, and signal output unit 260, and controls the operation of each unit and outputs a restriction signal according to the conditions. Further, a restriction database (restriction DB) 270 that holds rules for outputting restriction signals is further provided.

走行状態判別部210は、車両状態センサ受信部140から受信した車速信号に基づき、ナビゲーション装置100が搭載されている車両が走行状態であるか、停止状態であるかを判別する。そして、判別結果として、車速が0の場合、停止を意味する停止信号を、それ以外の場合、走行中であることを意味する走行信号を、それぞれ車速情報として出力する。   The traveling state determination unit 210 determines whether the vehicle on which the navigation device 100 is mounted is in a traveling state or a stopped state based on the vehicle speed signal received from the vehicle state sensor reception unit 140. As a determination result, when the vehicle speed is 0, a stop signal indicating stop is output as vehicle speed information, and a travel signal indicating that the vehicle is traveling is output otherwise.

画像取得部220は、距離画像センサ221と画像生成部222とを備え、車両内の画像を取得する。本実施形態では、画像として距離画像を取得する。   The image acquisition unit 220 includes a distance image sensor 221 and an image generation unit 222, and acquires an image in the vehicle. In this embodiment, a distance image is acquired as an image.

本実施形態の距離画像センサ221は、光飛行型距離画像センサで照射した変調光が対象物に反射することによる反射光を含む入射光を、画素毎に設けられた複数の電荷蓄積部に蓄積する。距離画像センサ221は、ナビゲーション装置100の入力装置120および車両内の全乗員の画像を取得可能な位置に配置される。例えば、図2に示すように、ルームミラー上に配置される。ここで、図2(a)は、距離画像センサ221が車両内に配置される位置を説明するためのイメージ図であり、図2(b)は、乗員500と距離画像センサ221との関係を説明するための図である。   The distance image sensor 221 according to the present embodiment accumulates incident light including reflected light, which is obtained by reflecting modulated light irradiated by the optical flight-type distance image sensor, on an object in a plurality of charge accumulation units provided for each pixel. To do. The distance image sensor 221 is arranged at a position where the input device 120 of the navigation device 100 and images of all occupants in the vehicle can be acquired. For example, as shown in FIG. Here, FIG. 2A is an image diagram for explaining a position where the distance image sensor 221 is arranged in the vehicle, and FIG. 2B shows a relationship between the occupant 500 and the distance image sensor 221. It is a figure for doing.

画像生成部222は、距離画像センサ221の電荷蓄積部に蓄積された電荷を所定時間毎に読出し、距離画像を生成する。   The image generation unit 222 reads out the charges accumulated in the charge accumulation unit of the distance image sensor 221 every predetermined time, and generates a distance image.

ここで、本実施形態の距離画像センサ221と画像生成部222とによる距離画像生成手法について簡単に説明する。   Here, a distance image generation method using the distance image sensor 221 and the image generation unit 222 of this embodiment will be briefly described.

本実施形態の距離画像センサ221は、対象空間に変調光を照射する光源と、光源から照射された変調光の反射光を含む入射光を受光し、電荷に変換する受光部とを備える。受光部は、受光量を電荷量に変換する光電変換素子が、距離画像の画素に対応づけて配列される。各光電変換素子で得られた電荷は、各光電変換素子が備える4つの電荷蓄積部に、変調の1周期を4等分した期間(例えば、0度から90度の間、90度から180度の間、180度から270度の間、270度から0度の間)毎に振り分けられ、蓄積される。   The distance image sensor 221 according to this embodiment includes a light source that irradiates modulated light to a target space, and a light receiving unit that receives incident light including reflected light of the modulated light emitted from the light source and converts the incident light into electric charges. In the light receiving unit, photoelectric conversion elements that convert the received light amount into the charge amount are arranged in correspondence with the pixels of the distance image. The electric charge obtained by each photoelectric conversion element is divided into four charge accumulating units included in each photoelectric conversion element by dividing a modulation period into four equal parts (for example, between 0 degree and 90 degrees, 90 degrees to 180 degrees). Between 180 degrees and 270 degrees, and between 270 degrees and 0 degrees).

本実施形態の画像生成部222は、所定の時間Δt毎に、4つの電荷蓄積部に蓄積された電荷量(順にC1、C2、C3、C4とする。)を用い、各画素の距離値Dを算出する。距離値Dは、まず、以下の式(1)に従って、位相差φを算出し、その位相差φを用い、以下の式(2)に従って算出する。
φ=tan−1((C1-C3)/(C2-C4)) (1)
D=φ/2π×c/2f (2)
ここで、cは光の速度、fは変調周波数である。以上により、画像取得部220は、Δt毎に距離画像を取得する。
The image generation unit 222 according to the present embodiment uses the amount of charges accumulated in the four charge accumulation units (in order, C1, C2, C3, and C4) every predetermined time Δt, and the distance value D of each pixel. Is calculated. The distance value D is first calculated according to the following equation (1) by calculating the phase difference φ according to the following equation (1) and using the phase difference φ.
φ = tan −1 ((C1−C3) / (C2−C4)) (1)
D = φ / 2π × c / 2f (2)
Here, c is the speed of light and f is the modulation frequency. As described above, the image acquisition unit 220 acquires a distance image for each Δt.

操作有無判別部230は、画像生成部222が生成した距離画像に基づき、受付制御部150の指示により、操作の有無を判別する。操作有無判別部230は、例えば、距離画像が生成される毎に、生成された距離画像上の入力装置120から予め定めた距離D1以内の領域に、予め定めた範囲d1の距離値および予め定めた大きさS1以上の面積を有する画素群があるか否かを判別する。画素群がある場合、操作者の手による操作が成されているもの(操作有り)と判別し、画素群を特定する信号を出力する。入力装置120の位置は、予め保持する距離画像センサ221の配置位置およびナビゲーション装置100の配置位置のデータから算出して得る。   The operation presence / absence determination unit 230 determines the presence / absence of an operation in accordance with an instruction from the reception control unit 150 based on the distance image generated by the image generation unit 222. For example, every time a distance image is generated, the operation presence / absence determining unit 230 sets a distance value in a predetermined range d1 and a predetermined value in a region within a predetermined distance D1 from the input device 120 on the generated distance image. It is determined whether or not there is a pixel group having an area greater than or equal to the size S1. When there is a pixel group, it is determined that an operation by the operator's hand is being performed (operation is present), and a signal for specifying the pixel group is output. The position of the input device 120 is calculated from data of the arrangement position of the distance image sensor 221 and the arrangement position of the navigation device 100 that are held in advance.

図3は、距離画像の一例である。ここでは、各画素において距離値が小さいものほど濃い色を付す。操作有無判別部230は、距離画像センサ221との距離値の差がD1以内の、略同距離にある面積S1以上の画素群310がある場合、操作有りと判別する。なお、略同距離か否かは、距離値の差が予め定めた値d1以内に収まるか否かで判別する。面積S1は、例えば、大人の手の大きさが判別できる程度とする。例えば、図3(a)の場合は操作無し、と判別し、図3(b)の場合は、操作有りと判別する。   FIG. 3 is an example of a distance image. Here, the darker the color, the smaller the distance value in each pixel. The operation presence / absence determination unit 230 determines that there is an operation when there is a pixel group 310 having an area S1 or more that is approximately the same distance and whose distance value difference with the distance image sensor 221 is within D1. Note that whether or not the distances are substantially the same is determined by whether or not the difference between the distance values falls within a predetermined value d1. The area S1 is set to such an extent that the size of an adult's hand can be discriminated, for example. For example, in the case of FIG. 3A, it is determined that there is no operation, and in the case of FIG. 3B, it is determined that there is an operation.

操作者判別部240は、画素群310を特定する情報を受信すると、操作の有無を判別した距離画像上で操作者である画素群320を特定し、操作者を判別する。ここでは、運転者であるか否かを判別する。そして、判別結果を操作者情報として出力する。   When the information for specifying the pixel group 310 is received, the operator determination unit 240 specifies the pixel group 320 as an operator on the distance image in which the presence or absence of the operation is determined, and determines the operator. Here, it is determined whether or not the user is a driver. Then, the determination result is output as operator information.

本実施形態では、距離画像上の、画素群310に連続する画素であって、略同距離にある予め定めた面積S2以上の画素群320を操作者と特定する。そして、操作者と判別された画素群320の距離値D0およびまたは画像上の領域T0により、操作者が運転者であるか、その他であるかを判別する。   In the present embodiment, a pixel group 320 that is continuous with the pixel group 310 on the distance image and has a predetermined area S2 or more at substantially the same distance is identified as the operator. Then, based on the distance value D0 of the pixel group 320 determined to be an operator and / or the area T0 on the image, it is determined whether the operator is a driver or the other.

略同距離であるか否かは、距離値の差が予め定めた値d2以内に収まるか否かで判別する。面積S2は、例えば、大人の動体の大きさが判別できる程度とする。操作者の判別に用いる距離値D0は、距離画像センサ221と車両内の座席位置との関係から設定または算出される。領域T0は、距離画像センサ221の配置位置により定まる撮影範囲に応じて予め設定される。   Whether or not the distances are substantially the same is determined by whether or not the difference between the distance values falls within a predetermined value d2. The area S2 is, for example, such that the size of an adult moving object can be determined. The distance value D0 used for the operator's discrimination is set or calculated from the relationship between the distance image sensor 221 and the seat position in the vehicle. The region T0 is set in advance according to the shooting range determined by the arrangement position of the distance image sensor 221.

例えば、距離画像センサ221と運転席または助手席の背もたれまでの距離をD0とする。この場合、画素群320の距離値がD0以上であれば、後部座席の乗員と判別し、D0より小さければ、操作者は運転者かまたは助手席の乗員と判別する。また、距離画像内で、中央よりハンドルが存在する側の領域をT0とする。運転者または助手席の乗員と判別された場合、当該画素群320の半分以上が距離画像内の、領域T0に存在すれば、運転者、逆側の領域に存在すれば助手席の乗員と判別する。以上の手順により、運転者かそれ以外(その他)かを判別する。   For example, the distance between the distance image sensor 221 and the backrest of the driver seat or the passenger seat is D0. In this case, if the distance value of the pixel group 320 is D0 or more, it is determined that the occupant is a rear seat, and if it is smaller than D0, the operator is determined to be a driver or a passenger in the passenger seat. In the distance image, a region where the handle is present from the center is T0. When it is determined that the driver is a driver or a passenger in the front passenger seat, if more than half of the pixel group 320 exists in the area T0 in the distance image, it is determined that the driver is present, and if it exists in the opposite area, it is determined as a passenger in the passenger seat. To do. According to the above procedure, it is determined whether the driver is the driver or the other (others).

図3(b)の例の場合、操作者判別部240は、まず、画素群310に連続するデータであって、略同距離の面積S2以上の画素群320を操作者と特定する。画素群320の距離値はD0以内であるため、運転者か助手席の乗員と判別される。次に、その画素群が距離画像上で領域T0と反対側の領域に存在するため、助手席の乗員と判別される。この判別結果に基づき、操作者判別部240は、運転者でないこと(その他)を示す信号を出力する。   In the case of the example of FIG. 3B, the operator determination unit 240 first identifies a pixel group 320 that is data continuous to the pixel group 310 and has an area S2 or more that is substantially the same distance as the operator. Since the distance value of the pixel group 320 is within D0, it is determined that the driver is a driver or a passenger on the front passenger seat. Next, since the pixel group exists in a region opposite to the region T0 on the distance image, it is determined that the passenger is a passenger in the passenger seat. Based on this determination result, the operator determination unit 240 outputs a signal indicating that it is not a driver (others).

適格性判別部250は、操作者判別部240が特定した操作者が運転者以外(その他)の場合、当該操作者が操作の適格性を有するか否かを判別し、判別結果を操作者情報として出力する。本実施形態では、車載装置の操作に相応しい年齢であるか否かにより適格性を判別する。判別は、操作者の身長(座高)により行う。ここで出力される操作者情報は、その他の適格者、その他の不適格者のいずれかである。   When the operator specified by the operator determination unit 240 is other than the driver (others), the eligibility determination unit 250 determines whether or not the operator has eligibility for operation, and determines the determination result as operator information. Output as. In the present embodiment, the suitability is determined based on whether the age is appropriate for the operation of the in-vehicle device. The determination is made based on the height (sitting height) of the operator. The operator information output here is either another qualified person or another unqualified person.

ここで、距離画像を用い、操作者の身長(座高)を特定する手法を説明する。図4は、距離画像上の長さ(画素数)から、実際の長さ(実長)を算出する手法を説明するための図である。距離画像において、対象物の、実長を測りたい方向の長さ(画素数)をx、同方向の中間の画素の画素値(距離値)をD、距離画像センサ221の焦点距離をfとすると、実長aは、以下の式(3)で表される。
a=((D-f)/f)×x (3)
Here, a method for specifying the height (sitting height) of the operator using the distance image will be described. FIG. 4 is a diagram for explaining a method of calculating the actual length (actual length) from the length (number of pixels) on the distance image. In the distance image, the length (number of pixels) of the object in the direction in which the actual length is to be measured is x, the pixel value (distance value) of an intermediate pixel in the same direction is D, and the focal length of the distance image sensor 221 is f. Then, the actual length a is represented by the following formula (3).
a = ((D−f) / f) × x (3)

本実施形態の適格性判別部250は、この関係を利用し、操作者判別部240が抽出した画素群320の、距離画像内での最大長さ方向の画素数をカウントし、式(3)に従って、操作者の座高にあたる実長aを算出する。そして、座高(実長)aが予め定められた値以上であれば、操作者として相応しい年齢に達し、適格であると判別し、判別結果を出力する。なお、適格性を判別するルールは任意に設定可能である。   The eligibility determination unit 250 of the present embodiment uses this relationship to count the number of pixels in the maximum length direction in the distance image of the pixel group 320 extracted by the operator determination unit 240, and the expression (3) Thus, the actual length a corresponding to the sitting height of the operator is calculated. If the sitting height (actual length) a is equal to or greater than a predetermined value, it is determined that the operator has reached an appropriate age and is qualified, and the determination result is output. Note that rules for determining eligibility can be arbitrarily set.

信号出力部260は、車速情報および操作者情報に応じ、操作の受付を制限する制限信号を出力する。車速情報および操作者情報に応じた制限信号を出力するか否かの判別は、制限DB270に規定されるルールに従って行われる。   The signal output unit 260 outputs a restriction signal that restricts the acceptance of operations according to the vehicle speed information and the operator information. Whether or not to output a restriction signal corresponding to the vehicle speed information and the operator information is determined according to a rule defined in the restriction DB 270.

ここで、制限DB270の一例を図5に示す。本図に示すように、制限DB270には、車速情報毎に、操作者情報に対応づけて制限信号を出力するか否かが登録される。本実施形態の信号出力部260は、車速情報として、停止および走行のいずれか1つを、操作者情報として、運転者、その他の適格者およびその他の不適格者の3種いずれか1つを受け取り、制限DB270に従って、制限信号を出力するか否かを決定する。例えば、本図に示す例の場合、操作者情報が運転手であり、車速情報が走行中を示すものである場合、および、操作者情報が不適格である場合、制限信号を出力する。   An example of the restriction DB 270 is shown in FIG. As shown in this figure, in the restriction DB 270, whether or not to output a restriction signal in association with operator information is registered for each vehicle speed information. The signal output unit 260 of the present embodiment uses any one of stop and travel as vehicle speed information, and any one of three types of drivers, other qualified persons, and other unqualified persons as operator information. In response to the restriction DB 270, it is determined whether or not to output a restriction signal. For example, in the case of the example shown in this figure, when the operator information is a driver and the vehicle speed information indicates that the vehicle is traveling, and when the operator information is ineligible, a restriction signal is output.

なお、制限DB270は、予め定義され、登録される。どのような条件で制限信号を出力するかは、任意に設定可能である。   The restriction DB 270 is defined and registered in advance. Under what conditions the limit signal is output can be arbitrarily set.

次に、本実施形態の受付制御部150による受付制御処理の流れについて説明する。図6は、本実施形態の受付制御処理の処理フローである。本実施形態の受付制御部150は、例えば、エンジンの始動により受付制御処理を開始する。また、ここでは、画像取得部220が距離画像を生成するタイミングで、操作有無判別部230は、操作の有無を判別する場合を例にあげて説明する。   Next, the flow of reception control processing by the reception control unit 150 of this embodiment will be described. FIG. 6 is a process flow of the admission control process of this embodiment. For example, the reception control unit 150 of the present embodiment starts the reception control process by starting the engine. Further, here, a case where the operation presence / absence determination unit 230 determines the presence / absence of an operation at the timing when the image acquisition unit 220 generates a distance image will be described as an example.

受付制御部150は、画像取得部220に、距離画像の取得を開始させる。そして、距離画像が取得される毎に、すなわち、Δt毎に(ステップS1101)、操作有無判別部230に、操作有りと判別するまで、操作の有無の判別を繰り返し行わせる(ステップS1102)。   The reception control unit 150 causes the image acquisition unit 220 to start acquiring a distance image. Then, every time a distance image is acquired, that is, every Δt (step S1101), the operation presence / absence determination unit 230 repeatedly determines whether or not there is an operation until it is determined that there is an operation (step S1102).

受付制御部150は、操作有無判別部230から操作有りの信号を受け取ると、走行状態判別部210に走行状態を判別させ(ステップS1103)、判別結果を車速情報として信号出力部260へ通知する。また、画素群を特定する信号を操作者判別部240へ通知する。   When receiving the operation presence signal from the operation presence / absence determining unit 230, the reception control unit 150 causes the traveling state determining unit 210 to determine the traveling state (step S1103) and notifies the signal output unit 260 of the determination result as vehicle speed information. In addition, the operator identifying unit 240 is notified of a signal for specifying a pixel group.

そして、受付制御部150は、操作者判別部240に操作者が運転者であるか否かを判別させる(ステップS1104)。判別結果が運転者以外(その他)である場合、受付制御部150は、画素群を特定する信号を適格性判別部250へ通知する。   And the reception control part 150 makes the operator discrimination | determination part 240 discriminate | determine whether an operator is a driver | operator (step S1104). When the determination result is other than the driver (others), the reception control unit 150 notifies the eligibility determination unit 250 of a signal for specifying the pixel group.

そして、受付制御部150は、適格性判別部250に操作者の適格性を判別させる(ステップS1105)。そして、結果を操作者情報として信号出力部260へ通知する。   Then, the reception control unit 150 causes the eligibility determination unit 250 to determine the eligibility of the operator (step S1105). Then, the result is notified to the signal output unit 260 as operator information.

一方、ステップS1104で判別結果が運転者であった場合、受付制御部150は、その判別結果を操作者情報として信号出力部260へ通知する。   On the other hand, if the determination result is the driver in step S1104, the reception control unit 150 notifies the signal output unit 260 of the determination result as operator information.

受付制御部150は、信号出力部260が操作者情報および車速情報の両情報を受信すると、信号出力部260に制限DB270を参照させ、制限信号出力に該当するか否かを判別させる(ステップS1106)。該当する場合、受付制御部150は、制限信号を出力し(ステップS1107)、一方、該当しない場合、受付制御部150は、何も出力しないで処理を終了する。   When the signal output unit 260 receives both the operator information and the vehicle speed information, the reception control unit 150 causes the signal output unit 260 to refer to the restriction DB 270 to determine whether the restriction signal output is applicable (step S1106). ). If applicable, the reception control unit 150 outputs a restriction signal (step S1107). On the other hand, if not applicable, the reception control unit 150 ends the process without outputting anything.

以上の処理により、本実施形態の受付制御部150は、車両の走行状態、操作者に応じて制限信号を出力し、ナビゲーション装置100の操作入力の受付を制限する。   Through the above processing, the reception control unit 150 of the present embodiment outputs a restriction signal according to the running state of the vehicle and the operator, and restricts the reception of operation inputs of the navigation device 100.

以上説明したように、本実施形態によれば、距離画像を用い、操作の有無を判別する。また、操作有りと判別した画素に連続する画素で操作者を判別する。従って、精度良く操作者を判別することができる。すなわち、運転者が助手席側に腕を回して操作を行ったり、センサの近傍に物体があるような場合であっても、操作者を誤認識することがない。さらに、適格性の判別も、操作者を判別した距離画像をそのまま用いて行う。従って、簡易な構成で、操作者の操作適格性も高精度に判別することができる。   As described above, according to this embodiment, the presence / absence of an operation is determined using a distance image. In addition, the operator is determined by a pixel that is continuous with the pixel determined to be operated. Therefore, the operator can be determined with high accuracy. That is, even when the driver performs an operation by turning his / her arm toward the front passenger seat or when there is an object in the vicinity of the sensor, the operator is not erroneously recognized. Furthermore, the determination of suitability is also performed using the distance image that has determined the operator as it is. Therefore, the operator's operation suitability can be determined with high accuracy with a simple configuration.

また、本実施形態によれば、走行状態を示す情報と合わせて、予め定めたルールに従って操作の制限の有無を決定するため、簡易な構成で、精度良く所望の制限を行うことができる。従って、確実性の高い操作入力制御を簡易な構成で行うことができる。   Moreover, according to this embodiment, since the presence or absence of the restriction | limiting of operation is determined according to a predetermined rule with the information which shows a driving | running | working state, a desired restriction | limiting can be performed with a simple structure with high precision. Therefore, highly reliable operation input control can be performed with a simple configuration.

従って、本実施形態によれば、簡易な構成で、車両の走行状態および操作者に応じて、入力操作の受け付けを精度良く制限することができ、安全性と利便性とを両立できる。   Therefore, according to the present embodiment, with a simple configuration, it is possible to accurately limit the acceptance of input operations in accordance with the traveling state of the vehicle and the operator, and both safety and convenience can be achieved.

なお、上記実施形態では、運転者以外の同乗者であって、操作の適格性がある者であれば、操作を許可するよう制御しているが、制御はこれに限られない。例えば、後部座席の乗員による操作の場合、その乗員の適格性によらず、走行中は拒否するよう制御してもよい。この場合の制御手法を以下に説明する。   In the above-described embodiment, control is performed so that the operation is permitted if the passenger is a passenger other than the driver and is qualified for the operation, but the control is not limited thereto. For example, in the case of an operation by a passenger in the rear seat, control may be performed so as to be rejected during traveling regardless of the qualification of the passenger. A control method in this case will be described below.

この場合、操作者判別部240は、さらに、操作者の座席位置を判別する機能を備える。すなわち、上記受付制御処理において、ステップS1104で運転者か、助手席の乗員か、後部座席の乗員かを判別する。また、適格性判別後、適不適のみでなく、判別対象乗員の座席位置も出力する。   In this case, the operator determination unit 240 further has a function of determining the seat position of the operator. That is, in the reception control process, it is determined in step S1104 whether the driver is a passenger, a passenger in the passenger seat, or a passenger in the rear seat. Further, after the eligibility determination, not only the suitability but also the seat position of the discrimination target occupant is output.

信号出力部260は、操作者情報として、運転者、助手席の適格者、助手席の不適格者、後部座席乗員、の4種を受け取り、制限信号を出力するか否かの決定を行う。この場合の登録される制限DB270の一例を図7に示す。   The signal output unit 260 receives, as operator information, four types of a driver, a passenger seat qualified person, a passenger seat unqualified person, and a rear seat occupant, and determines whether to output a restriction signal. An example of the restriction DB 270 registered in this case is shown in FIG.

このように、乗員の座席位置まで判別し、それに応じた制限DB270を設けることにより、より細かい操作受付制御を行うことができる。   As described above, by determining the seat position of the occupant and providing the restriction DB 270 corresponding thereto, finer operation reception control can be performed.

なお、受付制御部150は、上記全ての機能を備えなくても良い。例えば、操作有無判別部230と、操作者判別部240とのみを備えるものとし、運転者でないと判別された場合は、走行中の操作を制限しないよう構成してもよい。または、操作者が助手席の乗員と判別された場合のみ、走行中の操作を制限しないよう構成してもよい。   Note that the reception control unit 150 may not have all the functions described above. For example, only the operation presence / absence determination unit 230 and the operator determination unit 240 may be provided, and when it is determined that the user is not a driver, the operation during traveling may not be limited. Or you may comprise so that operation in driving | running | working may not be restrict | limited only when an operator is discriminate | determined from the passenger of a passenger seat.

<<第二の実施形態>>
次に、本発明を適用する第二の実施形態を説明する。本実施形態のナビゲーション装置は基本的に第一の実施形態と同様の構成を有する。第一の実施形態では、操作に適した年齢に達しているか否かの適格性を、身長(座高)により判別している。本実施形態では、適格性判別に変調光画像を用いた顔認識技術をさらに組合せ、その精度を高める。以後、第一の実施形態と異なる構成に主眼をおいて説明する。
<< Second Embodiment >>
Next, a second embodiment to which the present invention is applied will be described. The navigation device of this embodiment basically has the same configuration as that of the first embodiment. In the first embodiment, the suitability of whether or not the age is appropriate for the operation is determined based on the height (sitting height). In the present embodiment, a face recognition technique using a modulated light image is further combined with the eligibility determination to improve the accuracy. Hereinafter, a description will be given focusing on the configuration different from the first embodiment.

本実施形態の受付制御部150の構成は、基本的に第一の実施形態と同様である。図8は、本実施形態の受付制御部150の機能ブロック図である。本実施形態では、画像生成部220Aおよび適格性判別部250Aが第一の実施形態と異なる。すなわち、本実施形態の画像生成部222Aは、距離画像生成と略同タイミングで変調光画像をさらに生成する。また、本実施形態の適格性判別部250Aは、距離画像を用いた適格性判別に加え、変調光画像を用いた適格性判別も行う。   The configuration of the reception control unit 150 of this embodiment is basically the same as that of the first embodiment. FIG. 8 is a functional block diagram of the reception control unit 150 of the present embodiment. In the present embodiment, the image generation unit 220A and the eligibility determination unit 250A are different from the first embodiment. That is, the image generation unit 222A of the present embodiment further generates a modulated light image at substantially the same timing as the distance image generation. In addition, the eligibility determination unit 250A of the present embodiment performs eligibility determination using a modulated light image in addition to eligibility determination using a distance image.

本実施形態の画像生成部222Aによる変調光画像生成処理について説明する。本実施形態の距離画像センサ221は第一の実施形態と同じである。本実施形態では、画像生成部222が距離画像を生成するタイミングで、4つの電荷蓄積部に蓄積された電荷量(C1、C2、C3、C4)を用い、以下の式(4)に従って、各画素の強度値Bを計算する。
B=((C1−C3)+(C2−C4)1/2)/2 (4)
算出した強度値Bを画素値とし、変調光画像を生成する。
A modulated light image generation process by the image generation unit 222A of the present embodiment will be described. The distance image sensor 221 of this embodiment is the same as that of the first embodiment. In the present embodiment, the charge amounts (C1, C2, C3, C4) stored in the four charge storage units are used at the timing when the image generation unit 222 generates the distance image, The pixel intensity value B is calculated.
B = ((C1-C3) 2 + (C2-C4) 2 ) 1/2 ) / 2 (4)
Using the calculated intensity value B as a pixel value, a modulated light image is generated.

このように、本実施形態では、各画素について、同じ蓄積された電荷量(C1、C2、C3、C4)を用い、距離値Dおよび強度値Bを算出し、それぞれ、距離画像および変調光画像とする。すなわち、本実施形態では、同タイミングで距離画像と同範囲の変調光画像が得られる。   As described above, in the present embodiment, the distance value D and the intensity value B are calculated using the same accumulated charge amount (C1, C2, C3, C4) for each pixel, and the distance image and the modulated light image are respectively obtained. And That is, in the present embodiment, a modulated light image in the same range as the distance image is obtained at the same timing.

本実施形態の適格性判別部250Aは、第一の実施形態と同様の手法で距離画像を用いて適格性を判別後、不適格と判別された場合、変調光画像を用いて再度適否を判別する。まず、操作者判別部240が抽出した画素群320から操作者の座高を算出し、適否を判別する。次に、変調光画像上の、抽出した画素群320に対応する画素群に対し、既存の顔認識技術を用い適格性を判別する。例えば、特定した画素群の中から顔にあたる部分を抽出し、第一の実施形態同様、車載装置の操作に相応しい年齢であるか否かを判別することにより、適格性を判別する。   The eligibility determination unit 250A of the present embodiment determines the suitability again using the modulated light image when it is determined as unqualified after determining eligibility using the distance image in the same manner as in the first embodiment. To do. First, the operator's sitting height is calculated from the pixel group 320 extracted by the operator discriminating unit 240 to discriminate suitability. Next, the eligibility of the pixel group corresponding to the extracted pixel group 320 on the modulated light image is determined using an existing face recognition technique. For example, the part corresponding to the face is extracted from the specified pixel group, and the eligibility is determined by determining whether the age is appropriate for the operation of the in-vehicle device, as in the first embodiment.

なお、既存の顔認識技術には、顔領域として抽出した画素の中で、目、鼻、口等の各部を抽出し、その配置バランスなどにより判別するもの、骨格を抽出し、その形状により判別するものなどがある。画像を用いた顔認識技術であれば、用いる手法は問わない。   In addition, in the existing face recognition technology, each part such as eyes, nose and mouth is extracted from the pixels extracted as the face area and discriminated based on the arrangement balance, etc., and the skeleton is extracted and discriminated by the shape. There are things to do. Any method can be used as long as it is a face recognition technique using an image.

本実施形態の受付制御部150による受付制御処理の処理フローを図9に示す。本実施形態の受付制御処理は、基本的に第一の実施形態と同様である。ただし、第一の実施形態のステップS1101において、受付制御部150は、距離画像だけでなく変調光画像も生成させる(ステップS1201)。また、適格性判別を行うステップS1105において、距離画像上で適格性を判別した際(ステップS1202)、不適格と判別された場合、変調光画像上で適格性を判別させる(ステップS1203)。そして、操作者情報として適格、不適格を出力する。   A processing flow of the reception control process by the reception control unit 150 of the present embodiment is shown in FIG. The acceptance control process of this embodiment is basically the same as that of the first embodiment. However, in step S1101 of the first embodiment, the reception control unit 150 generates not only a distance image but also a modulated light image (step S1201). In step S1105 for determining eligibility, when eligibility is determined on the distance image (step S1202), if it is determined that the eligibility is not appropriate, eligibility is determined on the modulated light image (step S1203). Then, the operator information is output as qualified or unqualified.

以上説明したように、本実施形態によれば、適格性を、距離画像だけでなく、変調光画像も用いて判別する。従って、より高い精度で適格性を判別できる。   As described above, according to the present embodiment, the suitability is determined using not only the distance image but also the modulated light image. Therefore, eligibility can be determined with higher accuracy.

また、本実施形態の距離画像センサ221は、変調の1周期を4等分した期間毎に4つの電荷蓄積部に電荷を蓄積する。そして、画像生成部222は、それらを用いて距離値Dおよび強度値Bを算出し、それぞれ距離画像および変調光画像を生成する。従って、同タイミング、同範囲を撮影対象とした距離画像および変調光画像を得ることができる。このため、距離画像と変調光画像との撮影範囲を対応付ける処理は不要であり、距離画像上で判別に用いた画素と同位置の画素を変調光画像上でそのまま判別に用いることができる。従って、上記高い精度の判別を、簡易な構成で実現できる。   In addition, the distance image sensor 221 according to the present embodiment accumulates charges in the four charge accumulation units every period obtained by dividing one modulation period into four equal parts. Then, the image generation unit 222 calculates the distance value D and the intensity value B using them, and generates a distance image and a modulated light image, respectively. Accordingly, it is possible to obtain a distance image and a modulated light image in which the same timing and the same range are taken. For this reason, it is not necessary to associate the shooting range of the distance image with the modulated light image, and a pixel at the same position as the pixel used for the determination on the distance image can be used for the determination as it is on the modulated light image. Therefore, the high accuracy discrimination can be realized with a simple configuration.

すなわち、本実施形態によれば、第一の実施形態同様、簡易な構成で、車両の走行状態および操作者に応じて、入力操作の受け付けを精度良く制限することができ、安全性と利便性とを両立できる。   That is, according to the present embodiment, as in the first embodiment, the acceptance of input operations can be accurately limited according to the traveling state of the vehicle and the operator with a simple configuration, which is safe and convenient. And both.

なお、上記実施形態では、距離画像取得毎に変調光画像も取得し、距離画像上での判別で不適格と判別された場合、変調光画像で同じ位置の画素群で適格性を判別しているが、これに限られない。   In the above-described embodiment, a modulated light image is also acquired every time a distance image is acquired, and if it is determined to be ineligible by determination on the distance image, qualification is determined by a pixel group at the same position in the modulated light image. However, it is not limited to this.

例えば、走行開始時など、特定のタイミングでのみ変調光画像を取得し、既存の顔認識技術を用い、車内の各乗員の適格性を判別し、座席に対応づけて保持するよう構成してもよい。この場合、第一の実施形態の変形例で説明したように、操作者判別部240において、操作者の座席位置まで判別し、距離画像で不適格と判別された後、該当する座席に対応づけて保持する適格性データを参照し、最終的な判別結果とする。   For example, it may be configured to acquire a modulated light image only at a specific timing, such as at the start of traveling, to determine the eligibility of each occupant in the vehicle using an existing face recognition technology, and hold it in association with the seat Good. In this case, as described in the modification of the first embodiment, the operator discriminating unit 240 discriminates up to the operator's seat position, and after determining that the operator does not qualify by the distance image, associates with the corresponding seat. Refer to the eligibility data that is retained and use the results as the final judgment results.

なお、上記各実施形態では、制限DB270は、予め設定され、保持するよう構成されているが、ユーザが適宜入力設定可能なよう構成してもよい。この場合、受付制御部150は、制限DB270の入力受付インタフェースを備え、このインタフェースを介して登録を受け付ける。このように構成することにより、制限DB270の登録内容を変更するだけで、所望の制御を容易に実現することができる。   In each of the above embodiments, the restriction DB 270 is configured to be preset and held, but may be configured so that the user can appropriately input and set it. In this case, the reception control unit 150 includes an input reception interface for the restriction DB 270, and receives registration via this interface. By configuring in this way, desired control can be easily realized simply by changing the registered contents of the restriction DB 270.

また、上記各実施形態では、受付制御部150は、ナビゲーション装置100が備えるものとして説明したが、これに限られない。受付制御部150は、ナビゲーション装置100とは独立して設けられていてもよい。   Moreover, in each said embodiment, although the reception control part 150 demonstrated as what the navigation apparatus 100 is provided, it is not restricted to this. The reception control unit 150 may be provided independently of the navigation device 100.

また、距離画像センサ221は、本実施形態の受付制御部150とは独立して設けられていてもよい。この場合、受付制御部150は、距離画像センサ221からの信号を受信する距離画像センサ信号受信部を備え、ここで受信した電荷量を用い、画像を生成する。   The distance image sensor 221 may be provided independently of the reception control unit 150 of the present embodiment. In this case, the reception control unit 150 includes a distance image sensor signal receiving unit that receives a signal from the distance image sensor 221, and generates an image using the received charge amount.

また、上記各実施形態では、受付制御部150はエンジン始動後継続的に上記受付制御処理を行っているが、これに限られない。例えば、予め定めた時間間隔で行うよう構成してもよい。また、操作有無判別部230による操作の有無の判別処理も、上記各実施形態では、画像が取得されるタイミングで行っているが、これに限られない。予め定めた時間間隔で、その時点で最新の画像を用いて行うよう構成してもよい。さらに、操作有りと判別される前後で判別処理を行う時間間隔を変更するよう構成してもよい。   Moreover, in each said embodiment, although the reception control part 150 is performing the said reception control process continuously after engine starting, it is not restricted to this. For example, you may comprise so that it may carry out at a predetermined time interval. In addition, although the operation presence / absence determination unit 230 performs the operation presence / absence determination processing at the timing at which an image is acquired in each of the above embodiments, the present invention is not limited to this. You may comprise so that it may carry out using the newest image at the time at a predetermined time interval. Further, the time interval for performing the determination process before and after it is determined that there is an operation may be changed.

また、車両の走行状態を、車速信号により判別しているが、これに限られない。他の情報、例えば、パーキングブレーキの状態を示す信号により判別するよう構成してもよい。すなわち、パーキングブレーキがかかっている状態を停止状態とし、それ以外を走行中と判別する。   Moreover, although the traveling state of the vehicle is determined by the vehicle speed signal, the present invention is not limited to this. You may comprise so that it may discriminate | determine with the other information, for example, the signal which shows the state of a parking brake. That is, the state where the parking brake is applied is set to the stop state, and the rest is determined to be traveling.

また、上記各実施形態では、車速情報および操作者情報により、制限信号を出力し、操作の受け付けを制限するよう構成しているが、これに限られない。通常、操作の受け付けを制限するよう構成し、所定の車速情報および操作者情報の組合せの場合のみ、許可するよう構成してもよい。   Moreover, in each said embodiment, although it has comprised so that a restriction | limiting signal may be output and reception of operation may be restrict | limited by vehicle speed information and operator information, it is not restricted to this. Normally, the acceptance of operations may be limited, and only a combination of predetermined vehicle speed information and operator information may be permitted.

上記各実施形態において、受付制御部150の、距離画像センサ221を除く各機能は、CPUとメモリと記憶装置を備える情報処理装置上で、CPUが記憶装置に記憶されるプログラムをメモリにロードして実行することにより実現される。また、専用のハードウェアにより構成されてもよい。また、制限データベース270は、記憶装置上に構築される。   In each of the above embodiments, each function of the reception control unit 150 excluding the distance image sensor 221 loads a program stored in the storage device into the memory on the information processing device including the CPU, the memory, and the storage device. It is realized by executing. Further, it may be configured by dedicated hardware. Further, the restriction database 270 is constructed on a storage device.

100:ナビゲーション装置、110:ナビゲーション処理部、120:入力装置、130:出力装置、140:車両状態センサ受信部、150:受付制御部、210:走行状態判別部、220:画像取得部、221:距離画像センサ、222:画像生成部、230:走査有無判別部、240:操作者判別部、250:適格性判別部、260:信号出力部、270:制限DB、310:画素群、320:画素群、500:乗員 100: Navigation device, 110: Navigation processing unit, 120: Input device, 130: Output device, 140: Vehicle state sensor reception unit, 150: Reception control unit, 210: Traveling state determination unit, 220: Image acquisition unit, 221: Distance image sensor 222: Image generation unit 230: Scanning presence / absence determination unit 240: Operator determination unit 250: Eligibility determination unit 260: Signal output unit 270: Restriction DB 310: Pixel group 320: Pixel Group, 500: Crew

Claims (7)

操作者からの操作に応じて処理を行う車載装置の操作の受け付けを制御する受付制御装置であって、
当該車載機器が搭載される車両が走行中か否かを判別する走行状態判別手段と、
距離画像を取得する画像取得手段と、
前記距離画像を用い、操作の有無を判別する操作有無判別手段と、
前記距離画像を用い、操作者を判別する操作者判別手段と、
前記走行状態判別手段の判別結果と前記操作者判別手段の判別結果とに応じ、操作の受付を制限する制限信号を出力する信号出力手段と、を備え、
前記信号出力手段が制限信号を出力した場合、前記操作の受付を制限すること
を特徴とする受付制御装置。
An acceptance control device that controls acceptance of an operation of an in-vehicle device that performs processing according to an operation from an operator,
Traveling state determining means for determining whether or not the vehicle on which the in-vehicle device is mounted is traveling;
Image acquisition means for acquiring a distance image;
Using the distance image, an operation presence / absence determining means for determining presence / absence of an operation;
An operator discriminating means for discriminating an operator using the distance image;
Signal output means for outputting a restriction signal for restricting acceptance of an operation according to the determination result of the traveling state determination means and the determination result of the operator determination means;
When the signal output means outputs a restriction signal, the acceptance control device restricts acceptance of the operation.
請求項1記載の受付制御装置であって、
前記操作者判別手段は、操作者が運転者であるか否かを判別し、
前記信号出力手段は、前記走行状態判別手段の判別結果が走行中で前記操作者判別手段の判別結果が運転者である場合、前記制限信号を出力すること
を特徴とする受付制御装置。
The reception control device according to claim 1,
The operator determining means determines whether or not the operator is a driver,
The reception control device, wherein the signal output means outputs the restriction signal when the determination result of the traveling state determination means is traveling and the determination result of the operator determination means is a driver.
請求項1または2記載の受付制御装置であって、
前記操作者判別手段は、操作者の座席位置もさらに判別し、
前記信号出力手段は、前記走行状態判別手段の判別結果が走行中で前記操作者判別手段の判別結果が運転者または後部座席の乗員である場合、前記制限信号を出力すること
を特徴とする受付制御装置。
The reception control device according to claim 1 or 2,
The operator discriminating means further discriminates the seat position of the operator,
The signal output means outputs the restriction signal when the determination result of the traveling state determination means is traveling and the determination result of the operator determination means is a driver or a passenger in the rear seat. Control device.
請求項1から3いずれか1項記載の受付制御装置であって、
前記受付制御手段は、前記操作者判別手段が否と判別した場合、前記距離画像を用い、当該操作者の操作適格性を判別する適格性判別手段をさらに備え、
前記信号出力手段は、前記適格性判別手段の判別結果が不適格である場合、前記制限信号を出力すること
を特徴とする受付制御装置。
The reception control device according to any one of claims 1 to 3,
The reception control means further includes a suitability determination means for determining the operation suitability of the operator using the distance image when the operator determination means determines that the determination is NO,
The reception control device, wherein the signal output means outputs the restriction signal when the determination result of the qualification determination means is unqualified.
請求項4記載の受付制御装置であって、
前記画像取得手段は、さらに変調光画像も取得し、
前記適格性判別手段は、前記距離画像により不適格と判別された場合、前記変調光画像を用い、さらに操作適格性を判別すること
を特徴とする受付制御装置。
The reception control device according to claim 4,
The image acquisition means further acquires a modulated light image,
The admission control device according to claim 1, wherein the eligibility determination means determines the operation eligibility further using the modulated light image when it is determined to be ineligible based on the distance image.
車載装置に対する操作者からの操作の受け付けを制限する車載装置の受付制御方法であって、
距離画像を取得する距離画像取得ステップと、
前記距離画像を用いて、操作の有無を判別する操作有無判別ステップと、
前記操作有無判別ステップで操作有りと判別された場合、当該距離画像上で操作者を判別する操作者判別ステップと、
当該車載装置が搭載される車両が走行中か否かを判別する走行状態判別ステップと、
操作者判別ステップの判別結果と走行状態判別ステップの判別結果とに応じて、操作の受け付けを制限する受付制御ステップと、を備えること
を特徴とする受付制御方法。
A reception control method for an in-vehicle device that restricts reception of operations from an operator for the in-vehicle device,
A distance image acquisition step of acquiring a distance image;
An operation presence / absence determination step for determining the presence / absence of an operation using the distance image;
When it is determined that there is an operation in the operation presence / absence determination step, an operator determination step of determining an operator on the distance image;
A traveling state determination step for determining whether or not the vehicle on which the in-vehicle device is mounted is traveling;
An acceptance control method comprising: an acceptance control step for restricting acceptance of an operation in accordance with a discrimination result of an operator discrimination step and a discrimination result of a traveling state discrimination step.
操作者からの操作に応じて処理を行う車載装置であって、
請求項1から5記載の受付制御装置を備えること
を特徴とする車載装置。
An in-vehicle device that performs processing in response to an operation from an operator,
An in-vehicle device comprising the acceptance control device according to claim 1.
JP2010027933A 2010-02-10 2010-02-10 Reception control device and reception control method of vehicle-mounted device Pending JP2011163979A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010027933A JP2011163979A (en) 2010-02-10 2010-02-10 Reception control device and reception control method of vehicle-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010027933A JP2011163979A (en) 2010-02-10 2010-02-10 Reception control device and reception control method of vehicle-mounted device

Publications (1)

Publication Number Publication Date
JP2011163979A true JP2011163979A (en) 2011-08-25

Family

ID=44594825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010027933A Pending JP2011163979A (en) 2010-02-10 2010-02-10 Reception control device and reception control method of vehicle-mounted device

Country Status (1)

Country Link
JP (1) JP2011163979A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092994A1 (en) * 2013-09-27 2015-04-02 Ricoh Company, Ltd. Eligible operator determination device and eligible operator determination method
JP2016135665A (en) * 2015-01-23 2016-07-28 デンソー インターナショナル アメリカ インコーポレーテッド Advanced driver assistance system for vehicle and control method thereof
WO2023105700A1 (en) * 2021-12-09 2023-06-15 三菱電機株式会社 Update determination device and update determination method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product
JP2007118626A (en) * 2005-10-24 2007-05-17 Denso Corp Vehicle-mounted electronic equipment control system
JP2008221960A (en) * 2007-03-12 2008-09-25 Equos Research Co Ltd In-vehicle device
JP2008238952A (en) * 2007-03-27 2008-10-09 Denso Corp Vehicular operating physical approach detection device, and on-vehicle electronic apparatus operation unit using the same
JP2009187130A (en) * 2008-02-04 2009-08-20 Panasonic Electric Works Co Ltd Face recognition device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product
JP2007118626A (en) * 2005-10-24 2007-05-17 Denso Corp Vehicle-mounted electronic equipment control system
JP2008221960A (en) * 2007-03-12 2008-09-25 Equos Research Co Ltd In-vehicle device
JP2008238952A (en) * 2007-03-27 2008-10-09 Denso Corp Vehicular operating physical approach detection device, and on-vehicle electronic apparatus operation unit using the same
JP2009187130A (en) * 2008-02-04 2009-08-20 Panasonic Electric Works Co Ltd Face recognition device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092994A1 (en) * 2013-09-27 2015-04-02 Ricoh Company, Ltd. Eligible operator determination device and eligible operator determination method
JP2016135665A (en) * 2015-01-23 2016-07-28 デンソー インターナショナル アメリカ インコーポレーテッド Advanced driver assistance system for vehicle and control method thereof
WO2023105700A1 (en) * 2021-12-09 2023-06-15 三菱電機株式会社 Update determination device and update determination method

Similar Documents

Publication Publication Date Title
KR101908309B1 (en) Lamp for Vehicle
US20210309232A1 (en) Driving assistance apparatus and data collection system
JP5753509B2 (en) Device information acquisition device
CN110997416B (en) Parking control method and parking control device
US20170124987A1 (en) Vehicle and method for controlling the vehicle
CN111762184B (en) Vehicle control systems and vehicles
JP2018105774A (en) Automated driving system
JP2018172028A (en) Vehicle control system, vehicle control method, and vehicle control program
JPWO2014064898A1 (en) Passenger counting device, method and program
CN110281932A (en) Driving control device, vehicle, driving control system, driving control method, and storage medium
EP3737909B1 (en) Detecting apparatus and on-board system including the same
CN102985788A (en) Distance measuring device and distance measuring method
JPWO2017056821A1 (en) Information acquisition apparatus and information acquisition method
JP2018188028A (en) Driver monitoring device and driver monitoring method
WO2014083738A1 (en) Text-reading device and text-reading method
JP7227106B2 (en) Operation control device, operation control method, and program
CN113875217A (en) Image recognition device and image recognition method
JP2018133031A (en) Driving switching support device and driving switching support method
ES2902698T3 (en) Determining the position of a non-vehicle object in a vehicle
US20210297589A1 (en) Imaging device and method of controlling imaging device
CN112432079A (en) Lighting device, driving method thereof and distance measuring module
JP2018066701A (en) Distance measurement device and method for controlling distance measurement device
JP7070827B2 (en) Driving evaluation device, in-vehicle device, driving evaluation system equipped with these, driving evaluation method, and driving evaluation program
JP2016091192A (en) Virtual image display apparatus, control method, program, and storage medium
JP2011163979A (en) Reception control device and reception control method of vehicle-mounted device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318