JP2011163979A - Reception control device and reception control method of vehicle-mounted device - Google Patents
Reception control device and reception control method of vehicle-mounted device Download PDFInfo
- Publication number
- JP2011163979A JP2011163979A JP2010027933A JP2010027933A JP2011163979A JP 2011163979 A JP2011163979 A JP 2011163979A JP 2010027933 A JP2010027933 A JP 2010027933A JP 2010027933 A JP2010027933 A JP 2010027933A JP 2011163979 A JP2011163979 A JP 2011163979A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- determination
- distance image
- reception control
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
Abstract
【課題】車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立可能な技術を提供することを目的とする。
【解決手段】距離画像を用いて、操作の有無、操作者の識別、適格性の判別を連続的に行う。そして、車両の走行状態、操作者および適格性に応じて、予め定められたルールに従って、操作受付を制限する。なお、適格性の判別に、距離画像と同時に取得した電荷から算出した変調光画像をさらに用い、精度を高めるよう構成してもよい。
【選択図】図1An object of the present invention is to provide a technology capable of achieving both safety and convenience with a simple configuration in input control of an in-vehicle device.
Using a distance image, presence / absence of an operation, identification of an operator, and determination of eligibility are continuously performed. And according to the driving | running | working state of a vehicle, an operator, and eligibility, operation reception is restrict | limited according to a predetermined rule. In addition, it may be configured to further improve accuracy by further using a modulated light image calculated from the charge acquired at the same time as the distance image in the determination of suitability.
[Selection] Figure 1
Description
本発明は、車載装置の制御技術に関する。特に、カーナビゲーション装置等、車両の走行状態および操作者に応じて操作に制約のある装置の制御技術に関する。 The present invention relates to a control technique for an in-vehicle device. In particular, the present invention relates to a control technology for a device such as a car navigation device that is restricted in operation according to a traveling state of a vehicle and an operator.
車両に搭載されるオーディオ装置、カーナビゲーション装置等は、その多機能化に伴い、複雑な操作が要求されるようになっている。操作を行う際は、画面を注視しなければならないため、安全性を考慮して、走行中の操作は制限される。このような操作の制限は、車速センサ、ブレーキセンサなどの信号を利用して行われるため、操作者によらず、制限を受ける。安全性の観点からの制限であれば、運転者以外の操作を制限する必要はなく、その分、利便性が損なわれる。 Audio devices, car navigation devices, and the like mounted on vehicles are required to perform complicated operations as their functions increase. When performing an operation, it is necessary to pay attention to the screen. Therefore, in consideration of safety, operations during traveling are limited. Such restriction of operation is performed using signals from a vehicle speed sensor, a brake sensor, and the like, and thus is restricted regardless of the operator. If it is a restriction | limiting from a viewpoint of safety, it is not necessary to restrict | limit operation other than a driver | operator, and the convenience will be impaired to that extent.
利便性の観点から不要な制限を減らすため、ナビゲーション装置に位置検出センサを設け、操作者の着座方向を検出し、助手席側からの操作は受け入れるよう制御するものがある(例えば、特許文献1参照。)。また、タイマーで時間的に機能を制限するものがある(例えば、特許文献2参照。)。また、シート毎に付与された識別信号で判別するものがある(例えば、特許文献3参照。)。 In order to reduce unnecessary restrictions from the viewpoint of convenience, a navigation device is provided with a position detection sensor that detects an operator's seating direction and controls to accept an operation from the passenger seat (for example, Patent Document 1). reference.). In addition, there is a timer whose function is limited in time (see, for example, Patent Document 2). Further, there is one that is discriminated by an identification signal given to each sheet (for example, see Patent Document 3).
一方、安全性の観点からは、運転者以外であっても、子供などによる操作は制限を設けたほうがよい。これは、走行中、停止中といった車両の走行状態は問わない。乗員の体格等を識別するものとして、車内を撮影し、2次元画像と距離画像とを得、これらの画像により識別するものがある(例えば、特許文献4参照、特許文献5参照。)。 On the other hand, from the viewpoint of safety, it is better to limit the operation by children, etc., even if it is not a driver. This does not matter whether the vehicle is running or stopped. As a method for identifying the physique and the like of the occupant, there is a method in which the interior of a vehicle is photographed to obtain a two-dimensional image and a distance image, and these images are used for identification (see, for example, Patent Document 4 and Patent Document 5).
特許文献1に開示されている技術では、操作指示を受けた方向のみで操作者を判断するため、運転者が助手席側に腕を回して操作を行った場合は受け付けてしまう。また、センサの近傍に物体がある場合は操作者が正しく検出できない。特許文献2に開示されている技術では、制限時間外であれば、誰でも操作ができる。特許文献3に開示の技術では、シート毎に識別信号を印加する手段を設けなければならず、システムが大掛かりとなる。特許文献4および特許文献5に開示の技術では、通常画像と距離画像とを独立して取得するため、これらを対応づける構成が必要となる。そして、大掛かりな処理が必要となるにも関わらず、精度が高くない。さらに、判別した乗員と車載装置の操作者とを結びつけることができない。
In the technique disclosed in
いずれにしても、各種の問題があり、車両の走行状態に応じて、不適格な者からの操作を受け付けず、かつ、適格な者からの操作は受け付けるといった制御の確実性が低く、安全性と利便性とを両立できない。 In any case, there are various problems, and depending on the driving state of the vehicle, the control from not accepting operations from unqualified persons and accepting operations from qualified persons is low and safety is low. And convenience cannot be achieved.
本発明は、上記事情に鑑みてなされたもので、車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立可能な技術を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technology capable of achieving both safety and convenience with a simple configuration in input control of an in-vehicle device.
本発明は、距離画像を用いて、操作の有無、操作者の識別、適格性の判別を連続的に行う。そして、車両の走行状態および操作者に応じて、予め定められたルールに従って、操作受付を制限する。また、適格性の判別に、距離画像と同時に取得した電荷から算出した変調光画像をさらに用いてもよい。 In the present invention, presence / absence of an operation, identification of an operator, and determination of suitability are continuously performed using a distance image. And according to the driving | running | working state of a vehicle and an operator, according to a predetermined rule, operation reception is restrict | limited. Moreover, you may further use the modulated light image calculated from the electric charge acquired simultaneously with the distance image for discrimination | determination of eligibility.
具体的には、操作者からの操作に応じて処理を行う車載装置の操作の受け付けを制御する受付制御装置であって、当該車載機器が搭載される車両が走行中か否かを判別する走行状態判別手段と、距離画像を取得する画像取得手段と、前記距離画像を用い、操作の有無を判別する操作有無判別手段と、前記距離画像を用い、操作者を判別する操作者判別手段と、前記走行状態判別手段の判別結果と前記操作者判別手段の判別結果とに応じ、操作の受付を制限する制限信号を出力する信号出力手段と、を備え、前記信号出力手段が制限信号を出力した場合、前記操作の受付を制限することを特徴とする受付制御装置を提供する。 Specifically, a reception control device that controls reception of an operation of an in-vehicle device that performs processing according to an operation from an operator, and that determines whether or not the vehicle on which the in-vehicle device is mounted is traveling State determination means, image acquisition means for acquiring a distance image, operation presence / absence determination means for determining presence / absence of an operation using the distance image, operator determination means for determining an operator using the distance image, Signal output means for outputting a restriction signal for restricting the acceptance of an operation according to the determination result of the traveling state determination means and the determination result of the operator determination means, and the signal output means outputs the restriction signal In this case, a reception control device is provided that limits reception of the operation.
また、車載装置に対する操作者からの操作の受け付けを制限する車載装置の受付制御方法であって、距離画像を取得する距離画像取得ステップと、前記距離画像を用いて、操作の有無を判別する操作有無判別ステップと、前記操作有無判別ステップで操作有りと判別された場合、当該距離画像上で操作者を判別する操作者判別ステップと、当該車載装置が搭載される車両が走行中か否かを判別する走行状態判別ステップと、操作者判別ステップの判別結果と走行状態判別ステップの判別結果とに応じて、操作の受け付けを制限する受付制御ステップと、を備えることを特徴とする受付制御方法を提供する。 An on-vehicle apparatus reception control method for restricting the reception of an operation from an operator for the on-vehicle apparatus, the distance image acquiring step for acquiring a distance image, and an operation for determining presence / absence of an operation using the distance image When it is determined that there is an operation in the presence / absence determination step and the operation presence / absence determination step, an operator determination step for determining an operator on the distance image, and whether or not the vehicle on which the in-vehicle device is mounted is running. A reception control method comprising: a traveling state determination step for determining; and an acceptance control step for restricting the acceptance of operations according to the determination result of the operator determination step and the determination result of the traveling state determination step. provide.
本発明によれば、車載装置の入力制御において、簡易な構成で、安全性と利便性とを両立できる。 ADVANTAGE OF THE INVENTION According to this invention, in input control of a vehicle-mounted apparatus, both safety and convenience can be achieved with a simple configuration.
<<第一の実施形態>>
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
<< First Embodiment >>
Hereinafter, a first embodiment to which the present invention is applied will be described. Hereinafter, in all the drawings for explaining the embodiments of the present invention, those having the same function are denoted by the same reference numerals, and repeated explanation thereof is omitted.
本実施形態の車載装置の全体構成について、ナビゲーション装置を例にあげて説明する。図1(a)は、本実施形態のナビゲーション装置の概略構成図である。本実施形態のナビゲーション装置100は、ナビゲーション処理部110と、入力装置120と、出力装置130と、車両状態センサ受信部140と、受付制御部150と、を備える。
The overall configuration of the in-vehicle device according to the present embodiment will be described by taking a navigation device as an example. FIG. 1A is a schematic configuration diagram of the navigation device of the present embodiment. The
入力装置120および出力装置130は、操作者とのインタフェースを構成する。入力装置120は、操作者からの操作を受け付け、出力装置130は、ナビゲーション装置100による処理結果を操作者に通知する。入力装置120は、操作ボタン、スイッチ、タッチパネル等であり、出力装置130は、表示装置、音声出力装置等がある。表示装置が入力装置120および出力装置130を兼ねてもよい。
The
車両状態センサ受信部140では、車両に備えられる、車両の各種状態を検出する各種センサからの信号を受信する。本実施形態では、車両状態センサとして、車両の速度を検出し、速度に応じた車速信号を出力する車速センサを備え、車両状態センサ受信部140は、この車速センサから出力される車速信号を受信し、受付制御部150に出力する。
The vehicle state
ナビゲーション処理部110は、入力装置120を介して入力される操作者からの指示に従って、予め保持する地図データ等のナビゲーション用データ、車両状態センサ受信部140で受信したセンサ信号を用い、ナビゲーション処理を行い、結果を出力装置130に出力する。
The
受付制御部150は、操作者および車両の走行状態に応じて、ナビゲーション装置100への操作の受け付けを制限する。受け付けの制限は、制限信号を出力することにより行う。図1(b)は、本実施形態の受付制御部150の機能ブロック図である。本実施形態の受付制御部150は、受付制御を実現するため、図1(b)に示すように、走行状態判別部210と、画像取得部220と、走査有無判別部230と、操作者判別部240と、適格性判別部250と、信号出力部260とを備え、各部の動作を制御し、条件に応じて制限信号を出力する。また、制限信号を出力するルールを保持する制限データベース(制限DB)270をさらに備える。
The
走行状態判別部210は、車両状態センサ受信部140から受信した車速信号に基づき、ナビゲーション装置100が搭載されている車両が走行状態であるか、停止状態であるかを判別する。そして、判別結果として、車速が0の場合、停止を意味する停止信号を、それ以外の場合、走行中であることを意味する走行信号を、それぞれ車速情報として出力する。
The traveling
画像取得部220は、距離画像センサ221と画像生成部222とを備え、車両内の画像を取得する。本実施形態では、画像として距離画像を取得する。
The
本実施形態の距離画像センサ221は、光飛行型距離画像センサで照射した変調光が対象物に反射することによる反射光を含む入射光を、画素毎に設けられた複数の電荷蓄積部に蓄積する。距離画像センサ221は、ナビゲーション装置100の入力装置120および車両内の全乗員の画像を取得可能な位置に配置される。例えば、図2に示すように、ルームミラー上に配置される。ここで、図2(a)は、距離画像センサ221が車両内に配置される位置を説明するためのイメージ図であり、図2(b)は、乗員500と距離画像センサ221との関係を説明するための図である。
The
画像生成部222は、距離画像センサ221の電荷蓄積部に蓄積された電荷を所定時間毎に読出し、距離画像を生成する。
The
ここで、本実施形態の距離画像センサ221と画像生成部222とによる距離画像生成手法について簡単に説明する。
Here, a distance image generation method using the
本実施形態の距離画像センサ221は、対象空間に変調光を照射する光源と、光源から照射された変調光の反射光を含む入射光を受光し、電荷に変換する受光部とを備える。受光部は、受光量を電荷量に変換する光電変換素子が、距離画像の画素に対応づけて配列される。各光電変換素子で得られた電荷は、各光電変換素子が備える4つの電荷蓄積部に、変調の1周期を4等分した期間(例えば、0度から90度の間、90度から180度の間、180度から270度の間、270度から0度の間)毎に振り分けられ、蓄積される。
The
本実施形態の画像生成部222は、所定の時間Δt毎に、4つの電荷蓄積部に蓄積された電荷量(順にC1、C2、C3、C4とする。)を用い、各画素の距離値Dを算出する。距離値Dは、まず、以下の式(1)に従って、位相差φを算出し、その位相差φを用い、以下の式(2)に従って算出する。
φ=tan−1((C1-C3)/(C2-C4)) (1)
D=φ/2π×c/2f (2)
ここで、cは光の速度、fは変調周波数である。以上により、画像取得部220は、Δt毎に距離画像を取得する。
The
φ = tan −1 ((C1−C3) / (C2−C4)) (1)
D = φ / 2π × c / 2f (2)
Here, c is the speed of light and f is the modulation frequency. As described above, the
操作有無判別部230は、画像生成部222が生成した距離画像に基づき、受付制御部150の指示により、操作の有無を判別する。操作有無判別部230は、例えば、距離画像が生成される毎に、生成された距離画像上の入力装置120から予め定めた距離D1以内の領域に、予め定めた範囲d1の距離値および予め定めた大きさS1以上の面積を有する画素群があるか否かを判別する。画素群がある場合、操作者の手による操作が成されているもの(操作有り)と判別し、画素群を特定する信号を出力する。入力装置120の位置は、予め保持する距離画像センサ221の配置位置およびナビゲーション装置100の配置位置のデータから算出して得る。
The operation presence /
図3は、距離画像の一例である。ここでは、各画素において距離値が小さいものほど濃い色を付す。操作有無判別部230は、距離画像センサ221との距離値の差がD1以内の、略同距離にある面積S1以上の画素群310がある場合、操作有りと判別する。なお、略同距離か否かは、距離値の差が予め定めた値d1以内に収まるか否かで判別する。面積S1は、例えば、大人の手の大きさが判別できる程度とする。例えば、図3(a)の場合は操作無し、と判別し、図3(b)の場合は、操作有りと判別する。
FIG. 3 is an example of a distance image. Here, the darker the color, the smaller the distance value in each pixel. The operation presence /
操作者判別部240は、画素群310を特定する情報を受信すると、操作の有無を判別した距離画像上で操作者である画素群320を特定し、操作者を判別する。ここでは、運転者であるか否かを判別する。そして、判別結果を操作者情報として出力する。
When the information for specifying the
本実施形態では、距離画像上の、画素群310に連続する画素であって、略同距離にある予め定めた面積S2以上の画素群320を操作者と特定する。そして、操作者と判別された画素群320の距離値D0およびまたは画像上の領域T0により、操作者が運転者であるか、その他であるかを判別する。
In the present embodiment, a
略同距離であるか否かは、距離値の差が予め定めた値d2以内に収まるか否かで判別する。面積S2は、例えば、大人の動体の大きさが判別できる程度とする。操作者の判別に用いる距離値D0は、距離画像センサ221と車両内の座席位置との関係から設定または算出される。領域T0は、距離画像センサ221の配置位置により定まる撮影範囲に応じて予め設定される。
Whether or not the distances are substantially the same is determined by whether or not the difference between the distance values falls within a predetermined value d2. The area S2 is, for example, such that the size of an adult moving object can be determined. The distance value D0 used for the operator's discrimination is set or calculated from the relationship between the
例えば、距離画像センサ221と運転席または助手席の背もたれまでの距離をD0とする。この場合、画素群320の距離値がD0以上であれば、後部座席の乗員と判別し、D0より小さければ、操作者は運転者かまたは助手席の乗員と判別する。また、距離画像内で、中央よりハンドルが存在する側の領域をT0とする。運転者または助手席の乗員と判別された場合、当該画素群320の半分以上が距離画像内の、領域T0に存在すれば、運転者、逆側の領域に存在すれば助手席の乗員と判別する。以上の手順により、運転者かそれ以外(その他)かを判別する。
For example, the distance between the
図3(b)の例の場合、操作者判別部240は、まず、画素群310に連続するデータであって、略同距離の面積S2以上の画素群320を操作者と特定する。画素群320の距離値はD0以内であるため、運転者か助手席の乗員と判別される。次に、その画素群が距離画像上で領域T0と反対側の領域に存在するため、助手席の乗員と判別される。この判別結果に基づき、操作者判別部240は、運転者でないこと(その他)を示す信号を出力する。
In the case of the example of FIG. 3B, the
適格性判別部250は、操作者判別部240が特定した操作者が運転者以外(その他)の場合、当該操作者が操作の適格性を有するか否かを判別し、判別結果を操作者情報として出力する。本実施形態では、車載装置の操作に相応しい年齢であるか否かにより適格性を判別する。判別は、操作者の身長(座高)により行う。ここで出力される操作者情報は、その他の適格者、その他の不適格者のいずれかである。
When the operator specified by the
ここで、距離画像を用い、操作者の身長(座高)を特定する手法を説明する。図4は、距離画像上の長さ(画素数)から、実際の長さ(実長)を算出する手法を説明するための図である。距離画像において、対象物の、実長を測りたい方向の長さ(画素数)をx、同方向の中間の画素の画素値(距離値)をD、距離画像センサ221の焦点距離をfとすると、実長aは、以下の式(3)で表される。
a=((D-f)/f)×x (3)
Here, a method for specifying the height (sitting height) of the operator using the distance image will be described. FIG. 4 is a diagram for explaining a method of calculating the actual length (actual length) from the length (number of pixels) on the distance image. In the distance image, the length (number of pixels) of the object in the direction in which the actual length is to be measured is x, the pixel value (distance value) of an intermediate pixel in the same direction is D, and the focal length of the
a = ((D−f) / f) × x (3)
本実施形態の適格性判別部250は、この関係を利用し、操作者判別部240が抽出した画素群320の、距離画像内での最大長さ方向の画素数をカウントし、式(3)に従って、操作者の座高にあたる実長aを算出する。そして、座高(実長)aが予め定められた値以上であれば、操作者として相応しい年齢に達し、適格であると判別し、判別結果を出力する。なお、適格性を判別するルールは任意に設定可能である。
The
信号出力部260は、車速情報および操作者情報に応じ、操作の受付を制限する制限信号を出力する。車速情報および操作者情報に応じた制限信号を出力するか否かの判別は、制限DB270に規定されるルールに従って行われる。
The
ここで、制限DB270の一例を図5に示す。本図に示すように、制限DB270には、車速情報毎に、操作者情報に対応づけて制限信号を出力するか否かが登録される。本実施形態の信号出力部260は、車速情報として、停止および走行のいずれか1つを、操作者情報として、運転者、その他の適格者およびその他の不適格者の3種いずれか1つを受け取り、制限DB270に従って、制限信号を出力するか否かを決定する。例えば、本図に示す例の場合、操作者情報が運転手であり、車速情報が走行中を示すものである場合、および、操作者情報が不適格である場合、制限信号を出力する。
An example of the
なお、制限DB270は、予め定義され、登録される。どのような条件で制限信号を出力するかは、任意に設定可能である。
The
次に、本実施形態の受付制御部150による受付制御処理の流れについて説明する。図6は、本実施形態の受付制御処理の処理フローである。本実施形態の受付制御部150は、例えば、エンジンの始動により受付制御処理を開始する。また、ここでは、画像取得部220が距離画像を生成するタイミングで、操作有無判別部230は、操作の有無を判別する場合を例にあげて説明する。
Next, the flow of reception control processing by the
受付制御部150は、画像取得部220に、距離画像の取得を開始させる。そして、距離画像が取得される毎に、すなわち、Δt毎に(ステップS1101)、操作有無判別部230に、操作有りと判別するまで、操作の有無の判別を繰り返し行わせる(ステップS1102)。
The
受付制御部150は、操作有無判別部230から操作有りの信号を受け取ると、走行状態判別部210に走行状態を判別させ(ステップS1103)、判別結果を車速情報として信号出力部260へ通知する。また、画素群を特定する信号を操作者判別部240へ通知する。
When receiving the operation presence signal from the operation presence /
そして、受付制御部150は、操作者判別部240に操作者が運転者であるか否かを判別させる(ステップS1104)。判別結果が運転者以外(その他)である場合、受付制御部150は、画素群を特定する信号を適格性判別部250へ通知する。
And the
そして、受付制御部150は、適格性判別部250に操作者の適格性を判別させる(ステップS1105)。そして、結果を操作者情報として信号出力部260へ通知する。
Then, the
一方、ステップS1104で判別結果が運転者であった場合、受付制御部150は、その判別結果を操作者情報として信号出力部260へ通知する。
On the other hand, if the determination result is the driver in step S1104, the
受付制御部150は、信号出力部260が操作者情報および車速情報の両情報を受信すると、信号出力部260に制限DB270を参照させ、制限信号出力に該当するか否かを判別させる(ステップS1106)。該当する場合、受付制御部150は、制限信号を出力し(ステップS1107)、一方、該当しない場合、受付制御部150は、何も出力しないで処理を終了する。
When the
以上の処理により、本実施形態の受付制御部150は、車両の走行状態、操作者に応じて制限信号を出力し、ナビゲーション装置100の操作入力の受付を制限する。
Through the above processing, the
以上説明したように、本実施形態によれば、距離画像を用い、操作の有無を判別する。また、操作有りと判別した画素に連続する画素で操作者を判別する。従って、精度良く操作者を判別することができる。すなわち、運転者が助手席側に腕を回して操作を行ったり、センサの近傍に物体があるような場合であっても、操作者を誤認識することがない。さらに、適格性の判別も、操作者を判別した距離画像をそのまま用いて行う。従って、簡易な構成で、操作者の操作適格性も高精度に判別することができる。 As described above, according to this embodiment, the presence / absence of an operation is determined using a distance image. In addition, the operator is determined by a pixel that is continuous with the pixel determined to be operated. Therefore, the operator can be determined with high accuracy. That is, even when the driver performs an operation by turning his / her arm toward the front passenger seat or when there is an object in the vicinity of the sensor, the operator is not erroneously recognized. Furthermore, the determination of suitability is also performed using the distance image that has determined the operator as it is. Therefore, the operator's operation suitability can be determined with high accuracy with a simple configuration.
また、本実施形態によれば、走行状態を示す情報と合わせて、予め定めたルールに従って操作の制限の有無を決定するため、簡易な構成で、精度良く所望の制限を行うことができる。従って、確実性の高い操作入力制御を簡易な構成で行うことができる。 Moreover, according to this embodiment, since the presence or absence of the restriction | limiting of operation is determined according to a predetermined rule with the information which shows a driving | running | working state, a desired restriction | limiting can be performed with a simple structure with high precision. Therefore, highly reliable operation input control can be performed with a simple configuration.
従って、本実施形態によれば、簡易な構成で、車両の走行状態および操作者に応じて、入力操作の受け付けを精度良く制限することができ、安全性と利便性とを両立できる。 Therefore, according to the present embodiment, with a simple configuration, it is possible to accurately limit the acceptance of input operations in accordance with the traveling state of the vehicle and the operator, and both safety and convenience can be achieved.
なお、上記実施形態では、運転者以外の同乗者であって、操作の適格性がある者であれば、操作を許可するよう制御しているが、制御はこれに限られない。例えば、後部座席の乗員による操作の場合、その乗員の適格性によらず、走行中は拒否するよう制御してもよい。この場合の制御手法を以下に説明する。 In the above-described embodiment, control is performed so that the operation is permitted if the passenger is a passenger other than the driver and is qualified for the operation, but the control is not limited thereto. For example, in the case of an operation by a passenger in the rear seat, control may be performed so as to be rejected during traveling regardless of the qualification of the passenger. A control method in this case will be described below.
この場合、操作者判別部240は、さらに、操作者の座席位置を判別する機能を備える。すなわち、上記受付制御処理において、ステップS1104で運転者か、助手席の乗員か、後部座席の乗員かを判別する。また、適格性判別後、適不適のみでなく、判別対象乗員の座席位置も出力する。
In this case, the
信号出力部260は、操作者情報として、運転者、助手席の適格者、助手席の不適格者、後部座席乗員、の4種を受け取り、制限信号を出力するか否かの決定を行う。この場合の登録される制限DB270の一例を図7に示す。
The
このように、乗員の座席位置まで判別し、それに応じた制限DB270を設けることにより、より細かい操作受付制御を行うことができる。
As described above, by determining the seat position of the occupant and providing the
なお、受付制御部150は、上記全ての機能を備えなくても良い。例えば、操作有無判別部230と、操作者判別部240とのみを備えるものとし、運転者でないと判別された場合は、走行中の操作を制限しないよう構成してもよい。または、操作者が助手席の乗員と判別された場合のみ、走行中の操作を制限しないよう構成してもよい。
Note that the
<<第二の実施形態>>
次に、本発明を適用する第二の実施形態を説明する。本実施形態のナビゲーション装置は基本的に第一の実施形態と同様の構成を有する。第一の実施形態では、操作に適した年齢に達しているか否かの適格性を、身長(座高)により判別している。本実施形態では、適格性判別に変調光画像を用いた顔認識技術をさらに組合せ、その精度を高める。以後、第一の実施形態と異なる構成に主眼をおいて説明する。
<< Second Embodiment >>
Next, a second embodiment to which the present invention is applied will be described. The navigation device of this embodiment basically has the same configuration as that of the first embodiment. In the first embodiment, the suitability of whether or not the age is appropriate for the operation is determined based on the height (sitting height). In the present embodiment, a face recognition technique using a modulated light image is further combined with the eligibility determination to improve the accuracy. Hereinafter, a description will be given focusing on the configuration different from the first embodiment.
本実施形態の受付制御部150の構成は、基本的に第一の実施形態と同様である。図8は、本実施形態の受付制御部150の機能ブロック図である。本実施形態では、画像生成部220Aおよび適格性判別部250Aが第一の実施形態と異なる。すなわち、本実施形態の画像生成部222Aは、距離画像生成と略同タイミングで変調光画像をさらに生成する。また、本実施形態の適格性判別部250Aは、距離画像を用いた適格性判別に加え、変調光画像を用いた適格性判別も行う。
The configuration of the
本実施形態の画像生成部222Aによる変調光画像生成処理について説明する。本実施形態の距離画像センサ221は第一の実施形態と同じである。本実施形態では、画像生成部222が距離画像を生成するタイミングで、4つの電荷蓄積部に蓄積された電荷量(C1、C2、C3、C4)を用い、以下の式(4)に従って、各画素の強度値Bを計算する。
B=((C1−C3)2+(C2−C4)2)1/2)/2 (4)
算出した強度値Bを画素値とし、変調光画像を生成する。
A modulated light image generation process by the
B = ((C1-C3) 2 + (C2-C4) 2 ) 1/2 ) / 2 (4)
Using the calculated intensity value B as a pixel value, a modulated light image is generated.
このように、本実施形態では、各画素について、同じ蓄積された電荷量(C1、C2、C3、C4)を用い、距離値Dおよび強度値Bを算出し、それぞれ、距離画像および変調光画像とする。すなわち、本実施形態では、同タイミングで距離画像と同範囲の変調光画像が得られる。 As described above, in the present embodiment, the distance value D and the intensity value B are calculated using the same accumulated charge amount (C1, C2, C3, C4) for each pixel, and the distance image and the modulated light image are respectively obtained. And That is, in the present embodiment, a modulated light image in the same range as the distance image is obtained at the same timing.
本実施形態の適格性判別部250Aは、第一の実施形態と同様の手法で距離画像を用いて適格性を判別後、不適格と判別された場合、変調光画像を用いて再度適否を判別する。まず、操作者判別部240が抽出した画素群320から操作者の座高を算出し、適否を判別する。次に、変調光画像上の、抽出した画素群320に対応する画素群に対し、既存の顔認識技術を用い適格性を判別する。例えば、特定した画素群の中から顔にあたる部分を抽出し、第一の実施形態同様、車載装置の操作に相応しい年齢であるか否かを判別することにより、適格性を判別する。
The eligibility determination unit 250A of the present embodiment determines the suitability again using the modulated light image when it is determined as unqualified after determining eligibility using the distance image in the same manner as in the first embodiment. To do. First, the operator's sitting height is calculated from the
なお、既存の顔認識技術には、顔領域として抽出した画素の中で、目、鼻、口等の各部を抽出し、その配置バランスなどにより判別するもの、骨格を抽出し、その形状により判別するものなどがある。画像を用いた顔認識技術であれば、用いる手法は問わない。 In addition, in the existing face recognition technology, each part such as eyes, nose and mouth is extracted from the pixels extracted as the face area and discriminated based on the arrangement balance, etc., and the skeleton is extracted and discriminated by the shape. There are things to do. Any method can be used as long as it is a face recognition technique using an image.
本実施形態の受付制御部150による受付制御処理の処理フローを図9に示す。本実施形態の受付制御処理は、基本的に第一の実施形態と同様である。ただし、第一の実施形態のステップS1101において、受付制御部150は、距離画像だけでなく変調光画像も生成させる(ステップS1201)。また、適格性判別を行うステップS1105において、距離画像上で適格性を判別した際(ステップS1202)、不適格と判別された場合、変調光画像上で適格性を判別させる(ステップS1203)。そして、操作者情報として適格、不適格を出力する。
A processing flow of the reception control process by the
以上説明したように、本実施形態によれば、適格性を、距離画像だけでなく、変調光画像も用いて判別する。従って、より高い精度で適格性を判別できる。 As described above, according to the present embodiment, the suitability is determined using not only the distance image but also the modulated light image. Therefore, eligibility can be determined with higher accuracy.
また、本実施形態の距離画像センサ221は、変調の1周期を4等分した期間毎に4つの電荷蓄積部に電荷を蓄積する。そして、画像生成部222は、それらを用いて距離値Dおよび強度値Bを算出し、それぞれ距離画像および変調光画像を生成する。従って、同タイミング、同範囲を撮影対象とした距離画像および変調光画像を得ることができる。このため、距離画像と変調光画像との撮影範囲を対応付ける処理は不要であり、距離画像上で判別に用いた画素と同位置の画素を変調光画像上でそのまま判別に用いることができる。従って、上記高い精度の判別を、簡易な構成で実現できる。
In addition, the
すなわち、本実施形態によれば、第一の実施形態同様、簡易な構成で、車両の走行状態および操作者に応じて、入力操作の受け付けを精度良く制限することができ、安全性と利便性とを両立できる。 That is, according to the present embodiment, as in the first embodiment, the acceptance of input operations can be accurately limited according to the traveling state of the vehicle and the operator with a simple configuration, which is safe and convenient. And both.
なお、上記実施形態では、距離画像取得毎に変調光画像も取得し、距離画像上での判別で不適格と判別された場合、変調光画像で同じ位置の画素群で適格性を判別しているが、これに限られない。 In the above-described embodiment, a modulated light image is also acquired every time a distance image is acquired, and if it is determined to be ineligible by determination on the distance image, qualification is determined by a pixel group at the same position in the modulated light image. However, it is not limited to this.
例えば、走行開始時など、特定のタイミングでのみ変調光画像を取得し、既存の顔認識技術を用い、車内の各乗員の適格性を判別し、座席に対応づけて保持するよう構成してもよい。この場合、第一の実施形態の変形例で説明したように、操作者判別部240において、操作者の座席位置まで判別し、距離画像で不適格と判別された後、該当する座席に対応づけて保持する適格性データを参照し、最終的な判別結果とする。
For example, it may be configured to acquire a modulated light image only at a specific timing, such as at the start of traveling, to determine the eligibility of each occupant in the vehicle using an existing face recognition technology, and hold it in association with the seat Good. In this case, as described in the modification of the first embodiment, the
なお、上記各実施形態では、制限DB270は、予め設定され、保持するよう構成されているが、ユーザが適宜入力設定可能なよう構成してもよい。この場合、受付制御部150は、制限DB270の入力受付インタフェースを備え、このインタフェースを介して登録を受け付ける。このように構成することにより、制限DB270の登録内容を変更するだけで、所望の制御を容易に実現することができる。
In each of the above embodiments, the
また、上記各実施形態では、受付制御部150は、ナビゲーション装置100が備えるものとして説明したが、これに限られない。受付制御部150は、ナビゲーション装置100とは独立して設けられていてもよい。
Moreover, in each said embodiment, although the
また、距離画像センサ221は、本実施形態の受付制御部150とは独立して設けられていてもよい。この場合、受付制御部150は、距離画像センサ221からの信号を受信する距離画像センサ信号受信部を備え、ここで受信した電荷量を用い、画像を生成する。
The
また、上記各実施形態では、受付制御部150はエンジン始動後継続的に上記受付制御処理を行っているが、これに限られない。例えば、予め定めた時間間隔で行うよう構成してもよい。また、操作有無判別部230による操作の有無の判別処理も、上記各実施形態では、画像が取得されるタイミングで行っているが、これに限られない。予め定めた時間間隔で、その時点で最新の画像を用いて行うよう構成してもよい。さらに、操作有りと判別される前後で判別処理を行う時間間隔を変更するよう構成してもよい。
Moreover, in each said embodiment, although the
また、車両の走行状態を、車速信号により判別しているが、これに限られない。他の情報、例えば、パーキングブレーキの状態を示す信号により判別するよう構成してもよい。すなわち、パーキングブレーキがかかっている状態を停止状態とし、それ以外を走行中と判別する。 Moreover, although the traveling state of the vehicle is determined by the vehicle speed signal, the present invention is not limited to this. You may comprise so that it may discriminate | determine with the other information, for example, the signal which shows the state of a parking brake. That is, the state where the parking brake is applied is set to the stop state, and the rest is determined to be traveling.
また、上記各実施形態では、車速情報および操作者情報により、制限信号を出力し、操作の受け付けを制限するよう構成しているが、これに限られない。通常、操作の受け付けを制限するよう構成し、所定の車速情報および操作者情報の組合せの場合のみ、許可するよう構成してもよい。 Moreover, in each said embodiment, although it has comprised so that a restriction | limiting signal may be output and reception of operation may be restrict | limited by vehicle speed information and operator information, it is not restricted to this. Normally, the acceptance of operations may be limited, and only a combination of predetermined vehicle speed information and operator information may be permitted.
上記各実施形態において、受付制御部150の、距離画像センサ221を除く各機能は、CPUとメモリと記憶装置を備える情報処理装置上で、CPUが記憶装置に記憶されるプログラムをメモリにロードして実行することにより実現される。また、専用のハードウェアにより構成されてもよい。また、制限データベース270は、記憶装置上に構築される。
In each of the above embodiments, each function of the
100:ナビゲーション装置、110:ナビゲーション処理部、120:入力装置、130:出力装置、140:車両状態センサ受信部、150:受付制御部、210:走行状態判別部、220:画像取得部、221:距離画像センサ、222:画像生成部、230:走査有無判別部、240:操作者判別部、250:適格性判別部、260:信号出力部、270:制限DB、310:画素群、320:画素群、500:乗員 100: Navigation device, 110: Navigation processing unit, 120: Input device, 130: Output device, 140: Vehicle state sensor reception unit, 150: Reception control unit, 210: Traveling state determination unit, 220: Image acquisition unit, 221: Distance image sensor 222: Image generation unit 230: Scanning presence / absence determination unit 240: Operator determination unit 250: Eligibility determination unit 260: Signal output unit 270: Restriction DB 310: Pixel group 320: Pixel Group, 500: Crew
Claims (7)
当該車載機器が搭載される車両が走行中か否かを判別する走行状態判別手段と、
距離画像を取得する画像取得手段と、
前記距離画像を用い、操作の有無を判別する操作有無判別手段と、
前記距離画像を用い、操作者を判別する操作者判別手段と、
前記走行状態判別手段の判別結果と前記操作者判別手段の判別結果とに応じ、操作の受付を制限する制限信号を出力する信号出力手段と、を備え、
前記信号出力手段が制限信号を出力した場合、前記操作の受付を制限すること
を特徴とする受付制御装置。 An acceptance control device that controls acceptance of an operation of an in-vehicle device that performs processing according to an operation from an operator,
Traveling state determining means for determining whether or not the vehicle on which the in-vehicle device is mounted is traveling;
Image acquisition means for acquiring a distance image;
Using the distance image, an operation presence / absence determining means for determining presence / absence of an operation;
An operator discriminating means for discriminating an operator using the distance image;
Signal output means for outputting a restriction signal for restricting acceptance of an operation according to the determination result of the traveling state determination means and the determination result of the operator determination means;
When the signal output means outputs a restriction signal, the acceptance control device restricts acceptance of the operation.
前記操作者判別手段は、操作者が運転者であるか否かを判別し、
前記信号出力手段は、前記走行状態判別手段の判別結果が走行中で前記操作者判別手段の判別結果が運転者である場合、前記制限信号を出力すること
を特徴とする受付制御装置。 The reception control device according to claim 1,
The operator determining means determines whether or not the operator is a driver,
The reception control device, wherein the signal output means outputs the restriction signal when the determination result of the traveling state determination means is traveling and the determination result of the operator determination means is a driver.
前記操作者判別手段は、操作者の座席位置もさらに判別し、
前記信号出力手段は、前記走行状態判別手段の判別結果が走行中で前記操作者判別手段の判別結果が運転者または後部座席の乗員である場合、前記制限信号を出力すること
を特徴とする受付制御装置。 The reception control device according to claim 1 or 2,
The operator discriminating means further discriminates the seat position of the operator,
The signal output means outputs the restriction signal when the determination result of the traveling state determination means is traveling and the determination result of the operator determination means is a driver or a passenger in the rear seat. Control device.
前記受付制御手段は、前記操作者判別手段が否と判別した場合、前記距離画像を用い、当該操作者の操作適格性を判別する適格性判別手段をさらに備え、
前記信号出力手段は、前記適格性判別手段の判別結果が不適格である場合、前記制限信号を出力すること
を特徴とする受付制御装置。 The reception control device according to any one of claims 1 to 3,
The reception control means further includes a suitability determination means for determining the operation suitability of the operator using the distance image when the operator determination means determines that the determination is NO,
The reception control device, wherein the signal output means outputs the restriction signal when the determination result of the qualification determination means is unqualified.
前記画像取得手段は、さらに変調光画像も取得し、
前記適格性判別手段は、前記距離画像により不適格と判別された場合、前記変調光画像を用い、さらに操作適格性を判別すること
を特徴とする受付制御装置。 The reception control device according to claim 4,
The image acquisition means further acquires a modulated light image,
The admission control device according to claim 1, wherein the eligibility determination means determines the operation eligibility further using the modulated light image when it is determined to be ineligible based on the distance image.
距離画像を取得する距離画像取得ステップと、
前記距離画像を用いて、操作の有無を判別する操作有無判別ステップと、
前記操作有無判別ステップで操作有りと判別された場合、当該距離画像上で操作者を判別する操作者判別ステップと、
当該車載装置が搭載される車両が走行中か否かを判別する走行状態判別ステップと、
操作者判別ステップの判別結果と走行状態判別ステップの判別結果とに応じて、操作の受け付けを制限する受付制御ステップと、を備えること
を特徴とする受付制御方法。 A reception control method for an in-vehicle device that restricts reception of operations from an operator for the in-vehicle device,
A distance image acquisition step of acquiring a distance image;
An operation presence / absence determination step for determining the presence / absence of an operation using the distance image;
When it is determined that there is an operation in the operation presence / absence determination step, an operator determination step of determining an operator on the distance image;
A traveling state determination step for determining whether or not the vehicle on which the in-vehicle device is mounted is traveling;
An acceptance control method comprising: an acceptance control step for restricting acceptance of an operation in accordance with a discrimination result of an operator discrimination step and a discrimination result of a traveling state discrimination step.
請求項1から5記載の受付制御装置を備えること
を特徴とする車載装置。 An in-vehicle device that performs processing in response to an operation from an operator,
An in-vehicle device comprising the acceptance control device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010027933A JP2011163979A (en) | 2010-02-10 | 2010-02-10 | Reception control device and reception control method of vehicle-mounted device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010027933A JP2011163979A (en) | 2010-02-10 | 2010-02-10 | Reception control device and reception control method of vehicle-mounted device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011163979A true JP2011163979A (en) | 2011-08-25 |
Family
ID=44594825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010027933A Pending JP2011163979A (en) | 2010-02-10 | 2010-02-10 | Reception control device and reception control method of vehicle-mounted device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011163979A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092994A1 (en) * | 2013-09-27 | 2015-04-02 | Ricoh Company, Ltd. | Eligible operator determination device and eligible operator determination method |
| JP2016135665A (en) * | 2015-01-23 | 2016-07-28 | デンソー インターナショナル アメリカ インコーポレーテッド | Advanced driver assistance system for vehicle and control method thereof |
| WO2023105700A1 (en) * | 2021-12-09 | 2023-06-15 | 三菱電機株式会社 | Update determination device and update determination method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP2007118626A (en) * | 2005-10-24 | 2007-05-17 | Denso Corp | Vehicle-mounted electronic equipment control system |
| JP2008221960A (en) * | 2007-03-12 | 2008-09-25 | Equos Research Co Ltd | In-vehicle device |
| JP2008238952A (en) * | 2007-03-27 | 2008-10-09 | Denso Corp | Vehicular operating physical approach detection device, and on-vehicle electronic apparatus operation unit using the same |
| JP2009187130A (en) * | 2008-02-04 | 2009-08-20 | Panasonic Electric Works Co Ltd | Face recognition device |
-
2010
- 2010-02-10 JP JP2010027933A patent/JP2011163979A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP2007118626A (en) * | 2005-10-24 | 2007-05-17 | Denso Corp | Vehicle-mounted electronic equipment control system |
| JP2008221960A (en) * | 2007-03-12 | 2008-09-25 | Equos Research Co Ltd | In-vehicle device |
| JP2008238952A (en) * | 2007-03-27 | 2008-10-09 | Denso Corp | Vehicular operating physical approach detection device, and on-vehicle electronic apparatus operation unit using the same |
| JP2009187130A (en) * | 2008-02-04 | 2009-08-20 | Panasonic Electric Works Co Ltd | Face recognition device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092994A1 (en) * | 2013-09-27 | 2015-04-02 | Ricoh Company, Ltd. | Eligible operator determination device and eligible operator determination method |
| JP2016135665A (en) * | 2015-01-23 | 2016-07-28 | デンソー インターナショナル アメリカ インコーポレーテッド | Advanced driver assistance system for vehicle and control method thereof |
| WO2023105700A1 (en) * | 2021-12-09 | 2023-06-15 | 三菱電機株式会社 | Update determination device and update determination method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101908309B1 (en) | Lamp for Vehicle | |
| US20210309232A1 (en) | Driving assistance apparatus and data collection system | |
| JP5753509B2 (en) | Device information acquisition device | |
| CN110997416B (en) | Parking control method and parking control device | |
| US20170124987A1 (en) | Vehicle and method for controlling the vehicle | |
| CN111762184B (en) | Vehicle control systems and vehicles | |
| JP2018105774A (en) | Automated driving system | |
| JP2018172028A (en) | Vehicle control system, vehicle control method, and vehicle control program | |
| JPWO2014064898A1 (en) | Passenger counting device, method and program | |
| CN110281932A (en) | Driving control device, vehicle, driving control system, driving control method, and storage medium | |
| EP3737909B1 (en) | Detecting apparatus and on-board system including the same | |
| CN102985788A (en) | Distance measuring device and distance measuring method | |
| JPWO2017056821A1 (en) | Information acquisition apparatus and information acquisition method | |
| JP2018188028A (en) | Driver monitoring device and driver monitoring method | |
| WO2014083738A1 (en) | Text-reading device and text-reading method | |
| JP7227106B2 (en) | Operation control device, operation control method, and program | |
| CN113875217A (en) | Image recognition device and image recognition method | |
| JP2018133031A (en) | Driving switching support device and driving switching support method | |
| ES2902698T3 (en) | Determining the position of a non-vehicle object in a vehicle | |
| US20210297589A1 (en) | Imaging device and method of controlling imaging device | |
| CN112432079A (en) | Lighting device, driving method thereof and distance measuring module | |
| JP2018066701A (en) | Distance measurement device and method for controlling distance measurement device | |
| JP7070827B2 (en) | Driving evaluation device, in-vehicle device, driving evaluation system equipped with these, driving evaluation method, and driving evaluation program | |
| JP2016091192A (en) | Virtual image display apparatus, control method, program, and storage medium | |
| JP2011163979A (en) | Reception control device and reception control method of vehicle-mounted device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140318 |