JP2004067031A - 操作者判別装置およびこれを用いた車載装置 - Google Patents

Abstract

【課題】車載装置の操作者が運転者か非運転者か検知判別して、車載装置を制御する。
【解決手段】ナビゲーションシステムにおいて運転者席３１と助手席３２とを含む座席の前方に表示操作部１５を配置し、表示操作部１５と表示操作部１５へ伸ばされた運転者の左手および助手席着座者の右手を共に視野に入れて撮影可能に略車両中心線上に設置された赤外線カメラ２と、該赤外線カメラ２による画像データを処理して操作者を判別する画像処理部１３を備え、撮影画像から抽出された操作者の手の重心が画像内に設定された基準線の左側領域にあるか右側領域にあるかによって操作者を判別し、その判別結果と車速センサ４による車両の走行状態に基づき操作項目の許可範囲を制御する。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、操作者判別装置およびこれを用いた車載装置に関するものである。
【０００２】
【従来の技術】
車載装置として、例えば車載のナビゲーションシステムがある。運転者がナビゲーションシステムを操作中に複雑な操作に時間を取られて前方を見る時間が減少することが考えられる。そこで、現在のナビゲーションシステムは車速センサなどと連動し、走行時は簡単な操作のみを許可し、複雑な操作、たとえば目的地設定などは、走行中にはできないようになっている。
【０００３】
【発明が解決しようとする課題】
上記従来のナビゲーションシステムにおいて、目的地設定などの複雑な操作をする場合は、車を停止させる必要がある。一方、助手席に同乗している者は運転をしていないので、目的地設定などの複雑な操作を行いたいにも関わらず、走行中はかかる操作が出来ないという問題点があった。
【０００４】
この問題を解決する手段としての操作者判別装置が考えられ、それに類似の手の動作を判別する先行例として特開平８−２７２９７４号公報に示された手動作認識装置がある。この例では、左右のカメラ画像を使って、一人の人物の左手、右手を検知抽出し、人間の身振りや手振りの認識をしている。しかし、この例は、左右のカメラ画像を使い手首より先の部分（以後「手のひら」と称す）を抽出処理した上、手のひらの動きを判別する画像処理を行っていることから装置が複雑となっており、さらに一人の人物の左右の手のひらしか判別出来ないという制約がある。
【０００５】
【課題を解決するための手段】
上記課題を解決するために本発明は、運転者席および非運転者席から操作可能な位置にある操作部と、運転者席および非運転者席から操作部へ伸ばされた乗員の手を共に視野に入れて、操作部から前記座席側手前の所定範囲を撮影可能に設置された撮影手段と、該撮影手段による画像データを処理して、前記操作部へ手を伸ばした操作者が運転者であるか非運転者であるかを判別する画像処理部を備えた操作者判別装置とした。
【０００６】
また、運転者席と非運転者席とを含む座席の前方に操作部を配置した車載装置において、前記操作者判別装置を用い、該操作者判別装置による操作者の判別結果に基づいた車載装置の動作制御をする制御手段を備えた車載装置とした。
【０００７】
【発明の効果】
本発明の操作者判別装置によれば、操作しようとする者が運転者か非運転者かを簡単に判別することが出来る。
また、この操作者判別装置を車載装置と組み合わせることにより、運転者が操作していると判別された場合は車載装置を運転者に適した様に、非運転者が操作していると判別された場合は非運転者に適した様に、車載装置を制御することが出来、車載装置の操作性が向上する。
【０００８】
【発明の実施の形態】
本発明の実施形態をナビゲーションシステムを例に説明する。図１は、実施形態の全体システム構成を示す。ナビゲーションシステムは大きく分けて、カメラ・画像処理装置１とナビゲーションシステム本体装置３、車速センサ４からなる。
【０００９】
ここでカメラ・画像処理装置１は、赤外線カメラ２と画像処理部１３および記憶部１４からなる。赤外線カメラ２は画像処理部１３と信号線で結ばれ、画像処理部１３は記憶部１４およびナビゲーションシステム本体装置３と信号線で結ばれる。
また、ナビゲーションシステム本体装置３は表示操作部１５を有し、表示操作部１５の表示部１６は液晶モニターまたはＣＲＴであり、表示操作部１５の操作部１７はダイヤルスイッチ、ボタンスイッチまたはタッチパネルスイッチである。車速センサ４はナビゲーションシステム本体装置３と信号線で結ばれる。
【００１０】
赤外線カメラ２はレンズ１１と赤外線センサ１２で構成される。赤外線センサ１２は例えば非冷却型のアモルファスシリコンで構成され、その検知波長を太陽光線や日光で加熱されたダッシュボードなど周囲の物体から放射される赤外線波長からの影響を避けるため、例えば１０μｍ帯とする。
【００１１】
入射赤外線４１は、赤外線カメラ２のレンズ１１を通過して赤外線センサ１２に入射する。赤外線センサ１２のセンサ検出面に撮影対象が結像される。赤外線センサ１２は、画像を電気信号に変換して画像処理部１３に送る。画像処理部１３は画像データを一時的に記憶部１４に蓄え、記憶部１４の画像データを呼び出し、画像データから手の抽出などの作業処理をし、操作者を判別して結果をナビゲーションシステム本体装置３に出力する。
【００１２】
図２に右ハンドル車の前席の平面図を示す。図中、矢印は車両の進行方向を示す。赤外線カメラ２は、ほぼ車両左右中心線２５付近の運転者席３１と助手席３２（発明の非運転者席に対応）の前席着座者の手元が撮影しやすい車両天井部で、前席着座者が前かがみになった時でも頭部または上半身で前席着座者の手元が隠されない位置に前方斜め下向きに取り付けられており、即ち、斜め後上方から運転者２１の左手２３と助手席着座者２２（発明の非運転者に対応）の右手２４、ナビゲーションシステムの表示操作部１５を視野Ｓ内に入れて撮影している。
【００１３】
図３に実施形態における表示操作部制御の流れを示す。まずスタートとしてナビゲーションシステム本体装置３の電源スイッチを入れる。これによってナビゲーションシステム操作者の判別機能がスタートする。
【００１４】
ステップ１０１では赤外線カメラ２から赤外線画像データを取得し、記憶部１４に一時記憶する。この画像取得および記憶は一定の時間間隔、例えば０．１秒周期で行われる。通常の可視光カメラを用いた場合に取得される表示操作部１５まわりの画像が図４の（ｂ）に示すものとすると、人体から放射される赤外線に着目した赤外線カメラによる画像は図４の（ａ）に示すようなものとなる。
【００１５】
前記表示操作部１５の表示部１６が液晶モニターまたはＣＲＴであるので、表示画面はバックライトによって照明されるか電子線で照射されており、周りに比べて温度が高い。人体の表面温度は比較的一定の３０−３２℃で周囲より高く、特に手のひらや手首など皮膚が露出している部位からの放射赤外線量は多い。前腕など衣服があるところの表面温度は手のひらなどに比べて低く、放射赤外線量は若干少ないが周囲よりも多い。したがって、前記赤外線カメラによる画像は、図４の（ａ）のようになる。ここで、操作者の「手」とは、手首から先を含めた手のひらおよび前腕を合わせて「手」と称する。特に車両のフロントガラスは１０μｍ帯の遠赤外線を外部から通過させないため、赤外線カメラ２にはフロントガラスの内側表面から放射される赤外線のみが入射され、可視光線カメラを使用した場合のようなフロントガラス外の画像情報が赤外線カメラ２に入り込むことは無い。
【００１６】
次にステップ１０２では画像処理部１３において、記憶された赤外線カメラからの画像データの各画素の輝度レベルが、予め決められた閾値より高いか低いかの２値化処理をし、再度記憶部１４に記憶する。この場合、手の部分の検出信号が２値化の閾値レベルを超えるように前記閾値を選定する。２値化処理した画像を図５に示す。
【００１７】
更に、ステップ１０３では、前記２値化した画像データから、表示部１６の表示画面抽出を行う。通常は、赤外線カメラ２の撮影方向と当該表示部１６の相対位置がずれることは余り無いので、抽出は容易である。特に表示部１６の表示画面の形状の特徴と大きさを記憶部１４に参照データとして記憶させておき、この参照データと比較することにより抽出する。このステップでは赤外線カメラ画像（図５）で表示部１６の表示画面の左右中心線を境にして左側領域５１、右側領域５２と区別定義する。
【００１８】
次にステップ１０４で図５の画像データから手を抽出してその位置を計算する。
詳細には先ず、図５に示した２値化画像において、表示部１６の表示画面に該当する画像情報を予め間引くことで、操作者の手の抽出処理を容易にする。
そして、手の抽出結果に従って手の領域の面積が計算される。それぞれの抽出された手の領域の面積は所定の閾値と比較され、閾値より大きい場合に、その手の領域の重心５３または５４を計算する。
【００１９】
ステップ１０５では操作者の判別をする。手の重心が図５の右側領域５２にあれば操作者は運転者と判別され、手の重心が左側領域５１にあれば操作者は助手席着座者と判別する。また、左側領域５１と右側領域５２の両方に手の重心が存在する場合は、優先して運転者の操作と判断をする。運転者と助手席着座者のどちらの操作かという判別結果は、ナビゲーションシステム本体装置３に送られる。
つまり、運転者が走行中に右手でハンドルを握り左手を前記ナビゲーションシステムの表示操作部１５に伸ばした場合、手２３の重心位置５３は、図５中の右側領域５２に存在する。例え指先つまり手のひらの一部が左側領域５１に存在しても手のひらの大部分と前腕は右側領域５２に存在するので、手の重心５３は右側領域５２に存在することになる。これに対し、助手席着座者は運転者に比べて自由に座席を左右にずらせることが可能であるが、運転者が右側に居る場合は運転者の邪魔にならないような位置、つまり図５の左側の領域５１に留まるので助手席着座者が表示操作部１５に手を伸ばした場合、その手の重心５４は図５の左側の領域５１に存在する。
【００２０】
さらに、ステップ１０６では、ナビゲーションシステム本体装置３において、車速センサ４からの信号で車両が走行中かどうかを判断し、画像処理部１３におけるステップ１０５の操作者の判別結果と合わせて、以下のように車載装置を制御する。つまり、車載装置を、操作者が運転者でありかつ車両が走行中である場合はステップ１０７へ進み、簡単な操作のみ許可する「運転者制限操作モード」に設定し、運転者操作かつ車両走行中以外の場合は、ステップ１０８へ進んで全ての操作項目が許可される「全項目操作モード」に設定する。
【００２１】
ステップ１０７では、簡単な操作の「運転者制限操作モード」となる。このモードでは、例えば表示の拡大／縮小、表示位置中心の左右上下への移動、表示モードの変更（平面地図表示←→立体グラフィック表示）などの操作が出来る。
【００２２】
ステップ１０８では、「全項目操作モード」となる。このモードでは全ての項目の操作が許可される。この操作項目の中には例えば走行中には運転者には許可されない、複雑な操作を必要とする目的地設定、最短経路サーチ、渋滞時の回避経路サーチなどを含む。
【００２３】
ステップ１０７、１０８の後はステップ１０１に戻り、所定の周期（例えば０．１秒）で上記フローが繰り返される。
【００２４】
上記実施形態における構成と本発明の構成との対応を以下に説明する。実施形態の図１におけるナビゲーションシステム全体は本発明における車載装置に、同じくカメラ・画像処理装置１は本発明における操作者判別装置に、同じく赤外線カメラ２は本発明における撮影手段に、同じく画像処理部１３は本発明における操作者が運転者か非運転者かを判別する画像処理部に、同じく表示操作部１５は本発明における操作部に、実施形態における図３のフローチャートのステップ１０６は本発明における制御手段にそれぞれ対応する。さらに、実施形態の図１における車速センサ４は本発明における車両走行状態検出手段に対応する。
【００２５】
本実施形態は以上のように構成され、車両走行中に運転者がナビゲーションシステムを操作しようとして手を表示操作部１５へ伸ばすと、自動的に運転者に必要な簡単な操作だけが出来るモードに切り替わる。また、走行中でも運転者以外の操作者と判断された場合は、複雑な操作を含む全ての操作が許可されるモードとなるので、従来のナビゲーションシステムのように助手席着座者がいるにもかかわらず複雑な操作をするために停車する必要は無い。
【００２６】
また、１台の赤外線カメラで撮影範囲を限定する、つまり赤外線カメラの撮影視野Ｓは運転者および助手席着座者の車両の左右中心線に近い手を撮影することを特徴としており、画像処理装置で画像データから手を抽出しその重心が左右区分基準線より運転者席側にあるか助手席側にあるかで操作者を判別することで、容易に車載装置の操作者が判別可能となり、低コスト化が可能になる。
【００２７】
赤外線カメラの検知赤外線が１０μｍ波長帯の人体放射の赤外線であるので、目的とする人体の手が他の車内の映像部分、フロントガラスの映像より強調された映像となり、操作者を判別する２値化処理をしやすい赤外線画像が昼間、夜間に関わらず得られる。その結果、画像から操作者の手を抽出処理する上で処理が簡単化でき、手の面積計算、重心計算が容易になる。
【００２８】
更に、ナビゲーションシステムの表示部１６の表示画面を操作者判別のための手の位置基準として使用し、即ち赤外線カメラ映像を表示部１６の表示画面の左右中心線から左側と右側の領域に分けることによって手の重心がどちらの領域にあるか判別するので、赤外線カメラの設置位置、ナビゲーションシステム本体装置の設置位置の関係で撮影画像の左右中心から表示部１６の表示画面の左右中心線がずれた場合でも、精度の高い操作者判別が可能である。
【００２９】
なお、以上に説明した実施の形態は、右ハンドル車、前席二人席を例に説明したがこれは簡単なソフトの変更で左ハンドル車にも、３人以上の前席構成にも適用できる。
【００３０】
また、実施の形態では、画像処理で求めた表示部１６の表示画面を基に基準線を設定するとしたが、記憶部１４に表示部１６の表示画面の位置を予め記憶させておいて、これを用いることも出来る。これによれば冷間時など表示部１６の表示画面の温度が低く、赤外線カメラの画像データでは認識できない場合でも基準線を確実に設定することが出来る。
【００３１】
さらに、実施の形態ではナビゲーションシステムの操作項目の制御に操作者判別装置を使用する例を説明したが、これに制限されるものでない。例えば車載装置としてナビゲーションシステムとＴＶチューナー装置、ビデオ装置（ＤＶＤ、ＶＴＲなど）、情報処理装置などを組み合わせ、これらの装置の表示機能は１つの表示装置を共用して切り換えて使用する構成が考えられる。つまり、ナビゲーションシステムに複数の外部入力端子を設けて、ビデオデッキなどからの映像音声出力信号を入力し、ナビゲーションシステムの表示操作部１５の表示切換操作で表示内容をナビゲーション、ビデオ、情報処理装置からのいずれか１に切換制御する複合システムである。
このような複合システムにおいて、ナビゲーションシステムを起動した状態で、助手席着座者が表示画面をＴＶまたはビデオなどの状態で使用中に、運転者がナビゲーション画面情報を必要とする場合、表示操作部１５のスイッチを直接手で操作することなく、表示操作部１５近くに手を伸ばすだけで、前記実施形態の操作者判別機能により、表示画面を瞬時に現時点の車両位置を表示するナビゲーション機能の画面に切り替え制御することが出来る。
【００３２】
このような、操作者判別装置による表示画面切換制御機能により、運転者は表示操作部１５のスイッチを直接触れることなく瞬時に必要な画面切換が出来、便利である。
【図面の簡単な説明】
【図１】発明における実施形態のナビゲーションシステムの全体図である。
【図２】赤外線カメラ設置場所の説明図である。
【図３】実施形態における制御の流れを示すフローチャートである。
【図４】撮影画像を示す図である。
【図５】操作者判別要領を示す説明図である。
【符号の説明】
１　　　　カメラ・画像処理装置
２　　　　赤外線カメラ
３　　　　ナビゲーションシステム本体装置
４　　　　車速センサ
１１　　　レンズ
１２　　　赤外線センサ
１３　　　画像処理部
１４　　　記憶部
１５　　　表示操作部
１６　　　表示部
１７　　　操作部
２１　　　運転者
２２　　　助手席着座者（非運転者）
２３　　　運転者の手
２４　　　助手席着座者の手
２５　　　車両左右中心線
２６　　　ハンドル
３１　　　運転者席
３２　　　助手席（非運転者席）
４１　　　入射赤外線
５１　　　左側領域
５２　　　右側領域
５３　　　運転者の手の重心位置
５４　　　助手席着座者の手の重心位置
Ｓ　　　　赤外線カメラの視野

Claims (10)

1. 運転者席および非運転者席から操作可能な位置にある操作部と、前記運転者席および非運転者席から前記操作部へ伸ばされた乗員の手を共に視野に入れて、前記操作部から前記運転者席と非運転者席とを含む座席側手前の所定範囲を撮影可能に設置された撮影手段と、
   該撮影手段による画像データを処理して、前記操作部へ手を伸ばした操作者が運転者であるか非運転者であるかを判別する画像処理部を有することを特徴とする操作者判別装置。
2. 前記画像処理部は、前記画像データから手を抽出し、抽出した手が画像を左右に区分する基準線に対して運転者席側にあるときは操作者が運転者であると判断し、抽出した手が前記基準線に対して非運転者席側にあるときは操作者が非運転者であると判断することを特徴とする請求項１記載の操作者判別装置。
3. 前記画像処理部は、前記画像データを２値化処理して手を抽出し、抽出した手の重心位置を求めて、該重心位置が前記基準線に対して運転者席側にあるか非運転者席側にあるかにより操作者を判別することを特徴とする請求項２記載の操作者判別装置。
4. 前記基準線が前記操作部の左右中心線とされ、
   前記撮影手段は前記操作部の略左右中心線上に設置されていることを特徴とする請求項１から３のいずれか１に記載の操作者判別装置。
5. 前記操作部は車両の略左右中心線上に配置され、
   前記基準線が車両の左右中心線とされ、
   前記撮影手段は車両の左右中心線上に設置されていることを特徴とする請求項１から３のいずれか１に記載の操作者判別装置。
6. 前記撮影手段が赤外線カメラであることを特徴とする請求項１から５のいずれか１に記載の操作者判別装置。
7. 前記撮影手段が赤外線カメラであり、かつ前記操作部の表示画面は周囲温度より高い温度を有し、赤外線カメラによる画像データにおいて前記操作部表示画面の画像の左右中心線を前記基準線とすることを特徴とする請求項１から４のいずれか１に記載の操作者判別装置。
8. 運転者席と非運転者席とを含む座席の前方に操作部を配置した車載装置において、
   請求項１項から６のいずれか１の操作者判別装置を用い、
   該操作者判別装置による操作者の判別結果に基づいた前記車載装置の動作制御をする制御手段を有することを特徴とする車載装置。
9. 車両の走行状態を検出する車両走行状態検出手段を有し、
   前記制御手段は、さらに車両の走行状態に基づいて前記車載装置の動作制御をすることを特徴とする請求項７に記載の車載装置。
10. 前記制御手段は、操作者判別装置により操作者が運転者であると判断されたとき、車両の走行中は、操作者が非運転者であるときに比較して前記操作部の操作項目を制限することを特徴とする請求項８記載の車載装置。

Images