JP2007153035A - 乗員着座判定システム - Google Patents

Abstract

【課題】運転者が自動車の助手席や後部座席の乗員の姿勢を注視しなくても、乗員の着座姿勢が適正であるか否かを自動的に判定することができ、着座姿勢が不適である場合には着座姿勢の適正化を乗員に促して乗員の安全を確保することができる着座姿勢判定システムを提供する。
【解決手段】前記自動車の助手席あるいは／および後部座席を撮影する撮影手段と、前記撮影手段により撮影された画像から乗員の着座姿勢を抽出する着座姿勢抽出手段と、前記着座姿勢抽出手段により抽出された前記乗員の着座姿勢と、予め記録させた適正着座姿勢とを比較して乗員の着座姿勢が適正であるか否かを判定する着座姿勢判定手段と、前記着座姿勢判定手段により着座姿勢が不適である場合に警告を発生する手段を備えている。
【選択図】図１

Description

本発明は、乗員着座判定システムに関し、詳しくは、自動車の助手席や後部座席に着座した乗員の姿勢が適正であるか否かを判定するもので、該判定結果に基づいて着座姿勢を適正化することにより、衝突時にエアバッグやシートベルトが有効に機能し乗員の安全を確保することができるものである。

従来から、自動車の衝突に際してエアバッグが展開することにより乗員を衝撃から保護するエアバッグ装置が実用化されている。また、近年では助手席など運転席以外の座席においてもエアバッグ装置が装備されるようになっているが、乗員の着座姿勢によってエアバッグ展開のための空間や、乗員がエアバッグに接触するまでの時間などが異なり、適正な着座姿勢でないときには、エアバッグが展開したとしても十分な保護効果が発揮されない場合がある。特に、助手席や後部座席等の乗員は運転者に比べて着座姿勢の変化が大きくなる傾向にあるため、これらの乗員の安全を確保するためにも、乗員の着座姿勢を適正化することが望まれている。

また、乗員がシートベルトを装着している場合においても、乗員の着座姿勢が適正でないと、衝突時の強い衝撃によりシートベルトが乗員の頸部や腹部などを圧迫して乗員が負傷する場合がある。したがって、シートベルトが有効に機能するためにも、乗員の着座姿勢を適正化することは重要である。

そこで、特開２００３−１０４１３２号公報には、助手席若しくは後部座席を撮影する撮影手段と、車両の運転者が着座姿勢のまま視認可能な位置に設けられたナビゲーション装置などの表示手段と、撮影された同乗者の画像データを前記表示手段に表示させる表示制御手段を備えた同乗者モニタ装置が提案されている。撮影された同乗者の画像は表示装置に表示されるため、運転者は少ない視線移動で助手席や後部座席の同乗者の様子を知ることができ、同時に同乗者の着座姿勢も確認することができる。

しかし、この同乗者モニタ装置は、撮影された同乗者の画像を表示装置に表示するだけの単純な構成であるため、同乗者の着座姿勢が安全上適正であるかどうかは、運転者が表示装置に表示された画像を見て判断する必要がある。そのために運転者は一定時間表示装置を注視しなければならず、運転中に視線が自動車の進行方向から外れて安全上好ましくないという問題がある。

特開２００３−１０４１３２号公報

本発明は前記問題に鑑みてなされたものであり、運転者が自動車の助手席や後部座席の乗員の姿勢を注視しなくても、乗員の着座姿勢が適正であるか否かを自動的に判定することができ、着座姿勢が不適である場合には着座姿勢の適正化を乗員に促して乗員の安全を確保することができる着座姿勢判定システムを提供することを課題としている。

前記課題を解決するため、本発明は、自動車の座席に着座した乗員の着座姿勢を判定するシステムであって、
前記自動車の助手席あるいは／および後部座席を撮影する撮影手段と、
前記撮影手段により撮影された画像から、乗員の着座姿勢を抽出する着座姿勢抽出手段と、
前記着座姿勢抽出手段により抽出された前記乗員の着座姿勢と、予め記録させた適正着座姿勢とを比較して乗員の着座姿勢が適正であるか否かを判定する着座姿勢判定手段と、
前記着座姿勢判定手段により着座姿勢が不適である場合に警告を発生する手段
を備えていることを特徴とする着座姿勢判定システムを提供している。

前記のように、助手席あるいは／および後部座席を撮影する撮影手段を設けることにより、着座した乗員の画像を得ることができ、後段の着座姿勢抽出手段や着座姿勢判定手段において画像処理を行なうことにより、乗員の着座姿勢が適正であるか否かの判定を自動的に行なうことができる。
撮影手段としては、広角レンズを有するモノクロＣＣＤカメラまたはカラーＣＣＤカメラを用いることができ、夜間にも車内を撮影できるように前記カメラを赤外線にも対応できるようにすると共に、赤外線照明を行なう赤外線ＬＥＤも備えることが好ましい。また、前記撮影手段は、助手席あるいは／および後部座席を検知できるような位置、例えば、ルームミラー近辺に取り付けられることが好ましい。また、所定時間ごとに前記カメラのアングルを切り替えて助手席および後部座席の乗員を順次撮影できるようにしてもよい。

また、前記のように、乗員の着座姿勢を抽出する着座姿勢抽出手段を設けているので、撮影された画像から着座姿勢を輪郭等で示す図形情報のみを抽出することができる。さらに、着座姿勢判定手段を設けているので、前記着座姿勢抽出手段により抽出された抽出画像を予め記録させた適正着座姿勢と比較、照合することにより、乗員の着座姿勢が適正であるか否かを自動的に判定することができる。したがって、従来のように、運転者が各乗員の着座姿勢を注視して姿勢が適正か否かの判断をする必要がない。
また、前記のように、着座姿勢判定手段により着座姿勢が不適であると判定された場合に警告を発生する手段を設けているので、乗員に着座姿勢の適正化を促すことができ、これにより衝突時においてエアバッグやシートベルトを有効に機能させて乗員の安全を確保することができる。

前記警告を発生する手段として、音声警告手段あるいは／および前記撮影手段で撮影された映像を表示する画像表示手段を設け、該画像表示手段で警告表示を行い、該画像表示手段を警告発生手段と兼用していることが好ましい。
前記のように、音声警告手段を設けることにより、乗員に着座姿勢が適正でないことを効果的に認知させることができ、表示モニタから離れた後部座席に着座する乗員などに認知させる場合には特に有効である。
警告音声としては、単にブザー音による警告でもよいし、どの乗員の着座姿勢が適正でないかを音声によって警告するものでもよい。

また、前記音声警告手段と共に、あるいは前記音声警告手段に替えて、前記撮影手段で撮影された映像を表示する画像表示手段で警告表示を行なうことにより、例えば、どの乗員の着座姿勢が適正でないかを表示して警告したり、適正でない乗員の着座姿勢の抽出画像などを表示して警告したりすることも可能となり、判定結果を視覚的に示しながら警告することが可能となる。また、画像表示手段を警告発生手段と兼用することにより、省スペースとなり装備追加が抑制される。
なお、警告発生手段と兼用する画像表示手段としては、ナビゲーション装置の表示装置（モニタ）を用いることができ、必要に応じて、ナビゲーション装置からの情報を表示する画面から、撮影された乗員の画像や警告を表示する画面に切り替えられるようにしてもよい。

本発明のシステムでは、前記着座姿勢抽出手段により抽出された前記乗員の着座姿勢を単純な図形に変換する着座姿勢単純化手段を備え、
前記着座姿勢判定手段に単純化された適正着座姿勢を記憶させて、前記着座姿勢単純化手段で単純化された着座姿勢と比較して着座姿勢を適正か否か判定し、さらに、
前記着座姿勢判定手段により乗員の着座姿勢が適正でないと判定された場合に、前記画像表示手段で表示される乗員の映像に重ねて判定結果を表示するためのオーバレイデータ作成手段とを備えていることが好ましい。

前記のように、着座姿勢抽出手段により抽出された抽出画像を、着座姿勢単純化手段により単純な図形に変換し、その後の着座姿勢判定手段において予め記憶させた単純化された適正着座姿勢と比較することにより、データ量を削減できメモリの節減になると共に、着座姿勢判定手段における処理速度を上げることができるため、短時間での判定が可能となる。

また、前記のように、画像表示手段で表示される乗員の映像に重ねて判定結果を表示するためのオーバレイデータ作成手段を設けているので、乗員は撮影画像と重ね合わせた判定結果を見ることにより、例えば、どの乗員の着座姿勢がどの程度適正な姿勢よりずれているかなどを視覚的に認識することができ、姿勢の適正化を容易に図ることができる。

前記着座姿勢抽出手段において、前記撮影手段により撮影された画像から着座する乗員の輪郭線が表された２値化画像を作成し、
前記着座姿勢単純化手段において、前記２値化画像中の頭部に相当する部分を丸い図形、胴部に相当する部分を四角形、腕や足に相当する部分を折れ線として単純化させていることが好ましい。

前記のように、乗員の輪郭線を抽出することにより、着座姿勢を明確に表すことができる。具体的には、濃淡画像である撮影画像（原画像）あるいは原画像がカラー画像である場合には原画像を濃淡画像に変換した画像に対して、微分処理（差分処理）することによりエッジ強調した後、その微分画像を２値化処理し、さらにラベリング処理、細線化処理などをすることにより、輪郭線の２値化画像を抽出することができる。

前記輪郭線の２値化画像を単純化するためには、例えば、面積、最大長、外接長方形、パターン方向、重心など所定の形状的特徴量を抽出し、この特徴量に基づき頭部に相当する部分は円や楕円などに、胴部に相当する部分は四角形に、腕や足に相当する部分は折れ線などに変換することが可能である。

前記着座姿勢判定手段は、着座位置に応じて単純化された適正な着座姿勢をテンプレートとして記憶したデータベースを有し、前記単純化された乗員の着座姿勢と前記テンプレートとを比較し、適正でない着座姿勢が所定時間以上継続した場合に着座姿勢が適正でないと判断することが好ましい。

前記のように、着座姿勢判定手段において、単純化された抽出画像のパターンに単純化された適正着座姿勢のテンプレート（標準パターン）を平行移動させて重ね合わせ、類似度が最も高い位置を検出するテンプレートマッチングを行なうことにより、最も高い値の類似度が所定の閾値より低く、その状態が一定時間継続した場合には着座姿勢が適正でないと判定することができる。類似度の基準となるものとして、例えばパターン間の距離（例えばユークリッド距離）や正規化された相互相関値などを用いることができる。
また、着座位置により適正着座姿勢が異なり、また、乗員の体格によっても異なるため、データベースには、着座位置や体格に応じたテンプレートを数多く記憶させておくことが好ましい。一方、体格に応じたテンプレートを記憶させる替わりに、基準となるテンプレートを拡大・縮小させて、テンプレートマッチングを行なうことも可能である。

前記画像表示手段に重ね合わせて表示させるオーバレイデータは、着座姿勢が適正でないと判定された乗員を取り囲んで表示するデータ、あるいは／および着座姿勢が適正でないと判断された乗員の単純化された着座姿勢を示すデータであることが好ましい。

前記構成によれば、着座姿勢が適正でないと判定された乗員を取り囲む表示を撮影画像に重ね合わせることができるため、その表示を見れば、着座姿勢が適正でない乗員を一目で区別することができる。また、着座姿勢が適正でないと判断された乗員の着座姿勢を示すデータ、さらに好ましくは適正な着座姿勢を示すデータも撮影画像に重ね合わせることにより、乗員はどの程度姿勢を直す必要があるかを視覚的に認識することができ、姿勢の適正化を容易に行なうことが可能となる。

前述したように、本発明によれば、助手席あるいは／および後部座席を撮影する撮影手段を設けることにより、着座した乗員の画像を得ることができ、後段の着座姿勢抽出手段や着座姿勢判定手段において画像処理を行なうことにより、乗員の着座姿勢が適正であるか否かの判定を自動的に行なうことができる。即ち、着座姿勢抽出手段では、撮影された画像から着座姿勢を表す図形情報のみを抽出することができ、着座姿勢判定手段においては、前記着座姿勢抽出手段により抽出された抽出画像を予め記録させた適正着座姿勢と比較、照合し、乗員の着座姿勢が適正であるか否かを判定することができる。
したがって、従来のように、運転者が各乗員の着座姿勢を注視して姿勢が適正か否かの判断をする必要がないという利点を有している。
また、前記着座姿勢判定手段により着座姿勢が不適であると判定された場合に警告を発生する手段を設けているので、乗員に着座姿勢の適正化を促すことができ、これにより衝突時においてエアバッグやシートベルトを有効に機能させて乗員の安全を確保することができる。

以下、本発明の実施形態を図面を参照して説明する。
第一実施形態における乗員着座姿勢判定システムは、図１に示すように、広角ＣＣＤモノクロカメラ１０ａおよび赤外線ＬＥＤ１０ｂからなる撮影手段１０、画像入力装置１１、ＣＰＵを備えたマイコン１２、記憶装置１３、表示装置１４および音声警告装置１５から構成される。撮影装置１０で撮影された画像は画像入力装置１１に取り込まれ、表示装置１４で表示される一方、取り込まれた撮影画像は、着座姿勢抽出機能１２ａ、着座姿勢単純化機能１２ｂ、着座姿勢判定機能１２ｃおよびオーバレイデータ作成機能１２ｄを有するマイコン１２で画像処理される。記憶装置１３はマイコン１２に接続され、適正な着座姿勢のテンプレートが記憶されたデータベース１３ａを有している。

表示装置１４は画像入力装置１１およびマイコン１２に接続され、撮影画像および、着座姿勢が適正でないと判断された場合にはオーバレイデータ作成機能１２ｄで作成された警告表示のためのオーバレイデータが撮影画像に重ね合わされて表示される。マイコン１２には、音声合成ボード（図示せず）およびスピーカー（図示せず）からなる音声警告装置１５が接続され、着座姿勢判定機能１２ｃにより着座姿勢が適正でないと判定された場合にはブザー音により警告を発生する。

図２に示すように、広角ＣＣＤモノクロカメラ１０ａおよび赤外線ＬＥＤ１０ｂからなる撮影装置１０は、自動車１６のルームミラー近辺に設けられ、助手席１７および後部座席１８を検知できるようしている。表示装置１４はダッシュボード中央部付近に設けられ、ナビゲーション装置の表示モニタを兼用してもよい。

次に、本実施形態の作動について説明する。図３は自動車運転中の乗員着座姿勢判定システムの作動を示すフローチャートであり、自動車のイグニッションがオンされると同時にスタートされるものである。
まず、乗員着座姿勢判定システムを作動する設定になっているか否かが判断され（Ｓ１０）、作動する設定になっている（ＹＥＳ）と判断された場合には撮影装置１０により助手席および後部座席が撮影され、撮影された画像（原画像）は画像入力装置１１に取り込まれる（Ｓ１１）。取り込まれた画像は表示装置１４に表示されるようになっている。なお、乗員着座姿勢判定システムの作動は、座席ごとにオンオフできるようにしていてもよい。

続いて、マイコン１２の着座姿勢抽出機能１２ａにて、取り込まれた原画像を背景画像（乗員が写っていない画像）で背景差分処理を行なった後、微分処理、２値化処理、必要に応じてノイズ除去などの前処理を行なった後、ラベリング処理を施し（Ｓ１２）、ラベリングした画像の輪郭線の抽出を行なう（Ｓ１３）。微分処理は公知であるソーベルの微分フィルタなどを用いて行なうことができ、この処理により輪郭線だけを抽出できる。さらに、２値化処理により輪郭線をより明瞭にすることができる。また、ラベリング処理によって乗員ごとの輪郭線をラベル付けすることができる。このようにして、図４に示す原画像１９から輪郭線２０が抽出される。

輪郭線２０を抽出後、着座姿勢単純化機能１２ｂでの単純化に必要な輪郭線２０の特徴抽出を行ない（Ｓ１４）、着座姿勢単純化機能１２ｂにて、輪郭線２０の頭部に相当する部分は丸い形状、胴部に相当する部分は四角形、腕や足に相当する部分を折れ線に単純化して、輪郭線２０を単純化したパターン２１に変換する（Ｓ１５）。例えば、頭部に相当する部分の重心、面積Ａおよび円相当径ｄＨ（面積Ａと等しい面積を持つ円の直径）をステップ１４で特徴量として抽出し、ステップ１５で、輪郭線２０の頭部に相当する部分を、抽出した重心を中心とする直径ｄＨの円と単純化することができる。また、胴部に相当する部分を外接長方形に単純化したり、腕や足に相当する部分の極大曲率点、角点などを分割点とし、分割点により分割されたそれぞれの部分に対して直線の当てはめを行なうことにより腕や足に相当する部分を折れ線に単純化したりすることが可能である。しかし、単純化する方法は前記方法に限定されるものではない。

図５は、単純化した着座姿勢（パターン）２１の例を示すものである。（Ａ）は適正な着座姿勢の場合であり、（Ｂ）は前傾姿勢の場合、（Ｃ）は窓に寄りかかった姿勢の場合、（Ｄ）はお尻を座席前方にずらして着座した姿勢の場合を示している。

次に、着座姿勢判定機能１２ｃにて、単純化されたパターン２１が記憶装置１３のデータベース１３ａに記憶されている単純化された適正着座姿勢のテンプレートと比較・照合される（テンプレートマッチング、Ｓ１６）。テンプレートマッチングは、単純化されたパターンに単純化された適正着座姿勢のテンプレートを平行移動させて重ね合わせ、類似度が最も高い位置を検出するものであり、データベース１３ａには、着座位置や体格に応じた適正着座姿勢のテンプレートが数多く記録されている。

本実施形態では、類似度の基準として以下の数式に示すパターン間の距離（ユークリッド距離）を用い、最小距離値を与える位置が類似度の最も高い位置と判断する。このユークリッド距離の最小値が所定の閾値より高く、この状態が３０秒間継続した場合には、着座姿勢が適正でないと判定し、ユークリッド距離の最小値が所定の閾値より低い場合には着座姿勢は適正であると判定する（Ｓ１７）。しかし、類似度の基準は前記したものに限定されない。このようにして、図５に示した着座姿勢は、（Ａ）は適正と判定され、（Ｂ）、（Ｃ）、（Ｄ）は適正でないと判定される。

着座姿勢が適正でない（ＮＯ）と判断された場合には、オーバレイデータ作成機能１２ｄにて、その乗員を赤い丸で取り囲んで表示するオーバレイデータおよびその乗員の単純化された着座姿勢を表示するオーバレイデータが作成される（Ｓ１８）。引き続き、音声警告装置１５がオンになっているか否かが判断され（Ｓ１９）、オンになっている（ＹＥＳ）と判断された場合には、ブザー音による音声警告および前記オーバレイデータが乗員の映像に重ね合わせられて表示、警告される（Ｓ２０）。一方、音声警告装置１５がオンになっていない（ＮＯ）と判断された場合には、前記オーバレイデータによる警告表示のみがなされる。（Ｓ２１）。

一方、着座姿勢が適正である（ＹＥＳ）と判断された場合は、ステップ１０に戻り、以上説明してきた処理を繰り返す。
なお、前記オーバレイデータとして、さらに適正着座姿勢を適正でない乗員の映像に重ね合わせて表示するようにしてもよい。これにより、着座姿勢が適正でない乗員がどの程度姿勢を直す必要があるかを認識することができる。

前記のように、助手席１７および後部座席１８を撮影する撮影装置１０を設けることにより、着座した乗員の画像を得ることができ、マイコン１２の着座姿勢抽出機能１２ａでは撮影された画像１９から乗員の着座姿勢を表す輪郭線２０を抽出し、着座姿勢単純化機能１２ｂでは輪郭線２０を単純化されたパターン２１に変換し、着座姿勢判定機能１２ｃでは単純化されたパターン２１と予めデータベース１３ａに記録させた単純化された適正着座姿勢のテンプレートとを比較、照合して乗員の着座姿勢が適正であるか否かを判定することができる。したがって、従来のように、運転者が各乗員の着座姿勢を注視して姿勢が適正か否かの判断をする必要がない。

また、前記着座姿勢判定機能１２ｃにより着座姿勢が不適であると判定された場合に、音声発生装置１５より警告音を発すると共に、オーバレイデータ作成機能１２ｄにより警告表示のデータが作成され、表示装置１４に表示される撮影画像に前記警告表示を重ね合わせることができる。したがって、警告音および警告表示により乗員に着座姿勢の適正化を促すことができ、特に、オーバレイデータである警告表示を乗員の映像に重ね合わせることにより、どの乗員の着座姿勢がどの程度適正な姿勢よりずれているかなど視覚的に認識することができ、姿勢の適正化を容易に図ることができる。

本発明の実施形態の着座姿勢判定システムの構成図である。 実施形態における撮影装置の取り付け位置および撮影エリアを示す概略図である。 実施形態の着座姿勢判定システムのフローチャートである。 実施形態において原画像から単純化されたパターンに変換されるまでの説明図である。 単純化された着座姿勢（パターン）の例を示す図である。

符号の説明

１０ 撮影装置
１０ａ ＣＣＤカメラ
１０ｂ 赤外線ＬＥＤ
１１ 画像入力装置
１２ マイコン
１２ａ 着座姿勢抽出機能
１２ｂ 着座姿勢単純化機能
１２ｃ 着座姿勢判定機能
１２ｄ オーバレイデータ作成機能
１３ 記憶装置
１３ａ データベース
１４ 表示装置
１５ 音声警告装置
１６ 自動車
１７ 助手席
１８ 後部座席
１９ 原画像
２０ 輪郭線
２１ 単純化されたパターン

Claims (6)

1. 自動車の座席に着座した乗員の着座姿勢を判定するシステムであって、
   前記自動車の助手席あるいは／および後部座席を撮影する撮影手段と、
   前記撮影手段により撮影された画像から、乗員の着座姿勢を抽出する着座姿勢抽出手段と、
   前記着座姿勢抽出手段により抽出された前記乗員の着座姿勢と、予め記録させた適正着座姿勢とを比較して乗員の着座姿勢が適正であるか否かを判定する着座姿勢判定手段と、
   前記着座姿勢判定手段により着座姿勢が不適である場合に警告を発生する手段
   を備えていることを特徴とする着座姿勢判定システム。
2. 前記警告を発生する手段として、音声警告手段あるいは／および前記撮影手段で撮影された映像を表示する画像表示手段を設け、該画像表示手段で警告表示を行い、該画像表示手段を警告発生手段と兼用している請求項１に記載の着座姿勢判定システム。
3. 前記着座姿勢抽出手段により抽出された前記乗員の着座姿勢を単純な図形に変換する着座姿勢単純化手段を備え、
   前記着座姿勢判定手段に単純化された適正着座姿勢を記憶させて、前記着座姿勢単純化手段で単純化された着座姿勢と比較して着座姿勢を適正か否か判定し、さらに、
   前記着座姿勢判定手段により乗員の着座姿勢が適正でないと判定された場合に、前記画像表示手段で表示される乗員の映像に重ねて判定結果を表示するためのオーバレイデータ作成手段とを備えている請求項２に記載の着座姿勢判定システム。
4. 前記着座姿勢抽出手段において、前記撮影手段により撮影された画像から着座する乗員の輪郭線が表された２値化画像を作成し、
   前記着座姿勢単純化手段において、前記２値化画像中の頭部に相当する部分を丸い図形、胴部に相当する部分を四角形、腕や足に相当する部分を折れ線として単純化させている請求項１乃至請求項３のいずれか１項に記載の乗員着座姿勢判定システム。
5. 前記着座姿勢判定手段は、着座位置に応じて単純化された適正な着座姿勢をテンプレートとして記憶したデータベースを有し、前記単純化された乗員の着座姿勢と前記テンプレートとを比較し、適正でない着座姿勢が所定時間以上継続した場合に着座姿勢が適正でないと判断している請求項１乃至請求項４のいずれか１項に記載の乗員着座姿勢判定システム。
6. 前記画像表示手段に重ね合わせて表示させるオーバレイデータは、着座姿勢が適正でないと判定された乗員を取り囲んで表示するデータ、あるいは／および着座姿勢が適正でないと判断された乗員の単純化された着座姿勢を示すデータである請求項１乃至請求項５のいずれか１項に記載の乗員着座姿勢判定システム。

Images