[go: up one dir, main page]

JP7571669B2 - ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体 - Google Patents

ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体 Download PDF

Info

Publication number
JP7571669B2
JP7571669B2 JP2021099466A JP2021099466A JP7571669B2 JP 7571669 B2 JP7571669 B2 JP 7571669B2 JP 2021099466 A JP2021099466 A JP 2021099466A JP 2021099466 A JP2021099466 A JP 2021099466A JP 7571669 B2 JP7571669 B2 JP 7571669B2
Authority
JP
Japan
Prior art keywords
model data
camera
image
vehicle
design support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021099466A
Other languages
English (en)
Other versions
JP2022190928A (ja
Inventor
智也 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2021099466A priority Critical patent/JP7571669B2/ja
Publication of JP2022190928A publication Critical patent/JP2022190928A/ja
Application granted granted Critical
Publication of JP7571669B2 publication Critical patent/JP7571669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体に関する。
ドライバの状態を監視するシステムとしてドライバ監視モニタが供されている。ドライバ監視モニタは、例えばカメラの撮像方向が運転席側に向けられた姿勢でインスツルメントパネルの上面に配置される。ドライバ監視モニタは、照明部から光が照射されたドライバの顔をカメラにより撮像し、その撮像した顔画像を解析してドライバの状態を監視する。ドライバ監視モニタは、顔画像から例えば脇見、閉眼、眠気、体位等を判定し、その判定結果を例えば自動運転を制御する電子制御装置(以下、ECU(Electronic Control Unit)と称する)等に逐次出力する(例えば特許文献1参照)。
特開2019-38471号公報
ドライバ監視モニタにおいて、カメラ及び照明部の仕様や配置位置は車両毎に異なる。又、ドライバ監視モニタが設置される車両、搭乗者の体格や姿勢も異なる。カメラ及び照明部の仕様や配置位置、ドライバ監視モニタが設置される車両、搭乗者の体格や姿勢等が不確定な段階において、カメラにより撮像したカメラ画像の見え方や性能を机上で評価することは困難である。そのため、カメラ及び照明部の仕様や配置位置、ドライバ監視モニタが設置される車両、搭乗者の体格や姿勢等を任意に変更させ、カメラにより撮像したカメラ画像の見え方や性能を事前評価するための設計支援装置が望まれる。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、カメラにより撮像したカメラ画像の見え方や性能を適切に事前評価することができるドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体を提供することにある。
請求項1に記載した発明によれば、車両モデルデータ記憶部(4)は、車両をモデル化した車両モデルデータを記憶する。カメラモデルデータ記憶部(5)は、搭乗者を撮像するためのカメラの仕様や配置位置をモデル化したカメラモデルデータを記憶する。照明部モデルデータ記憶部(6)は、搭乗者に光を照射するための照明部の仕様や配置位置をモデル化した照明部モデルデータを記憶する。搭乗者モデルデータ記憶部(7)は、搭乗者の体格や姿勢をモデル化した搭乗者モデルデータを記憶する。パラメータ設定値入力部(9)は、各モデルデータのパラメータ設定値を入力する。
車両画像生成部(10)は、車両モデルデータのパラメータ設定値が入力されたことで車両のコックピットを疑似的に再現して車両画像を生成する。カメラ画像生成部(11)は、カメラモデルデータ、照明部モデルデータ及び搭乗者モデルデータのパラメータ設定値が入力されたことでカメラの撮像動作及び照明部の照明動作を疑似的に再現してカメラ画像を生成する。画像表示制御部(14)は、車両画像及びカメラ画像を画像表示装置に表示させる。
車両モデルデータ、カメラモデルデータ、照明部モデルデータ、搭乗者モデルデータのパラメータ設定値を入力すると、車両のコックピットを疑似的に再現して車両画像を生成し、カメラの撮像動作及び照明部の照明動作を疑似的に再現してカメラ画像を生成し、その生成した車両画像及びカメラ画像を表示するようにした。各モデルデータのパラメータ設定値を入力することで、車両画像及びカメラ画像を認識することができ、カメラにより撮像したカメラ画像の見え方や性能を適切に事前評価することができる。
ドライバ監視モニタの設計支援装置の機能ブロック図 画面全体を示す図(その1) ユーザが選択可能又は設定可能な項目を示す図(その1) ユーザが選択可能又は設定可能な項目を示す図(その2) ユーザが選択可能又は設定可能な項目を示す図(その3) 画面全体を示す図(その2) 画面全体を示す図(その3) カメラ画像を示す図(その1) カメラ画像を示す図(その2) カメラ画像を示す図(その3) カメラ画像を示す図(その4) カメラ画像の一部を示す図(その1) カメラ画像の一部を示す図(その2) カメラ画像の一部を示す図(その3) カメラ画像を示す図(その5) カメラ画像を示す図(その6) カメラ画像を示す図(その7) カメラ画像を示す図(その8) ジョブリストを示す図(その1) ジョブリストを示す図(その2) シナリオリストを示す図 フローチャート
以下、一実施形態について図面を参照して説明する。ドライバ監視モニタとしてのドライバステータスモニタ(登録商標)(以下、DSM(Driver Status Monitor)と称する)の設計支援装置1は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びI/O(Input/Output)を有するマイクロコンピュータを備える。マイクロコンピュータは、非遷移的実体的記憶媒体に格納されている設計支援プログラムを実行することで設計支援処理を実行する。
設計支援装置1は、HMI(Human Machine Interface)としての操作装置2及び画像表示装置3を接続している。操作装置2は、例えばマウスやキーボード等であり、ユーザがマウスやキーボード等を操作すると、その操作内容を特定可能な操作検知信号を設計支援装置1に出力する。操作装置2は、位置を設定可能な機器であれば良く、マウスやキーボードに限らず、タッチパネル、ペンタブレット、タッチパッド、トラックパッド、トラックボール等のポインティングデバイスでも良い。画像表示装置3は、例えば液晶ディスプレイであり、設計支援装置1から描画指示信号を入力すると、その描画指示信号に応じて描画して画像を表示する。
設計支援装置1は、マイクロコンピュータが実行する機能として、車両モデルデータ記憶部4と、カメラモデルデータ記憶部5と、照明部モデルデータ記憶部6と、搭乗者モデルデータ記憶部7と、動画ファイル保存部8と、パラメータ設定値入力部9と、車両画像生成部10と、カメラ画像生成部11と、光学ディストーション計算部12と、スクリプト処理実行部13と、画像表示制御部14とを備える。これら各部4~14は設計支援プログラムを構成する。
車両モデルデータ記憶部4は、車両をモデル化した車両モデルデータを記憶する。車両モデルデータは、コンピュータ支援設計(CAD(Computer-Aided Design))やシミュレーションモデルを組み込み可能なデータである。又、車両モデルデータは、ハンドルのチルト、テレスコピック、舵角を任意に設定可能なデータである。
カメラモデルデータ記憶部5は、搭乗者を撮像するためのカメラの仕様や配置位置等をモデル化したカメラモデルデータを記憶する。カメラは例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有するカメラを想定している。カメラモデルデータは、車両モデルデータ内における配置位置、画角、アスペクト比及び撮像サイズを任意に設定可能なデータである。
又、カメラモデルデータは、複数のカメラをモデル化したデータであっても良く、同じ仕様のカメラをモデル化したデータ、異なる仕様のカメラをモデル化したデータの何れであっても良い。又、カメラモデルデータは、姿勢や位置が変更可能な部位に配置位置が設定された場合に、その部位の姿勢や位置の変更に連動し、姿勢や位置が変更可能なデータであっても良い。例えばステアリングコラムやバックミラー等に配置位置が設定された場合に、ステアリングコラムやバックミラー等の姿勢や位置の変更に連動し、カメラの姿勢や位置が変更可能であっても良い。又、カメラモデルデータは、ズーム機能を有するカメラをモデル化したデータであっても良い。又、カメラモデルデータは、搭乗者の顔を追跡する機能を有するカメラをモデル化したデータであっても良い。更に、カメラモデルデータは、搭乗者を撮像することに加え、車外を撮像するカメラをモデル化したデータであっても良い。車外を撮像することで、例えば駐車時の監視カメラとして利用することができ、警報装置と連携することで、盗難防止や悪戯防止の効果を期待することができ、セキュリティを高めることができる。
照明部モデルデータ記憶部6は、搭乗者に光を照射するための照明部の仕様や配置位置をモデル化した照明部モデルデータを記憶する。照明部は例えばLEDを想定している。照明部モデルデータは、車両モデルデータ内における配置位置、照度及び指向を任意に設定可能なデータである。
搭乗者モデルデータ記憶部7は、搭乗者の体格や姿勢をモデル化した搭乗者モデルデータを記憶する。搭乗者モデルデータは、所定のコンピュータグラフィックスモデルを含み、所定の異常姿勢を含む姿勢を任意に設定可能であり、顔向きのヨー、ピッチ、ロールの角度を任意に設定可能なデータである。又、搭乗者モデルデータは、搭乗者が装着可能な装飾品、車両モデルデータ内における配置位置を任意に設定可能なデータである。
動画ファイル保存部8は、動画ファイルを保存する。パラメータ設定値入力部9は、ユーザがマウスやキーボード等を操作装置2により操作して各モデルデータのパラメータ設定値を設定し、操作装置2から操作検知信号を入力すると、その操作検知信号により特定されるパラメータ設定値を入力する。即ち、パラメータ設定値入力部9は、ユーザが車両モデルデータのパラメータ設定値を設定すると、その車両モデルデータのパラメータ設定値を入力する。パラメータ設定値入力部9は、ユーザがカメラモデルデータのパラメータ設定値を設定すると、そのカメラモデルデータのパラメータ設定値を入力する。パラメータ設定値入力部9は、ユーザが照明部モデルデータのパラメータ設定値を設定すると、その照明部モデルデータのパラメータ設定値を入力する。パラメータ設定値入力部9は、ユーザが搭乗者モデルデータのパラメータ設定値を設定すると、その搭乗者モデルデータのパラメータ設定値を入力する。
車両画像生成部10は、車両モデルデータのパラメータ設定値がパラメータ設定値入力部9に入力されると、車両のコックピットを疑似的に再現して車両画像を生成する。
カメラ画像生成部11は、カメラモデルデータ、照明部モデルデータ及び搭乗者モデルデータのパラメータ設定値が入力されると、カメラの撮像動作及び照明部の照明動作を疑似的に再現してカメラ画像を生成する。上記したようにカメラモデルデータが複数のカメラをモデル化したデータである場合には、カメラ画像生成部11は、複数のカメラのカメラ画像を同期して生成する。
光学ディストーション計算部12は、焦点距離と対角角度により光学ディストーションを計算する。スクリプト処理実行部13は、カメラモデルデータ、照明部モデルデータ、搭乗者モデルデータのパラメータ設定値を複数パターンで記憶し、スクリプト処理を実行する。この場合、カメラ画像生成部11は、スクリプト処理がスクリプト処理実行部13により実行されると、カメラ画像の動画を生成し、そのカメラ画像の動画を動画ファイルとして動画ファイル保存部8に保存する。
画像表示制御部14は、車両画像が車両画像生成部10により生成され、カメラ画像がカメラ画像生成部11により生成されると、その生成された車両画像及びカメラ画像を特定可能な描画指示信号を画像表示装置3に出力し、車両画像及びカメラ画像を画像表示装置3に表示させる。この場合、画像表示制御部14は、図2に示すように、車両画像を画面全体のメインモニタの領域に表示させ、カメラ画像を画面右上のDSMカメラモニタの領域に表示させる。上記したようにカメラモデルデータが複数のカメラをモデル化したデータであれば、DSMカメラモニタの領域は個々のカメラに対応する複数であり、画像表示制御部14は、個々のカメラ画像を個々のDSMカメラモニタの領域に表示させる。又、画像表示制御部14は、ユーザが各種パラメータ設定値を設定するための操作パネルを画面下の領域に表示させ、処理ログを画面右下の領域に表示させる。又、画像表示制御部14は、光学ディストーションが光学ディストーション計算部12により計算されると、その計算された光学ディストーションを画像表示装置3に表示させる。
次に、操作パネルについて説明する。ユーザが操作パネルを操作して選択可能又は設定可能な項目は、図3から図5に示すように、操作対象選択、DSMカメラ、LED1、2、移動、向き変更(数値入力)、移動、向き変更(上下ボタン) 、運転手、助手席、後部座席、車種、モード・アンチエイリアス、レンズ歪み、バッチ処理である。以下、各項目について順次説明する。
車両画像は、ユーザが視点を任意に設定することで、任意の角度から立体視可能である。即ち、ユーザが例えばマウスをクリックして任意の方向に動かすことで、視点を任意に設定することができ、任意の角度から車両画像を立体視することができる。図6は、車内の左側後部座席から車両前方を立体視した車両画像を例示しており、図7は、車外の車両右側後方から車内前方を立体視した車両画像を例示している。
(1)操作対象選択
ユーザが例えばマウスを操作して移動や回転等の操作対象を選択する。選択する操作対象は、メインカメラ、LED1、LED2、ハンドル、運転手、座席である。
(2)DSMカメラ
LED連動:DSMカメラとLEDをグルーピングし、相対位置関係を保ったまま配置位置を変更可能である。グルーピングするLEDは後述する[連動LED]により選択する。即ち、カメラモデルデータ及び照明部モデルデータの配置位置を任意に設定可能である。
光軸表示/非表示:カメラの向き(光軸)を線で表示する。
垂直角度:画角の垂直角度を設定する。垂直角度とアスペクト比から水平角度を自動で計算して表示する。即ち、カメラモデルデータの画角を任意に設定可能である。
アスペクト比:カメラのアスペクト比と撮像サイズを選択する。即ち、カメラモデルデータのアスペクト比、撮像サイズを任意に設定可能である。
連動LED:[LED連動]がオンになっているときに、グルーピングさせるLEDを選択する。
表示サイズ:カメラモニタの表示サイズを選択する。図8は、画角をV:80,H100とし、アスペクト比を16:13としたときのカメラ画像を例示している。図9は、画角をV:100,H123とし、アスペクト比を16:13としたときのカメラ画像を例示している。
(3)LED1、2
位置表示/非表示:DSMカメラモニタに位置を表示するか否かを選択する。
光軸表示/非表示:LEDの向き(光軸)を線で表示する。
照度:LEDの明るさを0~100%で設定する。即ち、照明部モデルデータの照度を任意に設定可能である。
指向:光の指向角度を0~180°で設定する。即ち、照明部モデルデータの指向を任意に設定可能である。図10は、照射範囲を狭めたときのカメラ画像を例示している。図11は、照射範囲を広めたときのカメラ画像を例示している。
(4)移動、向き変更(数値入力)
数値入力操作により操作対象の配置位置及び向き(回転)を設定可能である。操作対象がDSMカメラであれば、数値入力操作によりカメラモデルデータの車両モデルデータ内における配置位置及び向きを任意に設定可能である。操作対象がLEDであれば、数値入力操作によりLEDモデルデータの車両モデルデータ内における配置位置及び向きを任意に設定可能である。
(5)移動、向き変更(上下ボタン)
マウス操作により操作対象の配置位置を10[mm]ずつ、向きを5[°]ずつ変更し、操作対象の配置位置及び向きを設定可能である。変更する軸を選択し、上ボタン(+方向)、下ボタン(-方向)で変更する。操作対象がDSMカメラであれば、マウス操作によりカメラモデルデータの車両モデルデータ内における配置位置及び向きを任意に設定可能である。操作対象がLEDであれば、マウス操作によりLEDモデルデータの車両モデルデータ内における配置位置及び向きを任意に設定可能である。
(6)運転手、助手席
運転手:運転席に乗車させる人物モデルを選択する。
助手席:助手席に乗車させる人物モデルを選択する。
顔向き:各座席に着座した人物モデルの顔向きを設定する。
動作選択:運転手の動作を選択する。動作選択を「正面を見る」以外に設定している場合には、顔向きは変更不可である。人物モデルは、AF05、AM50、AM95の3種のCGモデルを含み、全てのCGモデルはASV6の異常姿勢を含む姿勢を指定可能である。AF05は小柄な米国成人女性相当のモデルであり、AM50は平均的な米国成人男性相当のモデルであり、AM95は大柄な米国成人男性相当のモデルである。顔向きに関しては、ヨー、ピッチ、ロールをそれぞれ任意の角度に変更可能である。即ち、顔向きのヨー、ピッチ、ロールの角度を任意に設定可能である。
又、搭乗者が装着可能な装飾品を任意に設定可能である。図12は、搭乗者が装飾品を装着していないときを例示している。図13は、搭乗者が帽子を装着しているときを例示している。図14は、搭乗者が帽子及びマスクを装着しているときを例示している。尚、搭乗者が装着可能な装飾品は、帽子及びマスクの他に、眼鏡、スカーフ、イヤリング等である。
(7)後部座席
後部座席(左):左後部座席に乗車させる人物モデルを選択する。
後部座席(右):右後部座席に乗車させる人物モデルを選択する。
(8)車種
車種:シミュレートする車種を選択する。
ハンドル:ハンドル位置(テレスコピック)、角度(チルト、舵角)位置を表示する。
運転手:運転手横移動時(X方向)の位置を表示する。
座席:運転席前後移動時(Z方向)の位置を表示する。
(9)モード・アンチエイリアス
モード:シミュレート時の環境光を設定する。環境光を設定可能である。
アンチエイリアス:カメラ画像に対してのアンチエイリアスON/OFFを行う。アンチエイリアスをONにすることで、画像内の境界を滑らかに表現可能である。目のサイズ計測を行う場合はOFFとする。
図15は、環境光を昼間モードに設定したときのカメラ画像を例示している。図16は、環境光を夜間モードに設定したときのカメラ画像を例示している。
(10)レンズ歪み
カメラレンズの歪みを再現する。
光学ディストーション:光学ディストーションの現在値を表示する。
PD(Predicted Distance):PDの現在値を表示する。
AD(Actual Distance):ADの現在値を表示する。
拡大:レンズ歪み適応後の画面範囲に合わせて拡大した画像を表示する。
焦点距離[mm]:ディストーション計算用パラメータ設定値である。
対角角度[deg]:ディストーション計算用パラメータ設定値である。
図17は、光学ディストーション無しのときのカメラ画像を例示している。図18は、光学ディストーション有りのときのカメラ画像を例示している。
広角カメラにおいては光学ディストーションが必然的に発生するので、光学ディストーション無しによるシミュレーションでは実際のカメラ画像との差異が生じるが、光学ディストーションを計算することで、実際のカメラ画像との差異を極力抑える。
光学ディストーションを求める計算式は以下である。
光学ディストーション(%)={(AD-PD)/PD}×100(%)
PDは本来像を結ぶべき距離であり、ADは実際に像を結んだ距離である。
(11)バッチ処理
設定されたパラメータ設定値により撮像を行うバッチ処理を操作する。
バッチ処理では、ジョブファイルを事前に作成することで、パラメータ設定値毎のカメラ画像を自動保存する。又、シナリオファイルを事前に作成することで、ドライバに特定の動作をさせながら動画を撮像する。以下、ジョブファイルを事前に作成する場合、シナリオファイルを事前に作成する場合について説明する。
(11-1)ジョブファイルを事前に作成する場合、
ジョブファイルを作成する手順は以下である。
(1)CSVファイルをサンプルよりコピーする。CSVファイルは本ソフトウェアに含まれており、本サンプルを使用することでジョブファイルを短時間で作成することが可能となる。
(2)カメラの開始条件と終了条件に、カメラの位置、向きのプリセットを記入する。
(3)LEDの開始条件と終了条件に、LEDの位置、向きのプリセットを記入する。
(4)ジョブの開始条件と終了条件に、実際に使用するパラメータリストを記入する。
(5)ジョブファイルを所定のパスに配置する。この場合、複数のジョブファイルを配置可能である。
(6)シミュレータを起動することで読み込まれる。
パラメータ設定値を確認する手順は以下である。
(1)図19に示すように、ジョブリストからジョブファイル選択する。
(2)図20に示すように、パラメータリストからパラメータ番号を選択する。
(3)所定操作を行うと、選択中のパラメータ番号が再現される。
ジョブファイルの実行は、ジョブリストで実行するファイルを選択することでファイル毎に実行する場合と、全て実行する場合とがある。撮像データは所定領域に保存される。保存内容は、撮像データ(jpgファイル)、スクリーンショット(jpgファイル) 、実行したジョブファイル(csvファイル)である。
(11-2)シナリオファイルを事前に作成する場合、
シナリオファイルを作成する手順は以下である。
(1)CSVファイルをサンプルよりコピーする。CSVファイルは本ソフトウェアに含まれており、本サンプルを使用することでシナリオファイルを短時間で作成することが可能となる。
(2)パラメータの開始条件と終了条件に、指定動作の番号、動作時間、待機時間を記入する。
(3)シナリオファイルを所定のパスに配置する。この場合、複数のシナリオファイルを配置可能である。
(4)シミュレータを起動することで読み込まれる。
シナリオファイルの実行は、図21に示すように、シナリオリストから再生するファイルを選択する。撮像データは所定領域に保存される。保存内容は、運転手の頭位置(csvファイル)、カメラの位置(csvファイル)、LEDの位置(csvファイル)、撮像動画(aviファイル)である。
次に、上記した構成の作用について図22を参照して説明する。
設計支援装置1は、設計支援処理の開始条件の成立を待機しており、設計支援処理の開始条件の成立を判定すると、設計支援処理を開始する。設計支援装置1は、設計支援処理を開始すると、モデルデータのパラメータ設定値の入力を待機し(S1)、モデルデータのパラメータ設定値を入力したと判定すると(S1:YES、パラメータ設定値入力手順に相当する)、車両画像又はカメラ画像を生成する(S2、車両画像生成手順、カメラ画像生成手順に相当する)。
即ち、設計支援装置1は、車両モデルデータのパラメータ設定値を入力したと判定すると、車両のコックピットを疑似的に再現して車両画像を生成する。又、設計支援装置1は、カメラモデルデータ、照明部モデルデータ及び搭乗者モデルデータのパラメータ設定値を入力したと判定すると、カメラの撮像動作及び照明部の照明動作を疑似的に再現してカメラ画像を生成する。
設計支援装置1は、車両画像又はカメラ画像を生成すると、描画指示信号を画像表示装置3に出力し、その生成した画像を画像表示装置3に表示させる(S3:画像表示制御手順に相当する)。設計支援装置1は、設計支援処理の終了条件の成立を判定し(S4)、設計支援処理の終了条件の未成立を判定すると(S4:NO)、上記したステップS1に戻り、ステップS1以降を行う。設計支援装置1は、設計支援処理の終了条件の成立を判定すると(S4:YES)、設計支援処理を終了する。
以上に説明したように本実施形態によれば、次に示す作用効果を得ることができる。
ドライバ監視モニタの設計支援装置1において、車両モデルデータ、カメラモデルデータ、照明部モデルデータ、搭乗者モデルデータのパラメータ設定値を入力すると、車両のコックピットを疑似的に再現して車両画像を生成し、カメラの撮像動作及び照明部の照明動作を疑似的に再現してカメラ画像を生成し、その生成した車両画像及びカメラ画像を表示するようにした。各モデルデータのパラメータ設定値を入力することで、車両画像及びカメラ画像を認識することができ、カメラにより撮像したカメラ画像の見え方や性能を適切に事前評価することができる。
カメラモデルデータを、車両モデルデータ内における配置位置、画角、アスペクト比及び撮像サイズを任意に設定可能なデータとしたことで、配置位置、画角、アスペクト比及び撮像サイズを任意に設定したカメラ画像の見え方や性能を適切に事前評価することができる。
照明部モデルデータを、車両モデルデータ内における配置位置、照度及び指向を任意に設定可能なデータとしたことで、配置位置、照度及び指向を任意に設定したカメラ画像の見え方や性能を適切に事前評価することができる。
環境光を設定可能としたことで、夜間モードに設定すると、照明部モデルデータ以外の明かりを削減し、照明部の照射範囲や配置位置による影の影響を確認することができる。
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。
図面中、1はドライバ監視モニタの設計支援装置、4は車両モデルデータ記憶部、5はカメラモデルデータ記憶部、6は照明部モデルデータ記憶部、7は搭乗者モデルデータ記憶部、8は動画ファイル保存部、9はパラメータ設定値入力部、10は車両画像生成部、11はカメラ画像生成部、12は光学ディストーション計算部、13はスクリプト処理実行部、14は画像表示制御部である。

Claims (22)

  1. 車両をモデル化した車両モデルデータを記憶する車両モデルデータ記憶部(4)と、
    搭乗者を撮像するためのカメラの仕様や配置位置をモデル化したカメラモデルデータを記憶するカメラモデルデータ記憶部(5)と、
    搭乗者に光を照射するための照明部の仕様や配置位置をモデル化した照明部モデルデータを記憶する照明部モデルデータ記憶部(6)と、
    搭乗者の体格や姿勢をモデル化した搭乗者モデルデータを記憶する搭乗者モデルデータ記憶部(7)と、
    前記各モデルデータのパラメータ設定値を入力するパラメータ設定値入力部(9)と、
    前記車両モデルデータのパラメータ設定値が入力されたことで車両のコックピットを疑似的に再現して車両画像を生成する車両画像生成部(10)と、
    前記カメラモデルデータ、前記照明部モデルデータ及び前記搭乗者モデルデータのパラメータ設定値が入力されたことで前記カメラの撮像動作及び前記照明部の照明動作を疑似的に再現してカメラ画像を生成するカメラ画像生成部(11)と、
    前記車両画像及び前記カメラ画像を画像表示装置に表示させる画像表示制御部(14)と、を備えるドライバ監視モニタの設計支援装置。
  2. 前記車両モデルデータは、コンピュータ支援設計やシミュレーションモデルを組み込み可能なデータであり、
    前記車両画像は、任意の角度から立体視可能な画像である請求項1に記載したドライバ監視モニタの設計支援装置。
  3. 前記カメラモデルデータは、前記車両モデルデータ内における配置位置、画角、アスペクト比及び撮像サイズのうち少なくとも何れかを任意に設定可能なデータである請求項1又は2に記載したドライバ監視モニタの設計支援装置。
  4. 焦点距離と対角角度により光学ディストーションを計算する光学ディストーション計算部(12)を備え、
    前記画像表示制御部は、前記車両画像及び前記カメラ画像に加え、前記光学ディストーションを前記画像表示装置に表示させる請求項1から3の何れか一項に記載したドライバ監視モニタの設計支援装置。
  5. 前記照明部モデルデータは、前記車両モデルデータ内における配置位置、照度及び指向のうち少なくとも何れかを任意に設定可能なデータである請求項1から4の何れか一項に記載したドライバ監視モニタの設計支援装置。
  6. 環境光を設定可能である請求項1から5の何れか一項に記載したドライバ監視モニタの設計支援装置。
  7. 前記搭乗者モデルデータは、所定のコンピュータグラフィックスモデルを含み、所定の異常姿勢を含む姿勢を任意に設定可能であり、顔向きのヨー、ピッチ、ロールの角度を任意に設定可能なデータである請求項1から6の何れか一項に記載したドライバ監視モニタの設計支援装置。
  8. 前記搭乗者モデルデータは、搭乗者が装着可能な装飾品を任意に設定可能なデータである請求項1から7の何れか一項に記載したドライバ監視モニタの設計支援装置。
  9. 前記搭乗者モデルデータは、前記車両モデルデータ内における配置位置を任意に設定可能なデータである請求項1から8の何れか一項に記載したドライバ監視モニタの設計支援装置。
  10. 前記車両モデルデータは、ハンドルのチルト、テレスコピック、舵角を任意に設定可能なデータである請求項1から9の何れか一項に記載したドライバ監視モニタの設計支援装置。
  11. 前記カメラモデルデータ、前記照明部モデルデータ、前記搭乗者モデルデータのうち少なくとも何れかの前記パラメータ設定値を複数パターンで記憶し、スクリプト処理を実行するスクリプト処理実行部(13)を備える請求項1から10の何れか一項に記載したドライバ監視モニタの設計支援装置。
  12. 前記カメラ画像生成部は、前記スクリプト処理が実行された場合に、前記カメラ画像の動画を生成する請求項11に記載したドライバ監視モニタの設計支援装置。
  13. 前記カメラ画像生成部は、前記カメラ画像の動画を生成した場合に、その生成したカメラ画像の動画を動画ファイルとして動画ファイル保存部(8)に保存する請求項12に記載したドライバ監視モニタの設計支援装置。
  14. 前記カメラモデルデータは、複数のカメラをモデル化したデータであり、
    前記カメラ画像生成部は、複数のカメラの前記カメラ画像を同期して生成する請求項13に記載したドライバ監視モニタの設計支援装置。
  15. 前記カメラモデルデータは、同じ仕様のカメラをモデル化したデータである請求項14に記載したドライバ監視モニタの設計支援装置。
  16. 前記カメラモデルデータは、異なる仕様のカメラをモデル化したデータである請求項14に記載したドライバ監視モニタの設計支援装置。
  17. 前記カメラモデルデータは、姿勢や位置が変更可能な部位に配置位置が設定された場合に、その部位の姿勢や位置の変更に連動し、姿勢や位置が変更可能なデータである請求項1から16の何れか一項に記載したドライバ監視モニタの設計支援装置。
  18. 前記カメラモデルデータは、ズーム機能を有するカメラをモデル化したデータである請求項1から17の何れか一項に記載したドライバ監視モニタの設計支援装置。
  19. 前記カメラモデルデータは、前記搭乗者の顔を追跡する機能を有するカメラをモデル化したデータである請求項1から18の何れか一項に記載したドライバ監視モニタの設計支援装置。
  20. 前記カメラモデルデータは、搭乗者を撮像することに加え、車外を撮像するカメラをモデル化したデータである請求項1から19の何れか一項に記載したドライバ監視モニタの設計支援装置。
  21. 車両をモデル化した車両モデルデータを記憶する車両モデルデータ記憶部(4)と、
    搭乗者を撮像するためのカメラの仕様や配置位置をモデル化したカメラモデルデータを記憶するカメラモデルデータ記憶部(5)と、
    搭乗者に光を照射するための照明部の仕様や配置位置をモデル化した照明部モデルデータを記憶する照明部モデルデータ記憶部(6)と、
    搭乗者の体格や姿勢をモデル化した搭乗者モデルデータを記憶する搭乗者モデルデータ記憶部(7)と、を備えるドライバ監視モニタの設計支援装置(1)に、
    前記各モデルデータのパラメータ設定値を入力するパラメータ設定値入力手順と、
    前記車両モデルデータのパラメータ設定値が入力されたことで車両のコックピットを疑似的に再現して車両画像を生成する車両画像生成手順と、
    前記カメラモデルデータ、前記照明部モデルデータ及び前記搭乗者モデルデータのパラメータ設定値が入力されたことで前記カメラの撮像動作及び前記照明部の照明動作を疑似的に再現してカメラ画像を生成するカメラ画像生成手順と、
    前記車両画像及び前記カメラ画像を画像表示装置に表示させる画像表示制御手順と、を実行させるドライバ監視モニタの設計支援プログラム。
  22. 請求項21に記載したドライバ監視モニタの設計支援プログラムを記憶可能な記憶媒体。
JP2021099466A 2021-06-15 2021-06-15 ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体 Active JP7571669B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021099466A JP7571669B2 (ja) 2021-06-15 2021-06-15 ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021099466A JP7571669B2 (ja) 2021-06-15 2021-06-15 ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2022190928A JP2022190928A (ja) 2022-12-27
JP7571669B2 true JP7571669B2 (ja) 2024-10-23

Family

ID=84612750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021099466A Active JP7571669B2 (ja) 2021-06-15 2021-06-15 ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP7571669B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058045A (ja) 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法
JP2013130928A (ja) 2011-12-20 2013-07-04 Denso It Laboratory Inc 設計支援装置、設計支援方法及びプログラム
JP2018060512A (ja) 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
JP2019028876A (ja) 2017-08-02 2019-02-21 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058045A (ja) 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法
JP2013130928A (ja) 2011-12-20 2013-07-04 Denso It Laboratory Inc 設計支援装置、設計支援方法及びプログラム
JP2018060512A (ja) 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
JP2019028876A (ja) 2017-08-02 2019-02-21 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法

Also Published As

Publication number Publication date
JP2022190928A (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
US11900569B2 (en) Image-based detection of surfaces that provide specular reflections and reflection modification
US12154234B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
US12236540B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20170083104A1 (en) Information processing apparatus information processing method and storage medium
US20120287153A1 (en) Image processing apparatus and method
JP7734227B2 (ja) ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース
JP2016203910A (ja) 乗員検知装置および乗員検知方法
WO2017122270A1 (ja) 画像表示装置
US20240211038A1 (en) Gesture-Initiated Eye Enrollment
US12461640B2 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
CN111766939A (zh) 在光学透传显示器上的注意力方向
JP7571669B2 (ja) ドライバ監視モニタの設計支援装置、設計支援プログラム及び記憶媒体
US20240404189A1 (en) Devices, Methods, and Graphical User Interfaces for Viewing and Interacting with Three-Dimensional Environments
JP2025028130A (ja) 表示制御装置、表示制御方法、及びプログラム
US8307295B2 (en) Method for controlling a computer generated or physical character based on visual focus
EP2402838A1 (en) Methods and device for the determination and/or feedback and/or control of the effective measurement space in motion capturing systems
TWI463474B (zh) 影像調整系統及方法
KR102922456B1 (ko) 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR20250107686A (ko) 디스플레이 장치 및 그 제어 방법
KR20250050092A (ko) 시선 추적 등록을 위한 사용자 인터페이스들
CN121433496A (zh) 显示控制方法和电子设备
CN113038114A (zh) 基于人眼视觉特性的ar仿真系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240923

R150 Certificate of patent or registration of utility model

Ref document number: 7571669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150