JP2018148314A - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

Abstract

【課題】車両が傾斜している場合であっても、車両の周囲を適切に表示する。【解決手段】車両の周辺を撮影した周辺映像データを取得する映像データ取得部４２と、車両の傾きを示す傾きデータを取得する車両傾きデータ取得部４６と、映像データ取得部４２が取得した周辺映像を、車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成部４３と、俯瞰映像生成部４３に対して、車両傾きデータ取得部４６が取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御部４５と、を有する。【選択図】図１

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

車両の周囲に設置された複数のカメラで車両周辺を撮影し、撮影した複数の映像に視点変換処理を行い合成した俯瞰映像をモニタに表示させる技術が知られている（例えば、特許文献１ないし特許文献３参照）。特許文献１の技術では、路面に傾斜の変化が存在する際に、上空からの俯瞰映像に発生する歪みを補正することが開示されている。特許文献２、特許文献３の技術では、カメラの傾きを検出し、カメラの傾きを補正して合成することが開示されている。

特開２００７−３１８４６０号公報 特開２００７−２６６９３０号公報 特開２０１５−１０６７７７号公報

車両の真上が仮想視点として設定されている場合、路面が傾斜して車両が傾くと、車両とともに仮想視点も鉛直方向に対して傾くことになる。生成された俯瞰映像においては、鉛直方向に沿って建てられている看板や建造物が、傾いて建っているように表示される。このため、運転者が俯瞰映像を用いて車両の周囲を確認しようとする際に違和感を感じることがある。

本発明は、上記に鑑みてなされたものであって、車両が傾斜している場合であっても、車両の周囲を適切に表示することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、前記車両の傾きを示す傾きデータを取得する傾きデータ取得部と、前記映像データ取得部が取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部に対して、前記傾きデータ取得部が取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御部と、を有することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影する複数のカメラ、前記俯瞰映像を表示する表示部、前記車両の傾きを検出するセンサの少なくともいずれかと、を備える。

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の傾きを示す傾きデータを取得する傾きデータ取得ステップと、前記映像データ取得ステップで取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップに対して、前記傾きデータ取得ステップで取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御ステップと、を含む。

本発明に係るプログラムは、車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の傾きを示す傾きデータを取得する傾きデータ取得ステップと、前記映像データ取得ステップで取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップに対して、前記傾きデータ取得ステップで取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御ステップと、を俯瞰映像生成装置として動作するコンピュータに実行させる。

本発明によれば、路面が傾斜している場合であっても、車両の周囲を適切に表示することができるという効果を奏する。

図１は、実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、実施形態に係る俯瞰映像生成システムの仮想視点の位置を説明する概略図である。 図３は、実施形態に係る俯瞰映像生成システムの仮想視点の位置を説明する概略図である。 図４は、実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図５は、実施形態に係る俯瞰映像生成システムで生成された俯瞰映像の一例を示す図である。 図６は、実施形態に係る俯瞰映像生成システムで生成された俯瞰映像の他の例を示す図である。 図７は、車両の傾きの時間変化の一例を説明するグラフである。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

俯瞰映像生成システム１は、車両Ｖの傾きに応じて仮想視点Ｐの位置を調整し、車両Ｖを上方側の仮想視点Ｐから見下ろしたような俯瞰映像を生成しモニタ３０に表示する。

俯瞰映像生成システム１は、車両Ｖに搭載されている。俯瞰映像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。

図１を用いて、俯瞰映像生成システム１について説明する。図１は、実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、第一車外カメラ（カメラ）１１と、第二車外カメラ（カメラ）１２と、第三車外カメラ（カメラ）１３と、第四車外カメラ（カメラ）１４と、車両傾きセンサ（センサ）２０と、モニタ（表示部）３０と、俯瞰映像生成装置４０とを有する。

第一車外カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。第一車外カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。第一車外カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

第二車外カメラ１２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。第二車外カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。第二車外カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

第三車外カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。第三車外カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。第三車外カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

第四車外カメラ１４は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。第四車外カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。第四車外カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

このような第一車外カメラ１１と第二車外カメラ１２と第三車外カメラ１３と第四車外カメラ１４とで、車両Ｖの全方位を撮影する。

車両傾きセンサ２０は、車両Ｖの傾きを検出するセンサである。車両傾きセンサ２０は、例えば、車両Ｖの角速度を検出する３軸ジャイロセンサである。より詳しくは、３軸ジャイロセンサは、ロールレートジャイロと、ピッチレートジャイロと、ヨーレートジャイロとを有する。ロールレートジャイロは、車両Ｖの前後方向を軸とした回転の角速度であるロール角速度を検出する。ピッチレートジャイロは、車両Ｖの左右方向を軸とした回転の角速度であるピッチ角速度を検出する。ヨーレートジャイロは、車両Ｖの鉛直方向を軸とした回転の角速度であるヨー角速度を検出する。３軸ジャイロセンサは、ロールレートジャイロで検出したロール角速度と、ピッチレートジャイロで検出したピッチ角速度と、ヨーレートジャイロで検出したヨー角速度とを角速度信号として俯瞰映像生成装置４０の車両傾きデータ取得部４６に出力する。

モニタ３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。モニタ３０は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像を表示する。モニタ３０は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。モニタ３０は、運転者から視認容易な位置に配置されている。

俯瞰映像生成装置４０は、映像処理部４１と、制御部４５と、記憶部４９とを有する。

映像処理部４１は、映像データ取得部４２と、俯瞰映像生成部４３とを有する。

映像データ取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、第一車外カメラ１１と第二車外カメラ１２と第三車外カメラ１３と第四車外カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを俯瞰映像生成部４３の映像視点変換部４３１に出力する。

俯瞰映像生成部４３は、映像視点変換部４３１と、映像合成部４３２とを有する。

映像視点変換部４３１は、映像データ取得部４２が取得した周辺映像データに視点変換処理を行い合成することで、車両Ｖの上方側を仮想視点Ｐとした映像を生成する。より詳しくは、映像視点変換部４３１は、第一車外カメラ１１と第二車外カメラ１２と第三車外カメラ１３と第四車外カメラ１４とで撮影した周辺映像データに基づいて、映像視点決定部４７で決定された仮想視点Ｐとして視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。映像視点変換部４３１は、視点変換処理を行った周辺映像データを映像合成部４３２に出力する。

映像合成部４３２は、視点変換処理を行った複数の周辺映像データから所定の範囲を切出して合成し、中央部に仮想視点Ｐから見た車両Ｖの形態を模した自車両アイコンを合成した俯瞰映像を生成する。

より詳しくは、映像合成部４３２は、視点変換処理を行った第一車外カメラ１１からの周辺映像データから、車両Ｖの前方に対応する第一切出範囲を切出す。第一切出範囲は、車両Ｖの前端部から前方の範囲である。第一切出範囲は、視点変換処理を行った周辺映像データから、俯瞰映像に含まれる車両Ｖの前方の前方映像を切出す範囲である。

映像合成部４３２は、視点変換処理を行った第二車外カメラ１２からの周辺映像データから、車両Ｖの後方に対応する第二切出範囲を切出す。第二切出範囲は、車両Ｖの後端部から後方の範囲である。第二切出範囲は、視点変換処理を行った周辺映像データから、俯瞰映像に含まれる車両Ｖの後方の後方映像を切出す範囲である。

映像合成部４３２は、視点変換処理を行った第三車外カメラ１３からの周辺映像データから、車両Ｖの左側方に対応する第三切出範囲を切出す。第三切出範囲は、車両Ｖの左側部から左方の範囲である。第三切出範囲は、視点変換処理を行った周辺映像データから、俯瞰映像に含まれる車両Ｖの左側方の左側方映像を切出す範囲である。

映像合成部４３２は、視点変換処理を行った第四車外カメラ１４からの周辺映像データから、車両Ｖの右側方に対応する第四切出範囲を切出す。第四切出範囲は、車両Ｖの右側部から右方の範囲である。第四切出範囲は、視点変換処理を行った周辺映像データから、俯瞰映像に含まれる車両Ｖの右側方の右側方映像を切出す範囲である。

映像合成部４３２は、切出した複数の映像を合成し、その中央部に自車両アイコンを合成して俯瞰映像を生成する。映像合成部４３２は、生成した俯瞰映像をモニタ３０に表示させる。

制御部４５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４５は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４５は、車両傾きデータ取得部４６と、映像視点決定部４７とを有する。

車両傾きデータ取得部４６は、車両傾きセンサ２０から出力された車両傾きデータを取得する。車両傾きデータ取得部４６は、車両傾きデータに含まれるロール角速度とピッチ角速度とヨー角速度とから、車両Ｖの傾きを示す、ロール角とピッチ角とヨー角とを算出する。車両傾きデータ取得部４６は、算出したロール角とピッチ角とヨー角とを付加した車両傾きデータを映像視点決定部４７に出力する。

映像視点決定部４７は、車両傾きデータ取得部４６から取得した傾きデータに応じて、仮想視点Ｐの位置を調整する。映像視点決定部４７は、ロール角とピッチ角とヨー角とに応じて仮想視点Ｐの位置を調整する。映像視点決定部４７は、決定した仮想視点Ｐの位置を映像視点変換部４３１に出力する。

映像視点決定部４７は、車両傾きデータ取得部４６が取得した傾きデータに基づいて、車両Ｖが傾いていないと判定される場合、車両Ｖの基準面の垂線上の位置を仮想視点Ｐ１とする。例えば、映像視点決定部４７は、ロール角とピッチ角とヨー角とが、車両Ｖが水平な路面に接地している状態におけるロール角とピッチ角とヨー角とに対して変化量ゼロの場合、車両Ｖが傾いていないと判定する。

車両Ｖが傾いていないとは、車両Ｖが水平な路面に接地している状態をいう。このとき、車両Ｖにおける路面と水平な平面、例えば、車両Ｖの床面を基準面という。

図２を用いて、車両Ｖが水平な路面に接地しているときの仮想視点Ｐ１について説明する。図２は、実施形態に係る俯瞰映像生成システムの仮想視点の位置を説明する概略図である。仮想視点Ｐ１は、路面と垂直方向の上方に位置している。仮想視点Ｐ１は、車両Ｖの真上、言い換えると、車両Ｖの中央の上方に位置している。車両Ｖの中央とは、車両Ｖの車幅方向の中央、かつ、前後方向の中央である。車両Ｖの真上とは、車両Ｖの基準面の垂線上の位置である。仮想視点Ｐ１は、車両Ｖの中央の真上から見下すような視点である。符号Ａ１は、仮想視点Ｐ１として視点変換処理を行って生成される俯瞰映像１００（図５参照）の表示範囲を示す。

映像視点決定部４７は、車両傾きデータ取得部４６が取得した傾きデータに基づいて、車両Ｖが傾いていると判定される場合、車両Ｖの鉛直方向の上方を仮想視点Ｐ２とする。例えば、映像視点決定部４７は、ロール角とピッチ角とヨー角とが、車両Ｖが水平な路面に接地している状態におけるロール角とピッチ角とヨー角とに対して変化量ゼロではない場合、車両Ｖが傾いていると判定する。

車両Ｖが傾いているとは、車両Ｖが傾斜した路面に接地している状態をいう。

図３を用いて、車両Ｖが傾斜した路面に接地しているときの仮想視点Ｐ２について説明する。図３は、実施形態に係る俯瞰映像生成システムの仮想視点の位置を説明する概略図である。図３において、車両Ｖは、前側を傾斜の上側に、後側を傾斜の下側にした向きである。仮想視点Ｐ２は、車両Ｖの中央を通る鉛直方向の上方に位置している。仮想視点Ｐ２は、鉛直方向の上方から車両Ｖから見下すような視点である。符号Ａ１は、仮想視点Ｐ１として視点変換処理を行って生成される俯瞰映像１００の表示範囲を示す。符号Ａ２は、仮想視点Ｐ２として視点変換処理を行って生成される俯瞰映像１１０（図６参照）の表示範囲を示す。仮想視点Ｐ２とした俯瞰映像１１０の表示範囲Ａ２は、仮想視点Ｐ１とした俯瞰映像１００の表示範囲Ａ１より、車両Ｖの後方がより広く表示される。

映像視点決定部４７は、車両傾きデータ取得部４６が取得した傾きデータに基づいて、所定時間における車両Ｖの傾きの平均値を算出し、算出した車両Ｖの傾きの平均値に基づいて、車両Ｖが傾いているか否かを判定してもよい。これにより、仮想視点Ｐの位置が適切に調節される。

映像視点決定部４７は、車両傾きデータ取得部４６が取得した傾きデータに基づいて、車両Ｖの傾きが所定値以上の場合に限って、車両Ｖが傾いていると判定してもよい。これにより、路面の小さい凹凸で、不用意に仮想視点Ｐの位置が変わってしまうことが抑制される。

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

次に、図４を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図４は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。本実施形態では、一例として、車両Ｖが後退する際に俯瞰映像を表示するものとして説明する。

制御部４５は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４５は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの後方となったことをいう。制御部４５は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４５は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。俯瞰映像表示を開始させるトリガは、後退トリガに限らず、ユーザ操作、障害物検出結果、停止時など任意のトリガが適用される。

制御部４５は、仮想視点Ｐの位置を仮設定する（ステップＳ１２）。より詳しくは、制御部４５は、車両Ｖの接地している路面と垂直方向の上方を仮想視点Ｐ１とする。制御部４５は、ステップＳ１３に進む。

制御部４５は、自車両の傾きを算出する（ステップＳ１３）。より詳しくは、制御部４５は、車両傾きデータ取得部４６で、取得した傾きデータに基づいて、車両Ｖの傾きを示す、ロール角とピッチ角とヨー角とを算出させる。制御部４５は、ステップＳ１４に進む。

制御部４５は、仮想視点Ｐの位置を調整する（ステップＳ１４）。より詳しくは、制御部４５は、映像視点決定部４７で、算出した車両Ｖの傾きに応じて仮想視点Ｐの位置を調整させる。制御部４５は、映像視点決定部４７で、車両Ｖが傾いていると判定される場合、車両Ｖの鉛直方向の上方を仮想視点Ｐ２とさせる。制御部４５は、映像視点決定部４７で、車両Ｖが傾いていないと判定される場合、ステップＳ１２で仮設定したまま、車両Ｖの接地している路面と垂直方向の上方を仮想視点Ｐ１とさせる。制御部４５は、ステップＳ１５に進む。

制御部４５は、カメラ撮影映像を取得する（ステップＳ１５）。より詳しくは、制御部４５は、映像データ取得部４２で、第一車外カメラ１１と第二車外カメラ１２と第三車外カメラ１３と第四車外カメラ１４とが出力した周辺映像データを取得させる。制御部４５は、ステップＳ１６に進む。

制御部４５は、映像視点を変換する（ステップＳ１６）。より詳しくは、制御部４５は、映像視点変換部４３１で、取得した周辺映像データに対して、ステップＳ１４において調整された仮想視点Ｐとして視点変換処理を行った映像を生成させる。制御部４５は、ステップＳ１７に進む。

制御部４５は、映像を合成する（ステップＳ１７）。より詳しくは、制御部４５は、映像合成部４３２で、視点変換処理を行った複数の周辺映像データから所定の範囲の映像を切出して合成させる。制御部４５は、映像合成部４３２で、合成した映像の中央部に自車両アイコンを合成させて俯瞰映像を生成させる。制御部４５は、ステップＳ１８に進む。

制御部４５は、モニタ３０に映像を出力する（ステップＳ１８）。より詳しくは、制御部４５は、映像合成部４３２で、生成した俯瞰映像１００または俯瞰映像１１０をモニタ３０に表示させる。制御部４５は、ステップＳ１９に進む。

制御部４５は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１９）。より詳しくは、制御部４５は、後退終了トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。制御部４５は、後退終了トリガがある場合、俯瞰映像表示を終了すると判定し（ステップＳ１９でＹｅｓ）、処理を終了する。制御部４５は、後退終了トリガがない場合、俯瞰映像表示を終了しないと判定し（ステップＳ１９でＮｏ）、ステップＳ１３に戻って処理を再実行する。

図５を用いて、俯瞰映像生成システム１で生成された俯瞰映像１００について説明する。図５は、実施形態に係る俯瞰映像生成システムで生成された俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖが水平な路面に接地しているときに、車両Ｖの接地している路面と垂直方向の上方を仮想視点Ｐ１として視点変換処理を行って生成された映像である。自車両アイコン２００は、車両Ｖを真上から見下ろした形態を示す。

図６を用いて、俯瞰映像生成システム１で生成された俯瞰映像１１０について説明する。図６は、実施形態に係る俯瞰映像生成システムで生成された俯瞰映像の他の例を示す図である。俯瞰映像１１０は、車両Ｖが傾斜した路面に接地しているときに、鉛直方向の上方を仮想視点Ｐ２として視点変換処理を行って生成された映像である。自車両アイコン２１０は、車両Ｖを鉛直方向の上方から斜めに見下ろした形態を示す。

自車両アイコン２１０は、自車両アイコン２１０によって俯瞰映像１１０中に死角が生じないような表示形態とすることが好ましい。例えば、自車両アイコン２１０は、半透過としてもよい。例えば、自車両アイコン２１０は、外形を示す枠状としてもよい。

このようにして、俯瞰映像生成システム１は、車両Ｖの傾きに応じて位置を調整した仮想視点Ｐで視点変換処理を行って合成した俯瞰映像１００または俯瞰映像１１０を生成する。

上述したように、本実施形態は、車両Ｖの傾きに応じて、仮想視点Ｐの位置を調整して視点変換処理を行って合成した俯瞰映像１００または俯瞰映像１１０を生成する。本実施形態では、車両Ｖが傾いているとき、車両Ｖの鉛直方向の上方を仮想視点Ｐ２として視点変換処理を行い俯瞰映像１１０を生成する。これにより、本実施形態によれば、車両Ｖの傾きによらず、運転者の視界に近い映像を表示する俯瞰映像１００または俯瞰映像１１０を表示することができる。

車両Ｖが傾いているとき、仮想視点Ｐの位置を調整せず、図３に示す仮想視点Ｐ１として視点変換処理を行って俯瞰映像１００を生成すると、仮想視点Ｐ１は、鉛直方向と異なる方向に沿って位置する。このため、俯瞰映像１００においては、鉛直方向に沿って建てられている看板や建造物が傾いて建っているように表示される。運転者が俯瞰映像１００で車両Ｖの周囲を確認すると、運転者は、違和感を感じるおそれがある。

これに対して、車両Ｖが傾いているとき、仮想視点Ｐの位置を調節し、図３に示す仮想視点Ｐ２として俯瞰映像１１０を生成すると、仮想視点Ｐ２は、鉛直方向に沿った方向に位置している。このため、俯瞰映像１１０においては、鉛直方向に沿って建てられている看板や建造物は、真っすぐ建っているように表示される。運転者が俯瞰映像１１０で車両Ｖの周囲を確認しても、運転者が視認する景色と同様に表示されているため、運転者は、違和感を感じることがない。

このように、本実施形態によれば、車両Ｖが傾斜している場合であっても、視認する景色と同様に表示される、俯瞰映像１００または俯瞰映像１１０を表示することができる。

しかも、本実施形態によれば、車両Ｖの傾きに応じて、自車両アイコンの形態も変化するので、より認識しやすい俯瞰映像１１０を表示することができる。本実施形態によれば、俯瞰映像１１０において、仮想視点Ｐ２の位置が仮想視点Ｐ１から変更されていることを容易に認識することができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

本実施形態では、車両Ｖのピッチ角が変化した場合について説明したが、これに限定されない。例えば、車両Ｖのロール角が変化した場合にも適用することができる。

制御部４５は、ステップＳ１４において、図７に示すように、車両Ｖの傾斜が急激に変化して、すぐに一定になった場合、仮想視点Ｐの位置を調整しないようにしてもよい。図７は、車両の傾きの時間変化の一例を説明するグラフである。図７に示すように車両Ｖの傾きが変化する場合、例えば、車両Ｖが小さな段差に乗り上げたり、坂道の頂上部で上り勾配から下り勾配に変化したりしている状況であることが推測される。このように、車両Ｖの傾斜が急激に変化して、すぐに一定になった場合は、仮想視点Ｐの位置を調整しないことで、不用意に仮想視点Ｐの位置が調節されたり、仮想視点Ｐの位置が急激に調整されて、運転者にとって視認性が低下する表示となることを抑制することが好ましい。

映像視点決定部４７は、車両Ｖが傾いていると判定される場合、車両Ｖの鉛直方向の上方を仮想視点Ｐ２とするものとして説明したが、これに限定されない。映像視点決定部４７は、車両Ｖが傾いていると判定される場合、仮想視点Ｐ１の位置を、車両Ｖの傾きを示すロール角とピッチ角とヨー角とに基づいて調整して仮想視点Ｐ２としてもよい。より詳しくは、映像視点決定部４７は、車両Ｖが水平な路面に接地している状態におけるロール角とピッチ角とヨー角とに対する変化量に応じて仮想視点Ｐ１の位置を調整して、仮想視点Ｐ２を算出してもよい。

制御部４５は、ステップＳ１２において、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。

１ 俯瞰映像生成システム
１１ 第一車外カメラ（カメラ）
１２ 第二車外カメラ（カメラ）
１３ 第三車外カメラ（カメラ）
１４ 第四車外カメラ（カメラ）
２０ 車両傾きセンサ（センサ）
３０ モニタ（表示部）
４０ 俯瞰映像生成装置
４１ 映像処理部
４２ 映像データ取得部
４３ 俯瞰映像生成部
４３１ 映像視点変換部
４３２ 映像合成部
４５ 制御部
４６ 車両傾きデータ取得部（傾きデータ取得部）
４７ 映像視点決定部
４９ 記憶部
Ｐ 仮想視点
Ｖ 車両

Claims (6)

1. 車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、
   前記車両の傾きを示す傾きデータを取得する傾きデータ取得部と、
   前記映像データ取得部が取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成部と、
   前記俯瞰映像生成部に対して、前記傾きデータ取得部が取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御部と、
   を有することを特徴とする俯瞰映像生成装置。
2. 前記制御部は、前記傾きデータ取得部が取得した傾きデータに応じて前記車両の鉛直方向の上方を前記仮想視点の位置とする、
   請求項１に記載の俯瞰映像生成装置。
3. 前記俯瞰映像生成部は、仮想視点の位置から見た前記車両を模した自車両アイコンを合成した俯瞰映像を生成する、
   請求項１または請求項２に記載の俯瞰映像生成装置。
4. 請求項１から請求項３のいずれか一項に記載の俯瞰映像生成装置と、
   前記車両の周辺を撮影する複数のカメラ、前記俯瞰映像を表示する表示部、前記車両の傾きを検出するセンサの少なくともいずれかと、
   を備える、俯瞰映像生成システム。
5. 車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、
   前記車両の傾きを示す傾きデータを取得する傾きデータ取得ステップと、
   前記映像データ取得ステップで取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、
   前記俯瞰映像生成ステップに対して、前記傾きデータ取得ステップで取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御ステップと、
   を含む俯瞰映像生成方法。
6. 車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、
   前記車両の傾きを示す傾きデータを取得する傾きデータ取得ステップと、
   前記映像データ取得ステップで取得した周辺映像を、前記車両を上方側から見下ろす仮想視点で視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、
   前記俯瞰映像生成ステップに対して、前記傾きデータ取得ステップで取得した傾きデータに応じて位置を調整した仮想視点で視点変換処理を行って合成した俯瞰映像を生成させる制御ステップと、
   を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

Images