JP4791222B2 - 表示制御装置 - Google Patents

Description

本発明は、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置に関する。

従来の表示制御装置としては、車両周辺視認用のカメラで撮影された映像の領域を複数に分割し、その分割された分割領域毎の重要度に応じてフォーマット変換の方式を変更することにより、映像中の重要な領域を高解像度に、それ以外の領域を低解像度にすることで、当該装置から表示装置までの伝送容量と解像度とのバランスを取るものがある（例えば、特許文献１参照）。
特開２００５−２０５３８号公報

しかしながら、従来の表示制御装置においては、映像中の重要な領域が固定されているため、車両の走行状態に応じて映像中の重要な領域が移動した場合には、映像中の重要な領域を他の領域より高解像度にすることができなくなるといった問題があった。

本発明は、従来の問題を解決するためになされたもので、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる表示制御装置を提供することを目的とする。

本発明の表示制御装置は、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置において、前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記撮影装置によって撮影された映像中の重要な領域を判定する重要領域判定手段と、撮影された領域で前記車両の進行方向にあたる前記重要な領域のブロックの間引き率を他のブロックの間引き率より小さく決定する間引き率決定手段と、前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段とを備え、前記領域分割手段は、前記データ間引き手段によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるよう前記撮影装置によって撮影された映像の領域を分割する。

この構成により、本発明の表示制御装置は、操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。さらに、本発明の表示制御装置は、車両の進行方向が変わった場合であっても、車両の進行方向が撮影された映像中の重要な領域を他の領域より高解像度にすることができる。

また、データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の輝度成分を補間したものを前記間引き後の画素の輝度成分としてもよい。

この構成により、本発明の表示制御装置は、間引き後の映像データが表す映像の各画素の輝度成分を適切に補間することができる。

また、前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の色度成分を補間したものを前記間引き後の画素の色度成分としてもよい。

この構成により、本発明の表示制御装置は、間引き後の映像データが表す映像の各画素の色度成分を適切に補間することができる。

また、本発明の映像表示システムは、車両に設けられた撮影手段と、前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記ブロック毎の間引き率を決定する間引き率決定手段と、前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段と、前記データ間引き手段によって間引きされた各ブロックの映像データが表す映像を表示する表示手段とを備えた構成を有している。

この構成により、本発明の映像表示システムは、操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。

本発明は、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができるという効果を有する表示制御装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態では、本発明における表示制御装置をＥＣＵ（Electronic Control Unit）によって構成し、車両に搭載された映像表示システムに適用した例について説明する。

本発明の一実施の形態の映像表示システムを図１に示す。

図１に示すように、映像表示システム１は、車両の後方に取り付けられたカメラ２と、映像信号生成機器３と、表示装置４と、カメラ２によって撮影された映像または映像信号生成機器３から出力された映像信号が表す映像を表示装置に表示させるＥＣＵ５とを備えている。

カメラ２は、図２に示すように、車両の後方を撮影するように車両に取り付けられ、撮影した映像を表す映像信号を生成するようになっている。

図１において、映像信号生成機器３は、ナビゲーション装置やＴＶチューナ等によって構成され、ナビゲーション映像やＴＶ映像等を表す映像信号を生成するようになっている。表示装置４は、映像信号が表す映像をブラウン管または液晶等の画面に表示するようになっている。

ＥＣＵ５は、カメラ２によって撮影された映像を表す映像信号に画像処理を施すようプログラミングされたＤＳＰ（Digital Signal Processor）１０と、ＤＳＰ１０が画像処理を行うために参照するパラメータ等を格納するフラッシュメモリ１１と、ＤＳＰ１０が画像処理を行うときに映像信号から得られる映像データを格納するビデオメモリ１２と、ＤＳＰ１０によって画像処理を施された映像信号および映像信号生成機器３から出力された映像信号のうち何れか一方の映像信号を選択するスイッチ１３と、スイッチ１３に選択された映像信号を増幅するビデオアンプ１４と、ＣＡＮ（Controller Area Network）ネットワーク１５を介した通信を行うための通信モジュール１６と、ＣＰＵ（Central Processing Unit）１７とを有している。

ＣＡＮネットワーク１５には、トランスミッションの状態を管理する図示しないＥＣＵや車両の操舵車輪の操舵角を検出する操舵角センサ２０等が接続されている。

ＣＰＵ１７は、図示しないＲＯＭに記憶されたプログラムを図示しないＲＡＭに読み込んで、ＲＡＭに読み込んだプログラムを実行することによって、例えば、ＤＳＰ１０やスイッチ１３等のＥＣＵ５の各部を制御するようになっている。

例えば、ＣＰＵ１７は、通信モジュール１６を介して車両のトランスミッションの状態を表すトランスミッション情報を取得し、トランスミッションがバックギアを選択していることをトランスミッション情報が表している場合には、ＤＳＰ１０によって画像処理が施された映像信号をスイッチ１３に選択させるようになっている。

また、ＣＰＵ１７は、トランスミッションがバックギア以外のギアを選択していることをトランスミッション情報が表している場合には、映像信号生成機器３から出力された映像信号をスイッチ１３に選択させるようになっている。

ＤＳＰ１０は、カメラ２によって撮影された映像の領域を複数のブロックに分割し、操舵角センサ２０によって検出された操舵角に基づいてブロック毎に間引き率を決定し、決定した間引き率で各ブロックに該当する映像信号から得られる映像データを間引きする間引き処理を行うようになっている。

以下、ＤＳＰ１０が、水平方向に７６８画素ある映像の領域を水平方向に１６のブロックに分割して、５１２画素に間引きする例について説明する。

なお、ＤＳＰ１０は、カメラ２によって撮影された映像の領域を垂直方向に複数のブロックに分割するようにしてもよく、カメラ２によって撮影された映像の領域を水平および垂直方向に複数のブロックに分割するようにしてもよい。

フラッシュメモリ１１には、予め定められた各操舵角に対応して、各ブロックの画素数および間引き率を表す間引き率マップが予め格納されている。

例えば、図３に示すように、操舵角が直進方向にある場合には、カメラ２によって撮影された映像５０の中央付近５１が重要な領域となるため、直進方向の操舵角に対する間引き率マップは、中央付近５１のブロックから端のブロックに行くにしたがって、間引き率が大きく設定されている。

一方、図４に示すように、操舵角が右折方向にある場合には、カメラ２によって撮影された映像５２中で後進時に最初に障害物が映し出される右付近５３が重要な領域となるため、右折方向の操舵角に対する間引き率マップは、右付近５３のブロックから端のブロックに行くにしたがって、間引き率が大きく設定されている。

なお、本実施の形態において、各間引き率マップは、図３および図４に示したように、ＤＳＰ１０によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるように設定されているものとするが、図５に示すように、カメラ２によって撮影された映像の領域を各ブロックに均等に分割するように設定されていてもよい。

ＤＳＰ１０は、フラッシュメモリ１１に格納された間引き率マップから、通信モジュール１６を介して操舵角センサ２０によって検出された操舵角に応じた間引き率マップを選択し、選択した間引き率マップに基づいて各ブロックの画素数および間引き率を決定するようになっている。

各ブロックを間引きするにあたって、ＤＳＰ１０は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち間引き後の画素が占める領域の比率で、間引き前の各画素の各成分をそれぞれ補間したものを間引き後の画素の各成分とするようになっている。

例えば、映像データがＹＵＶ方式で表されている場合には、ＤＳＰ１０は、間引き前の各画素の輝度成分および色度成分をそれぞれ補間したものを間引き後の画素の輝度成分および色度成分とする。

図６に示した例では、ＤＳＰ１０は、間引き後の画素６０に対応する間引き前の各画素Ａ、Ｂが占める領域のうち間引き後の画素６０が占める領域の比率３：１で、間引き前の各画素Ａ、Ｂの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素６０の輝度成分および色度成分とする。

同様に、ＤＳＰ１０は、間引き後の画素６１に対応する間引き前の各画素Ｂ、Ｃが占める領域のうち間引き後の画素６１が占める領域の比率１：１で、間引き前の各画素Ｂ、Ｃの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素６１の輝度成分および色度成分とし、間引き後の画素６２に対応する間引き前の各画素Ｃ、Ｄが占める領域のうち間引き後の画素６２が占める領域の比率１：３で、間引き前の各画素Ｃ、Ｄの輝度成分および色度成分をそれぞれ補間したものを間引き後の画素６２の輝度成分および色度成分とする。

このように、ＤＳＰ１０およびフラッシュメモリ１１は、本発明における領域分割手段および間引き率決定手段を構成し、ＤＳＰ１０は、データ間引き手段を構成する。

図１において、ＤＳＰ１０は、間引き処理を施した映像データをビデオメモリ１２に格納し、格納した映像データをカメラ２の位置よりも上方から撮影した映像を表すように変換すると共に、バンパーが撮影された部分のように車両に近い位置で湾曲して撮影された部分を補正する俯瞰処理を行うようになっている。

具体的には、ＤＳＰ１０は、フラッシュメモリ１１に格納された視点変換マップから、通信モジュール１６を介して操舵角センサ２０によって検出された操舵角に応じた視点変換マップを選択し、選択した視点変換マップに基づいて各画素の位置を変更するようになっている。

なお、視点変換マップは、間引き率マップと同様に、予め定められた各操舵角に対応してフラッシュメモリ１１に予め格納されている。また、ＤＳＰ１０によって映像データが間引きされるため、各視点変換マップは、各間引き率マップに応じて設定されている。

また、ＤＳＰ１０は、俯瞰処理を施した映像データに、後進駐車支援などに用いるガイドライン等の情報を重畳するガイドライン重畳処理を行うようになっている。

なお、ガイドライン重畳処理を施す映像データが表す映像は、間引き処理によって各ブロック間で水平方向のスケールが均一になっていないため、ＤＳＰ１０は、自車の位置を表す情報を重畳する場合には、操舵角センサ２０によって検出された操舵角に応じて自車の位置を表す情報を水平方向に調整するようになっている。

このように、ＤＳＰ１０は、間引き処理を施した映像データに対して俯瞰処理およびガイドライン重畳処理を施すため、俯瞰処理およびガイドライン重畳処理を施す映像データの情報量が削減され、俯瞰処理およびガイドライン重畳処理の処理負荷が軽減される。

以上のように構成された映像表示システム１について図７を用いてその動作を説明する。

まず、カメラ２によって車両の後方が撮影されると共に（Ｓ１）、操舵角センサ２０によって検出された操舵角がＤＳＰ１０によって通信モジュール１６を介して取得される（Ｓ２）。

次に、フラッシュメモリ１１に格納された間引き率マップから操舵角に応じた間引き率マップがＤＳＰ１０によって選択され（Ｓ３）、選択された間引き率マップに基づいて、カメラ２によって撮影された映像の領域がＤＳＰ１０によって複数のブロックに分割されると共に（Ｓ４）、各ブロックの間引き率がＤＳＰ１０によって決定される（Ｓ５）。

次に、決定された間引き率で各ブロックに該当する映像信号から得られる映像データを間引きする間引き処理がＤＳＰ１０によって行われ（Ｓ６）、間引き処理を施された映像データがビデオメモリ１２に格納される。

次に、フラッシュメモリ１１に格納された視点変換マップから操舵角に応じた視点変換マップがＤＳＰ１０によって選択され（Ｓ７）、選択された視点変換マップに基づいて各画素の位置を変更する俯瞰処理がＤＳＰ１０によって行われ（Ｓ８）、次いで、ガイドライン重畳処理がＤＳＰ１０によって行われる（Ｓ９）。なお、ガイドライン重畳処理を施した映像信号は、車両の後方が撮影された映像を表すため、ＤＳＰ１０は、ガイドライン重畳処理を施した映像信号が表す映像が左右反転するよう、映像信号に左右反転処理を施すことが望ましい。

次に、通信モジュール１６を介してＣＰＵ１７に入力されたトランスミッション情報がバックギアを選択していることを表している場合には（Ｓ１０）、スイッチ１３がＤＳＰ１０側を選択するようＣＰＵ１７によって制御され、ＤＳＰ１０によってガイドライン重畳処理を施された映像信号が表す映像が表示装置４に表示される（Ｓ１１）。

一方、トランスミッション情報がバックギア以外のギアを選択していることを表している場合には（Ｓ１０）、スイッチ１３が映像信号生成機器３側を選択するようＣＰＵ１７によって制御され、映像信号生成機器３から出力された映像信号が表す映像が表示装置４に表示される（Ｓ１２）。

このような本発明の一実施の形態の映像表示システム１は、車両の操舵車輪の操舵角に基づいてブロック毎の間引き率を決定するため、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができる。

なお、本実施の形態においては、映像表示システム１が、１つのカメラ２によって撮影された映像を表示装置４に表示させる例について説明したが、映像表示システム１は、車両の後方や側方に取り付けられた複数のカメラによって撮影された映像を表示装置４に表示させるようにしてもよい。

この場合には、ＤＳＰ１０は、各カメラによって撮影された映像の領域と、各ブロックとを対応付けて間引き処置等を行うように構成する。

以上のように、本発明にかかる表示制御装置は、映像中の重要な領域が移動した場合であっても、映像中の重要な領域を他の領域より高解像度にすることができるという効果を有し、例えば、車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置等として有用である。

本発明の一実施の形態における映像表示システムのブロック図 本発明の一実施の形態における映像表示システムを構成するカメラの実装図 本発明の一実施の形態における映像表示システムを構成するＤＳＰによる間引き前のブロックと間引き後のブロックを説明するための第１の概念図 本発明の一実施の形態における映像表示システムを構成するＤＳＰによる間引き前のブロックと間引き後のブロックを説明するための第２の概念図 本発明の一実施の形態における映像表示システムを構成するＤＳＰによる間引き前のブロックと間引き後のブロックを説明するための第３の概念図 本発明の一実施の形態における映像表示システムを構成するＤＳＰによる間引き後の画素の補間について説明するための概念図 本発明の一実施の形態における映像表示システムの動作説明のためのフロー図

１ 映像表示システム
２ カメラ
３ 映像信号生成機器
４ 表示装置
５ ＥＣＵ
１０ ＤＳＰ
１１ フラッシュメモリ
１２ ビデオメモリ
１３ スイッチ
１４ ビデオアンプ
１５ ＣＡＮネットワーク
１６ 通信モジュール
１７ ＣＰＵ
２０ 操舵角センサ

Claims (4)

1. 車両に設けられた撮影装置によって撮影された映像を表示装置に表示させる表示制御装置において、
   前記撮影装置によって撮影された映像の領域を複数のブロックに分割する領域分割手段と、
   前記車両に設けられた操舵角センサによって検出された前記車両の操舵車輪の操舵角に基づいて、前記撮影装置によって撮影された映像中の重要な領域を判定する重要領域判定手段と、
   撮影された領域で前記車両の進行方向にあたる前記重要な領域のブロックの間引き率を他のブロックの間引き率より小さく決定する間引き率決定手段と、
   前記間引き率決定手段によって決定された各間引き率で、前記各ブロックに該当する映像データを間引きするデータ間引き手段とを備え、
   前記領域分割手段は、前記データ間引き手段によって間引きされた映像データが表す映像の画素数が各ブロックで等しくなるよう前記撮影装置によって撮影された映像の領域を分割することを特徴とする表示制御装置。
2. 前記重要領域判定手段は、映像中で進行時に最初に障害物が映し出される領域を重要な領域とすることを特徴とする請求項１に記載の表示制御装置。
3. 前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の輝度成分を補間したものを前記間引き後の画素の輝度成分とすることを特徴とする請求項１または請求項２に記載の表示制御装置。
4. 前記データ間引き手段は、間引き後の各画素に対応する間引き前の各画素が占める領域のうち前記間引き後の画素が占める領域の比率で、前記間引き前の各画素の色度成分を補間したものを前記間引き後の画素の色度成分とすることを特徴とする請求項１または請求項２の何れかに記載の表示制御装置。

Images