JP2013131160A - 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】ユーザに奥行き感を感じさせる。
【解決手段】画像情報から消失点の位置を算出する消失点算出部１０３と、画像情報の画像処理を行う対象画素と消失点算出部１０３が算出した消失点との距離に少なくとも基づいて、対象画素における画像処理強度を決定する画像処理強度決定部１０１と、画像処理強度決定部１０１が決定した画像処理強度にしたがって、対象画素における画像情報に対して画像処理を行う画像処理部１０２と、を備える。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
に関する。

静止画又は動画をカメラで撮影したり、モニタに表示したりする際に、静止画又は動画の先鋭感又は鮮明感を高めるために、様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理、鮮明感を増加させる彩度強調処理、又は奥行きデータを使用して奥行き感を調整する画像処理が知られている。

特許文献１において、画像処理装置が奥行きデータと奥行き程度により、奥行き感の補正ゲインを制御することにより、奥行き感の程度を調整できることが開示されている。奥行きデータの取得方式としては、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、例えば、対象物に照射した赤外線の反射光から、対象物までの距離を算出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）がある。パッシブ方式としては、例えば、ステレオカメラで撮像されたステレオ画像でマッチングをとることにより視差を算出する方式がある。

特開２００８−３３８９７号公報

しかしながら、特許文献１では、アクティブ方式又はパッシブ方式を利用して奥行きデータを取得した場合、遠景における奥行きの精度および分解能が低下してしまう問題がある。例えば、アクティブ方式では、赤外線の照射強度に依存した精度および分解能となるので、赤外線の反射光が検出できない遠景では距離が全て無限遠となってしまう。すなわち、赤外線の反射光が検出できない遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。

一方、パッシブ方式では、平行に配置された２つのカメラから視差を奥行きデータの一例として算出するとき、視差と距離との関係は反比例であり、遠景の視差は全て０となってしまう。すなわち、遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。その結果、従来の画像処理装置は、そのような遠景において奥行きに応じた画像処理を施すことができず、ユーザは十分に奥行きを感じることができなかった。

そこで本発明は、上記問題に鑑みてなされたものであり、ユーザに奥行き感を感じさせることを可能とする画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラムを提供することを課題とする。

（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は画像情報から消失点の位置を算出する消失点算出部と、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に少なくとも基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理部と、を備えることを特徴とする画像処理装置である。

（２）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記対象画素の奥行き情報及び前記対象画素と前記消失点との距離に基づいて、前記対象画素における画像処理強度を決定することを特徴とする。

（３）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記奥行き情報が奥を示すほど前記画像処理強度を大きくし、前記対象画素と前記消失点との距離が小さくなるほど前記画像処理強度を大きくすることを特徴とする。

（４）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記奥行き情報の値が予め決められた特定の範囲にある場合、対象画素と消失点との距離に基づいて前記画像処理強度を決定することを特徴とする。

（５）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度は、前記対象画素と前記消失点との垂直方向の距離に応じて画像処理強度を変化させることを特徴とする。

（６）上記に記載の画像処理装置において、本発明の一態様は、前記画像情報と、前前記画像情報とは視点の異なる画像とに基づき、前記画像情報の各画素に対応する視差を算出し、算出した該視差に基づいて前記奥行き情報を決定する視差算出部を備えることを特徴とする。

（７）上記に記載の画像処理装置において、本発明の一態様は、前記画像情報の各画素に対応する前記奥行き値を、前記画像情報に基づき推定する奥行き情報算出部を備えることを特徴とする。

（８）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理部で処理する画像処理が、輪郭強調またはコントラスト補正または彩度補正であることを特徴とする。

（９）本発明の一態様は、被写体を撮像して画像情報を生成する撮像部と、
前記撮像部が生成した画像情報に対して画像処理を行う上記に記載の画像処理装置と、を備えることを特徴とする撮像装置である。

（１０）本発明の一態様は上記に記載の画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部と、を備えることを特徴とする表示装置である。

（１１）本発明の一態様は、消失点算出部が、画像情報から消失点の位置を算出する手順と、画像処理強度決定部が、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する手順と、画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う手順と、を有することを特徴とする画像処理方法である。

（１２）本発明の一態様は、コンピュータに、画像情報から消失点の位置を算出する消失点算出ステップと、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出ステップにより算出された消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定ステップと、前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理ステップと、を実行させるための画像処理プログラムである。

本発明によれば、ユーザに奥行き感を感じさせることができる。

第１の実施形態における画像処理装置の概略ブロック図である。 消失点算出の例を示す撮像画像の模式図である。 画像処理強度Ｓと奥行き情報Ｄの値との関係の一例を示した図である。 画像処理強度Ｓと、消失点と画像処理を行う対象画素との間の距離との関係の一例を示した図である。 第１の実施形態における画像処理強度決定部の構成を示す概略ブロック図である。 図２の画像情報の各画素における奥行き情報の値を表した図である。 消失点が画像情報の外側にある場合の一例である。 第１の実施形態における画像処理装置の処理の一例を示すフローチャートである。 第２の実施形態における撮像装置の概略ブロック図である。 距離Ｚと視差ｄとの関係を示した図である。 第３の実施形態における表示装置の概略ブロック図である。

［第１の実施形態］
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。図１は、第１の実施形態における画像処理装置１００の概略ブロック図である。画像処理装置１００は、画像処理強度決定部１０１と、画像処理部１０２と、消失点算出部１０３とを備える。

画像処理装置１００には、入力画像である画像情報Ｇｉと、画像情報Ｇｉに対応した奥行き情報Ｄが入力される。画像処理装置１００は、奥行き情報Ｄに基づき、画像情報Ｇｉに対して画像処理を行い、処理結果を出力画像情報Ｇｏとして出力する。ここで、画像情報Ｇｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。

消失点算出部１０３は、入力された画像情報Ｇｉから消失点の位置を算出する。ここで、消失点とは、遠近法において実際のものでは平行線になっているものを平行でなく描く際に、その線が交わる点である。消失点算出部１０３は、算出した消失点の座標（以下、消失点座標と称す）を画像処理強度決定部１０１へ出力する。

画像処理強度決定部１０１は、画像処理の対象となる対象画素と消失点算出部１０３が算出した消失点の位置との距離に少なくとも基づいて、上記対象画素における画像処理の強度（以下、画像処理強度と称する）Ｓを決定する。ここで、画像処理強度Ｓは数字（例えば、０から１までの数）である。例えば、画像処理強度決定部１０１は、外部から入力された奥行き情報Ｄ及び対象画素と消失点算出部１０３から入力された消失点座標との距離とに基づいて、対象画素における画像処理強度Ｓを決定する。そして、画像処理強度決定部１０１は、決定した画像処理強度Ｓを画像処理部１０２に出力する。

画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓにしたがって、上記画像情報に対して画像処理を行う。具体的には、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓによって奥行き感を向上させる画像処理を行う。ここで、画像処理は、例えば、輪郭強調、コントラスト補正又は彩度補正が好適である。
そして、画像処理部１０２は、画像処理後の画像を出力画像情報Ｇｏとして自装置の外部へ出力する。
なお、画像処理強度決定部１０１、画像処理部１０２及び消失点算出部１０３各ブロックはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア、又は画像処理装置１００に内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。

＜消失点算出処理の詳細＞
続いて、図２を用いて、消失点算出部１０３の処理について説明する。図２は、消失点の算出の例を示す撮像画像の模式図である。ここで、撮像画像は、画像情報Ｇｉが示す画像の一例である。同図の撮像画像の模式図において、被写体Ａ、Ｂ、Ｃ及びＤが表されている。同図において、被写体Ａの下側の輪郭を伸ばした直線と、被写体Ａの上側の輪郭を伸ばした直線とが交わる点が消失点Ｖである。

消失点算出部１０３は、画像情報Ｇｉから画像情報Ｇｉの消失点を算出する。例えば、消失点算出部１０３は、図２に示すように、入力される画像情報Ｇｉから公知のハフ変換を利用して直線を検出する。図２の例において、消失点算出部１０３は被写体Ａの下側及び上側の輪郭から直線を算出する。そして、消失点算出部１０３は、検出した二つの直線が交わる点を消失点として算出する。

更に、消失点算出部１０３は、消失点の算出に奥行き情報Ｄを利用するようにしてもよい。例えば、消失点算出部１０３は、ハフ変換により検出した直線から消失点を算出したときに、複数の消失点が算出された場合、奥行き情報Ｄを利用して最も遠いことを示す奥行き情報を有している点を消失点にする。これにより、消失点算出部１０３は、誤算出を低減することができる。

＜画像処理強度決定の詳細＞
ここで、本実施形態における奥行き情報Ｄは、一例として、奥行き情報Ｄの値が大きくなると画像情報Ｇｉ内の被写体までの距離が大きい。すなわち、８ビットの奥行き情報Ｄが入力される場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。

図３は、画像処理強度Ｓと奥行き情報Ｄの値との関係の一例を示した図である。同図において、縦軸は画像処理強度Ｓで、横軸は奥行き情報Ｄである。同図において奥行き情報Ｄの値が０のとき画像処理強度Ｓがα１であり、奥行き情報Ｄの値がＤ１のとき画像処理強度Ｓがα２である。同図の例において、奥行き情報Ｄの値と画像処理強度Ｓとは、線形の関係にあり、奥行き情報Ｄの値が大きくなるに連れて画像処理強度Ｓが大きくなる関係にある。被写体の連続性を考慮すると、画像処理強度Ｓは、奥行き情報Ｄの値に対して単調増加の関係が好適である。

なお、同図では、奥行き情報Ｄが最大値であるときに、画像処理強度Ｓが最も大きくなるようにし、奥行き情報Ｄが最小値であるときに、画像処理強度Ｓが最も小さくなるようにしているが、これに限らず、入力される情報により適宜設定してもよい。例えば、画像処理強度決定部１０１は、入力された１つの画像に対する奥行き情報Ｄの値の範囲が２０から１００であった場合には、奥行き情報Ｄの値が２０のときに画像処理強度Ｓが最大となり、奥行き情報Ｄの値が１００のときに画像処理強度Ｓが最小となるように設定してもよい。これにより、画像処理強度決定部１０１は、画像情報Ｇｉに適した値を画像処理強度Ｓに割り当てることができる。

なお、同図では、画像処理強度Ｓが奥行き情報Ｄの値に応じて、線形に増加する例を示したが、これに限らず、線形でなくてもよく、奥行き情報Ｄの値が増加するに連れて画像処理強度Ｓが増加する傾向にあればよい。

図４は、画像処理強度Ｓと、消失点と画像処理を行う対象画素との間の距離との関係の一例を示した図である。同図において、縦軸が画像処理強度Ｓで、横軸が消失点と画像処理を行う対象画素との間の距離（以下、消失点からの距離ともいう）である。同図において消失点からの距離が０のとき画像処理強度Ｓがβ２であり、消失点からの距離がＬ１のとき画像処理強度Ｓがβ１である。同図の例において、画像処理強度Ｓと消失点からの距離とは線形の関係にあり、画像処理強度Ｓは、消失点からの距離が小さいほど大きくなる特性を有している。また、消失点からの距離は、対象画素が消失点である場合が最も小さくなる。ここで、被写体の連続性を考慮すると、画像処理強度Ｓは消失点からの距離に対して単調減少の関係が好適である。

なお、消失点と対象画素との距離は画素間距離でも市街地距離でもよい。例えば、消失点の座標が（１００、１００）で対象画素の座標が（２００、２００）であり、画像処理強度決定部１０１が市街地距離で消失点からの距離を算出する場合、消失点からの距離は２００である。一方、その例において、画素間距離は、√２×１００である。

また、同図では、画像処理強度Ｓが消失点からの距離に応じて、線形に単調減少する例を示したが、これに限らず、非線形の関係であっても良い。すなわち、消失点からの距離が大きくなるに連れて画像処理強度Ｓが減少する傾向にあればよい。

一例として、画像処理強度決定部１０１は、図３および図４の特性に基づいて、画像処理強度Ｓを決定する。

図５は、画像処理強度決定部１０１の構成を示す概略ブロック図である。画像処理強度決定部１０１は、判定部１１１と、距離算出部１１２と、強度算出部１１３とを備える。
判定部１１１は、外部から入力された奥行き情報Ｄを受け取る。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値を超えるか否か判定する。ここで、奥行き情報Ｄの値が予め決められた閾値を超える場合、奥行き情報Ｄの値が飽和していることを意味する。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値を超える場合、その判定結果を距離算出部１１２に出力する。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値以下である場合、判定結果を奥行き情報Ｄとともに強度算出部１１３に出力する。
例えば、入力される奥行き情報Ｄが８ビットであった場合、閾値が２５４のときは奥行き情報Ｄが２５５のとき飽和していると判断し、閾値が２５３のときは奥行き情報Ｄが２５５および２５４のとき飽和していると判断する。

距離算出部１１２は、判定部１１１から入力された判定結果が対象画素における奥行き情報Ｄの値が予め決められた閾値を超えることを示す場合、画像処理を行う対象画素と消失点との距離を算出する。距離算出部１１２は、算出した距離を強度算出部１１３に出力する。

強度算出部１１３は、距離算出部１１２から入力された距離に基づいて、画像処理強度Ｓを決定する。具体的には、強度算出部１１３は、対象画素における奥行き情報Ｄの値が飽和している場合、対象画素と消失点との距離が大きくなるほど、画像処理強度を小さくする。強度算出部１１３は、例えば、距離算出部１１２から入力された距離を図４の特性に適用することにより、画像処理強度Ｓを算出する。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値より大きい場合、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓを大きくする。

例えば、画像情報Ｇｉ内に奥行き情報Ｄの最大値を有する領域が存在する場合、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。そこで、画像処理強度決定部１０１は、図４の特性を使用して、例えば、奥行き情報Ｄの値が最大値のときに、消失点からの距離に応じた画像処理強度Ｓに決定する。これは、消失点が最も遠景であると推定されるためであり、消失点に近い程、遠景であると推定されるからである。

一方、強度算出部１１３は、判定部１１１から入力された判定結果が対象画素における奥行き情報Ｄの値が予め決められた閾値以下であることを示す場合、奥行き情報Ｄの値に基づいて、画像処理強度Ｓを決定する。具体的には、強度算出部１１３は、例えば、判定部１１１から入力された奥行き情報Ｄを図３の特性に適用することにより、画像処理強度Ｓを算出する。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以下の場合、奥行き情報Ｄの値が大きくなるほど画像処理強度Ｓを大きくする。

そして、強度算出部１１３は、フレーム内の全ての画素について画像処理強度Ｓを算出したか否か判定する。フレーム内の全ての画素について画像処理強度Ｓを算出していない場合、強度算出部１１３は、対象画素の次の画素（例えば、隣の画素）を新たな対象画素にするよう要求する要求信号を判定部１１１に出力する。これにより、判定部１１１は、この要求信号を受け取ると、新たな対象画素に対応する奥行き情報Ｄが予め決められた閾値を超えるか否か判定する。一方、フレーム内の全ての画素について画像処理強度Ｓを算出した場合、強度算出部１１３は、各画素における画像処理強度Ｓを画像処理部１０２に出力する。

以下に、画像処理強度決定部１０１の処理の一例を説明する。画像処理強度決定部１０１は、図３における定数α１及び定数α２、図４における定数β１及び定数β２を予め保持する。そして、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以下の場合、以下の処理を行う。画像処理強度決定部１０１は、奥行き情報Ｄの最大値において画像処理強度Ｓが定数α２となるようにし、奥行き情報Ｄの最小値において画像処理強度Ｓが定数α１となるようにする。

これにより、画像処理強度決定部１０１は、奥行き情報Ｄの最大値において画像処理強度Ｓが最大とし、奥行き情報Ｄの最小値において画像処理強度Ｓが最小とすることができる。画像処理強度決定部１０１は、奥行き情報Ｄの値がその間のときは、定数α１と定数α２を線形的に補間することで画像処理強度Ｓを算出する。

一方、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以上の場合、以下の処理を行う。画像処理強度決定部１０１は、画像処理強度Ｓが最大となる消失点からの距離の最小値において画像処理強度Ｓが定数β２となるようにし、画像処理強度Ｓが最小となる消失点からの距離の最大値において画像処理強度Ｓが定数β１となるようにする。画像処理強度決定部１０１は、消失点からの距離がその間のときは、定数β１と定数β２を線形的に補間することで画像処理強度Ｓを算出する。

なお、例えば、画像処理強度決定部１０１は、βを消失点からの距離に応じて決まる変数だとすると、画像処理強度Ｓをα２×βまたはα２＋βと算出してもよい。このとき、最も画像処理強度Ｓが大きくなるときはα２×β２またはα２＋β２となる。

以上により、奥行き情報Ｄの値が飽和してしまっているような大きな値のときであっても、画像処理強度決定部１０１は、容易に消失点からの距離を考慮した画素処理強度を算出することができる。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくし、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓを大きくしてもよい。

なお、画像処理装置１００は、図３および図４から画像処理強度Ｓを算出する場合、奥行き情報Ｄの値及び消失点からの距離に関連付けられた画像処理強度ＳのＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を保持するようにしてもよい。その場合、画像処理強度決定部１０１を、そのＬＵＴを参照して、奥行き情報Ｄの値及び消失点からの距離に対応する画像処理強度Ｓを読み出してもよい。
また、図５では閾値による判定を行ってから消失点からの距離算出をする方法を説明した。これは飽和している画素と判定したときのみ距離を算出するため、処理量を削減でき、ソフトウェアでの処理にてきしている。ハードウェアでの処理の場合には、全画素に対して消失点からの距離を算出し、奥行き情報によって選択するようにすることで実現できる。

図２と図６を用いて、画像処理強度決定部１０１の処理について説明する。図６は、図２の画像情報の各画素における奥行き情報Ｄの値を表した図である。同図において、奥行き情報Ｄの値が大きいほど、すなわち被写体が奥に位置するほど画素の色が黒くなっており、奥行き情報Ｄの値が小さいほど、すなわち被写体が手前にあるほど画素の色が白くなっている。

例えば、図２における遠景にある被写体Ｃおよび被写体Ｄでは、図６に示すように、異なる位置にあっても奥行き情報Ｄの値が同じとなってしまう。そのため、消失点に近い被写体Ｄが被写体Ｃよりも遠方にあるにも関わらず、奥行き情報Ｄの値だけに基づいて画像処理強度Ｓが決定される場合には、被写体Ｃと被写体Ｄに対する画像処理強度Ｓが同じになってしまう。

図２の例では、被写体Ｄ、Ｃ、Ａの順で、消失点からの距離が遠くなっているので、画像処理強度決定部１０１は、例えば、被写体Ｄ、Ｃ、Ａの順で、画像処理強度を小さくする。これにより、画像処理強度決定部１０１は、被写体Ｄの画像処理強度Ｓを被写体Ｃの画像処理強度Ｓよりも大きくすることができる。すなわち、画像処理強度決定部１０１は、奥行き情報Ｄが飽和した領域であっても、画像処理を行う対象画素と消失点との距離に基づいて、画像処理強度Ｓを変化させるので、被写体までの距離に応じた画像処理強度Ｓを設定することができる。

すなわち、画像処理強度決定部１０１は、奥行き情報Ｄだけでなく、対象画素と消失点との距離に応じた画像処理強度Ｓにすることで、奥行き情報Ｄが飽和してしまっている被写体に対しても、奥行き感が生じるように画像処理ができるようになるため、奥行き感を向上させた画像を生成することができる。

上述した例では、画像処理強度決定部１０１は、奥行き情報Ｄが飽和してしまっているときに、対象画素と消失点との距離に応じた画像処理強度Ｓを決定したが、奥行き情報Ｄの値が予め決められた特定の範囲にある場合（例えば、予め決められた閾値より大きい場合）に、対象画素と消失点との距離に応じた画像処理強度Ｓを決定してもよい。これにより、画像処理強度決定部１０１は、上述した効果を同様の効果を得ることができる。

例えば、奥行き情報Ｄの値が、予め決められた特定の範囲にある場合に、その奥行き情報Ｄをとる画素が、遠景に該当する場合を想定する。その場合、画像処理強度決定部１０１は、奥行き情報Ｄの値が特定の範囲にある画素に対して、対象画素と消失点との距離に応じた画像処理強度Ｓを決定する。これにより、画像処理強度決定部１０１は、遠景の画像領域に対して、対象画素と消失点との距離に応じた画像処理強度Ｓを決定することができるので、遠景の奥行き感を向上させた画像を生成することができる。

図２のようなシーンを撮影した場合、主要な被写体は近景に配置される被写体Ｂであり、背景が遠景に配置される被写体Ｃおよび被写体Ｄである。遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、画像処理部１０２における処理は、被写体までの距離が大きくなるほど輪郭強調の強度を大きくする処理が好適である。また、近景である被写体Ｂは鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。

そこで、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、画像情報Ｇｉの輪郭を強調する。具体的には、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉの輪郭を強調するように輪郭強調処理を行う。ここで、輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ０、周辺画素の画素値がＰ１、Ｐ２、Ｐ３、Ｐ４である４近傍を考慮する場合、画像処理後の画素値Ｐは、Ｐ＝Ｐ０＋（Ｐ０×４−Ｐ１−Ｐ２‐Ｐ３‐Ｐ４）×α（またはβ）として算出することができる。ここで、αおよびβは奥行き情報および消失点からの距離により算出されるパラメータである。

これにより、画像処理部１０２は、鮮明な画像を生成することができる。画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。

さらに、遠景では、光の散乱などによりコントラストも低下してしまう。そこで、画像処理部１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をする処理が好適である。近景である被写体Ｃは十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。
そこで、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。

これにより、画像処理部１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。

また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、画像処理部１０２は、彩度補正を画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、画像情報Ｇｉに対して彩度補正を行ってもよい。具体的には、画像処理部１０２は、画像処理強度Ｓが大きいほど、彩度を大きくするよう彩度補正処理してもよい。ここで、彩度補正処理は、ＨＳＶ空間での彩度を乗算または加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部１０２は、奥行き情報Ｄと消失点からの距離とに基づいて彩度を変化させることができる。その結果、画像処理部１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。

これにより、画像処理装置１００は、画像の遠景の彩度を高くして、遠景が鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくさせるので、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。

なお、本実施形態では図２のように消失点が画像情報Ｇｉの内側に有る場合について説明したが、消失点が画像情報Ｇｉの外側に有る場合にも同様に効果を得ることができる。図７は、消失点が画像情報Ｇｉの外側にある場合の一例である。同図において、消失点が撮像画像の外側にあることが示されている。また、同図において、空を示す被写体Ｅと地面を示す被写体Ｆとが示されている。

例えば、解像度が１９２０×１０８０画像情報Ｇｉで消失点が画像情報Ｇｉの外側で有る場合、画像処理装置１００は、消失点座標を（２５００、５００）のように画像情報Ｇｉの外側の値を許容するようにしておくことで、画像処理装置１００は、消失点が画像情報Ｇｉの外側でも同様の処理を適用することができる。

さらに、画像情報Ｇｉ内において、消失点より上方では被写体Ｅのように空などの被写体が存在することが多く、消失点より下方では被写体Ｆのように地面や山などの被写体が存在することが多い。これは、消失点の上方の被写体が消失点の下方の被写体よりも遠方にあることが多いことを示している。したがって、画像処理強度決定部１０１は、画像情報Ｇｉ内における対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓを決定してよい。例えば、画像処理強度決定部１０１は、消失点より上方になるほど画像処理強度Ｓを大きくし、消失点より下方になるほど画像処理強度Ｓを小さくしてもよい。

つまり、画像処理強度決定部１０１は、対象画素と消失点との距離に加えて、対象画素と対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓを決定する。例えば、画像処理強度決定部１０１は、対象画素が消失点より上方に有る場合、消失点からの距離が同一で、かつ、消失点より下方に有るときに比べてε倍（ε>１）する。また、εを消失点からの距離に応じた関数にしても良い。これにより、画像処理装置１００は、より被写体の位置関係を考慮することができるため、その被写体の位置関係に応じた画像処理強度Ｓで画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。

図８は、第１の実施形態における画像処理装置１００の処理の一例を示すフローチャートである。まず、消失点算出部１０３は、画像情報Ｇｉに基づいて、消失点座標を算出する（ステップＳ１０１）。次に、判定部１１１は、対象画素に対応する奥行き情報Ｄが予め決められた閾値を超えるか否か判定する（ステップＳ１０２）。

対象画素に対応する奥行き情報Ｄが予め決められた閾値を超える場合（ステップＳ１０２ ＹＥＳ）、距離算出部１１２は、対象画素と消失点との距離を算出する（ステップＳ１０３）。次に、強度算出部１１３は、対象画素と消失点との距離に基づいて、画像処理強度Ｓを算出する（ステップＳ１０４）。

一方、ステップＳ１０２において、対象画素に対応する奥行き情報Ｄが予め決められた閾値以下の場合（ステップＳ１０２ ＮＯ）、強度算出部１１３は、奥行き情報Ｄに基づいて画像処理強度Ｓを算出し（ステップＳ１０５）、ステップＳ１０６に遷移する。
次に、ステップＳ１０６において、強度算出部１１３は、フレーム内の全ての画素について画像処理強度Ｓを算出したか否か判定する（ステップＳ１０６）。フレーム内の全ての画素について画像処理強度Ｓを算出していない場合（ステップＳ１０６ ＮＯ）、強度算出部１１３は、判定部１１１に対し対象画素の次の画素を判定するよう要求し（ステップＳ１０７）、ステップＳ１０２に遷移する。

一方、ステップＳ１０６において、フレーム内の全ての画素について画像処理強度Ｓを算出した場合（ステップＳ１０６ ＹＥＳ）、画像処理部１０２は、各画素における画像処理強度Ｓに従って、その画素における画像情報Ｇｉに対して画像処理を行う（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。

以上に説明したように、本実施形態の画像処理装置１００は、奥行き情報Ｄ及び対象画素と消失点との距離に基づいて、画像処理強度Ｓを決定する。これにより、画像処理装置１００は、決定した画像処理強度Ｓで画像に対して画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。

［第２の実施形態］
図９は、第２の実施形態における撮像装置３０１の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。撮像装置３０１は、撮像部２００と、撮像部２０１と、画像処理装置１００ａと、画像表示部２０３と、画像記憶部２０４とを備える。図９の画像処理装置１００ａの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、視差算出部２０２が追加されたものになっている。

撮像部２００および撮像部２０１の２つの撮像装置は、互いに平行に配置されている。撮像部２００および２０１はレンズモジュールとＣＣＤ（Charge Coupled Devic）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサなどで構成される。
撮像部２００は被写体を撮像し、撮像することにより得られた第１画像情報を視差算出部２０２に出力する。
同様に、撮像部２０１は被写体を撮像し、撮像することにより得られた第２画像情報を視差算出部２０２に出力する。

視差算出部２０２は、入力画像と、入力画像とは視点の異なる画像とに基づき、入力画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄを決定する。ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部２０２は、撮像部２００から入力された第１画像情報と撮像部２０１から入力された第２画像情報とを用いて、ブロックマッチングにより、第１画像情報の各画素に対応する視差値を算出する。

ここで、撮影された被写体までの距離Ｚと視差ｄの関係はｄ＝ｆ×Ｂ／Ｚで表される。ｆは撮像部の焦点距離であり、Ｂは２つの撮像部間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置１００ａは、視差ｄに基づいて奥行き情報Ｄを算出する。

図１０は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部２０２は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄとして利用する。具体的には、例えば、視差算出部２０２は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄとする。そして、視差算出部２０２は、算出した奥行き情報Ｄを、画像処理強度決定部１０１に出力する。

これにより、画像処理装置１００ａは、距離に応じた画像処理強度Ｓを適用することができるため好適である。なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。
また、視差算出部２０２は、算出した視差ｄをそのまま奥行き情報Ｄとしてもよい。その場合、奥行き情報Ｄは被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度決定部１０１は、奥行き情報Ｄの値が小さくなるほど画像処理強度Ｓを大きくすればよい。これにより、画像処理強度決定部１０１は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくすることができる。

画像処理強度決定部１０１は、視差算出部２０２から入力された奥行き情報Ｄと消失点算出部１０３から入力された消失点座標とに基づいて、画像処理強度Ｓを決定する。画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓで画像処理を行う。画像処理部１０２は画像処理により得られた出力画像情報を、画像表示部２０３に表示させたり、画像記憶部２０４に記憶させたりする。

以上に説明したように、本実施形態の撮像装置３０１によれば、奥行き情報Ｄ及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓを決定することにより、奥行き感を向上した高画質な画像を生成することができる。
なお、本実施形態では、撮像部を２つ備えた撮像装置３０１について説明したが、複数の画像から視差情報を算出する方法でも同様の効果が得られ、例えば、１回目の撮影位置から左右方向へ移動して２回目の撮影を行うことで実現できる。また、視差算出部２０２に代えて後述する奥行き情報算出部を備えるようにしてもよい。

［第３の実施形態］
図１１は、第３の実施形態における表示装置３０２の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。表示装置３０２は、画像処理装置１００ｂと、画像表示部２０３とを備える。図１１の画像処理装置１００ｂの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、奥行き情報算出部２０５が追加されたものになっている。

奥行き情報算出部２０５は、表示装置の外部から入力される画像情報Ｇｉから奥行き情報Ｄを推定する。ここで、奥行き情報Ｄの推定には、従来の様々な推定方式が使用できる。例えば、奥行き情報算出部２０５は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄを生成する。奥行き情報算出部２０５は、推定した奥行き情報Ｄを画像処理強度決定部１０１に出力する。

画像処理部１０２は、第１の実施形態の画像処理部１０２と同様の機能を有するが、以下の点が異なる。画像処理部１０２は、画像処理後の画像を画像表示部２０３に表示させる。
以上に説明したように、本実施形態の表示装置３０２は、奥行き情報Ｄ及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓを決定する。これにより、表示装置３０２は、奥行き感を向上した高画質な画像を表示することができる。

なお、本実施形態では、奥行き情報算出部２０５を備えた表示装置３０２について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄを算出し、算出した奥行き情報Ｄに基づいて画像処理強度を決定してもよい。その場合にも表示装置３０２は、上記と同様の効果が得られる。また、表示装置３０２に画像情報とともに奥行き情報Ｄが入力される場合には、表示装置３０２は、奥行き情報Ｄを直接画像処理強度決定部１０１へ入力するようにしてもよい。

また、各実施形態の画像処理装置（１００、１００ａ又は１００ｂ）は、対象画素と消失点との距離及び奥行き情報Ｄに基づいて、画像処理強度Ｓを決定したが、これに限ったものではない。
画像処理装置（１００、１００ａ又は１００ｂ）は、画像中で予め決められた位置より上に位置する対象画素に対して、その対象画素と消失点との距離に応じて、対象画素における画像処理強度Ｓを決定してもよい。また、画像処理装置（１００、１００ａ又は１００ｂ）は、特徴量抽出により、海、空または山などの背景となる背景画像領域を抽出し、背景画像領域に対して、対象画素と消失点との距離に応じて、画像処理強度Ｓを決定してもよい。

なお、複数の装置を備えるシステムが、各実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１００、１００ａ又は１００ｂ）に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００、１００ａ、１００ｂ 画像処理装置
１０１ 画像処理強度決定部
１０２ 画像処理部
１０３ 消失点算出部
１１１ 判定部
１１２ 距離算出部
１１３ 強度算出部
２００、２０１ 撮像部
２０２ 視差算出部
２０３ 画像表示部
２０４ 画像記憶部
２０５ 奥行き情報算出部

Claims (12)

1. 画像情報から消失点の位置を算出する消失点算出部と、
   前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に少なくとも基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定部と、
   前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理強度決定部は、前記対象画素の奥行き情報及び前記対象画素と前記消失点との距離に基づいて、前記対象画素における画像処理強度を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理強度決定部は、前記奥行き情報が奥を示すほど前記画像処理強度を大きくし、前記対象画素と前記消失点との距離が小さくなるほど前記画像処理強度を大きくすることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理強度決定部は、前記奥行き情報の値が予め決められた特定の範囲にある場合、対象画素と消失点との距離に基づいて前記画像処理強度を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理強度は、前記対象画素と前記消失点との垂直方向の距離に応じて画像処理強度を変化させることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記画像情報と、前記画像情報とは視点の異なる画像とに基づき、前記画像情報の各画素に対応する視差を算出し、算出した該視差に基づいて前記奥行き情報を決定する視差算出部を備えることを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
7. 前記画像情報の各画素に対応する前記奥行き値を、前記画像情報に基づき推定する奥行き情報算出部を備えることを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
8. 前記画像処理部で処理する画像処理が、輪郭強調またはコントラスト補正または彩度補正であることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 被写体を撮像して画像情報を生成する撮像部と、
   前記撮像部が生成した画像情報に対して画像処理を行う請求項１に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
10. 請求項１に記載の画像処理装置と、
    前記画像処理装置により画像処理された画像を表示する画像表示部と、
    を備えることを特徴とする表示装置。
11. 消失点算出部が、画像情報から消失点の位置を算出する手順と、
    画像処理強度決定部が、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する手順と、
    画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う手順と、
    を有することを特徴とする画像処理方法。
12. コンピュータに、
    画像情報から消失点の位置を算出する消失点算出ステップと、
    前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出ステップにより算出された消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定ステップと、
    前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理ステップと、
    を実行させるための画像処理プログラム。