JP2010245844A - 画像提示システム、画像処理装置、画像提示方法およびプログラム - Google Patents

Abstract

【課題】立体視画像におけるクロストーク成分を低減する。
【解決手段】２次元の右眼用画像および左眼用画像を用いて立体的画像を提示する画像提示システムであって、右眼用画像および左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定部と、遮光率に基づいて、右眼用画像および左眼用画像を補正する画像補正部と、画像補正部により補正された右眼用画像および左眼用画像を表示する表示部とを備え、遮光率測定部は、所定のキャリブレーションパターンを有するキャリブレーション画像を表示部に表示させ、観視者の逆側の眼に到達するキャリブレーションパターンの信号強度を測定する。
【選択図】図１

Description

本発明は、画像提示システム、画像処理装置、画像提示方法およびプログラムに関する。

従来、立体（３Ｄ）画像の提示技術が知られている。立体映像を提示する技術の一つとして、物体を右眼から見たときの右眼用画像および当該物体を左眼から見たときの左眼用画像を生成して、右眼用画像を観視者の右眼に対してのみに表示し、左眼用画像を観視者の左眼に対してのみに表示する技術がある（例えば、特許文献１参照）。

特開平１０−１１７３６２号公報

しかし、各眼用の画像が観視者の逆側の眼で観視される場合がある。例えば、画像の偏光特性を異ならせて表示する場合、それぞれの画像の偏光特性を所定の特性に完全に一致させるのは困難である。このため、それぞれの画像には、逆側用の偏光成分が含まれてしまい、それぞれの画像が逆側の眼で観視されてしまう。逆側用の画像は、本来の画像に対して所定の視差を有するので、当該視差に応じた位置にクロストーク（ゴースト）が観視される。また、どの程度の強度のクロストークが観視されるかは、表示装置および観視者に装着されるメガネ等の特性により変化する。

上記課題を解決するために、本発明の第１の態様においては、２次元の右眼用画像および左眼用画像を用いて立体的画像を提示する画像提示システムであって、右眼用画像および左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定部を備える画像提示システムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態に係る画像提示システム１０の構成例を示す図である。 表示部３２における画像表示例を示す図である。 遮光率測定部２６の動作例を説明する図である。 遮光率測定部２６の他の動作例を説明する図である。 画像補正部２４における画像補正例を示す図である。 キャリブレーション画像を生成する方法の一例を示す図である。 画像提示システム１０の他の構成例を示す図である。 画像提示システム１０の他の構成例を示す図である。 観視者により観視される左眼用画像の例を示す図である。 他の実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、実施形態に係る画像提示システム１０の構成例を示す図である。画像提示システム１０は、２次元の右眼用画像および左眼用画像を用いて立体的画像を提示する。以下では、与えられる２次元画像から、観視者の右眼に提示すべき右眼用画像および左眼に提示すべき左眼用画像を生成する例を説明するが、画像提示システム１０は、右眼用画像および左眼用画像を外部から受け取ってもよい。なお、画像提示システム１０に与えられる画像は、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。

画像提示システム１０は、画像処理装置２０および出力部３０を備える。画像処理装置２０は、与えられる２次元画像から、左眼用画像および右眼用画像のデータを生成して、出力部３０に供給する。画像処理装置２０は、画像生成部２２、画像補正部２４、遮光率測定部２６、および、遮光率入力部２７を有する。

画像生成部２２は、与えられる２次元画像から、左眼用画像および右眼用画像のデータを生成する。例えば画像生成部２２は、与えられる２次元画像全体の位置を、それぞれ予め定められたシフト量でずらすことで、右眼用画像および左眼用画像を生成する。より具体的には、画像生成部２２は、右眼用画像および左眼用画像の水平方向における相対位置の差（以下、シフト量と称する）が、観視者の両目間の瞳孔距離Ｌと略一致するように２次元画像全体をシフトして、右眼用画像および左眼用画像を生成してよい。例えば、画像生成部２２は、２次元画像を左にＬ／２シフトした画像を左眼用画像とし、２次元画像を右にＬ／２シフトした画像を右眼用画像としてよい。

また、画像生成部２２は、一例として、左眼用画像および右眼用画像を生成する処理をコンピュータのソフトウェア演算により行ってもよい。これに代えて、画像生成部２２は、リアルタイムで伝送または再生されるビデオ信号に対してリアルタイムで画像処理を行ってもよい。

画像生成部２２におけるシフト量は、観視者の瞳孔間距離の測定値に応じて定められてよい。画像処理装置２０は、観視者の瞳孔間距離を測定する瞳孔間距離測定部を更に有してよい。例えば当該瞳孔間距離測定部は、観視者の顔を撮像する撮像手段を有し、画像解析により観視者の瞳孔間距離を算出してよい。当該撮像手段は、後述する画像分離メガネ３４に設けられてよい。

画像補正部２４は、画像生成部２２が生成した左眼用画像および右眼用画像のデータを受け取る。画像補正部２４は、右眼用画像および左眼用画像のそれぞれから、他方の画像に応じた成分を差し引いて、それぞれの画像を補正する。例えば画像補正部２４は、出力部３０により表示された右眼用画像が、観視者の左眼に対応する位置に到達する成分を、左眼用画像から差し引いたデータを生成する。また、画像補正部２４は、出力部３０により表示された左眼用画像が、観視者の右眼に対応する位置に到達する成分を、右眼用画像から差し引いたデータを生成する。

右眼用画像および左眼用画像が、観視者の逆側の眼に対応する位置に到達する成分（以下、クロストーク成分と称する）は、出力部３０における遮光率により求めることができる。ここで遮光率は、観視者の各眼に到達する信号強度の総量と、各目で観察されるべき画像の信号強度との比で与えられる。例えば、右眼側の遮光率は、観視者の右眼に到達する信号の強度のうち、右眼用画像の信号強度が占める割合で与えられる。また、左眼側の遮光率は、観視者の左眼に到達する信号の強度のうち、左眼用画像の信号強度が占める割合で与えられる。

なお、上述した遮光率の定義は、上記に限定されるものではない。例えば遮光率は、観視者の各眼で実際に観視される信号において、当該眼で観視されるべきでない信号が占める割合を示してもよい。また、遮光率は、右眼用画像（または左眼用画像）の表示部３２における信号強度と、観視者の左眼（または右眼）において観察される右眼用画像（または左眼用画像）の信号強度との比を示してもよい。

画像補正部２４は、右眼用画像および左眼用画像のそれぞれについて、対応する遮光率に応じた係数を逆側の画像に乗算してそれぞれの画像から差し引く。例えば画像補正部２４は、右眼側の遮光率に応じた係数を左眼用画像に乗算して、右眼用画像から差し引く。また、画像補正部２４は、左眼側の遮光率に応じた係数を右眼用画像に乗算して、左眼用画像から差し引く。このような処理により、観視者の各眼において観視される逆側の眼用の画像成分を、対応する側の眼用の画像から予め差し引いて相殺することができる。このため、それぞれの眼において、逆側の画像が観察されることによるクロストーク成分を除去することができる。

また、画像補正部２４は、右眼用画像および左眼用画像のそれぞれについて、シフト量ずらして遮光率に応じた係数を乗算した補正用画像を生成してよい。つまり、それぞれの補正用画像は、逆側の画像に当該係数を乗算した画像になる。画像補正部２４は、右眼用画像および左眼用画像のそれぞれから、対応する補正用画像の成分を差し引いてよい。

遮光率測定部２６は、上述した遮光率を測定する。遮光率測定部２６は、観視者に立体的画像を提示する前に、予め遮光率を測定してよい。また、遮光率測定部２６は、観視者の右眼に対して左眼用画像が到達する割合に応じた右眼側の遮光率、および、観視者の左眼に対して右眼用画像が到達する割合に応じた左眼側の遮光率の双方を測定してよい。

遮光率入力部２７は、遮光率測定部２６が測定した遮光率を画像補正部２４に指示する。遮光率測定部２６は、出力部３０における遮光率を測定する手段を更に有してよい。例えば遮光率測定部２６は、表示部３２に所定のパターンの右眼用画像および左眼用画像を表示させ、それぞれ逆側の眼に到達する信号強度を測定してよい。信号強度を測定する手段は、後述する画像分離メガネ３４と、観視者の各眼との間に設けられてよい。遮光率測定部２６における遮光率測定方法の詳細は後述する。

このような構成により、右眼用画像および左眼用画像のそれぞれにおいて、遮光率に応じて生成されるクロストーク成分を精度よく補償することができる。このため、観視者に立体的画像を精度よく提示することができる。

出力部３０は、画像補正部２４が生成した右眼用画像および左眼用画像を用いて、立体的画像を観視者に提示する。出力部３０は、表示部３２および画像分離メガネ３４を有する。表示部３２は、右眼用画像および左眼用画像を分離可能なように、特性を異ならせて表示する。

例えば表示部３２は、右眼用画像および左眼用画像について偏光特性を異ならせて、並行して表示してよい。また表示部３２は、右眼用画像および左眼用画像について分光特性を異ならせて、並行して表示してよい。また表示部３２は、右眼用画像および左眼用画像について、時分割に表示してもよい。

画像分離メガネ３４は、表示部３２が表示した右眼用画像および左眼用画像を分離して、観視者の対応する眼に提示する。画像分離メガネ３４は、右眼用画像および左眼用画像と対応する特性を有するフィルタを用いて、右眼用画像および左眼用画像を分離して、観視者の対応する眼に提示してよい。また、画像分離メガネ３４は、右眼用フィルタおよび左眼用フィルタを交互に遮蔽することで、時分割で表示される右眼用画像および左眼用画像を分離して、観視者の対応する眼に提示してもよい。

図２は、表示部３２における画像表示例を示す図である。表示部３２は、実線で示される左眼用画像、および、破線で示される右眼用画像を並行して表示する。例えば表示部３２は、表示領域の垂直方向に連続して配列される複数の画素ラインを、交互に右眼用画像および左眼用画像に割り当てて、右眼用画像および左眼用画像を同時に表示してよい。また、表示部３２は、右眼用画像および左眼用画像を時分割に交互に表示してもよい。なお、表示部３２は、観視者の瞳孔間距離Ｌに応じたシフト量で、同一の２次元画像を水平方向にずらした左眼用画像および右眼用画像を表示する。

右眼用画像および左眼用画像は、画像分離メガネ３４により分離され、観視者の対応する眼に提示される。しかし、出力部３０において、逆側の画像を完全に遮光して観察者の各眼に提示することは困難である。このため図２に示すように、例えば右眼用画像の成分が観視者の左眼に提示されてしまう。このため観視者には、本来の画像成分とＬ離れた位置に、その画像をコピーしたクロストーク成分が観察される。当該クロストーク成分の信号強度は、クロストーク成分の元となった画像の信号強度Ａに係数（１−Ｓ）を乗算して与えられる。ただしＳは遮光率を示し、例えば右眼側の遮光率は、観視者の右眼に到達する信号の強度のうち、右眼用画像の信号強度が占める割合で与えられる。上述したように、当該遮光率を測定することで、当該クロストーク成分を精度よく補正することができる。

図３は、遮光率測定部２６の動作例を説明する図である。遮光率測定部２６は、表示部３２に右眼用画像または左眼用画像として所定のキャリブレーション画像を表示させる。遮光率測定部２６は、画像分離メガネ３４を介して観視者の逆側の眼に到達する画像成分の強度を測定することで、遮光率を測定してよい。例えば遮光率測定部２６は、左眼用のキャリブレーション画像が、画像分離メガネ３４を通過して観視者の右眼に到達する強度を測定してよい。

なお、遮光率測定部２６は、所定のキャリブレーションパターンを有するキャリブレーション画像を、右眼用画像および左眼用画像として表示部３２に表示させてよい。例えば、キャリブレーション画像は、白色等の所定の色を表示面全体にべた表示したパターンを有する画像であってよい。また、キャリブレーション画像は、所定の形状のキャリブレーションパターンを、所定の色で表示した画像であってもよい。また、キャリブレーション画像は、複数のパターンを組み合わせたものであってよく、色の異なる複数のパターンを組み合わせたものであってもよい。

遮光率測定部２６は、当該キャリブレーションパターンが、観視者の逆側の眼に到達する信号強度を測定する。遮光率測定部２６は、キャリブレーションパターンの色ごとに、観視者の逆側の眼に到達する信号強度を測定してよい。例えば遮光率測定部２６は、白色のキャリブレーションパターンを表示部３２に表示させ、当該キャリブレーションパターンが観視者の逆側の眼に到達する信号強度を、青色、赤色、緑色の各色に対して測定してよい。また遮光率測定部２６は、色の異なるキャリブレーションパターンを、表示部３２に順次表示させ、各色について、当該キャリブレーションパターンが観視者の逆側の眼に到達する信号強度を順次測定してもよい。

図４は、遮光率測定部２６の他の動作例を説明する図である。本例の遮光率測定部２６は、表示部３２に、右眼用のキャリブレーション画像および左眼用のキャリブレーション画像を並行して表示させる。そして、遮光率測定部２６は、観視者の右眼に到達する信号の強度のうち、右眼用のキャリブレーション画像の信号の強度が占める割合を右眼側の遮光率として算出し、観視者の左眼に到達する信号の強度のうち、左眼用のキャリブレーション画像の信号の強度が占める割合を左眼側の遮光率として算出する。

例えば、左眼側の遮光率を測定する場合、遮光率測定部２６は、右眼用のキャリブレーション画像として所定の形状のキャリブレーションパターン１２０を含む画像を表示させる。また、遮光率測定部２６は、左眼用のキャリブレーション画像として、キャリブレーションパターン１２０が重畳される領域の信号強度が略一定である画像を表示させる。遮光率測定部２６は、左眼用のキャリブレーション画像として所定の色のべた画像を表示させてよい。

そして、遮光率測定部２６は、観視者の左眼に観視される画像において、クロストーク成分１２２があらわれる領域の信号強度を測定し、当該信号強度に基づいて左眼側の遮光率を算出してよい。遮光率測定部２６は、キャリブレーションパターン１２０の位置と、右眼用画像および左眼用画像の間のシフト量とに基づいて、クロストーク成分１２２があらわれる領域の位置を決定してよい。

例えば、遮光率測定部２６は、左眼用のキャリブレーション画像のべた画像の色と、右眼用のキャリブレーション画像におけるキャリブレーションパターン１２０の色とを一致させてよい。この場合、クロストーク成分１２２は、同一の色のべた画像に重畳して観視される。遮光率測定部２６は、観視者の左眼に観視される画像において、クロストーク成分１２２があらわれない領域の信号強度Ｂと、クロストーク成分１２２があらわれる領域の信号強度Ｃとの比Ｂ／Ｃに基づいて、左眼側の遮光率を算出してよい。

また、遮光率測定部２６は、クロストーク成分１２２があらわれない領域の信号強度Ｂと、クロストーク成分１２２があらわれる領域の信号強度Ｃとの差に基づいて、クロストーク成分１２２の信号強度を算出してもよい。なお、右眼用のキャリブレーション画像において、キャリブレーションパターン１２０以外の領域の信号強度は、略零であることが好ましい。

また、遮光率測定部２６は、観視者の左眼に到達する画像において、右眼用画像のキャリブレーションパターン１２０の信号強度が、左眼用画像のべた領域の信号強度より大きくなるように、表示部３２にキャリブレーション画像を表示させてよい。例えば遮光率測定部２６は、左眼用のキャリブレーション画像のべた画像の信号強度より、キャリブレーションパターン１２０の信号強度が大きくなるように、それぞれのキャリブレーション画像を表示させてよい。また、遮光率測定部２６は、右眼用のキャリブレーションパターン１２０の色に関わらず、左眼用のキャリブレーション画像として白色のべた画像を表示させてよい。

同様に、遮光率測定部２６は、右眼側の遮光率を測定する。この場合、遮光率測定部２６は、右眼用のキャリブレーション画像として所定の色のべた画像を表示させ、左眼用のキャリブレーション画像として所定のキャリブレーションパターン１２０を含む画像を表示させてよい。

本例の遮光率測定部２６は、左眼用および右眼用のキャリブレーション画像を並行して表示させて遮光率を測定する。つまり、表示部３２から観視者までの光の伝搬路で信号強度が減衰する場合であっても、左眼用および右眼用のキャリブレーション画像の信号強度は同様に減衰する。このため、遮光率測定部２６は、当該減衰の影響を低減して遮光率を精度よく測定することができる。

図５は、画像補正部２４における画像補正例を示す図である。本例では、左眼用画像を補正する例を説明するが、右眼用画像についても同様の補正を行う。上述したように、観視者の左眼には、左眼用画像の元データに含まれる画像成分１０２と、右眼用画像によるクロストーク成分とが観察される。このため画像補正部２４は、左眼用画像において、クロストーク成分があらわれる位置の信号強度データから、当該クロストーク成分を相殺する成分１０４を差し引く。上述したように、クロストーク成分を相殺する成分１０４の位置および強度は、シフト量Ｌおよび遮光率Ｓから求めることができる。

また、輝度値が低い領域にクロストーク成分があらわれる場合、当該領域の輝度値よりも、クロストーク成分の輝度値が高くなり、当該領域の輝度値からクロストーク成分の輝度値を減算できない場合がある。このため画像生成部２２は、与えられる２次元画像よりも、輝度値を高くした右眼用画像および左眼用画像を生成してよい。画像生成部２２は、輝度値の最小が、クロストーク成分の輝度の最大値より大きくなるように、右眼用画像および左眼用画像の輝度値を調整してよい。クロストーク成分の輝度の最大値は、画像の輝度の最大値と、遮光率との積で与えられてよい。

また、各画像からクロストーク成分を相殺する成分を差し引いた場合、当該成分が更に逆側の画像に対するクロストーク成分になることも考えられる。画像補正部２４は、相殺成分のクロストーク成分を、逆側の画像から更に差し引いてよい。画像補正部２４は、クロストーク成分の信号強度が所定の値より小さくなるまで、当該処理を繰り返してよい。クロストーク成分の信号強度は、逆側の画像に透過する毎に、遮光率に応じて徐々に減衰する。

なお、画像補正部２４は、逆側の画像の明暗を反転させて所定の係数を乗算したものを、右眼用画像および左眼用画像のそれぞれに足すことで、クロストーク成分を低減してもよい。つまり、画像補正部２４は、右眼用画像および左眼用画像のそれぞれについて、他方の画像に応じた成分を加算または減算するいずれかの処理を行ってよい。

いずれの処理でクロストーク成分を低減するかは、右眼用画像および左眼用画像の信号強度を補正した場合に、表示部３２が表示可能な信号強度の範囲内となる処理を選択してよい。例えば、クロストーク成分を差し引いた右眼用画像および左眼用画像における信号強度の最小値が、表示部３２が表示可能な信号強度の最小値に対して大きい場合には、画像補正部２４は、クロストーク成分を差し引く処理を選択してよい。

また、クロストーク成分において、所定値より輝度の高い部分の面積が、所定値より輝度の低い部分の面積より大きい場合、画像補正部２４は、逆側の画像の明暗を反転させて所定の係数を乗算したものを、右眼用画像および左眼用画像のそれぞれに足してよい。本実施例では、右眼用画像および左眼用画像のそれぞれについて、他方の画像に応じた成分を減算する処理を行う場合を例として説明する。

なお本例の画像提示システム１０は、２次元画像全体をシフト量Ｌに応じて水平方向にシフトすることで、右眼用画像および左眼用画像を生成する。つまり、クロストーク成分があらわれる位置は、本来の信号成分を、シフト量Ｌで水平移動させた一定の位置となる。このため、クロストーク成分を相殺する補正を簡単に行うことができる。

図６は、キャリブレーション画像を生成する方法の一例を示す図である。本例の画像提示システム１０は、与えられる１つの２次元画像から、右眼用および左眼用のキャリブレーション画像を生成する。遮光率測定部２６は、遮光率を測定する場合に、測定用の２次元画像を画像生成部２２に供給してよい。図１に関連して説明したように、画像生成部２２は、与えられる２次元画像全体の位置を、それぞれ予め定められたシフト量でずらすことで、右眼用画像および左眼用画像を生成する。

遮光率測定部２６は、キャリブレーションパターン１２０と、信号強度が略一定のべた領域１２４とを含む２次元画像を、画像生成部２２に供給する。遮光率測定部２６は、キャリブレーションパターン１２０の位置を、右眼用画像および左眼用画像の間のシフト量Ｌずらした場合に、キャリブレーションパターン１２０、および、べた領域１２４が重なる２次元画像を、画像生成部２２に供給してよい。遮光率測定部２６は、図４に関連して説明した左眼用および右眼用のキャリブレーション画像を組み合わせた２次元画像を生成してよい。

例えば、左眼側の遮光率を測定する場合、遮光率測定部２６は、２次元画像の左側の領域をべた領域１２４（左眼用のキャリブレーション画像）として、２次元画像の右側の領域にキャリブレーションパターン１２０（右眼用のキャリブレーション画像）を配置とした２次元画像を生成してよい。キャリブレーションパターン１２０は、左側にシフト量Ｌだけずらした場合に、キャリブレーションパターン１２０の全体がべた領域１２４と重なるように配置される。

画像生成部２２は、当該２次元画像をシフトして、左眼用および右眼用のキャリブレーション画像を生成する。上述したように、２次元画像におけるキャリブレーションパターン１２０は、画像生成部２２におけるシフト量Ｌに応じて配置されるので、左眼用のキャリブレーション画像におけるキャリブレーションパターン１２０のクロストーク成分は、右眼用のキャリブレーション画像におけるべた領域１２４と重なるように観視される。このような構成により、遮光率を容易に測定することができる。

図７は、画像提示システム１０の他の構成例を示す図である。本例の画像提示システム１０は、図１に関連して説明した画像提示システム１０の構成に加え、位置検出部２８を更に備える。

位置検出部２８は、表示部３２に対する観視者の眼の位置を検出する。例えば位置検出部２８は、表示部３２に対する画像分離メガネ３４の位置を検出してよい。出力部３０における遮光率Ｓは、表示部３２に対する観視者の眼の相対位置により変化する場合がある。例えば、偏光方向を異ならせた右眼用画像および左眼用画像を表示する場合、表示部３２の全方位に対して一定の偏光度を保つことは困難であるので、遮光率Ｓが観視者の眼の位置に応じて変化する。

本例の遮光率測定部２６は、表示部３２に対する観視者の眼の位置ごとに遮光率を測定する。遮光率測定部２６は、位置検出部２８が検出する画像分離メガネ３４の位置ごとに、遮光率を測定してよい。また、クロストーク成分を除去する場合、遮光率測定部２６は、画像分離メガネ３４の位置に応じた遮光率を用いて、左眼用画像および右眼用画像を補正する。遮光率測定部２６は、観視者の眼または画像分離メガネ３４の位置毎の遮光率を格納する遮光率メモリを有してよい。これにより、より精度よくクロストーク成分を除去することができる。

なお、画像提示システム１０は、複数のフレームを連続して表示することで動画を提示してよい。この場合、画像補正部２４は、右眼用画像および左眼用画像のそれぞれから、異なるフレームにおける他方の画像に応じた成分を差し引いてもよい。この場合、補正されるフレームと、補正に用いるフレームとの時間差が、０．１秒程度の範囲内となることが好ましい。

また、遮光率測定部２６は、右眼用画像および左眼用画像のそれぞれが、異なるフレームにおいて観視者の逆側の眼に到達する割合を予め測定する。この場合、遮光率測定部２６は、単一のフレームにおいて、キャリブレーションパターン１２０を有する右眼用または左眼用のキャリブレーション画像を表示し、他のフレームでは、べた領域を含む右眼用および左眼用のキャリブレーション画像を表示してよい。

また、遮光率測定部２６は、所定の間隔のフレームにおいて、同一のキャリブレーションパターン１２０を有する右眼用または左眼用のキャリブレーション画像を表示させてもよい。また、遮光率測定部２６は、キャリブレーションパターン１２０を表示させた後の各フレームについて、当該キャリブレーションパターン１２０が逆側の眼に到達する遮光率を測定してよい。つまり、遮光率測定部２６は、キャリブレーションパターン１２０の残像が、逆側の眼にどれだけ到達するかを、フレームの経過数ごとに測定してよい。

画像補正部２４は、時間的に先行するフレームの残像のクロストーク成分を低減するように、先行する複数のフレームにおける逆側の画像と、先行する各フレームの残像が現在のフレームにおける逆側の眼に到達する遮光率とに基づいて、それぞれのフレームにおける右眼用画像および左眼用画像を補正してよい。このような制御により、例えば液晶表示装置のように比較的に残像が見えやすい場合であっても、当該残像のクロストーク成分を精度よく補償することができる。

図８は、画像提示システム１０の他の構成例を示す図である。本例の画像提示システム１０は、図１に関連して説明した画像提示システム１０に対して、画像処理装置２０の動作が異なる。本例の出力部３０は、図１に関連して説明した出力部３０と同一の機能および構成を有する。

本例の画像処理装置２０では、まず画像補正部２４が、与えられる２次元画像を補正する。画像補正部２４は、同一の領域で重畳して観察される、本来の画像成分の信号強度に対するクロストーク成分の信号強度の割合が、予め定められた閾値より大きい場合に、当該２次元画像のコントラストを低下させて画像生成部２２に供給する。

画像補正部２４は、２次元画像の信号強度データから、上述した信号強度の割合を算出してよい。本例では、クロストーク成分が本来の信号成分に対してシフト量Ｌずれて観察されるので、画像補正部２４は、２次元画像におけるシフト量ずれた領域間の信号強度を比較してよい。ただし、クロストーク成分の信号強度は、上述した遮光率に応じて減衰して観察されるので、画像補正部２４は、シフト量Ｌずれた領域の輝度値に係数（１−Ｓ）を乗算してよい。また、画像補正部２４は、遮光率Ｓに応じた係数を輝度値に乗算する処理に代えて、当該係数を上述した閾値に乗算してもよい。当該遮光率または係数は、遮光率測定部２６における測定結果に応じて、遮光率入力部２７から画像補正部２４に与えられる。

クロストーク成分の信号強度の割合が大きい場合、クロストーク成分がより顕著に観察されるが、画像補正部２４が、元の２次元画像のコントラストを低下させて画像生成部２２に供給することで、当該クロストーク成分を目立たなくさせることができる。例えば画像補正部２４は、コントラストを低下させる方法として、２次元画像の輝度値の範囲を比例圧縮してよく、所定値より大きい輝度値を当該所定値に置き換えてよく、所定値より小さい輝度値を当該所定値に置き換えてもよい。また、画像補正部２４は、２次元画像全体のコントラストを一括して調整してよく、２次元画像を複数の領域に分割して、領域毎にコントラストを調整してもよい。

画像生成部２２は、画像補正部２４から与えられる２次元画像全体の位置を、それぞれ予め定められたシフト量でずらすことで、右眼用画像および左眼用画像を生成する。画像生成部２２の機能は、図１から図７に関連して説明した画像生成部２２と同一である。

図９は、観視者により観視される左眼用画像の例を示す図である。図２において説明したように、観視者には、本来の左眼用画像の画像成分１０８の他に、右眼用画像によるクロストーク成分１１０が観察される。

上述したように、クロストーク成分１１０が顕著に観察されるのは、各領域に重畳されるクロストーク成分１１０の信号強度の割合が、比較的に大きい場合である。例えば、比較的に輝度の低い領域１０６−１と、比較的に輝度の高い領域１０６−２とでは、領域１０６−１のほうが、明るいクロストーク成分１１０が目立つ。

本例の画像補正部２４は、各領域の信号強度に対する、重畳されるクロストーク成分の信号強度の割合に応じて、２次元画像の各領域のコントラストを調整する。つまり、画像補正部２４は、２次元画像の予め分割された各領域について、クロストーク成分の信号強度の割合を算出する。そして、クロストーク成分の割合が予め定められた値より大きい領域（例えば領域１０６−１）について、選択的にコントラストを調整する。

このように、２次元画像のコントラストを部分的に小さくすることで、より効果的にクロストーク成分を目立たなくすることができる。なお本例の画像提示システム１０は、クロストーク成分があらわれる位置は一定になるので、簡単な処理で、各領域の信号強度に対する、重畳されるクロストーク成分の信号強度の割合を求めることができる。

また、画像提示システム１０は、２次元画像を提示する２次元表示モードと、右眼用画像および左眼用画像を提示する３次元表示モードとを有してよい。この場合、画像補正部２４は、３次元表示モードで動作する場合に、２次元画像のコントラストを予め低下させてよい。つまり、２次元表示モードの場合は、クロストーク成分が生じないので通常のコントラストで表示し、３次元表示モードの場合は、クロストーク成分を低減するべく、２次元表示モードより低いコントラストの２次元画像を用いてよい。

また、画像提示システム１０は、複数のフレームを連続して表示することで動画を提示してよい。この場合、画像補正部２４は、それぞれのフレームにおいて算出した信号強度の比に基づいて、他のフレームにおける２次元画像のコントラストを調整してよい。例えば、当該フレームではクロストーク成分の信号強度の割合が閾値より小さくとも、他のフレームで２次元画像のコントラストを低下させたときは、当該フレームにおける２次元画像のコントラストも、他のフレームのコントラストの低下に応じて調整してよい。

また、画像補正部２４は、全てのフレームにおいてコントラストが同一となるように調整してよい。また、連続するフレーム間のコントラストの変化が、所定値より小さくなるように、各フレームにおけるコントラストを調整してもよい。例えば特定のフレームのコントラストを調整する場合、その前後の所定数のフレームにおいて、コントラストを徐々に変化させてよい。

以上の例においては、右眼用画像および左眼用画像を、同一の２次元画像を瞳孔間距離Ｌに応じてシフトさせて生成する方式を用いて説明した。他の例では、画像提示システム１０は、ステレオ方式の右眼用画像および左眼用画像を用いて立体的画像を提示してもよい。ステレオ方式の右眼用画像および左眼用画像は、例えば右眼および左眼に対応する位置から被写体を撮像することで生成される。

この場合、右眼用画像および左眼用画像は視差を有するので、各画像成分のシフト量は、その被写体の奥行き距離に応じて異なる。このため、クロストーク成分があらわれる位置も、被写体の奥行き距離に応じて異なる。画像補正部２４は、シフト量Ｌを、被写体の奥行き距離に応じて算出してよい。この場合、被写体の奥行き距離の情報が、右眼用画像および左眼用画像に埋め込まれていることが好ましい。

また、画像提示システム１０は、表示部３２において右眼用画像および左眼用画像として色の異なる画像を表示し、画像分離メガネ３４において右眼用画像および左眼用画像を分光することで分離してよい。例えば画像提示システム１０は、アナグリフ方式、カラーコード方式等により、立体的画像を提示してよい。この場合、画像提示システム１０は、測定された遮光率に基づいて、右眼用画像および左眼用画像の色を調整することで、クロストーク成分を低減してもよい。

例えば、右目用画像として赤色のパターンを表示する場合、画像分離メガネ３４の左眼用フィルタとして赤色のフィルタを用いる。これにより、右眼用画像の赤色のパターンは、赤色のフィルタによりマスクされ、観視者の左眼では観察されない。しかし、表示部３２が表示する画像の発色特性と、画像分離メガネ３４のフィルタの通過特性とが適合していない場合、逆側の眼用の画像が完全にはマスクされずに、観視者に観察されてしまう。

画像補正部２４は、逆側の眼用の画像が、画像分離メガネ３４でマスクされるように、右眼用画像および左眼用画像の各色の強度データを調整する。例えば、遮光率測定部２６は、表示部３２にＲＧＢの各色を順次表示させて、画像分離メガネ３４における各眼用のフィルタについて、ＲＧＢの各色の透過率を測定してよい。画像補正部２４は、右眼用画像および左眼用画像の各色の強度データを、画像分離メガネ３４において対応するフィルタの各色の透過率に応じて補正してよい。

図１０は、他の実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。コンピュータ１９００は、与えられるプログラムに応じて、図１から図９に関連して説明した画像処理装置２０として機能する。

本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置２０として機能させるプログラムは、画像生成モジュール、画像補正モジュール、遮光率入力モジュール、および、シフト量入力モジュールを有する。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像生成部２２、画像補正部２４、遮光率入力部２７、および、遮光率測定部２６としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像生成部２２、画像補正部２４、遮光率入力部２７、および、遮光率測定部２６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置２０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０・・・画像提示システム、２０・・・画像処理装置、２２・・・画像生成部、２４・・・画像補正部、２６・・・遮光率測定部、２７・・・遮光率入力部、２８・・・位置検出部、３０・・・出力部、３２・・・表示部、３４・・・画像分離メガネ、１９００・・・コンピュータ、２０００・・・ＣＰＵ、２０１０・・・ＲＯＭ、２０２０・・・ＲＡＭ、２０３０・・・通信インターフェイス、２０４０・・・ハードディスクドライブ、２０５０・・・フレキシブルディスク・ドライブ、２０６０・・・ＣＤ−ＲＯＭドライブ、２０７０・・・入出力チップ、２０７５・・・グラフィック・コントローラ、２０８０・・・表示装置、２０８２・・・ホスト・コントローラ、２０８４・・・入出力コントローラ、２０９０・・・フレキシブルディスク、２０９５・・・ＣＤ−ＲＯＭ

Claims (18)

1. ２次元の右眼用画像および左眼用画像を用いて立体的画像を提示する画像提示システムであって、
   前記右眼用画像および前記左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定部を備える画像提示システム。
2. 前記遮光率に基づいて、前記右眼用画像および前記左眼用画像を補正する画像補正部と、
   前記画像補正部により補正された前記右眼用画像および前記左眼用画像を表示する表示部と
   を更に備える請求項１に記載の画像提示システム。
3. 前記遮光率測定部は、所定のキャリブレーションパターンを有するキャリブレーション画像を前記表示部に表示させ、前記観視者の逆側の眼に到達する前記キャリブレーションパターンの信号強度を測定する
   請求項２に記載の画像提示システム。
4. 前記遮光率測定部は、前記キャリブレーションパターンの色ごとに、前記観視者の逆側の眼に到達する信号強度を測定する
   請求項３に記載の画像提示システム。
5. 前記遮光率測定部は、白色の前記キャリブレーションパターンを含む前記キャリブレーション画像を前記表示部に表示させ、前記観視者の逆側の眼に到達する信号を分光して各色の信号強度を測定する
   請求項４に記載の画像提示システム。
6. 前記遮光率測定部は、所定の色の前記キャリブレーションパターンを含む前記キャリブレーション画像を、前記キャリブレーションパターンの色ごとに順番に前記表示部に表示させ、前記観視者の逆側の眼に到達する前記キャリブレーションパターンの信号強度を色ごとに順番に測定する
   請求項４に記載の画像提示システム。
7. 前記遮光率測定部は、
   右眼用の前記キャリブレーション画像および左眼用の前記キャリブレーション画像を並行して表示させ、
   観視者の右眼に到達する信号の強度のうち、前記右眼用の前記キャリブレーション画像の信号の強度が占める割合を右眼側の前記遮光率として算出し、
   観視者の左眼に到達する信号の強度のうち、前記左眼用の前記キャリブレーション画像の信号の強度が占める割合を左眼側の前記遮光率として算出する
   請求項３から６のいずれかに記載の画像提示システム。
8. 前記遮光率測定部は、
   前記遮光率を算出すべき側の逆側の眼用の前記キャリブレーション画像として、予め定められた形状の前記キャリブレーションパターンを含む画像を前記表示部に表示させ、
   前記遮光率を算出すべき側の眼用の前記キャリブレーション画像として、前記キャリブレーションパターンが重畳される領域の信号強度が略一定である画像を前記表示部に表示させる
   請求項７に記載の画像提示システム。
9. 前記遮光率測定部は、前記観視者の左眼に到達する前記キャリブレーションパターンの信号強度が、前記キャリブレーションパターンが重畳される領域が前記観視者の左眼に到達する信号強度より大きくなるように、前記表示部に前記キャリブレーション画像を表示させる
   請求項８に記載の画像提示システム。
10. 与えられる２次元画像全体の位置を、それぞれ予め定められたシフト量でずらすことで、前記右眼用画像および前記左眼用画像を生成する画像生成部を更に備え、
    前記遮光率測定部は、前記キャリブレーションパターンを前記シフト量ずらした場合に、前記キャリブレーションパターンおよび前記信号強度が略一定の領域が重なる２次元画像を、前記画像生成部に入力することで、前記遮光率を算出すべき側および逆側の前記キャリブレーション画像を生成させる
    請求項８に記載の画像提示システム。
11. 前記表示部が表示した前記右眼用画像および前記左眼用画像を分離して前記観視者に提示する画像分離メガネを更に備え、
    前記遮光率測定部は、前記画像分離メガネを通過する前記キャリブレーションパターンの信号強度を測定する
    請求項３から１０のいずれかに記載の画像提示システム。
12. 前記遮光率測定部は、前記表示部に対する前記画像分離メガネの位置ごとに、前記遮光率を測定する
    請求項１１に記載の画像提示システム。
13. 前記画像提示システムは、複数のフレームを連続して表示することで動画を提示し、
    前記遮光率測定部は、前記右眼用画像および前記左眼用画像のそれぞれが、異なるフレームにおいて観視者の逆側の眼に到達する割合を測定する
    請求項１から１２のいずれかに記載の画像提示システム。
14. 前記表示部は、前記右眼用画像および前記左眼用画像として色の異なる画像を表示し、
    前記画像分離メガネは、前記表示部が表示した前記右眼用画像および前記左眼用画像を分光することで分離し、
    前記画像補正部は、前記遮光率に基づいて、前記右眼用画像および前記左眼用画像の色を調整する
    請求項１１に記載の画像提示システム。
15. 前記画像補正部は、前記遮光率に基づいて、前記右眼用画像および前記左眼用画像の各色の強度データを調整する
    請求項１４に記載の画像提示システム。
16. 立体的画像表示に用いる２次元の右眼用画像および左眼用画像を補正する画像処理装置であって、
    前記右眼用画像および前記左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定部と、
    前記遮光率に基づいて、前記右眼用画像および前記左眼用画像を補正する画像補正部と
    を備える画像処理装置。
17. 立体的画像表示に用いる２次元の右眼用画像および左眼用画像を補正する画像処理装置として、コンピュータを機能させるプログラムであって、
    前記コンピュータを、
    前記右眼用画像および前記左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定部と、
    前記遮光率に基づいて、前記右眼用画像および前記左眼用画像を補正する画像補正部と
    して機能させるプログラム。
18. ２次元の右眼用画像および左眼用画像を用いて立体的画像を提示する画像提示方法であって、
    前記右眼用画像および前記左眼用画像のそれぞれが観視者の逆側の眼に到達する割合により定まる遮光率を測定する遮光率測定段階を備える画像提示方法。

Images