JP5450643B2 - 画像符号化装置、画像符号化方法、プログラムおよび集積回路 - Google Patents

Description

本発明は、立体映像信号の圧縮符号化を行う画像符号化装置などに関し、特に、視差のある二つの映像信号、すなわちステレオ映像信号を扱うデジタルビデオカメラやデジタルスチルカメラなどの画像記録機器または画像伝送機器に用いられ、ステレオ画像を符号化する画像符号化装置などに関する。

立体映像信号を撮影時に想定したスクリーンより大きなスクリーンに映写する場合、スクリーン面より後方に見える左右の像の間の距離が、両眼の間の距離よりも大きくなる。この場合、観視者は、その像を立体視するために、両眼の融合を維持しようとして、両眼の筋力と脳に強い疲労を覚える。そして、さらに距離（開き）が大きくなると、観視者はもはや両眼の融合を維持できなくなり、立体視が破綻してしまう問題がある。この問題を防ぐために、従来、観視者の注意が遠景に向けられないように、遠景をぼかす処理が行われる（例えば、非特許文献１参照）。

また、この遠景をぼかす処理を符号化時に行うことが考えられている。

従来の立体映像信号（ステレオ映像信号）を符号化する画像符号化装置は、ステレオ映像信号の視差に応じて量子化の度合いを制御することにより、符号量を制御する。すなわち、従来の画像符号化装置は、視差が小さい場合には、その視差を有する領域の重要度が大きいため、その領域の情報量を多くし、視差が大きい場合には、その視差を有する領域の情報量を少なくし、結果的にその領域の画像をぼかす処理を行っている（例えば、特許文献１参照）。

図１は、上記特許文献１に記載された従来の画像符号化装置の構成を示すブロック図である。

図１に示すように、二つのカメラからの映像信号は、それぞれのプロセス回路１０１および１０２に入力されることによって、ＲＧＢコンポーネント信号が得られる。このＲＧＢコンポーネント信号は、ＡＤ変換部１０３および１０４によってデジタルデータ列に変換された後、メモリ１０５および１０６に蓄積される。なお、メモリ１０５および１０６はそれぞれ、８ライン分のデジタルデータ列を格納し得るメモリである。８ライン分のデジタルデータ列、つまり、画面上の８行×８列の画素からなる領域（ブロック）のデータは、このメモリ１０５および１０６からそれぞれ読み出される。その後の処理はブロック毎に行われる。

メモリ１０５に蓄積されたブロックのデータは、ＤＣＴ回路１０７に入力され、ここで離散コサイン変換され、周波数領域上の実数データからなる係数ブロックに変換される。そして、この係数ブロックは量子化回路１０８に入力され、ここで所定の量子化ステップの逆数を乗算され、整数化される。量子化ステップは、人の視覚特性を利用して定められ、低周波数側ほど歪を少なく許容し、高周波数側ほど歪を多く許容するように設定されている。すなわち、低周波数側の係数に対する量子化ステップが小さく設定され、低周波数側に符号量が多く割り当てられる。

そして、このようにして量子化されたデータに対して、ゼロパック回路１０９による零のランレングス符号化が施される。すなわち、ゼロパック回路１０９は、連続している零の数を数え、その数と、その連続する零を止めている係数とを組にすることによって、量子化されたデータを符号化する。

ここで、上記特許文献１記載の画像符号化装置は、メモリ１０５および１０６にそれぞれ格納されているブロックのデータ間の減算処理を画素ごとに行う減算器１１０と、この減算器１１０による減算結果の絶対値の和（視差信号）を求める絶対値和回路１１１とを有している。そして、この絶対値和回路１１１において得られる画素毎のデータの差の絶対値和は、そのブロックについての画像のずれ、すなわち視差に対応する。

量子化回路１０８は、絶対値和回路１１１の出力である視差信号に応じて量子化ステップを調節する。

ハフマン符号化部１１２は、ゼロパック回路１０９から出力されるランレングス符号化されたデータに対して、エントロピー符号化の一つであるハフマン符号化を行う。

このように、上記特許文献１記載の画像符号化装置は、視差が大きいブロックに対しては、量子化ステップを大きくすることで、そのブロックの圧縮率を高め、結果として符号化効率を向上すると共に、ぼかし処理を施している。

ここで、カメラの撮影方法について説明する。

図２Ａは、２つのカメラによる撮影方法を示す図である。

カメラ２１および２２は、それぞれの光軸を交差させた状態で物体２３を撮影する。このような状態における撮影方法を交差法という。

なお、光軸とは、カメラによる撮影によって得られる画像の中心にあって、その画像の面に対して垂直な方向に沿った軸である。視差は、カメラ２１によって撮影された物体２３の像（左像）の位置と、カメラ２２によって撮影された物体２３の像（右像）の位置との差である。また、カメラ２１および２２の配列方向に対して垂直な方向に沿った、カメラ２１および２２からの距離を、撮影距離という。さらに、上記垂直な方向に沿ったカメラ２１および２２から交点および焦点までの距離をそれぞれ、交点距離および焦点距離という。

例えば、カメラ２１の光軸とカメラ２２の光軸との交点に物体２３があり、その交点にカメラ２１および２２の焦点が当てられている。このような場合、交点距離および焦点距離は等しく、その物体２３の像は鮮明であり、その像の視差は最も小さい。一方、撮影距離が交点距離（焦点距離）よりも長い場合には、その撮影距離にある遠景の物体２４の像の視差は、差２５ａおよび２５ｂによって示され、物体２３の視差よりも十分に大きい。

図２Ｂは、交差法における撮影距離と視差との関係を示す図である。

撮影距離Ｌにある被写体の像の視差Ｄは、図２Ｂに示すように、撮影距離Ｌが０から交点距離Ｌ１の間であれば、撮影距離Ｌが長くなるほど正の値として小さくなる。また、視差Ｄは、交点距離では０となる。また、視差Ｄは、撮影距離Ｌが交点距離Ｌ１よりも長い場合には、撮影距離Ｌが長くなるほど負の値として小さくなる。つまり、この場合には、視差Ｄは負の値で、撮影距離Ｌが長くなるほど視差Ｄの絶対値が大きくなる。

このように、物体２３が交点（焦点）にある場合には、その物体２３の像には視差がない。そして、交点よりもカメラ２１および２２から離れた位置にある遠景の物体２４の像の視差は、負方向に大きい。この場合には、観視者は、物体２３の像を容易に立体視することができるが、遠景にある物体２４の像を立体視するには、両眼の視線を互いに離すようにする必要がある。その結果、両眼が疲れてしまう。

そこで、上記特許文献１の画像符号化装置は、一方のブロックと他方のブロックとの画像の差分を、視差の大きさとして特定し、視差が大きいブロックに対しては、量子化ステップを大きくすることで、視差の大きいブロックの画像をぼかしている。つまり、上記特許文献１の画像符号化装置は、視差が大きい領域では、その領域の重要度は低いため情報量を少なくし、視差が小さい領域では、その領域の重要度が大きいため情報量を多くしている。

特開平６−２８４４４９号公報

本田捷夫監修「立体映像技術−空間表現メディアの最新動向−」シーエムシー出版、２００８年７月３１日（Ｐ６１−Ｐ６２）

しかしながら、上記特許文献１記載の画像符号化装置では、重要な領域にぼかし処理を行ってしまう場合があるという問題がある。

つまり、上記特許文献１記載の画像符号化装置では、上述のように、視差が大きい領域では、その領域の重要度が低いため情報量を少なくし、視差が小さい領域では、その領域の重要度が大きいため情報量を多くする。このような画像符号化装置による符号化技術は、図２Ａに示す交差法による撮影方法のみに適応できる技術であって、他の撮影方法には適用することができない。

図３Ａは、２つのカメラによる他の撮影方法を示す図である。

カメラ２１および２２は、それぞれの光軸を平行にさせた状態で物体２３を撮影する。このような状態における撮影方法を平行法という。例えば、カメラ２１および２２の焦点は物体２３に当てられている。このような場合、その物体２３の像は鮮明である。また、物体２３の像の視差は、差２６ａおよび２６ｂによって示され、物体２３よりも撮影距離Ｌが長い位置にある遠景の物体２４の像の視差は、差２７ａおよび差２７ｂによって示される。

図３Ｂは、平行法における撮影距離と視差との関係を示す図である。

撮影距離Ｌにある被写体の像の視差Ｄは、図３Ｂに示すように、常に正の値であって、撮影距離Ｌが長くなるほど０に近づくように小さくなる。

つまり、平行法では、交差法と異なり、物体２３が焦点にある場合であっても、その物体２３の像には視差がある。さらに、焦点よりもカメラ２１および２２から離れた位置にある遠景の物体２４の像の視差は、物体２３の像の視差よりも小さい。言い換えれば、カメラ２１および２２によって得られる画像のうち、焦点が当てられている重要度が大きい領域には比較的大きな視差があり、焦点が当てられていない重要度が小さい領域（遠景）には０に近い小さな視差がある。

したがって、上記特許文献１記載の画像符号化装置が、平行法による撮影によって得られたカメラ２１および２２からの映像信号を符号化すると、視差が大きい領域には情報量を少なく割り当て、視差が小さい領域には情報量を多く割り当てるため、焦点が当てられた重要なブロック（領域）の画像に対してぼかし処理を行ってしまうことがある。このように、撮影方法によっては視差の分布が異なり、視差の小さい領域ほど、その領域の重要度が大きいとは限らないのである。

そこで、本発明は、かかる問題に鑑みてなされたものであって、観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことが可能な画像符号化装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る画像符号化装置は、立体視するための２つの画像を符号化する画像符号化装置であって、カメラによる前記２つの画像の撮影方法を特定する方法特定部と、前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部とを備える。

これにより、立体視するための２つの画像（例えば、主画像と副画像）が符号化される際には、視差だけでなく撮影方法にも基づいて調整量が決定され、その調整量だけ画像がぼけるように、その２つの画像が符号化される。このように画像がぼかされることによって、観視者の立体視による疲労を抑えることができる。さらに、視差だけでなく撮影方法にも基づいて調整量が決定されるため、撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。

また、方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、前記調整部は、前記方法特定部によって前記撮影方法が交差法であると特定された場合には、前記視差検出部によって検出された視差が第１の閾値より大きい領域に対して前記調整量を決定してもよい。

撮影方法が交差法である場合には、遠景を映す領域における視差は比較的大きいため、視差が第１の閾値より大きい領域に対して調整量が決定されることによって、視差の大きい遠景の画像を適切にぼかすことができ、観視者の立体視による疲労を抑えることができる。さらに、交差法の場合には、遠景より近い光軸の交点にある被写体を映す領域、つまり重要な領域における視差は極めて小さく、その視差が小さい領域に対しては調整量が決定されないため、その重量な領域にぼかし処理が行われてしまうのを防ぐことができる。

また、前記調整部は、前記視差が大きいほど、ぼかしの度合いが大きくなるような調整量を決定してもよい。

これにより、視差が大きい画像ほど強い強度でぼかされるため、観視者の疲労を適切に抑えることができる。

また、前記画像符号化装置は、さらに、前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第１の閾値として設定してもよい。

これにより、焦点が当てられている領域（いわゆるフォーカスエリア）における視差が第１の閾値として設定され、その第１の閾値より大きい視差を有する領域に対して調整量が決定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。

また、前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、前記調整部は、前記方法特定部によって前記撮影方法が平行法であると特定された場合には、前記視差検出部によって検出された視差が第２の閾値より小さい領域に対して前記調整量を決定してもよい。

撮影方法が平行法である場合には、遠景を映す領域における視差は比較的小さいため、視差が第２の閾値より小さい領域に対して調整量が決定されることによって、視差の小さい遠景の画像を適切にぼかすことができる。さらに、交差法の場合には、遠景より近い被写体を映す領域、つまり重要な領域における視差は比較的大きく、その視差が大きい領域に対しては調整量が決定されないため、その重量な領域にぼかし処理が行われてしまうのを防ぐことができる。

また、前記調整部は、前記視差が小さいほど、ぼかしの度合いが大きくなるような調整量を決定してもよい。

これにより、視差が小さい画像ほど強い強度でぼかされるため、遠景の画像を適切にぼかすことができる。

また、前記画像符号化装置は、さらに、前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第２の閾値として設定してもよい。

これにより、焦点が当てられている領域（いわゆるフォーカスエリア）における視差が第２の閾値として設定され、その第２の閾値より小さい領域に対して調整量が決定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。

また、前記方法特定部は、前記２つの画像のそれぞれを生成するための前記カメラの２つの光軸が交わる角度を輻輳角として特定し、前記輻輳角が予め定められた角度より小さいか否かを判別し、前記輻輳角が小さくないと判別したときには、前記撮影方法が交差法であると特定し、前記輻輳角が小さいと判別したときには、前記撮影方法が平行法であると特定してもよい。

これにより、輻輳角が特定され、その輻輳角に応じて、撮影方法が平行法であるか交差法であるかが特定されるため、撮影方法を適切に特定することができる。

また、前記視差検出部は、前記２つの画像の間の視差を視差ベクトルとして前記領域ごとに検出し、前記方法特定部は、前記視差検出部によって領域ごとに検出される視差ベクトルの分布の中で、負の向きの視差ベクトルと正の向きの視差ベクトルとが混在しているか否かを判別し、混在していると判別したときには、前記撮影方法が交差法であると特定し、混在していないと判別したときには、前記撮影方法が平行法であると特定してもよい。

これにより、視差ベクトルの分布に応じて、撮影方法が平行法であるか交差法であるかが特定されるため、例えば、輻輳角に基づいて撮影方法を特定する場合と比べて、輻輳角をわざわざ特定する必要がなく、画像符号化装置の構成および処理動作を簡単にすることができる。

また、前記符号化部は、前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部と、前記領域ごとに、前記変換部による直交変換によって得られた周波数係数を量子化する量子化部とを備え、前記量子化部は、何れかの領域の周波数係数を量子化するときには、当該領域に対して前記調整部によって決定された調整量だけ量子化ステップを増加し、増加された量子化ステップを用いて当該領域の周波数係数を量子化することにより、当該領域の画像をぼかしてもよい。

これにより、量子化ステップの増加によって画像がぼかされるため、画像の符号化に用いられるパラメータを、画像のぼかし処理に流用することができ、画像をぼかすための処理や構成要素を追加することなく、画像符号化装置の構成および処理動作を簡単にすることができる。

また、前記符号化部は、前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部を備え、前記変換部は、何れかの領域に対して直交変換を行い、当該領域に対して周波数係数を生成したときには、当該領域に含まれる周波数係数のうち、当該領域に対して前記調整部によって決定された調整量に応じた広さの高周波数領域の周波数係数を切り捨てることにより、当該領域の画像をぼかしてもよい。

これにより、高周波数領域の周波数係数を切り捨てることによって画像がぼかされるため、画像の符号化によって生成されるデータを使って適切に画像をぼかすことができ、画像をぼかすための処理や構成要素を追加することなく、画像符号化装置の構成および処理動作を簡単にすることができる。

また、前記符号化部は、前記領域ごとに検出された視差を用いて、前記２つの画像のうちの一方の画像を、他方の画像から予測することによって予測画像を生成し、前記一方の画像と前記予測画像との差分を算出することによって、前記一方の画像を符号化してもよい。

これにより、いわゆる視差補償予測符号化が行われるため、２つの画像の符号化効率を向上することができる。

また、前記方法特定部は、前記２つの画像のそれぞれの撮像の向きを示す線の間の角度を前記撮影方法として特定し、前記調整部は、前記領域ごとに、前記方法特定部によって特定された角度、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する。

これにより、２つの画像のそれぞれのいわゆる中心線の間の角度と視差とに応じて画像がぼかされるため、その角度に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。

また、上記目的を達成するために、本発明の一態様に係る画像符号化装置は、立体視するための２つの画像を符号化する画像符号化装置であって、カメラによる平行法の撮影によって生成された前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、前記領域ごとに、前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部とを備える。これにより、撮影方法が平行法である場合において、重要な領域にぼかし処理が行われてしまうのを防ぐことができる。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、その画像符号化装置における処理動作の方法、画像符号化装置に処理動作させるためのプログラム、そのプログラムを格納する記録媒体、その画像符号化装置を備えるシステムや、その画像符号化装置によって符号化された信号を復号する画像復号装置としても実現することができる。

本発明の画像符号化装置は、観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。

図１は、従来の画像符号化装置の構成を示すブロック図である。 図２Ａは、２つのカメラによる撮影方法を示す図である。 図２Ｂは、交差法における撮影距離と視差との関係を示す図である。 図３Ａは、２つのカメラによる他の撮影方法を示す図である。 図３Ｂは、平行法における撮影距離と視差との関係を示す図である。 図４は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。 図５Ａは、同上の交差法においてぼかし処理が行われる範囲を示す図である。 図５Ｂは、同上の平行法においてぼかし処理が行われる範囲を示す図である。 図６は、同上の画像符号化装置の動作を示すフローチャートである。 図７は、同上のぼかし度合い調整処理の詳細を示すフローチャートである。 図８は、同上の変形例に係る画像符号化装置の構成を示すブロック図である。 図９Ａは、同上の変形例に係る交差法においてぼかし処理が行われる範囲を示す図である。 図９Ｂは、同上の変形例に係る平行法においてぼかし処理が行われる範囲を示す図である。 図９Ｃは、同上の変形例に係る平行法においてぼかし処理が行われる他の範囲を示す図である。 図９Ｄは、同上の変形例に係る平行法において焦点にある被写体の像を示す図である。 図１０は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１１は、同上の変形例に係る画像符号化装置の構成を示すブロック図である。 図１２は、本発明の実施の形態３における画像符号化システムの構成を示すブロック図である。 図１３は、本発明の実施の形態４における画像復号装置の構成を示すブロック図である。 図１４は、本発明の実施の形態５における画像復号装置の構成を示すブロック図である。 図１５は、本発明に係る画像符号化装置の構成を示すブロック図である。 図１６は、本発明に係る画像符号化装置の動作を示すフローチャートである。 図１７は、本発明に係る画像符号化装置の他の構成を示すブロック図である。 図１８Ａは、本発明に係るカメラの構成を説明するための図である。 図１８Ｂは、本発明に係るカメラの他の構成を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図４は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。

ステレオ撮影機器３００Ａは、被写体を立体視可能なように撮影し、撮影によって生成されたステレオ映像信号を符号化する。このようなステレオ撮影機器３００Ａは、実施の形態１における画像符号化装置３００と、カメラＣａおよびＣｂと、記憶部Ｍｅとを備えている。

カメラＣａおよびＣｂは、それぞれ互いに例えば６．５ｃｍの距離（人の両眼の平均的な間隔）を離して配置され、カメラＣａおよびＣｂを含む平面に垂直な方向（例えば、図１の紙面に垂直な方向）に沿う軸を中心に回動自在に取り付けられている。また、カメラＣａおよびＣｂはそれぞれ、被写体を撮影し、撮影によって得られた映像信号を画像符号化装置３００に出力する。なお、カメラＣａおよびＣｂのそれぞれから出力される映像信号を合わせて、ステレオ映像信号という。また、カメラＣａから出力される映像信号によって示される画像を、主画像と称し、カメラＣｂから出力される映像信号によって示される画像を、副画像と称す。この主画像および副画像によって、被写体の像が立体視される。映像信号は複数のピクチャから構成され、カメラＣａおよびＣｂのそれぞれは順次、略同一のタイミング（時刻）にピクチャを生成して出力する。

記憶部Ｍｅは、画像符号化装置３００から出力される画像データ（後述の局所復号画像信号）を格納するための記録媒体である。

画像符号化装置３００は、カメラＣａおよびＣｂから出力されるステレオ映像信号を符号化することによって、符号化ステレオ映像信号を生成して出力する。また、画像符号化装置３００は、ステレオ映像信号に含まれる２つの映像信号を符号化するときには、ピクチャを構成するブロック（領域）ごとにそれらの映像信号を符号化する。ここで、画像符号化装置３００は、カメラＣａから出力される映像信号を符号化するときには、映像信号に含まれる各ピクチャをそれぞれＩピクチャ、ＰピクチャおよびＢピクチャとして符号化する。なお、ＰピクチャおよびＢピクチャを符号化するときには、画像符号化装置３００は画面間予測符号化（動き補償予測符号化）を行う。一方、画像符号化装置３００は、カメラＣｂから出力される映像信号を符号化するときには、視差補償予測符号化を行い、映像信号に含まれる各ピクチャをそれぞれＰピクチャとして符号化する。つまり、画像符号化装置３００は、主画像のピクチャから、そのピクチャと同一のタイミングで生成された副画像のピクチャを予測し、その予測結果に基づいて副画像のピクチャを符号化する。

このような画像符号化装置３００は、輻輳角調整部３０２、符号化調整部３０３、セレクタ３０４、検出部３０５、減算器３０６、スイッチ３０７、変換部３０８、量子化部３０９、可変長符号化部３１０、逆量子化部３１１、逆変換部３１２、加算器３１３、スイッチ３１４、および補償部３１６を備える。

輻輳角調整部３０２は、カメラＣａおよびＣｂの輻輳角θを特定する。例えば、カメラＣａおよびＣｂにはそれぞれ角度を検出するセンサが取り付けられている。これらのセンサは、上述の回動によって可変に設定されているカメラＣａまたはＣｂの向きを上述の角度として検出する。輻輳角調整部３０２は、それらのセンサによって検出された角度を取得し、それらの角度に基づいて輻輳角θを特定する。

さらに、輻輳角調整部３０２は、輻輳角θに基づいて、カメラＣａおよびＣｂによる撮影方法が平行法であるか交差法であるかを判別し、その判別結果を示す撮影方法信号を符号化調整部３０３に出力する。例えば、輻輳角調整部３０２は、輻輳角θが予め定められた角度よりも小さければ、撮影方法が平行法であると判別し、輻輳角θが予め定められた角度以上であれば、撮影方法が交差法であると判別する。

セレクタ３０４は、カメラＣａおよびＣｂのそれぞれから出力される映像信号を取得し、それらの映像信号を交互に切り替えてスイッチ３０７、減算器３０６または検出部３０５に出力する。例えば、セレクタ３０４はピクチャ単位に切り替えを行う。この場合には、セレクタ３０４は、カメラＣａおよびＣｂからそれぞれ同一のタイミングでピクチャを取得すると、まず、カメラＣａから取得されたピクチャを出力し、次に、カメラＣｂから取得されたピクチャを出力する。

減算器３０６は、セレクタ３０４から出力される映像信号によって示される符号化対象画像と、補償部３１６から出力される予測信号によって示される予測画像との差分をブロックごとに算出する。減算器３０６は、その差分を示す予測誤差信号をスイッチ３０７に出力する。ここで、減算器３０６は、符号化対象画像がＰピクチャまたはＢピクチャの画像（ブロック）である場合に、上述の差分を算出して予測誤差信号を出力する。

スイッチ３０７は、符号化対象画像がＩピクチャの主画像である場合には、セレクタ３０４を変換部３０８に接続し、その符号化対象画像を示す映像信号をセレクタ３０４から変換部３０８に受け渡す。また、スイッチ３０７は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、減算器３０６を変換部３０８に接続し、ＰピクチャまたはＢピクチャの予測誤差信号を減算器３０６から変換部３０８に受け渡す。

変換部３０８は、ブロックごとに、映像信号または予測誤差信号を画像信号としてスイッチ３０７を介して取得し、その画像信号に対して直交変換（例えば離散コサイン変換）を行う。これにより、変換部３０８は、画像信号を周波数係数（ＤＣＴ係数）に変換し、つまり、その画像信号の領域を空間領域から周波数領域に変換し、その周波数係数を量子化部３０９に出力する。

量子化部３０９は、変換部３０８から周波数係数を取得し、その周波数係数に対して量子化を行う。つまり、量子化部３０９は、周波数係数を量子化ステップで除算することによって量子化値を生成する。ここで、量子化部３０９は、符号化調整部３０３から調整信号を受けたときには、その調整信号によって示される調整量だけ量子化ステップを増加する。例えば、量子化部３０９は、符号化対象ブロックに対して調整信号を受けていない場合には、画像符号化規格（具体的には、Ｈ．２６４／ＡＶＣなど）にしたがって決められている量子化ステップを用いてその符号化対象ブロックを量子化する。そして、量子化部３０９は、符号化対象ブロックに対して調整信号を受けた場合には、その画像符号化規格にしたがって決められている量子化ステップに上述の調整量を加算または乗算することによって、その量子化ステップが増加するように、その量子化ステップを更新する。量子化部３０９は、このように増加された量子化ステップを用いて符号化対象ブロックを量子化する。

可変長符号化部３１０は、量子化部３０９によって生成された量子化値と、検出部３０５から出力されるベクトル（動きベクトルまたは視差ベクトル）とを可変長符号化することによって、符号化ステレオ映像信号を生成して出力する。なお、この可変長符号化は可逆的な符号化である。

逆量子化部３１１は、量子化部３０９によって生成された量子化値に対して逆量子化を行うことによって逆量子化周波数係数を生成する。つまり、逆量子化部３１１は、量子化部３０９で用いられた量子化ステップを量子化値に乗算することよって逆量子化周波数係数を生成する。なお、このときに生成される逆量子化周波数係数は、変換部３０８によって生成された周波数係数と異なり量子化誤差を含んでいる。

逆変換部３１２は、逆量子化部３１１によって生成された逆量子化周波数係数に対して逆直交変換（例えば逆離散コサイン変換）を行う。これにより、逆変換部３１２は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器３１３に出力する。

加算器３１３は、符号化対象画像がＩピクチャの主画像である場合には、逆変換部３１２から出力される画像信号を局所復号画像信号として記憶部Ｍｅに格納する。また、加算器３１３は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、逆変換部３１２から出力される画像信号と、スイッチ３１４を介して補償部３１６から出力される予測信号とを加算し、その加算結果を局所復号画像信号として記憶部Ｍｅに格納する。

検出部３０５は、セレクタ３０４から符号化対象画像を取得し、その符号化対象画像がＰピクチャまたはＢピクチャの主画像である場合には、その符号化対象画像に対してブロックごとに動きベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている、既に符号化されて復号された他の主画像（ＩピクチャまたはＰピクチャ）を示す局所復号画像信号を参照画像として参照する。そして、検出部３０５は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象画像の動きを動きベクトルとして検出する。そして、検出部３０５は、その動きベクトルを補償部３１６および可変長符号化部３１０に出力する。

一方、検出部３０５は、セレクタ３０４から取得した符号化対象画像がＰピクチャの副画像である場合には、その符号化対象画像に対してブロックごとに視差ベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている、既に符号化されて復号された主画像（Ｉピクチャ、ＰピクチャまたはＢピクチャ）を示す局所復号画像信号を参照画像として参照する。そして、検出部３０５は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象ブロックと、同一または類似のブロックと間の位置関係を視差ベクトル（視差）として検出する。なお、符号化対象ブロックを含む副画像のピクチャと、主画像である参照画像（参照ピクチャ）とはそれぞれ、カメラＣａおよびＣｂによって同一のタイミングで生成されたピクチャである。そして、検出部３０５は、その視差ベクトルを符号化調整部３０３、補償部３１６および可変長符号化部３１０に出力する。なお、視差ベクトルは、上記ブロック間の位置関係を、左右方向の位置のずれとして示す。また、左右の何れか一方が正の向きであり、他方が負の向きである。

補償部３１６は、検出部３０５から動きベクトルを取得したときには、その動きベクトルと参照画像を用いて動き補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記動きベクトルに応じて空間的にシフトされる。一方、補償部３１６は、検出部３０５から視差ベクトルを取得したときには、その視差ベクトルと参照画像を用いて視差補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記視差ベクトルに応じて空間的にシフトされる。

スイッチ３１４は、符号化対象画像がＩピクチャの主画像である場合には、補償部３１６と加算器３１３との間を開放する。一方、スイッチ３１４は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、補償部３１６を加算器３１３に接続し、予測信号を補償部３１６から加算器３１３へ受け渡す。

符号化調整部３０３は、輻輳角調整部３０２から撮影方法信号を取得するとともに、検出部３０５から視差ベクトルを取得する。そして、符号化調整部３０３は、その撮影方法信号が交差法を示すときには、大きさが第１の閾値より大きく、向きが負の視差ベクトルが検出されたブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。例えば、符号化調整部３０３は、視差ベクトルの大きさが大きいほど、大きい調整量を示す調整信号を出力する。この場合、量子化部３０９は、その調整信号を取得すると、その調整信号の示す調整量だけ量子化ステップを増加させる。

一方、符号化調整部３０３は、撮影方法信号が平行法を示すときには、大きさが第２の閾値より小さく、向きが正の視差ベクトルが検出されたブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。例えば、符号化調整部３０３は、視差ベクトルの大きさが小さいほど、大きい調整量を示す調整信号を出力する。この場合、量子化部３０９は、その調整信号を取得すると、その調整信号の示す調整量だけ量子化ステップを増加させる。

このように、増加された量子化ステップによってブロックの周波数係数が量子化されると、そのブロックの画像は、上述の画像符号化規格にしたがって符号化される画像と比べて、ぼけることとなる。このような画像をぼかす処理を、以下、ぼかし処理といい、上述の調整量を決定する処理をぼかし度合い調整処理という。

図５Ａは、交差法においてぼかし処理が行われる範囲を示す図である。

図５Ａに示すように、光軸の交点では、視差ベクトルの大きさは０である。ここで、例えば、第１の閾値が０の場合には、交点よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、負であり、その大きさは第１の閾値である０より大きい。その結果、本実施の形態における画像符号化装置３００では、交点よりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。

図５Ｂは、平行法においてぼかし処理が行われる範囲を示す図である。

例えば、図５Ｂに示すように、撮影距離Ｌが距離Ｌａのときに、その距離Ｌａにおける視差ベクトルの大きさは第２の閾値となる。このような場合には、距離Ｌａよりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、本実施の形態における画像符号化装置３００では、距離Ｌａよりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。

図６は、本実施の形態における画像符号化装置３００の動作を示すフローチャートである。

画像符号化装置３００は、ステレオ映像信号に含まれるピクチャを順次符号化するときには、そのピクチャをブロックごとに符号化する。画像符号化装置３００は、そのブロックを符号化するときには、まず、そのブロックである符号化対象画像が主画像か否かを判別する（ステップＳ１００）。例えば、画像符号化装置３００に備えられた制御部（図示せず）が判別する。

ここで、符号化対象画像が主画像であると判別されると（ステップＳ１００のＹ）、上述の制御部は、さらに、その符号化対象画像に対して動き補償予測符号化を行うべきか否かを判別する（ステップＳ１０２）。例えば、画像符号化装置３００は、符号化対象画像をＰピクチャまたはＢピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきと判別し、符号化対象画像をＩピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきでないと判別する。

制御部は、動き補償予測符号化を行うべきと判別すると（ステップＳ１０２のＹ）、スイッチ３０７を制御して、減算器３０６を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６を加算器３１３に接続させる。

次に、検出部３０５は、その符号化対象画像のブロックに対して動きベクトルを検出する（ステップＳ１０４）。さらに、補償部３１６は、その検出された動きベクトルを用いて動き補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（ステップＳ１０６）。また、減算器３０６は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（ステップＳ１０８）。

変換部３０８は、ステップＳ１０８で生成された予測誤差信号に対して直交変換を行うことによって周波数係数を生成し（ステップＳ１１０）、量子化部３０９は、その周波数係数を量子化することによって量子化値を生成する（ステップＳ１１２）。そして、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１１４）。

一方、制御部は、ステップＳ１０２で動き補償予測符号化を行うべきでないと判別すると（ステップＳ１０２のＮ）、スイッチ３０７を制御して、セレクタ３０４を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６と加算器３１３との間を開放させる。その結果、変換部３０８は、セレクタ３０４から出力された符号化対象画像のブロックに対して直交変換を行うことによって周波数係数を生成する（ステップＳ１１０）。量子化部３０９は、その周波数係数を量子化することによって量子化値を生成し（ステップＳ１１２）、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１１４）。

また、制御部は、ステップＳ１００で符号化対象画像が副画像であると判別すると（ステップＳ１００のＮ）、スイッチ３０７を制御して、減算器３０６を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６を加算器３１３に接続させる。

次に、検出部３０５は、その符号化対象画像のブロックに対して視差ベクトルを検出する（ステップＳ１１６）。さらに、補償部３１６は、その検出された視差ベクトルを用いて視差補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（ステップＳ１１８）。また、減算器３０６は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（ステップＳ１２０）。

ここで、符号化調整部３０３は、ステップＳ１１６で検出された視差ベクトルと、輻輳角調整部３０２から出力された撮影方法信号とに基づいて、ぼかし度合い調整処理を実行する（ステップＳ１３０）。

その後、変換部３０８は、ステップＳ１２０で生成された予測誤差信号に対して直交変換を行うことによって周波数係数を生成する（ステップＳ１４０）。さらに、量子化部３０９は、量子化ステップを用いてその周波数係数を量子化することによって量子化値を生成する（ステップＳ１４２）。ここで、量子化部３０９は、ステップＳ１３０で実行されたぼかし度合い調整処理によって調整量が決定された場合には、その調整量にしたがって量子化ステップを増加し、その増加された量子化ステップを用いて量子化を行う。また、量子化部３０９は、ステップＳ１３０で実行されたぼかし度合い調整処理によって調整量が決定されなかった場合には、画像符号化規格にしたがって決められている量子化ステップを用いて量子化を行う。そして、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１４２）。

図７は、ぼかし度合い調整処理（ステップＳ１３０）の詳細を示すフローチャートである。

まず、輻輳角調整部３０２は、輻輳角θを特定し、その輻輳角θに基づいて、カメラＣａおよびＣｂによる撮影方法が交差法であるか平行法であるかを判別する（ステップＳ１３２）。ここで、撮影方法が交差法であると判別されると（ステップＳ１３２の交差法）、符号化調整部３０３は、符号化対象画像のブロックに対して検出部３０５によって検出された視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいか否かを判別する（ステップＳ１３４）。

ここで、視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいと判別されると（ステップＳ１３４のＹ）、符号化調整部３０３は、その視差ベクトルの大きさに基づいて、量子化部３０９によって用いられる量子化ステップの調整量を決定する（ステップＳ１３８）。例えば、符号化調整部３０３は、視差ベクトルの大きさが大きいほど大きい調整量を決定する。

一方、ステップＳ１３４で、視差ベクトルの向きが負でない、または、その視差ベクトルの大きさが第１の閾値以下と判別されると（ステップＳ１３４のＮ）、符号化調整部３０３は調整量を決定しない。なお、このとき、符号化調整部３０３は、量子化ステップの増加が不要であることを示す調整量（例えば、０または１）を決定し、その調整量を示す調整信号を量子化部３０９に出力してもよい。この場合、量子化部３０９は、その調整信号を取得すると、画像符号化規格にしたがって決められている量子化ステップに対して、その調整信号の示す調整量＝０を加算、または、その調整量＝１を乗算する。その結果、量子化部３０９は、画像符号化規格にしたがって決められている量子化ステップを増加することなく、その量子化ステップを用いて量子化を行う。

また、ステップＳ１３２で、輻輳角調整部３０２によって撮影方法が平行法であると判別されると（ステップＳ１３２の平行法）、符号化調整部３０３は、符号化対象画像のブロックに対して検出部３０５によって検出された視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいか否かを判別する（ステップＳ１３６）。

ここで、視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいと判別されると（ステップＳ１３６のＹ）、符号化調整部３０３は、その視差ベクトルの大きさに基づいて、量子化部３０９によって用いられる量子化ステップの調整量を決定する（ステップＳ１３８）。例えば、符号化調整部３０３は、視差ベクトルの大きさが小さいほど大きい調整量を決定する。

一方、ステップＳ１３６で、視差ベクトルの向きが正でない、または、その視差ベクトルの大きさが第２の閾値以上と判別されると（ステップＳ１３６のＮ）、符号化調整部３０３は調整量を決定しない。なお、このとき、符号化調整部３０３は、上述と同様、量子化ステップの増加が不要であることを示す調整量（例えば、０または１）を決定してもよい。

なお、上述の説明では、副画像に対してのみぼかし処理を行ったが、主画像および副画像に対してぼかし処理を行ってもよい。この場合には、画像符号化装置３００は、上述のように、主画像の後に副画像をブロックごとに符号化し、ブロックごとの調整量が決定された後に、その調整量を用いて、副画像と同様に、もう一度、主画像を符号化する。

このように本実施の形態では、撮影方法が交差法である場合に、ブロックに対して検出された視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいときには、そのブロックには大きな量子化ステップが適用される。その結果、そのブロックはぼけた画像として符号化される。ここで、図５Ａに示すように、映像信号の示すピクチャの中で、交差法の交点の像を含むブロックの視差ベクトルの大きさは０（または略０）である。したがって、第１の閾値が０の場合には、上述の大きな量子化ステップが適用されるブロックは、撮影距離Ｌが交点よりも長い位置にある遠景が映っている領域である。その結果、撮影距離Ｌが交点よりも長い位置にある遠景が映っている領域の画像をぼかすことができる。また、交点の像を含むブロックが観視者にとって重要な領域であれば、その重要な領域の画像をぼかしてしまうのを防ぎ、重量な領域以外の遠景が映っている領域の画像をぼかすことができる。

また、本実施の形態では、撮影方法が平行法である場合に、ブロックに対して検出された視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいときには、そのブロックには大きな量子化ステップが適用される。その結果、そのブロックはぼけた画像として符号化される。ここで、図５Ｂに示すように、映像信号の示すピクチャの中で、距離Ｌａにある被写体の像を含むブロックの視差ベクトルの大きさは第２の閾値である。したがって、上述の大きな量子化ステップが適用されるブロックは、撮影距離Ｌが距離Ｌａよりも長い位置にある遠景が映っている領域である。その結果、撮影距離Ｌが距離Ｌａよりも長い位置にある遠景が映っている領域の画像をぼかすことができる。また、距離Ｌａの位置の被写体の像を含むブロックが観視者にとって重要な領域であれば、その重要な領域の画像をぼかしてしまうのを防ぎ、重量な領域以外の遠景が映っている領域の画像をぼかすことができる。

このように、本実施の形態では、ぼかし処理によって観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。つまり、本実施の形態では、輻輳角によって撮影方法を識別することによって、撮影方法によって異なる視差の分布に対しても、重要な領域に対する高画質化と、遠景（背景）の領域に対するぼかし処理とを適切に行うことができる。

なお、本実施の形態では、第１の閾値を０としたが、それ以外の値にしてもよい。また、本実施の形態では、画像符号化装置３００は、固定された第１および第２の閾値を用いたが、第１および第２の閾値を変更してもよい。例えば、符号化調整部３０３は、画像符号化装置３００の外部から信号を受信し、その信号にしたがって、第１または第２の閾値を変更する。これにより、上述の重要な領域を変更することができる。

（変形例１）
以下、本実施の形態における第１の変形例について説明する。本実施の形態では、量子化ステップを増加することによって符号化対象ブロックの画像をぼかしたが、そのブロックの高周波数領域の周波数係数を切り捨てることによってそのブロックの画像をぼかしてもよい。

つまり、本変形例に係る符号化調整部３０３は、上述の調整信号を変換部３０８に出力する。この調整信号によって示される調整量は、変換部３０８において切り捨てられる高周波数領域の広さとして扱われる。

具体的には、変換部３０８は、符号化調整部３０３から調整信号を取得すると、直交変換によって生成されたブロックの周波数係数のうち、その調整信号の示す調整量に応じた広さの高周波数領域に含まれる周波数係数を切り捨てる。つまり、変換部３０８は、調整量が大きければ、広い範囲の高周波数領域の周波数係数を０に変更し、調整量が小さければ、狭い範囲の高周波数領域の周波数係数を０に変更する。

なお、周波数係数の切り捨てと、量子化ステップの増加とを共に行ってもよい。

（変形例２）
以下、本実施の形態における第２の変形例について説明する。本変形例に係る画像符号化装置は焦点を調整し、その焦点にある被写体の画像をぼかすことなく、撮影距離Ｌが焦点よりも長い位置にある遠景が映っている領域の画像を適切にぼかす点に特徴がある。

図８は、本変形例に係る画像符号化装置の構成を示すブロック図である。

本変形例に係る画像符号化装置５００は、上述の画像符号化装置３００に対して、さらに、焦点調整部４０２を備えるとともに、画像符号化装置３００の符号化調整部３０３の代わりに符号化調整部５０３を備える。

焦点調整部４０２は、カメラＣａおよびＣｂの焦点を調整する。このとき、焦点調整部４０２は、カメラＣａおよびＣｂの焦点（焦点距離）が同一となるように調整する。また、焦点調整部４０２は、カメラＣａおよびＣｂから出力されるピクチャの中で、焦点が当てられている被写体の像を含むブロックの位置を示す焦点信号を符号化調整部５０３に出力する。例えば、焦点調整部４０２は、オートフォーカス（具体的には、コントラスト検出方式など）によって上記ブロックを識別する。

符号化調整部５０３は、ピクチャごとに焦点信号を取得すると、その焦点信号によって示される位置のブロックに対して検出部３０５によって検出された視差ベクトルの大きさを、第１または第２の閾値として設定する。つまり、符号化調整部５０３は、輻輳角調整部３０２から取得された撮影方法信号が交差法を示す場合には、上述の視差ベクトルの大きさを第１の閾値として設定する。一方、符号化調整部５０３は、輻輳角調整部３０２から取得された撮影方法信号が平行法を示す場合には、上述の視差ベクトルの大きさを第２の閾値として設定する。

図９Ａは、交差法においてぼかし処理が行われる範囲を示す図である。

図９Ａに示すように、第１の閾値は、焦点における視差ベクトルの大きさに設定される。そして、向きが負であって、大きさが第１の閾値より大きい視差ベクトルを有するブロックに対してぼかし処理が行われる。

ここで、例えば、焦点の撮影距離Ｌが交点よりも短い場合がある。この場合、向きが負であって、大きさが第１の閾値と等しい視差ベクトルが生じる位置を焦点対応位置といい、その焦点対応位置よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、負であり、その大きさは第１の閾値より大きい。その結果、焦点対応位置よりも遠い撮影距離Ｌにある被写体の像（遠景）に対してぼかし処理が行われる。

なお、焦点の撮影距離Ｌが交点よりも短い場合であっても、焦点対応位置ではなく、その焦点より遠い撮影距離Ｌにある被写体の像（遠景）に対してぼかし処理を行ってもよい。

また、さらに、焦点における視差ベクトルの大きさよりも、予め定められた大きさまたは割合だけ大きい第４の閾値（図示せず）が設定されてもよい。この場合、交差法において、焦点より近い位置であってその第４の閾値に対応する位置よりさらに近い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第４の閾値より大きい。符号化調整部３０３は、大きさが第４の閾値より大きく、向きが正の視差ベクトルが検出されたブロックに対しても、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。その結果、焦点よりも近い撮影距離Ｌにある前景などの被写体の像に対してもぼかし処理が行われる。これにより、前景の大きな視差による観視者の疲労を抑えることができる。

図９Ｂは、平行法においてぼかし処理が行われる範囲を示す図である。

図９Ｂに示すように、第２の閾値は、焦点における視差ベクトルの大きさに設定される。したがって、平行法において、焦点よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、焦点よりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。

このように、本変形例では、撮影方法に関わらず、焦点にある被写体の像を含む領域（フォーカスエリア）の画像を鮮明にし、フォーカスエリア以外の遠景が映っている領域の画像をぼかすことができる。つまり、一般的なカメラ撮影時に、焦点と交点とがずれる可能性が高く、撮影者が意図した撮影構図に合わせた、より自然な立体画像を形成することができる。

図９Ｃは、平行法においてぼかし処理が行われる他の範囲を示す図である。

図９Ｃに示すように、第２の閾値は、焦点における視差ベクトルの大きさよりも小さく、限りなく０に近い値に設定されてもよい。この場合、平行法において、焦点より遠い位置であってその第２の閾値に対応する位置Ｌｂよりさらに遠い撮影距離Ｌにある被写体の像（例えば遠い背景などの像）の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、焦点よりもより遠い撮影距離Ｌにある背景などの被写体の像に対してぼかし処理が行われる。

ここで、さらに、焦点における視差ベクトルの大きさよりも、予め定められた大きさまたは割合だけ大きい第３の閾値が設定されてもよい。この場合、平行法において、焦点より近い位置であってその第３の閾値に対応する位置Ｌｃよりさらに近い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第３の閾値より大きい。符号化調整部３０３は、大きさが第３の閾値より大きく、向きが正の視差ベクトルが検出されたブロックに対しても、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。その結果、焦点よりも近い撮影距離Ｌにある前景などの被写体の像に対してもぼかし処理が行われる。これにより、前景の大きな視差による観視者の疲労を抑えることができる。

また、上述のような場合には、焦点にある被写体の像に対して視差（視差ベクトル）が生じている。このような視差によって、主画像と副画像のそれぞれに映っている被写体の像の位置がずれ、その被写体の像が見づらくなることがある。

図９Ｄは、焦点にある被写体の像を示す図である。

主画像ｐＬおよび副画像ｐＲには、それぞれ被写体の像ｄＬおよびｄＲが映っている。また、その被写体に焦点が当てられている。このとき、その焦点における視差（視差ベクトル）によって、それらの被写体の像ｄＬおよびｄＲの位置はずれている。例えば、被写体の像ｄＬの位置は、主画像ｐＬの中心から右にずれ、被写体の像ｄＲの位置は副画像ｐＲの中心から左にずれている。

したがって、画像復号装置（画像再生装置）が主画像ｐＬおよび副画像ｐＲを単純に再生する場合、主画像ｐＬおよび副画像ｐＲを立体視することよって得られる立体画像ｐＬＲには、被写体の像ｄＬおよびｄＲがそれぞれ左右にずれて表示される。そこで、画像復号装置（再生装置）は、それらの被写体の像ｄＬおよびｄＲを、視差ベクトルの大きさが０となるようにシフトさせて立体画像ｐＬＲ’を表示してもよい。これにより、焦点にある被写体の像ｄＬＲを鮮明に表示させることができる。

なお、本変形例では、画像符号化装置５００は、焦点調整部４０２を１つだけ備えたが、カメラＣａおよびＣｂのそれぞれに１つずつ焦点調整部４０２を備えても良い。

なお、本実施の形態およびその変形例では、輻輳角調整部３０２が、カメラＣａおよびＣｂを回動させてもよい。つまり、輻輳角調整部３０２は、画像符号化装置の外部から、設定すべき角度（設定角度）を示す信号を受信し、輻輳角θがその設定角度となるようにカメラＣａおよびＣｂを回動させてもよい。この場合、輻輳角調整部３０２は、その設定角度を輻輳角θとして特定する。また、本実施の形態およびその変形例では、画像符号化装置は輻輳角調整部３０２を１だけ備えたが、カメラＣａおよびＣｂのそれぞれに対して１つずつ輻輳角調整部３０２を備えてもよい。

（実施の形態２）
本実施の形態における画像符号化装置は、ピクチャを構成する各ブロックに対して検出された視差ベクトルの分布（視差分布）に基づいて撮影方法を特定する点に特徴がある。

図１０は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。

本実施の形態における画像符号化装置６００は、視差分布識別部６０１、符号化調整部６０２、セレクタ３０４、検出部３０５、減算器３０６、スイッチ３０７、変換部３０８、量子化部３０９、可変長符号化部３１０、逆量子化部３１１、逆変換部３１２、加算器３１３、スイッチ３１４、および補償部３１６を備える。なお、本実施の形態では、画像符号化装置６００が備える構成要素のうち、実施の形態１の画像符号化装置３００が備える構成要素と同一のものに対しては、実施の形態１の構成要素と同一の参照符号を付し、詳細な説明を省略する。つまり、画像符号化装置６００は、実施の形態１の画像符号化装置３００と比べて、輻輳角調整部３０２および符号化調整部３０３の代わりに、視差分布識別部６０１および符号化調整部６０２を備えている。

この画像符号化装置６００は、視差分布を生成し、その視差分布に基づいて撮影方法が平行法か交差法かを特定する。画像符号化装置６００は、視差分布を生成するために、カメラＣａおよびＣｂに対して主画像および副画像の試し撮りを実行させる。

つまり、画像符号化装置６００は、カメラＣａから出力される映像信号に含まれるＩピクチャを符号化（直交変換および量子化）して復号（逆直交変換および逆量子化）し、そのＩピクチャの局所復号画像信号を記憶部Ｍｅに格納する。

次に、検出部３０５は、カメラＣｂから出力される映像信号に含まれるピクチャを取得し、そのピクチャを構成するブロックごとに、そのブロックの視差ベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている上述のＩピクチャの局所復号画像信号を参照画像として参照することによって、副画像のピクチャに含まれる各ブロックの視差ベクトルを検出する。

視差分布識別部６０１は、検出部３０５によって検出された視差ベクトルを取得し、副画像のピクチャに含まれる各ブロックの視差ベクトルの分布、つまり視差分布を生成する。そして、視差分布識別部６０１は、その視差分布の中で、正の向きの視差ベクトルと負の向きの視差ベクトルとが混在しているか否かを判別し、その判別結果を示す撮影方法信号を符号化調整部６０２に出力する。具体的には、視差分布識別部６０１は、混在していると判別した場合には、撮影方法が交差法であることを示す撮影方法信号を出力し、混在していないと判別した場合には、撮影方法が平行法であることを示す撮影方法信号を出力する。

符号化調整部６０２は、視差分布識別部６０１から撮影方法信号を取得する。そして、符号化調整部６０２は、実施の形態１の符号化調整部３０３と同様、その撮影方法信号が交差法を示すときには、大きさが第１の閾値より大きく、向きが負の視差ベクトルを有するブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。一方、符号化調整部６０２は、撮影方法信号が平行法を示すときには、大きさが第２の閾値より小さく、向きが正の視差ベクトルを有するブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。

このように、本実施の形態では、視差分布から撮影方法を特定するため、実施の形態１のような、カメラＣａおよびＣｂの角度を検出するセンサや輻輳角調整部３０２などを必要とすることなく、画像符号化装置の構成および処理を簡単にすることができる。

（変形例１）
以下、本実施の形態における第１の変形例について説明する。本実施の形態では、量子化ステップを増加することによってブロックの画像をぼかしたが、実施の形態１の変形例１と同様、ブロックの高周波数領域の周波数係数を切り捨てることによってそのブロックの画像をぼかしてもよい。

つまり、本変形例に係る符号化調整部６０２は、上述の調整信号を変換部３０８に出力する。この調整信号によって示される調整量は、変換部３０８において切り捨てられる高周波数領域の広さとして扱われる。

具体的には、変換部３０８は、符号化調整部６０２から調整信号を取得すると、直交変換によって生成されたブロックの周波数係数のうち、その調整信号の示す調整量に応じた広さの高周波数領域に含まれる周波数係数を切り捨てる。つまり、変換部３０８は、調整量が大きければ、広い範囲の高周波数領域の周波数係数を０に変更し、調整量が小さければ、狭い範囲の高周波数領域の周波数係数を０に変更する。

なお、周波数係数の切り捨てと、量子化ステップの増加とを共に行ってもよい。

（変形例２）
以下、本実施の形態における第２の変形例について説明する。本変形例に係る画像符号化装置は、実施の形態１の変形例２と同様、焦点を調整し、その焦点にある被写体の画像をぼかすことなく、撮影距離Ｌが焦点よりも長い位置にある遠景が映っている領域の画像を適切にぼかす点に特徴がある。

図１１は、本変形例に係る画像符号化装置の構成を示すブロック図である。

本変形例に係る画像符号化装置７００は、上述の画像符号化装置６００に対して、さらに、焦点調整部４０２を備えるとともに、画像符号化装置６００の符号化調整部６０２の代わりに符号化調整部７０２を備える。

焦点調整部４０２は、カメラＣａおよびＣｂの焦点を調整する。このとき、焦点調整部４０２は、カメラＣａおよびＣｂの焦点（焦点距離）が同一となるように調整する。また、焦点調整部４０２は、カメラＣａおよびＣｂから出力されるピクチャの中で、焦点が当てられている被写体の像を含むブロックの位置を示す焦点信号を符号化調整部７０２に出力する。

符号化調整部７０２は、ピクチャごとに焦点信号を取得すると、その焦点信号によって示される位置のブロックに対して検出部３０５によって検出された視差ベクトルの大きさを、第１または第２の閾値として設定する。つまり、符号化調整部７０２は、視差分布識別部６０１から取得された撮影方法信号が交差法を示す場合には、上述の視差ベクトルの大きさを第１の閾値として設定する。一方、符号化調整部７０２は、視差分布識別部６０１から取得された撮影方法信号が平行法を示す場合には、上述の視差ベクトルの大きさを第２の閾値として設定する。

このように、本変形例では、実施の形態１の変形例２と同様、撮影方法に関わらず、焦点にある被写体の像を含む領域（フォーカスエリア）の画像を鮮明にし、フォーカスエリア以外の遠景が映っている領域の画像をぼかすことができる。なお、本変形例では、画像符号化装置７００は、焦点調整部４０２を１つだけ備えたが、カメラＣａおよびＣｂのそれぞれに１つずつ焦点調整部４０２を備えても良い。

（実施の形態３）
本実施の形態では、本発明に係る画像符号化装置を備えたシステムについて説明する。

図１２は、本実施の形態における画像符号化システムの構成を示すブロック図である。

画像符号化システム８００は、画像符号化部８０１、記憶部Ｍｅ、カメラＣａ、カメラＣｂ、表示部８０４、および外部記録装置８０５を備える。本実施の形態における記憶部Ｍｅ、カメラＣａおよびカメラＣｂは、実施の形態１および２とそれらの変形例における記憶部Ｍｅ、カメラＣａおよびカメラＣｂと同一である。また、本実施の形態における画像符号化部８０１は、実施の形態１および２とそれらの変形例における画像符号化装置３００、５００、６００または７００である。

カメラＣａは、レンズＣａ１、撮像素子Ｃａ２、主制御部Ｃａ３およびレンズ制御部Ｃａ４を備える。撮像素子Ｃａ２は、例えばＣＣＤ（Charge Coupled Device）から構成され、レンズＣａ１を介して光信号を取得し、その光信号を電気信号に変換して主制御部Ｃａ３に出力する。レンズ制御部Ｃａ４は、主制御部Ｃａ３からの制御に応じて、レンズＣａ１の焦点などを調整する。主制御部Ｃａ３は、例えばＩＣ（Integrated Circuit）から構成され、撮像素子Ｃａ２から出力された電気信号を取得し、その電気信号を映像信号として画像符号化部８０１に出力する。さらに、主制御部Ｃａ３は、撮像素子Ｃａ２およびレンズ制御部Ｃａ４を制御することにより、シャッタースピード、ゲイン調整、および焦点調整などを行う。

カメラＣｂは、レンズＣｂ１、撮像素子Ｃｂ２、主制御部Ｃｂ３およびレンズ制御部Ｃｂ４を備える。カメラＣｂが備えるこれらの構成要素は、それぞれカメラＣａが備える上述の各構成要素と同一である。

なお、主制御部Ｃａ３およびＣｂ３はそれぞれ、カメラＣａおよびＣｂの焦点およびシャッタースピードなどが同一となるように協調動作を行う。

表示部８０４は、例えば液晶ディスプレイなどを備え、画像符号化部８０１からステレオ映像信号を取得し、そのステレオ映像信号により示される主画像および副画像を表示する。なお、表示部８０４は、画像符号化部８０１から局所復号画像信号を取得し、その局所復号画像信号により示される主画像および副画像を表示してもよい。

外部記録装置８０５は、例えばＣＤ（Compact Disc）、ＭＯ（Magnet Optical disk）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）、または半導体メモリなどの記録媒体が装着されるように構成されている。そして、外部記録装置８０５は、画像符号化部８０１から符号化ステレオ映像信号を取得し、その符号化ステレオ映像信号を装着された記録媒体に書き込む。

（実施の形態４）
図１３は、本発明の実施の形態４における画像復号装置の構成を示すブロック図である。

画像復号装置１０００は、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号を復号する装置であって、可変長復号部１００１、逆量子化／逆変換部１００２、動き／視差補償部１００３、加算器１００４、デブロッキングフィルタ１００５、フィルタ処理識別部１００６、エッジ強調部１００７、およびスイッチ１００８を備える。

また、この画像復号装置１０００は、記憶部Ｍｅ１にデータを格納したり読み出したりしながら、符号化ステレオ映像信号に含まれる主画像および副画像のピクチャをそれぞれブロックごとに復号し、立体視可能なように、復号されたピクチャを表示部Ｄ１に表示せる。さらに、画像復号装置１０００は、外部から主画像表示信号を取得したときには、符号化ステレオ映像信号に含まれる主画像だけを表示部Ｄ１に表示させる。つまり、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、画像復号装置１０００は２Ｄ映像を表示部Ｄ１に表示させる。

なお、本実施の形態において復号される符号化ステレオ映像信号では、副画像だけでなく主画像に対しても、実施の形態１、２またはそれらの変形例における、ぼかし処理が行われている。

可変長復号部１００１は、符号化ステレオ映像信号を可変長復号する。これによって、可変長符号化された、撮影方法信号と、量子化値と、量子化ステップと、動きベクトルまたは視差ベクトルとが復号される。つまり、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号は、可変長符号化された撮影方法信号と、ブロックごとに可変長符号化された量子化値および量子化ステップ（量子化パラメータ）と、ブロックごとに可変長符号化された動きベクトルまたは視差ベクトルとを含んでいる。

可変長復号部１００１は、動きベクトルまたは視差ベクトルを動き／視差補償部１００３に出力し、量子化値および量子化ステップ（量子化パラメータ）を逆量子化／逆変換部１００２に出力し、撮影方法信号をフィルタ処理識別部１００６に出力する。

逆量子化／逆変換部１００２は、可変長復号部１００１から量子化値および量子化ステップ（量子化パラメータ）をブロックごとに取得すると、その量子化値に対して、量子化ステップを用いた逆量子化を行い、その結果、ブロックごとに逆量子化周波数係数を生成する。さらに、逆量子化／逆変換部１００２は、逆量子化周波数係数に対して逆直交変換（例えば逆離散コサイン変換）を行う。これにより、逆量子化／逆変換部１００２は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器１００４に出力する。さらに、逆量子化／逆変換部１００２は、ブロックごとに逆量子化に用いた量子化ステップをフィルタ処理識別部１００６に出力する。

加算器１００４は、復号対象画像がＩピクチャの主画像である場合には、逆量子化／逆変換部１００２から出力される画像信号を復号画像信号としてデブロッキングフィルタ１００５に出力する。また、加算器１００４は、復号対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、逆量子化／逆変換部１００２から出力される画像信号と、動き／視差補償部１００３から出力される予測信号とを加算し、その加算結果を復号画像信号としてデブロッキングフィルタ１００５に出力する。

デブロッキングフィルタ１００５は、加算器１００４から復号画像信号を取得すると、その復号画像信号をフィルタリングする。つまり、デブロッキングフィルタ１００５は、その復号画像信号が示すブロックの画像の歪（ブロッキング歪）を除去し、その歪が除去された復号画像信号を記憶部Ｍｅ１に格納する。

動き／視差補償部１００３は、復号対象画像（復号対象ブロック）がＰピクチャまたはＢピクチャの主画像である場合には、可変長復号部１００１から取得した動きベクトルを用いて動き補償を行うことによって予測信号を生成し、その予測信号を加算器１００４に出力する。つまり、動き／視差補償部１００３は、記憶部Ｍｅ１に格納されている、既に復号された主画像（ＩピクチャまたはＰピクチャ）を示す復号画像信号を参照画像として参照する。そして、動き／視差補償部１００３は、その参照画像中のブロックを動きベクトルに応じて空間的にシフトし、そのブロックの画像を示す信号を予測信号として生成して出力する。

一方、動き／視差補償部１００３は、復号対象画像（復号対象ブロック）がＰピクチャの副画像である場合には、可変長復号部１００１から取得した視差ベクトルを用いて視差補償を行うことによって予測信号を生成し、その予測信号を加算器１００４に出力する。つまり、動き／視差補償部１００３は、記憶部Ｍｅ１に格納されている、既に復号された主画像（Ｉピクチャ、ＰピクチャまたはＢピクチャ）を示す復号画像信号を参照画像として参照する。そして、動き／視差補償部１００３は、その参照画像中のブロックを視差ベクトルに応じて空間的にシフトし、そのブロックの画像を示す信号を予測信号として生成して出力する。さらに、動き／視差補償部１００３は、その視差補償に用いた視差ベクトルをフィルタ処理識別部１００６に出力する。

エッジ強調部１００７は、フィルタ処理識別部１００６から調整信号を取得すると、その調整信号に基づいて、記憶部Ｍｅ１に格納されている復号画像信号の画像のエッジを強調する処理を行い、その処理された復号画像信号をスイッチ１００８に出力する。

スイッチ１００８は、フィルタ処理識別部１００６による制御に応じて接続を切り替える。つまり、スイッチ１００８は、エッジ強調部１００７を介して表示部Ｄ１を記憶部Ｍｅ１に接続させたり、エッジ強調部１００７を介さずに表示部Ｄ１を記憶部Ｍｅ１に接続させたりする。

フィルタ処理識別部１００６は、主画像および副画像を表示する場合には、つまり、主画像のみを表示すべきことを示す主画像表示信号を取得していない場合には、スイッチ１００８を制御し、表示部Ｄ１を記憶部Ｍｅ１に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像および副画像を示す復号画像信号が読み出され、主画像および副画像が表示部Ｄ１に交互に表示される。したがって、この場合には、立体的に画像が表示される。

一方、フィルタ処理識別部１００６は、主画像のみを表示すべきことを示す主画像表示信号を取得した場合には、表示対象の主画像のブロックごとに、スイッチ１００８に接続を切り替えさせる。つまり、フィルタ処理識別部１００６は、ブロックごとに、そのブロックに対して符号化時にぼかし処理が行われた否かを、動き／視差補償部１００３から出力される、そのブロックに対応する視差ベクトルと、可変長復号部１００１から出力される撮影方法信号とに基づいて判別する。そして、フィルタ処理識別部１００６は、その判別結果に応じてスイッチ１００８を制御する。

具体的には、フィルタ処理識別部１００６は、撮影方法信号が交差法を示す場合には、ブロックに対応する視差ベクトルの向きが負で、且つその大きさが第１の閾値よりも大きいときに、そのブロックに対して符号化時にぼかし処理が行われた判別する。また、フィルタ処理識別部１００６は、撮影方法信号が平行法を示す場合には、ブロックに対応する視差ベクトルの向きが正で、且つその大きさが第２の閾値よりも小さいときに、そのブロックに対して符号化時にぼかし処理が行われたと判別する。

フィルタ処理識別部１００６は、ぼかし処理が行われていないと判別すると、スイッチ１００８を制御することにより、表示部Ｄ１を記憶部Ｍｅ１に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像のブロックを示す復号画像信号が読み出され、その主画像のブロックが表示部Ｄ１に表示される。一方、フィルタ処理識別部１００６は、ぼかし処理が行われていると判別すると、スイッチ１００８を制御することにより、表示部Ｄ１をエッジ強調部１００７に接続させる。これにより、エッジ強調部１００７は、ぼかし処理が行われた主画像のブロックを示す復号画像信号を記憶部Ｍｅ１から読み出し、その復号画像信号によって示される主画像（ブロック）のエッジを強調し、その主画像のブロックを表示部Ｄ１に表示させる。

さらに、フィルタ処理識別部１００６は、ぼかし処理が行われていると判別すると、逆量子化／逆変換部１００２から出力された、主画像のブロックの逆量子化に用いられた量子化ステップに基づいて、ぼかし度合いを示す上述の調整量を特定する。つまり、フィルタ処理識別部１００６は、主画像のブロックの逆量子化に用いられた量子化ステップから、予め定められた量子化ステップ（例えば、画像符号化規格によって決められている量子化ステップ）を減算し、その減算結果を調整量として特定する。そして、フィルタ処理識別部１００６は、その調整量を示す調整信号をエッジ強調部１００７に出力する。これにより、エッジ強調部１００７は、復号画像信号によって示される主画像（ブロック）のエッジを強調するときには、エッジ強調部１００７から調整信号を取得し、その調整信号により示される調整量だけエッジを強調する。

このように、本実施の形態における画像復号装置１０００は、実施の形態１、２またはそれらの変形例における画像符号化装置によって生成される符号化ステレオ映像信号を立体視し得るように適切に復号して表示部Ｄ１に表示することができる。さらに、本実施の形態における画像復号装置１０００は、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、主画像のみを表示部Ｄ１に表示させることができる。このとき、画像復号装置１０００は、その主画像に対して符号化時にぼかし処理が行われていても、そのぼかされた主画像のエッジを適切に強調して、主画像を鮮明な２Ｄ映像として表示部Ｄ１にすることができる。

（実施の形態５）
図１４は、本発明の実施の形態５における画像復号装置の構成を示すブロック図である。

画像復号装置１１００は、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号を復号する装置であって、可変長復号部１００１、逆量子化／逆変換部１００２、動き／視差補償部１００３、加算器１００４、デブロッキングフィルタ１０１０、フィルタ処理識別部１０１１、およびスイッチ１００９を備える。

また、この画像復号装置１１００は、記憶部Ｍｅ１にデータを格納したり読み出したりしながら、符号化ステレオ映像信号に含まれる主画像および副画像のピクチャをそれぞれブロックごとに復号し、立体視可能なように、復号されたピクチャを表示部Ｄ１に表示せる。さらに、画像復号装置１１００は、外部から主画像表示信号を取得したときには、符号化ステレオ映像信号に含まれる主画像だけを表示部Ｄ１に表示させる。つまり、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、画像復号装置１０００は２Ｄ映像を表示部Ｄ１に表示させる。

なお、本実施の形態において復号される符号化ステレオ映像信号では、副画像だけでなく主画像に対しても、実施の形態１、２またはそれらの変形例における、ぼかし処理が行われている。また、本実施の形態では、画像復号装置１１００が備える各構成要素のうち、実施の形態４の画像復号装置１０００が備える構成要素と同一のものに対しては、実施の形態４の構成要素と同一の参照符号を付し、詳細な説明を省略する。

スイッチ１００９は、フィルタ処理識別部１０１１による制御に応じて接続を切り替える。つまり、スイッチ１００９は、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させたり、記憶部Ｍｅ１をデブロッキングフィルタ１０１０の入力に接続させたりする。

デブロッキングフィルタ１０１０は、実施の形態４のデブロッキングフィルタ１００５と同様、加算器１００４から復号画像信号を取得すると、その復号画像信号をフィルタリングする。つまり、デブロッキングフィルタ１０１０は、その復号画像信号が示すブロックの画像の歪（ブロッキング歪）を除去し、その歪が除去された復号画像信号を記憶部Ｍｅ１に格納する。また、デブロッキングフィルタ１０１０は、フィルタ処理識別部１０１１から調整信号を取得したときには、その調整信号によって示される調整量に応じた強度のフィルタリングを実行する。

フィルタ処理識別部１０１１は、主画像および副画像を表示する場合には、つまり、主画像のみを表示すべきことを示す主画像表示信号を取得していない場合には、スイッチ１００９を制御し、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像および副画像を示す復号画像信号が読み出され、主画像および副画像が表示部Ｄ１に交互に表示される。したがって、この場合には、立体的に画像が表示される。

一方、フィルタ処理識別部１０１１は、主画像のみを表示すべきことを示す主画像表示信号を取得した場合には、表示対象の主画像のブロックごとに、スイッチ１００９に接続を切り替えさせる。つまり、フィルタ処理識別部１０１１は、実施の形態４のフィルタ処理識別部１００６と同様に、ブロックごとに、そのブロックに対して符号化時にぼかし処理が行われた否かを、動き／視差補償部１００３から出力される、そのブロックに対応する視差ベクトルと、可変長復号部１００１から出力される撮影方法信号とに基づいて判別する。そして、フィルタ処理識別部１０１１は、その判別結果に応じてスイッチ１００９を制御する。

フィルタ処理識別部１０１１は、ぼかし処理が行われていないと判別すると、スイッチ１００９を制御することにより、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、加算器１００４から出力される主画像のブロックを示す復号画像信号は、デブロッキングフィルタ１０１０によってフィルタリングされ、記憶部Ｍｅ１を介して表示部Ｄ１に出力され、その表示部Ｄ１に表示される。

一方、フィルタ処理識別部１０１１は、ぼかし処理が行われていると判別すると、まず、スイッチ１００９を制御することにより、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、加算器１００４から出力される主画像のブロックを示す復号画像信号は、デブロッキングフィルタ１０１０によってフィルタリングされ、記憶部Ｍｅ１に格納される。次に、フィルタ処理識別部１０１１は、スイッチ１００９を制御することにより、記憶部Ｍｅ１をデブロッキングフィルタ１０１０の入力に接続させる。これにより、フィルタリングされて記憶部Ｍｅ１に格納された上述の復号画像信号は、さらに、デブロッキングフィルタ１０１０によって再びフィルタリングされる。再びフィルタリングされた復号画像信号は、記憶部Ｍｅ１を介して表示部Ｄ１に出力され、その表示部Ｄ１に表示される。

さらに、フィルタ処理識別部１０１１は、ぼかし処理が行われていると判別すると、逆量子化／逆変換部１００２から出力された、主画像のブロックの逆量子化に用いられた量子化ステップに基づいて、ぼかし度合いを示す上述の調整量を特定する。つまり、フィルタ処理識別部１０１１は、主画像のブロックの逆量子化に用いられた量子化ステップから、予め定められた量子化ステップ（例えば、画像符号化規格によって決められている量子化ステップ）を減算し、その減算結果を調整量として特定する。そして、フィルタ処理識別部１０１１は、その調整量を示す調整信号をデブロッキングフィルタ１０１０に出力する。これにより、デブロッキングフィルタ１０１０は、復号画像信号を再びフィルタリングするときには、フィルタ処理識別部１０１１から調整信号を取得し、その調整信号により示される調整量に応じた強度のフィルタリングを行う。

このように、本実施の形態における画像復号装置１１００は、実施の形態１、２またはそれらの変形例における画像符号化装置によって生成される符号化ステレオ映像信号を立体視し得るように適切に復号して表示部Ｄ１に表示することができる。さらに、本実施の形態における画像復号装置１１００は、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、主画像のみを表示部Ｄ１に表示させることができる。このとき、画像復号装置１１００は、その主画像に対して符号化時にぼかし処理が行われていても、そのぼかされた主画像の歪みを適切に除去して、主画像を鮮明な２Ｄ映像として表示部Ｄ１にすることができる。

以上のように、本発明に係る画像符号化装置、画像符号化システムおよび画像復号装置について、実施の形態１〜５およびそれらの変形例を用いて説明したが、本発明はこれらに限定されるものではない。

例えば、本発明に係る画像符号化装置は、図４、図８、図１０および図１１に示す構成要素の全てを備えている必要はなく、何れかの構成要素を備えていなくても（例えば、図１５または図１７に示す構成要素だけでも）、本発明の効果を奏することができる。

図１５は、本発明に係る画像符号化装置の構成を示すブロック図である。

本発明に係る画像符号化装置１０は、立体視するための２つの画像を符号化する画像符号化装置であって、２つのカメラＣａおよびＣｂによる２つの画像の撮影方法を特定する方法特定部１２と、２つの画像間の視差を、その２つの画像のそれぞれを構成する領域ごとに検出する視差検出部１１と、その領域ごとに、方法特定部１２によって特定された撮影方法、および視差検出部１１によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部１３と、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する符号化部１４とを備える。ここで、視差検出部１１は、実施の形態１〜５およびそれらの変形例における検出部３０５に対応する。方法特定部１２は、実施の形態１〜５およびそれらの変形例における輻輳角調整部３０２または視差分布識別部６０１に対応する。調整部１３は、実施の形態１〜５およびそれらの変形例における符号化調整部３０３，５０３，６０２，７０２に対応する。符号化部１４は、実施の形態１〜５およびそれらの変形例における変換部３０８、量子化部３０９および可変長符号化部３１０に対応する。

また、本発明に係る画像符号化方法は、図６および図７に示すステップの全てを含んでいる必要はなく、何れかのステップを含んでいなくても（例えば、図１６に示すステップだけでも）、本発明の効果を奏することができる。

図１６は、本発明に係る画像符号化方法を示すフローチャートである。

本発明に係る画像符号化方法は、立体視するための２つの画像を符号化する画像符号化方法であって、２つのカメラによる２つの画像の撮影方法を特定し（ステップＳ１０）、その２つの画像間の視差を、２つの画像のそれぞれを構成する領域ごとに検出し（ステップＳ１２）、その領域ごとに、特定された撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し（ステップＳ１４）、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する（ステップＳ１６）。このような画像符号化方法による符号化は、図１５に示す画像符号化装置１０によって行われる。

このように、本発明に係る画像符号化装置１０およびその画像符号化方法では、立体視するための２つの画像（例えば、主画像と副画像）が符号化される際には、視差だけでなく撮影方法にも基づいて調整量が決定され、その調整量だけ画像がぼけるように、その２つの画像が符号化される。このように画像がぼかされることによって、観視者の立体視による疲労を抑えることができる。さらに、視差だけでなく撮影方法にも基づいて調整量が決定されるため、撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。したがって、実施の形態１〜５およびそれらの変形例における構成要素のうち、画像符号化装置１０が備える各構成要素以外のものについては、必須の構成要素ではない。また、符号化部１４（ステップＳ１６）における符号化についても、実施の形態１〜５およびそれらの変形例における符号化（直交変換や量子化、可変長符号化など）に限定されるものではない。

図１７は、本発明に係る画像符号化装置の他の構成を示すブロック図である。

本発明に係る画像符号化装置１０ａは、立体視するための２つの画像を符号化する画像符号化装置であって、２つのカメラＣａおよびＣｂによる２つの画像の撮影方法を特定する方法特定部１２と、２つの画像間の視差を、その２つの画像のそれぞれを構成する領域ごとに検出する視差検出部１１と、その領域ごとに、方法特定部１２によって特定された撮影方法、および視差検出部１１によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部１３ａと、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する符号化部１４とを備える。また、画像符号化装置１０ａは、さらに、２つのカメラによる撮影によって得られる２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部１５を備え、調整部１３ａは、焦点特定部１５によって特定された領域に対して視差検出部１１によって検出された視差の大きさを、第１または第２の閾値として設定する。ここで、焦点特定部１５は、実施の形態１〜５およびそれらの変形例における焦点調整部４０２に対応する。

このような画像符号化装置１０ａでは、上述の画像符号化装置１０の効果を奏することができるとともに、フォーカスエリアにおける視差が第１または第２の閾値として設定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。したがって、実施の形態１〜５およびそれらの変形例における構成要素のうち、画像符号化装置１０ａが備える各構成要素以外のものについては、必須の構成要素ではない。

また、実施の形態１〜５およびそれらの変形例では、遠景（背景）が映っている領域の画像をぼかしたが、逆に、フォーカスエリアに情報量を多く割り当て、そのフォーカスエリアを高画質化してもよい。また、実施の形態１〜５およびそれらの変形例では、遠景（背景）が映っている領域の画像をぼかしたが、例えば、撮影距離Ｌが焦点よりも近い近景が映っている領域の画像をぼかしてもよく、遠景および近景のそれぞれが映っている領域の画像を共にぼかしてもよい。

また、実施の形態１〜５およびそれらの変形例では、視差ベクトルの大きさに応じた調整量を決定したが、視差ベクトルの大きさに関わらず固定された調整量を決定してもよい。

また、実施の形態１〜５およびそれらの変形例では、カメラＣｂから出力される映像信号（副画像）に対して視差補償予測符号化を行ったが、視差補償予測符号化と動き補償予測符号化とを行ってもよい。つまり、画像符号化装置はマルチビュープロファイル（MVC:Multi-View Profile）として、視差補償予測と動き補償予測の両方式を利用した圧縮符号化方式を使用してもよい。

また、実施の形態１〜５およびそれらの変形例では、ステレオ撮影機器３００Ａは２つのカメラ（ＣａおよびＣｂ）を備えていたが、１つのカメラだけ備えていてもよい。この場合、カメラは、カメラＣａおよびＣｂが有する機能および構成を全て備えていてもよく、２つの光学機器（レンズ）に対して撮像素子（例えばＣＣＤ）を１つだけ備えていてもよい。カメラが撮像素子（例えばＣＣＤ）を１つだけ備えている場合には、その１つの撮像素子は、２つの光学機器のそれぞれから出力される光を受け、主画像を示す電気信号と副画像を示す電気信号に変換する。

また、実施の形態１〜５およびそれらの変形例では、平行法の場合、図５Ｂに示すように、撮影距離Ｌの増加に伴って視差ベクトルの向きが正から負に転換することはない。しかし、平行法であっても、交差法のように（図５Ａに示すように）視差ベクトルの向きが転換するように、カメラ（ＣａおよびＣｂ）を構成してもよい。

図１８Ａおよび図１８Ｂは、カメラの構成を説明するための図である。

図１８Ａに示すように、交差法の場合には、カメラＣａおよびＣｂ（２つの光学機器）のそれぞれの光軸は交差する。ここで、カメラＣａおよびＣｂのそれぞれでは、光学機器と、その光学機器に対応する撮像素子とが光軸に沿って配置されている。その結果、カメラＣａの光学機器から、主画像に対応する撮影領域の中心に向かう中心線は、そのカメラＣａの光学機器の光軸と一致している。同様に、カメラＣｂの光学機器から、副画像に対応する撮影領域の中心に向かう中心線は、そのカメラＣｂの光学機器の光軸と一致している。なお、これらの中心線は、主画像または副画像の撮像の向きを示す線である。したがって、２つの光軸が交差する場合には、２つの中心線も交差している。この中心線が交差していることによって、図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換する。

一方、このようなカメラＣａおよびＣｂの光軸が平行になるように、カメラＣａおよびＣｂを配置すれば、上述の平行法による撮影が行われる。この場合には、カメラＣａおよびＣｂのそれぞれの中心線も平行になる。したがって、図５Ｂに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換することはない。

しかし、図１８Ｂに示すように、平行法であっても、交差法のように、つまり図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換することがある。この場合、カメラＣａおよびＣｂのそれぞれでは、撮像素子が光軸からずれて配置されている。つまり、カメラＣａおよびＣｂはいわゆるレンズシフトカメラとして構成されている。カメラＣａおよびＣｂのそれぞれの光軸が平行であっても、その撮像素子のずれによって、カメラＣａおよびＣｂのそれぞれの中心線が交差する。この中心線が交差していることによって、図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換する。

したがって、実施の形態１〜５およびそれらの変形例において、画像符号化装置は、それらの中心線の間の角度を撮影方法として特定し、符号化調整部は、ブロック（領域）ごとに、その特定された角度、およびそのブロックに対して検出された視差に基づいて、画像をぼかすための調整量を決定してもよい。

なお、上述の例では、レンズシフトカメラによって、平行法において中心線を交差させたが、他の構成によって、平行法において中心線を交差させてもよい。例えば、光軸が平行に揃えられた２つのカメラのそれぞれでは、光学機器と、その光学機器に対応する撮像素子とが光軸に沿って配置され、その光学機器の視野角および撮像素子の受光面積が広く設定されている。そして、撮像素子によって生成される画像の一部（他方の撮像素子によって生成される画像側の一部）が主画像または副画像としてトリミングされる。このような２つのカメラであっても、上述のレンズシフトカメラのように、平行法でありながら中心線を交差させることができる。

また、実施の形態１〜５およびそれらの変形例では、カメラによる２つのピクチャ（主画像および副画像）の撮影方法を特定したが、その撮影方法を特定しなくてもよい。例えば、その撮影方法が平行法である場合には、その撮影方法を特定することなく、ブロック（領域）ごとに、２つのピクチャ間における視差に応じた調整量だけそのブロックの画像がぼけるように、２つのピクチャを符号化する。例えば、視差が閾値よりも小さければ、その視差に対応するブロックの画像がぼけるように２つのピクチャが符号化され、視差が小さいほど、その視差に対応するブロックの画像が強くぼける。これにより、撮影方法が平行法である場合において、重要な領域にぼかし処理が行われてしまうのを防ぐことができる。

また、本発明は、以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されていてもよい。

また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。上記ＩＣカードまたは上記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。上記ＩＣカードまたは上記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記ＩＣカードまたは上記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。

また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかる画像符号化装置は、二つの映像信号から立体映像の符号化を行う際、立体映像の撮影方法によらずに、背景領域をぼかし、フォーカスエリアに情報を割り当てる事で見やすい立体映像の符号化を行える効果を奏し、例えば、デジタルビデオカメラやデジタルスチルカメラ等として有用である。

１０，３００，５００，６００，７００ 画像符号化装置
１１ 視差検出部
１２ 方法特定部
１３ 調整部
１４ 符号化部
３０２ 輻輳角調整部
３０３，５０３，６０２，７０２ 符号化調整部
３０４ セレクタ
３０５ 検出部
３０６ 減算器
３０７，３１４，１００８，１００９ スイッチ
３０８ 変換部
３０９ 量子化部
３１０ 可変長符号化部
３１１ 逆量子化部
３１２ 逆変換部
３１３，１００４ 加算器
３１６ 補償部
４０２ 焦点調整部
６０１ 視差分布識別部
８００ 画像符号化システム
８０１ 画像符号化部
８０４ 表示部
８０５ 外部記録装置
１０００，１１００ 画像復号装置
１００１ 可変長復号部
１００２ 逆量子化／逆変換部
１００３ 動き／視差補償部
１００５，１０１０ デブロッキングフィルタ
１００６，１０１１ フィルタ処理識別部
１００７ エッジ強調部
Ｃａ，Ｃｂ カメラ
Ｄ１ 表示部
Ｍｅ，Ｍｅ１ 記憶部

Claims (17)

1. 立体視するための２つの画像を符号化する画像符号化装置であって、
   カメラによる前記２つの画像の撮影方法を特定する方法特定部と、
   前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、
   前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、
   前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部と
   を備える画像符号化装置。
2. 前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、
   前記調整部は、
   前記方法特定部によって前記撮影方法が交差法であると特定された場合には、
   前記視差検出部によって検出された視差が第１の閾値より大きい領域に対して前記調整量を決定する、
   請求項１に記載の画像符号化装置。
3. 前記調整部は、前記視差が大きいほど、ぼかしの度合いが大きくなるような調整量を決定する、
   請求項２に記載の画像符号化装置。
4. 前記画像符号化装置は、さらに、
   前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、
   前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第１の閾値として設定する、
   請求項２または３に記載の画像符号化装置。
5. 前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、
   前記調整部は、
   前記方法特定部によって前記撮影方法が平行法であると特定された場合には、
   前記視差検出部によって検出された視差が第２の閾値より小さい領域に対して前記調整量を決定する、
   請求項１に記載の画像符号化装置。
6. 前記調整部は、前記視差が小さいほど、ぼかしの度合いが大きくなるような調整量を決定する、
   請求項５に記載の画像符号化装置。
7. 前記画像符号化装置は、さらに、
   前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、
   前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第２の閾値として設定する、
   請求項５または６に記載の画像符号化装置。
8. 前記方法特定部は、
   前記２つの画像のそれぞれを生成するための前記カメラの２つの光軸が交わる角度を輻輳角として特定し、前記輻輳角が予め定められた角度より小さいか否かを判別し、前記輻輳角が小さくないと判別したときには、前記撮影方法が交差法であると特定し、前記輻輳角が小さいと判別したときには、前記撮影方法が平行法であると特定する、
   請求項１〜５の何れか１項に記載の画像符号化装置。
9. 前記視差検出部は、前記２つの画像の間の視差を視差ベクトルとして前記領域ごとに検出し、
   前記方法特定部は、
   前記視差検出部によって領域ごとに検出される視差ベクトルの分布の中で、負の向きの視差ベクトルと正の向きの視差ベクトルとが混在しているか否かを判別し、混在していると判別したときには、前記撮影方法が交差法であると特定し、混在していないと判別したときには、前記撮影方法が平行法であると特定する、
   請求項１〜５の何れか１項に記載の画像符号化装置。
10. 前記符号化部は、
    前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部と、
    前記領域ごとに、前記変換部による直交変換によって得られた周波数係数を量子化する量子化部とを備え、
    前記量子化部は、何れかの領域の周波数係数を量子化するときには、当該領域に対して前記調整部によって決定された調整量だけ量子化ステップを増加し、増加された量子化ステップを用いて当該領域の周波数係数を量子化することにより、当該領域の画像をぼかす
    請求項１〜９の何れか１項に記載の画像符号化装置。
11. 前記符号化部は、
    前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部を備え、
    前記変換部は、何れかの領域に対して直交変換を行い、当該領域に対して周波数係数を生成したときには、当該領域に含まれる周波数係数のうち、当該領域に対して前記調整部によって決定された調整量に応じた広さの高周波数領域の周波数係数を切り捨てることにより、当該領域の画像をぼかす、
    請求項１〜９の何れか１項に記載の画像符号化装置。
12. 前記符号化部は、
    前記領域ごとに検出された視差を用いて、前記２つの画像のうちの一方の画像を、他方の画像から予測することによって予測画像を生成し、前記一方の画像と前記予測画像との差分を算出することによって、前記一方の画像を符号化する、
    請求項１〜１１の何れか１項に記載の画像符号化装置。
13. 前記方法特定部は、前記２つの画像のそれぞれの撮像の向きを示す線の間の角度を前記撮影方法として特定し、
    前記調整部は、前記領域ごとに、前記方法特定部によって特定された角度、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する
    請求項１に記載の画像符号化装置。
14. カメラと、
    前記カメラによる撮影によって生成される、立体視するための２つの画像を符号化する請求項１〜１３の何れか１項に記載の画像符号化装置と、
    前記画像符号化装置による符号化によって生成される信号を記録するための記録媒体と
    を備える画像符号化システム。
15. 立体視するための２つの画像を符号化する画像符号化方法であって、
    カメラによる前記２つの画像の撮影方法を特定し、
    前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出し、
    前記領域ごとに、特定された前記撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し、
    前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する
    画像符号化方法。
16. 立体視するための２つの画像を符号化するためのプログラムであって、
    カメラによる前記２つの画像の撮影方法を特定し、
    前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出し、
    前記領域ごとに、特定された前記撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し、
    前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する
    ことをコンピュータに実行させるプログラム。
17. 立体視するための２つの画像を符号化する集積回路であって、
    カメラによる前記２つの画像の撮影方法を特定する方法特定部と、
    前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、
    前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、
    前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部と
    を備える集積回路。

Images