JP4243034B2

JP4243034B2 - 符号化装置

Info

Publication number: JP4243034B2
Application number: JP2001096453A
Authority: JP
Inventors: 光穗山田; 淳洗井; 智之三科; 真樹小林; 文男岡野
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-03-29
Filing date: 2001-03-29
Publication date: 2009-03-25
Anticipated expiration: 2021-03-29
Also published as: JP2002300607A

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化装置及び復号化装置に関し、特に、任意の視点から視認することができるＩＰ（インテグラルフォトグラフィ）方式を用いた立体テレビ用の符号化装置に関する。
【０００２】
【従来の技術】
従来、任意の視点から視認することができる立体テレビ用の撮像方式の１つとして、平面上または球面上に配列されたレンズ群を用いるＩＰ方式が使用されている。
【０００３】
このＩＰ方式を採用した立体テレビカメラからの出力信号は、複数の小さな撮像レンズから得られる立体撮像信号が集積されたものであり、故に、その情報量は通常の平面テレビカメラよりも遙に膨大である。
図８は、従来のＩＰ方式を採用した立体テレビカメラの撮像原理を示す説明図である。図８に示す従来の立体テレビカメラでは、同一平面上に配置された複数のレンズ（凸レンズ８２ｉはその１つ）から成るレンズ群８２の後方に、写真フィルム８４を配置し、レンズ群８２の前方に位置する被写体８１を撮影する。
【０００４】
この構成により、写真フィルム８４には、凸レンズ８２ｉの各々によって撮像された被写体８１の複数の像（要素画素８３ｉは、その１つ）が結像する。
この写真フィルム８４に結像した複数の像を現像して得られる画像を、レンズ群８２に対して撮影時と同じ位置に置き、この状態でレンズ群８２の前方から前記画像を見ると、立体再生画像を視認することができる。
【０００５】
図９および図１０は、従来の実用的なＩＰ方式立体テレビカメラの構造を示す構成図である。
図９および図１０に示す立体テレビカメラの構造は、図８に示す撮像原理を具備したテレビカメラの解像度を、立体画像の動画の撮影が可能なように高めている。
まず、撮像面積を大きく取れ、かつ画素数も極めて多くできる構成として、１つのウエハ９ｗ上に、写真フィルム８４の代替品として複数の撮像素子（撮像素子９ｅは、その１つ）を設置する。また、この撮像素子９ｅを含む複数の撮像素子における各々の前面に要素レンズ９ｇを配置する（要素レンズ９ｇはその１つであり、撮像素子９ｅに対応している）。なお、各要素レンズ９ｇは、隣り合うものが干渉しないように、光学的な遮蔽手段９ｂを設けると都合がよい。
【０００６】
図９に示すテレビカメラでは、図面を簡略化するために、撮像素子９ｅで代表される撮像素子及び要素レンズ９ｇで代表される要素レンズが縦方向にそれぞれ４個、横方向にそれぞれ５個となるように配列され（５列×４行の配列）、これらの撮像素子に、符号Ｄ１１〜Ｄ４５で示される計２０個の光学像が形成される構造が示されているが、実際に実用される立体テレビカメラでは、撮像素子９ｅで代表される撮像素子及び要素レンズ９ｇで代表される要素レンズの個数は、それぞれ千個乃至二千個にも達する。
【０００７】
この撮像素子及び要素レンズの個数は、撮像される立体画像の動画の解像度に関係し、撮像素子及び要素レンズの個数が増大すれば、撮像される立体画像の動画の解像度も増大する。
従来の立体テレビカメラは、前記の構造を備えているが、実際の画像は、この立体テレビカメラからの出力信号が伝送系を介して送信され、さらに、テレビ受信機等の表示装置で表示されたり、ビデオ等の記録装置に記録されたものとなる。
【０００８】
ここで、前記レンズ群の各々が撮影して得られた画像信号（要素画像信号）を、該レンズ群が配置されている順序にシーケンシャルに並べ、１つの連続した信号を形成するようにすれば、既存の一般的な伝送装置、表示装置、及び記録装置で取り扱う信号と適合した信号となるので、この場合には、これら既存の一般的な伝送装置、表示装置、及び記録装置（いずれも、平面テレビシステムに対応した装置）向けの信号圧縮・再生装置（具体的には符号化装置及び復号化装置）を適用することが可能である。
【０００９】
【発明が解決しようとする課題】
しかし、前記従来の平面テレビシステム向けの既存の一般的な伝送装置、表示装置、及び記録装置向けの信号圧縮・再生装置（符号化装置及び復号化装置）では、ＩＰ方式を採用したテレビカメラに特有の性質を利用してはいないため、得られる圧縮率には限界が有った。
それ故、平面テレビシステムよりも遙に膨大な情報量を圧縮する必要がある立体テレビシステム向けの信号圧縮装置としては利用することができないといった問題点があった。
【００１０】
本発明は、以上のような従来の符号化装置及び復号化装置における問題点に鑑みてなされたものであり、ＩＰ方式を採用したテレビカメラからの出力画像信号を効率的に圧縮（符号化）することができる符号化装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明では前記の課題を解決するために、請求項１記載の符号化装置では、集積した複数の撮像レンズの各々に結ばれる要素画像を撮像するテレビカメラから出力されるインテグラルフォトグラフィ信号を入力して符号化を行う符号化装置において、現行の表示フレームの画像信号、及び現行の表示フレームよりも時間的に前の表示フレームの画像信号を用いて前記画像信号間の相関を利用した符号化を行うフレーム間符号化手段と、現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化手段と、複数の要素画像に対応する複数の画像信号を用いて前記画像信号間の相関を利用した符号化を行う要素画像間符号化手段と、前記入力されたインテグラルフォトグラフィ信号の内容に応じて、前記フレーム間符号化手段、前記フレーム内符号化手段および前記要素画像間符号化手段の内いずれかを適宜選択し、かつ該選択された手段により前記入力されたインテグラルフォトグラフィ信号の符号化が実行されるように制御する画像特性解析手段と、を有している。そして、前記符号化装置では、前記画像特性解析手段は、前記入力されたインテグラルフォトグラフィ信号の内容としてその特性が、静止画像、動画像、シーンチェンジ指令付きのいずれであるかを検証し、その検証結果に応じて、前記フレーム間符号化手段、前記フレーム内符号化手段、および、前記要素画像間符号化手段の内いずれかを適宜選択し、かつ、該選択された手段により前記入力されたインテグラルフォトガラフィ信号の符号化が実現されるように制御し、前記入力されたインテグラルフォトグラフィ信号がシーンチェンジ指令付きの信号である場合には、シーンをチェンジすると共に、現行の画像にオクルージョンが存在しない場合には前記要素画像間符号化手段により、オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在しない場合には前記フレーム内符号化手段により、オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在する場合には前記要素画像間符号化手段により、前記入力されたインテグラルフォトグラフィ信号の符号化が実行されるように制御する構成とした。
【００１２】
このように構成されることにより、符号化装置は、現行の表示フレームの画像信号、及び現行の表示フレームよりも時間的に前の表示フレームの画像信号を用いて前記画像信号間の相関を利用した符号化を行うフレーム間符号化手段と、現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化手段と、複数の要素画像に対応する複数の画像信号を用いて前記画像信号間の相関を利用した符号化を行う要素画像間符号化手段とを、画像特性解析手段により、入力されたインテグラルフォトグラフィ信号の特徴に応じて適宜選択し、実行させることができるので、ＩＰ信号の特性に適宜対応した最適な符号化を行うことができる。
【００１３】
また、前記符号化装置において、前記画像特性解析手段は、前記入力されたインテグラルフォトグラフィ信号の内容としての特性が、静止画像、動画像、シーンチェンジ指令付きのいずれであるかを検証して対応するように構成したので、ＩＰ信号の特性を考慮し、フレーム単位で実際に入力されるＩＰ信号の各々について、画像の内容にまで適宜立ち入って得られる特徴を活用した最適な符号化を行うことができる。
【００１４】
さらに、前記符号化装置において、シーンチェンジが有ってもオクルージョンが無ければ、要素画像間の相関を利用した符号化ができるようにし、また、シーンチェンジが有ってオクルージョンも有る場合には、現行画像に対応する要素画像を探索した上で、現行画像と前記探索された要素画像間との相関を利用した符号化ができる。
【００２１】
【発明を実施するための最良の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（参考例）図１は、本発明における参考例の符号化装置の構成を示すブロック図である。
【００２２】
符号化装置は、入力されたインテグラルフォトグラフィ（以下、ＩＰという）信号Ｐ１に対して、フレーム間の符号化を行うフレーム間符号化部１１（フレーム間符号化手段）と、フレーム内の通常の符号化を行うフレーム内符号化部１２（フレーム内符号化手段）と、要素画像間の符号化を行う要素画像間符号化部１３（要素画像間符号化手段）と、最も符号化効率の高い符号化出力を選択して符号化出力Ｃ１を出力する符号化選択部１４（符号化選択手段）とを具備する。図２は、ＩＰ方式を用いた立体テレビシステムの撮影から表示に至るまでの構成（ＩＰ信号の成り立ち）を示す説明図である。
【００２３】
図２に示す立体テレビシステムでは、被写体６１の凸レンズ６２を介した像を複眼レンズ６３（光ファイバを使用）の近辺に結像させる。また、この結像を、テレビカメラ６４で撮影し、画像信号の出力に変換した後、液晶パネル６５に表示している。この液晶パネル６５の近傍にも複眼レンズ６６が設けられているので、操作者は、この複眼レンズ６６を介した画像により、特殊な眼鏡を掛けることなく、立体画像（回り込み視認が可能な立体画像）を視認することができる。
【００２４】
図２の符号６７は、この複眼レンズ６３（６６）上に得られる画像の映像拡大図を示す。この映像拡大図６７からも分かるように、複眼レンズ６３（６６）が具備する要素レンズの各々には、被写体６１を様々な角度から撮影した画像の１つが要素画像として写し出されている。
【００２５】
以下、図１および図２を参照して、符号化装置の機能を説明する。フレーム間符号化部１１は、ＩＰ信号Ｐ１を入力し、現行の表示フレーム（現フレーム）よりも時間的に１フレーム前の画像信号（あるいは、インターレース表示の時は、１フィールド前の画像信号）を用いて、フレーム間の相関を利用した符号化を行う。
【００２６】
フレーム内符号化部１２は、表示フレーム（現フレーム）に限定した画像信号の通常の符号化を行う。
要素画像間符号化部１３は、複数の要素画像に対応する画像信号を用いた符号化を行う。ここで、前記の図２を参照して、要素画像間符号化の原理を説明する。図２に示す複眼レンズ６３（６６）の構造からも明らかなように、複眼レンズ６３（６６）が具備する要素レンズの各々には、被写体６１を様々な角度から撮影した画像の１つが要素画像として写し出されているので、これら複数の要素画像間における画像信号の相関は高く、要素画像間符号化では、この複数の要素画像間における相関の高さを利用して、複数の要素画像から効率的に符号化を行うことができる。
【００２７】
符号化選択部１４は、フレーム間符号化部１１、フレーム内符号化部１２、及び要素画像間符号化部１３からの符号化出力を比較し、最も符号化効率の高い符号化出力（即ち、最も符号量の少ない符号化出力）を選択して、符号化出力として出力する。
【００２８】
図３は、符号化装置の動作を示すフローチャートである。以下、図１，図２を参照しながら、図３に示す符号化装置の動作を説明する。但し、以下では、符号化の処理をステップＳ１１，Ｓ１２，Ｓ１３の順で説明するが、ステップＳ１１，Ｓ１２，Ｓ１３の処理の各々は、独立した処理部が起動されて実行されるので、ステップＳ１１，Ｓ１２，Ｓ１３の各処理は、それぞれ同時点で実行されるものとする（但し、前記の起動とは、ここでは、単に、該当処理部に制御の流れを移すこととし、以下でも同じ意味とする）。
【００２９】
図１に示すフレーム間符号化部１１が起動し、現行の表示すべきフレーム（現フレーム）の１つ前に位置するフレーム（前フレーム）からの符号化（即ち、フレーム間符号化）が実行される（ステップＳ１１）。
フレーム内符号化部１２が起動され、現行の表示すべきフレーム（現フレーム）に閉じた範囲での通常の符号化（即ち、フレーム内符号化）が実行される（ステップＳ１２）。
【００３０】
要素画像間符号化部１３が起動され、複数の要素画像間における相関の高さを利用した符号化（即ち、要素画像間符号化）が実行される（ステップＳ１３）。
その後、符号化選択部１４が起動され、最も符号化効率の高い符号化出力（即ち、最も符号量の少ない符号化出力）を選択して、符号化出力として出力する処理（符号化選択処理）が実行される（ステップＳ２１）。
本実施の形態により、ＩＰ信号の特性を考慮し、フレーム単位で実際に入力されるＩＰ信号の各々について、その特性を活かした最適な符号化を行うことができる。
【００３１】
図４は、本発明における符号化装置の構成を示すブロック図である。本実施の形態に係る符号化装置は、図１に示す符号化装置のフレーム間符号化部１１、フレーム内符号化部１２、要素画像間符号化部１３の前段に位置する部分に、最適な符号化部を選択する画像特性解析部２１（画像特性解析手段）を配置し、かつ符号化選択部１４を消去した構成をとる。
【００３２】
フレーム間符号化部１１、フレーム内符号化部１２、要素画像間符号化部１３の機能については、本発明における第１の実施の形態に係る符号化装置と同じである。また、ＩＰ方式を用いた立体テレビシステムの撮影から表示に至るまでの構成（ＩＰ信号の成り立ち）については、前記の図２に示すとおりである。以下、本発明における符号化装置の画像特性解析部２１の機能について説明する。
【００３３】
画像特性解析部２１は、入力されたＩＰ信号Ｐ２の特性に応じた符号化を実行する符号化部（即ち、フレーム間符号化部１１、フレーム内符号化部１２、要素画像間符号化部１３のいずれか１つ）を選択し、この選択した符号化部に前記の入力されたＩＰ信号Ｐ２を引き渡す。
【００３４】
図５は、本発明における符号化装置の動作を示すフローチャートである。以下、図２，図４を参照しながら、図５に示す本実施の形態に係る符号化装置の動作を説明する。画像特性解析部２１は、入力されたＩＰ信号Ｐ２を静止画像であると認識した場合、静止画素を対象とした符号化の準備を行う（ステップＡ１）。この場合は、現フレームの画像は、前フレームの画像と同じであることが自明であるので、フレーム間符号化部１１が起動されて前フレームよりの符号化が行われる（ステップＡ１１）。
【００３５】
画像特性解析部２１は、入力されたＩＰ信号Ｐ２を動画像であると認識した場合、動画素を対象とした符号化の準備を行う（ステップＢ１）。この場合は、現フレーム内の符号化（ステップＢ１１）と、動き補正を行った上での前フレームでの符号化（ステップＢ１２）と、対応画素を探索（ステップＢ１３）した後の要素画像間の符号化（ステップＢ２１）との３種類の符号化が行われる。以下、前記のステップＢ１１〜ステップＢ１３について、さらに詳細に説明する。
【００３６】
前記のステップＢ１１では、フレーム内符号化部１２が起動されて現フレーム内に閉じた範囲での通常の符号化が行われる。ステップＢ１２では、フレーム間符号化部１１が起動されて前フレームの画像から被写体の動きが予測され、この予測結果に基づいた符号化が行われる。ステップＢ１３では、画像特性解析部２１は、映し出されるべき画像と同じ画像が写っている要素画像を対応画素探索処理で探し出し、要素画像間符号化部１３を起動する。この後、要素画像間符号化部１３において、前記映し出されるべき画像と前記探し出された要素画像との間での符号化が行われる。
【００３７】
ステップＢ１以下での動画素を対象とした符号化の最終ステップ（ステップＢ３１）において、図１に示す符号化選択部１４と同様の機能を備えた符号化選択部（図示は省略）により、最も符号化効率の高い符号化出力、即ち最も符号量の少ない符号化出力が選択されて出力される。
【００３８】
画像特性解析部２１は、入力されたＩＰ信号Ｐ２に含まれるシーンチェンジ指令を検出した場合、シーンをチェンジすると共に、シーンチェンジ時に対応した符号化の準備を行う（ステップＣ１）。周知のように、シーンチェンジはテレビ放送では頻繁に使われる放送技術であるが、これが行われると、チェンジされて成る現行フレームと、前フレームとの相関関係は全く無くなり、従って、この場合はフレーム間符号化部１１によるフレーム間符号化は効果を生じない。故に、従来の符号化装置では、この場合に、フレーム内符号化を行っているが、本実施の形態に係る符号化装置では、この場合でも、要素画像間の符号化を適用できる可能性を有している。
【００３９】
前記の可能性を確認するために、画像特性解析部２１は、まず、前記チェンジされて成る現行フレームの画像内にオクルージョンが存在するか否かを検証する。ここで、オクルージョンとは、被写体の前方に有る画像や被写体そのものに付属するエッヂ等の作用により、被写体の画像が隠されてしまう現象のことである。オクルージョンが有る場合には、被写体を見る方向を変える、即ち、回り込んで見る方向を変化させることにより、その現象を回避できる場合がある。
【００４０】
そこで、画像特性解析部２１は、このオクルージョンが検出された場合には、まず、被写体の画像の近傍の要素画像を探索し、被写体の画像と同じ画像が写っている要素画像（対応画像）を探索する（ステップＣ２１）。次に、前記探索により、この対応画像が存在する時には、画像特性解析部２１は、要素画像間符号化部１３を起動する。この後、要素画像間符号化部１３において要素画像間の符号化が行われる（ステップＣ３２）。また、この対応画像が存在しない時には、画像特性解析部２１は、フレーム内符号化部１２を起動する。この後、フレーム内符号化部１２において現行フレーム内に閉じた範囲での通常の符号化が行われる（ステップＣ３１）。
【００４１】
一方、オクルージョンが無い場合には、無条件で、要素画像間の符号化を適用することができるので、画像特性解析部２１は、無条件で要素画像間符号化部１３を起動する。この後、要素画像間符号化部１３において要素画像間の符号化が行われる（ステップＣ３２）。
【００４２】
本実施の形態により、ＩＰ信号の特性を考慮し、フレーム単位で実際に入力されるＩＰ信号の各々について、画像の内容にまで立ち入って解析し、その結果得られる特徴を活用した最適な符号化を行うことができる。
【００４３】
図６は、復号化装置の構成を示すブロック図である。復号化装置は、入力されたＩＰ符号化信号により復号化部を選択する符号化解析部３１（符号化解析手段）と、フレーム間符号化法により出力された符号化出力を復号化するフレーム間復号化部３２（フレーム間復号化手段）と、フレーム内符号化法により出力された符号化出力を復号化するフレーム内復号化部３３（フレーム内復号化手段）と、要素画像間符号化法により出力された符号化出力を復号化する要素画像間復号化部３４（要素画像間復号化手段）とを具備する。
【００４４】
以下、図６を参照して、復号化装置の機能を説明する。符号化解析部３１は、入力されたＩＰ符号化信号Ｃ３に含まれる符号化分類信号を検証する。この符号化分類信号は、前記の入力されたＩＰ符号化信号が如何なる符号化法により符号化された符号化出力であるかを識別する信号であり、具体的には３種類の符号化法、即ち、図１，図４で示すフレーム間符号化部１１で採用される符号化法と、フレーム内符号化部１２で採用される符号化法と、要素画像間符号化部１３で採用される符号化法とを識別する信号である。
【００４５】
この検証結果により、符号化解析部３１は、フレーム間復号化部３２、フレーム内復号化部３３、要素画像間復号化部３４のいずれか１つを選択して起動すると共に、ＩＰ符号化信号Ｃ３を引き渡す。
フレーム間復号化部３２が選択された場合は、フレーム間復号化部３２は、図１，図４で示すフレーム間符号化部１１が採用している符号化法の逆演算法により、ＩＰ符号化信号Ｃ３を復号化出力Ｐ３に変換する。
【００４６】
フレーム内復号化部３３が選択された場合は、フレーム内復号化部３３は、図１，図４で示すフレーム内符号化部１２が採用している符号化法の逆演算法により、ＩＰ符号化信号Ｃ３を復号化出力Ｐ３に変換する。
要素画像間復号化部３４が選択された場合は、要素画像間復号化部３４は、図１，図４で示す要素画像間符号化部１３が採用している符号化法の逆演算法により、ＩＰ符号化信号Ｃ３を復号化出力Ｐ３に変換する。
【００４７】
図７は、復号化装置の動作を示すフローチャートである。以下、図６を参照しながら、図７に示す復号化装置の動作を説明する。入力されたＩＰ符号化信号Ｃ３は、符号化解析部３１で解析され、その中に含まれる符号化分類信号が検証される。符号化解析部３１は、この検証結果により、フレーム間復号化部３２、フレーム内復号化部３３、要素画像間復号化部３４のいずれか１つを選択して起動すると共に、選択した復号化部に対してＩＰ符号化信号Ｃ３を引き渡す（ステップＤ１）。これにより、フレーム間復号化部３２によるフレーム間復号化（ステップＤ１１）、フレーム内復号化部３３によるフレーム内復号化（ステップＤ１２）、要素画像間復号化部３４による要素画像間復号化（ステップＤ１３）が実行される。
【００４８】
このように、ＩＰ信号の特性を考慮した最適な符号化法で符号化された符号化出力（ＩＰ符号化信号）を、高い忠実度で元のＩＰ信号に復号化することができる。
【００４９】
なお、図３，図５，図７のフローチャートで示した処理を実行するプログラムなど、処理装置に前記の処理を行わせるためのプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータで読み取り可能な記録媒体に格納して配付してもよい。そして、少なくともマイクロコンピュータ，パーソナルコンピュータ，汎用コンピュータを範疇に含むコンピュータが、前記の記録媒体から前記プログラムを読み出して、実行するものとしてもよい。
【００５０】
【発明の効果】
以上に説明したとおり、本発明に係る符号化装置では、以下に示す優れた効果を奏する。
【００５１】
本発明に係る符号化装置では、現行の表示フレームの画像信号、及び現行の表示フレームよりも時間的に前の表示フレームの画像信号を用いて画像信号間の相関を利用した符号化と、現行の表示フレームに閉じた範囲内の画像信号を用いる符号化と、複数の要素画像に対応する複数の画像信号を用いる画像信号間の相関を利用した符号化とを、入力されたＩＰ信号の特徴に応じて適宜選択的に実行させることができるので、ＩＰ信号の特性に適宜対応した最適な符号化を行うことができる。
【００５２】
また、入力されたＩＰ信号が、静止画像、動画像、シーンチェンジ指令付きのいずれであるかを検証し、該検証結果に応じて、前記入力されたＩＰ信号の符号化を実行するので、ＩＰ信号の特性を考慮し、フレーム単位で実際に入力されるＩＰ信号の各々について、画像の内容にまで適宜立ち入って得られる特徴を活用した最適な符号化を行うことができる。
【００５３】
なお、入力されたＩＰ信号が静止画像の信号である場合には、フレーム間符号化により、前記入力されたＩＰ信号の符号化を実行するので、前フレームとの相関が高い静止画像に対して、確実に、前フレームとの相関を利用した符号化を適用することができる。
【００５４】
また、入力されたＩＰ信号が動画像の信号である場合には、フレーム内符号化と、動き補正を行った上でのフレーム間符号化と、現行の画像に対応する他の要素画像を探索した上での要素画像間符号化とを並行させ、それら複数の符号化出力から符号化効率が最大の符号化出力を出力するので、複雑に変化する動画像に対して、複数通りの符号化法を適用させ、結果として最適の符号化法による符号化出力を得ることができる。
【００５５】
さらに、入力されたＩＰ信号がシーンチェンジ指令付きの信号である場合、さらに現行の画像にオクルージョンが存在しない場合には要素画像間符号化、オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在しない場合にはフレーム内符号化、オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在する場合には要素画像間符号化が適用できるようにしたので、シーンチェンジが有ってもオクルージョンが無ければ、要素画像間の相関を利用した符号化、さらに、シーンチェンジが有ってもオクルージョンも有る場合には、現行画像に対応する要素画像を探索した上での現行画像と前記探索された要素画像間との相関を利用した符号化ができるようにしている。
【図面の簡単な説明】
【図１】参考例に係る符号化装置の構成を示すブロック図である。
【図２】本発明におけるＩＰ方式を用いた立体テレビシステムの撮影から表示に至るまでの構成（ＩＰ信号の成り立ち）を示す説明図である。
【図３】参考例に係る符号化装置の動作を示すフローチャートである。
【図４】本発明に係る符号化装置の構成を示すブロック図である。
【図５】本発明に係る符号化装置の動作を示すフローチャートである。
【図６】復号化装置の構成を示すブロック図である。
【図７】復号化装置の動作を示すフローチャートである。
【図８】従来のＩＰ方式立体テレビカメラの撮像原理を示す説明図である。
【図９】従来の実用的な立体テレビカメラの構造を示す構成図である。
【図１０】従来の実用的なＩＰ方式立体テレビカメラの構造を示す他の構成図である。
【符号の説明】
１１……フレーム間符号化部、
１２……フレーム内符号化部、
１３……要素画像間符号化部、
１４……符号化選択部、
２１……画像特性解析部、
３１……符号化解析部、
３２……フレーム間復号化部、
３３……フレーム内復号化部、
３４……要素画像間復号化部、
Ｃ１，Ｃ２……符号化出力
Ｃ３……ＩＰ符号化信号
Ｐ１、Ｐ２……ＩＰ信号
Ｐ３……復号化出力

Claims

集積した複数の撮像レンズの各々に結ばれる要素画像を撮像するテレビカメラから出力されるインテグラルフォトグラフィ信号を入力して符号化を行う符号化装置において、
現行の表示フレームの画像信号、及び現行の表示フレームよりも時間的に前の表示フレームの画像信号を用いて前記画像信号間の相関を利用した符号化を行うフレーム間符号化手段と、
現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化手段と、
複数の要素画像に対応する複数の画像信号を用いて前記画像信号間の相関を利用した符号化を行う要素画像間符号化手段と、
前記入力されたインテグラルフォトグラフィ信号の内容に応じて、前記フレーム間符号化手段、前記フレーム内符号化手段および前記要素画像間符号化手段の内いずれかを適宜選択し、かつ該選択された手段により前記入力されたインテグラルフォトグラフィ信号の符号化が実行されるように制御する画像特性解析手段と、を有し、
前記画像特性解析手段は、
前記入力されたインテグラルフォトグラフィ信号の内容としてその特性が、静止画像、動画像、シーンチェンジ指令付きのいずれであるかを検証し、その検証結果に応じて、前記フレーム間符号化手段、前記フレーム内符号化手段、および、前記要素画像間符号化手段の内いずれかを適宜選択し、かつ、該選択された手段により前記入力されたインテグラルフォトガラフィ信号の符号化が実現されるように制御し、
前記入力されたインテグラルフォトグラフィ信号がシーンチェンジ指令付きの信号である場合には、シーンをチェンジすると共に、現行の画像にオクルージョンが存在しない場合には前記要素画像間符号化手段により、
オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在しない場合には前記フレーム内符号化手段により、
オクルージョンが存在し、かつ現行の画像に対応する他の要素画像が存在する場合には前記要素画像間符号化手段により、
前記入力されたインテグラルフォトグラフィ信号の符号化が実行されるように制御することを特徴とする符号化装置。
前記フレーム間符号化手段、前記フレーム内符号化手段、および、前記要素画像間符号化手段からそれぞれ出力される符号化出力のうち、符号化効率が最大の符号化出力を出力する符号化選択手段をさらに備えることを特徴とする請求項１に記載の符号化装置。