JP2009159359A

JP2009159359A - 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム

Info

Publication number: JP2009159359A
Application number: JP2007335732A
Authority: JP
Inventors: Minoru Otani; 稔大谷
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanwha Vision Co Ltd
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2009-07-16
Also published as: KR20090071327A; US8300960B2; US20090169120A1

Abstract

【課題】ＲＡＷ画像データのフォーマットやフォーマットの更新に関わらず、ＲＡＷ画像データを容易にデモザイキング処理することが可能な動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラムを提供すること。
【解決手段】撮像素子１０２からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成する符号化処理部１０６と、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報を生成する符号化情報生成部１１２と、ＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報を生成する撮像素子情報生成部１１０と、符号化ＲＡＷ画像データと、符号化情報と、撮像素子情報とを含む動画像データを生成するデータ生成部１０８とを備えることを特徴とする。
【選択図】図１

Description

本発明は、動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラムに関する。

動画像を記録可能なビデオカメラ、カムコーダ、静止画像を記録可能なデジタルスチルカメラなどの撮像装置は、一般にＣＣＤ等のイメージセンサ（撮像素子）から出力された信号に補間処理などのデモザイキング処理を行った後、ＭＰＥＧ−２、ＪＰＥＧ等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体にデータの記録を行っている。

通常、画像データの記録再生品質は、非可逆な圧縮処理が施されることによって、圧縮処理前のデータに比べて低下する。そのため、静止画像を記録するデジタルスチルカメラ等の撮像装置には、デモザイキング処理や圧縮処理を行わずにイメージセンサから出力された信号をＲＡＷ形式として直接記録するものがある。特許文献１には、画像データ記録時に、ＪＰＥＧ等の圧縮形式か、ＲＡＷ形式かを選択して画像データを記録する技術が開示されている。

特開平１１−２６１９３３号公報

ところで、ＲＡＷ画像データフォーマットは、撮像装置の製造メーカや撮像装置毎に異なっている。そのため、ＲＡＷ画像データをデモザイキング処理する場合、製造メーカや撮像装置のＲＡＷ画像データフォーマットに対応したソフトウェアを用いて現像処理する必要があった。

また、ＲＡＷ画像データフォーマットにおけるパラメータや符号化方式等が変更された場合、撮像装置に実装されたフォーマット部の更新だけでなく、デモザイキング処理ソフトの更新も必要であった。例えば、撮像装置においてＲＡＷ画像データフォーマットの更新がされているが、デモザイキング処理ソフトにおいてＲＡＷ画像データフォーマットの更新がされていない場合、撮像装置で記録されたＲＡＷ画像データをデモザイキング処理できないという問題があった。更に、ＲＡＷ画像データフォーマットが将来的に拡張されることを想定してreserved flagを設けたとしても、デモザイキング処理ソフト側は対応できないフォーマットであることが認識できるだけであり、拡張されたフォーマットに基づいてＲＡＷ画像データをデモザイキング処理することはできなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ＲＡＷ画像データのフォーマットやフォーマットの更新に関わらず、ＲＡＷ画像データを容易にデモザイキング処理することが可能な、新規かつ改良された動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成する符号化処理部と、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報を生成する符号化情報生成部と、ＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報を生成する撮像素子情報生成部と、符号化ＲＡＷ画像データと、符号化情報と、撮像素子情報とを含む動画像データを生成するデータ生成部とを備えることを特徴とする動画像データ符号化装置が提供される。

上記符号化情報又は撮像素子情報と、予め規定された符号化情報又は撮像素子情報とが一致するとき、データ生成部は、動画像データに予め決められたフラグを立ててもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報と、復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報とを含む動画像データを読み出すデータ読出し部と、動画像データから符号化情報を抽出する符号化情報抽出部と、符号化情報に基づいて符号化ＲＡＷ画像データを復号化処理してＲＡＷ画像データを生成する復号化部と、動画像データから撮像素子情報を抽出する撮像素子情報抽出部と、撮像素子情報に基づいてＲＡＷ画像データを現像処理して現像処理済画像データを生成する現像処理部とを備えることを特徴とする動画像データ復号化装置が提供される。

上記動画像データが、符号化情報又は撮像素子情報と、予め規定された符号化情報又は撮像素子情報とが一致するときに立てられたフラグを含むとき、復号化部は、予め規定された符号化情報に基づいて符号化ＲＡＷ画像データを復号化処理し、現像処理部は、予め規定された撮像素子情報に基づいてＲＡＷ画像データを現像処理してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成するステップと、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報を生成するステップと、ＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報を生成するステップと、符号化ＲＡＷ画像データと、符号化情報と、撮像素子情報とを含む動画像データを生成するステップとを備えることを特徴とする動画像データ符号化方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報と、復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報とを含む動画像データを読み出すステップと、動画像データから符号化情報を抽出するステップと、符号化情報に基づいて符号化ＲＡＷ画像データを復号化処理してＲＡＷ画像データを生成するステップと、動画像データから撮像素子情報を抽出するステップと、撮像素子情報に基づいてＲＡＷ画像データを現像処理して現像処理済画像データを生成するステップとを備えることを特徴とする動画像データ復号化方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成する手段、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報を生成する手段、ＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報を生成する手段、符号化ＲＡＷ画像データと、符号化情報と、撮像素子情報とを含む動画像データを生成する手段をコンピュータに実行させるためのプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する符号化情報と、復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な撮像素子に関する撮像素子情報とを含む動画像データを読み出す手段、動画像データから符号化情報を抽出する手段、符号化情報に基づいて符号化ＲＡＷ画像データを復号化処理してＲＡＷ画像データを生成する手段、動画像データから撮像素子情報を抽出する手段、撮像素子情報に基づいてＲＡＷ画像データを現像処理して現像処理済画像データを生成する手段をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、ＲＡＷ画像データのフォーマットやフォーマットの更新に関わらず、ＲＡＷ画像データを容易にデモザイキング処理することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本実施形態の撮像装置１００）
まず、図１を参照して、本発明の一実施形態に係る撮像装置１００について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、例えば、レンズ等の光学系やイメージセンサ１０２を有して、動画像を撮影、記録可能なビデオカメラ、カムコーダ等である。撮像装置１００は、例えば、イメージセンサ１０２と、プレ処理部１０４と、データ圧縮部１０６と、フォーマット部１０８と、イメージセンサ情報生成部１１０と、スクリプト生成部１１２と、記憶部１１４などからなる。

イメージセンサ１０２は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子であり、被写体からの光を受光して電気信号に変換し、１フレーム毎の画像データをプレ処理部１０４に送る。

プレ処理部１０４は、イメージセンサ１０２から送られた画像データを受ける。プレ処理部１０４は、入力された信号をＡＤ（アナログデジタル）変換するＡＤコンバータを含む。プレ処理部１０４は、データ圧縮処理前のデータ処理、例えば、画素欠陥補正などを行う。プレ処理部１０４は、データ処理によって生成したデータ（以下、ＲＡＷ画像データという。）をデータ圧縮部１０６に送る。なお、プレ処理部１０４は、上記データ圧縮処理前のデータ処理を行わずに生成したＲＡＷ画像データを出力してもよい。

データ圧縮部１０６は、符号化処理部の一例であり、プレ処理部１０４から受けたＲＡＷ画像データを圧縮処理する。圧縮処理は、圧縮処理したＲＡＷ画像データをもとのデータに戻すことが可能な可逆圧縮処理であり、例えばハフマン符号化処理である。また、圧縮処理は、同一フレーム内の上下左右の画素を参照する空間的相関を用いる圧縮方式である。これにより、時間的な前後関係で異なるフレーム同士を参照する時間的相関を用いるＭＰＥＧ方式などと違い、イメージセンサ１０２から出力されたデータをフレーム毎にそのまま記録することができる。データ圧縮部１０６は、圧縮処理によって符号化ＲＡＷ画像データを生成し、符号化ＲＡＷ画像データをフォーマット部１０８に送る。

なお、データ圧縮部１０６は、必ずしもＲＡＷ画像データを圧縮しなくてもよく、パッキング処理（Packing）のみを行うとしてもよい。但し、以下では、圧縮処理されずパッキング処理のみされたＲＡＷ画像データについても符号化ＲＡＷ画像データという。

フォーマット部（Formatter）１０８は、データ生成部の一例であり、データ圧縮部１０６で生成された符号化ＲＡＷ画像データ、イメージセンサ情報生成部１１０で生成されたＣＦＡ配列情報（イメージセンサ情報）、スクリプト生成部１１２で生成された圧縮スクリプトを受ける。そして、フォーマット部１０８は、符号化ＲＡＷ画像データ、ＣＦＡ配列情報、スクリプトを含む動画像データ（符号化データ）を生成する。なお、以下では、ＣＦＡ配列情報及び圧縮スクリプトを総称して付加情報ともいう。

また、フォーマット部１０８は、記憶部１１４に記憶された既存の（予め規定された）ＣＦＡ配列情報及び圧縮スクリプトと、イメージセンサ情報生成部１１０やスクリプト生成部１１２で生成されたＣＦＡ配列情報及び圧縮スクリプトとを比較して、同一である場合は記憶部１１４から読み出されたＣＦＡ配列情報及び圧縮スクリプト（予め決められたフラグ、例えば「０」など）を動画像データに記述し、異なる場合は具体的なＣＦＡ配列情報及び圧縮スクリプトを動画像データに記述する。これにより、例えばフォーマット策定時や製品出荷時等の（標準の）イメージセンサ１０２のイメージセンサ情報（例えば、ベイヤ配列のＣＦＡ構成など）や、圧縮スクリプトに変更があった場合に、動画像データに具体的な情報が記述され、フォーマット策定時や製品出荷時等から変更がない場合には、記憶部１１４から読み出された規定のＣＦＡ配列情報及び圧縮スクリプト、又は予め決められたフラグが記述される。

更に、フォーマット部１０８は、動画像データを例えばメディア記録部（図示せず。）等に出力し、動画像データはフラッシュメモリ、ハードディスク等の記録媒体に記録される。

イメージセンサ情報生成部１１０は、撮像素子情報生成部の一例であり、ＲＡＷ画像データを現像処理するために必要なイメージセンサ１０２に関するイメージセンサ情報を生成する。イメージセンサ情報は、例えば、イメージセンサ１０２のＣＦＡ（Color Filter Array）構成などの情報である。イメージセンサ情報生成部１１０は、生成したイメージセンサ情報をフォーマット部１０８に送る。

スクリプト生成部１１２は、符号化情報生成部の一例であり、符号化ＲＡＷ画像データを復号化処理するために必要な符号化処理に関する圧縮スクリプト（符号化情報）を生成する。圧縮スクリプトは、例えば、圧縮方式を記述するライブラリ関数である。スクリプト生成部１１２は、生成した圧縮スクリプトをフォーマット部１０８に送る。

記憶部１１４は、例えばフォーマット策定時や製品出荷時等のイメージセンサ情報や圧縮スクリプトを記憶しておく。これにより、フォーマット部１０８は、イメージセンサ情報生成部１１０やスクリプト生成部１１２で生成された付加情報が、記憶部１１４に記憶された付加情報と異なるか否かを判断することができる。

なお、本実施形態の撮像装置１００には図示しないＣＰＵが設けられ、ＣＰＵは、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御することができる。なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

本実施形態の撮像装置１００によれば、符号化ＲＡＷ画像データと共に、ＣＦＡ配列情報と圧縮スクリプトを含む動画像データが生成され、生成された動画像データが外部に出力される。そして、当該動画像データを受けた再生側では、ＣＦＡ配列情報と圧縮スクリプトを参照して、符号化ＲＡＷ画像データを再生可能なデータとして現像処理できる。

（本実施形態の再生装置２００）
次に、図２を参照して、本発明の一実施形態に係る再生装置２００について説明する。図２は、本実施形態に係る再生装置２００を示すブロック図である。

再生装置２００は、例えば、記録媒体に記録された動画像データや、外部から受けた動画像データを再生可能である。再生装置２００は、例えば、デフォーマット部２０２と、データ伸張部２０４と、デモザイキング処理部２０６と、スクリプト解釈部２１０と、イメージセンサ情報抽出部２１２と、記憶部２１４などからなる。

デフォーマット部（De-Formatter）２０２は、データ読出し部の一例であり、撮像装置１００によって生成され、記録媒体に記録された動画像データ（符号化データ）を読み出す。デフォーマット部２０２は、更に動画像データを符号化ＲＡＷ画像データと、付加情報（ＣＦＡ配列情報及び圧縮スクリプト）に分離する。デフォーマット部２０２は、分離したＲＡＷ画像データをデータ伸張部２０４に送り、付加情報の１つである圧縮スクリプトをスクリプト解釈部２１０に送り、別の付加情報であるＣＦＡ配列情報をイメージセンサ情報抽出部２１２に送る。

データ伸張部２０４は、復号化処理部の一例であり、スクリプト解釈部２１０から圧縮スクリプトを受け、圧縮スクリプトに基づいてデフォーマット部２０２から受けた符号化ＲＡＷ画像データを伸張処理する。なお、データ伸張部２０４は、スクリプト解釈部２１０から圧縮スクリプトについては、予め決められたフラグが記述されていると判断したという指示を受けた場合は、既存の圧縮スクリプトを記憶部２１４から読み出して、既存の圧縮スクリプトに基づいてデフォーマット部２０２から受けた符号化ＲＡＷ画像データを伸張処理する。

伸張処理は、圧縮処理されたＲＡＷ画像データをもとのデータに戻す復号化処理であり、撮像装置１００における圧縮処理に対応している。データ伸張部２０４は、伸張処理によって圧縮処理されていないＲＡＷ画像データを生成し、当該ＲＡＷ画像データをデモザイキング処理部２０６に送る。なお、符号化ＲＡＷ画像データが圧縮処理されずパッキング処理のみされている場合は、データ伸張部２０４はデパッキング処理（De-Packing）のみ行なう。

デモザイキング処理部（De-mosaicing）２０６は、現像処理部の一例であり、イメージセンサ情報抽出部２１２からＣＦＡ配列情報を受け、ＣＦＡ配列情報に基づいてデータ伸張部２０４から受けたＲＡＷ画像データをデモザイキング処理する。なお、デモザイキング処理部２０６は、イメージセンサ情報抽出部２１２からイメージセンサ情報については、予め決められたフラグが記述されていると判断したという指示を受けた場合は、既存のイメージセンサ情報を記憶部２１４から読み出して、既存のＣＦＡ配列情報に基づいてデータ伸張部２０４から受けたＲＡＷ画像データをデモザイキング処理する。

デモザイキング処理は、例えば、不完全なＲＡＷ画像データから完全な画像へと補間するための補間処理などである。デモザイキング処理部２０６は、デモザイキング処理によって現像処理済データ（復号化データ）を生成する。現像処理済データはディスプレイ１０などの表示装置で再生可能なデータであり、例えばビデオ出力部（図示せず。）を介してディスプレイ１０などに送られて、動画像が表示される。

スクリプト解釈部２１０は、符号化情報抽出部の一例であり、デフォーマット部２０２が分離したデータから圧縮スクリプトを抽出しデフォーマット部２０２から圧縮スクリプトを受ける。また、スクリプト解釈部２１０は、圧縮スクリプトを解釈してデータ伸張部２０４に指示を与える。更に、スクリプト解釈部２１０は、圧縮スクリプトについて予め決められたフラグが記述されていると判断した場合、その旨の指示をデータ伸張部２０４に送る。

イメージセンサ情報抽出部２１２は、撮像素子情報抽出部の一例であり、デフォーマット部２０２が分離したデータからイメージセンサ情報を抽出しデフォーマット部２０２からイメージセンサ情報を受ける。また、イメージセンサ情報抽出部２１２は、イメージセンサのＣＦＡ構成などの情報をデモザイキング処理部２０６に送る。更に、イメージセンサ情報抽出部２１２は、イメージセンサ情報について予め決められたフラグが記述されていると判断した場合、その旨の指示をデモザイキング処理部２０６に送る。

記憶部２１４は、例えばフォーマット策定時や製品出荷時等の予め規定されたイメージセンサ情報や圧縮スクリプトを記憶しておく。これにより、データ伸張部２０４やデモザイキング処理部２０６は、ＣＦＡ配列情報及び圧縮スクリプトについて予め決められたフラグが記述されているという判断を受けた場合、記憶部２１４から既存のＣＦＡ配列情報及び圧縮スクリプトを受けることができる。そして、既存のＣＦＡ配列情報及び圧縮スクリプトに基づいて伸張処理やデモザイキング処理を行う。

なお、本実施形態の再生装置２００には図示しないＣＰＵが設けられ、ＣＰＵは、プログラムによって演算処理装置及び制御装置として機能し、再生装置２００内に設けられた各構成要素の処理を制御することができる。なお、再生装置２００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

本実施形態の再生装置２００によれば、撮像装置１００で生成された符号化ＲＡＷ画像データと共に、イメージセンサ情報と圧縮スクリプトを含む動画像データを受け、イメージセンサ情報と圧縮スクリプトを参照して、符号化ＲＡＷ画像データを再生可能なデータとして現像処理できる。

（本実施形態の動画像データのデータ構造）
次に、図３及び図４を参照して、本発明の一実施形態に係る撮像装置１００によって生成され、再生装置２００によって読み込まれる動画像データのデータ構造について説明する。図３及び図４は、本発明の一実施形態に係る撮像装置１００によって生成され、再生装置２００によって読み込まれる動画像データのデータ構造を示す説明図である。

動画像データは、図３に示すように、ヘッダ（Header）データと、ヘッダデータに続く符号化ＲＡＷ画像データとで構成される。符号化ＲＡＷ画像データは少なくとも１フレームの画像データからなる。

ヘッダデータは、ヘッダを示すHeader IDと、Header IDに続く基本情報（Basic Information：B-INFO）と、B-INFOに続く付加情報（Additional Information：A-INFO）からなる。B-INFOは、撮像装置１００や再生装置２００のデータ処理に必要な撮影条件、撮影時刻、データサイズなどの情報である。

A-INFOは、上述したＣＦＡ配列情報及び圧縮スクリプトを含む付加情報である。A-INFOは、A-INFO ID、ＣＦＡ構成PACK ID、拡張フォーマットフラグ１（Extension Format Flag1）、パラメータサイズ１（Parameter Size1）、ＣＦＡ構成記述、圧縮方式PACK ID、拡張フォーマットフラグ２（Extension Format Flag2）、パラメータサイズ２（Parameter Size2）、圧縮方式記述からなり、上述の順に配置される。即ち、PACK IDから内容の記述までの一連のデータ（Pack Data）が、ＣＦＡ配列情報及び圧縮スクリプトそれぞれについて配置される。

A-INFO ID、ＣＦＡ構成PACK ID、圧縮方式PACK IDは、後に続くデータを示す識別である。拡張フォーマットフラグ１、２は、ＣＦＡ構成などのイメージセンサ情報や圧縮スクリプトが拡張方式であるか否かを示すフラグである。ここで、拡張方式とは、フォーマット策定時や製品出荷時等の方式以外の方式である場合をいう。パラメータサイズ１、２は、付加情報のデータサイズであり、それぞれPACK IDから内容の記述までのデータサイズが記録され、次のデータの位置を明示することができる。

ＣＦＡ構成記述、圧縮方式記述には、付加情報の具体的な内容が記述される。即ち、ＣＦＡ構成記述、圧縮方式記述には、拡張方式ではない場合（例えば、フォーマット策定時や製品出荷時等の方式である場合）は、予め決められたフラグが配置される。一方、フォーマット策定時や製品出荷時等の方式以外の方式（拡張方式）である場合は、具体的な内容、例えばＣＦＡ構成についてはＣＦＡ配列情報が配置され、圧縮方式については圧縮スクリプトが配置される。

拡張方式でない場合の予め決められたフラグには、例えば、ＣＦＡ構成の場合、カラーフィルタ（ＣＦ）の色、水平・垂直の繰り返し数、画素数、ライン数などがある。圧縮方式の場合、例えばハフマン符号化方式であればハフマンテーブル、前処理として差分を行なうかという情報、差分を行なうのは前後か上下かなどの情報などである。一方、スクリプトが配置される場合には、再生装置２００がライブラリ関数として読み込むことができる形式にスクリプトが記述されているとよい。このとき、再生装置２００には、当該ライブラリ関数の読み込み結果が入力される。

本実施形態によれば、撮像装置１００は、符号化ＲＡＷ画像データと共に、ＣＦＡ配列情報や圧縮スクリプトを含めて動画像データを生成する。そのため、再生装置２００では、予め決められたフォーマットに限定されず、新たに更新されたフォーマットや他のフォーマットの動画像データについても再生可能に復号化することができる。例えば、フォーマット策定時には想定できなかった符号化方式を撮像装置１００に実装したとしても、再生装置２００側では更新は必要なく、フォーマットの更新も必要ない。また、撮像装置１００にユーザが独自に作成した符号化方式を使用することができ、利便性が向上する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る撮像装置を示すブロック図である。同実施形態に係る再生装置を示すブロック図である。同実施形態に係る撮像装置によって生成され、再生装置によって読み込まれる動画像データのデータ構造を示す説明図である。同実施形態に係る撮像装置によって生成され、再生装置によって読み込まれる動画像データのデータ構造を示す説明図である。

符号の説明

１００撮像装置
１０２イメージセンサ
１０４プレ処理部
１０６データ圧縮部
１０８フォーマット部
１１０イメージセンサ情報生成部
１１２スクリプト生成部
１１４、２１４記憶部
２００再生装置
２０２デフォーマット部
２０４データ伸張部
２０６デモザイキング処理部
２１０スクリプト解釈部
２１２イメージセンサ情報抽出部

Claims

撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成する符号化処理部と、
前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報を生成する符号化情報生成部と、
前記ＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報を生成する撮像素子情報生成部と、
前記符号化ＲＡＷ画像データと、前記符号化情報と、前記撮像素子情報とを含む動画像データを生成するデータ生成部と、
を備えることを特徴とする、動画像データ符号化装置。
前記符号化情報又は前記撮像素子情報と、予め規定された符号化情報又は撮像素子情報とが一致するとき、前記データ生成部は、前記動画像データに予め決められたフラグを立てることを特徴とする、請求項１に記載の動画像データ符号化装置。
撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報と、前記復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報とを含む動画像データを読み出すデータ読出し部と、
前記動画像データから前記符号化情報を抽出する符号化情報抽出部と、
前記符号化情報に基づいて前記符号化ＲＡＷ画像データを前記復号化処理して前記ＲＡＷ画像データを生成する復号化部と、
前記動画像データから前記撮像素子情報を抽出する撮像素子情報抽出部と、
前記撮像素子情報に基づいて前記ＲＡＷ画像データを現像処理して現像処理済画像データを生成する現像処理部と、
を備えることを特徴とする、動画像データ復号化装置。
前記動画像データが、前記符号化情報又は前記撮像素子情報と、予め規定された符号化情報又は撮像素子情報とが一致するときに立てられたフラグを含むとき、前記復号化部は、予め規定された符号化情報に基づいて前記符号化ＲＡＷ画像データを復号化処理し、前記現像処理部は、予め規定された撮像素子情報に基づいて前記ＲＡＷ画像データを現像処理することを特徴とする、請求項３に記載の動画像データ復号化装置。
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成するステップと、
前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報を生成するステップと、
前記ＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報を生成するステップと、
前記符号化ＲＡＷ画像データと、前記符号化情報と、前記撮像素子情報とを含む動画像データを生成するステップと、
を備えることを特徴とする、動画像データ符号化方法。
撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報と、前記復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報とを含む動画像データを読み出すステップと、
前記動画像データから前記符号化情報を抽出するステップと、
前記符号化情報に基づいて前記符号化ＲＡＷ画像データを前記復号化処理して前記ＲＡＷ画像データを生成するステップと、
前記動画像データから前記撮像素子情報を抽出するステップと、
前記撮像素子情報に基づいて前記ＲＡＷ画像データを現像処理して現像処理済画像データを生成するステップと、
を備えることを特徴とする、動画像データ復号化方法。
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを符号化処理して符号化ＲＡＷ画像データを生成する手段、
前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報を生成する手段、
前記ＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報を生成する手段、
前記符号化ＲＡＷ画像データと、前記符号化情報と、前記撮像素子情報とを含む動画像データを生成する手段、
をコンピュータに実行させるためのプログラム。
撮像素子からフレーム単位で順次出力され符号化処理された符号化ＲＡＷ画像データと、前記符号化ＲＡＷ画像データを復号化処理するために必要な前記符号化処理に関する符号化情報と、前記復号化処理して生成されたＲＡＷ画像データを現像処理するために必要な前記撮像素子に関する撮像素子情報とを含む動画像データを読み出す手段、
前記動画像データから前記符号化情報を抽出する手段、
前記符号化情報に基づいて前記符号化ＲＡＷ画像データを前記復号化処理して前記ＲＡＷ画像データを生成する手段、
前記動画像データから前記撮像素子情報を抽出する手段、
前記撮像素子情報に基づいて前記ＲＡＷ画像データを現像処理して現像処理済画像データを生成する手段、
をコンピュータに実行させるためのプログラム。