JP2023098173A - 撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】画像劣化を生じさせることなく、画像データと画像データに対応したメタデータとを出力できるようにする。
【解決手段】撮像装置は、ＲＡＷ画像を生成する第１の生成手段と、前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有する。
【選択図】図１

Description

本発明は、撮像装置、制御方法、及びプログラムに関する。

特許文献１には、ビデオデータの１つ又は複数のクロミナンス部分にメタデータ（透かし情報）を埋め込み、埋め込まれたメタデータを含むビデオデータを配信する方法が記載されている。

特表２０１３－５２０８７４号公報

しかしながら、特許文献１では、ビデオデータの１つ又は複数のクロミナンス部分にメタデータを埋め込むために、画像劣化が生じてしまうという問題点があった。また、埋め込むメタデータの量が多いと画像劣化の度合が大きくなるため、埋め込むメタデータの量に制限があった。
そこで、本発明は、画像劣化を生じさせることなく、画像データと画像データに対応したメタデータとを出力できるようにすることを目的とする。

上記課題を解決するために、撮像装置は、ＲＡＷ画像を生成する第１の生成手段と、前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有する。

本発明によれば、画像劣化を生じさせることなく、画像データと画像データに対応したメタデータとを出力することができる。

実施形態１における撮像装置１００の構成要素を説明するためのブロック図である。 実施形態１における撮像装置１００の処理を説明するためのフローチャートである。 ＲＡＷデータを説明するための図である。 ＲＡＷデータの詳細を説明するための図である。 ＨＤＭＩ出力用のメモリ領域を説明するための図である。 ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納した状態を説明するための図である。 ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納した状態を説明するための図である。 実施形態１における受像機８００の構成要素を説明するためのブロック図である。 実施形態１における受像機８００の処理を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。

［実施形態１］
図１は、実施形態１における撮像装置１００の構成要素を説明するためのブロック図である。
レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、及び補正レンズ群等により構成される光学系である。補正レンズ群は、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えたレンズ群である。レンズユニット１０１によって、後述のイメージセンサー１０２の結像面上に被写体像が結像される。レンズニット１０１は、撮像装置１００とは着脱可能となっている。

イメージセンサー１０２は、例えばＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの撮像素子であり、光を電荷に変換して撮像信号を生成する。イメージセンサー１０２により生成された撮像信号は、例えば画像処理部１０３へ出力される。なお、撮像素子として、撮像面上のすべての画素がそれぞれ一対の受光素子により構成され、各画素においてマイクロレンズにより形成された対の光学像を該一対の受光素子により光電変換できる、いわゆるデュアルピクセルタイプのものを用いてもよい。

画像処理部１０３は、イメージセンサー１０２より出力された撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。また、画像処理部１０３は、変換後のＲＡＷデータに対して補間処理及び画質調整処理等のＲＡＷ現像処理を行って、ＲＡＷデータに対応したＹＣＣ４：２：２形式の画像データを生成する。言い換えれば、本実施形態のＲＡＷデータは、ＹＣＣ４：２：２形式の画像データが変換される前の画像データである。画像処理部１０３によって得られたＲＡＷデータ（ＲＡＷ画像）及びＹＣＣ４：２：２形式の画像データは、ＲＡＭ１１１に格納される。ここで、ＲＡＷデータは第一の画像データの一例であり、ＹＣＣ４：２：２形式の画像データは第二の画像データの一例である。

表示用リサイズ部１０４は、ＲＡＭ１１１に格納された画像データに対してリサイズ処理を行い、リサイズされた画像データを生成する。表示用リサイズ部１０４は、生成したリサイズ後の画像データをＲＡＭ１１１に格納する。

記録用リサイズ部１０５は、ＲＡＭ１１１に格納された画像データに対して、リサイズ処理を行い、記録用画像データを作成する。記録用リサイズ部１０５は、生成した記録用画像データをＲＡＭ１１１に格納する。

オンスクリーンディスプレイ（ＯＳＤ）生成部１０６は、オンスクリーンディスプレイ（ＯＳＤ）に係るＯＳＤデータを生成する。ＯＳＤ生成部１０６は、生成したＯＳＤデータをＲＡＭ１１１に格納する。ＯＳＤデータには、各種設定メニュー、タイトル、及び時間などのＯＳＤデータがある。ＲＡＭ１１１に格納されたＯＳＤデータは、ＲＡＭ１１１に格納された表示用画像データと合成され、表示部１０７に表示されたり、外部出力部１１５より外部に出力されたりする。

表示部１０７は、表示用画像データやＯＳＤを表示させるための表示部材である。表示部１０７は、例えば液晶パネルである。

ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１０８は、撮像装置１００全体を制御する。

操作スイッチ群１０９は、ユーザが操作入力するための操作部材である。また、操作スイッチ群１０９には、カメラ撮影を行うためのカメラモードと、再生させるための再生モードと、電源をオフにするパワーオフモードとのいずれかを選択するためのスイッチも含む。

ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１１０は、例えばフラッシュＲＯＭであり、ＣＰＵ１０８が実行するプログラムなどが格納されている。また、ＲＯＭ１１０の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。

ＲＡＭ（ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）１１１は、ＣＰＵ１０８、画像処理部１０３、及び圧縮伸張部１１４等がワークとして使用する揮発性メモリである。

メモリカードコントローラー１１２は、圧縮伸張部１１４で生成され、ＲＡＭ１１１に出力された動画像データをＦＡＴファイルシステム等のコンピュータと互換のあるフォーマットに従って、メモリカード１１３に記録する。メモリカード１１３は、撮像装置１００と着脱可能な記録媒体であり、撮像装置１００以外にもコンピュータ等に装着することができる。

圧縮伸張部１１４は、ＲＡＭ１１１に格納された画像データをエンコード（例えば、ＭＰＥＧ圧縮）して動画像データを生成し、ＲＡＭ１１１に出力する。

外部出力部１１５は、画像処理部１０３がＲＡＭ１１１に出力した画像データ等を外部に出力する。外部出力部１１５は、例えば、ＨＤＭＩ（登録商標）規格又はＳＤＩ規格等に準拠したインターフェースである。外部出力部１１５は、４Ｋ６０Ｐ、２Ｋ６０Ｐ等の規格の信号で画像データを出力することができる。バス１１６は、撮像装置１００の各部の間でのデータのやり取りを行うバスである。

次に、図２を参照して、実施形態１における撮像装置１００がＨＤＭＩ規格に準拠した映像信号によりＲＡＷデータ及びそれに対応するメタデータを出力する処理について説明する。図２は、実施形態１における撮像装置１００の処理を説明するためのフローチャートである。図２のフローチャートにおける各処理は、撮像装置１００のＣＰＵ１０８がＲＯＭ１１０に保存されているプログラムを実行することにより制御される。

ステップＳ２０１において、ＣＰＵ１０８は、操作スイッチ群１０９を使用したメニュー操作が行われたか否かを判定する。このメニュー操作とは、撮像装置１００の動作を設定する操作であり、例えば、イメージセンサー１０２でキャプチャする映像信号の解像度を設定したり、圧縮伸張部１１４でエンコードするビットレートを設定したりする操作である。また、このメニュー操作により、後述するＨＤＭＩ ＲＡＷモードの設定等も行われる。メニュー操作が行われたと判定した場合（ステップＳ２０１でＹＥＳ）、ＣＰＵ１０８は、メニュー操作により設定された情報をＲＡＭ１１１に格納して、ステップＳ２０２に進む。メニュー操作が行われていないと判定した場合（ステップＳ２０１でＮＯ）、ＣＰＵ１０８は、ステップＳ２０３に進む。

ステップＳ２０２において、ＣＰＵ１０８は、モード設定処理を行い、ステップＳ２０１で設定されたモードに遷移するように、撮像装置１００内の各構成要素を制御する。

ステップＳ２０３において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されている情報を参照し、ＨＤＭＩ接続済みであるか否かを判定する。ＨＤＭＩ接続とは、後述するＨＤＭＩ接続処理が完了した状態であり、この状態の情報はステップＳ２０５での処理によりＲＡＭ１１１に保持される。ＨＤＭＩ接続済みであると判定した場合（ステップＳ２０３でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０６に進む。ＨＤＭＩ接続済みでないと判定した場合（ステップＳ２０３でＮＯ）、ＣＰＵ１０８は、ステップＳ２０４に進む。

ステップＳ２０４において、ＣＰＵ１０８は、外部出力部１１５を制御して、ＨＤＭＩ規格でのホットプラグ検出信号（ＨＰＤ）が検出されているか、及びＨＤＭＩ規格でのＴＭＤＳ信号の信号ラインがプルアップされているかを判定する。ホットプラグ検出信号が検出され、かつＴＭＤＳ信号の信号ラインがプルアップされていると判定した場合（ステップＳ２０４でＹＥＳ）、ＣＰＵ１０８は、ＨＤＭＩ接続ありと判定し、ステップＳ２０５に進む。それ以外の場合（ステップＳ２０４でＮＯ）、ＣＰＵ１０８は、ＨＤＭＩ接続なしと判定し、図２の処理を終了する。

ステップＳ２０５において、ＣＰＵ１０８は、ＨＤＭＩ接続処理を行う。ＨＤＭＩ接続処理では、ＣＰＵ１０８は、外部出力部１１５を制御して、外部出力部１１５にＨＤＭＩ接続されたシンク機器のＥＤＩＤを取得する。ＥＤＩＤとは、外部出力部１１５を介して接続されたシンク機器の情報であり、シンク機器が対応しているビデオフォーマットのデータ及びベンダーの独自データ等により構成されている。ＣＰＵ１０８は、取得したＥＤＩＤをＲＡＭ１１１に格納する。

ステップＳ２０６において、ＣＰＵ１０８は、撮像装置１００がカメラモードであるか否かを判定する。カメラモードとは、レンズユニット１０１で集光しイメージセンサー１０２でキャプチャされた映像データに対して各種信号処理を行い、メモリカード１１３に記録したり、表示部１０７に表示したり、外部出力部１１５に出力したりするモードである。なお、撮像装置１００は、カメラモード以外に、メモリカード１１３に記録されている映像データを表示部１０７に表示したり、外部出力部１１５に出力したりする再生モードも有している。撮像装置１００がカメラモードであると判定した場合（ステップＳ２０６でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０７に進む。撮像装置１００がカメラモードではないと判定した場合（ステップＳ２０６でＮＯ）、ＣＰＵ１０８は、図２の処理を終了する。

ステップＳ２０７において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照し、モード情報に合わせてイメージセンサー１０２等を制御して、被写体像に係るＲＡＷデータ（ＲＡＷ画像）をキャプチャする。キャプチャしたＲＡＷデータは、ＲＡＭ１１１に保持される。

ステップＳ２０８において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照して、撮像装置１００がＨＤＭＩ ＲＡＷモードであるか否かを判定する。ＨＤＭＩ ＲＡＷモードとは、撮像装置１００が、ステップＳ２０７でキャプチャし、ステップＳ２０９でγ処理を施したＲＡＷデータを、外部出力部１１５を介して外部のシンクへ出力するモードである。ＨＤＭＩ ＲＡＷモードであると判定した場合（ステップＳ２０８でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０９に進む。ＨＤＭＩ ＲＡＷモードではないと判定した場合（ステップＳ２０８でＮＯ）、ＣＰＵ１０８は、ステップＳ２１１に進む。

ステップＳ２０９において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０７でキャプチャしたＲＡＷデータに対してγ処理を行う。

ステップＳ２１０において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０８でγ処理を行ったＲＡＷデータをＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出す。

ここで、図３及び図４を用いて、このＲＡＭ１１１に書き出すＲＡＷデータについて説明する。図３（ａ）において、３００は、ステップＳ２１０でＲＡＭ１１１に書き出されたＲＡＷデータの全体を示している。ＲＡＷデータは、有効画素領域（Ｅｆｆｅｃｔｉｖｅ Ｐｉｘｅｌ Ａｒｅａ）３０１のデータと余剰画素領域（Ａｄｄｉｔｉｏｎａｌ Ｐｉｘｅｌ Ａｒｅａ）３０２のデータで構成される。余剰画素領域３０２は、図３（ａ）に示すように、有効画素領域３０１に対して上下左右に数画素付加される領域であり、この領域の画素は有効画素領域３０１の上下左右端を現像する際に使用される。このような構成であるため、ステップＳ２１０で書き出すデータは、図３（ｂ）に示すように有効画素領域と余剰画素領域とを加えたものとなる。例えば、４ＫのＲＡＷデータの際は、有効画素領域の４０９６ｘ２１６０ピクセルに、左右の余剰画素領域の１２ピクセル及び上下の余剰画素領域の８ピクセルを加算した、合計４１２０ｘ２１７６ピクセル分のデータがＲＡＭ１１１に書き出される。

図４は、ステップＳ２１０でＲＡＭ１１１に書き出すＲＡＷデータの詳細を説明するための図である。図４において、４００に示すように、ＲＡＷデータはＲ／Ｇｒ／Ｇｂ／Ｂのベイヤー配列で構成されている。４ＫのＲＡＷデータは、このベイヤー配列が４０１に示すように横方向に２０６０個（画素データとしては４１２０ピクセル）、４０２に示すように縦方向に１０８８個（画素データとしては２１７６ピクセル）配置されたものである。なお、このデータサイズは４１２０（横）ｘ２１７６（縦）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１３４４７６８０バイトである。

図２に戻り、ステップＳ２１１において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０７でキャプチャしたＲＡＷデータに対してＲＡＷデータ補正処理を行う。このＲＡＷデータ補正処理は、現像前レンズ補正処理（周辺光量補正処理、倍率色収差補正等）及びホワイトバランス等の処理を含む。現像前レンズ補正処理に用いるデータは、予めレンズの種別毎にＲＯＭ１１０に保持されており、ＣＰＵ１０８は、この保持されたデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、現像前レンズ補正処理のパラメタを決定する。

ステップＳ２１２において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２１１で補正処理が施された画像データに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ、γ処理、及び色にじみ補正等の処理を含む。なお、色にじみ補正については、ＣＰＵ１０８は、予めＲＯＭ１１０に保持されているデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、補正処理のパラメタを決定する。現像処理を行うことでＲＡＷデータがＹＣＣ４：２：２の形式のデータとなる。現像処理後のＹＣＣ４：２：２の形式の画像データは、ＲＡＭ１１１に格納される。

ステップＳ２１３において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２１２で生成されＲＡＭ１１１に格納されたＹＣＣ４：２：２の形式のデータに対して、歪曲補正等の現像データ補正処理を行う。この歪曲補正についても、ＣＰＵ１０８は、予めＲＯＭ１１０に保持されているデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、歪曲補正のパラメタを決定する。ステップＳ２１３で補正された現像補正後データ（ＹＣＣ４：２：２の形式）は、ＲＡＭ１１１に格納される。

ステップＳ２１４において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照して、撮像装置１００がＨＤＭＩ ＲＡＷモードであるか否かを判定する。ＨＤＭＩ ＲＡＷモードであると判定した場合（ステップＳ２１４でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２１５に進む。ＨＤＭＩ ＲＡＷモードではないと判定した場合（ステップＳ２１４でＮＯ）、ＣＰＵ１０８は、ステップＳ２１６に進む。

ステップＳ２１５において、ＣＰＵ１０８は、ステップＳ２１０でＲＡＭ１１１に書き出したＲＡＷデータの後の領域に、そのＲＡＷデータに対応するメタデータを書き出す。メタデータは、例えば、対応するＲＡＷデータの補正処理に用いるデータを含む。

ここで、図５～図７を参照して、ステップＳ２１０及びステップＳ２１５で生成されるＨＤＭＩ出力用のメモリ領域について説明する。

図５は、４０９６ｘ２１６０ピクセルのＹＣＣ４：２：２形式の１２ｂｉｔの映像データを、ＨＤＭＩ規格に準拠した映像信号により出力する際のＨＤＭＩ出力用のメモリ領域を説明するための図である。図５に示すように、このメモリ領域５０１は、５０２に示すように横方向４０９６ピクセル、５０３に示すように縦方向２１６０ピクセルの画像領域を有する。そして、図５において、５０１で示すように、画像データは、２ピクセル単位（２つのＹデータに対して、Ｃｂ、Ｃｒのデータが１つずつ）で構成されており、各データのサイズは、Ｙ、Ｃｂ、Ｃｒの各データともに１２ｂｉｔである。このＨＤＭＩ出力用のメモリ領域における１ライン（横方向）のデータサイズは、４０９６（横）ｘ２（２ピクセルで４つのデータ（Ｙが２つ、Ｃｂが１つ、Ｃｒが１つ）であるので）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１２２８８バイトである。また、ＨＤＭＩ出力用のメモリ領域全体としては、データサイズは、４０９６（横）ｘ２１６０（縦）ｘ２（２ピクセルで４つのデータ）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝２６５４２０８０バイトである。

図６は、図５で説明したＨＤＭＩ出力用のメモリ領域に対して、ステップＳ２１０でＲＡＷデータを格納し、ステップＳ２１５でそれに対応するメタデータを格納した状態を説明するための図である。なお、ＲＡＷデータのサイズは、図４を参照して説明した４１２０（横）ｘ２１７６（縦）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１３４４７６８０バイトである。

図６において、６０１に示すように、ＨＤＭＩ出力用のメモリ領域におけるＣｂ、Ｙ、Ｃｒ、Ｙの各データ列を配置する画像領域に対して、ベイヤーデータ（１列目がＲ、Ｇｒのデータ、２列目がＧｒ、Ｂのデータ）を隙間なく配置していく。ＲＡＷデータのサイズが１３４４７６８０バイトであり、ＨＤＭＩ出力用のメモリ領域における１ラインのデータサイズが１２２８８バイトである。したがって、図６において、６０２に示すように、ＨＤＭＩ出力用のメモリ領域における１０９５ライン（１３４４７６８０÷１２２８８＝１０９４．３７５）で、４１２０ｘ２１７６ピクセルでビット深度１２ビットのＲＡＷデータを格納することができる。そして、ＲＡＷデータの後の領域（ＨＤＭＩ出力用のメモリ領域における１０９６ライン～２１６０ライン）は空き領域となるので、６０３に示すように、この画像領域に１０９５ライン目までに配置されたＲＡＷデータに対応するメタデータを配置する。例えば、メタデータは、対応するＲＡＷ画像の補正処理に用いられるデータであり、ＲＡＷデータのγデータ（ステップＳ２０９でのγ）を含む。また、例えば、メタデータは、撮像装置１００での現像処理及び補正処理に用いたパラメタ（ステップＳ２１１でのＲＡＷデータ補正処理のパラメタ、ステップＳ２１２での現像処理のパラメタ、ステップＳ２１３での現像データ補正処理のパラメタ）を含む。

図６では、ＨＤＭＩ出力用のメモリ領域にステップＳ２１０で書き出すＲＡＷデータが収まる場合を説明した。それに対して、ステップＳ２１０で書き出すＲＡＷデータがＨＤＭＩ出力用のメモリ領域に収まらない場合について図７を参照して説明する。

図７において、７０１は８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータである。内部は、図４を参照して説明した通り、Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列で構成されている。このＲＡＷデータのデータサイズは、８２２４（横）ｘ４３３６（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝４４５７４０８０バイトとなる。したがって、このＲＡＷデータは、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域（２６５４２０８０バイト）には収まらない。そのため、ＲＡＷデータを上下に２分割して、２フレームのＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納していく。例えば、図７において、７０２に示すように２１７６ラインまでのＲＡＷデータを第１フレームに、７０３に示すように残りのラインのＲＡＷデータを第２フレームに配置する。

図７において、７０４はＲＡＷデータを配置したＨＤＭＩ出力用のメモリ領域（１フレーム目）である。８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータの上半分（２１７６ライン分）のデータサイズは、８２２４（横）ｘ２１７６（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝２２３６９２８０バイトとなる。したがって、その上半分のＲＡＷデータは、７０５で示すように、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域（画像領域）における１８２１ライン（２２３６９２８０÷１２２８８＝１８２０．４１）で格納することができる。そのため、７０６で示すように、ＨＤＭＩ出力用のメモリ領域（１フレーム目）における１８２２ライン以降に、図６で説明したメタデータが書き込まれる。

７０７は、ＲＡＷデータを配置したＨＤＭＩ出力用のメモリ領域（２フレーム目）である。８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータの下半分（２１６０ライン分）のデータサイズは、８２２４（横）ｘ２１６０（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝２２２０４８００バイトとなる。したがって、その下半分のＲＡＷデータは、７０８で示すように、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域における１８０８ライン（２２２０４８００÷１２２８８＝１８０７．０３１）で格納することができる。そのため、７０９で示すように、ＨＤＭＩ出力用のメモリ領域（２フレーム目）における１８０９ライン以降に、図６で説明したメタデータが書き込まれる。このように、ＲＡＷデータがＨＤＭＩ出力用のメモリ領域に収まらない際は、ＲＡＷデータの上下分割を行い、ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを配置する。

図２に戻り、ステップＳ２１６において、ＣＰＵ１０８は、表示用リサイズ部１０５を制御して、ステップＳ２１３で生成された現像補正後データをリサイズし、ＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出す。ここで、ＲＡＭ１１１に書き出されるデータは、図５を参照して説明したＹＣＣ４：２：２形式のデータである。

ステップＳ２１７において、ＣＰＵ１０８は、表示用リサイズ部１０４を制御して、ステップＳ２１３で生成された現像補正後データをリサイズして、ＲＡＭ１１１内の表示出力用のメモリ領域に書き出す。ここで、ＲＡＭ１１１に書き出されるデータは、図５を参照して説明したＹＣＣ４：２：２形式のデータである。

ステップＳ２１８において、ＣＰＵ１０８は、ステップＳ２１７でＲＡＭ１１１内の表示出力用のメモリ領域に書き出した表示出力用のデータを表示部１０７に出力する。なお、表示部１０７は、ＹＣＣ４：２：２形式の画像信号の表示に対応しているため、ステップＳ２０７でキャプチャした画像が表示される。

ステップＳ２１９において、ＣＰＵ１０８は、外部出力部１１５を制御して、ＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出したＨＤＭＩ出力用のデータを、ＨＤＭＩ規格に準拠した映像信号により外部デバイス等に出力する。ここで、撮像装置１００がＨＤＭＩ ＲＡＷモードであるならば、ＨＤＭＩ出力用のメモリ領域には、ステップＳ２１０でＲＡＷデータが書き出され、ステップＳ２１５でそのＲＡＷデータに対応するメタデータが書き出されている。したがって、撮像装置１００がＨＤＭＩ ＲＡＷモードであるならば、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域に対して、ＲＡＷデータとメタデータがマッピング（あるいは格納）された信号が出力される。ここで、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットはＨＤＭＩ規格に規定されたビデオフォーマットである。なお、ビデオフォーマットは伝送フォーマットまたは出力フォーマットと言い換えてもよい。また、撮像装置１００がＨＤＭＩ ＲＡＷモード以外であるならば、ＨＤＭＩ出力用のメモリ領域には、ステップＳ２１６でリサイズされた現像補正後データが書き出されている。したがって、撮像装置１００がＨＤＭＩ ＲＡＷモード以外であるならば、ＹＣＣ４：２：２形式の映像信号が出力される。

その後、ステップＳ２０４でＨＤＭＩ接続なしと判定する、もしくはステップＳ２０６でカメラモードでないと判定するまで、ＣＰＵ１０８は、ステップＳ２０１以降の処理を繰り返し実行する。

次に、撮像装置１００から出力されたＨＤＭＩ規格に準拠した映像信号を受信して表示を行う受像機について説明する。図８は、実施形態１における受像機８００の構成要素を説明するためのブロック図である。

受信部８０１は、ＨＤＭＩ規格に準拠した信号を受信する。受信部８０１によって受信した映像信号が受像機８００の入力となる。受信部８０１で受信した画像データは、ＲＡＭ８０８に格納される。

画像処理部８０２は、受信部８０１で受信した画像データに対して各種画像処理を行う。画像処理部８０２は、画像処理後の画像データをＲＡＭ８０８に格納する。

表示用リサイズ部８０３は、表示部８０４や外部出力部８０９に映像信号を出力するために、ＲＡＭ８０８に格納された画像データをリサイズして表示用画像データを生成する。表示用リサイズ部８０３は、生成した表示用画像データをＲＡＭ８０８に格納する。

表示部８０４は、ＲＡＭ１１１に格納された表示用画像データを表示させるための表示部材である。表示部８０４は、例えば液晶パネルである。

ＣＰＵ８０５は、受像機８００全体を制御する。

操作スイッチ群８０６は、ユーザが操作入力するための操作部材である。

ＲＯＭ８０７は、例えばフラッシュＲＯＭであり、ＣＰＵ８０５が実行するプログラムなどが格納されている。また、ＲＯＭ８０７の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。

ＲＡＭ８０８は、ＣＰＵ８０５及び画像処理部８０２等がワークとして使用する揮発性メモリである。

外部出力部８０９は、画像処理部８０３がＲＡＭ８０８に出力した表示用画像データ等を外部に出力する。外部出力部８０９は、例えば、ＨＤＭＩ規格又はＳＤＩ規格等に準拠したインターフェースである。外部出力部８０９は、４Ｋ６０Ｐ、２Ｋ６０Ｐ等の規格の信号で表示用画像データを出力することができる。バス８１０は、受像機８００の各部の間でデータのやり取りを行うバスである。

次に、図９を参照して、実施形態１における受像機８００がＨＤＭＩ規格に準拠した映像信号により画像データを受信し、画像データの現像及び表示処理を行う処理について説明する。図９は、実施形態１における受像機８００の処理を説明するためのフローチャートである。図９のフローチャートにおける各処理は、受像機８００のＣＰＵ８０５がＲＯＭ８０７に保存されているプログラムを実行することにより制御される。

ステップＳ９０１において、ＣＰＵ８０５は、受信部８０１を制御して、ＨＤＭＩ規格に準拠した信号を受信する。ここで、受信した信号は、ＲＡＭ８０８に格納される。なお、ステップＳ９０１で受信する画像データは、ＹＣＣの画像データである場合と、前述したＲＡＷデータ（ＲＡＷ画像）である場合とがあるが、これ以降はＲＡＷデータを受信した場合について説明する。

ステップＳ９０２において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されたＲＡＷデータに対して逆γ処理を行う。なお、ＲＡＷデータに対してかけられたγの情報は、前述したＲＡＷデータに対応するメタデータの情報であってもよい。また、映像信号に関する付加情報を示すＶＳＩＦ（Ｖｅｎｄｅｒ－Ｓｐｅｃｉｆｉｃ ＩｎｆｏＦｒａｍｅ）等でソース機器から通知された情報であってもよい。

ステップＳ９０３において、ＣＰＵ８０５は、ＲＡＭ８０８に保持されたＲＡＷデータに、対応するメタデータが付加されているか否かを判定する。対応するメタデータが付加されていると判定した場合（ステップＳ９０３でＹＥＳ）、ＣＰＵ８０５は、ステップＳ９０４に進む。対応するメタデータが付加されていないと判定した場合（ステップＳ９０３でＮＯ）、ＣＰＵ８０５は、ステップＳ９０９に進む。

ステップＳ９０４において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されているＲＡＷデータに対して、現像前レンズ補正処理（周辺光量補正処理、倍率色収差補正等）を行う。この補正処理に用いるデータは、ＲＡＷデータに付加されているメタデータに格納されている。

ステップＳ９０５において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０４で補正処理が施されたＲＡＷデータに対してホワイトバランス処理を行う。

ステップＳ９０６において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０５で補正されたデータに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ等である。この現像処理を行うことで、ＲＡＷデータはＹＣＣ４：２：２形式のデータに変換される。

ステップＳ９０７において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０６で現像処理が施されたデータに対して、現像後レンズ補正処理を行う。この現像後レンズ補正処理は、色にじみ補正や歪曲補正等の処理を含む。この補正処理に用いるデータは、ＲＡＷデータに付加されているメタデータに格納されている。

ステップＳ９０８において、ＣＰＵ８０５は、画像処理部８０２を制御して、γ補正やＬＵＴ等の表示用画像処理を行う。ＣＰＵ８０５は、表示用画像処理後のデータを現像データとしてＲＡＭ８０８に格納する。

ステップＳ９０９において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されているＲＡＷデータに対してホワイトバランス処理を行う。

ステップＳ９１０において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０９で補正されたデータに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ等である。この現像処理を行うことで、ＲＡＷデータはＹＣＣ４：２：２形式のデータに変換される。

ステップＳ９１１において、ＣＰＵ８０５は、画像処理部８０２を制御して、γ補正やＬＵＴ等の表示用画像処理を行う。ＣＰＵ８０５は、表示用画像処理後のデータを現像データとしてＲＡＭ８０８に格納する。なお、ここで格納される現像データは、ステップＳ９０４で説明した処理及びステップＳ９０７で説明した処理が行われていないため、歪曲補正等の補正処理が行われていないデータである。

ステップＳ９１２において、ＣＰＵ８０５は、表示用リサイズ部８０３を制御して、ＲＡＭ８０８に格納された現像データをリサイズして、ＲＡＭ８０８にＨＤＭＩ出力用のデータとして書き出す。

ステップＳ９１３において、ＣＰＵ８０５は、表示用リサイズ部８０３を制御して、ＲＡＭ８０８に格納された現像データをリサイズして、ＲＡＭ１１１内の表示出力用のメモリ領域に書き出す。

ステップＳ９１４において、ＣＰＵ８０５は、ステップＳ９１３で生成しＲＡＭ１１１内の表示出力用のメモリ領域に書き出した表示出力用のデータを表示部８０４に出力し、処理を終了する。なお、ここで出力されるデータは、上述の通り、ステップＳ９０１で受信したＲＡＷデータにメタデータが付加されていれば、そのメタデータを用いて歪曲補正等のレンズ補正処理が施された画像のデータである。一方、ステップＳ９０１で受信したＲＡＷデータにメタデータが付加されていなければ、レンズ補正処理が施されていない画像のデータである。

以上説明したように実施形態１によれば、撮像装置１００は、ＲＡＷデータ（ＲＡＷ画像）とともに、そのＲＡＷデータに対応するメタデータを、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域にマッピングする。そして、撮像装置１００は、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域にマッピングされた画像データとメタデータとを、ＨＤＭＩ規格に準拠した映像信号により出力する。このようにして、画像データと画像データに対応したメタデータとを、画像劣化を生じさせることなく、また大量に外部に出力することができる。

［実施形態２］
実施形態１で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはマイクロプロセッサがプログラムを実行することによって実現することもできる。以下、実施形態２では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはマイクロプロセッサを「コンピュータＸ」と呼ぶ。また、実施形態２では、コンピュータＸを制御するためのプログラムであって、実施形態１で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。

実施形態１で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも一つを含む。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

１００ 撮像装置

Claims (10)

1. ＲＡＷ画像を生成する第１の生成手段と、
   前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、
   前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、
   前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有することを特徴とする撮像装置。
2. 前記配置手段は、前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域にて、前記ＲＡＷ画像が配置されていない空き領域に前記メタデータを配置することを特徴とする請求項１に記載の撮像装置。
3. 前記配置手段は、前記ＲＡＷ画像が配置された後の領域に前記メタデータを配置することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記出力手段は、前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータをＨＤＭＩ規格に準拠した映像信号により出力することを特徴とする請求項１～３の何れか１項に記載の撮像装置。
5. 前記メタデータは、前記ＲＡＷ画像の補正処理に用いるデータを含むことを特徴とする請求項１～４の何れか１項に記載の撮像装置。
6. 前記配置手段は、前記第１の生成手段により生成された前記ＲＡＷ画像のデータサイズが前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域のサイズより大きい場合、前記ＲＡＷ画像のデータを複数に分割して、分割した前記ＲＡＷ画像とともに前記メタデータを、複数の前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置することを特徴とする請求項１～５の何れか１項に記載の撮像装置。
7. 前記配置手段は、前記第１の生成手段により生成された前記ＲＡＷ画像のデータサイズが前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域のサイズより大きい場合、前記ＲＡＷ画像のデータを画像における上下に２分割することを特徴とする請求項６に記載の撮像装置。
8. 前記出力手段は、第１のモードでは前記ＲＡＷ画像及び前記メタデータを出力し、第２のモードでは前記ＲＡＷ画像を現像処理した現像データを出力することを特徴とする請求項１～７の何れか１項に記載の撮像装置。
9. ＲＡＷ画像を生成するステップと、
   前記ＲＡＷ画像に対応するメタデータを生成するステップと、
   生成された前記ＲＡＷ画像とともに、生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置するステップと、
   前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力するステップとを有することを特徴とする制御方法。
10. 撮像装置のコンピュータに、
    ＲＡＷ画像を生成するステップと、
    前記ＲＡＷ画像に対応するメタデータを生成するステップと、
    生成された前記ＲＡＷ画像とともに、生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置するステップと、
    前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力するステップとを実行させるためのプログラム。

Images