WO2019142836A1

WO2019142836A1 - 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

Info

Publication number: WO2019142836A1
Application number: PCT/JP2019/001150
Authority: WO
Inventors: 安藤　一郎; 昌也 ▲高▼橋
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2018-01-16
Filing date: 2019-01-16
Publication date: 2019-07-25
Anticipated expiration: 2020-07-16
Also published as: CN111886872B; JP7226337B2; US11895447B2; CN117579834A; EP3742736A1; US20240089419A1; JP2023052939A; EP3742736A4; CN117579835A; US20210014464A1; US11146772B2; CN111886872A; JP2025000917A; JPWO2019142836A1; US20220006993A1; US20250088615A1

Abstract

符号化装置は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、を有する。復号装置は、ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得部と、前記取得部によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号部と、前記復号部によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正部と、を有する。

Description

符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

参照による取り込み

　本出願は、平成３０年（２０１８年）１月１６日に出願された日本出願である特願２０１８－５２１２の優先権を主張し、その内容を参照することにより、本出願に取り込む。

　本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラムに関する。

　ＲＡＷ画像データに階調補正を施す技術が開示されている。しかしながら、撮像素子からの出力の光学的黒がゼロでないとき、暗部符号化歪抑制のため、上述したような√γ等による階調補正を施して符号化すると、光学的黒がゼロの場合に比べて、階調補正による暗部符号化歪抑制の度合が低減する。

特開２００６－２７０４７８号公報

　本願において開示される発明の一側面となる符号化装置は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、を有する。

　本願において開示される発明の一側面となる復号装置は、ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得部と、前記取得部によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号部と、前記復号部によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正部と、を有する。

　本願において開示される発明の一側面となる符号化方法は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正処理と、前記補正処理によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化処理と、を実行する。

　本願において開示される発明の一側面となる復号方法は、ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得処理と、前記取得処理によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号処理と、前記復号処理によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正処理と、を実行する。

図１は、情報処理装置のハードウェア構成例を示すブロック図である。図２は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。図３は、符号化階調補正ＲＡＷ画像データのデータ構造例を示す説明図である。図４は、符号化部の構成例を示すブロック図である。図５は、符号化装置による符号化処理手順例を示すフローチャートである。図６は、復号装置の機能的構成例を示すブロック図である。図７は、復号部の構成例を示すブロック図である。図８は、復号装置による復号処理手順例を示すフローチャートである。図９は、光学的黒値を用いない場合の階調補正の入出力特性を示すグラフである。図１０は、光学的黒値を用いない場合の階調補正のゲイン特性を示すグラフである。図１１は、光学的黒値を用いない場合の階調逆補正の入出力特性を示すグラフである。図１２は、光学的黒値を用いた場合の階調補正の入出力特性１を示すグラフである。図１３は、光学的黒値を用いた場合の階調補正の入出力特性１におけるゲイン特性を示すグラフである。図１４は、光学的黒値を用いる場合の階調逆補正の入出力特性１を示すグラフである。図１５は、光学的黒値を用いた場合の階調補正の入出力特性２を示すグラフである。図１６は、光学的黒値を用いた場合の階調補正の入出力特性２におけるゲイン特性を示すグラフである。図１７は、光学的黒値を用いる場合の階調逆補正の入出力特性２を示すグラフである。図１８は、光学的黒値を用いた場合の階調補正の入出力特性３を示すグラフである。図１９は、光学的黒値を用いた場合の階調補正の入出力特性３におけるゲイン特性を示すグラフである。図２０は、光学的黒値を用いる場合の階調逆補正の入出力特性３を示すグラフである。図２１は、光学的黒値を用いた場合の階調補正の入出力特性４を示すグラフである。図２２は、光学的黒値を用いた場合の階調補正の入出力特性４におけるゲイン特性を示すグラフである。図２３は、光学的黒値を用いる場合の階調逆補正の入出力特性４を示すグラフである。図２４は、光学的黒値を用いた場合の階調補正の入出力特性５を示すグラフである。図２５は、光学的黒値を用いた場合の階調補正の入出力特性５におけるゲイン特性を示すグラフである。図２６は、光学的黒値を用いる場合の階調逆補正の入出力特性５を示すグラフである。図２７は、光学的黒値を用いた場合の階調補正の入出力特性６を示すグラフである。図２８は、光学的黒値を用いた場合の階調補正の入出力特性６におけるゲイン特性を示すグラフである。図２９は、光学的黒値を用いる場合の階調逆補正の入出力特性６を示すグラフである。図３０は、光学的黒値を用いた場合の階調補正の入出力特性７を示すグラフである。図３１は、光学的黒値を用いた場合の階調補正の入出力特性７におけるゲイン特性を示すグラフである。図３２は、光学的黒値を用いる場合の階調逆補正の入出力特性７を示すグラフである。図３３は、光学的黒値を用いた場合の階調補正の入出力特性８を示すグラフである。図３４は、光学的黒値を用いた場合の階調補正の入出力特性８におけるゲイン特性を示すグラフである。図３５は、光学的黒値を用いる場合の階調逆補正の入出力特性８を示すグラフである。図３６は、光学的黒値を用いた場合の階調補正の入出力特性９を示すグラフである。図３７は、光学的黒値を用いた場合の階調補正の入出力特性９におけるゲイン特性を示すグラフである。図３８は、光学的黒値を用いる場合の階調逆補正の入出力特性９を示すグラフである。

　＜情報処理装置のハードウェア構成例＞
　図１は、情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置１００は、符号化装置および復号装置のいずれか一方、または両方を含む装置である。情報処理装置１００は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置であってもよく、パーソナルコンピュータやタブレット、スマートフォン、ゲーム機でもよい。

　情報処理装置１００は、プロセッサ１０１と、記憶デバイス１０２と、操作デバイス１０３と、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）１０４と、撮像ユニット１０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６と、を有する。これらは、バス１０８により接続されている。プロセッサ１０１は、情報処理装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。

　記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。操作デバイス１０３は、データを操作する。操作デバイス１０３としては、たとえば、ボタン、スイッチ、タッチパネルがある。

　ＬＳＩ１０４は、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。

　撮像ユニット１０５は、被写体を撮像してＲＡＷ画像データを生成する。撮像ユニット１０５は、撮像光学系１５１と、カラーフィルタ１５２を有する撮像素子１５３と、信号処理回路１５４と、を有する。

　撮像光学系１５１は、たとえば、ズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１５１を１枚のレンズで図示する。

　撮像素子１５３は、撮像光学系１５１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。撮像素子１５３は、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ）であってもよく、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ）であってもよい。

　撮像素子１５３の受光面には、光電変換部を有する画素群１６０がマトリクス状に配列されている。そして、撮像素子１５３の各画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタ１５２が所定の色配列に従って配置される。そのため、撮像素子１５３の各画素は、カラーフィルタ１５２での色分解によって各色成分に対応する電気信号を出力する。

　実施例１では、たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタ１５２が２行２列のベイヤ配列にしたがって受光面に周期的に配置されている。一例として、撮像素子１５３の色配列の奇数行にはＧ，Ｂの画素が交互に並ぶとともに、色配列の偶数行にはＲ，Ｇの画素が交互に並んでいる。そして、色配列の全体では緑色画素が市松模様をなすように配置されている。これにより、撮像素子１５３は、撮影時にカラーのＲＡＷ画像データを取得することができる。

　なお、撮像素子１５３において２次元アレイ状に配列された画素群１６０は、有効画素領域１６１と、光学的黒画素領域１６２と、により構成される。有効画素領域１６１は、実際に光を受光し光電変換によって生成された信号電荷を増幅して信号処理回路１５４に出力する画素領域である。

　光学的黒画素領域１６２は、黒レベルの基準になる光学的黒を出力するための画素領域である。光学的黒画素領域１６２は、たとえば、有効画素領域１６１の外周に設けられる。光学的黒画素領域１６２は、たとえば、撮像素子１５３で発生した熱ノイズなどを減算補正するために設けられる。

　信号処理回路１５４は、撮像素子１５３から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次実行する。信号処理回路１５４から出力されるＲＡＷ画像データは、ＬＳＩ１０４または記憶デバイス１０２に入力される。通信ＩＦ１０６は、ネットワークを介して外部装置と接続し、データを送受信する。

　＜符号化装置の機能的構成例＞
　図２は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。符号化装置２００は、階調補正部２０１と、符号化部２０２と、記録部２０３と、設定部２０４と、を有する。階調補正部２０１、符号化部２０２、記録部２０３、および設定部２０４は、具体的には、たとえば、記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０４により実現される機能である。

　階調補正部２０１は、ＲＡＷ画像データを階調補正する。ＲＡＷ画像データは、カラーフィルタ１５２を介して得られた被写体からの光を光電変換する撮像素子１５３からの光の強度に線形な画素値の画像データである。換言すれば、ＲＡＷ画像データは、ガンマ補正、デモザイク処理、ホワイトバランス調整、および色変換処理のような画像処理が施されていない画像データである。ＲＡＷ画像データのデータ量は、上述した画像処理や符号化処理（圧縮処理ともいう）が実行されたデータに比べて大きい。なお、ＲＡＷ画像データは、静止画でもよく、動画像の１フレームでもよい。

　階調補正部２０１は、光学的黒画素領域１６２を有する撮像素子１５３からのＲＡＷ画像データを、ガンマ係数の値（ガンマ値）と光学的黒の値とに基づいて階調補正する。たとえば、階調補正部２０１は、当該ＲＡＷ画像データについて光学的黒値を基準に√γ等による階調補正を実行する。階調補正部２０１は、階調補正に際し、ノイズリダクション処理（ＮＲ処理）を実行してもよい。なお、階調補正部２０１による階調補正の詳細は後述する。

　符号化部２０２は、階調補正部２０１によって階調補正されたＲＡＷ画像データ（以下、階調補正ＲＡＷ画像データ）を符号化し、符号化された階調補正ＲＡＷ画像データ（以下、符号化階調補正ＲＡＷ画像データ）を出力する。符号化部２０２は、階調補正ＲＡＷ画像データが静止画である場合、フレーム内符号化により、階調補正ＲＡＷ画像データをＩピクチャに符号化する。

　また、符号化部２０２は、階調補正ＲＡＷ画像データが動画像の１フレームである場合、フレーム内予測符号化により、階調補正ＲＡＷ画像データをＩピクチャに、または、他の階調補正ＲＡＷ画像データを参照してフレーム間予測符号化により階調補正ＲＡＷ画像データをＰピクチャまたはＢピクチャに符号化する。

　撮像素子１５３からの出力である光学的黒の値がゼロでない場合、暗部符号化歪抑制のために単に√γ等による階調補正を施すと、光学的黒値がゼロの場合に比べて、階調補正による暗部符号化歪の抑制度合が小さくなる。符号化部２０２は、光学的黒値を基準に√γ等による階調補正を実行し、符号化階調補正ＲＡＷ画像データのヘッダ情報に、復号再生時に用いるγ値に加えて光学的黒値を付与する。これにより、階調補正による暗部符号化歪の抑制度合の低下を解消する。

　記録部２０３は、符号化階調補正ＲＡＷ画像データを記憶デバイス１０２に記録する。設定部２０４は、ガンマ係数の値や算定仮ゲイン、露出値を設定し、階調補正部２０１に出力する。設定部２０４の詳細は、実施例３、実施例４で後述する。

　＜符号化階調補正ＲＡＷ画像データのデータ構造例＞
　図３は、符号化階調補正ＲＡＷ画像データのデータ構造例を示す説明図である。符号化階調補正ＲＡＷ画像データ３００は、ヘッダ情報３０１と符号化データ列３０２とを有する。ヘッダ情報３０１は、符号化部２０２により付与される情報である。ヘッダ情報３０１は、画像形式情報３１１と制御情報３１２とを含む。符号化データ列３０２は、階調補正ＲＡＷ画像データを符号化したデータ列である。

　ヘッダ情報３０１の各要素について具体的に説明する。画像形式情報３１１は、符号化前の階調補正ＲＡＷ画像データのサイズ、符号化階調補正ＲＡＷ画像データのサイズ、色配列のパターンを特定する識別情報、符号化前の階調補正ＲＡＷ画像データの画素数を含む。

　制御情報３１２は、符号化階調補正ＲＡＷ画像データの種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれか）、参照フレームの識別情報のほか、階調補正を施したときのガンマ値３２１、黒レベルの基準となる光学的黒値３２２、算定仮ゲイン３２３、第１ポーチ幅３２４、第２ポーチ幅３２５、階調補正識別子３２６を含む。

　算定仮ゲイン３２３については、実施例３および実施例４で後述する。第１ポーチ幅３２４および第２ポーチ幅３２５については、実施例４で後述する。階調補正識別子３２６は、階調補正を実行するアルゴリズムを特定する識別子である。階調補正識別子３２６により、復号装置は、符号化階調補正ＲＡＷ画像データ３００が、どのアルゴリズムにより階調補正されたかを特定することができる。

　＜符号化部２０２の構成例＞
　図４は、符号化部２０２の構成例を示すブロック図である。符号化部２０２は、第１蓄積部４０１と、減算部４０２と、直交変換部４０３と、量子化部４０４と、可変長符号化部４０５と、逆量子化部４０６と、逆直交変換部４０７と、加算部４０８と、第２蓄積部４０９と、動き検出部４１０と、動き補償部４１１と、を有する。

　第１蓄積部４０１は、階調補正部２０１から出力される階調補正ＲＡＷ画像データを蓄積する。第１蓄積部４０１に蓄積された階調補正ＲＡＷ画像データは、符号化対象の画像データとして入力順に減算部４０２へ出力される。なお、符号化の完了した階調補正ＲＡＷ画像データは第１蓄積部４０１から順次消去される。

　減算部４０２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像（階調補正ＲＡＷ画像データ）の成分フレームと、動き補償部４１１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部４０２は、Ｉピクチャを生成するときには、入力された原画像の成分フレームをそのまま出力する。

　直交変換部４０３は、Ｉピクチャを生成するときには、減算部４０２をスルーして入力された原画像に対して直交変換を行う。また、直交変換部４０３は、ＰピクチャまたはＢピクチャを生成するときには、上述した差分信号に対して直交変換をおこなう。

　量子化部４０４は、直交変換部４０３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部４０４の出力は、可変長符号化部４０５および逆量子化部４０６にそれぞれ入力される。

　可変長符号化部４０５は、量子化係数や、動き検出部４１０からの動きベクトルを可変長符号化し、符号化階調補正ＲＡＷ画像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を出力する。

　逆量子化部４０６は、符号化の単位であるブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部４０７は、逆量子化部４０６で復号された周波数係数を逆直交変換して予測誤差値（または原画像）を復号する。

　加算部４０８は、復号された予測誤差値と、動き補償部４１１で生成された後述の予測値とを加算する。そして、加算部４０８から出力されたピクチャの復号値（参照フレーム）は第２蓄積部４０９に蓄積される。なお、以後の動き補償予測で参照されない参照フレームは第２蓄積部４０９から順次消去される。

　動き検出部４１０は、第２蓄積部４０９の参照フレームを用いて、符号化対象の階調補正ＲＡＷ画像データを予測するための動きベクトルを検出する。動きベクトルは、動き補償部４１１および可変長符号化部４０５に出力される。

　動き補償部４１１は、動きベクトルおよび参照フレームに基づいて、符号化対象の階調補正ＲＡＷ画像データをブロック単位で予測した予測値を出力する。この予測値は、減算部４０２および加算部４０８に出力される。

　なお、或るブロックについて動き補償予測を行う場合、符号化対象の階調補正ＲＡＷ画像データが予測値と完全に一致すると動きベクトルのみが符号化される。また、符号化対象の階調補正ＲＡＷ画像データが予測値と部分的に一致する場合、動きベクトルと差分画像が符号化される。また、符号化対象の階調補正ＲＡＷ画像データが予測値からすべて外れる場合には、ブロック全体分の画像がすべて符号化される。

　＜符号化処理手順例＞
　図５は、符号化装置２００による符号化処理手順例を示すフローチャートである。符号化装置２００は、光学的黒画素領域１６２を有する撮像素子１５３から出力されたＲＡＷ画像データの入力を受け付け（ステップＳ５０１）、階調補正部２０１により、階調補正アルゴリズムを用いて、当該ＲＡＷ画像データを階調補正する（ステップＳ５０２）。

　つぎに、符号化装置２００は、符号化部２０２により、階調補正ＲＡＷ画像データを符号化する（ステップＳ５０３）。そして、符号化装置２００は、記録部２０３により、符号化階調補正ＲＡＷ画像データ３００を記憶デバイス１０２に格納する（ステップＳ５０４）。

　＜復号装置の機能的構成例＞
　図６は、復号装置の機能的構成例を示すブロック図である。復号装置６００は、取得部６０１と、復号部６０２と、階調逆補正部６０３と、を有する。取得部６０１、復号部６０２、および階調逆補正部６０３は、具体的には、たとえば、記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０４により実現される機能である。

　取得部６０１は、符号化装置２００によって符号化された符号化階調補正ＲＡＷ画像データ３００を取得する。復号装置６００が符号化装置２００と通信可能である場合、取得部６０１は、符号化装置２００から送信されてくる符号化階調補正ＲＡＷ画像データ３００を受信する。復号装置６００が符号化装置２００と同一装置内に実装されている場合、取得部６０１は、記憶デバイス１０２に格納された符号化階調補正ＲＡＷ画像データ３００を読み出す。

　復号部６０２は、制御情報３１２を用いて符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する。具体的には、たとえば、復号部は、符号化階調補正ＲＡＷ画像データ３００の種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に応じて、参照フレームを特定し、符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する。

　階調逆補正部６０３は、復号部６０２によって復号された階調補正ＲＡＷ画像データを階調逆補正し、階調補正前のＲＡＷ画像データに復元する。具体的には、たとえば、階調逆補正部６０３は、制御情報３１２の階調補正識別子３２６を参照して、ＲＡＷ画像データに施された階調補正アルゴリズムを特定し、特定した階調補正アルゴリズムに対応する階調逆補正アルゴリズムを実行する。階調逆補正部６０３は、階調逆補正に際し、ノイズリダクション処理（ＮＲ処理）を実行してもよい。

　＜復号部６０２の構成例＞
　図７は、復号部６０２の構成例を示すブロック図である。復号部６０２は、可変長符号復号部７０１と、逆量子化部７０２と、逆直交変換部７０３と、加算部７０４と、第３蓄積部７０５、動き補償部７０６を有している。

　可変長符号復号部７０１は、入力される符号化階調補正ＲＡＷ画像データ３００を復号し、量子化係数や、動きベクトルを出力する。なお、復号された量子化係数は逆量子化部７０２に入力され、復号された動きベクトルは動き補償部７０６に入力される。

　逆量子化部７０２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部７０３は、逆量子化部７０２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

　加算部７０４は、復号された予測誤差値と動き補償部７０６で生成された予測値とを加算することで、復号された画像データをブロック単位で出力する。そして、加算部７０４から出力された画像データは階調補正ＲＡＷ画像データとして出力されるとともに、第３蓄積部７０５に入力される。

　第３蓄積部７０５は、画像の復号値を参照フレームとして蓄積する。なお、以後の動き補償予測で参照されない画像データは第３蓄積部７０５から順次消去される。動き補償部７０６は、動きベクトルおよび参照フレームに基づいて、復号対象の画像をブロック単位で予測した予測値を加算部７０４に出力する。

　＜復号処理手順例＞
　図８は、復号装置６００による復号処理手順例を示すフローチャートである。復号装置６００は、取得部６０１により、符号化階調補正ＲＡＷ画像データ３００を取得し（ステップＳ８０１）、復号部６０２により、符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する（ステップＳ２１０２）。そして、復号装置６００は、階調逆補正部６０３により、復号された階調補正ＲＡＷ画像データを階調逆補正して、ＲＡＷ画像データを復元する（ステップＳ８０３）。

　＜階調補正および階調逆補正の具体例＞
　つぎに、実施例１にかかる階調補正部２０１による階調補正および階調逆補正部６０３による階調逆補正の具体例について、図９～図１７を用いて説明する。本実施例１との比較のため、光学的黒値を用いない階調補正および階調逆補正を図９～図１１のグラフに示し、実施例１の階調補正１および階調逆補正１を図１２～図１４に示し、実施例１の階調補正２および階調逆補正２を図１５～図１７に示す。

　　（光学的黒値を用いない場合の階調補正の特性）
　図９は、光学的黒値を用いない場合の階調補正の入出力特性を示すグラフである。横軸は、撮像素子１５３からのＲＡＷ画像データの信号レベル（入力信号レベルＥ）であり、縦軸は、階調補正ＲＡＷ画像データの信号レベル（出力信号レベルＥ´）である。以降、図１２、図１５、図１８、図２１、図２４でも同様である。ただし、図９の入力信号レベルＥは、光学的黒画素領域１６２を有しない撮像素子１５３からのＲＡＷ画像データの信号レベルである。

　また、信号レベルとは、たとえば、有効画素領域１６１内の画素の輝度を示す電圧値であり、０．０～１．０の範囲で正規化される。信号レベルが小さい画素は暗い画素、信号レベルが大きい画素は明るい画素を示す。また、ＯＢ（オプティカルブラック）は、光学的黒値である。

　図９の入出力特性グラフ９００を示す階調補正アルゴリズムは、下記式（１）で表現される。

　Ｅ´＝ＯＥＴＦ［Ｅ］＝Ｅ^１／γ・・・・・（１）

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、γはガンマ値である。

　入出力特性グラフ９００において、入力信号レベルが０．０から光学的黒値ＯＢまでの区間ＳＣ９について階調補正が実行される。ＲＡＷ画像データを符号化する場合、暗部および明部を均等に符号化するため、現像段階でガンマ補正を施すと、暗部が強調され、符号化による圧縮率が高いほど符号化歪みが目立つ。

　図１０は、光学的黒値を用いない場合の階調補正のゲイン特性を示すグラフである。ゲインとは、入力信号レベルＥの強調度である。光学的黒値を用いない場合の階調補正のゲイン特性グラフ１０００は、式（１）の微分により、下記式（２）で表現される。

　Ｇ＝｛ＯＥＴＦ［Ｅ］｝’＝（１／γ)×Ｅ^{｛（１／γ）－１｝}・・・・・（２）

　Ｇは、入力信号レベルＥのゲインである。ゲイン特性グラフ１０００において、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９のゲインＧの値が光学的黒値ＯＢのゲインＧの値よりも大きい。すなわち、現像処理後は無効となる入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９の画素のゲインが大きい。したがって、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインが小さくなり符号化歪抑制効果が小さくなる。

　図１１は、光学的黒値を用いない場合の階調逆補正の入出力特性を示すグラフである。横軸は、階調補正ＲＡＷ画像データの信号レベル（入力信号レベルＥ´）であり、縦軸は、階調補正ＲＡＷ画像データから階調逆補正されたＲＡＷ画像データの信号レベル（出力信号レベルＥ）である。

　以降、図１４、図１７、図２０、図２３、図２６でも同様である。ただし、図１１の出力信号レベルＥは、階調逆補正により復元された、光学的黒画素領域１６２を有しない撮像素子１５３からのＲＡＷ画像データの信号レベルである。また、信号レベルとは、図９と同様、たとえば、有効画素領域１６１内の画素の輝度を示す電圧値であり、０．０～１．０の範囲で正規化される。信号レベルが小さい画素は暗い画素、信号レベルが大きい画素は明るい画素を示す。

　図１０の入出力特性グラフ１１００を示す階調逆補正アルゴリズムは、下記式（３）で表現される。

　Ｅ＝ＥＯＴＦ［Ｅ´］＝Ｅ^γ・・・・・（３）

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数、γはガンマ値である。

　　（光学的黒値を用いた場合の階調補正の特性例１）
　つぎに、図１２～図１４を用いて、光学的黒値を用いた場合の階調補正の特性例１について説明する。

　図１２は、光学的黒値を用いた場合の階調補正の入出力特性１を示すグラフである。入出力特性グラフ１２００では、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて階調補正を実行しない。換言すれば、図１２の入出力特性グラフ１２００では、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９で出力信号レベルＥ´が０．０であり、入力信号レベルＥが光学的黒値ＯＢから立ち上がり、入力信号レベルＥが１．０で出力信号レベルＥ´が最大値をとる。

　図１２の入出力特性グラフ１２００を示す階調補正アルゴリズムは、下記式（４）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。階調補正部２０１は、式（４）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　図１３は、光学的黒値を用いた場合の階調補正の入出力特性１におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１３００は、式（４）の微分により、下記式（５）で表現される。

　Ｇは、入力信号レベルＥのゲインである。ゲイン特性グラフ１３００において、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間のゲインＧの値が０．０であるため、暗部である０．０から光学的黒値ＯＢまでの区間ＳＣ９の入力信号レベルＥが強調されない。また、光学的黒値ＯＢでゲインＧの値が最大値をとるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

　現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現することがある。このとき、符号化部２０２と復号部６０２との間で生じる暗部の歪が目立ち易くなる。階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

　図１４は、光学的黒値を用いる場合の階調逆補正の入出力特性１を示すグラフである。図１４の入出力特性グラフ１４００を示す階調逆補正アルゴリズムは、下記式（６）で表現される。

　Ｅ＝ＥＯＴＦ［Ｅ´］＝（Ｅ´）^γ＋ＯＢ・・・・・（６）

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。階調逆補正部６０３は、制御情報３１２に式（４）を示す階調補正識別子３２６を検出した場合、式（６）の階調逆補正を実行する。

　入出力特性グラフ１４００において、復元されたＲＡＷ画像データでは、出力信号レベルＥの最小値が光学的黒値ＯＢであるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

　　（光学的黒値を用いた場合の階調補正の特性例２）
　つぎに、図１５～図１７を用いて、光学的黒値を用いた場合の階調補正の特性例２について説明する。光学的黒値ＯＢを用いた場合の階調補正の特性例１では、図１２の入出力特性グラフ１２００において、出力信号レベルＥ´の明部である区間ＳＣ１２で復元されない状態となる。光学的黒値ＯＢを用いた場合の階調補正の特性例２では、光学的黒値ＯＢを用いた場合の階調補正の特性例１のように、本来の黒の再現性が高くして黒浮きを抑制しつつ、明部の再現性の向上を図る。

　図１５は、光学的黒値を用いた場合の階調補正の入出力特性２を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正の入出力特性例２では、光学的黒値ＯＢを用いた場合の階調補正の入出力特性例１と同様、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて階調補正を実行しない。

　換言すれば、図１５の入出力特性グラフ１５００では、入力信号レベルＥが０．０から光学的黒値までの区間ＳＣ９で出力信号レベルＥ´が０．０であり、入力信号レベルＥが光学的黒値ＯＢから立ち上がり、入力信号レベルＥが１．０で出力信号レベルＥ´が上限である１．０をとる。

　図１５の入出力特性グラフ１５００を示す階調補正アルゴリズムは、下記式（７）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。階調補正部２０１は、式（７）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　このように、出力信号レベルＥ´の最大値を１．０としたことにより、入出力特性グラフ１２００に比べて、明部での色再現性の向上を図ることができる。

　図１６は、光学的黒値を用いた場合の階調補正の入出力特性２におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１６００は、式（７）の微分により、下記式（８）で表現される。

　Ｇは、入力信号レベルＥのゲインである。入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９のゲインＧの値が０．０であるため、暗部である０．０から光学的黒値ＯＢまでの区間ＳＣ９の入力信号レベルＥが強調されない。また、光学的黒値ＯＢでゲインＧの値が最大値（無限大）をとるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

　また、光学的黒値を用いた場合の階調補正の入出力特性例１と同様、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

　図１７は、光学的黒値を用いる場合の階調逆補正の入出力特性２を示すグラフである。図１７の入出力特性グラフ１７００を示す階調逆補正アルゴリズムは、下記式（９）で表現される。

　Ｅ＝ＥＯＴＦ［Ｅ´］＝（１－ＯＢ）×（Ｅ´）^γ＋ＯＢ・・・・・（９）

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。階調逆補正部６０３は、制御情報３１２に式（７）を示す階調補正識別子３２６を検出した場合、式（９）の階調逆補正を実行する。

　光学的黒値ＯＢを用いた場合の階調補正の入出力特性例１と同様、復元されたＲＡＷ画像データでは、出力信号レベルＥの最小値が光学的黒値ＯＢであるため、出力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ１１の画素の色は再現されず、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

　また、図１４の入出力特性グラフ１４００のような入力信号レベルＥ´が存在しない区間ＳＣ１４が、図１７の入出力特性グラフ１７００には存在しない。すなわち、光学的黒値ＯＢを用いた場合の階調補正の入出力特性例２では、明部の画素の色再現性の向上を図ることができる。

　実施例２は、光学的黒値ＯＢ以下の入力信号レベルＥを再現しつつ、実施例１の光学的黒値を用いた場合の階調補正の入出力特性例２のように光学的黒値ＯＢのゲインＧを最大化する例である。実施例２では、実施例１との相違点を中心に説明し、実施例１と同一構成および同一処理内容については、実施例２でも流用し、かつ、その説明を省略する。

　図１８は、光学的黒値を用いた場合の階調補正の入出力特性３を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例３では、光学的黒値を用いた場合の階調補正の入出力特性例１，２と異なり、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて負の階調補正、すなわち、負の１／γ補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正の１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ１８００のうち、区間ＳＣ９の波形１８０１は、負の１／γ補正により得られる波形であり、光学的黒値ＯＢ以上の区間の波形１８０２は、正の１／γ補正により得られる波形である。

　図１８の入出力特性グラフ１８００を示す階調補正アルゴリズムは、下記式（１０）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。

　式（１０）のうち、条件がＥ＜ＯＢである場合の式が負の１／γ補正の式であり、条件がＯＢ≦Ｅである場合の式が正の１／γ補正の式である。階調補正部２０１は、式（１０）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　区間ＳＣ９において負の１／γ補正を実行することで、階調補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。すなわち、入出力特性グラフ１８００の光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されるため、実施例１よりも効率的にノイズを除去することができる。したがって、階調補正されたＲＡＷ画像データの光学的黒値ＯＢ付近の黒浮きを抑制し、色再現性の向上を図ることができる。

　図１９は、光学的黒値を用いた場合の階調補正の入出力特性３におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１９００は、式（１０）の微分により、下記式（１１）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ１９００では、ゲインＧは、区間ＳＣ９において、入力信号レベルＥが０．０で最小値をとり、０．０から増加して光学的黒値ＯＢで最大値（無限大）となる。

　区間ＳＣ１９を、光学的黒値ＯＢから光学的黒値ＯＢの２倍となる入力信号レベルＥの値２ＯＢまでの区間とする。ゲインＧは、区間ＳＣ１９において、入力信号レベルＥが光学的黒値ＯＢで最大値（無限大）をとり、光学的黒値ＯＢから減少して２ＯＢで最小値となる。すなわち、区間ＳＣ９のゲイン特性を示す波形１９０１と区間ＳＣ１９のゲイン特性を示す波形１９０２は、光学的黒値ＯＢに対して線対称である。

　これにより、暗部となる区間ＳＣ９および区間ＳＣ１９において、光学的黒値ＯＢがゲインＧの最大値となる。また、区間ＳＣ９および区間ＳＣ１９において、入力信号レベルＥが光学的黒値ＯＢから離間するほどゲインＧが減衰する。したがって、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができるとともに、当該暗部で発生するノイズを低減することができる。

　また、波形１９０１，１９０２が光学的黒値ＯＢに対し線対称であることから、光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されてノイズが低減されるため、黒浮きを抑制することができる。

　また、実施例１と同様、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

　図２０は、光学的黒値を用いる場合の階調逆補正の入出力特性３を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値β以上について正の階調逆補正、すなわち、正のγ補正を実行し、βよりも低い入力信号レベルについて負の階調逆補正、すなわち、負のγ補正を実行する。

　区間ＳＣ２０１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ２０２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ２０００のうち、区間ＳＣ２０１の波形２００１は、負のγ補正により得られる波形であり、区間ＳＣ２０２の波形２００２は、正のγ補正により得られる波形である。

　図２０の入出力特性グラフ２０００を示す階調逆補正アルゴリズムは、下記式（１２）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（１２）のうち、条件がＥ´＜βである場合の式が負のγ補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（１０）を示す階調補正識別子３２６を検出した場合、式（１２）の階調逆補正を実行する。

　区間ＳＣ２０１において負のγ補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。

　実施例３は、実施例２において、明部のゲインを上昇させる例である。実施例３では、実施例２との相違点を中心に説明し、実施例２と同一構成および同一処理内容については、実施例３でも流用し、かつ、その説明を省略する。

　図２１は、光学的黒値を用いた場合の階調補正の入出力特性４を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例４では、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて負の階調補正、すなわち、負のオフセット１／γ補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正のオフセット１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ２１００のうち、区間ＳＣ９の波形２１０１は、負のオフセット１／γ補正により得られる波形であり、光学的黒値ＯＢ以上の区間の波形２１０２は、正のオフセット１／γ補正により得られる波形である。

　図２１の入出力特性グラフ２１００を示す階調補正アルゴリズムは、下記式（１３）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値、ｇは算定仮ゲインである。式（１３）のうち、条件がＥ＜ＯＢである場合の式が負のオフセット１／γ補正の式であり、条件がＯＢ≦Ｅである場合の式が正のオフセット１／γ補正の式である。階調補正部２０１は、式（１３）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　図２２は、光学的黒値を用いた場合の階調補正の入出力特性４におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ２２００は、式（１３）の微分により、下記式（１４）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ２２００では、ゲインＧは、区間ＳＣ９において、入力信号レベルＥが０．０で最小値をとり、０．０から増加して光学的黒値ＯＢで最大値である算定仮ゲインｇとなる。算定仮ゲインは、設定部２０４によって設定される値である。

　ゲインＧは、区間ＳＣ１９において、入力信号レベルＥが光学的黒値ＯＢで最大値である算定仮ゲインｇをとり、光学的黒値ＯＢから減少して２ＯＢで最小値となる。すなわち、区間ＳＣ９のゲイン特性を示す波形２２０１と区間ＳＣ１９のゲイン特性を示す波形２２０２は、光学的黒値ＯＢに対して線対称である。

　また、光学的黒値ＯＢでのゲインＧの値を実施例２の無限大から算定仮ゲインｇへオフセットしたことにより、ゲイン特性グラフ２２００は、ゲイン特性グラフ１９００に比べて、明部の入力信号レベルが高くなる。したがって、階調補正により光学的黒値ＯＢ付近の画素を強調し、かつ、明部側の画素を強調することができる。

　図２３は、光学的黒値を用いる場合の階調逆補正の入出力特性４を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値ＯＵＴ［１］以上について正の階調逆補正、すなわち、正のオフセットγ補正を実行し、ＯＵＴ［１］よりも低い入力信号レベルについて負の階調逆補正、すなわち、負のオフセットγ補正を実行する。

　区間ＳＣ２３１を、入力信号レベルＥ´が０．０から式（１３）に示したＯＵＴ［１］までの区間とし、区間ＳＣ２３２を、入力信号レベルＥ´がＯＵＴ［１］から１．０までの区間とする。具体的には、たとえば、入出力特性グラフ２３００のうち、区間ＳＣ２３１の波形２３０１は、負のオフセットγ補正により得られる波形であり、区間ＳＣ２３２の波形２３０２は、正のオフセットγ補正により得られる波形である。

　図２３の入出力特性グラフ２３００を示す階調逆補正アルゴリズムは、下記式（１５）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（１５）のうち、条件がＥ´＜ＯＵＴ［１］である場合の式が負のオフセットγ補正の式であり、条件がＯＵＴ［１］≦Ｅ´である場合の式が正のオフセットγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（１３）を示す階調補正識別子３２６を検出した場合、式（１５）の階調逆補正を実行する。

　区間ＳＣ２３１において負のオフセットγ補正を実行することで、階調逆補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。また、明部のゲインも高くなるため、階調補正により明部側の画素を強調することができる。

　また、設定部２０４は、算定仮ゲインｇに替えて、算定ゲインＧ_ＯＢを階調逆補正部６０３に設定してもよい（下記式（１６））。算定ゲインＧ_ＯＢを階調逆補正部６０３に設定することにより、階調逆補正で元のＲＡＷ画像データにおける暗部である光学的黒や明部の再現性の向上を図ることができる。

　Ｇ_ＯＢ＝Ｃ×ｇ・・・・・（１６）

　実施例４は、実施例３の算定仮ゲインｇに光学的黒値を含む一定幅の入力信号レベルＥを設けた例である。実施例４では、実施例３との相違点を中心に説明し、実施例３と同一構成および同一処理内容については、実施例４でも流用し、かつ、その説明を省略する。

　図２４は、光学的黒値を用いた場合の階調補正の入出力特性５を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例５では、設定部２０４により、光学的黒値ＯＢを含む一定のポーチ幅Ｄが設定される。ポーチ幅Ｄの入力信号レベルＥでは同一ゲインＧとなる。

　ポーチ幅Ｄのうち入力信号レベルＥの値がＰ１（０．０＜Ｐ１＜ＯＢ）から光学的黒値ＯＢまでの範囲を第１ポーチ幅Ｄ１、ポーチ幅Ｄのうち入力信号レベルＥの値が光学的黒値ＯＢからＰ２（ＯＢ≦Ｐ２）までの範囲を第２ポーチ幅Ｄ２とする。ポーチ幅Ｄは、入力信号レベルＥのゲインＧが一定となる範囲である。

　階調補正部２０１が、入力信号レベルＥの値が０．０からＰ１までの区間ＳＣ２４について、負の階調補正、すなわち、負のオフセット１／γ補正を実行し、入力信号レベルＥの値がポーチ幅Ｄの区間について、ゲインＧが一定となる階調補正を実行し、入力信号レベルＥの値がＰ２以上の区間について、正の階調補正、すなわち、正のオフセット１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ２４００のうち、区間ＳＣ２４の波形２４０１は、負のオフセット１／γ補正により得られる波形であり、ポーチ幅Ｄの区間の波形２４０２は、ゲインＧが一定となる階調補正により得られる波形であり、入力信号レベルＥの値がＰ２以上の区間の波形２４０３は、正のオフセット１／γ補正により得られる波形である。

　図２４の入出力特性グラフ２４００を示す階調補正アルゴリズムは、下記式（１７）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値、ｇは算定仮ゲインである。また、ＩＮ［１］は、第１ポーチ幅Ｄ１、ＩＮ［２］は第２ポーチ幅Ｄ２である。

　式（１７）のうち、条件がＥ＜ＯＢである場合の式が負のオフセット１／γ補正の式であり、条件がＩＮ［１］≦Ｅ＜ＩＮ［２］、すなわち、ポーチ幅Ｄである場合の式がゲインＧが一定となる階調補正であり、条件がＩＮ［２］≦Ｅである場合の式が正のオフセット１／γ補正の式である。階調補正部２０１は、式（１７）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力して、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　図２５は、光学的黒値を用いた場合の階調補正の入出力特性５におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ２５００は、式（１７）の微分により、下記式（１８）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ２５００では、ゲインＧは、区間ＳＣ２４において、入力信号レベルＥが０．０で最小値をとり、０．０から増加してポーチ幅Ｄの右端であるＰ１で最大値である算定仮ゲインｇとなる。算定仮ゲインｇは、設定部２０４によって設定される値である。

　ゲインＧは、ポーチ幅Ｄにおいて算定仮ゲインｇで一定となる。そして、ゲインＧは、ポーチ幅Ｄの左端であるＰ２以上において、光学的黒値ＯＢから減少する。第１ポーチ幅Ｄ１を設定したことにより、光学的黒値ＯＢ付近のノイズを保存することができる。また、第２ポーチ幅Ｄ２を設定したことにより、圧縮率が高いほど黒の表現力を高めることができる。

　また、第２ポーチ幅Ｄ２は、設定部２０４によって設定される露出量により可変となる。具体的には、光学的黒値ＯＢは固定であり、Ｐ２の位置が変更される。たとえば、設定部２０４において露出量を露出アンダーに設定することにより、Ｐ２は入力信号レベルＥが大きくなる方向に変更され、第２ポーチ幅Ｐ２が広くなる。

　一方、設定部２０４において露出量を露出オーバーに設定することにより、Ｐ２は入力信号レベルＥが小さくなる方向に変更され、第２ポーチ幅Ｐ２が狭くなる。このように、露出量に応じて、第２ポーチ幅Ｄ２を伸縮することができ、露出量に応じて光学的黒値付近の画素を強調することができる。

　図２６は、光学的黒値を用いる場合の階調逆補正の入出力特性５を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値ＯＵＴ［２］以上について正の階調逆補正、すなわち、正のオフセットγ補正を実行し、ＯＵＴ［１］以上ＯＵＴ［２］未満についてゲインＧが一定となる階調逆補正、ＯＵＴ［１］よりも低い入力信号レベルについて負の階調逆補正、すなわち、負のオフセットγ補正を実行する。

　区間ＳＣ２６１を、入力信号レベルＥ´が０．０から式（１６）に示したＯＵＴ［１］までの区間とし、区間ＳＣ２６２を、入力信号レベルＥ´がＯＵＴ［１］からＯＵＴ［２］までの区間とし、区間ＳＣ２６３を、入力信号レベルＥ´がＯＵＴ［２］から１．０までの区間とする。

　具体的には、たとえば、入出力特性グラフ２６００のうち、区間ＳＣ２６１の波形２３０１は、負のオフセットγ補正により得られる波形であり、区間ＳＣ２６２の波形２６０２は、ゲインＧが一定となる階調逆補正により得られる波形であり、区間ＳＣ２６３の波形２６０３は、正のオフセットγ補正により得られる波形である。

　図２６の入出力特性グラフ２６００を示す階調逆補正アルゴリズムは、下記式（１９）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（１９）のうち、条件がＥ´＜ＯＵＴ［１］である場合の式が負のオフセットγ補正の式であり、条件がＩｎ［１］≦Ｅ＜Ｉｎ［２］である場合の式がゲインＧが一定となる階調逆補正の式であり、条件がＯＵＴ［２］≦Ｅ´である場合の式が正のオフセットγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（１７）を示す階調補正識別子３２６を検出した場合、式（１９）の階調逆補正を実行する。

　区間ＳＣ２６１において負のオフセットγ補正を実行することで、階調逆補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。また、明部のゲインも高くなるため、階調補正により明部側の画素を強調することができる。

　実施例５は、入出力特性グラフにおいて入力信号レベルＥが０からＯＢまでの区間の正の傾きを一定にした場合の例を示す。実施例５では、実施例３との相違点を中心に説明し、実施例３と同一構成および同一処理内容については、実施例５でも流用し、かつ、その説明を省略する。

　図２７は、光学的黒値を用いた場合の階調補正の入出力特性６を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例６では、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて正の傾きが一定となるような階調補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正のオフセット１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ２７００のうち、区間ＳＣ９の波形２７０１は、入力信号レベルＥの増加に伴って出力信号レベルＥ´が増加する線形な波形である。すなわち、区間ＳＣ９では、入力信号レベルＥおよび出力信号レベルＥ´の間には正比例の関係がある。光学的黒値ＯＢ以上の区間ＳＣ２７（ＯＢ≦Ｅ）の波形２７０２は、正のオフセット１／γ補正により得られる波形である。階調補正部２０１は、入力信号レベルＥが１．０のときに出力信号レベルＥ´が１．０となるように階調補正でフィッティングする。

　図２７の入出力特性グラフ２７００を示す階調補正アルゴリズムは、下記式（２０）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。Ｓは、区間ＳＣ９の波形２７０１の傾きを示す固定値である。傾きＳは、図２７では、たとえば、Ｓ＝４である。傾きＳは正の値であればよい。αは、設定部２０４で調整可能なフィッティング係数である。具体的には、たとえば、設定部２０４は、情報処理装置１００でのＩＳＯ感度の増減に応じてフィッティング係数αを調整することが可能である。

　式（２０）のうち、条件がＥ＜ＯＢである場合の式が入力信号レベルＥについて正の傾きが一定となるような階調補正の式であり、条件がＯＢ≦Ｅである場合の式が正のオフセット１／γ補正の式である。階調補正部２０１は、式（２０）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　図２８は、光学的黒値を用いた場合の階調補正の入出力特性６におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ２８００は、式（２０）の微分により、下記式（２１）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ２８００では、ゲインＧは、区間ＳＣ９において、一定の値をとる。

　図２９は、光学的黒値を用いる場合の階調逆補正の入出力特性６を示すグラフである。階調逆補正部６０３は、光学的黒値ＯＢよりも低い入力信号レベルＥ´について正の傾きが一定となるような階調逆補正を実行し、βよりも低い入力信号レベルＥ´について負の階調逆補正、すなわち、負のγ補正を実行する。

　区間ＳＣ２９１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ２９２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ２９００のうち、区間ＳＣ２９１の波形２９０１は、正の傾きが一定となるような階調逆補正により得られる波形であり、区間ＳＣ２９２の波形２９０２は、正のγ補正により得られる波形である。

　図２９の入出力特性グラフ２９００を示す階調逆補正アルゴリズムは、下記式（２２）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（２２）のうち、条件がＥ´＜βである場合の式が光学的黒値ＯＢよりも低い入力信号レベルＥについて正の傾きが一定となるような階調逆補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（２０）を示す階調補正識別子３２６を検出した場合、式（２２）の階調逆補正を実行する。

　区間ＳＣ２０１において正の傾きが一定となるような階調逆補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。

　実施例６は、実施例５において、フィッティング係数を２個用いる例を示す。具体的には、たとえば、実施例５では、入出力特性グラフ２７００において入力信号レベルＥがＯＢ以上（ＯＢ≦Ｅ）となる区間で、フィッティング係数であるαを調整可能とした。実施例６では、入力信号レベルＥがＯＢ未満（Ｅ＜ＯＢ）となる区間ＳＣ９およびＯＢ以上（ＯＢ≦Ｅ）となる区間の各々で、異なるフィッティング係数を用いる。実施例６では、実施例５との相違点を中心に説明し、実施例５と同一構成および同一処理内容については、実施例６でも流用し、かつ、その説明を省略する。

　図３０は、光学的黒値を用いた場合の階調補正の入出力特性７を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例７では、入出力特性例６と同様、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて正の傾きが一定となるような階調補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正のオフセット１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ３０００のうち、区間ＳＣ９の波形３００１は、入力信号レベルＥの増加に伴って出力信号レベルＥ´が増加する線形な波形であり、光学的黒値ＯＢ以上の区間の波形３００２は、正のオフセット１／γ補正により得られる波形である。階調補正部２０１は、入力信号レベルＥが１．０のときに出力信号レベルＥ´が１．０となるように階調補正でフィッティングする。

　図３０の入出力特性グラフ３０００を示す階調補正アルゴリズムは、下記式（２３）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。α１は、調整可能なフィッティング係数であり、区間ＳＣ９の波形３００１の正の傾きを示す。α１は、図３０では、たとえば、α１＝２である。α１は正の値であればよい。α２は、α１とは異なるフィッティング係数であり、α１に依存する。

　設定部２０４は、情報処理装置１００でのＩＳＯ感度の増減に応じてフィッティング係数αを調整することが可能である。これにより、区間ＳＣ９においてフィッティング係数α１で入出力特性グラフ３０００の調整が可能となり、かつ、ＯＢ≦Ｅの区間ＳＣ２７においてフィッティング係数α１とは異なる値のフィッティング係数α２で入出力特性グラフ３０００の調整が可能となる。

　式（２３）のうち、条件がＥ＜ＯＢである場合の式が入力信号レベルＥについて正の傾きが一定となるような階調補正の式であり、条件がＯＢ≦Ｅである場合の式が正のオフセット１／γ補正の式である。階調補正部２０１は、式（２３）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　図３１は、光学的黒値を用いた場合の階調補正の入出力特性７におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ３１００は、式（２３）の微分により、下記式（２４）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ３１００では、ゲインＧは、区間ＳＣ９において、一定の値をとる。

　図３２は、光学的黒値を用いる場合の階調逆補正の入出力特性７を示すグラフである。階調逆補正部６０３は、光学的黒値ＯＢよりも低い入力信号レベルＥについて正の傾きが一定となるような階調逆補正を実行し、βよりも低い入力信号レベルについて負の階調逆補正、すなわち、負のγ補正を実行する。

　区間ＳＣ３２１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ２９２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ３２００のうち、区間ＳＣ３２１の波形３２０１は、負のγ補正により得られる波形であり、区間ＳＣ３２２の波形３２０２は、正のγ補正により得られる波形である。

　図３２の入出力特性グラフ３２００を示す階調逆補正アルゴリズムは、下記式（２５）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（２５）のうち、条件がＥ´＜βである場合の式が光学的黒値ＯＢよりも低い入力信号レベルＥについて正の傾きが一定となるような階調逆補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（２３）を示す階調補正識別子３２６を検出した場合、式（２５）の階調逆補正を実行する。

　区間ＳＣ３２１において正の傾きが一定となるような階調逆補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。

　実施例７は、実施例２の他の例であり、光学的黒値ＯＢ以下の入力信号レベルＥを再現しつつ、実施例１の光学的黒値を用いた場合の階調補正の入出力特性例２のように光学的黒値ＯＢのゲインＧを最大化する例である。実施例７では、実施例２との相違点を中心に説明し、実施例２と同一構成および同一処理内容については、実施例７でも流用し、かつ、その説明を省略する。

　図３３は、光学的黒値を用いた場合の階調補正の入出力特性８を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例８では、光学的黒値を用いた場合の階調補正の入出力特性例１，２と異なり、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて負の階調補正、すなわち、負の１／γ補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正の１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ３３００のうち、区間ＳＣ９の波形３３０１は、負の１／γ補正により得られる波形であり、光学的黒値ＯＢ以上の区間の波形３３０２は、正の１／γ補正により得られる波形である。

　図３３の入出力特性グラフ３３００を示す階調補正アルゴリズムは、下記式（２６）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値、αは、設定部２０４で調整可能なフィッティング係数である。具体的には、たとえば、設定部２０４は、情報処理装置１００でのＩＳＯ感度の増減に応じてフィッティング係数αを調整することが可能である。

　式（２６）のうち、条件がＥ＜ＯＢである場合の式が負の１／γ補正の式であり、条件がＯＢ≦Ｅである場合の式が正の１／γ補正の式である。階調補正部２０１は、式（２６）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　区間ＳＣ９において負の１／γ補正を実行することで、階調補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。すなわち、入出力特性グラフ３３００の光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されるため、実施例１よりも効率的にノイズを除去することができる。したがって、階調補正されたＲＡＷ画像データの光学的黒値ＯＢ付近の黒浮きを抑制し、色再現性の向上を図ることができる。

　図３４は、光学的黒値を用いた場合の階調補正の入出力特性８におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ３４００は、式（２６）の微分により、下記式（２７）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ３４００では、ゲインＧは、区間ＳＣ９において、入力信号レベルＥが０．０で最小値をとり、０．０から増加して光学的黒値ＯＢで最大値（無限大）となる。

　また、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

　図３５は、光学的黒値を用いる場合の階調逆補正の入出力特性８を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値β以上について正の階調逆補正、すなわち、正のγ補正を実行し、βよりも低い入力信号レベルについて負の階調逆補正、すなわち、負のγ補正を実行する。

　区間ＳＣ３５１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ３５２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ３５００のうち、区間ＳＣ３５１の波形３５０１は、負のγ補正により得られる波形であり、区間ＳＣ３５２の波形３５０２は、正のγ補正により得られる波形である。

　図３５の入出力特性グラフ３５００を示す階調逆補正アルゴリズムは、下記式（２８）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（２８）のうち、条件がＥ´＜βである場合の式が負のγ補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（２６）を示す階調補正識別子３２６を検出した場合、式（２８）の階調逆補正を実行する。

　区間ＳＣ３５１において負のγ補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。

　実施例８は、実施例７において、フィッティング係数を２個用いる例を示す。具体的には、たとえば、実施例７では、入出力特性グラフ３３００において入力信号レベルＥがＯＢ以上（ＯＢ≦Ｅ）となる区間ＳＣ２７で、フィッティング係数であるαを調整可能とした。実施例８では、入力信号レベルＥがＯＢ未満（Ｅ＜ＯＢ）となる区間ＳＣ９およびＯＢ以上（ＯＢ≦Ｅ）となる区間ＳＣ２７の各々で、異なるフィッティング係数を用いる。実施例８では、実施例７との相違点を中心に説明し、実施例７と同一構成および同一処理内容については、実施例８でも流用し、かつ、その説明を省略する。

　図３６は、光学的黒値を用いた場合の階調補正の入出力特性９を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例９では、入出力特性例８と同様、光学的黒値を用いた場合の階調補正の入出力特性例１，２と異なり、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて負の階調補正、すなわち、負の１／γ補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正の１／γ補正を実行する。

　具体的には、たとえば、入出力特性グラフ３６００のうち、区間ＳＣ９の波形３６０１は、負の１／γ補正により得られる波形であり、光学的黒値ＯＢ以上の区間ＳＣ２７の波形３６０２は、正の１／γ補正により得られる波形である。

　図３６の入出力特性グラフ３６００を示す階調補正アルゴリズムは、下記式（２９）で表現される。

　ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値、α１およびα２は調整可能なフィッティング係数である。α２は、α１とは異なるフィッティング係数であり、α１に依存する。

　設定部２０４は、情報処理装置１００でのＩＳＯ感度の増減に応じてフィッティング係数αを調整することが可能である。これにより、区間ＳＣ９においてフィッティング係数α１で入出力特性グラフ３６００の調整が可能となり、かつ、ＯＢ≦Ｅの区間ＳＣ２７においてフィッティング係数α１とは異なる値のフィッティング係数α２で入出力特性グラフ３６００の調整が可能となる。

　式（２９）のうち、条件がＥ＜ＯＢである場合の式が負の１／γ補正の式であり、条件がＯＢ≦Ｅである場合の式が正の１／γ補正の式である。階調補正部２０１は、式（２９）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

　区間ＳＣ９において負の１／γ補正を実行することで、階調補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。すなわち、入出力特性グラフ３６００の光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されるため、実施例１よりも効率的にノイズを除去することができる。したがって、階調補正されたＲＡＷ画像データの光学的黒値ＯＢ付近の黒浮きを抑制し、色再現性の向上を図ることができる。

　図３７は、光学的黒値を用いた場合の階調補正の入出力特性９におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ３７００は、式（２９）の微分により、下記式（３０）で表現される。

　Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ３７００では、ゲインＧは、区間ＳＣ９において、入力信号レベルＥが０．０で最小値をとり、０．０から増加して光学的黒値ＯＢで最大値（無限大）となる。

　図３８は、光学的黒値を用いる場合の階調逆補正の入出力特性９を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値β以上について正の階調逆補正、すなわち、正のγ補正を実行し、βよりも低い入力信号レベルについて負の階調逆補正、すなわち、負のγ補正を実行する。

　区間ＳＣ３８１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ３８２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ３８００のうち、区間ＳＣ３８１の波形３８０１は、負のγ補正により得られる波形であり、区間ＳＣ３８２の波形３８０２は、正のγ補正により得られる波形である。

　図３８の入出力特性グラフ３８００を示す階調逆補正アルゴリズムは、下記式（３１）で表現される。

　ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（３１）のうち、条件がＥ´＜βである場合の式が負のγ補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（２９）を示す階調補正識別子３２６を検出した場合、式（３１）の階調逆補正を実行する。

　区間ＳＣ３８１において負のγ補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。

　以上説明したように、本実施例によれば、階調補正による暗部符号化歪を抑制することができる。また、たとえば、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現する場合、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪を抑制することができる。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。また、階調逆補正により元のＲＡＷ画像データに復元することができる。

　１００　情報処理装置、１５３　撮像素子、１６１　有効画素領域、１６２　光学的黒画素領域、２００　符号化装置、２０１　階調補正部、２０２　符号化部、２０３　記録部、２０４　設定部、３１２　制御情報、３２６　階調補正識別子、６００　復号装置、６０１　取得部、６０２　復号部、６０３　階調逆補正部

Claims

　光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、
　前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、
　を有する符号化装置。
　請求項１に記載の符号化装置であって、
　前記符号化部は、前記符号化部によって前記階調補正ＲＡＷ画像データから符号化された符号化データと、前記ガンマ係数、前記光学的黒の値、および前記補正部による階調補正の種類を示す識別子を含む制御情報と、を含むデータを出力する、符号化装置。
　請求項１に記載の符号化装置であって、
　前記補正部は、前記ガンマ係数と、前記ＲＡＷ画像データの前記光学的黒の値以上の入力信号レベルと、に基づいて、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項３に記載の符号化装置であって、
　前記補正部は、前記光学的黒の値の入力信号レベルよりも低い入力信号レベルを用いずに、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項４に記載の符号化装置であって、
　前記補正部は、前記ＲＡＷ画像データの入力信号レベルの前記光学的黒の値から最大値までの範囲で前記ＲＡＷ画像データを階調補正することにより、前記階調補正ＲＡＷ画像データの出力信号レベルの最小値から最大値までの範囲で前記階調補正ＲＡＷ画像データを出力する、符号化装置。
　請求項３に記載の符号化装置であって、
　前記補正部は、前記ＲＡＷ画像データの前記光学的黒の値以上の入力信号レベルについて階調補正を実行し、前記ＲＡＷ画像データの前記光学的黒の値よりも低い入力信号レベルについて負の階調補正を実行する、符号化装置。
　請求項６に記載の符号化装置であって、
　前記補正部は、前記光学的黒の値の入力信号レベルを含む第１区間内の入力信号レベルの値が前記光学的黒の値に近づくほど、前記入力信号レベルの強調度を示すゲインが増加するというゲイン特性に基づいて、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項７に記載の符号化装置であって、
　前記補正部は、前記ゲイン特性において前記光学的黒の値の入力信号レベルに設定された仮ゲインに基づいて、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項８に記載の符号化装置であって、
　前記補正部は、前記仮ゲインが前記光学的黒の値の入力信号レベルを含む第２区間内で一定となる前記ゲイン特性に基づいて、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項９に記載の符号化装置であって、
　露出量に基づいて、前記第２区間を設定する設定部を有し、
　前記補正部は、前記仮ゲインが前記設定部によって設定された前記第２区間内で一定と前記ゲイン特性に基づいて、前記ＲＡＷ画像データを階調補正する、符号化装置。
　請求項３に記載の符号化装置であって、
　前記補正部は、前記ＲＡＷ画像データの前記光学的黒の値よりも低い第１区間の入力信号レベルと前記第１区間の出力信号レベルとの間の正比例の関係に基づいて前記第１区間における入力信号レベルについて階調補正を実行し、前記ＲＡＷ画像データの前記光学的黒の値から最大値までの範囲である第２区間における入力信号レベルについて階調補正を実行する、符号化装置。
　請求項１１に記載の符号化装置であって、
　前記補正部は、前記第２区間の範囲で前記ＲＡＷ画像データを階調補正することにより、出力信号レベルの前記光学的黒に対応する値から最大値までの範囲で前記階調補正ＲＡＷ画像データを出力するように調整されたフィッティング係数に基づいて、前記第２区間における入力信号レベルについて階調補正を実行する、符号化装置。
　請求項１１に記載の符号化装置であって、
　前記補正部は、前記正比例の関係を規定する第１フィッティング係数に基づいて前記第１区間における入力信号レベルについて階調補正を実行し、前記第２区間の範囲で前記ＲＡＷ画像データを階調補正することにより、出力信号レベルの前記光学的黒に対応する値から最大値までの範囲で前記階調補正ＲＡＷ画像データを出力するように調整された第２フィッティング係数に基づいて、前記第２区間における入力信号レベルについて階調補正を実行する、符号化装置。
　請求項６に記載の符号化装置であって、
　前記補正部は、前記ＲＡＷ画像データの前記光学的黒の値から最大値までの範囲で前記ＲＡＷ画像データを階調補正することで出力信号レベルの前記光学的黒に対応する値から最大値までの範囲で前記階調補正ＲＡＷ画像データを出力するように調整されたフィッティング係数に基づいて、前記ＲＡＷ画像データの前記光学的黒の値から最大値までの範囲における入力信号レベルについて階調補正を実行する、符号化装置。
　請求項６に記載の符号化装置であって、
　前記補正部は、前記ＲＡＷ画像データの前記光学的黒の値よりも低い入力信号レベルについて第１フィッティング係数に基づいて負の階調補正を実行し、前記ＲＡＷ画像データの前記光学的黒の値から最大値までの範囲における入力信号レベルについて第２フィッティング係数に基づいて階調補正を実行し、
　前記第２フィッティング係数は、前記ＲＡＷ画像データの前記光学的黒の値から最大値までの範囲で前記ＲＡＷ画像データを階調補正することで出力信号レベルの前記光学的黒に対応する値から最大値までの範囲で前記階調補正ＲＡＷ画像データを出力するように調整可能であり、かつ、前記第１フィッティング係数に依存する、符号化装置。
　ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得部と、
　前記取得部によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号部と、
　前記復号部によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正部と、
　を有する復号装置。
　請求項１６に記載の復号装置であって、
　前記取得部は、前記ガンマ係数、前記光学的黒の値、および前記逆補正部による階調逆補正の種類を示す識別子を含む制御情報を取得し、
　前記逆補正部は、前記制御情報に基づいて、前記階調補正ＲＡＷ画像データを階調逆補正する、復号装置。
　請求項１６に記載の復号装置であって、
　前記逆補正部は、前記ガンマ係数と前記光学的黒の値とに基づいて、前記ＲＡＷ画像データの出力信号レベルが前記光学的黒の値の出力信号レベル以上となるように、前記階調補正ＲＡＷ画像データを階調逆補正する、復号装置。
　請求項１８に記載の復号装置であって、
　前記逆補正部は、前記階調補正ＲＡＷ画像データの階調逆補正により、前記光学的黒の値の出力信号レベルよりも低い出力信号レベルの画像データを出力しない、復号装置。
　請求項１９に記載の復号装置であって、
　前記逆補正部は、前記階調補正ＲＡＷ画像データの入力信号レベルの最小値から最大値までの範囲で前記階調補正ＲＡＷ画像データを階調逆補正することにより、出力信号レベルの前記光学的黒の値から上限までの区間で前記ＲＡＷ画像データを出力する、復号装置。
　請求項１８に記載の復号装置であって、
　前記逆補正部は、前記階調補正ＲＡＷ画像データの所定の入力信号レベル以上について階調逆補正を実行し、前記階調補正ＲＡＷ画像データの前記所定の入力信号レベルよりも低い入力信号レベルについて負の階調逆補正を実行する、復号装置。
　請求項２１に記載の復号装置であって、
　前記取得部は、前記ガンマ係数の値、前記光学的黒の値、前記ＲＡＷ画像データを前記ガンマ係数の値と前記光学的黒の値とに基づいて階調補正する際に前記光学的黒の値の入力信号レベルに設定された仮ゲイン、および前記逆補正部による階調逆補正の種類を示す識別子を含む制御情報を取得し、
　前記逆補正部は、前記制御情報に基づいて、前記階調逆補正および前記負の階調逆補正を実行する、復号装置。
　請求項２２に記載の復号装置であって、
　前記制御情報は、前記仮ゲインが一定となる入力信号レベルの範囲を含み、
　前記逆補正部は、前記制御情報に基づいて、前記階調逆補正および前記負の階調逆補正を実行する、復号装置。
　光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正処理と、
　前記補正処理によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化処理と、
　を実行する符号化方法。
　ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得処理と、
　前記取得処理によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号処理と、
　前記復号処理によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正処理と、
　を実行する復号方法。
　請求項２４に記載の符号化方法をプロセッサに実行させる符号化プログラム。
　請求項２５に記載の復号方法をプロセッサに実行させる復号プログラム。