JP7329155B2 - 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 - Google Patents
連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 Download PDFInfo
- Publication number
- JP7329155B2 JP7329155B2 JP2022563968A JP2022563968A JP7329155B2 JP 7329155 B2 JP7329155 B2 JP 7329155B2 JP 2022563968 A JP2022563968 A JP 2022563968A JP 2022563968 A JP2022563968 A JP 2022563968A JP 7329155 B2 JP7329155 B2 JP 7329155B2
- Authority
- JP
- Japan
- Prior art keywords
- reshaping
- segment
- functions
- backward
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、参照により全体がここに組み込まれる、共に2020年4月21日に出願した米国仮出願番号第63/013,063号及び欧州特許出願番号第20170567.0号の優先権を主張する。
本発明は、概して画像に関連する。より具体的には、本発明の実施形態は、連続性と可逆性の両方の制約を満たすHDRイメージングのためのリシェーピング関数のファミリを生成することに関する。
本願明細書に記載される例示的な実施形態は、画像リシェーピングに関連する。実施形態では、1つ以上のプロセッサを含む機器において、プロセッサは、HDR及びSDRの参照画像の入力ペアを受信する。参照HDR及びSDR画像を用いて生成された順方向リシェーピング関数の初期セットが与えられると、出力順方向及び逆方向リシェーピング関数のセットは、a)順方向リシェーピング関数の初期セットを使用して、対応する逆方向リシェーピング関数の第1セットを生成し、b)逆方向リシェーピング関数の第2セットを生成し、ここで、各逆方向リシェーピング関数は、ピボットポイントの共通セットを持つマルチセグメント多項式表現を使用して表され、c)連続するセグメントの間のギャップ値を最小化するために、逆方向リシェーピング関数の第2セットの多項式表現を最適化することにより、逆方向リシェーピング関数の出力セットを生成し、及び、d)逆方向リシェーピング関数の出力セットを使用して、参照HDR値と再構成済みHDR値との間の距離を最小化することによって、順方向リシェーピング関数の出力セットを生成する、ことによって構築される。
前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスし、逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられ、
前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと共通のピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力ットを生成し、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
前記セグメントの前記3つの元の多項式係数にアクセスし、
前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を求め、
歪み基準を満たすと、前記更新済み多項式係数により前記セグメントの多項式係数の最適セットを更新する。
第1ダイナミックレンジの第1入力画像セット及び第2ダイナミックレンジの第2入力画像セットにアクセスするステップであって、前記第1入力画像セットと前記第2入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスするステップであって、逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる(例えば、共通ピボットのセットは、逆方向リシェーピング関数の第1セットの逆方向リシェーピング関数の間で共通であってよい)、ステップと、
前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
前記セグメントの前記3つの元の多項式係数にアクセスし、
歪みパラメータを第1歪み値に初期化し、
前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を解き、
歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法が提供される。
第2ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含んでよい。
文献Ref.[1]及びRef.[2]に記載されているように、図1A及び図1Bは、画像リシェーピングを使用する例示的な単一レイヤ下位互換コーデックフレームワークを示す。より具体的に、図1Aは、例示的なエンコーダ側のコーデックアーキテクチャを示し、これは、上流のビデオエンコーダ内に1つ以上のコンピューティングプロセッサにより実装されてよい。図1Bは、例示的なデコーダ側コーデックアーキテクチャを示し、これは、1つ以上の下流のビデオデコーダ内に1つ以上のコンピューティングプロセッサによって実装されてもよい。
<序論>
リシェーピングは静的又は動的であり得る。静的リシェーピングでは、単一のリシェーピング関数が生成され、単一ストリームについて又は複数ストリームに渡り使用されている。動的リシェーピングでは、リシェーピング関数を入力ビデオストリームの特性に基づいてカスタマイズすることができ、ストリームレベル、シーンレベル、又はフレームレベルで変更することができる。例えば、実施形態では、限定ではなく、L1-midと呼ばれる、フレームやシーン内の平均輝度値のメトリックに従って、リシェーピング関数を生成してよい。例えば、限定ではなく、PQコーディングされたRGBデータを有する実施形態では、L1-midは、フレーム内の関心領域内のすべてのRGBピクセル間のmax(R,G,B)値の平均を表すことができる。別の実施形態では、YCbCr又はICtCpコーディングデータの場合、L1-midは、フレーム内の関心領域内のすべてのY又はI値の平均を表すことができる(例えば、平均値を計算すると、フレーム内のレターボックス又はサイドバー領域が除外される場合がある)。
参照(又は「マスタ」)HDRセットと、異なるL1-mid値に対して生成された画像又はビデオクリップの複数のSDRセットを含むデータベースを考える。つまり、各HDR画像には、Yc0c1カラーデータ(例えば、y=Y、c0=Cb、c1=CrのYCbCrデータ)を使用した対応するSDR画像のセットがある。SDR画像は、カラーグレーダの助けを借りて手動で、自動カラーマッピングアルゴリズムを使用して自動で、又はコンピュータツールと人間の操作を組み合わせて使用して、HDRイメージから生成できる。
例えば、共通のピボットポイントを持つ基本リシェーピング関数のファミリを構築する前に、個々のリシェーピング関数を構築する必要がある。一実施形態では、このような関数は、Ref.[1-3]で使用されているヒストグラム又は累積密度関数(cumulative density function (CDF))マッチングアプローチを使用して構築されているが、これに限定されない。完全性のために、ここではアルゴリズムについても説明する。主なステップには、a)データベース内の画像の統計情報(ヒストグラム)の収集、b)各セットの累積密度関数(CDF)の生成、c)CDFマッチング(Ref.[3])を適用してリシェーピング関数を生成する、d)リシェーピング関数をクリッピング及びスムージングする、が含まれる。これらのステップは表1と表2の擬似コードで示されている。
個々の順方向リシェーピング関数の元のセットがTb F,(l)与えられると、SDRコードワードが再構成されたHDRコードワードにマッッピングされる場合、対応する個々の逆方向リシェーピング関数Tb B,(l)を生成することができる。例示的な処理が表3に示される。
この段階で、逆方向リシェーピング関数のセット{Tb B,(l)}、及び順方向リシェーピング関数のセット{Tb F,(l)}が存在する。実施形態では、ルマ逆方向リシェーピング関数は、多項式セグメントがピボットポイントによって分離されるマルチピース多項式近似(例えば、8つの2次多項式を使って)によって表される/近似される場合がある。既存のL1-mid関数間の補間を有効にするには、すべての{Tb B,(l)}関数に共通のピボットポイントを持つことが望ましい。実施形態では、共通ピボットのセットは、以下に要約されるRef.[6]に記載された技術に基づき生成される。
すべての連続セグメント間のギャップを減らした後、最終的な逆方向リシェーピング関数のセットが決定される。ギャップ縮小アルゴリズムは逆方向リシェーピング関数を変更するので、適切な可逆性を保証しながら順方向リシェーピング関数を再構築する必要がある。これは、逆方向リシェーピング関数の逆トレースによって実現できる。
ステップ305:初期化このステップは、歪み(D)を大きな数値に初期化し、l番目のリシェーピング関数でm番目とm+1番目のセグメントの元の多項式係数が与えられると、m番目のセグメント内のコードワードとピボットポイントに対してHDR予測値をどのように計算するかを設定する。例えば、
ステップ315で、他の2つの係数a'm,1 (l)及びa'm,2 (l)を計算する(式(10)参照)。
ステップ320で、総歪みを計算する(表6参照):
反復処理は、[A,B]内のa'm,0 (l)のすべての値が処理されるまで繰り返される。
ステップ340で、反復処理の最後に、最適多項式係数の最終セット(am,j (l),*,j=0,1,及び2)が出力される。
L個の事前に計算された順方向リシェーピング関数のセットが与えられ、異なる適応制御信号{r(0),r(1),…r(L-1)}のセットの値に対して各々計算されたもの、例えばrは平均輝度値を表す場合、3つの色平面(例えば、YCbCr)に対する対応する順方向リシェーピング関数は次のように表すことができる:
実施形態では、一般性を失うことなく、(例えば、上述のようにルマコンポーネントについて)リシェーピング関数をマルチセグメント多項式として表現する代わりに、クロマ値がルマ及びクロマ値の両方の組み合わせに基づき予測される、マルチカラーチャネル、Ref.[4]及びRef.[6]で議論されている多重回帰予測などの代替スキームを使用してリシェーピングを表現することができる。
参考文献
これらの参考文献の各々は、参照によりその全体がここに組み込まれる。
[1]G-M, Su et al., “Encoding and decoding reversible, production-quality single-layer video signals,” PCT Application, Ser.No.PCT/US2017/023543, filed on March 22, 2017, WIPO Publication WO2017/165494
[2]Q. Song et al., “High-fidelity full-reference and high-efficiency reduced reference encoding in end-to-endsingle-layer backward compatible encoding pipeline,” PCT Application, Ser. No. PCT/US2019/031620, filed on May 9, 2019, WIPO Publications, WO2019/217751
[3]B. Wen et al., “Inversel uma/chroma mappings withhistogram transfer and approximation,”U.S. Patent 10,264,287, issued on April 16, 2019
[4]G-M. Su et al., “Multiple color channel multiple regression predictor,” U.S. Patent 8,811,490
[5]A. Kheradmand et al., “Block-based content-adaptive reshapingf or high-dynamic range,”U.S. Patent 10,032,262
[6]H.Kaduetal.,“Interpolation of reshapingfunctions,“ PCT Application, Ser. No. PCT/US2019/063796, filed on Nov. 27, 2019
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路(IC)装置、FPGA(field programmable gate array)、又は別の構成可能な又はプログラム可能な論理装置(PLD)、個別時間又はデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はこのようなシステム、装置、又はコンポーネントのうちの1つ以上を含む機器により実装されてよい。コンピュータ及び/又はICは、本願明細書に記載したようなリシェーピング関数の生成に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び/又はICは、本願明細書に記載したリシェーピング関数の生成に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
HDR画像のためのリシェーピング関数の生成に関する例示的な実施形態が従って記載される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。
Claims (19)
- プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
第1ダイナミックレンジの第1入力画像セット及び第2ダイナミックレンジの第2入力画像セットにアクセスするステップであって、前記第1入力画像セットと前記第2入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスするステップであって、前記逆方向リシェーピング関数の第1セットの中の各逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる、ステップと、
前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
i)前記セグメントの前記3つの元の多項式係数にアクセスし、
ii)歪みパラメータを第1歪み値に初期化し、
iii)前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
(a)前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を求め、
(b)歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法。 - 前記歪み基準を満たすことは、
前記更新済み多項式係数を求めた後に、
前記更新済み多項式係数及び前記元の多項式係数に基づき、新しい歪みパラメータ値を計算し、
前記第1歪み値を前記新しい歪みパラメータ値と比較し、
前記新しい歪みパラメータ値が前記第1歪み値より小さい場合、前記歪み基準を満たし、前記第1歪み値を前記新しい歪みパラメータ値により更新する、
ことを含む、請求項1に記載の方法。 - 前記新しい歪みパラメータ値を計算することは、前記セグメント内の全部のコードワードについて、前記元の多項式表現及び前記更新済み多項式係数を用いて生成された出力の間の累積誤りを計算することを含む、請求項2に記載の方法。
- 出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第2ダイナミックレンジの前記第2コードワード表現から前記第1ダイナミックレンジの前記第1コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含む請求項1~3のいずれかに記載の方法。
- 出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
第2ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含む、請求項4に記載の方法。 - 前記リシェーピングインデックスパラメータが、前記第2ダイナミックレンジにおける入力画像の平均輝度の測定値を含む、請求項1~5のいずれかに記載の方法。
- 前記第1ダイナミックレンジが標準ダイナミックレンジを含み、前記第2ダイナミックレンジが高ダイナミックレンジを含む、請求項1~6のいずれかに記載の方法。
- 2つ以上のセグメントを含む逆方向リシェーピング関数のセグメントに基づく表現における第1セグメントm=0について、元の多項式表現が
を含み、a0,0 (l),a0,0 (l),及びa0,2 (l)は、元の多項式係数を表し、lは、逆方向リシェーピング関数の第1セットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、sb Yは、第1ピボット(λ0)と第2ピボット(λ1)との間の第1ダイナミックレンジにおける入力コードワードを示し、第1更新済み多項式係数a'0,1 (l)が与えられたとき、第2及び第3更新済み多項式係数を求めることが、
を計算することを含み、a0,0 (l),*はa0,0 (l)の最適更新済み係数を表し、a'0,2 (l)はa0,2 (l)の更新済み係数を表し、
は前記第2ピボットの逆方向リシェーピング関数における第2セグメントの元の多項式表現の出力を表す、請求項1~7のいずれかに記載の方法。 - 前記第1更新済み多項式係数は、値の範囲[-a0,1 (l),n・a0,1 (l)]で反復し、nは5より小さい整数値である、請求項8に記載の方法。
- セグメントm、m>0について、逆方向リシェーピング関数のセグメントに基づく表現において、前記元の多項式表現は、
を含み、ここで、am,0 (l)、am,0 (l)、及びam,2 (l)は、前記元の多項式係数を表し、lは、前記逆方向リシェーピング関数のセットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、sb Yは、前記第1ピボット(λm)と前記第2ピボット(λm+1)との間の前記第1ダイナミックレンジにおける入力コードワードを表し、前記第1更新済み多項式係数(a'm,0 (l))が与えられたとき、前記第2更新済み多項式係数(a'm,1 (l))及び前記第3更新済み多項式係数(a'm,2 (l))を求めることは、
を計算することを含み、前記第2ピボットの逆方向リシェーピング関数におけるセグメントm+1の元の多項式表現の出力を表す、請求項1~10のいずれかに記載の方法。 - 前記第1更新済み多項式係数は、値の範囲[-am,0 (l),n・am,0 (l)]で反復し、nは5より小さい整数値である、請求項11に記載の方法。
- 前記逆方向リシェーピング関数の出力セットの中の2つの逆方向リシェーピング関数の間を補間することにより、新たな逆方向リシェーピング関数を生成するステップをさらに含み、前記2つの逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項1~13のいずれかに記載の方法。
- 出力順方向リシェーピング関数のセットの中の2つの順方向リシェーピング関数の間を補間することにより、新たな順方向リシェーピング関数を生成するステップをさらに含み、前記2つの順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項4若しくは5に従属する請求項14に記載の方法。
- 2つの逆方向又は順方向リシェーピング関数の間の補間は、前記2つの逆方向又は順方向リシェーピング関数の多項式係数のセットに基づいて、前記新たな逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含む、請求項15に記載の方法。
- 符号化されるべき入力HDR画像の平均輝度の測定に基づいて、前記2つの逆方向又は順方向リシェーピング関数を選択するステップ、をさらに含む請求項14~16のいずれか一項に記載の方法。
- 1つ以上のプロセッサにより請求項1~17のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
- プロセッサを含み、請求項1~17のいずれか一項に記載の方法のうちのいずれかを実行するよう構成される機器。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063013063P | 2020-04-21 | 2020-04-21 | |
| EP20170567 | 2020-04-21 | ||
| EP20170567.0 | 2020-04-21 | ||
| US63/013,063 | 2020-04-21 | ||
| PCT/US2021/028237 WO2021216607A1 (en) | 2020-04-21 | 2021-04-20 | Reshaping functions for hdr imaging with continuity and reversibility constraints |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023515264A JP2023515264A (ja) | 2023-04-12 |
| JP7329155B2 true JP7329155B2 (ja) | 2023-08-17 |
Family
ID=75787366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022563968A Active JP7329155B2 (ja) | 2020-04-21 | 2021-04-20 | 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US12382106B2 (ja) |
| EP (1) | EP4140129A1 (ja) |
| JP (1) | JP7329155B2 (ja) |
| CN (1) | CN115699734B (ja) |
| MX (1) | MX2022013193A (ja) |
| PH (1) | PH12022552811A1 (ja) |
| WO (1) | WO2021216607A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022072884A1 (en) | 2020-10-02 | 2022-04-07 | Dolby Laboratories Licensing Corporation | Adaptive local reshaping for sdr-to-hdr up-conversion |
| US12244872B2 (en) | 2020-11-11 | 2025-03-04 | Dolby Laboratories Licensing Corporation | Wrapped reshaping for codeword augmentation with neighborhood consistency |
| JP7602694B2 (ja) | 2021-08-16 | 2024-12-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオストリーミングにおける最小距離制約および平均距離制約の適用 |
| US12506894B2 (en) | 2021-08-30 | 2025-12-23 | Dolby Laboratories Licensing Corporation | Reshaper for learning based image/video coding |
| WO2023215108A1 (en) | 2022-05-05 | 2023-11-09 | Dolby Laboratories Licensing Corporation | Stereoscopic high dynamic range video |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017024042A2 (en) | 2015-08-04 | 2017-02-09 | Dolby Laboratories Licensing Corporation | Signal reshaping for high dynamic range signals |
| US20170221189A1 (en) | 2016-02-02 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Block-based content-adaptive reshaping for high dynamic range images |
| US20180167637A1 (en) | 2015-07-16 | 2018-06-14 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding for hdr and wide color gamut signals |
| US20180278967A1 (en) | 2015-09-21 | 2018-09-27 | Vid Scale, Inc. | Inverse reshaping for high dynamic range video coding |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3324622B1 (en) | 2011-04-14 | 2019-09-11 | Dolby Laboratories Licensing Corporation | Multiple color channel multiple regression predictor |
| US9584811B2 (en) | 2013-06-17 | 2017-02-28 | Dolby Laboratories Licensing Corporation | Adaptive reshaping for layered coding of enhanced dynamic range signals |
| EP3022895B1 (en) | 2013-07-18 | 2019-03-13 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images |
| WO2017165494A2 (en) | 2016-03-23 | 2017-09-28 | Dolby Laboratories Licensing Corporation | Encoding and decoding reversible production-quality single-layer video signals |
| US10264287B2 (en) | 2016-10-05 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Inverse luma/chroma mappings with histogram transfer and approximation |
| JP6964807B2 (ja) | 2018-05-11 | 2021-11-10 | ドルビー ラボラトリーズ ライセンシング コーポレイション | エンドツーエンド単一レイヤの下位互換性のある符号化パイプラインにおける、高忠実度の完全参照及び低減参照符号化 |
| EP3621307A1 (en) | 2018-09-05 | 2020-03-11 | Koninklijke Philips N.V. | Multi-range hdr video coding |
| EP3891995B1 (en) | 2018-12-03 | 2025-01-01 | Dolby Laboratories Licensing Corporation | Interpolation of reshaping functions |
| EP4139884B1 (en) | 2020-04-22 | 2024-02-21 | Dolby Laboratories Licensing Corporation | Iterative optimization of reshaping functions in single-layer hdr image codec |
-
2021
- 2021-04-20 JP JP2022563968A patent/JP7329155B2/ja active Active
- 2021-04-20 PH PH1/2022/552811A patent/PH12022552811A1/en unknown
- 2021-04-20 US US17/920,384 patent/US12382106B2/en active Active
- 2021-04-20 MX MX2022013193A patent/MX2022013193A/es unknown
- 2021-04-20 EP EP21723621.5A patent/EP4140129A1/en active Pending
- 2021-04-20 WO PCT/US2021/028237 patent/WO2021216607A1/en not_active Ceased
- 2021-04-20 CN CN202180037249.8A patent/CN115699734B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180167637A1 (en) | 2015-07-16 | 2018-06-14 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding for hdr and wide color gamut signals |
| WO2017024042A2 (en) | 2015-08-04 | 2017-02-09 | Dolby Laboratories Licensing Corporation | Signal reshaping for high dynamic range signals |
| US20180278967A1 (en) | 2015-09-21 | 2018-09-27 | Vid Scale, Inc. | Inverse reshaping for high dynamic range video coding |
| US20170221189A1 (en) | 2016-02-02 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Block-based content-adaptive reshaping for high dynamic range images |
Non-Patent Citations (1)
| Title |
|---|
| K. Minoo, et al.,Description of the reshaper parameters derivation process in ETM reference software,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCTVC-W0031,23rd Meeting: San Diego, USA,2016年01月,pp.1-17 |
Also Published As
| Publication number | Publication date |
|---|---|
| PH12022552811A1 (en) | 2024-02-12 |
| JP2023515264A (ja) | 2023-04-12 |
| CN115699734A (zh) | 2023-02-03 |
| US20230300381A1 (en) | 2023-09-21 |
| CN115699734B (zh) | 2025-07-11 |
| EP4140129A1 (en) | 2023-03-01 |
| BR112022021288A2 (pt) | 2022-12-06 |
| US12382106B2 (en) | 2025-08-05 |
| WO2021216607A1 (en) | 2021-10-28 |
| MX2022013193A (es) | 2023-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7329155B2 (ja) | 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 | |
| JP7094451B2 (ja) | 再構成関数の補間 | |
| CN108885783B (zh) | 编码和解码可逆制作质量单层视频信号 | |
| TWI812874B (zh) | 張量乘積之b平滑曲線預測子 | |
| JP6846442B2 (ja) | ハイダイナミックレンジ画像のためのクロマ再構成 | |
| CN109155853B (zh) | 用于高动态范围图像的色度整形 | |
| JP6771656B2 (ja) | シングルレイヤー後方互換性コーデックのリアルタイム再構成 | |
| JP7049526B2 (ja) | 適応的なsdrからhdrへの再構成関数による、hdr画像化におけるバンディングアーチファクトの低減 | |
| JP2023532952A (ja) | Hdrビデオのクラウド・ベース符号化における作業負荷割り当ておよび処理 | |
| JP2023501885A (ja) | ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ | |
| JP7309081B2 (ja) | Hdrイメージングにおけるブラインド局所再整形 | |
| JP7391214B2 (ja) | Hdr画像化におけるレート制御認識リシェーピング | |
| JP7541129B2 (ja) | オープン・ループ・コーデックにおけるhdr撮像に関する画像予測 | |
| JP7543577B2 (ja) | チェーンドリシェーピング関数の最適化 | |
| JP2023545130A (ja) | コーディング効率制約を伴うhdrビデオのための色変換 | |
| HK40080979A (en) | Reshaping functions for hdr imaging with continuity and reversibility constraints | |
| HK1257716B (en) | Encoding and decoding reversible production-quality single-layer video signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221115 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221115 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7329155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |