[go: up one dir, main page]

JP7329155B2 - 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 - Google Patents

連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 Download PDF

Info

Publication number
JP7329155B2
JP7329155B2 JP2022563968A JP2022563968A JP7329155B2 JP 7329155 B2 JP7329155 B2 JP 7329155B2 JP 2022563968 A JP2022563968 A JP 2022563968A JP 2022563968 A JP2022563968 A JP 2022563968A JP 7329155 B2 JP7329155 B2 JP 7329155B2
Authority
JP
Japan
Prior art keywords
reshaping
segment
functions
backward
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022563968A
Other languages
English (en)
Other versions
JP2023515264A (ja
Inventor
スゥ,グワン-ミーン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2023515264A publication Critical patent/JP2023515264A/ja
Application granted granted Critical
Publication of JP7329155B2 publication Critical patent/JP7329155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[関連出願の相互参照]
本願は、参照により全体がここに組み込まれる、共に2020年4月21日に出願した米国仮出願番号第63/013,063号及び欧州特許出願番号第20170567.0号の優先権を主張する。
[技術分野]
本発明は、概して画像に関連する。より具体的には、本発明の実施形態は、連続性と可逆性の両方の制約を満たすHDRイメージングのためのリシェーピング関数のファミリを生成することに関する。
本願明細書で使用されるとき、用語「ダイナミックレンジ(dynamic range (DR))」は、例えば最も暗い灰色(黒)から最も明るい白色(ハイライト)までの画像内の強度(例えば、輝度、ルマ)範囲を知覚する人間の視覚システム(human visual system (HVS))の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。
本願明細書で使用されるとき、用語「高ダイナミックレンジ(high dynamic range (HDR))」は、人間の視覚システム(HVS)の大きさの14~15倍又はそれより大きい程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。
実際には、画像は1つ以上の色成分(例えば、ルマY及びクロマCb及びCr)を含み、各色成分はピクセル当たりnビット(例えば、n=8)の精度により表される。非線形又はガンマ輝度コーディングを使用すると、n≦8である画像(例えば、カラー24ビットJPEG画像)は、標準ダイナミックレンジの画像であると考えられる。一方で、n>8である画像は、高ダイナミックレンジの画像であると考えられてよい。HDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細(例えば、16ビット)浮動小数点フォーマットを用いて格納され配信されてもよい。
大部分の消費者デスクトップディスプレイは、現在、200~300cd/m又はニトの輝度をサポートする。大部分の消費者HDTVは、300~500ニトの範囲であり、新しいモデルは1000ニト(cd/m)にまで達している。そのような従来のディスプレイは、HDRに対して標準ダイナミックレンジ(SDR)とも呼ばれる、低ダイナミックレンジ(lower dynamic range (LDR))の特徴を示す。HDRコンテンツの利用可能性が、キャプチャ機器(例えばカメラ)及びHDRディスプレイ(例えば、Dolby LaboratoriesのPRM-4200プロフェッショナルリファレンスモニタ)の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ(例えば、1000ニト~5000ニト、又はそれより高い)をサポートするHDRディスプレイ上で表示されるようになり得る。
伝統的な画像パイプラインでは、キャプチャした画像は、非線形光電子機能(opto-electronic function (OETF))を用いて量子化される。OETFは、線形のシーンの光を非線形のビデオ信号(例えば、ガンマコーディングRGB又はYCbCr)へと変換する。次に、受信機では、ディスプレイ上で表示される前に、信号は、電子光伝達関数(electro-optical transfer function (EOTF))により処理される。EOTFは、ビデオ信号値を出力スクリーンカラー値へと変換する。そのような非線形関数は、ITU-R Rec. BT.709及びBT.2020において記述された伝統的な「ガンマ(gamma)」曲線、 SMPTE ST 2084において記述された“PQ” (perceptual quantization)曲線、及びRec.ITU-RBT.2100において記述された“HybridLog-gamma”又は“HLG”曲線、を含む。
本願明細書で使用されるとき、「リシェーピング」又は「リマッピング」は、デジタル画像の元のビット深さ及び元のコードワード分布又は表現(例えば、ガンマ、PQ、HLG、等)から同じ又は異なるビット深さの画像及び異なるコードワード分布又は表現への、デジタル画像のサンプル-サンプル又はコードワード-コードワードマッピングの処理を示す。リシェーピングは、固定ビットレートにおいて、圧縮率の向上又は画質の向上を可能にする。例えば、限定ではなく、順方向リシェーピングは、10ビット又は12ビットのPQコーディングHDRビデオに適用されて、10ビットビデオコーディングアーキテクチャにおけるコーディング効率を向上し得る。受信機では、受信信号(リシェーピングされてもよく、されてなくてもよい)を伸長した後に、受信機は、「逆(又は逆方向)リシェーピング関数」を適用して、信号を、該信号の元のコードワード分布に復元し、及び/又はより高いダイナミックレンジを達成してよい。
リシェーピングは静的又は動的であり得る。静的リシェーピングでは、単一のリシェーピング関数が生成され、単一ストリームについて又は複数ストリームに渡り使用されている。動的リシェーピングでは、リシェーピング関数を入力ビデオストリームの特性に基づいてカスタマイズすることができ、ストリームレベル、シーンレベル、又はフレームレベルで変更することができる。動的リシェーピングが望ましいが、特定の装置は、それをサポートする十分な計算能力がない場合がある。ここで発明者らが認めたように、ビデオコンテンツ、特にHDRコンテンツを表示するときの効率的な画像リシェーピングのための改良された技術が望まれる。
本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、1つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。
本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。
従来技術による、リシェーピング関数を使用するHDRデータのための例示的な単一レイヤエンコーダを示す。
従来技術による、図1Aのエンコーダに対応する例示的なHDRデコーダを示す。
本発明の実施形態によるリシェーピング関数を設計するための例示的な処理を示す。
本発明の実施形態による逆方向リシェーピング関数のマルチセグメント表現での2つの2次多項式セグメントの間のギャップを縮小する例示的な処理を示す。
実施形態による、リシェーピング関数を用いる例示的なエンコーダを示す。
本願明細書は、画像の効率的なコーディングのための画像リシェーピング技術を記載する。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し(occluding)、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。
<要約>
本願明細書に記載される例示的な実施形態は、画像リシェーピングに関連する。実施形態では、1つ以上のプロセッサを含む機器において、プロセッサは、HDR及びSDRの参照画像の入力ペアを受信する。参照HDR及びSDR画像を用いて生成された順方向リシェーピング関数の初期セットが与えられると、出力順方向及び逆方向リシェーピング関数のセットは、a)順方向リシェーピング関数の初期セットを使用して、対応する逆方向リシェーピング関数の第1セットを生成し、b)逆方向リシェーピング関数の第2セットを生成し、ここで、各逆方向リシェーピング関数は、ピボットポイントの共通セットを持つマルチセグメント多項式表現を使用して表され、c)連続するセグメントの間のギャップ値を最小化するために、逆方向リシェーピング関数の第2セットの多項式表現を最適化することにより、逆方向リシェーピング関数の出力セットを生成し、及び、d)逆方向リシェーピング関数の出力セットを使用して、参照HDR値と再構成済みHDR値との間の距離を最小化することによって、順方向リシェーピング関数の出力セットを生成する、ことによって構築される。
セグメント間のギャップ値が最小化される出力逆方向リシェーピング関数を生成する実施形態では、プロセッサは、第1ダイナミックレンジ(例えば、SDR)の第1入力画像セットと、第2ダイナミックレンジ(例えば、HDR)の第2入力画像セットを受信し、第1入力画像セットと第2入力画像セットの間の対応するペアは、同一のシーンを表す。プロセッサは、
前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスし、逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられ、
前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと共通のピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力ットを生成し、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
前記セグメントの前記3つの元の多項式係数にアクセスし、
前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を求め、
歪み基準を満たすと、前記更新済み多項式係数により前記セグメントの多項式係数の最適セットを更新する。
幾つかの実施形態によると、プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
第1ダイナミックレンジの第1入力画像セット及び第2ダイナミックレンジの第2入力画像セットにアクセスするステップであって、前記第1入力画像セットと前記第2入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスするステップであって、逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる(例えば、共通ピボットのセットは、逆方向リシェーピング関数の第1セットの逆方向リシェーピング関数の間で共通であってよい)、ステップと、
前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
を含み、
逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
前記セグメントの前記3つの元の多項式係数にアクセスし、
歪みパラメータを第1歪み値に初期化し、
前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を解き、
歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
ことを含む、方法が提供される。
逆方向リシェーピング関数の第1セットは、第1入力画像セットと第2入力画像セットを使用して生成された順方向リシェーピング関数の初期セットから生成されてよい。
(例えば、逆方向リシェーピング関数の第1セットの)各逆方向リシェーピング関数は、リシェーピングインデックスパラメータとセグメントパラメータによって定義されるという意味で、リシェーピングインデックスパラメータとセグメントパラメータによって特徴づけられることがある。
各逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる場合がある。
各逆方向リシェーピング関数及び/又は順方向リシェーピング関数は、第2入力画像セットの入力画像間で異なる特性について計算することができる。特性は、第2ダイナミックレンジにおける入力画像の平均輝度の指標又はメトリックを含むことができる。例えば、各逆方向リシェーピング関数(及び順方向リシェーピング関数)は、第2ダイナミックレンジの入力画像の異なる平均輝度に対して計算される場合がある。
幾つかの実施形態によると、前記方法は、前記出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第2ダイナミックレンジの前記第2コードワード表現から前記第1ダイナミックレンジの前記第1コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含んでよい。出力順方向リシェーピング関数のセットの各出力順方向リシェーピング関数は、リシェーピングインデックスパラメータ(例えば、異なるリシェーピングインデックスパラメータ)と、共通ピボットのセットを持つ出力順方向リシェーピング関数のセグメントに基づく表現のセグメントパラメータによって特徴づけられる場合がある。出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
第2ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含んでよい。
幾つかの実施形態によれば、前記方法は、出力順方向リシェーピング関数のセットの2つの順方向リシェーピング関数の間を補間することによって、新しい順方向リシェーピング関数を生成することをさらに含んでよい。これにより、新しい順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる2つの順方向リシェーピング関数に基づいて生成されてよい。
幾つかの実施形態によれば、前記方法は、逆方向リシェーピング関数の出力セットの2つの逆方向リシェーピング関数の間を補間することによって、新しい逆方向リシェーピング関数を生成することをさらに(又は代替として)含んでよい。これにより、新しい逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴付けられる2つの逆方向リシェーピング関数に基づいて生成されてよい。
2つの逆方向リシェーピング関数又は2つの順方向リシェーピング関数の間の補間は、前記2つの逆方向又は順方向リシェーピング関数の多項式係数の各々のセットに基づいて、前記新しい逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含んでよい。多項式係数の補間されたセットは、(例えば、2つの逆方向又は順方向リシェーピング関数の多項式係数のセットの対応する多項式係数の間で)線形補間を使用して生成することができる。
前記方法は、符号化されるべき入力HDR画像(例えば第2ダイナミックレンジで)の平均輝度の測定に基づいて、2つの逆方向リシェーピング関数又は順方向リシェーピング関数を選択することをさらに含んでよい。各逆方向リシェーピング関数及び/又は順方向リシェーピング関数は、第2ダイナミックレンジの入力画像の異なる平均輝度に対して計算されてよい。2つの逆方向リシェーピング関数又は順方向リシェーピング関数は、符号化されるべき入力HDR画像の平均輝度が、選択された2つの逆方向又は順方向リシェーピング関数が計算される各々の平均輝度の測定値の間にあるように、選択することができる。前記方法は、新しい順方向リシェーピング関数を使用して入力HDR画像を符号化するステップをさらに含んでよい。
例示的なHDRコーディングシステム
文献Ref.[1]及びRef.[2]に記載されているように、図1A及び図1Bは、画像リシェーピングを使用する例示的な単一レイヤ下位互換コーデックフレームワークを示す。より具体的に、図1Aは、例示的なエンコーダ側のコーデックアーキテクチャを示し、これは、上流のビデオエンコーダ内に1つ以上のコンピューティングプロセッサにより実装されてよい。図1Bは、例示的なデコーダ側コーデックアーキテクチャを示し、これは、1つ以上の下流のビデオデコーダ内に1つ以上のコンピューティングプロセッサによって実装されてもよい。
このフレームワークの下で、参照HDRコンテンツ(120)が与えられると、対応するSDRコンテンツ(134)(リシェーピングコンテンツとも呼ばれる)は、符号化され、エンコーダ側のコーデックアーキテクチャを実装する上流の符号化装置により、単一レイヤのコーディングビデオ信号(144)で送信される。SDRコンテンツは、単一レイヤのビデオ信号で、デコーダ側コーデックアーキテクチャを実装する下流の復号装置により、受信され復号される。逆方向リシェーピングメタデータ(152)も、SDRコンテンツと共にビデオ信号内に符号化され送信される。その結果、HDRディスプレイ装置は、SDRコンテンツ及び逆方向リシェーピングメタデータに基づき、HDRコンテンツを再構成できる。
図1Aに示すように、SDR画像(134)などの下位互換SDR画像は、順方向リシェーピングマッピング(132)を使用して生成される。ここで、「下位互換SDR画像」は、SDRディスプレイ用に特別に最適化されたSDR画像又は色等級付けされたSDR画像を表してよい。圧縮ブロック(142)(例えば、AVC、HEV、AV1、等のような任意の知られているビデオコーディングアルゴリズムに従い実装されるエンコーダ)は、SDR画像(134)を単一レイヤ(144)のビデオ信号に圧縮/符号化する。
132の順方向リシェーピング関数は、参照HDR画像(120)に基づいて順方向リシェーピング関数生成器130を使用して生成される。順方向リシェーピング関数が与えられると、順方向リシェーピングマッピング(132)がHDR画像(120)に適用され、リシェーピング済みSDR基本層134が生成される。更に、逆方向リシェーピング関数生成器(150)は、逆方向リシェーピング関数を生成してよい。逆方向リシェーピング関数は、デコーダへメタデータ(152)として送信されてよい。
最適な逆方向リシェーピング関数を表す/指定する逆方向リシェーピングメタデータの例としては、逆トーンマッピング関数、逆ルママッピング関数、逆クロママッピング関数、ルックアップテーブル(LUT)、多項式、逆表示管理係数又はパラメータなどのいずれかが含まれるが、必ずしもこれらに限定されるわけではない。種々の実施形態では、ルマ逆方向リシェーピング関数及びクロマ逆方向リシェーピング関数は、一緒に又は別個に導出され/最適化されてよく、文献Ref.[2]に記載されたような種々の技術を用いて導出されてよい。
逆方向リシェーピングメタデータ(152)は、逆方向リシェーピング関数生成器(150)によりSDR画像(134)及び目標HDR画像(120)に基づき生成され、ビデオ信号144の部分として、例えば補足拡張情報(supplemental enhancement information (SEI))メッセージとして多重化されてよい。
幾つかの実施形態では、逆方向リシェーピングメタデータ(152)は、ビデオ信号の中で、全体の画像メタデータの部分として運ばれ、これは、ビデオ信号の中で、SDR画像がビデオ信号の中に符号化される単一レイヤとは別個である。例えば、逆方向リシェーピングメタデータ(152)は、コーディングビットストリームの中の成分ストリーム内に符号化されてよい。この成分ストリームは、SDR画像(134)が符号化される(コーディングビットストリームの)単一レイヤと別個であってよく又はそうでなくてよい。
従って、逆方向リシェーピングメタデータ(152)は、エンコーダ側で生成でき又は予め生成でき、エンコーダ側で利用可能な強力な計算リソース及びオフライン符号化フロー(限定ではないが、コンテンツ適応型マルチパス、先読み操作、逆ルママッピング、逆クロママッピング、CDFに基づくヒストグラム近似及び/又は転送、等)を活用できる。
図1Aのエンコーダ側のアーキテクチャは、HDR画像(120)をビデオ信号の中のコーディング/圧縮HDR画像へと直接符号化するのを回避するために使用できる。代わりに、ビデオ信号の中の逆方向リシェーピングメタデータ(152)は、下流の複合装置が、(ビデオ信号内に符号化されている)SDR画像(134)を逆方向リシェーピングして、参照HDR画像(120)と同一又は厳密に/最適に近似している再構成画像にできるようにするために使用できる。
幾つかの実施形態では、図1Bに示すように、単一レイヤ(144)内のSDR画像及び全体の画像メタデータの部分として逆方向リシェーピングメタデータ(152)と共に符号化されたビデオ信号は、コーデックフレームワークのデコーダ側で入力として受信される。伸長ブロック154は、単一レイヤ(144)のビデオ信号内の圧縮ビデオデータを、伸長/復号して、復号SDR画像(156)にする。伸長154は、標準的に圧縮142の逆に対応する。復号SDR画像(156)は、SDR画像(134)と同じであってよく、圧縮ブロック(142)及び伸長ブロック(154)における量子化誤差の影響を受けており、SDRディスプレイ装置のために最適化されていてよい。復号SDR画像156は、出力ビデオ信号の中でSDRディスプレイ装置へと(例えば、HDMI(登録商標)インタフェースを介して、ビデオリンクを介して、等)出力され、SDRディスプレイ装置上でレンダリングされてよい。
更に、同じ又は別の実施形態では、逆方向リシェーピングブロック158は、逆方向リシェーピングメタデータ(152)を入力ビデオ信号から抽出し、最適な逆方向リシェーピング関数を逆方向リシェーピングメタデータ(152)に基づき構成し、逆方向リシェーピング演算を復号SDR画像(156)に対して、最適な逆方向リシェーピング関数に基づき実行して、逆方向リシェーピング画像(160)(又は再構成HDR画像)を生成する。幾つかの実施形態では、逆方向リシェーピング画像は、参照HDR画像(120)と同一の又はそれを厳密に/最適に近似する製作品質の又は製作品質に近いHDR画像を表す。逆方向リシェーピング画像160は、出力HDRビデオ信号の中で(例えば、HDMI(登録商標)インタフェースを介して、ビデオリンクを介して、等)出力され、HDRディスプレイ装置上でレンダリングされてよい。
幾つかの実施形態では、HDRディスプレイ装置に固有のディスプレイ管理操作が、逆方向リシェーピング画像(160)に対して、逆方向リシェーピング画像(160)をHDRディスプレイ装置上でレンダリングするHDR画像レンダリング操作の部分として実行されてよい。
適応型リシェーピングのための例示的なシステム
<序論>
リシェーピングは静的又は動的であり得る。静的リシェーピングでは、単一のリシェーピング関数が生成され、単一ストリームについて又は複数ストリームに渡り使用されている。動的リシェーピングでは、リシェーピング関数を入力ビデオストリームの特性に基づいてカスタマイズすることができ、ストリームレベル、シーンレベル、又はフレームレベルで変更することができる。例えば、実施形態では、限定ではなく、L1-midと呼ばれる、フレームやシーン内の平均輝度値のメトリックに従って、リシェーピング関数を生成してよい。例えば、限定ではなく、PQコーディングされたRGBデータを有する実施形態では、L1-midは、フレーム内の関心領域内のすべてのRGBピクセル間のmax(R,G,B)値の平均を表すことができる。別の実施形態では、YCbCr又はICtCpコーディングデータの場合、L1-midは、フレーム内の関心領域内のすべてのY又はI値の平均を表すことができる(例えば、平均値を計算すると、フレーム内のレターボックス又はサイドバー領域が除外される場合がある)。
したがって、12ビットシステムでは、4,096通りの可能な関数すべてを事前に構築することができる。しかし、このようなアプローチは時間がかかり、実際のシステムでは膨大なメモリを必要とするため、むしろ実用的ではない。実施形態では、基本リシェーピング関数としてよりL(L<2bitdepth)本の曲線の小さなセットを構築し、それらをメモリに格納してから、実行時に利用可能なL個の関数の間を補間することによって、不足している中輝度値の追加関数を生成することを選択できる。これは、静的に生成されたリシェーピング曲線の小さなセットを組み合わせて完全なセットを生成するため、「スケーラブルな静的モード」と呼ばれることがある。例えば、実施形態では、10ビット信号に対して、{768 1024 1280 1536 1792 2048 2304 2560 2816 3072 3328 3584 3840}からなるセット内の平均輝度値に対して13個の基本順方向関数を生成することができる。
実施形態では、帯域幅を節約するために、逆方向リシェーピング関数は区分線形又は非線形多項式を使用して近似することができ、そのような表現では、多項式セグメントはピボットポイントによって分離される。多項式係数の補間を容易にするために(及び余分な計算を避けるために)、実施形態では、すべての事前計算されたリシェーピング関数のピボットポイントを整列する必要がある(例えば、共通にする)。これにより、ピボットポイントを気にすることなく、多項式間の補間がはるかに簡単になる。
命名法
参照(又は「マスタ」)HDRセットと、異なるL1-mid値に対して生成された画像又はビデオクリップの複数のSDRセットを含むデータベースを考える。つまり、各HDR画像には、Yc0c1カラーデータ(例えば、y=Y、c0=Cb、c1=CrのYCbCrデータ)を使用した対応するSDR画像のセットがある。SDR画像は、カラーグレーダの助けを借りて手動で、自動カラーマッピングアルゴリズムを使用して自動で、又はコンピュータツールと人間の操作を組み合わせて使用して、HDRイメージから生成できる。
以下が、l番目のL1-midマッピングから生成されたSDRデータベースセットの中のj番目のフレーム又はピクチャのi番目のピクセルのデータ値を表すとする:
Figure 0007329155000001
各フレーム内のピクセルの数をPとする。HDR画像のビット深さをHDR_bitdepthと表し、SDR画像のビット深さをSDR_bitdepthと表すと、HDR及びSDR信号の中の可能なコードワード値の数は、各々次式で与えられる:
Figure 0007329155000002
ここで使用される用語「非正規化ピクセル値」は[0,2B-1]の値を表し、Bはピクセル値のビット深さを表す(例えば、B=8、10、又は12ビット)。ここで使用される用語「正規化ピクセル値」は、[0,1)のピクセル値を表す。
幾つかの実施形態では、ピクセルレベルで演算する代わりに、平均ピクセル値により演算できる。例えば、入力信号コードワードを、等間隔wbのM個の重なり合わないビンに分割して、正規化ダイナミックレンジ全体(例えば、(0,1])をカバーできる(例えば、M=16、32、又は64)(例えば、16ビット入力データでは、wb=65,536/M)。次に、ピクセル値により演算する代わりに、そのようなビンの中の平均ピクセル値により演算できる。SDR及びHDR信号の中のビンの数を各々MSandMVと表し、それらの対応する間隔をwbS及びwbVと表す。ピクセルレベルで演算すると、MS=NS、及び/又はMV=NVである。
HDRデータベースの中のj番目のフレーム又はピクチャ内の最小及び最大ルマ値をvj y,L及びvj y,Hとして表す。SDRデータベースの中のj番目のフレーム内の最小及び最大ルマ値をsj y,(l),L及びsj y,(l),Hとして表す。
個々の順方向リシェーピング関数の構築
例えば、共通のピボットポイントを持つ基本リシェーピング関数のファミリを構築する前に、個々のリシェーピング関数を構築する必要がある。一実施形態では、このような関数は、Ref.[1-3]で使用されているヒストグラム又は累積密度関数(cumulative density function (CDF))マッチングアプローチを使用して構築されているが、これに限定されない。完全性のために、ここではアルゴリズムについても説明する。主なステップには、a)データベース内の画像の統計情報(ヒストグラム)の収集、b)各セットの累積密度関数(CDF)の生成、c)CDFマッチング(Ref.[3])を適用してリシェーピング関数を生成する、d)リシェーピング関数をクリッピング及びスムージングする、が含まれる。これらのステップは表1と表2の擬似コードで示されている。
Figure 0007329155000003
Figure 0007329155000004
Figure 0007329155000005
Figure 0007329155000006
表2では、関数y=clip3(x,Min,Max)は次のように定義されている:
Figure 0007329155000007
表2では、CDFマッチングステップ(STEP4)を以下のように簡単に説明できる。SDRコードワードxsがCDF内の特定のCDF値cであるcs,(l)に対応し、HDRコードワードxvもCDF内の同じ特定のCDF値cであるcv,(l)に対応することを考えると、SDR値s=xsはHDR値xvにマッピングされるべきであると判断される。あるいは、STEP4では、各SDR値(xs)について、対応するSDR CDF値(例えば、c)を計算し、既存のHDR CDF値から単純な線形補間によってcv,(l)=cとなるとなるHDR値(xv)を特定しようとする。
対象のL1-mid値ごとに表1と表2のステップを繰り返すことで、順方向リシェーピング関数の第1セットTb F,(l)を生成し、L1-mid値又はL番目のSDRデータベースの生成に使用されたその他の特性に従って、HDR入力画像(又はフレーム)を対応するSDR出力にマッピングできる。
個々の逆方向リシェーピング関数の構築
個々の順方向リシェーピング関数の元のセットがTb F,(l)与えられると、SDRコードワードが再構成されたHDRコードワードにマッッピングされる場合、対応する個々の逆方向リシェーピング関数Tb B,(l)を生成することができる。例示的な処理が表3に示される。
Figure 0007329155000008
共通のピボットポイントを持つ逆方向リシェーピング関数のファミリの構築
この段階で、逆方向リシェーピング関数のセット{Tb B,(l)}、及び順方向リシェーピング関数のセット{Tb F,(l)}が存在する。実施形態では、ルマ逆方向リシェーピング関数は、多項式セグメントがピボットポイントによって分離されるマルチピース多項式近似(例えば、8つの2次多項式を使って)によって表される/近似される場合がある。既存のL1-mid関数間の補間を有効にするには、すべての{Tb B,(l)}関数に共通のピボットポイントを持つことが望ましい。実施形態では、共通ピボットのセットは、以下に要約されるRef.[6]に記載された技術に基づき生成される。
各SDRコードワードbについて、その正規化値を計算する:
Figure 0007329155000009
ピボットポイントを{λm}、m=0,1,...,Kと表し、Kはセグメントの総数を表す。例えば、[λmm+1)は、m番目の多項式セグメントを表す。m番目の多項式は、入力値bがλmとλm+1の範囲内にあるときに選択される。実施形態では、bとの値は両方とも[0,2B)の整数であり、BはSDRビット深さを示す。l番目のL1-midリシェーピング関数のm番目の2次多項式は、先に生成された入力逆方向リシェーピング関数を次のように近似するために使用される:
Figure 0007329155000010
近くの2つの多項式の間のギャップを減らすために、ピボットポイントの周りの遷移を滑らかにするために重なり合った制約(overlapped constraint)を適用することができる。重なり合ったウィンドウサイズはWmと表される。最小のギャップを実現するために、設計最適化目標は次のように定式化できる:
Figure 0007329155000011
式(3)では、ピボットポイントは特定の通信制約(例えば、SMPTE274Mコードワード値の有効範囲)によって制限される場合があり、これは下限λm s、上限λm eとして表すことができ、ここでλm s未満とλm eを超える値はクリッピングされる。例えば、8ビット信号の場合、ブロードキャストセーフ領域は、[0,255]ではなく、[16,235]になる。
重なり合ったウィンドウを使用して、拡張点を次のように表す:
Figure 0007329155000012
次に、行列表現では、
Figure 0007329155000013
式(3)は以下のように表すことができる:
Figure 0007329155000014
最小二乗最適化の下で、解は次式で与えられる:
Figure 0007329155000015
次に、解くべき全体的な問題は、最適化基準の組み合わせの下、次の式で与えられる:
Figure 0007329155000016
重なり合うウィンドウサイズのセット{Wm}は、最適な結果を検索するのを支援するよう変更できる。共通のピボットのセットを持つマルチセグメント多項式のセットを求めるプロセスの例を表4に示す。ここで、U回の反復(例えば、U=10000)に対してピボットポイントと重なり合うウィンドウをランダム化することによってモンテカルロシミュレーションを適用することができる。
Figure 0007329155000017
Figure 0007329155000018
ステップ2では、実装上の制約のチェックに関して、多項式係数(例えば、符号付き7ビット又は8ビット整数値など)の精度を制限する場合がある。
前述のように、上記の共同最適化では、ピボットポイント付近でのジャンプがないと、スムーズな逆方向リシェーピング関数が出力されない場合がある。実施形態では、ギャップを最小化するための別のラウンドを次のように実行する必要がある場合がある。
2つの多項式(m番目とm+1番目の多項式)の終点が互いに接続すると仮定される、基点λm+1を考える。受信したSDRコードワードを使用してHDR値を予測する場合、λmの位置で2次多項式を使用すると、m次多項式を適用する式は次のようになる:
Figure 0007329155000019
m番目のセグメントの残りのコードワードについては、予測HDR値は次のように計算される:
Figure 0007329155000020
ピボット間のギャップを減らすために、実施形態では、修正されたm番目の多項式が元の多項式について
Figure 0007329155000021
の両方において出力値を満たすように、m番目のセグメントの多項式係数を調整することが目的である。つまり式(7)及び次式である:
Figure 0007329155000022
2次多項式は3つの係数で完全に定義されるため、2つの式(7)と(9)のみが与えられた場合、3つの未知数を求めることは劣決定問題(under-determined problem)である。修正された多項式係数{a'm,0 (l),a'm,1 (l),a'm,2 (l)}の1つ(例えば、a'm,0 (l))が既知であると仮定すると、残りの係数(例えば、a'm,1 (l)及びa'm,2 (l))は、2つの式と2つの未知数を持つシステムの閉形式解(closed-form solution)として、式(7)と(9)から得ることができる。例えば、a'm,0 (l)が既知ならば、他の2つの解は次式で与えられる:
Figure 0007329155000023
a'm,0 (l)は実際には未知であるため、この問題を最適化問題として定式化して、新しい多項式係数を使用した元のHDR値と新しいHDR値の差の合計が最小になるような最適係数{am,0 (l),*,am,2 (l),*,am,2 (l),*}を見つけることができる。つまり、
Figure 0007329155000024
式はすでにこの点を通過しているので、最適化に点λmを含める必要はない。実施形態では、限定ではなく、a'm,0 (l)の値の範囲内で最適解を探索することができる。
最後のセグメントの場合、(m+1)番目のセグメントは最後のピボットポイントの外側にある。実施形態では、最後の点の後の曲線は、前の多項式からの最後の出力値から伸びる定数であってもよい。したがって、m=Kに対して、以下を設定できる:
Figure 0007329155000025
第1セグメント(例えば、m=0)では、ビデオ信号範囲が全範囲(すなわち、[0,1])にある場合、ピボットポイントλは0になる。この場合、a0,0 (l),*は元の係数と等しくなければならない。つまり、m=0の場合、
Figure 0007329155000026
a'0,1 (l)が既知であると仮定すると、a'0.2 (l)は式(9)から次のように得られる:
Figure 0007329155000027
ギャップ縮小アルゴリズムの実装例を表5(m=0の場合)と表6(m>0の場合)に示す。m=Kのとき、式(12)の制約も適用される。
Figure 0007329155000028
Figure 0007329155000029
Figure 0007329155000030
可逆性のための順方向リシェーピング関数の調整
すべての連続セグメント間のギャップを減らした後、最終的な逆方向リシェーピング関数のセットが決定される。ギャップ縮小アルゴリズムは逆方向リシェーピング関数を変更するので、適切な可逆性を保証しながら順方向リシェーピング関数を再構築する必要がある。これは、逆方向リシェーピング関数の逆トレースによって実現できる。
l番目の多項式については、すべてのmについて、計算された多項式係数{am,0 (l),*,am,2 (l),*,am,2 (l),*}を使用して、出力逆方向リシェーピング関数をに対して再構成できる:
Figure 0007329155000031
対応する更新済み順方向リシェーピング関数Tb F,(l),*は、逆方向リシェーピング関数によって生成されたコードワードと元のHDRコードワードとの差を最小にするコードワードインデックスを検索することによって構築することができる。各入力HDRコードワードbについて、最適な再構成を得るには、理想的な逆方向リシェーピング出力を可能な限りbに近づける必要がある。b値が与えられた場合、順方向リシェーピングからのマッピングされた値はkであると仮定され、kは有効なSDRコードワード範囲全体の中にあり得る。逆方向リシェーピングTk* B,(l),*を通して各々の有効なSDRコードワードを取り入れることによって、対応する逆方向マッピング済みHDR値bを見つけることができる。逆方向にマッピングされたすべてのHDR値Tk B,(l),*の中から、元の入力HDRコードワードbとの差が最小であるTk* B,(l),*を見つけることができる。つまり、入力bの場合、順方向リシェーピングマッピングは、bをTb F,(l),*=k*にマッピングする必要がある。例示的な処理が表7に示される。
Figure 0007329155000032
図2は、ピボット間の連続性と可逆性の制約に従って順方向及び逆方向のリシェーピング関数を生成する、前述の処理を要約した処理パイプラインの例を示している。参照HDR及びSDR画像が与えられた場合、ステップ205で、順方向リシェーピング関数の第1セットが構築され、各セットは入力HDR画像の特定の特性、例えば各フレームの平均輝度のメトリックに対して最適化される。例えば、一実施形態では、制限なく、表1及び表2に記載されているようなCDFマッチング基準を使用して、このようなリシェーピング関数を生成することができる。
ステップ210では、順方向リシェーピング関数の第1セットを使用して、例えば表3に示す処理を使用して、逆方向リシェーピング関数の第1セットを構築する。次に、ステップ215で、a)このセット内のすべての関数がピボットの共通セットを共有するという制約の下で、逆方向リシェーピング関数の第1セットに区分近似を適用することによって、逆方向リシェーピング関数の第2セットを構築する。例示的な処理が表4に提供される。
画像の品質を向上させ、視覚的なアーティファクトを減らすために、ステップ220で、順方向リシェーピング関数の第2セットの多項式表現が、近隣のピボットポイント値の間の距離を減らすようにさらに最適化されるため、逆方向リシェーピング関数の出力セットが生成される。例示的な処理が表5及び6に提供される。
この出力順方向リシェーピング関数のセット(最適化されたギャップを持つ)が与えられると、ステップ225は、参照HDR入力と再構築HDR入力(出力逆方向リシェーピング関数を使用)のコードワード間の距離が最小化されるという制約の下で、順方向リシェーピング関数の出力セットを生成する。例示的な処理が表7に提供される。
処理ブロック220に戻ると、図3は、実施形態による逆方向リシェーピング関数のマルチセグメント表現での2つの2次多項式セグメントの間のギャップを縮小する例示的な処理を示す。表6に示すように、セグメントm>0の場合、2つのセグメント間のギャップを減らすことは、次のステップを含む:
ステップ305:初期化このステップは、歪み(D)を大きな数値に初期化し、l番目のリシェーピング関数でm番目とm+1番目のセグメントの元の多項式係数が与えられると、m番目のセグメント内のコードワードとピボットポイントに対してHDR予測値をどのように計算するかを設定する。例えば、
Figure 0007329155000033
ステップ310は反復処理を開始し、a'm,0 (l)in[A,B]の値範囲、インクリメントC(例えば、限定ではなく、A=-am,0 (l),B=3・am,0 (l),及びC=0.001am,0 (l))について:
ステップ315で、他の2つの係数a'm,1 (l)及びa'm,2 (l)を計算する(式(10)参照)。
ステップ320で、総歪みを計算する(表6参照):
Figure 0007329155000034
ステップ325で、D’<Dの場合、更新済み多項式係数の計算されたセットが、新しい最適多項式係数のセットとして、以前のものを置き換える。
反復処理は、[A,B]内のa'm,0 (l)のすべての値が処理されるまで繰り返される。
ステップ340で、反復処理の最後に、最適多項式係数の最終セット(am,j (l),*,j=0,1,及び2)が出力される。
図3のプロセスは、すべてのセグメント及び逆方向リシェーピング関数のセット内のすべてのL関数に対して繰り返される。
第1セグメント(例えば、m=0)については、同じ反復処理を適用してもよいが、変動は小さい。初期化(式(15)を参照、ただしm=0の場合)の後、a0,0 (l),*は元の係数と等しい必要があるため、ステップ310の反復処理は、ステップC0でa'0,1 (l)を範囲[A0,B0]で変化させる。ここで、実施形態では(表5を参照)、A0=-a0,1 (l),B0=3・a0,1 (l),及びC0=0.001a0,1 (l)である。a0,0 (l),*及びa'0,1 (l)が与えられると、式(11)及び(16)を適用して、ステップ315及び320でa'0,2 (l)及び歪みD'を計算できる。
最後のセグメント(m=K)について、j=0,1,2のaK+1,j (l)値(式(15)参照)は、式(12)を使用して計算される。
リシェーピング関数補間
L個の事前に計算された順方向リシェーピング関数のセットが与えられ、異なる適応制御信号{r(0),r(1),…r(L-1)}のセットの値に対して各々計算されたもの、例えばrは平均輝度値を表す場合、3つの色平面(例えば、YCbCr)に対する対応する順方向リシェーピング関数は次のように表すことができる:
Figure 0007329155000035
2つの事前に計算された値の間の新しい制御信号値(r)、すなわちr(l)≦r<r(l+1)が与えられたとき、既存の事前に計算された関数から新しい順方向リシェーピング関数を導出することが望まれる。新しい再構成されたHDRサンプルが2つの近接サンプルから補間できると仮定し、次式:
Figure 0007329155000036
とすると、線形補間を使用して、HDR補間値は次のように表すことができる:
Figure 0007329155000037
次にルマ及びクロマリシェーピング関数の補間について検討する。
ルマ補間関数の補間
式(15)と(16)より、
Figure 0007329155000038
あるいは、関数形式を次のように表すこともできる:
Figure 0007329155000039
すべてのピボットポイントが整列している場合、実施形態では、各セグメントの多項式係数の補間セットを直接生成することによって、補間関数を生成することができる。例えば、限定ではなく、2次多項式を持つマルチセグメント多項式形式を考える。検討されるHDR範囲がm番目のピース/セグメント内にあると仮定すると、l番目とl+1番目の順方向リシェーピング関数を使用した対応するSDRリシェーピング値は次のように表すことができる:
Figure 0007329155000040
多項式補間の後、新しい多項式係数は次の通りである:
Figure 0007329155000041
次に、補間されリシェーピングされたSDR値は次のように表すことができる:
Figure 0007329155000042
逆方向リシェーピング関数BRj r,y()も同様に構築できる。
クロマリシェーピング関数の補間
実施形態では、一般性を失うことなく、(例えば、上述のようにルマコンポーネントについて)リシェーピング関数をマルチセグメント多項式として表現する代わりに、クロマ値がルマ及びクロマ値の両方の組み合わせに基づき予測される、マルチカラーチャネル、Ref.[4]及びRef.[6]で議論されている多重回帰予測などの代替スキームを使用してリシェーピングを表現することができる。
Ref.[6]では、r(l)≦r<r(l+1)が与えられると、MMR係数が2つの近傍MMR係数の線形結合にもなり得ることが示された。或いは、
Figure 0007329155000043
ここで、
Figure 0007329155000044
はl次リシェーピング関数のMMR係数のセットを示す。代替として、
Figure 0007329155000045
ここで、Cは色成分c0又はc1(例えば、Cb又はCr)である。
図4は、基本順方向及び逆方向リシェーピング関数の補間に基づく実施形態によるエンコーダのリシェーピングの例を示す。図4に示すように、順方向リシェーピング段は、基本順方向リシェーピング関数のセット(405)、2つの基本順方向リシェーピング関数から補間することによって新しい順方向リシェーピング関数(412)を生成できる関数補間ユニット(410)、生成された順方向関数(412)を適用してリシェーピング信号(417)、例えばSDR信号を生成する順方向リシェーピングユニット(415)を含んでよい。
順方向リシェーピング関数(412)が与えられると、エンコーダは逆方向又は逆方向リシェーピング関数(例えば、150)のパラメータを生成することができる(例えば、Ref.[5]を参照)。これは、図1に示したようにデコーダへ送信され得る。あるいは、図4に示すように、エンコーダは、別の逆方向リシェーピング段を含むことができ、これは、基本逆方向リシェーピング関数のセット(420)と、2つの基本逆方向リシェーピング関数から補間することによって新しい逆方向リシェーピング関数(427)を生成することができる第2関数補間ユニット(425)を含むことができる。逆方向リシェーピング関数のパラメータはメタデータとして通信することができる。前述のように、リシェーピング関数は、入力HDR信号の平均輝度のメトリックに基づいて選択されてよい。
復号のために、デコーダは図1Bのシステム機能を利用してもよい。別の実施形態では、通信されるメタデータの量を減らすために、エンコーダによって使用されているL1-mid値が与えられると、デコーダ側で関数補間を実行することもできる(例えば、Ref.[6]を参照)。
参考文献
これらの参考文献の各々は、参照によりその全体がここに組み込まれる。
[1]G-M, Su et al., “Encoding and decoding reversible, production-quality single-layer video signals,” PCT Application, Ser.No.PCT/US2017/023543, filed on March 22, 2017, WIPO Publication WO2017/165494
[2]Q. Song et al., “High-fidelity full-reference and high-efficiency reduced reference encoding in end-to-endsingle-layer backward compatible encoding pipeline,” PCT Application, Ser. No. PCT/US2019/031620, filed on May 9, 2019, WIPO Publications, WO2019/217751
[3]B. Wen et al., “Inversel uma/chroma mappings withhistogram transfer and approximation,”U.S. Patent 10,264,287, issued on April 16, 2019
[4]G-M. Su et al., “Multiple color channel multiple regression predictor,” U.S. Patent 8,811,490
[5]A. Kheradmand et al., “Block-based content-adaptive reshapingf or high-dynamic range,”U.S. Patent 10,032,262
[6]H.Kaduetal.,“Interpolation of reshapingfunctions,“ PCT Application, Ser. No. PCT/US2019/063796, filed on Nov. 27, 2019
<例示的なコンピュータシステムの実装>
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路(IC)装置、FPGA(field programmable gate array)、又は別の構成可能な又はプログラム可能な論理装置(PLD)、個別時間又はデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はこのようなシステム、装置、又はコンポーネントのうちの1つ以上を含む機器により実装されてよい。コンピュータ及び/又はICは、本願明細書に記載したようなリシェーピング関数の生成に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び/又はICは、本願明細書に記載したリシェーピング関数の生成に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の1つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のリシェーピング関数の生成のための方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的有形媒体を含んでよい。本発明によるプログラムプロダクトは、種々の非一時的有形形式うちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CDROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。
コンポーネント(例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等)が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及(「手段」の言及を含む)は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する(例えば、機能的に均等な)任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。
<均等物、拡張機能、代替案、等(Equivalents, Extensions, Alternatives and Miscellaneous)>
HDR画像のためのリシェーピング関数の生成に関する例示的な実施形態が従って記載される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

Claims (19)

  1. プロセッサによりリシェーピング関数を生成する方法であって、前記方法は、
    第1ダイナミックレンジの第1入力画像セット及び第2ダイナミックレンジの第2入力画像セットにアクセスするステップであって、前記第1入力画像セットと前記第2入力画像セットとの間の対応するペアは同じシーンを表す、ステップと、
    前記第1入力画像セット及び前記第2入力画像セットに基づき生成された逆方向リシェーピング関数の第1セットにアクセスするステップであって、前記逆方向リシェーピング関数の第1セットの中の各逆方向リシェーピング関数は、前記第1ダイナミックレンジの第1コードワード表現から前記第2ダイナミックレンジの第2コードワード表現へ、ピクセルコードワードをマッピングし、各逆方向リシェーピング関数は、共通ピボットのセットを有する前記逆方向リシェーピング関数のセグメントに基づく表現のリシェーピングインデックスパラメータ及びセグメントパラメータにより特徴付けられる、ステップと、
    前記逆方向リシェーピング関数の第1セットにおける前記セグメントパラメータを調整して、前記逆方向リシェーピング関数の第1セットと同じ共通ピボットのセットを有するが、調整済みセグメントに基づく多項式表現を有する、逆方向リシェーピング関数の出力セットを生成するステップと、
    を含み、
    逆方向リシェーピング関数における前記セグメントパラメータを調整して、更新済み多項式係数を生成することは、
    第1ピボットと第2ピボットとの間の逆方向リシェーピング関数のセグメントについて、前記セグメントは3つの元の多項式係数による元の多項式表現で表され:
    i)前記セグメントの前記3つの元の多項式係数にアクセスし、
    ii)歪みパラメータを第1歪み値に初期化し、
    iii)前記セグメントの第1更新済み多項式係数の1つ以上の新しい値について、
    (a)前記第1ピボット及び前記第2ピボット、前記第1更新済み多項式係数の新しい値、及び前記第1ピボット及び前記第2ピボットの対応する出力に基づき、前記セグメントの前記元の多項式表現に従い、前記セグメントの第2更新済み多項式係数及び第3更新済み多項式係数を求め、
    (b)歪み基準を満たすと、前記更新済み多項式係数で前記セグメントの多項式係数の最適セットを更新する、
    ことを含む、方法。
  2. 前記歪み基準を満たすことは、
    前記更新済み多項式係数を求めた後に、
    前記更新済み多項式係数及び前記元の多項式係数に基づき、新しい歪みパラメータ値を計算し、
    前記第1歪み値を前記新しい歪みパラメータ値と比較し、
    前記新しい歪みパラメータ値が前記第1歪み値より小さい場合、前記歪み基準を満たし、前記第1歪み値を前記新しい歪みパラメータ値により更新する、
    ことを含む、請求項1に記載の方法。
  3. 前記新しい歪みパラメータ値を計算することは、前記セグメント内の全部のコードワードについて、前記元の多項式表現及び前記更新済み多項式係数を用いて生成された出力の間の累積誤りを計算することを含む、請求項2に記載の方法。
  4. 出力逆リシェーピング関数のセットに基づいて、出力順方向リシェーピング関数のセットを生成するステップであって、順方向リシェーピング関数は、前記第2ダイナミックレンジの前記第2コードワード表現から前記第1ダイナミックレンジの前記第1コードワード表現にピクセルコードワードをマッピングする、ステップ、を更に含む請求項1~3のいずれかに記載の方法。
  5. 出力逆方向リシェーピング関数に対応する出力順方向リシェーピング関数を生成することは、
    第2ダイナミックレンジの各入力コードワードについて、前記逆方向リシェーピング関数によって生成されるコードワードと前記入力コードワードとの差を最小にする出力逆方向リシェーピング関数のコードワードインデックスを識別することを含む、請求項4に記載の方法。
  6. 前記リシェーピングインデックスパラメータが、前記第2ダイナミックレンジにおける入力画像の平均輝度の測定値を含む、請求項1~5のいずれかに記載の方法。
  7. 前記第1ダイナミックレンジが標準ダイナミックレンジを含み、前記第2ダイナミックレンジが高ダイナミックレンジを含む、請求項1~6のいずれかに記載の方法。
  8. 2つ以上のセグメントを含む逆方向リシェーピング関数のセグメントに基づく表現における第1セグメントm=0について、元の多項式表現が
    Figure 0007329155000046
    を含み、a0,0 (l),a0,0 (l),及びa0,2 (l)は、元の多項式係数を表し、lは、逆方向リシェーピング関数の第1セットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、sb Yは、第1ピボット(λ)と第2ピボット(λ)との間の第1ダイナミックレンジにおける入力コードワードを示し、第1更新済み多項式係数a'0,1 (l)が与えられたとき、第2及び第3更新済み多項式係数を求めることが、
    Figure 0007329155000047
    を計算することを含み、a0,0 (l),*はa0,0 (l)の最適更新済み係数を表し、a'0,2 (l)はa0,2 (l)の更新済み係数を表し、
    Figure 0007329155000048
    は前記第2ピボットの逆方向リシェーピング関数における第2セグメントの元の多項式表現の出力を表す、請求項1~7のいずれかに記載の方法。
  9. 前記第1更新済み多項式係数は、値の範囲[-a0,1 (l),n・a0,1 (l)]で反復し、nは5より小さい整数値である、請求項8に記載の方法。
  10. 前記新しい歪みパラメータ値(D')を計算することが、
    Figure 0007329155000049
    を計算することを含む、請求項2に従属する請求項8又は9に記載の方法。
  11. セグメントm、m>0について、逆方向リシェーピング関数のセグメントに基づく表現において、前記元の多項式表現は、
    Figure 0007329155000050
    を含み、ここで、am,0 (l)、am,0 (l)、及びam,2 (l)は、前記元の多項式係数を表し、lは、前記逆方向リシェーピング関数のセットにおける逆方向リシェーピング関数のリシェーピングインデックスパラメータを表し、sb Yは、前記第1ピボット(λm)と前記第2ピボット(λm+1)との間の前記第1ダイナミックレンジにおける入力コードワードを表し、前記第1更新済み多項式係数(a'm,0 (l))が与えられたとき、前記第2更新済み多項式係数(a'm,1 (l))及び前記第3更新済み多項式係数(a'm,2 (l))を求めることは、
    Figure 0007329155000051
    を計算することを含み、前記第2ピボットの逆方向リシェーピング関数におけるセグメントm+1の元の多項式表現の出力を表す、請求項1~10のいずれかに記載の方法。
  12. 前記第1更新済み多項式係数は、値の範囲[-am,0 (l),n・am,0 (l)]で反復し、nは5より小さい整数値である、請求項11に記載の方法。
  13. 前記新しい歪みパラメータ値(D')を計算することが、
    Figure 0007329155000052
    を計算することを含む、請求項2に従属する請求項11又は12に記載の方法。
  14. 前記逆方向リシェーピング関数の出力セットの中の2つの逆方向リシェーピング関数の間を補間することにより、新たな逆方向リシェーピング関数を生成するステップをさらに含み、前記2つの逆方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項1~13のいずれかに記載の方法。
  15. 出力順方向リシェーピング関数のセットの中の2つの順方向リシェーピング関数の間を補間することにより、新たな順方向リシェーピング関数を生成するステップをさらに含み、前記2つの順方向リシェーピング関数は、異なるリシェーピングインデックスパラメータによって特徴づけられる、請求項4若しくは5に従属する請求項14に記載の方法。
  16. 2つの逆方向又は順方向リシェーピング関数の間の補間は、前記2つの逆方向又は順方向リシェーピング関数の多項式係数のセットに基づいて、前記新たな逆方向又は順方向リシェーピング関数の各セグメントの多項式係数の補間セットを生成することを含む、請求項15に記載の方法。
  17. 符号化されるべき入力HDR画像の平均輝度の測定に基づいて、前記2つの逆方向又は順方向リシェーピング関数を選択するステップ、をさらに含む請求項14~16のいずれか一項に記載の方法。
  18. 1つ以上のプロセッサにより請求項1~17のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
  19. プロセッサを含み、請求項1~17のいずれか一項に記載の方法のうちのいずれかを実行するよう構成される機器。
JP2022563968A 2020-04-21 2021-04-20 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数 Active JP7329155B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063013063P 2020-04-21 2020-04-21
EP20170567 2020-04-21
EP20170567.0 2020-04-21
US63/013,063 2020-04-21
PCT/US2021/028237 WO2021216607A1 (en) 2020-04-21 2021-04-20 Reshaping functions for hdr imaging with continuity and reversibility constraints

Publications (2)

Publication Number Publication Date
JP2023515264A JP2023515264A (ja) 2023-04-12
JP7329155B2 true JP7329155B2 (ja) 2023-08-17

Family

ID=75787366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022563968A Active JP7329155B2 (ja) 2020-04-21 2021-04-20 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数

Country Status (7)

Country Link
US (1) US12382106B2 (ja)
EP (1) EP4140129A1 (ja)
JP (1) JP7329155B2 (ja)
CN (1) CN115699734B (ja)
MX (1) MX2022013193A (ja)
PH (1) PH12022552811A1 (ja)
WO (1) WO2021216607A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022072884A1 (en) 2020-10-02 2022-04-07 Dolby Laboratories Licensing Corporation Adaptive local reshaping for sdr-to-hdr up-conversion
US12244872B2 (en) 2020-11-11 2025-03-04 Dolby Laboratories Licensing Corporation Wrapped reshaping for codeword augmentation with neighborhood consistency
JP7602694B2 (ja) 2021-08-16 2024-12-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオストリーミングにおける最小距離制約および平均距離制約の適用
US12506894B2 (en) 2021-08-30 2025-12-23 Dolby Laboratories Licensing Corporation Reshaper for learning based image/video coding
WO2023215108A1 (en) 2022-05-05 2023-11-09 Dolby Laboratories Licensing Corporation Stereoscopic high dynamic range video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017024042A2 (en) 2015-08-04 2017-02-09 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US20170221189A1 (en) 2016-02-02 2017-08-03 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US20180167637A1 (en) 2015-07-16 2018-06-14 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
US20180278967A1 (en) 2015-09-21 2018-09-27 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324622B1 (en) 2011-04-14 2019-09-11 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
US9584811B2 (en) 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
EP3022895B1 (en) 2013-07-18 2019-03-13 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10264287B2 (en) 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
JP6964807B2 (ja) 2018-05-11 2021-11-10 ドルビー ラボラトリーズ ライセンシング コーポレイション エンドツーエンド単一レイヤの下位互換性のある符号化パイプラインにおける、高忠実度の完全参照及び低減参照符号化
EP3621307A1 (en) 2018-09-05 2020-03-11 Koninklijke Philips N.V. Multi-range hdr video coding
EP3891995B1 (en) 2018-12-03 2025-01-01 Dolby Laboratories Licensing Corporation Interpolation of reshaping functions
EP4139884B1 (en) 2020-04-22 2024-02-21 Dolby Laboratories Licensing Corporation Iterative optimization of reshaping functions in single-layer hdr image codec

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180167637A1 (en) 2015-07-16 2018-06-14 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
WO2017024042A2 (en) 2015-08-04 2017-02-09 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US20180278967A1 (en) 2015-09-21 2018-09-27 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
US20170221189A1 (en) 2016-02-02 2017-08-03 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. Minoo, et al.,Description of the reshaper parameters derivation process in ETM reference software,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCTVC-W0031,23rd Meeting: San Diego, USA,2016年01月,pp.1-17

Also Published As

Publication number Publication date
PH12022552811A1 (en) 2024-02-12
JP2023515264A (ja) 2023-04-12
CN115699734A (zh) 2023-02-03
US20230300381A1 (en) 2023-09-21
CN115699734B (zh) 2025-07-11
EP4140129A1 (en) 2023-03-01
BR112022021288A2 (pt) 2022-12-06
US12382106B2 (en) 2025-08-05
WO2021216607A1 (en) 2021-10-28
MX2022013193A (es) 2023-01-04

Similar Documents

Publication Publication Date Title
JP7329155B2 (ja) 連続性及び可逆性を備えたhdr画像化のためのリシェーピング関数
JP7094451B2 (ja) 再構成関数の補間
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
TWI812874B (zh) 張量乘積之b平滑曲線預測子
JP6846442B2 (ja) ハイダイナミックレンジ画像のためのクロマ再構成
CN109155853B (zh) 用于高动态范围图像的色度整形
JP6771656B2 (ja) シングルレイヤー後方互換性コーデックのリアルタイム再構成
JP7049526B2 (ja) 適応的なsdrからhdrへの再構成関数による、hdr画像化におけるバンディングアーチファクトの低減
JP2023532952A (ja) Hdrビデオのクラウド・ベース符号化における作業負荷割り当ておよび処理
JP2023501885A (ja) ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ
JP7309081B2 (ja) Hdrイメージングにおけるブラインド局所再整形
JP7391214B2 (ja) Hdr画像化におけるレート制御認識リシェーピング
JP7541129B2 (ja) オープン・ループ・コーデックにおけるhdr撮像に関する画像予測
JP7543577B2 (ja) チェーンドリシェーピング関数の最適化
JP2023545130A (ja) コーディング効率制約を伴うhdrビデオのための色変換
HK40080979A (en) Reshaping functions for hdr imaging with continuity and reversibility constraints
HK1257716B (en) Encoding and decoding reversible production-quality single-layer video signals

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221115

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7329155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150