[go: up one dir, main page]

TWI666921B - 將高動態範圍影像進行色調映射之方法及裝置 - Google Patents

將高動態範圍影像進行色調映射之方法及裝置 Download PDF

Info

Publication number
TWI666921B
TWI666921B TW103145095A TW103145095A TWI666921B TW I666921 B TWI666921 B TW I666921B TW 103145095 A TW103145095 A TW 103145095A TW 103145095 A TW103145095 A TW 103145095A TW I666921 B TWI666921 B TW I666921B
Authority
TW
Taiwan
Prior art keywords
image
tone
tone mapping
backlight
residual
Prior art date
Application number
TW103145095A
Other languages
English (en)
Other versions
TW201537959A (zh
Inventor
塞巴斯汀 萊塞里
楊尼可 奧利維
法布里斯 拉蘭納克
大衛 托茲
Original Assignee
美商內數位Ｖｃ專利控股股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商內數位Ｖｃ專利控股股份有限公司 filed Critical 美商內數位Ｖｃ專利控股股份有限公司
Publication of TW201537959A publication Critical patent/TW201537959A/zh
Application granted granted Critical
Publication of TWI666921B publication Critical patent/TWI666921B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明係為一種將一影像進行色調映射之方法及裝置，該方法之特徵包括以下步驟：藉由將該影像除以一判定自(11)該影像之背光影像，得到(12)一殘餘影像；及藉由對該殘餘影像進行色調映射，得到(13)一色調映射影像。

Description

將高動態範圍影像進行色調映射之方法及裝置
本發明一般係關於影像/視訊色調映射，尤其本發明的技術領域相關一影像的色調映射，該影像的像素值屬於高動態範圍。
本段落希望向讀者介紹此技藝的各種不同面向，係相關本發明以下所說明及/或主張的各種不同面向。咸信本討論有助於提供讀者背景資訊，對本發明的不同方面有較佳瞭解。因此，應瞭解到，此等陳述將依此觀點加以閱讀，且非作為先前技術的認可。
低動態範圍影像(LDR影像)係以有限位元數(通常為8或10)表示其亮度值的影像，此有限表示法不可用以校正小訊號變化的產生，尤其是在暗及亮的亮度範圍中。在高動態範圍影像(HDR影像)中，為使該訊號在其整個範圍中維持高準確度而延伸訊號表示法。在HDR影像中，像素值通常以浮點格式表示(用於各分量為32位元或16位元，稱為浮點或半浮點)，最通用格式係開放EXR(openEXR)半浮點格式(每RGB分量16位元，即每像素48位元)，或以具有長表示法的整數表示，通常至少16位元。
本發明要解決的問題係提供一種自動或半自動方法，將一HDR影像色調映射成一LDR影像，或藉由延伸，將一序列HDR影像色調映射成一序列LDR影像，因該方法係每影像逐一地應用。
例如，為在傳統LDR相容顯示器上或通常在廣播情節中執行的雙重顏色分級措施中觀看HDR影像，色調映射方法會很有用。
通常，雙重顏色分級措施包括捕捉一HDR影像(或影像序列)，將捕捉到的影像進行顏色分級，並將該HDR影像色調映射成一LDR影像，LDR影像接著將進行顏色分級。
事實上，因意欲顯示一色調映射LDR影像，因此必須達成與該強調HDR場景相容的可見LDR場景基礎，換言之，色調映射必須 至少保留空間一致性到該色調映射影像中，一序列影像的多個色調映射影像之間的時間一致性，總體亮度一致性(即暗HDR場景達到暗LDR場景，反之亦然)，及一HDR影像與一色調映射影像之間的顏色一致性(即儘可能多保留顏色分級)。
雙重顏色分級措施因係在一顏色分級專家控制下產生，達到最高品質用於一LDR影像，藉此確保自動及系統化方法無不受控制的不宜效果。然而，該方法將雙重後製資源合一就必須應付二工作流程，一者用於HDR及一者用於LDR。
並非實際用於所有使用情況，可能的情況是只有HDR序列進行顏色分級。當然，在此一情況中，想要得到一可見LDR影像，因為並非所有用戶皆配備有HDR裝置用於顯示，因此。為顧到這些用戶，必須產生一LDR影像，不用額外或其他另外的顏色分級，即藉由使用一自動色調映射方法以提供LDR影像，具有可接受品質以用於所有內容。
先前技術中存在許多區域或總體色調映射運算子，例如可使用Reinhard所定義的色調映射運算子(E.Reinhard,M.Stark,P.Shirley及J.Ferwerda等人所發表”數位影像的攝影色調再製(Photographic tone reproduction for digital images)”，繪圖學ACM會報21(2002年7月))，或R.Boitard,K.Bouatouch,R.Cozot,D.Thoreau及A.Gruson等人(2012年)，視訊色調映射的時間一致性。在SPIE規程8499中，由A.M.J.van Eijk,C.C.Davis,S.M.Hammel及A.K.Majumdar等人所編輯，數位影像處理之應用(Applications of Digital Image Processing)(第84990D頁至84990D-10頁)。
然而，即若總體色調映射運算子在一序列影像之中保留時間特性如亮度連貫性，總體色調映射運算子在應用到具有許多動態的HDR影像序列時會戲劇性地失敗，因為此類運算子無法表示一較低動態上的空間細節，必有引人注目的銳度損失。
另一方面，區域色調映射運算子在應付影像序列時並無效率，原因是其係基於區域像素鄰區用以捕捉一影像的區域特性，並不會保留一序列影像的總亮度(時間亮度連貫性)。結果，為要應用時間濾波，得到時間亮度連貫性係藉由使用額外複雜處理如物件追蹤或訊框緩衝。
為補救先前技術的一些缺點，本發明提出一種將一影像進行色調映射的方法，其特徵在於包括以下步驟：- 藉由將該影像除以判定自該影像的一背光影像，得到一殘餘影像；及- 藉由將該殘餘影像進行色調映射，得到一色調映射影像。
本方法提供一可見色調映射影像，即感官中的影像，該色調映射影像藝術地產生與該影像中的原場景合理配合且連貫的色調映射場景，因此本方法係反向相容的，原因是該可見色調映射影像可由無法處置高動態範圍的傳統裝置來編碼/解碼及/或顯示。
根據一實施例，該色調映射包括，根據該殘餘影像的像素值的一伽瑪(gamma)校正或S形對數(Slog)校正。
伽瑪校正及SLog校正(使暗及亮資訊無損失)達到具高精確度的一色調映射影像，此外，伽瑪校正及S-log校正避免可見色調映射影像中的平整剪輯區域。
根據一實施例，從該影像中得到背光影像包括以下步驟：- 從該影像的一亮度分量中得到一背光影像；- 利用該影像的一亮度平均值以調變該背光影像。
利用該影像的一亮度平均值以調變該背光影像，提升該影像與殘餘影像之間的總體亮度一致性，如該影像中的一亮區域在殘餘影像中看似明亮，及該影像中的一暗區域在殘餘影像中看似暗淡。
根據一實施例，從該影像中得到該背光影像尚包括以下步驟：- 在調變該背光影像前，使該背光影像藉由其平均值進行正規化；此步驟容許取得一中灰階在一(mid-gray-at-one)的背光影像以用於該影像。
根據一實施例，該方法尚包括該色調映射影像的定標。
此步驟將得自該色調映射影像的一影像的中間灰階放在一適當值，以用於觀看及潛在地用於編碼兩者。
根據一實施例，該方法尚包括剪輯該色調映射影像。
因編碼或顯示該剪輯色調映射影像需要一有限位元數(通 常8-10位元)，因此剪輯該色調映射影像確保一反向相容性具有傳統基礎建設(編解碼、顯示、分配頻道等)。接著，例如可透過此類基礎建設傳送編碼資料，將該影像的一低動態版本顯示在一遠端顯示器上。
根據本發明的另一方面，本發明涉及一種將一影像進行色調映射的裝置。
以下配合附圖說明本發明的一較佳實施例，將使本發明的特定本質以及本發明的其他目的、有利點、特點及用途更明朗化。
10‧‧‧分量得到步驟
11‧‧‧判定背光影像步驟
12‧‧‧殘餘影像得到步驟
13‧‧‧色調映射影像得到步驟
14‧‧‧定標步驟
15‧‧‧剪輯步驟
50‧‧‧裝置
52‧‧‧微處理器(或CPU)
53‧‧‧ROM(或唯讀記憶體)
54‧‧‧RAM(或隨機存取記憶體)
55‧‧‧I/O(輸入輸出)介面
56‧‧‧電池
a i ，‧‧‧加權係數
Ba,Bal‧‧‧背光影像
Ba灰階‧‧‧中灰階在一(mid-gray-at-one)的背光影像
Ba調變‧‧‧調變背光影像
BAM‧‧‧背光影像Bal判定模組
BI‧‧‧背光影像Ba判定模組
BM‧‧‧調變模組
C(i)‧‧‧色彩分量
CLI‧‧‧剪輯模組
cst定標‧‧‧定標因數
cst調變‧‧‧調變係數
I‧‧‧影像
IC‧‧‧分量得到模組
HL‧‧‧亮度平均值計算模組
L‧‧‧亮度分量
L 平均值 ‧‧‧亮度平均值
N‧‧‧正規化模組(圖4)；可用位元數(步驟14)
Res‧‧‧殘餘影像
Resc‧‧‧定標的色調映射影像
Ress‧‧‧作為結果的殘餘影像
Resv‧‧‧色調映射影像
SCA‧‧‧定標模組
TDR‧‧‧目標動態範圍
TMO‧‧‧色調映射影像得到模組
ψ i ‧‧‧形狀函數
以下將參考附圖以描述本發明的實施例，圖中：圖1係根據本發明的一實施例以方塊圖顯示一影像色調映射方法的步驟；圖2係根據本發明的一實施例以方塊圖顯示該方法的一步驟；圖3係根據本發明的一實施例以方塊圖顯示該方法的一步驟；圖4係根據本發明的一實施例以方塊圖顯示該方法的一步驟；圖5顯示一裝置的架構範例。
以下本文中將參考附圖更詳細說明本發明，其中顯示本發明的數個實施例，然而本發明可具體表現在許多替代形式中，不應解釋為侷限於本文中提出的實施例。因此，雖然本發明可作出各種不同的修改及替代形式，但在附圖中藉由範例顯示本發明的數個特定實施例，並將在本文中詳細說明。然而，應瞭解並無意圖將本發明侷限於揭示的特殊形式，相反地，本發明將涵蓋如後附申請專利範圍所界定本發明的精神及範疇內包含的所有修改、同等項及替代。整個附圖說明中，相同數字符號表示相同元件。
本文中使用的術語僅為說明特殊實施例，並不希望限制本發明，如本文中使用單數形"一"、一個"及"該"意欲也包括複數形，除非是上下文另有清楚指明。尚應瞭解，本說明書中使用"包括"、"包括有"、"包含"及/或"包含有"等用詞時，明確指出所述特點、整數、步驟、操作、元件及/或組件的存在，但不排除一或多個其他特點、整數、步驟、操作、元件、組件及/或群組的存在或添加。此外，當表示一元件係"回應"或"連 接"到另一元件時，該元件可直接回應或連接到該另一元件，或可存在插入元件。對照下，當表示一元件係"直接回應"或"直接連接"到另一元件時，就無插入元件存在。本文中使用的"及/或"一詞包含列出的一或多個關聯項的任何及所有組合，並可縮寫為"/"。
應瞭解，本文中使用的第一、第二等用詞雖然用以說明不同元件，但此等元件不應受限於此等用詞，此等用詞僅用以區別一元件與另一元件，例如，不背離本發明的教示，第一元件可稱作第二元件，同樣地，第二元件可稱作第一元件。
雖然有些附圖在通訊路徑上包含箭頭用以顯示一主要通訊方向，但應瞭解通訊可發生在所示箭頭的相反方向。
有些實施例係以方塊圖及操作流程圖說明，其中各區塊表示一電路元件、模組或部分碼，其包括一或多個可執行指令用以實施指定的(數個)邏輯函數。而且應注意，在其他實作中，區塊中所示該(等)函數可不依所示順序發生。例如，取決於所涉及功能性，顯示為連續的二區塊事實上係大體上同時執行，或該等區塊有時可在相反順序中執行。
本文中參閱"一個實施例"或"一實施例"意指配合該實施例所說明的一特殊特點、結構或特性可包含在本發明的至少一實作中。在說明書的不同地方出現"在一實施例中"或”根據一實例”的用語，未必全參閱相同實施例，分開或替代的實施例也未必與其他實施例互不相關。
在申請專利範圍中出現的參考數字符號係僅藉由繪示說明，在申請專利範圍的範疇上不應具有任何限制作用。
雖未明確說明，但本發明的實施例及變化可運用在任何組合或子組合中。
本發明係描述將一影像編碼/解碼，卻延伸到將一序列影像(視訊)編碼/解碼，原因是以下將說明將該序列的各影像循序地編碼/解碼。
圖1係根據本發明的一實施例以方塊圖顯示一影像I色調映射方法的步驟。
在步驟10中，一模組IC得到待進行色調映射的影像I的亮度分量L及潛在地至少一色彩分量C(i)。
例如，當影像I屬於色彩空間(X,Y,Z)時，藉由分量Y的一變換f(.)得到亮度分量L，如L=f(Y)。
當影像I屬於色彩空間(R,G,B)時，藉由以下公式提供的一線性組合得到亮度分量L，例如在709色域中，：L=0.2127.R+0.7152.G+0.0722.B
在步驟11中，一模組BAM從影像I的亮度分量L中判定出一背光影像Bal。
根據步驟11的一實施例，如圖2所繪示，一模組BI判定一背光影像Ba作為形狀函數ψ i 的一加權線性組合，由以下公式提供：Ba=Σ i a i ψ i (1)a i 係加權係數。
因此，從一亮度分量L中得到背光影像Ba在於找出最佳加權係數(亦潛在地在於最佳形狀函數，若先前尚未知)，為使背光影像Ba適合亮度分量L。
許多熟知方法可用以找出加權係數a i ，例如，可使用最小均方方法，使背光影像Ba與亮度分量L之間的均方誤差減到最小。
本發明未侷限於任一特定方法用以得到背光影像Ba。
可注意到，形狀函數可係一顯示背光的真實物理回應(例如由LED製成，各形狀函數則對應到一LED的回應)，或可係一純數學構造為要最佳適合該亮度分量。
其支援大小及其中心可係該等形狀函數的一些參數。
例如，若其支援係極大(實質上無限大)，則只取得一常數背光影像，及作為結果的色調映射方法係同等於一總體色調映射運算子。相反地，若具有極小支援，則作為結果的色調映射方法係同等於一區域色調映射運算子，具有上述區域色調映射運算子的所有缺點。
實際上，選擇該等形狀函數的支援大小，為要取得一色調映射方法，其並非總體亦非極區域，因為該方法使用平滑亮度動態縮小，其係區域的但具有大的鄰區。
使用此類形狀函數容許應付極高動態，但因其區域支援並 未犠牲空間細節。
根據此實施例，背光影像Bal(從步驟11來的輸出)係公式(1)所提供的背光影像Ba。
根據步驟11的一實施例，如圖3所繪示，一模組BM利用一亮度平均值L 平均值 (藉由一模組HL所得到)來調變背光影像Ba(由公式(1)提供)。
根據此實施例，背光影像Bal(從步驟11來的輸出)係經調變的背光影像。
根據一實施例，模組HL係配置用以計算在整個亮度分量L中的亮度平均值L 平均值 。
根據一實施例，模組HL係配置用以藉由以下公式計算亮度平均值L 平均值 ： β係一小於1的係數，及E(X)係亮度分量L的數學期望值(平均值)。
最後的這個實施例係有利的，原因是該實施例避免亮度平均值L 平均值 受到具有極高值的少數像素影響，當影像I屬於一序列影像時，該等具有極高值的像素通常導致極擾人的時間平均亮度不穩定。
本發明未侷限於計算亮度平均值L 平均值 的特定實施例。
根據此實施例的一變化，如圖4所繪示，一模組N使背光影像Ba(由公式(1)所提供)由其平均值E(Ba)進行正規化，以便取得一中灰階在一的背光影像Ba 灰階 以用於該影像(或用於所有影像，若影像I屬於一序列影像)：
接著，模組BM係配置成，藉由使用以下公式，利用影像亮度分量L的低空間頻率版本L lf ，將中灰階在一的背光影像Ba 灰階 進行調變： cst 調變 係一調變係數，及α係小於1的另一調變係數，通常係1/3。
根據此變化，背光影像Bal(從步驟11來的輸出)係公式(2) 所提供的調變背光影像Ba 調變 。
可注意到，調變係數cst 調變 系經調整用以取得一良好觀看亮度用於殘餘影像，並高度取決於得到背光影像的過程，例如，cst調變 1.7用於最小均方所得到的一背光影像。
實際上，藉由線性，用以調變背光影像的所有操作應用到背光係數a i 作為一校正因數，其將係數a i 變換成新係數，以便取得：
在步驟12中，藉由該影像除以背光影像Bal，算出一殘餘影像Res。
較確切地，影像I的亮度分量L及潛在地各色彩分量C(i)(得自模組IC)除以背光影像Bal，此除法係每像素逐一地完成。
例如，當影像I的分量R,G或B係表示在色彩空間(R,G,B)時，得到分量RRes,、GRes及BRes如下：Rres=R/Bal,Gres=G/Bal,Bres=B/Bal,例如，當影像I的分量X,Y或Z係表示在色彩空間(X,Y,Z)時，得到分量XRes,YRes and ZRes如下：Xres=X/Bal Yres=Y/Bal Zres=Z/Bal
在步驟13中，藉由將殘餘影像Res進行色調映射，得到一色調映射影像Resv。
因為殘餘影像Res的動態範圍太高及因為此殘餘影像Res顯示過度可見假影，會看似見不到殘餘影像Res，將殘餘影像進行色調映射對此等缺點中的至少一者作出補救。
本發明未侷限於任何特定色調映射運算子。
有利的是，為容許原HDR影像的重建，色調映射運算子應係可逆的。
根據步驟13的一實施例，將殘餘影像進行色調映射包括，根據該殘餘影像的像素值的伽瑪校正或SLog校正。
接著例如藉由以下公式提供色調映射影像Resv： Res v =A.Res γ A係一常數值，γ係一伽瑪曲線的係數，例如等於1/2.4。
或者，例如藉由以下公式提供色調映射影像Resv：Res v =a.ln(Res+b)+c a,b,c係判定的一SLog曲線的係數，使0及1係不變的，及該SLog曲線的導數當由在1以下的一伽瑪曲線延長時係持續在1，因此，a,b,c係參數γ的函數。
在殘餘影像Res上應用一伽瑪校正，將暗區域往上拉升但不使夠高光線降低，用以避免亮像素的燃燒效果。
在殘餘影像Res上應用一SLog校正，使夠高光線降低但不往上拉升暗區域。
接著，根據步驟13的一實施例，模組TMO根據殘餘影像Res的像素值，應用伽瑪校正或SLog校正。
例如，當殘餘影像Res的像素值在一臨界值(等於1)以下時，則應用伽瑪校正，否則應用SLog校正。
藉由構造，色調映射影像Resv取決於影像I的亮度，通常具有一平均值或多或少接近1，運用上述伽瑪-Slog結合尤其有效率。
根據該方法的一實施例，在步驟14中，一模組SCA藉由將色調映射影像Resv的各分量乘以一定標因數cst定標，將色調映射影像Resv進行定標。
接著，由以下公式提供定標的色調映射影像Ress：Ress=cst定標.Resv
較佳地，將定標因數cst定標定義，將色調映射影像Resv的值映射在0至最大值2N-1之間，其中N係可用位元數，例如作為一輸入用於藉由一編碼器或一顯示器的編碼。
藉由將值1(其粗略係色調映射影像Resv的平均值)映射到中灰階值2N-1自然得到此結果，因此，用於具有標準位元數N=8的一色調映射影像Resv，等於120的定標因數係一極前後一致的值，原因是極接近在27=128的中間灰階。
根據該方法的一實施例，在步驟15中，模組CLI剪輯色調映射影像Resv用以限制其動態範圍到一目標動態範圍TDR，其例如係根據一編碼器或一顯示器的能力所定義。
根據最後的此實施例，作為結果的殘餘影像Resc係根據該方法的實施例，例如藉由以下公式所提供：Resc=最大值(2N,Resv)
Resc=最大值(2N,Ress)
本發明未侷限於此類剪輯(最大值(.))，但延伸到其他任何剪輯。
結合該等定標及剪輯實施例達到一殘餘影像Ressc，由以下公式提供：Ressc=最大值(2N,cst定標*Resv)
或藉由Ressc=最大值(2N,cst定標*Ress)
上述色調映射、定標及剪輯係參數化處理過程，該等參數可係固定或不固定的，在後者情形中，該等參數或其中一些者可藉由一編碼器編碼到一位元流中，及/或傳送到一遠端顯示器，及/或從一區域記憶體或遠端記憶體得到。
可注意到，該等參數例如α、cst 調變 、cst 定標 、γ、β的選擇提供色調映射的選擇空間，其最佳適合該內容以遵循專家在後製及顏色分級中的品味。而且，用以產生背光的形狀函數的位置及大小係其他可供選擇的參數。
另一方面，為使所有各式各樣眾多影像可接受，可定義通用參數，當一終端用戶或其他任何區域構件或外部構件選擇上述參數時，藉由對照到半自動參數化色調映射，這達到完全自動色調映射。
在圖1至4中，該等模組係功能單元，其與可區別的實體單元可相關或不相關，例如，此等模組或其中有些模組可共同在單一零件或電路中，或對一軟體的功能性作出貢獻。反過來說，一些模組可潛在地由數個分開實體所組成，適合本發明的裝置或使用純硬體來實現，例如使用專用硬體如ASIC或FPGA或VLSI(分別是«應用特定積體電路»、«現場可程式閘陣列»、«極大型積體電路»)，或由嵌入一裝置中的數個積體電 子零件來實現，或由硬體與軟體零件混合來實現。
圖5繪示一裝置50的示範架構，其可配置用以執行相關圖1至4所述方法。
裝置50包括以下元件，其藉由一資料及位址匯流排51鏈接起來：- 一微處理器52(或CPU)，其例如係一DSP(或數位訊號處理器)；- 一ROM(或唯讀記憶體)53；- 一RAM(或隨機存取記憶體)54；- 一I/O(輸入/輸出)介面55，用以接收從一應用程式來的資料以用於傳送；及- 一電池56。
根據一變化，電池56係在該裝置的外部，圖5的此等元件各為熟諳此藝者所熟知，在所述各記憶體中，本發明說明書中所使用的«暫存器»一詞可對應到小容量區(一些位元)或對應到極大區(如整個程式，或大量接收或解碼資料)。ROM 53包括至少一程式及數個參數，根據本發明方法的演算式係儲存在ROM 53中。當開關打開時，CPU 52將RAM中的程式上傳及執行對應指令。
RAM 54包括，在一暫存器中係由CPU 52執行及裝置50的開關打開後上傳的程式，在一暫存器中係輸入資料，在一暫存器中係該方法在不同狀態中的中間資料，及在一暫存器中係執行該方法所使用的其他變數。
本文中說明的實作例如可實現在一方法或一處理過程、一裝置，一軟體程式，一資料流，或一訊號中。即若只在單一形式實作的情境中討論(例如只討論作為一方法或一裝置)，所討論特點的實作亦可實現在其他形式中(例如一程式)。一裝置例如可實現在適當硬體、軟體及韌體中，該等方法例如可實現在一裝置如一處理器中，其通常指處理裝置，例如包括電腦、微處理器、積體電路或可程式邏輯裝置。處理器亦包括通訊裝置如電腦、手機、可攜式或個人數位助理器("PDA")，及有助於終端用戶間資訊通訊的其他裝置。
本文中所述各種不同處理過程及特點的實作可具體實現 在各種不同的設備或應用程式中，尤其在例如設備或應用程式中。此類設備範例包括編碼器、解碼器、後處理器(用以處理從解碼器來的輸出)、前處理器(用以提供輸入到編碼器)、視訊編碼器、視訊解碼器、視訊編解碼器、網站伺服器、機上盒、膝上型電腦、個人電腦、手機、PDA(個人數位助理器)及其他通訊裝置。顯然地，該設備可以是移動式，甚至是安裝在汽車中。
此外，該等方法可藉由一處理器執行的指令來實施，及此類指令(及/或一實作所產生的資料值)可儲存在一處理器可讀媒體如積體電路、軟體載體，或其他儲存裝置如硬碟、CD光碟("CD")、光碟(如DVD，常指多樣化數位光碟或數位視訊光碟)、隨機存取記憶體("RAM")或唯讀記憶體("ROM")上。該等指令可形成一應用程式，其有形具體化在一處理器可讀媒體上，指令例如係可在硬體、韌體、軟體或一組合中，指令例如係可在作業系統、分開的一應用程式或二者的組合中找到，因此一處理器的特徵例如係可同時作為配置用以執行一處理過程的裝置，及包含有一處理器可讀媒體(如一儲存裝置)的裝置，具有指令用以實施一處理過程。此外，一處理器可讀媒體可儲存(在指令外添加或代替指令)一實作所產生的資料值。
如熟諳此藝者所明白，數個實作可產生格式化用以攜帶資訊的各種訊號，其例如可加以儲存或傳送，該資訊例如可包括用以執行一方法的指令，或所述實作中的一者所產生的資料。例如，可將一訊號格式化，用以攜帶作為用以寫入或讀取一所述實施例的語法規則的資料，或用以攜帶作為一所述實施例所寫成實際語法值的資料。例如可將此一訊號格式化作為一電磁波(例如使用頻譜的一射頻部分)或作為一頻帶訊號。格式化例如可包括將一資料流編碼，及利用編碼資料流調變一載波。訊號所攜帶的資訊例如可係類比或數位資訊，如所知，訊號可透過各種不同有線或無線鏈接傳送，訊號可儲存在一處理器可讀媒體上。
根據一實施例，I/O介面55係配置用以接收該等參數中的至少一者，其係相關圖1至4所述方法所使用，例如，當使用習知的非適應性形狀函數時，該等參數係限制到加權係數a i 或，但形狀函數ψ i 亦可係先驗未知，例如在較佳適用的一稍算最佳數學構造的情形中，因 此，形狀函數ψ i 的支援大小及位置則為數個參數。根據本發明，一伽瑪曲線的係數γ、β、cst 調變 、α、定標因數cst 定標 、位元數N亦可係一影像色調映射方法的係數。
此等參數中的一些者係可從一區域記憶體或遠端記憶體中得到，或由終端用戶從裝置50的一繪圖介面中選取。根據得到本方法的係數所使用的方式，該色調映射方法因此係自動或半自動的。
此等接收到的參數中有些可已由一遠端裝置編碼，因此，裝置50包括一解碼器用以將此等接收到的參數解碼。
已說明數個實作，然而，應瞭解可作出不同修改，例如可結合、增補、修改或移除不同實作的元件以產生其他實作。此外，一般技術人員應瞭解其他結構或方法可取代該等已揭示者，及作為結果的實作將如所揭示實作，依(數個)至少大體上相同的方式，執行(數個)至少大體上相同的功能，以達成(數個)至少大體上相同的結果，因此，由本發明可想出此等及其他實作。

Claims (8)

  1. 一種將一影像進行色調映射之方法，包含：- 藉由將影像除以一判定(11)自該影像亮度分量之背光影像，得到(12)一殘餘影像；及- 藉由將該殘餘影像進行色調映射得到(13)一色調映射影像，和根據之影像亮度平均值以調變背光影像，其中β是小於1的係數，E(X)為亮度分量L之數學期望值，或低空間頻率版本的α次方，其中α是小於1的調變係數。
  2. 如申請專利範圍第1項之方法，其中該殘餘影像之色調映射，包括對殘餘影像之像素值應用一伽瑪(gamma)校正或S形對數(Slog)校正。
  3. 如申請專利範圍第1項之方法，又包括：- 在調變該背光影像前，使該背光影像藉由其平均值進行正規化。
  4. 如申請專利範圍第1項之方法，其中該方法又包括該色調映射殘餘影像之定標(14)。
  5. 如申請專利範圍第1項之方法，其中該方法又包括剪輯(15)該色調映射殘餘影像。
  6. 一種將一影像進行色調映射之裝置，包括至少一處理器構成：- 藉由將影像除以一判定(11)自該影像亮度分量之背光影像，得到(12)一殘餘影像；及- 藉由將殘餘影像進行色調映射得到(13)一色調映射影像，和根據之影像亮度平均值以調變背光影像，其中β是小於1的係數，E(X)為亮度分量L之數學期望值，或低空間頻率版本的α次方，其中α是小於1的調變係數。
  7. 一種電腦程式產品，包括程式碼指令，當該程式執行於一運算裝置上，用以執行如申請專利範圍第1至5項中任一項方法之步驟。
  8. 一種非暫態儲存媒體，攜帶有程式碼指令，當該程式執行於一運算裝置上，用以執行如申請專利範圍第1至5項中任一項方法之步驟。
TW103145095A 2013-12-27 2014-12-24 將高動態範圍影像進行色調映射之方法及裝置 TWI666921B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13306886 2013-12-27
??13306886.6 2013-12-27

Publications (2)

Publication Number Publication Date
TW201537959A TW201537959A (zh) 2015-10-01
TWI666921B true TWI666921B (zh) 2019-07-21

Family

ID=49955861

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103145095A TWI666921B (zh) 2013-12-27 2014-12-24 將高動態範圍影像進行色調映射之方法及裝置

Country Status (7)

Country Link
US (1) US10003809B2 (zh)
EP (1) EP3087740A1 (zh)
JP (1) JP6502947B2 (zh)
KR (1) KR20160102438A (zh)
CN (1) CN105850129B (zh)
TW (1) TWI666921B (zh)
WO (1) WO2015097168A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
US10593028B2 (en) 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
EP3407604A4 (en) * 2016-03-09 2019-05-15 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR PROCESSING A HIGH DYNAMIC RANGE IMAGE
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10607047B2 (en) * 2017-12-06 2020-03-31 Cognex Corporation Local tone mapping for symbol reading
CN108053381B (zh) * 2017-12-22 2022-04-22 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN112689138B (zh) * 2019-10-18 2022-08-26 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014470A1 (en) * 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US20080192819A1 (en) * 2004-04-23 2008-08-14 Brightside Technologies Inc. Encoding, Decoding and Representing High Dynamic Range Images
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
US20110291919A1 (en) * 2010-05-28 2011-12-01 Sharp Laboratories Of America, Inc. Off axis halo mitigation
US20130100178A1 (en) * 2010-06-21 2013-04-25 Dolby Laboratories Licensing Corporation Displaying images on local-dimming displays

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008267A1 (en) 2002-07-11 2004-01-15 Eastman Kodak Company Method and apparatus for generating images used in extended range image composition
US7602369B2 (en) * 2004-05-04 2009-10-13 Sharp Laboratories Of America, Inc. Liquid crystal display with colored backlight
US8026894B2 (en) 2004-10-15 2011-09-27 Sharp Laboratories Of America, Inc. Methods and systems for motion adaptive backlight driving for LCD displays with area adaptive backlight
US7525528B2 (en) * 2004-11-16 2009-04-28 Sharp Laboratories Of America, Inc. Technique that preserves specular highlights
US8941580B2 (en) * 2006-11-30 2015-01-27 Sharp Laboratories Of America, Inc. Liquid crystal display with area adaptive backlight
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
KR20090044292A (ko) * 2007-10-31 2009-05-07 삼성전자주식회사 표시 장치 및 이의 구동방법
JP5491702B2 (ja) * 2008-03-28 2014-05-14 株式会社東芝 画像表示装置および画像表示方法
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2335219B1 (en) 2008-10-14 2014-01-15 Dolby Laboratories Licensing Corporation Backlight simulation at reduced resolutions to determine spatial modulation of light for high dynamic range images
US8624824B2 (en) * 2009-03-19 2014-01-07 Sharp Laboratories Of America, Inc. Area adaptive backlight with reduced color crosstalk
JP2011013458A (ja) * 2009-07-02 2011-01-20 Panasonic Corp 液晶表示装置
US8947339B2 (en) * 2009-12-21 2015-02-03 Sharp Laboratories Of America, Inc. Noise-compensated LCD display
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
RU2640750C2 (ru) * 2011-09-27 2018-01-11 Конинклейке Филипс Н.В. Устройство и способ для преобразования динамического диапазона изображений
BR112014008513B1 (pt) 2012-08-08 2021-08-17 Dolby Laboratories Licensing Corporation Método para codificar uma imagem hdr, dispositivo de circuito integrado e meio de armazenamento legível por processador não transitório
CN103295194B (zh) 2013-05-15 2015-11-04 中山大学 亮度可控与细节保持的色调映射方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192819A1 (en) * 2004-04-23 2008-08-14 Brightside Technologies Inc. Encoding, Decoding and Representing High Dynamic Range Images
US20070014470A1 (en) * 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
US20110291919A1 (en) * 2010-05-28 2011-12-01 Sharp Laboratories Of America, Inc. Off axis halo mitigation
US20130100178A1 (en) * 2010-06-21 2013-04-25 Dolby Laboratories Licensing Corporation Displaying images on local-dimming displays

Also Published As

Publication number Publication date
WO2015097168A1 (en) 2015-07-02
EP3087740A1 (en) 2016-11-02
TW201537959A (zh) 2015-10-01
US10003809B2 (en) 2018-06-19
KR20160102438A (ko) 2016-08-30
CN105850129A (zh) 2016-08-10
US20160345017A1 (en) 2016-11-24
CN105850129B (zh) 2019-06-14
JP2017502353A (ja) 2017-01-19
JP6502947B2 (ja) 2019-04-17

Similar Documents

Publication Publication Date Title
TWI666921B (zh) 將高動態範圍影像進行色調映射之方法及裝置
CN106204474B (zh) 局部多等级色调映射运算器
CN101340511B (zh) 一种基于亮度检测的自适应视频图像增强方法
RU2580093C2 (ru) Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
CN112449169B (zh) 色调映射的方法和装置
US20160330456A1 (en) Method and device for encoding a high-dynamic range image and/or decoding a bitstream
KR20190000811A (ko) 이미지를 타겟 디스플레이 디바이스의 타겟 피크 휘도 lt에 톤 적응시키기 위한 방법
CN102883165B (zh) 图片缩放处理方法及设备
TW201707454A (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
EP2958103A1 (en) Method and device for encoding a sequence of pictures
US20250139749A1 (en) Range adaptive dynamic metadata generation for high dynamic range images
TW201545547A (zh) 訊框之編碼裝置和解碼裝置
Luo et al. An HDR image encoding method compatible with LDR image format
CN119274498A (zh) 一种墨水屏的图像显示方法及其装置
TW201608875A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
WO2015097135A1 (en) Method and device for encoding a high-dynamic range image
TW201608876A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201603564A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
CN104301578A (zh) 基于图片类型的处理方法及设备
HK1188017B (zh) 局部多等级色调映射运算器
TW201545542A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置
TW201547261A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees