TWI704551B - 影像處理裝置及影像處理方法 - Google Patents
影像處理裝置及影像處理方法 Download PDFInfo
- Publication number
- TWI704551B TWI704551B TW105127701A TW105127701A TWI704551B TW I704551 B TWI704551 B TW I704551B TW 105127701 A TW105127701 A TW 105127701A TW 105127701 A TW105127701 A TW 105127701A TW I704551 B TWI704551 B TW I704551B
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- display
- gamma
- conversion
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Of Color Television Signals (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
消除或至少減輕有關HDR映像信號的動態範圍與顯示器的峰值輝度之間的不一致的這種不協調。
提供一種影像處理裝置,具備:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號的變換部。
Description
本揭示係有關影像處理裝置及影像處理方法。
現在,在ITU-R(International Telecommunication Union-Radio communications sector)中,為了將映像信號的輝度動態範圍從先前的SDR(Standard Dynamic Range)擴張的議論在持續進行中。擴張後的動態範圍稱為EIDRTV(Extended Image Dynamic Range Television),或可以更簡稱為HDR(High Dynamic Range)。在ITU-R的最新狀態中,作為HDR映像信號的信號方式,有包含Application-1及Application-2的這2種方式的勸告案被寄予厚望。
Application-1的目的為能夠表現攝影環境的輝度的絕對值,係基於PQ(Perceptual Quantizer)-EOTF(Electro-Optical Transfer Function)的信號方式(參照非專利文獻1)。Application-2為在將比在基準白色還低輝度等級的伽瑪曲線、與比在基準白色還高輝度等級的對
數曲線所組合而成的HLG(Hybrid Log-Gamma)曲線中,表現相對輝度等級的信號方式(參照非專利文獻2)。在Application-1中能顯示最大1萬cd/m2的絕對輝度,另一方面,在Application-2中能顯示最大基準白色的12倍(使用淨空(headroom)時為20倍)的相對輝度。
ITU-R Application-1為由與ITU-R不同的標準化團體即SMPTE(Society of Motion Picture and Television Engineers)所策定的與ST2084相同的方式。與SMPTE ST2084類似的其他信號方式也存在(參照非專利文獻3)。
[非專利文獻1]Society of Motion Picture and Television Engineers, 「High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays」, ST 2084:2014, 2014, [online], [2015年9月9日檢索],網址< URL:http://standards.smpte.org/content/978-1-61482-829-7/st-2084-2014/SEC1>
[非專利文獻2]Association of Radio Industries and Businesses, 「ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION (EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION
ARIB STANDARD」, ARIB STD-B67 Version 1.0, July 3, 2015, [online], [2015年9月9日檢索],網址< URL: http://www.arib.or.jp/english/html/overview/doc/2-STD-B67v1_0.pdf>
[非專利文獻3]Philips International B.V., 「Philips HDR technology-white paper, hdr」, Version 0.1, 2015-08-21, [online], [2015年9月9日檢索],網址< URL: http://www.ip.philips.com/data/downloadables/1/9/7/9/phili ps_hdr_white_paper.pdf>
但是,顯示器的峰值輝度時常與HDR信號方式的輝度動態範圍的上限不同。當包含於映像信號的1個以上的畫素的輝度超過顯示器的峰值輝度時,作為裁剪的結果,在播放的映像內,會發生所謂的曝光過度。當最大輝度低於顯示器的峰值輝度時,無法最大限度地活用顯示器的性能。作為消除這種範圍不一致的簡易方法之一,為藉由增益乘算來調整輝度等級。不過,單純的增益乘算,會把應該要以固定採用的基準點的輝度等級也一併改變了。
因此,希望能提供一種新的機制以消除或至少減輕有關HDR映像信號的動態範圍與顯示器的峰值輝度之間的不一致的上述這種不協調。
根據本揭示,提供一種影像處理裝置,具備:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號的變換部。
此外,根據本揭示,提供一種藉由影像處理裝置執行的影像處理方法,具備:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號。
根據有關本揭示的技術,能夠消除或至少減輕有關HDR映像信號的動態範圍與顯示器的峰值輝度之間的不一致的這種不協調。
此外,上述的效果並不一定是用來限制,也可以與上述的效果一起,或取代上述效果,實現本說明書所揭示的任何效果或是從本說明書能掌握的其他效果。
10‧‧‧攝影裝置
20‧‧‧網路
30‧‧‧記錄裝置(HDR對應型)
40‧‧‧記錄媒體
45‧‧‧播放裝置(HDR非對應型)
50‧‧‧顯示裝置(HDR對應型)
55‧‧‧顯示裝置(HDR非對應型)
100‧‧‧影像處理裝置
110‧‧‧影像取得部
120‧‧‧變換部
130‧‧‧控制部
[圖1]說明有關映像信號變換特性的概略的說明圖。
[圖2]說明有關ITU-R Application-2的OETF的說明圖。
[圖3]說明有關ITU-R Application-2的OOTF的說明圖。
[圖4]說明有關將輝度動態範圍適應於顯示器的峰值輝度的各種方法之例的說明圖。
[圖5]有關一實施形態之影像處理裝置的構成之一例的示意區塊圖。
[圖6A]表示基準白色(RW)固定伽瑪變換的曲線圖。
[圖6B]表示線性變換的曲線圖。
[圖6C]表示峰值固定伽瑪變換的曲線圖。
[圖7A]表示依循RW固定伽瑪變換,OOTF變化的樣子之第1說明圖。
[圖7B]表示依循RW固定伽瑪變換,OOTF變化的樣子之第2說明圖。
[圖7C]表示依循RW固定伽瑪變換,OOTF變化的樣子之第3說明圖。
[圖8A]表示依循線性變換及峰值固定伽瑪變換,OOTF變化的樣子之說明圖。
[圖8B]將圖8A的低輝度區域擴大的圖。
[圖9]說明有關在BT.1886的SDR顯示中的OOTF的說明圖。
[圖10]表示有關一實施形態之影像變換處理的流程的一例之流程圖。
[圖11A]表示圖10所示的RW維持伽瑪變換處理的流程的第1例之流程圖。
[圖11B]表示圖10所示的RW維持伽瑪變換處理的流程的第2例之流程圖。
[圖11C]表示圖10所示的RW維持伽瑪變換處理的流程的第3例之流程圖。
[圖12]表示圖10所示的線性變換處理的流程的一例之流程圖。
[圖13]說明有關記錄HLG映像及播放方法的一例之說明圖。
[圖14]表示有關一實施形態之記錄處理的流程的一例之流程圖。
[圖15A]表示有關一實施形態之播放處理的流程的第1例之流程圖。
[圖15B]表示有關一實施形態之播放處理的流程的第2例之流程圖。
[圖16]表示裝置的硬體構成之一例的區塊圖。
[圖17]表示電視裝置的概略構成之一例的區塊圖。
[圖18]表示手機的概略構成之一例的區塊圖。
[圖19]表示記錄播放裝置的概略構成之一例的區塊圖。
[圖20]表示攝像裝置的概略構成之一例的區塊圖。
以下,參照附加的圖式,詳細說明本發明最佳的實施形態。此外,在本說明書及圖式中,有關具有實質上同一的機能構成的構成要素,會藉由附加同一符號來省略重複說明。
此外,由以下的順序進行說明。
1. 關連技術的說明
1-1. 映像信號的變換特性
1-2. HDR映像信號的信號方式之例
1-3. 於顯示器峰值的適應
2. 影像處理裝置的構成例
2-1. 影像取得部
2-2. 變換部
2-3. 控制部
3. 處理流程
3-1. 影像變換處理
3-2. RW維持伽瑪變換處理
3-3. 線性變換處理
4. HLG映像的記錄及播放
4-1. HLG映像的辨識
4-2. 處理流程
4-3. 補充串流的採用
5. 硬體構成例
6. 應用例
7. 整理
首先,利用圖1~圖4,說明有關本揭示所關連的技術。
圖1為說明有關映像信號變換特性的概略的說明圖。在圖1顯示有攝影裝置10、網路20、記錄裝置30、及顯示裝置50。攝影裝置10在攝影環境中攝影被攝物體,生成映像信號。更具體來說,攝影裝置10具有CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)這種光電變換元件(影像感測器)的配列,將從攝影環境入射的光變換成電信號。由光變換至電信號的特性係經由OETF(Opto-Electronic Transfer Function;光電傳達函數)模式化。若OETF為線性函數的話,電信號的電壓等級會與每個元件的受光量呈比例。但是,由ITU-R所策定的標準規格即BT.709或BT.2020的OETF為非線性,例如全體的伽瑪值為0.45,僅在低輝度區域呈線性。
攝影裝置10將包含一連的訊框的影像信號與控制信號的映像信號,通過網路20向顯示裝置50傳送,
或藉由記錄裝置30記錄於記錄媒體。網路20可以是有線通信網路或無線通信網路,或是簡易的連接電纜。記錄裝置30將從攝影裝置10接收到的映像信號,以指定的記錄方式記錄於記錄媒體。記錄媒體可以是BD(Blu-ray(註冊商標)光碟)或DVD(Digital Versatile Disc)這種可移動式媒體,或硬碟這種內藏式媒體。
顯示裝置50,藉由通過網路20所接收到或從記錄媒體所讀出的映像信號,將映像播放。更具體來說,顯示裝置50具有將輸入的電信號變換為光的顯示元件配列(例如,液晶面板、有機發光二極體(OLED)面板、或電漿顯示器面板(PDP)等)。由電信號變換至光的變換特性係經由EOTF(Electro-Optical Transfer Function;電光傳達函數)模式化。若EOTF為OETF的反函數的話,所顯示的光強度相等於攝影的光強度。將包括OETF與EOTF的終端到終端(end to end)的攝影光變換至顯示光的變換特性稱為OOTF(Opto-Optical Transfer Function;光光傳達函數)。OOTF也稱為系統伽瑪或總伽瑪。由ITU-R所策定的標準規格即BT.1886的EOTF的伽瑪值為2.4,若例如OETF的伽瑪值為0.5的話,系統伽瑪值為(0.5×2.4=)1.2。
既存的SDR映像信號的一般的輝度動態範圍之上限為100cd/m2(也稱為nit)。另一方面,HDR映像信號
的輝度動態範圍之上限擴張到數百到數千cd/m2。如上所述,ITU-R作為HDR映像信號的信號方式,有併記Application-1及Application-2的這2種方式的勸告案被寄予厚望。
圖2為說明有關ITU-R Application-2的光電傳達函數的說明圖。Application-2在將比在基準白色還低輝度等級的伽瑪曲線、與比在基準白色還高輝度等級的對數曲線所組合而成的HLG(Hybrid Log-Gamma)曲線中,表現相對輝度等級。在圖2中,橫軸表示使基準白色的輝度等級等於1的方式經正規化的光強度E,縱軸表示對應的電信號的信號等級E'。Application-2的OETF設計為滿足接下來的條件C1~C3,由式(1)表現:
C1)在基準白色(E=1)時,E'=0.5
C2)在基準白色的12倍的光強度(E=12)時,E'=1
C3)在基準白色(E=1)中,伽瑪曲線與對數曲線以斜率為0.25平滑地連接。
從式(1)可理解到,在未滿基準白色的低輝度區域中,伽瑪值等於0.5,線性部分不存在。因此,暗狀況下的韋伯比(Weber fraction)被改善。Application-2的輝度動態範圍的上限在未使用淨空時為基準白色的12倍(E=12),其為使基準白色為100cd/m2時相當於1200cd/m2。使用淨空時,輝度動態範圍的上限達到對應E=20的2000cd/m2。但是,使用比1還大的系統伽瑪時,輝度動態範圍的上限會變得更大。
圖3為說明有關ITU-R Application-2的OOTF的說明圖。在圖3中,橫軸表示與圖2經相同正規化的光強度E,縱軸表示執行反變換(OETF-1)後的輝度等級L(cd/m2)。虛線表示系統伽瑪γS=1.0時的OOTF,E=1時L=100(點P1),E=12時L=1200(點P31)。實線表示系統伽瑪γS=1.2時的OOTF,E=1時L=100(點P1),E=12時L=12001.2≒2000(點P32)。系統伽瑪γS=1.2已知為在既存的SDR顯示中作為典型使用的實現視覺自然映像的值。
在圖3中雖表示了ITU-R Application-2之例,但ITU-R Application-1等其他的HDR信號方式也一樣,輝度動態範圍的上限從數百達到數千cd/m2。
即使藉由HDR信號方式擴張輝度動態範圍的上限,顯示器的峰值輝度也未必一定與其上限一致。當包含於映
像信號的1個以上的畫素的輝度超過顯示器的峰值輝度時,作為裁剪的結果,在播放的映像內,會發生所謂的曝光過度。當最大輝度低於顯示器的峰值輝度時,無法最大限度地活用顯示器的性能。為了解消這種範圍的不一致,有幾種方法。
圖4為說明有關將輝度動態範圍適應顯示器的峰值輝度的各種方法之例的說明圖。與圖3一樣,橫軸表示正規化的光強度E,縱軸表示輝度等級L。實線所表示的曲線41為適應系統伽瑪γS=1.2時的峰值輝度前的OOTF。
以1點鏈線表示的曲線42為將原本的OOTF(曲線41)以顯示器的峰值輝度來作硬裁剪的結果。這種裁剪在光強度E比裁剪點PCLP還大的區域中產生曝光過度,使影像資訊造成缺陷。虛線所表示的曲線43在光強度E比裁剪點PCLP' 還大的區域中,為了向OOTF傾斜的軟裁剪結果。雖然軟裁剪不產生完全的曝光過度,但在裁剪點PCLP' 中因為傾斜不連續,會帶來不自然的映像顯示。
以2點鏈線表示的曲線44為將原本的OOTF以一定的增益線性變換的結果。例如,當顯示器的峰值輝度為1200cd/m2時,因為適用增益G=1200/2000的線性變換,能夠將對應E=12的輝度等級從約2000減少到約1200(P41→P44)。不過,此時,會把應該以固定採用的基準白色(E=1)所對應的輝度等級也一起變化了
(P1→P1 ')。若基準白色的輝度等級發生變化的話,難以適當地再現攝影環境的明亮度(或製作者所希望讓視聽者看到的明亮度)。這種線性變換,無法與例如ITU-R Application-2的目的整合。
次節以後所說明的有關本發明的技術的實施形態,提供了消除或至少減輕有關HDR映像信號的動態範圍與顯示器的峰值輝度之間的不一致的上述不協調所需的一種新的機制。
圖5為有關一實施形態之影像處理裝置100的構成之一例的示意區塊圖。影像處理處理100例如可以是圖1所示的攝影裝置、記錄裝置、或顯示裝置,或者是該等裝置所搭載的影像處理模組。參照圖5,影像處理裝置100具備:影像取得部110、變換部120、及控制部130。
影像取得部110從任一信號源取得輸入影像信號。輸入影像信號可以是構成映像信號的一連訊框的各個影像信號,也可以是靜止影像所需的影像信號。輸入影像信號係根據HDR信號方式,在這裡作為一例,根據ITU-R Application-2作為影像信號(以下,稱為HLG影像信號)來取得。ITU-R Application-2為固定採用基準白色的顯示輝度等級的信號方式之一例。HLG影像信號為以基準
白色的輝度等級正規化後的信號。
影像取得部110藉由在所取得的輸入影像信號中適用該信號方式的OETF反函數(OETF-1),來生成線性影像信號。線性影像信號為將攝影時的光強度以線性表現的信號。在此的反函數的演算,可以是對每個信號方式,作為利用預先記憶的演算參數的數值演算來實裝,或利用將信號的輸入值與輸出值映射的查詢表來實裝。接著,影像取得部110將所生成的線性影像信號向變換部120輸出。
變換部120將從影像取得部110輸入的線性影像信號,利用根據顯示器的峰值輝度等級所決定的參數,藉由維持基準白色的顯示輝度等級的方式進行伽瑪變換,變換至顯示用信號。
在本實施形態中,變換部120利用相當於接下來的3種基本變換中的1或2個以上的組合的變換法,變換影像信號的信號等級。
‧基準白色(RW)固定伽瑪變換
‧線性變換
‧峰值固定伽瑪變換
RW固定伽瑪變換為不將基準白色的輝度等級
變化的伽瑪變換。當HLG影像的情形,影像信號為以基準白色的輝度等級正規化,即在基準白色為E=1。因此,可以將RW固定伽瑪變換作為次式的那種影像信號E的函數T1(E)來表現。
【式2】T 1(E)=E γ (2)
圖6A表示基準白色(RW)固定伽瑪變換的曲線圖。在RW固定伽瑪變換中,當伽瑪值比1還大時,在比基準白色還低的範圍,輝度等級減少,在比基準白色還高的範圍,輝度等級增加。當伽瑪值比1還小時,在比基準白色還低的範圍,輝度等級增加,在比基準白色還高的範圍,輝度等級減少。基準白色的輝度等級維持固定。
線性變換係利用增益值G,作為影像信號E的函數T2(E)由次式的方式表現。
【式3】T 2(E)=G×E (3)
圖6B表示線性變換的曲線圖。在線性變換中,當增益值G比1還大時,在所有的範圍輝度等級增加,當增益值G比1還小時,在所有的範圍輝度等級減少。只要增益值不是1,基準白色的輝度等級就會變化。
峰值固定伽瑪變換為不使動態範圍的上限變化的伽瑪變換。利用相當於輸入值的上限的參數K,可以
將峰值固定伽瑪變換作為次式的那種影像信號E的函數T3(E)來表現。
【式4】T 3(E)=(E/K) γ (4)
圖6C表示峰值固定伽瑪變換的曲線圖。在此,K=12。在峰值固定伽瑪變換中,當伽瑪值比1還大時,在所有的範圍輝度等級減少,當伽瑪值比1還小時,在所有的範圍輝度等級增加。輝度等級的變化比例,在越接近範圍的中央越大。只要伽瑪值不是1,基準白色的輝度等級就會變化。
變換部120所扮演的角色,係將顯示用信號所能表現的最大輝度等級合致於顯示器的峰值輝度等級,以及,在必要時維持基準白色的顯示輝度等級。在此,所謂的顯示器的峰值輝度等級,可以是以顯示器(或顯示元件)的性能為觀點的最大輝度等級,或者,也可以是比以性能為觀點的上限還小,以追加制約的觀點(例如,使用者設定或環境條件等)的最大輝度等級。在以下詳細說明的第1變換法中,基準白色的顯示輝度等級藉由RW固定伽瑪變換來維持。在第2變換法中,基準白色的顯示輝度等級藉由線性變換及峰值固定伽瑪變換的組合來維持。
在第1變換法中,變換部120將顯示用信號所能表現
的最大輝度等級以合致於顯示器的峰值輝度等級的方式,決定第1伽瑪值γ1,再利用所決定的第1伽瑪值γ1,將線性影像信號進行伽瑪變換。
圖7A表示依循RW固定伽瑪變換,OOTF變化的樣子之第1說明圖。在圖7A的例中,將顯示器的峰值輝度設為比2000cd/m2還大。實線的曲線表示γ1=1.2,虛線的曲線表示γ1=1.5,2點鏈線的曲線表示γ1=1.6的例子。γ1=1.2且不使用淨空時的輝度動態範圍的上限約為2000cd/m2。將伽瑪值γ1升到1.5的話,可表現的最大輝度等級變成約4000cd/m2。將伽瑪值γ1升到1.6的話,可表現的最大輝度等級變成約5000cd/m2。γ1=1.2且使用淨空時的輝度動態範圍的上限約為3600cd/m2。將伽瑪值γ1升到1.5的話,可表現的最大輝度等級到達約9000cd/m2。基準白色的輝度等級維持固定(點P1)。
圖7B表示依循RW固定伽瑪變換,OOTF變化的樣子之第2說明圖。在圖7B的例中,將顯示器的峰值輝度設為比2000cd/m2還小。實線的曲線表示γ1=1.2,虛線的曲線表示γ1=1.0的例子,2點鏈線的曲線表示γ1=1.6。γ1=1.2且不使用淨空時的輝度動態範圍的上限約為2000cd/m2。γ1=1.0且不使用淨空時的輝度動態範圍的上限約為1200cd/m2。基準白色的輝度等級維持固定(點P1)。當伽瑪值γ1滿足1.0≦γ1<1.2時,低輝度區域(0<E<1)的系統伽瑪變得比既存的SDR顯示的
例子還小,但對視覺上的影響並不大。
圖7C表示依循RW固定伽瑪變換,OOTF變化的樣子之第3說明圖。在圖7C的例中,將顯示器的峰值輝度設為比1200cd/m2還小。實線的曲線表示γ1=1.2,虛線的曲線表示γ1=1.0,點線的曲線表示γ1=0.9,1點鏈線的曲線表示γ1=0.7的例子。γ1=0.9且不使用淨空時的可表現最大輝度等級約比1000cd/m2還低。γ1=0.7且不使用淨空時的可表現最大輝度等級約比600cd/m2還低。在該等例子中,基準白色的輝度等級維持固定,但在低輝度區域(0<E<1)中,本來應該是暗的被攝物體,其灰色會浮上並被看見,主觀的畫質會劣化。
在第2變換法中,變換部120將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式,決定增益值G,再利用所決定的增益值G,將線性影像信號進行線性變換。再來,變換部120以將基準白色的顯示輝度等級復元至原本的輝度等級的方式,決定第2伽瑪值γ2,再利用所決定的第2伽瑪值γ2,將上述線性變換後的影像信號進行伽瑪變換。變換部120將利用第2伽瑪值γ2的伽瑪變換以不改變峰值輝度等級的方式執行。變換部120可以取代線性影像信號,將線性影像信號利用預定的系統伽瑪值γS(例如,γS=1.2)藉由進行伽瑪變換所得到的中間影像信號,作為向第2變換法的輸入信號採用。
圖8A表示依循線性變換及峰值固定伽瑪變換,OOTF變化的樣子之說明圖。圖8B為將圖8A的低輝度區域擴大的圖。在該等圖中,實線的曲線表示γS=1.2,即適用第2變換法前的例子。虛線的曲線表示γS=1.2,即僅適用增益G=0.6的線性變換後的例子。點線的曲線表示γS=1.2,即僅適用增益G=0.6的線性變換與第2伽瑪值γS=0.8295後的例子。從圖8A可理解到,γ1=1.2且不使用淨空時的輝度動態範圍的上限約為2000cd/m2。例如,當顯示器的峰值輝度為1200cd/m2時,執行增益G=0.6的線性變換的話,能夠將輝度動態範圍的上限,即可表現的最大輝度峰值下降至顯示器的峰值輝度之約接近1200cd/m2。其結果,能抑制發生曝光過度,且能夠最大限度活用顯示器的性能。不過,從圖8B可以理解到,連應該要固定採用的基準白色的輝度等級也被降低了(點P1→點P1 ')。在這裡,再執行第2伽瑪值γ2=0.8295的伽瑪變換。但是,為了不改變峰值輝度等級,將在這裡的伽瑪變換的輸入值E,如上面所示的式(4)一樣,除以參數K。參數K的值,例如,未使用淨空時可以是12,使用淨空時可以是20。在第2伽瑪值γ2進行伽瑪變換的結果,基準白色的顯示輝度等級復元至原來的輝度等級(點P1 '→點P1)。
變換部120可以支援維持基準白色的顯示輝度等級的
第1動作模式及不維持基準白色的顯示輝度等級的第2動作模式兩者。在這裡作為一例,將第1動作模式及第2動作模式分別稱為RW維持模式及RW非維持模式。當變換部120選擇RW維持模式時,執行上述第1變換法或第2變換法的任一者。另一方面,當變換部120選擇RW非維持模式時,不維持基準白色的顯示輝度等級,以其他方法輸出顯示用信號。
當變換部120例如選擇RW非維持模式時,依循ITU-R BT.1886將影像信號變換至顯示用信號也可以。在ITU-R BT.1886的顯示器輸出(SDR顯示)中,在所有範圍使用伽瑪值2.4。取而代之或再加上,變換部120也可以將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式決定增益值,再利用所決定的增益值,將線性影像信號進行線性變換。
圖9為說明有關在BT.1886的SDR顯示中的OOTF的說明圖。在圖9中,實線及虛線的曲線分別表示γS=1.2及γS=0.7的例子(不是SDR顯示)。1點鏈線的曲線表示在BT.1886的SDR顯示中的OOTF,點線的曲線表示該SDR顯示的OOTF中適用增益G=1.5的線性變換後的結果。在無增益的SDR顯示(1點鏈線)中,因為可表現的最大輝度等級為約500cd/m2左右,在當顯示器的峰值輝度等級超過約500cd/m2時,需要以比1還大的增益進行線性變換。在當SDR對應型的顯示器具有這種增益調整的機能時,變換部120也可以不執行增益調整。在
SDR顯示中,在低輝度區域(0<E<1)的系統伽瑪維持在約1.2。與將系統伽瑪γS設定在比1.0還低的值的例子(點線)比較,因為SDR顯示的例子(1點鏈線)具有將中輝度區域(1<E<8)的輝度等級平均地提高的作用,SDR顯示成為當顯示器的峰值輝度低時(例如,未滿約600cd/m2)的良好視覺選項。
控制部130控制影像取得部110及變換部120的動作。例如,控制部130從與輸入影像信號有關連的控制參數來判定輸入影像信號的信號方式,並將對應所判定的信號方式的處理在影像取得部110及變換部120執行。在此有關控制參數的例子,會在後面說明。控制部130也可以因應輸入影像信號的信號方式,使影像取得部110切換應適用於輸入影像信號的OETF的反函數的種類。此外,控制部130也可以控制影像處理裝置100的動作模式。
在一實施例中,控制部130選擇變換部120所應使用的維持基準白色的顯示輝度等級的RW維持模式及不維持基準白色的顯示輝度等級的RW非維持模式中的動作模式。當控制部130選擇RW維持模式時,在動態範圍的調整所需的變換處理中,在變換部120使用維持基準白色的顯示輝度等級的變換法。控制部130例如也可以根據接下來的條件中的1個以上,選擇任一動作模式。
1)信號方式的類型:控制部130在當輸入影
像信號的信號方式為固定採用基準白色的顯示輝度等級的信號方式(例如,ITU-R Application-2)時,選擇RW維持模式。
2)使用者設定:使用者藉由使用者介面設定RW維持模式或RW非維持模式。希望能將攝影環境的明亮度適切地再現的使用者,可以設定RW維持模式。另外,使用者也可以設定顯示器的容許峰值輝度等級。控制部130在當容許峰值輝度等級比預先定義的閾值還大時,可以選擇RW維持模式,非此情形時,可以選擇RW非維持模式。
3)顯示器的屬性:控制部130從顯示器的屬性(例如,裝置類型、模組編號、或性能值)來判定顯示器的峰值輝度等級,在當所判定的峰值輝度等級比預先定義的閾值還大時,可以選擇RW維持模式,非此情形時,可以選擇RW非維持模式。
4)顯示環境:控制部130通過圖所未示出的感測器從檢測出的顯示環境的條件(環境照度或位置等)來決定顯示器的推薦峰值輝度等級,當所決定的推薦峰值輝度等級比預先定義的閾值還大時,可以選擇RW維持模式,非此情形時,可以選擇RW非維持模式。
在其他的實施例中,控制部130可以在變換部120選擇使用上述第1變換法(RW固定伽瑪變換)與第2變換法(線性變換及峰值固定伽瑪變換的組合)。控制部130與上述動作模式的選擇一樣,例如可以根據使用
者所作的模式設定,或峰值輝度(性能上的值,可以包含使用者所作的容許值及系統推薦值)與閾值之間的比較結果,選擇任一種變換法。
圖10為表示上述影像處理裝置100所執行的影像變換處理的流程的一例的流程圖。
參照圖10,首先,控制部130從與輸入影像信號有關連的控制參數中,判定輸入影像信號的信號方式(步驟S102)。此外,控制部130取得顯示器的峰值輝度LP(步驟S104)。接著,控制部130根據信號方式的類型或使用者設定的這些條件,撰擇動作模式(步驟S106)。
接著,圖10的影像變換處理,將依存步驟S102中所判定的信號方式及依存步驟S106中所選擇的動作模式加以分岐(步驟S110、S125)。例如,當信號方式非HDR方式時,依循ITU-R BT.1886,從變換部120向顯示器輸出顯示用信號,映像以SDR顯示(步驟S120)。另一方面,當信號方式為HDR方式(例如,HLG方式),選擇RW維持模式時,處理進入步驟S130。當信號方式為HDR方式,選擇RW非維持模式時,處理進入步驟S165。
在步驟S130中,影像取得部120及變換部
120執行RW維持伽瑪變換處理。在RW維持伽瑪變換處理中,基準白色(RW)的顯示輝度等級維持固定。有關RW維持伽瑪變換處理的更詳細流程,會在後面說明。
當處理移至步驟S165時,基準白色的顯示輝度等級未必會維持一定。控制部130根據例如在使用者設定或步驟S104中所判定的顯示器的峰值輝度等級,判定是否進行SDR顯示(步驟S165)。當判定進行SDR顯示時,處理進入步驟S120,依循ITU-R BT.1886,從變換部120向顯示器輸出顯示用信號。當判定不進行SDR顯示時,處理進入步驟S170,由影像取得部110及變換部120進行線性變換處理(步驟S170)。有關線性變換處理的更詳細流程,會在後面說明。
執行RW維持伽瑪變換處理或線性變換處理的話,顯示用信號被輸出至顯示器,HDR映像藉由顯示器顯示(步驟S190)。
圖11A表示圖10所示的RW維持伽瑪變換處理的流程的第1例之流程圖。
參照圖11A,首先,變換部120從顯示器的峰值輝度等級LP及輝度動態範圍的上限值Lmax計算伽瑪值γ1(步驟S132)。伽瑪值γ1例如通過式(2)所示的RW固定伽瑪變換,將顯示用信號所能表現的最大輝度等
級以合致於顯示器的峰值輝度等級的方式來計算得到。
此外,影像取得部110從任一信號源取得輸入影像信號(步驟S136),藉由在所取得的輸入影像信號中適用OETF的反函數(OETF-1),生成線性影像信號(步驟S138)。
接著,變換部120利用在步驟S132中所計算的伽瑪值γ1,藉由將從影像取得部110輸入的線性影像信號進行伽瑪變換,生成顯示用信號(步驟S144)。接著,變換部120向顯示器輸出生成的顯示用信號(步驟S150)。
圖11B表示圖10所示的RW維持伽瑪變換處理的流程的第2例之流程圖。
參照圖11B,首先,變換部120從顯示器的峰值輝度等級LP及輝度動態範圍的上限值Lmax計算增益G1及伽瑪值γ2(步驟S134)。增益G1例如通過式(3)所示的線性變換,將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式來計算得到。伽瑪值γ2再藉由適用式(4)所示的峰值固定伽瑪變換,以使基準白色的顯示輝度等級復元至原來的輝度等級的方式來計算得到。
此外,影像取得部110從任一信號源取得輸入影像信號(步驟S136),藉由在所取得的輸入影像信
號中適用OETF的反函數(OETF-1),生成線性影像信號(步驟S138)。
接著,控制部130根據例如使用者設定或顯示器的峰值輝度等級,判定是否調整系統伽瑪(步驟S140)。在此,當判定調整系統伽瑪時,變換部120將從影像取得部110輸入的線性影像信號利用預定的系統伽瑪值(例如,1.2)進行伽瑪變換(步驟S142)
接著,變換部120利用在步驟S134中所計算的增益G1,(因應必要調整系統伽瑪)執行線性影像信號的線性變換(步驟S146)。接著,變換部120利用在步驟S134中所計算的伽瑪值γ2,藉由將線性變換後的影像信號進行伽瑪變換,生成顯示用信號(步驟S148)。接著,變換部120向顯示器輸出生成的顯示用信號(步驟S150)。
圖11C表示圖10所示的RW維持伽瑪變換處理的流程的第3例之流程圖。在第3例中,在第1變換法與第2變換法之間可以進行選擇性切換。
參照圖11C,控制部130,例如根據使用者所作的模式設定,或峰值輝度(可以包含性能上的值、使用者所做的容許值及系統推薦值)與閾值之間的比較結果,選擇第1變換法(RW固定伽瑪變換)與第2變換法(線性變換及峰值固定伽瑪變換的組合)中任一種變換法(步
驟S152)。接著,當控制部130選擇第1變換法時,將圖11A所示的步驟S132~步驟S150在影像取得部110及變換部120執行(步驟S154)。另一方面,當控制部130選擇第2變換法時,將圖11B所示的步驟S134~步驟S150在影像取得部110及變換部120執行(步驟S156)。
圖12表示圖10所示的線性變換處理的流程的一例之流程圖。
參照圖12,首先,變換部120從顯示器的峰值輝度等級LP及輝度動態範圍的上限值Lmax計算增益G2(步驟S172)。增益G2例如通過式(3)所示的線性變換,將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式來計算得到。
此外,影像取得部110從任一信號源取得輸入影像信號(步驟S174),藉由在所取得的輸入影像信號中適用OETF的反函數(OETF-1),生成線性影像信號(步驟S176)。
接著,控制部130根據例如使用者設定或顯示器的峰值輝度等級,判定是否調整系統伽瑪(步驟S178)。在此,當判定調整系統伽瑪時,變換部120將從影像取得部110輸入的線性影像信號利用預定的系統伽瑪值(例如,1.2)進行伽瑪變換(步驟S180)
接著,變換部120利用在步驟S172中所計算的增益G2,(因應必要調整系統伽瑪)藉由執行線性影像信號的線性變換,生成顯示用信號(步驟S182)。接著,變換部120向顯示器輸出生成的顯示用信號(步驟S184)。
如圖5所關連的說明,輸入影像信號的信號方式,係根據與輸入影像信號有關連的控制參數判定。一連的訊框的影像信號,通常,依循任何映像編解碼器,在壓縮編碼之後,記錄於記錄媒體或在網路上傳送。也將識別信號方式的控制參數編碼,使之與影像信號的位元串流有關連。
作為一例,可將HDR映像記錄的次世代映像記錄方式UHD-BD(Ultra HD-Blu-ray Disc)係採用HEVC(High Efficiency Video Coding)作為映像編解碼器。在HEVC中,為了將經編碼的影像信號的OETF特定的OETF編號可以包含於VUI(Video Usability Information),作為該OETF編號的值,提案有追加HLG方式用的新的值的定義(Y.Nishida,T.Yamashita,and A.Ichigaya,“Proposed addition of transfer characteristics in VUI”,JCTVC-U0032,JCTVC 21st Meeting,Warsaw,June 19-26,2015)。但是,在UHD-BD中,現在於VUI中對OETF編號課予值的制約,不允許使用新的HLG方式用的
編號“18”。此外,在HEVC的SEI中,也有將HDR映像信號的信號方式類型傳訊的提案(Matteo Naccari,et.al,“High dynamic range compatibility information SEI message”,JCTVC-U0033,JCTVC 21st Meeting,Warsaw,June 19-26,2015)。在這裡的信號方式的類型的定義係從VUI的OETF編號的定義來再利用,因此值“18”將HLG方式識別。該等包含於VUI或SEI的OETF編號也可以作為識別信號方式的控制參數利用。例如,UHD-BD記錄器在VUI內的OETF編號寫入現在可允許之值(例如“1”或“14”),同時也可以在SEI內的信號方式的類型寫入HLG方式用的編號“18”。在這種情況下,HDR對應型的播放機或顯示器,藉由優先參照SEI內的參數,不會違反UHD-BD的規格,能夠辨識HLG映像。
圖13為說明有關記錄HLG映像及播放方法的一例之說明圖。在圖13顯示了HDR對應型的記錄器/播放機即記錄裝置30、記錄媒體40,HDR非對應型的播放機即播放裝置45,HDR對應型的顯示器即顯示裝置50,及HDR非對應型的顯示器即顯示裝置55。記錄裝置30具備:編碼部32、解碼部34、HLG處理部36、及控制部38。
記錄裝置30的編碼部32,例如,將藉由HLG處理部36所生成的HLG影像信號依循HEVC進行編碼,將經編碼的位元串流依循UHD-BD記錄至記錄媒體40。控制部38在向記錄媒體40的記錄時,將表示HLG
方式用的OETF編號的控制參數寫入VUI或SEI。使VUI或SEI與包含經壓縮的影像信號的編碼位元串流有關連。控制部38在當記錄裝置30欲播放映像時,藉由讀取VUI或SEI內的OETF編號,辨識記錄於記錄媒體40的映像為HLG映像。解碼部34依循HEVC將HLG影像信號解碼。
記錄裝置30的控制部38也可以將經解碼的HLG影像信號,與該影像信號表示其係HLG影像信號的HLG標識一樣,向影像信號輸出目標的顯示器傳訊。當HDR對應型的顯示器即顯示裝置50接收HLG標識,會依循HLG方式處理影像信號,顯示HDR映像。以上說明的影像處理裝置100,例如搭載於顯示裝置50,在顯示HDR映像前,可以執行上述動態範圍的調整。當影像信號的輸出目標的顯示器為HDR非對應型的顯示裝置55時,顯示裝置55不管HLG標識的存在與否,將映像以SDR顯示。
HDR非對應型的播放裝置45在當播放映像時,不讀取VUI或SEI內的OETF編號,或因為所讀取的OETF編號為未知(或違反制約)的值而無視之。播放裝置45將依循HEVC解碼的影像信號不伴隨HLG標識向顯示裝置50或顯示裝置55輸出。顯示裝置50因為不接收HLG標識,將映像以SDR顯示。顯示裝置55也將映像以SDR顯示。
記錄裝置30的HLG處理部36也可以具有以
上所說明的影像處理裝置100的機能,來取代顯示裝置50。此時,HLG處理部36將經解碼的HLG影像信號依循HLG方式進行處理,生成具有廣輝度動態範圍HDR映像所需的顯示用信號。接著,向顯示裝置50輸出顯示用信號,藉由顯示裝置50顯示HDR映像。
圖14表示有關一實施形態之記錄裝置30所執行的記錄處理的流程的一例之流程圖。參照圖14,首先,記錄裝置30的HLG處理部36,取得以線性表現映像內容的光強度的原影像信號(步驟S202)。接著,HLG處理部36將原影像信號變換成HLG影像信號(步驟S204)。接著,編碼部32將HLG影像信號編碼,生成編碼串流(步驟S206)。接著,控制部38生成表示HLG方式的OETF編號的控制參數(步驟S208)。接著,控制部38在當向記錄媒體記錄HLG影像信號的編碼串流時,同時向與該編碼串流有關連的VUI或SEI,寫入表示HLG方式的OETF編號的控制參數(步驟S210)。
圖15A表示有關一實施形態之播放處理的流程的第1例之流程圖。參照圖15A,首先,記錄裝置30的控制部38,從記錄媒體讀出編碼串流及有關連的控制參數(步驟
S222)。接著,解碼部34從所讀出的編碼串流將影像信號解碼(步驟S224)。控制部38根據在步驟S222中所讀出控制參數,判定影像信號的信號方式是否為HLG方式(步驟S226)。例如,即便當HLG方式用的OETF編號“18”包含於VUI時、或即便其他的OETF編號包含於VUI,在SEI中當OETF編號以值“18”覆寫時,可以判定影像信號的信號方式為HLG方式。當非HLG影像信號的影像信號被解碼時,處理進入步驟S228,輸出非HLG影像信號至顯示器(步驟S228)。當HLG影像信號被解碼時,處理進入步驟S230,控制部38再判定輸出目標的顯示器是否為HLG對應型(步驟S230)。當輸出目標的顯示器非HLG對應型時,不執行HLG變換,影像信號向顯示器輸出(步驟S228)。當輸出目標的顯示器為HLG對應型時,HLG處理部36將解碼的影像信號依循HLG方式進行處理,生成具有廣輝度動態範圍的顯示用信號(步驟S232)。接著,向顯示器輸出顯示用信號(步驟S234)。
圖15B表示有關一實施形態之播放處理的流程的第2例之流程圖。參照圖15B,首先,記錄裝置30的控制部38,從記錄媒體讀出編碼串流及有關連的控制參數(步驟S222)。接著,解碼部34從所讀出的編碼串流將影像信號解碼(步驟S224)。控制部38與第1例一樣,根據在
步驟S222中所讀出控制參數,判定影像信號的信號方式是否為HLG方式(步驟S226)。當非HLG影像信號的影像信號被解碼時,處理進入步驟S228,輸出非HLG影像信號至顯示器(步驟S228)。當HLG影像信號被解碼時,處理進入步驟S236,控制部38與HLG標識的傳訊一同將HLG影像信號向顯示器輸出(步驟S236)。
映像內容除了是一連的訊框的影像信號、聲音信號、及控制信號的編碼串流以外,也可以具有包含字幕資訊或圖形資訊的補充串流。HDR對應型的記錄器/播放機即記錄裝置30在當這種補充的串流與影像信號的編碼串流有關連時,使該補充串流的內容(例如,字幕、GUI或其他的顯示物件)的最大輝度等級與基準白色的顯示輝度等級(圖2中的E'=0.5)一致的方式,調整內容的輝度。這是HDR非對應型的播放裝置45或顯示裝置55使SDR映像的最大輝度等級與補充串流的內容的最大輝度等級一致的對照。例如字幕或GUI的白色若以HDR映像的最大輝度等級(不使用淨空時,在圖2中E'=1.0)顯示的話,該白色會過亮導致降低辨識性。不過,如同上述,藉由將補充的串流的內容的最大輝度等級合致於HDR映像的基準白色的顯示輝度等級,能夠確保適切的內容的辨識性。
在本節中,主要說明有關以HLG方式所表現
的信號的記錄及播放,在這裡說明的方法,也可以適用使用HDR映像所需的HLG方式以外的信號方式的例子。
上述的實施形態可以使用軟體、硬體、及軟體與硬體的組合中的任一種來實現。當使用軟體時,構成軟體的程式,例如預先儲存在設於裝置的內部或外部的記憶媒體(非臨時性媒體:non-transitory media)。接著,各程式例如在執行時讀入RAM(Random Access Memory)中,藉由CPU(Central Processing Unit)等的處理器來執行。
圖16表示可適用上述實施形態的裝置的硬體構成之一例的區塊圖。參照圖16,影像處理裝置800具備:系統匯流排810、影像處理晶片820、及晶片外記憶體890。影像處理晶片820包含:n個(n為1以上)的處理電路830-1、830-2、...、830-n、參照緩衝器840、系統匯流排介面850、及局部匯流排介面860。
系統匯流排810提供影像處理晶片820與外部模組(例如,中央控制機能、應用程式機能、通信介面、使用者介面、或顯示器介面等)之間的通信路。處理電路830-1、830-2、...、830-n,通過系統匯流排介面850與系統匯流排810連接,及通過局部匯流排介面860與晶片外記憶體890連接。處理電路830-1、830-2、...、830-n也能夠存取至可相當於晶片上記憶體(例如,SRAM)的參照緩衝器840。晶片外記憶體890,例如也可以是記
憶由影像處理晶片820所處理的影像數據的訊框記憶體。作為一例,可利用處理電路830-1以進行HDR影像信號的輝度動態範圍所需的調整,可利用處理電路830-2以進行依循HEVC影像信號的編碼或解碼。此外,該等處理電路可以不是同一影像處理晶片820,形成於各別的晶片上。
上述的實施形態可以應用在各種電子機器上。以下,說明有關4個應用例。
圖17表示適用上述實施形態的電視裝置的概略構成之一例。電視裝置900具備:天線901、調諧器902、解多工器903、解碼器904、映像信號處理部905、顯示部906、聲音信號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902從通過天線901所接收到的放送信號裡抽出所要的頻道信號,並將抽出的信號解調。接著,調諧器902將經解調所得到的編碼位元串流輸出至解多工器903。也就是說,調諧器902接收將影像編碼的編碼串流,具有在電視裝置900中作為傳送單元的功用。
解多工器903從編碼位元串流分離視聽對象的節目的映像串流及聲音串流,將所分離的各串流輸出至
解碼器904。此外,解多工器903從編碼位元串流裡抽出EPG(Electronic Program Guide)等的補助數據,將所抽出的數據供給至控制部910。此外,解多工器903在當編碼位元串流被擾頻時,也可以進行去擾頻。
解碼器904將從解多工器903輸入的映像串流及聲音串流解碼。接著,解碼器904將由解碼處理所生成的映像數據輸出至映像信號處理部905。此外,解碼器904將由解碼處理所生成的聲音數據輸出至聲音信號處理部907。
映像信號處理部905播放從解碼器904輸入的映像數據,在顯示部906顯示映像。此外,映像信號處理部905也可以在顯示部906顯示通過網路所供給的應用程式影像。此外,映像信號處理部905也可以對映像數據,因應設定,進行例如去除雜訊等的追加處理。再來,映像信號處理部905也可以生成例如選單、按鍵、或游標等的GUI(Graphical User Interface)影像,並將生成的影像重疊至輸出影像。
顯示部906藉由從映像信號處理部905供給的驅動信號來驅動,在顯示面板(例如,液晶顯示器、電漿顯示器、或OLED等)的映像面上顯示映像或影像。
聲音信號處理部907對從解碼器904輸入的聲音數據進行D/A變換及增幅等的播放處理,從揚聲器908輸出聲音。此外,聲音信號處理部907也可以對聲音數據進行例如去除雜訊等的追加處理。
外部介面909為用來將電視裝置900與外部機器或網路連接的介面。例如,通過外部介面909所接收到的映像串流或聲音串流也可以藉由解碼器904來解碼。也就是說,外部介面909接收將影像編碼的編碼串流,具有在電視裝置900中作為傳送手段的功用。
控制部910具有:CPU(Central Processing Unit)等的處理器、及RAM(Random Access Memory)與ROM(Read Only Memory)等的記憶體。記憶體將藉由CPU所執行的程式、程式數據、EPG數據、及通過網路所取得的數據等記憶。藉由記憶體所記憶的程式,例如,在啟動電視裝置900時藉由CPU讀取並執行。CPU藉由執行程式,例如因應從使用者介面911輸入的操作信號,控制電視裝置900的動作。
使用者介面911連接至控制部910。使用者介面911,例如具有:使用者操作電視裝置900所需的按鍵及開關、及遠端控制信號的接收部等。使用者介面911,檢出通過該等構成要素的使用者所作的操作,並生成操作信號,將所生成的操作信號向控制部910輸出。
匯流排912與調諧器902、解多工器903、解碼器904、映像信號處理部905、聲音信號處理部907、外部介面909、及控制部910互相連接。
在以這種方式構成的電視裝置900中,映像信號處理部905具有上述實施形態所關連的影像處理裝置100機能。因此,在電視裝置900中,播放HDR映像
時,能夠消除或至少減輕有關映像信號的動態範圍與顯示器的峰值輝度之間的不一致的這種不協調。
圖18表示適用上述實施形態的手機的概略構成之一例。手機920具備:天線921、通信部922、聲音編解碼器923、揚聲器924、麥克風925、攝影機部926、影像處理部927、多工分離部928、記錄播放部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921連接至通信部922。揚聲器924及麥克風925連接至聲音編解碼器923。操作部932連接至控制部931。匯流排933與通信部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄播放部929、顯示部930、及控制部931互相連接。
手機920以聲音通話模式、數據通信模式、攝影模式、及視訊電話模式等各種動作模式,進行聲音信號的收送、電子郵件或影像數據的收送、影像的攝像、及數據記錄等的動作。
在聲音通話模式中,藉由麥克風925所生成的類比聲音信號被供給至聲音編解碼器923。聲音編解碼器923將類比聲音信號變換至聲音數據,將經變換的聲音數據以A/D變換進行壓縮。接著,聲音編解碼器923將壓縮後的聲音數據向通信部922輸出。通信部922將聲音數據編碼及調變,生成發送信號。接著,通信部922將所
生成的發送信號通過天線921向基地局(圖未示)發送。此外,通信部922將通過天線921所接收到的無線信號進行增幅及頻率變換,取得接收信號。接著,通信部922將接收信號解調及解碼,生成聲音數據,並將所生成的聲音數據輸出至聲音編解碼器923。聲音編解碼器923將聲音數據進行拉伸及A/D變換,生成類比聲音信號。接著,聲音編解碼器923將所生成的聲音信號供給至揚聲器924使聲音輸出。
此外,在數據通信模式中,例如,控制部931因應通過操作部932的使用者所作的操作,生成構成電子郵件的文字數據。此外,控制部931將文字顯示於顯示部930。此外,控制部931因應從通過操作部932的使用者的發送指示,生成電子郵件數據,並將所生成的電子郵件數據輸出至通信部922。通信部922將電子郵件數據編碼及調變,生成發送信號。接著,通信部922將所生成的發送信號通過天線921向基地局(圖未示)發送。此外,通信部922將通過天線921所接收到的無線信號進行增幅及頻率變換,取得接收信號。接著,通信部922將接收信號解調及解碼,復元電子郵件數據,並將所復元的電子郵件數據輸出至控制部931。控制部931在顯示部930顯示電子郵件內容,同時將電子郵件資料記憶於記錄播放部929的記憶媒體中。
記錄播放部929為可讀寫的任何記憶媒體。例如,記憶媒體可以是RAM或快閃記憶體等內藏型的記
憶媒體,也可以是硬碟、磁碟、磁光碟、光碟、USB記憶體、或記憶卡等外接型記憶媒體。
此外,在攝影模式中,例如,攝影機部926攝影被攝物體並生成影像數據,將所生成的影像數據輸出至影像處理部927。影像處理927將從攝影機部926輸入的影像數據編碼,並將編碼串流記憶於記錄播放部929的記憶媒體。
此外,在視訊電話模式中,例如,多工分離部928將藉由影像處理部927編碼的映像串流、與從聲音編解碼器923輸入的聲音串流多工化,並將多工化的串流輸出至通信部922。通信部922將串流編碼及調變,生成發送信號。接著,通信部922將所生成的發送信號通過天線921向基地局(圖未示)發送。此外,通信部922將通過天線921所接收到的無線信號進行增幅及頻率變換,取得接收信號。該等發送信號及接收信號中可以包含編碼位元串流。接著,通信部922將接收信號解調及解碼,復元串流數據,並將所復元的串流輸出至多工分離部928。多工分離部928將從輸入的串流中將映像串流及聲音串流分離,並將映像串流輸出至影像處理部927,將聲音串流輸出至聲音編解碼器923。影像處理部927將映像串流解碼,生成映像數據。供給映像數據至顯示部930,並由顯示部930顯示一連串的影像。聲音編解碼器923將聲音串流拉伸及進行A/D變換,生成類比聲音信號。接著,聲音編解碼器923將所生成的聲音信號供給至揚聲器924使
聲音輸出。
在用這種方式構成的手機920中,影像處理部927具有上述實施形態所關連的影像處理裝置100機能。因此,在手機920中,當播放HDR映像時,能夠消除或至少減輕有關映像信號的動態範圍與顯示器的峰值輝度之間的不一致的這種不協調。
圖19表示適用上述實施形態的記錄播放裝置的概略構成之一例。記錄播放裝置940,例如,將所接收的放送節目的聲音資料及映像數據編碼,記錄於記錄媒體。此外,記錄播放裝置940,例如,也可以將從其他裝置所取得的聲音數據及映像數據編碼,並記錄於記錄媒體。此外,記錄播放裝置940,例如,因應使用者的指示,將記錄於記錄媒體的數據在監視器及揚聲器上播放。此時,記錄播放裝置940將聲音數據及映像數據解碼。
記錄播放裝置940具備:調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive)944、光碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Display)948、控制部949、及使用者介面950。
調諧器941將通過天線(圖未示)所接收到的放送信號裡抽出所要的頻道信號,並將抽出的信號解調。接著,調諧器941將經復調所得到的編碼位元串流輸出至選擇器946。也就是說,調諧器941具有在記錄播放
裝置940中作為傳送單元的功用。
外部介面942為用來將記錄播放裝置940與外部機器或網路連接的介面。外部介面942,例如可以是IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如,通過外部介面942所接收到的映像數據或聲音數據被輸入至編碼器943。也就是說,外部介面942具有在記錄播放裝置940中作為傳送單元的功用。
編碼器943在當從外部介面942輸入的映像數據及聲音數據未經編碼時,將映像數據及聲音數據編碼。接著,編碼器943將編碼位元串流輸出至選擇器946。
HDD944將映像及聲音等的內容數據經壓縮後的編碼位元串流、各種程式、及該其他的數據記憶於內部硬碟。此外,HDD944在當映像及聲音播放時,將該等數據從硬碟中讀出。
光碟驅動器945進行向所裝設的記錄媒體的數據的記錄及讀出。裝設於光碟驅動器945的記錄媒體,例如可以是DVD光碟(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)光碟等。
選擇器946在當映像及聲音的記錄時,選擇從調諧器941或編碼器943輸入的編碼位元串流,將所選擇的編碼位元串流輸出至HDD944或光碟驅動器945。此外,選擇器946在當映像及聲音的播放時,將從HDD944
或光碟驅動器945輸入的編碼位元串流輸出至解碼器947。
解碼器947將編碼位元串流解碼,並生成映像數據及聲音數據。接著,解碼器947將所生成的映像數據輸出至OSD948。此外,解碼器904將所生成的聲音數據輸出至外部揚聲器。
OSD948將從解碼器947輸入的映像數據播放,顯示映像。此外,OSD948也可以在所顯示的映像中,重疊例如選單、按鍵、或游標等的GUI影像。
控制部949具有:CPU等的處理器、及RAM與ROM等的記憶體。記憶體將藉由CPU所執行的程式、及程式數據等記憶。藉由記憶體所記憶的程式,例如,在啟動記錄播放裝置940時藉由CPU讀取並執行。CPU藉由執行程式,例如因應從使用者介面950輸入的操作信號,控制記錄播放裝置940的動作。
使用者介面950與控制部949連接。使用者介面950,例如具有:使用者操作記錄播放裝置940所需的按鍵及開關、及遠端控制信號的接收部等。使用者介面950,將通過該等構成要素的使用者所為的操作檢出,並生成操作信號,將所生成的操作信號向控制部949輸出。
在用這種方式構成的記錄播放裝置940中,OSD948具有上述實施形態所關連的影像處理裝置100機能。因此,在記錄播放裝置940中,播放HDR映像時,能夠消除或至少減輕有關映像信號的動態範圍與顯示器的
峰值輝度之間的不一致的這種不協調。
圖20表示適用上述實施形態的攝像裝置的概略構成之一例。攝影裝置960攝像被攝物體並生成影像,將影像數據編碼並記錄於記錄媒體。
攝影裝置960具備:光學區塊961、攝像部962、信號處理部963、影像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961連接至攝像部962。攝像部962連接至信號處理部963。顯示部965連接至影像處理處理部964。使用者介面971連接至控制部970。匯流排972與影像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961具有焦點透鏡及光圈機構等。光學區塊961使被攝物體的光學影像成像於攝像部962的攝像面。攝像部962具有CCD或CMOS等的影像感測器,將成像於攝像面的光學像經由光電變換來變換成作電信號的影像信號。接著,攝像部962將影像信號輸出至信號處理部963。
信號處理部963,對從攝像部962輸入的影像信號,進行拐點補正、伽瑪補正、色補正等各種攝影機信號處理。信號處理部963將經攝影機信號處理後的影像數
據輸出至影像處理部964。
影像處理部964將從信號處理部963輸入的影像數據編碼,並生成編碼數據。接著,影像處理部964將所生成的編碼資料輸出至外部介面966或媒體驅動器968。此外,影像處理部964將從外部介面966或媒體驅動器968輸入的編碼數據解碼,生成影像數據。接著,影像處理部964將所生成的影像數據輸出至顯示部965。此外,影像處理部964也可以將從信號處理部963輸入的影像數據輸出至顯示部965,並使之顯示影像。此外,影像處理部964也可以將從OSD969取得的顯示用資料重疊於向顯示部965輸出的影像。
OSD969例如生成選單、按鍵、或游標等的GUI影像,並將生成的影像輸出至影像處理部964。
外部介面966例如是作為USB輸入輸出端子構成。外部介面966例如是在當印刷影像時,將攝影裝置960與影印機連接。此外,外部介面966也可以因應所需連接驅動器。在驅動器例如裝設磁碟或光碟等的可移動式媒體,從可移動式媒體讀出的程式可以安裝至攝影裝置960。再來,外部介面966可以是作為通過連接至LAN或網際網路等的網路的網路介面的構成。也就是說,外部介面966具有在攝影裝置960中作為傳送方法的功用。
裝設於媒體驅動器968的記錄媒體,例如可以是磁碟、磁光碟、光碟、或半導體記憶體等的可任意讀寫的可移動式媒體。此外,記錄媒體固定裝設於媒體驅動
器968,例如,也可以是構成內藏型硬碟驅動器或SSD(Solid State Drive)的這種非可搬性記憶部。
控制部970具有:CPU等的處理器、及RAM與ROM等的記憶體。記憶體將藉由CPU所執行的程式、及程式數據等記憶。藉由記憶體所記憶的程式,例如,在啟動攝影裝置960時藉由CPU讀取並執行。CPU藉由執行程式,例如因應從使用者介面971輸入的操作信號,控制攝影裝置960的動作。
使用者介面971與控制部970連接。使用者介面971,例如具有:使用者操作攝影裝置960所需的按鍵及開關等。使用者介面971,將通過該等構成要素的使用者所作的操作檢出,並生成操作信號,將所生成的操作信號向控制部970輸出。
在用這種方式構成的攝影裝置960中,影像處理部964具有上述實施形態所關連的影像處理裝置100機能。因此,在攝影裝置960中,播放HDR映像時,能夠消除或至少減輕有關映像信號的動態範圍與顯示器的峰值輝度之間的不一致的這種不協調。
到此為止,利用圖1~圖20,詳細說明本揭示所關連的技術。根據上述的實施形態,基於固定採用基準白色的顯示輝度等級的信號方式之影像信號,為了變換成顯示用信號而進行伽瑪變換。該伽瑪變換係利用根據顯示器的峰
值輝度等級所決定的參數,以維持基準白色的顯示輝度等級的方式執行。接著,在避開發生輝度的裁剪(或過剩的強衰減)所引起的高輝度區域的資訊欠損(所謂的曝光過度)的發生的同時,也能夠將內容的攝影或制作時的作為明度基準的基準白色輝度,在內容顯示時適切地再現。
根據一實施例,利用將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式所決定的第1伽瑪值,將以基準白色的輝度等級正規化後的信號進行伽瑪變換。此時,藉由伽瑪變換的基準白色的輝度等級不變化。藉由這種第1變換法,可避開高輝度區域的資訊欠損,且能夠將到顯示器的峰值輝度為止的範圍不浪費地完全使用。
根據一實施例,利用將顯示用信號所能表現的最大輝度等級以合致於顯示器的峰值輝度等級的方式所決定的增益值,將以基準白色的輝度等級正規化後的信號進行線性換,並利用將該線性變換後的影像信號以將基準白色的顯示輝度等級復元至原本的輝度等級的方式所決定的第2伽瑪值,進行伽瑪變換。此時,基準白色的輝度等級(雖然會在演算途中變化)到最後會一直與原本的等級維持相同。利用第2伽瑪值的伽瑪變換能夠以不改變由顯示用信號所能表現的最大輝度等級的方式執行。利用增益值的線性變換及固定動態範圍的兩端的伽瑪變換已經有許多作為泛用的演算機能實裝的情形。因此,該種第2變換法不需要追加新的演算機能,能夠以較低的成本實現。第
2變換法也可以將影像信號利用預定的系統伽瑪值進行伽瑪變換後執行。例如,藉由利用1.2這種系統伽瑪值,能夠將在顯示的映像中的輝度的灰階依據ITU-R BT.1886等既存的規格近接顯示。也可以選擇切換上述的第1變換法與第2變換法。藉此,能夠將HDR映像的多樣表現提供給使用者,及能夠因應顯示器的特性選擇最適合的表現。
根據某實施例,可以切換維持基準白色的顯示輝度等級的第1動作模式,與不維持基準白色的顯示輝度等級的第2動作模式之間的動作模式。藉由提供該等動作模式,使用者或裝置能夠適當地選擇是否要優先將基準白色的輝度在HDR映像的顯示時重現。例如,動作模式可以根據信號方式的類型作選擇。此時,例如將基準白色的等級作為基準,以輝度等級相對表現的HLG方式生成影像信號時,維持該基準白色的等級,另一方面,在不是此情形時,也可以切換成不維持基準白色的等級。在將從以HEVC方式的經編碼的編碼串流解碼影像信號時,信號訊號的類型可以根據包含於例如VUI(Video Usability Information)或SEI(Supplemental Enhancement Information)的控制參數判定。動作模式可以使用者的設定作選擇。例如,希望能將攝影環境或內容製作環境的明亮度適切地再現的使用者,應該會選擇第1動作模式。動作模式也可以根據從作為顯示器的性能的峰值輝度等級或顯示環境的條件所自動設定的峰值輝度等級這種其他的因素作選擇。
當選擇第2動作模式時,可以執行利用增益值的單純線性變換,此時,可以避開輝度的裁剪所引起的高輝度區域的資訊欠損的發生。此外,特別是在顯示器的峰值輝度低的例子中,可以依循ITU-R BT.1886進行SDR顯示,此時,在中輝度區域中,能夠得到良好的辨識性映像。
以上,雖參照附加的圖式詳細說明有關本揭示適合的實施形態,但與本揭示的技術範圍的例子並不以此為限。若是在本揭示的技術領域中具有通常的知識者,在申請專利範圍所記載的技術思想範圍內,能夠想到各種變更例或修正例,有關於該等情形,當然也屬於本揭示的技術範圍。
此外,本說明書所記載的效果,僅為說明或例示,並不以此為限。也就是說,本揭示所關連的技術可經由該技術領域的通常知識者從本說明書的記載中,與上述的效果一同或替代上述效果,實現其他的效果。
此外,以下的這些構成也屬於本揭示的技術範圍。
一種影像處理裝置,具備:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號的變換部。
如前述(1)所記載的影像處理裝置,其中,前述影像信號為以前述基準白色的輝度等級正規化後的信號;前述變換部係利用第1伽瑪值將前述影像信號進行伽瑪變換。
如前述(2)所記載的影像處理裝置,其中,前述變換部將前述顯示用信號所能表現的最大輝度等級以合致於前述顯示器的前述峰值輝度等級的方式,決定前述第1伽瑪值。
如前述(1)所記載的影像處理裝置,其中,前述影像信號為以前述基準白色的輝度等級正規化後的信號;前述變換部利用增益值將前述影像信號進行線性變換,利用以將前述基準白色的顯示輝度等級復元至原本的輝度等級的方式所決定的第2伽瑪值,將前述線性變換後的影像信號進行伽瑪變換。
如前述(4)所記載的影像處理裝置,其中,前述變換部將前述顯示用信號所能表現的最大輝度等級以合致於前述顯示器的前述峰值輝度等級的方式,決定前述增益值。
如前述(4)或前述(5)所記載的影像處理裝置,其
中,前述變換部將利用前述第2伽瑪值所進行的伽瑪變換,以不改變前述顯示用信號所能表現的最大輝度等級的方式執行。
如前述(4)~(6)中任1項所記載的影像處理裝置,其中,前述變換部在將前述影像信號利用預定的系統伽瑪值進行伽瑪變換後,執行前述線性變換及利用前述第2伽碼值的前述伽瑪變換。
如前述(1)~(7)中任1項所記載的影像處理裝置,更具備:在維持前述基準白色的顯示輝度等級的第1動作模式及不維持前述基準白色的顯示輝度等級的第2動作模式中,選擇前述變換部所應該使用的模式之控制部;其中,前述變換部在當藉由前述控制部選擇前述第1動作模式時,以維持前述基準白色的顯示輝度等級的方式,將前述影像信號變換至前述顯示用信號。
如前述(8)所記載的影像處理裝置,其中,前述控制部係根據:信號方式的類型、使用者設定、前述顯示器的屬性、及顯示環境的條件中的一個以上因素,選擇前述第1動作模式及前述第2動作模式中的前述一者。
如前述(1)~(9)中任1項所記載的影像處理裝置,其中,前述變換部選擇使用:
將前述影像信號以不改變前述基準白色的顯示輝度等級的方式進行伽瑪變換的第1變換法、及將前述影像信號利用增益值進行線性變換,利用以將前述基準白色的顯示輝度等級復元至原本的輝度等級的方式所決定的第2伽瑪值,將前述線性變換後的影像信號進行伽瑪變換的第2變換法。
如前述(8)或前述(9)所記載的影像處理裝置,其中,前述變換部在當藉由前述控制部選擇前述第2動作模式時,利用以將前述顯示用信號所能表現的最大輝度等級合致於前述顯示器的前述峰值輝度等級的方式所決定的增益值,來將前述影像信號進行線性變換。
如前述(8)或前述(9)所記載的影像處理裝置,其中,前述變換部在當藉由前述控制部選擇前述第2動作模式時,依循ITU-R BT.1886將前述影像信號變換至前述顯示用信號。
如前述(1)~(12)中任1項所記載的影像處理裝置,其中,前述信號方式為根據比在基準白色還低輝度等級的伽瑪曲線、與比在基準白色還高輝度等級的對數曲線所組合而成的HLG(Hybrid Log Gamma)方式。
如前述(13)所記載的影像處理裝置,其中,前述影
像信號係依循HEVC(High Efficiency Video Coding)方式,從經編碼的編碼串流被解碼;根據與前述編碼串流關連的包含於SEI(Supplemental Enhancement Information)的參數,判定有關前述影像信號使用前述HLG方式。
如前述(13)所記載的影像處理裝置,其中,前述影像信號包含依循HEVC(High Efficiency Video Coding)方式經編碼的編碼串流;根據與前述編碼串流關連的包含於VUI(Video Usability Information)的參數,判定有關前述影像信號使用前述HLG方式。
如前述(14)或前述(15)所記載的影像處理裝置,其中,在當前述編碼串流與包含字幕資訊或圖形資訊之補充的串流有關連時,將該補充的串流的內容的最大輝度等級以與前述基準白色的顯示輝度等級合致的方式作調整。
一種影像處理方法,係由影像處理裝置所執行,包含:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號。
100‧‧‧影像處理裝置
110‧‧‧影像取得部
120‧‧‧變換部
130‧‧‧控制部
Claims (15)
- 一種影像處理裝置,具備:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號的變換部;前述影像信號為以前述基準白色的輝度等級正規化後的信號;前述變換部係利用第1伽瑪值將前述影像信號進行伽瑪變換;前述變換部將前述顯示用信號所能表現的最大輝度等級以合致於前述顯示器的前述峰值輝度等級的方式,決定前述第1伽瑪值。
- 如請求項1所記載的影像處理裝置,其中,前述影像信號為以前述基準白色的輝度等級正規化後的信號;前述變換部利用增益值將前述影像信號進行線性變換,利用以將前述基準白色的顯示輝度等級復元至原本的輝度等級的方式所決定的第2伽瑪值,將前述線性變換後的影像信號進行伽瑪變換。
- 如請求項2所記載的影像處理裝置,其中,前述變換部將前述顯示用信號所能表現的最大輝度等級以合致於前述顯示器的前述峰值輝度等級的方式,決定前述增益值。
- 如請求項2所記載的影像處理裝置,其中,前述 變換部將利用前述第2伽瑪值的伽瑪變換,以不改變前述顯示用信號所能表現的最大輝度等級的方式執行。
- 如請求項2所記載的影像處理裝置,其中,前述變換部在將前述影像信號利用預定的系統伽瑪值進行伽瑪變換後,執行前述線性變換及利用前述第2伽碼值的前述伽瑪變換。
- 如請求項1所記載的影像處理裝置,更具備:在維持前述基準白色的顯示輝度等級的第1動作模式及不維持前述基準白色的顯示輝度等級的第2動作模式中,選擇前述變換部所應該使用的模式之控制部;其中,前述變換部在當藉由前述控制部選擇前述第1動作模式時,以維持前述基準白色的顯示輝度等級的方式,將前述影像信號變換至前述顯示用信號。
- 如請求項6所記載的影像處理裝置,其中,前述控制部係根據:信號方式的類型、使用者設定、前述顯示器的屬性、及顯示環境的條件中的一個以上因素,選擇前述第1動作模式及前述第2動作模式中的前述一者。
- 如請求項1所記載的影像處理裝置,其中,前述變換部選擇使用:將前述影像信號以不改變前述基準白色的顯示輝度等級的方式進行伽瑪變換的第1變換法、及將前述影像信號利用增益值進行線性變換,利用以將前述基準白色的顯示輝度等級復元至原本的輝度等級的方式所決定的第2伽瑪值,將前述線性變換後的影像信號 進行伽瑪變換的第2變換法。
- 如請求項6所記載的影像處理裝置,其中,前述變換部在當藉由前述控制部選擇前述第2動作模式時,利用以將前述顯示用信號所能表現的最大輝度等級合致於前述顯示器的前述峰值輝度等級的方式所決定的增益值,來將前述影像信號進行線性變換。
- 如請求項6所記載的影像處理裝置,其中,前述變換部在當藉由前述控制部選擇前述第2動作模式時,依循ITU-R BT.1886將前述影像信號變換至前述顯示用信號。
- 如請求項1所記載的影像處理裝置,其中,前述信號方式為根據比在基準白色還低輝度等級的伽瑪曲線、與比在基準白色還高輝度等級的對數曲線所組合而成的HLG(Hybrid Log Gamma)方式。
- 如請求項11所記載的影像處理裝置,其中,前述影像信號係依循HEVC(High Efficiency Video Coding)方式,從經編碼的編碼串流被解碼;根據與前述編碼串流關連的包含於SEI(Supplemental Enhancement Information)的參數,判定有關前述影像信號使用前述HLG方式。
- 如請求項11所記載的影像處理裝置,其中,前述影像信號包含依循HEVC(High Efficiency Video Coding)方式經編碼的編碼串流;根據與前述編碼串流關連的包含於VUI(Video Usability Information)的參數,判定有關前述影像信號使用前述HLG方式。
- 如請求項12所記載的影像處理裝置,其中,在當前述編碼串流與包含字幕資訊或圖形資訊之補充的串流有關連時,將該補充的串流的內容的最大輝度等級以與前述基準白色的顯示輝度等級合致的方式作調整。
- 一種影像處理方法,係由影像處理裝置所執行,包含:將根據固定採用基準白色的顯示輝度等級的信號方式之影像信號,利用根據顯示器的峰值輝度等級所決定的參數,以維持前述基準白色的顯示輝度等級的方式進行伽瑪變換,藉此變換至顯示用信號;前述影像信號為以前述基準白色的輝度等級正規化後的信號;利用第1伽瑪值將前述影像信號進行伽瑪變換;將前述顯示用信號所能表現的最大輝度等級以合致於前述顯示器的前述峰值輝度等級的方式,決定前述第1伽瑪值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-188348 | 2015-09-25 | ||
| JP2015188348 | 2015-09-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201721627A TW201721627A (zh) | 2017-06-16 |
| TWI704551B true TWI704551B (zh) | 2020-09-11 |
Family
ID=58385969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105127701A TWI704551B (zh) | 2015-09-25 | 2016-08-29 | 影像處理裝置及影像處理方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10638023B2 (zh) |
| EP (1) | EP3355300B1 (zh) |
| JP (1) | JP6825568B2 (zh) |
| CN (1) | CN108028036B (zh) |
| AU (1) | AU2016326942B2 (zh) |
| CA (1) | CA2999098A1 (zh) |
| HK (1) | HK1247369A1 (zh) |
| MX (1) | MX383239B (zh) |
| TW (1) | TWI704551B (zh) |
| WO (1) | WO2017051612A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018047753A1 (ja) * | 2016-09-09 | 2018-03-15 | パナソニックIpマネジメント株式会社 | 表示装置および信号処理方法 |
| JP6860415B2 (ja) * | 2017-05-15 | 2021-04-14 | 日本放送協会 | 映像信号変換装置、ダイナミックレンジ変換装置およびそれらのプログラム |
| JP6784643B2 (ja) * | 2017-05-24 | 2020-11-11 | 日本放送協会 | 映像信号変換装置およびそのプログラム、ならびに、映像表示装置 |
| JP2019041329A (ja) * | 2017-08-28 | 2019-03-14 | シャープ株式会社 | 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体 |
| US10600163B2 (en) | 2017-11-22 | 2020-03-24 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing a display adapted HDR image |
| JP6821269B2 (ja) | 2017-12-05 | 2021-01-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
| JP7045916B2 (ja) * | 2018-04-20 | 2022-04-01 | 日本放送協会 | 映像輝度変換装置およびそのプログラム |
| US10917583B2 (en) * | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
| US11388447B2 (en) * | 2018-07-20 | 2022-07-12 | Interdigital Vc Holdings, Inc. | Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format |
| US20200045341A1 (en) * | 2018-07-31 | 2020-02-06 | Ati Technologies Ulc | Effective electro-optical transfer function encoding for limited luminance range displays |
| KR102805644B1 (ko) * | 2018-09-18 | 2025-05-09 | 엘지전자 주식회사 | 영상표시장치 |
| EP3672254A1 (en) | 2018-12-21 | 2020-06-24 | InterDigital VC Holdings, Inc. | Decoding an image |
| JP7278096B2 (ja) * | 2019-02-20 | 2023-05-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US10964289B2 (en) * | 2019-07-25 | 2021-03-30 | Google Llc | OLED display with different spatial gamma |
| JP7370762B2 (ja) * | 2019-08-20 | 2023-10-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| EP4097712A4 (en) * | 2020-01-31 | 2024-02-28 | Qualcomm Incorporated | DYNAMIC GAMMA CURVE APPLICATION FOR DISPLAY |
| CN115946632B (zh) * | 2023-01-10 | 2023-08-18 | 润芯微科技(江苏)有限公司 | 一种多屏显示的中控娱乐系统及显示方法 |
| WO2025109693A1 (ja) * | 2023-11-21 | 2025-05-30 | Eizo株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
| WO2025244900A1 (en) * | 2024-05-21 | 2025-11-27 | Apple Inc. | Edr-aware, hue-preserving, soft-clip for hdr content |
| CN119722544B (zh) * | 2025-02-25 | 2025-09-16 | 摩尔线程智能科技(北京)股份有限公司 | 图像处理方法、系统、设备、存储介质及程序产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200949819A (en) * | 2008-05-23 | 2009-12-01 | Innolux Display Corp | Circuit and method for gamma regulating of liquid crystal display |
| US20110169881A1 (en) * | 2008-09-30 | 2011-07-14 | Dolby Laboratories Licensing Corporation | System and Methods for Applying Adaptive Gamma in Image Processing for High Brightness and High Dynamic Range Displays |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100214634B1 (ko) * | 1996-12-21 | 1999-08-02 | 구자홍 | 프로젝션 티브이의 b색 감마보정 회로 |
| US7590299B2 (en) * | 2004-06-10 | 2009-09-15 | Samsung Electronics Co., Ltd. | Increasing gamma accuracy in quantized systems |
| JP2006215756A (ja) * | 2005-02-02 | 2006-08-17 | Dainippon Ink & Chem Inc | 画像処理装置および画像処理方法ならびにそのプログラム |
| JP2007163979A (ja) * | 2005-12-15 | 2007-06-28 | Fujifilm Corp | プロファイル作成装置、プロファイル作成プログラム、および画像出力装置 |
| KR100748333B1 (ko) * | 2006-11-30 | 2007-08-09 | 삼성에스디아이 주식회사 | 플라즈마 표시 패널의 구동장치 및 그 구동방법 |
| US8803922B2 (en) * | 2007-05-30 | 2014-08-12 | Apple Inc. | Methods and apparatuses for increasing the apparent brightness of a display |
| CN101329842B (zh) * | 2007-06-22 | 2011-06-15 | 深圳创维-Rgb电子有限公司 | 一种能对显示屏进行gamma校正的液晶显示器及其制作方法 |
| US8345038B2 (en) * | 2007-10-30 | 2013-01-01 | Sharp Laboratories Of America, Inc. | Methods and systems for backlight modulation and brightness preservation |
| CN102177539B (zh) * | 2008-10-14 | 2014-07-23 | 杜比实验室特许公司 | 用于处理信号的设备和方法 |
| KR101330396B1 (ko) * | 2010-06-25 | 2013-11-15 | 엘지디스플레이 주식회사 | 표시장치와 그의 콘트라스트 향상 방법 |
| JP5744429B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2012012489A2 (en) * | 2010-07-22 | 2012-01-26 | Dolby Laboratories Licensing Corporation | Display management server |
| US8743291B2 (en) * | 2011-04-12 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
| RU2640750C2 (ru) * | 2011-09-27 | 2018-01-11 | Конинклейке Филипс Н.В. | Устройство и способ для преобразования динамического диапазона изображений |
| EP2819414A3 (en) * | 2013-06-28 | 2015-02-25 | Samsung Electronics Co., Ltd | Image processing device and image processing method |
| JP6368365B2 (ja) * | 2013-07-18 | 2018-08-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 |
| KR101477505B1 (ko) * | 2013-12-23 | 2015-01-07 | 이동현 | 하이 다이나믹 레인지 영상 형성 방법 |
| CN104935911B (zh) * | 2014-03-18 | 2017-07-21 | 华为技术有限公司 | 一种高动态范围图像合成的方法及装置 |
| US10777148B2 (en) * | 2015-07-31 | 2020-09-15 | Sony Corporation | Image signal luminance processing method, device and display apparatus |
-
2016
- 2016-08-02 US US15/759,686 patent/US10638023B2/en not_active Expired - Fee Related
- 2016-08-02 AU AU2016326942A patent/AU2016326942B2/en not_active Ceased
- 2016-08-02 CN CN201680054234.1A patent/CN108028036B/zh not_active Expired - Fee Related
- 2016-08-02 CA CA2999098A patent/CA2999098A1/en not_active Abandoned
- 2016-08-02 MX MX2018003360A patent/MX383239B/es unknown
- 2016-08-02 WO PCT/JP2016/072691 patent/WO2017051612A1/ja not_active Ceased
- 2016-08-02 EP EP16848400.4A patent/EP3355300B1/en not_active Not-in-force
- 2016-08-02 JP JP2017541465A patent/JP6825568B2/ja not_active Expired - Fee Related
- 2016-08-02 HK HK18106869.5A patent/HK1247369A1/zh unknown
- 2016-08-29 TW TW105127701A patent/TWI704551B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200949819A (en) * | 2008-05-23 | 2009-12-01 | Innolux Display Corp | Circuit and method for gamma regulating of liquid crystal display |
| US20110169881A1 (en) * | 2008-09-30 | 2011-07-14 | Dolby Laboratories Licensing Corporation | System and Methods for Applying Adaptive Gamma in Image Processing for High Brightness and High Dynamic Range Displays |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2016326942B2 (en) | 2019-10-10 |
| MX383239B (es) | 2025-03-13 |
| TW201721627A (zh) | 2017-06-16 |
| JPWO2017051612A1 (ja) | 2018-08-30 |
| WO2017051612A1 (ja) | 2017-03-30 |
| US10638023B2 (en) | 2020-04-28 |
| EP3355300B1 (en) | 2021-09-29 |
| CN108028036A (zh) | 2018-05-11 |
| AU2016326942A1 (en) | 2018-03-15 |
| CN108028036B (zh) | 2021-01-29 |
| EP3355300A4 (en) | 2019-06-19 |
| JP6825568B2 (ja) | 2021-02-03 |
| CA2999098A1 (en) | 2017-03-30 |
| EP3355300A1 (en) | 2018-08-01 |
| HK1247369A1 (zh) | 2018-09-21 |
| MX2018003360A (es) | 2018-05-30 |
| US20190045091A1 (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI704551B (zh) | 影像處理裝置及影像處理方法 | |
| CN110213459B (zh) | 显示方法和显示装置 | |
| CN110460745B (zh) | 显示装置 | |
| CN106416216B (zh) | 变换方法及变换装置 | |
| CN106233741B (zh) | 数据再现方法以及再现装置 | |
| EP3157251B1 (en) | Playback method and playback apparatus | |
| AU2019201098A1 (en) | Decoding device and decoding method, and coding device and coding method | |
| CN106133817B (zh) | 图像处理装置、图像处理方法和程序 | |
| KR20160052459A (ko) | 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법 | |
| US20240013356A1 (en) | Method for generating high dynamic range image, and image processing system | |
| JP6213341B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6868797B2 (ja) | 変換方法及び変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |