TWI802520B - 影像處理方法及影像處理裝置 - Google Patents

Abstract

本發明實施例提出一種影像處理方法及影像處理裝置。在方法中，對輸入影像進行第一編碼，以輸出第一雜訊影像。對第一雜訊影像去雜訊，以輸出第一去雜訊影像。依據第一去雜訊影像對輸入影像去雜訊，以輸出第一影像。藉此，可改善影像品質。

Description

影像處理方法及影像處理裝置

本發明是有關於一種影像處理技術，且特別是有關於一種影像處理方法及影像處理裝置。

隨著顯示及網路技術的提升，高畫質影像的需求逐漸增加。影像品質可能在擷取、轉換及/或傳輸的過程中降低。現今，可透過影像後處理來還原甚至增進影像品質。

有鑑於此，本發明實施例提供一種影像處理方法及影像處理裝置，依據縮圖影像處理影像，可提升影像品質。

本發明實施例的影像處理方法包括(但不僅限於)下列步驟：對輸入影像進行第一編碼，以輸出第一雜訊影像。對第一雜訊影像去雜訊，以輸出第一去雜訊影像。依據第一去雜訊影像對輸入影像去雜訊，以輸出第一影像。

本發明實施例的影像處理裝置包括(但不僅限於)記憶體及處理器。記憶體用以儲存程式碼。處理器耦接記憶體。處理器經配置用以載入並執行程式碼以對輸入影像進行第一編碼以輸出第一雜訊影像，對第一雜訊影像去雜訊以輸出第一去雜訊影像，並依據第一去雜訊影像對輸入影像去雜訊以輸出第一影像。

本發明實施例的影像處理方法包括(但不僅限於)下列步驟：輸入標準動態範圍影像經空間深度演算轉換影像資料格式，輸出一第一影像資料。將該第一影像資料輸入至第一編碼演算，以輸出第二影像資料。將第二影像資料輸入經全域演算，以輸出第三影像資料。將第二影像資料與第三影像資料輸入至第一解碼演算，以輸出第四影像資料。將第一影像資料及第四影像資料輸入至第二解碼演算，以輸出高動態範圍影像。

基於上述，依據本發明實施例的影像處理方法及影像處理裝置，透過參考經編碼的去雜訊影像對輸入影像去雜訊。藉此，可有效提升影像品質。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的影像處理裝置100的元件方塊圖。請參照圖1，影像處理裝置100可以是智慧型手機、平板電腦、伺服器、穿戴式裝置、智能家電、或其他類型的電子裝置。影像處理裝置100包括(但不僅限於)記憶體110及處理器130。

記憶體110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體110用以記錄程式碼、軟體模組、組態配置、資料或檔案(例如，原始影像、輸入影像、經處理影像、結合影像及輸出影像)。

處理器130耦接記憶體110。處理器130可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器130用以執行影像處理裝置100的所有或部份作業，且可載入並執行記憶體110所記錄的各程式碼、軟體模組、檔案及資料。

下文中，將搭配影像處理裝置100中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的影像處理方法的流程圖。請參照圖2，處理器130對輸入影像進行第一編碼，以輸出第一雜訊影像(步驟S210)。具體而言，輸入影像可以是醫療影像、監控影像、產品影像或人物影像，但本發明實施例不加以限制其類型。另外，輸入影像可以是紅綠藍(RGB)格式或是亮度色度濃度(YUV)格式，本發明在此亦不做任何限制。

在一實施例中，第一編碼包括第一降採樣。第一降採樣是用於縮小特徵圖(例如，輸入影像)的寬及/或高的處理。在一實施例中，第一降採樣為均值池化(average pooling)。池化透過過濾器(filter)(或稱核(kernel))執行特定運算。例如，均值池化是進行平均運算，且最大池化是挑選最大者。值得注意的是，過濾器滑動後所涵蓋的像素不重疊於先前所涵蓋的像素。在另一實施例中，第一降採樣為最大池化（max pooling）。在其他實施例中，第一降採樣可能是其他用於縮小特徵圖的處理。因此，第一雜訊影像的寬及/或高小於輸入影像。

處理器130對第一雜訊影像去雜訊，以輸出第一去雜訊影像(步驟S220)。具體而言，去雜訊(或稱降躁)是用於移除影像中不必要的雜訊，並可能提升影像清晰及潔淨度。在一實施例中，處理器130可透過基於機器學習演算法(例如，深度神經網路(Deep Neural Network，DNN)、多層感知器(Multi-Layer Perceptron，MLP)、支持向量機(Support Vector Machine，SVM)或其他機器學習模型)的雜訊檢測模型辨識影像中的雜訊資訊。雜訊資訊例如是各像素為雜訊的機率或是否為雜訊的決策。而雜訊檢測模型是基於訓練樣本(及標記結果)所訓練的機器學習模型。例如，雜訊檢測模型包括一個或更多個卷積運算，且各卷積運算使用已訓練的過濾器。處理器130可基於雜訊資訊去除或減少特徵圖(例如，輸入影像)中的雜訊。

在另一實施例中，處理器130可透過基於機器學習演算法的去雜訊模型直接去除或減少特徵圖中的雜訊。在其他實施例中，去雜訊亦可能是平滑化(smoothing)或頻域濾波處理。

處理器130依據第一去雜訊影像對輸入影像去雜訊，以輸出第一影像(步驟S230)。具體而言，去雜訊技術可參酌步驟S220的相關說明於此不再贅述。值得注意的是，在步驟S230中，處理器130還參考第一去雜訊影像來進行去雜訊。也就是說，處理器130參考相較於輸入影像的寬及/或高更小的去雜訊影像，並對輸入影像去雜訊。

在一實施例中，處理器130可結合第一去雜訊影像及輸入影像，以輸出第一結合影像。例如，處理器130可將第一去雜訊影像及輸入影像分配到不同通道，並將這些通道的集合作為第一結合影像。以紅綠藍(RGB)格式為例，第一去雜訊影像的某一個像素的紅、綠及藍的強度值在第一至第三通道，且輸入影像的對應像素的紅、綠及藍的強度值在第四至第六通道。然而，依據不同格式或通道數，還可能有其他分配方式。

接著，處理器130可對第一結合影像進行一個或更多個卷積運算，以輸出第一影像。在一實施例中，第一結合影像經那些卷積運算而輸出雜訊資訊(例如，透過雜訊檢測模型)，且處理器130可依據雜訊資訊對輸入影像去雜訊。在另一實施例中，第一結合影像經一個或更多個卷積運算而直接輸出第一影像(例如，透過去雜訊模型)。

舉例而言，圖3是依據本發明一實施例的去雜訊處理的流程示意圖。請參照圖3，處理器130對輸入影像IM11(經組態寬×高×通道為W/2 × H/2 × 6，其中W為原始影像的寬，H為原始影像的高)進行第一編碼(例如，均值池化)(步驟S301)，並輸出第一雜訊影像DSM11(經組態寬×高×通道為W/4 × H/4 × 6)。處理器130直接對第一雜訊影像DSM11去雜訊(步驟S302)，並輸出第一去雜訊影像DNM11(經組態寬×高×通道為W/4 × H/4 × 6)。處理器130解開(Unpack)第一去雜訊影像DNM11(步驟S303)，並輸出第一去雜訊影像DNM12(經組態寬×高×通道為W/2 × H/2 × 3)。處理器130依據第一去雜訊影像DNM12對輸入影像IM11去雜訊(步驟S304)，並輸出第一影像OM11(經組態寬×高×通道為W/2 × H/2 × 6)。在本實施例中，上述之解開(Unpack)程序例如是一格式轉換。

在一實施例中，處理器130可對第i雜訊影像去進行第一編碼，以輸出第i+1雜訊影像。i為1至M-1之大於零的正整數，而M為階層數。例如，i為2，則處理器130對第二雜訊影像去進行第一編碼，以輸出第三雜訊影像。其餘依此類推，於此不再贅述。

接著，處理器130可對第i+1雜訊影像去雜訊，以輸出第i+1去雜訊影像。相似地，參考寬及/或高較小的去雜訊影像，並對尚未去雜訊的影像去雜訊。例如，i為3且M為5，則處理器130可對第四雜訊影像去雜訊，以輸出第四去雜訊影像。

舉例而言，圖4是依據本發明一實施例的去雜訊處理的流程示意圖。請參照圖4，處理器130對輸入影像IM11(經組態寬×高×通道為W/2 × H/2 × 6，其中W為原始影像的寬，H為原始影像的高)進行第一編碼(例如，均值池化)(步驟S401)，並輸出第一雜訊影像DSM11(經組態寬×高×通道為W/4 × H/4 × 6)。處理器130對第一雜訊影像DSM11進行第一編碼(例如，均值池化)(步驟S402)，並輸出第二雜訊影像DSM12(經組態寬×高×通道為W/8 × H/8 × 6)。處理器130直接對第二雜訊影像DSM12去雜訊(步驟S403)，並輸出第二去雜訊影像DNM21(經組態寬×高×通道為W/8 × H/8 × 6)。處理器130解開第二去雜訊影像DNM21 (步驟S404)，並輸出第二去雜訊影像DNM22(經組態寬×高×通道為W/4 × H/4 × 3)。處理器130依據第二去雜訊影像DNM22對第一雜訊影像DSM11去雜訊(步驟S405)，並輸出第一去雜訊影像DNM15 (經組態寬×高×通道為W/4 × H/4 × 6)。處理器130解開第一去雜訊影像DNM15(步驟S406)，並輸出第一去雜訊影像DNM23(經組態寬×高×通道為W/2 × H/2 × 3)。處理器130依據第一去雜訊影像DNM23對輸入影像IM11去雜訊(步驟S407)，並輸出第一影像OM12(經組態寬×高×通道為W/2 × H/2 × 6)。

須說明的是，本發明實施例不限於圖3所示的2階優化或圖4所示的3階優化，諸如4階(即，M為4)、5階(即，M為5)或更高階層也可實現。

承上所述，在本實施例中，輸入影像和第一影像之影像格式例如是亮度色度濃度(YUV)格式，但不以此為限。在其他較佳實施例中，輸入影像和第一影像之影像格式也可以是紅綠藍(RGB)格式，本發明在此亦不做任何限制。

在另一較佳實施例中，在進行如圖3或是圖4所揭示之去雜訊處理流程前，該輸入影像例如會預先經過一第三編碼的轉換處理，以將一原始影像(經組態寬×高×通道為W × H × 3)的影像格式轉換成該輸入影像的影像格式(經組態寬×高×通道為W/2 × H/2 × 6)。也就是說，該輸入影像例如是原始影像經該第三編碼後之影像。舉例來說，原始影像和輸入影像之影像格式可以都是亮度色度濃度格式，其中原始影像之影像格式可以是YUV444，而輸入影像之影像格式可以是YUV420。YUV444之影像格式經例如是格式轉換的第三編碼後即可轉換成YUV420之影像格式。當然，在其他較佳實施例中，原始影像之影像格式也可以是紅綠藍(RGB)格式，而輸入影像之影像格式可以是YUV420之影像格式。在本實施例中，上述之格式轉換例如是包裝(Pack)程序。

值得一提的是，在上述該輸入影像預先經過該第三編碼的轉換處理的實施例中，輸出該第一影像 (經組態寬×高×通道為W/2 × H/2 × 6)之後，處理器130可再解開該第一影像，並輸出第一影像(經組態寬×高×通道為W × H × 3)。在該輸入影像預先經過該第三編碼的轉換處理的其他實施例中，輸出該第一影像 (經組態寬×高×通道為W/2 × H/2 × 6)之後，亦可以不經上述處理器130之解開程序，而是在後續的影像處理程序中進行調整即可，使最終輸出之影像組態寬×高×通道為W × H × 3。

由上述說明可知，無論該輸入影像是否預先經過該第三編碼的轉換處理皆屬本發明之精神與範疇，本文在此並不做任何限制。

圖5是依據本發明一實施例的用於去雜訊區塊的流程圖。請參照圖5，以圖3的步驟S304為例(也可能是圖4的步驟S405或S407)，處理器130可結合輸入影像IM11及第一去雜訊影像DNM12(步驟S501)，並輸出第一結合影像CM1。處理器130可對第一結合影像CM1進行多個卷積運算(步驟S502)，並輸出雜訊資訊。接著，處理器130可依據雜訊資訊對輸入影像IM11去雜訊(步驟S503)，並輸出第一影像OM11。

在一實施例中，原始影像亦可藉由處理器130預先經過一像素分配作業。以亮度色度濃度(YUV)格式為例，處理器130可將原始影像中的相鄰的2×2個第一像素的亮度值分別分配到輸入影像中的第二像素的六通道中的四者，將原始影像中的相鄰的2×2個第一像素的色度值分配到輸入影像中的第二像素的六通道中的一者，並將原始影像中的相鄰的2×2個第一像素的濃度值分配到輸入影像中的第二像素的六通道中的一者。進而，達到重新分配原始影像的像素之作業。具體而言，處理器130記錄原始影像中的任一個第一像素的亮度值、色度值及濃度值在三個通道。若欲降低維度，則處理器130將相鄰的2×2個第一像素的亮度值共同記錄在輸入影像的某一個第二像素的四個通道，並將這些第一像素的色度值及濃度值(例如取平均值、最大值或其他統計值)分別記錄在輸入影像的對應第二像素的兩個通道。

舉例而言，圖6是依據本發明一實施例的原始影像的第一像素的示意圖，且圖7A是依據本發明一實施例的輸入影像的第二像素的示意圖。請參照圖6及圖7A，圖6的左上的2×2個第一像素分配到輸入影像中編號“00”的第二像素(如圖7A所示包括2×2個第一像素的亮度值Y0000、Y0001、Y0010、Y0011、這些第一像素的代表色度值U00及濃度值V00)；圖6的右上的2×2個第一像素分配到輸入影像中編號“10”的第二像素(如圖7A所示包括2×2個第一像素的亮度值Y1000、Y1001、Y1010、Y1011、這些第一像素的代表色度值U10及濃度值V10)；圖6的左下的2×2個第一像素分配到輸入影像中編號“01”的第二像素(如圖7A所示包括2×2個第一像素的亮度值Y0100、Y0101、Y0110、Y0111、這些第一像素的代表色度值U01及濃度值V01)；圖6的右下的2×2個第一像素分配到輸入影像中編號“11”的第二像素(如圖7A所示包括2×2個第一像素的亮度值Y1100、Y1101、Y1110、Y1111、這些第一像素的代表色度值U11及濃度值V11)。

須說明的是，對原始影像重新分配的寬及高不以2×2個第一像素為限，諸如4×4、3×3或其他大小也可實現。

在一實施例中，處理器130可對輸入影像中的相鄰的2×2個第二像素進行池化(pooling)處理。池化處理可對特定區域(這實施例為2×2的區域)內的第二像素進行特定運算(例如，取最大值或取平均值)。

舉例而言，圖7B是依據本發明一實施例的均值池化的示意圖。請參照圖7A及圖7B，第一雜訊影像的某一個像素的第一通道是對編號“00”的第二像素的四個亮度值Y0000、Y0001、Y0010、Y0011平均所得出的亮度值Y00；第二通道是對編號“01”的第二像素的四個亮度值Y0100、Y0101、Y0110、Y0111平均所得出的亮度值Y01；第三通道是對編號“10”的第二像素的四個亮度值Y1000、Y1001、Y1010、Y1011平均所得出的亮度值Y10；第四通道是對編號“11”的第二像素的四個亮度值Y1100、Y1101、Y1110、Y1111平均所得出的亮度值Y11；第五通道是對編號“00”、“01”、“10”、“11” 的四個第二像素的色度值U00、U01、U10、U11平均所得出的色度值U；第六通道是對編號“00”、“01”、“10”、“11” 的四個第二像素的濃度值V00、V01、V10、V11平均所得出的色度值V。

須說明的是，池化處理所針對的區域不以2×2個第一像素為限，諸如4×4、3×3或其他大小也可實現。

在一實施例中，處理器130可重新分配第i去雜訊影像的第三像素，以提升維度(例如，圖3的步驟S303、圖4的步驟S404及步驟S406)。以YUV格式為例，處理器130可將第i去雜訊影像中的第三像素的六通道中的對應於亮度值的四者分別分配到解開影像(例如，圖3的第一去雜訊影像DNM12、圖4的第二去雜訊影像DNM22、或圖4的第一去雜訊影像DNM23)中的四個第四像素，將第i去雜訊影像中的第三像素的六通道中的對應於色度值的一者分別分配到解開影像中的四個第四像素，並將第i去雜訊影像中的第三像素的六通道中的對應於濃度值的一者分別分配到解開影像中的四第四像素。

具體而言，處理器130記錄第i去雜訊影像中的任一個第三像素的亮度值、色度值及濃度值在六個通道(如圖7A所示)。若欲增加維度，則處理器130將單一第三像素的四個通道的亮度值分別記錄在解開影像的四個第四像素的一個通道，並將這第三像素的色度值及濃度值分別記錄在輸入影像的這四個第四像素的兩個通道(即，這四個第四像素的色度值相同且其濃度值相同)。

舉例而言，圖8是依據本發明一實施例的像素解開的示意圖。請參照圖8，圖7B的第三像素的四個通道的亮度值Y00、Y01、Y10及Y11分配到四個第四像素的一個通道，第三像素的一個通道的色度值U分配到四個第四像素的一個通道，且第三像素的一個通道的濃度值V分配到四個第四像素的一個通道。

須說明的是，前述實施例是以亮度色度濃度(YUV)格式作為說明，然於其他實施例中亦可採用紅綠藍(RGB)格式。

在一實施例中，處理器130可對第i雜訊影像銳利化，以輸出第i銳利化影像。銳利化是用於增強影像的邊緣輪廓，並可能提升影像清晰及潔淨度。在一實施例中，處理器130可透過基於機器學習演算法的銳利化模型對第i雜訊影像銳利化。例如，銳利化模型包括一個或更多個卷積運算，且各卷積運算使用已訓練的過濾器。在另一實施例中，處理器130可使用高通濾波器、非銳化濾鏡(unsharp masking)或其他邊緣銳化處理。

接著，處理器130可依據第i銳利化影像對輸入影像銳利化，以輸出第一影像。相似地，參考寬及/或高較小的銳利化影像，並對尚未銳利化的影像銳利化。在一實施例中，處理器130可結合第i銳利化影像及輸入影像，並將結合的影像進行一個或更多個卷積運算以輸出第一影像。

須說明的是，銳利化與去雜訊可同時或分別進行。

除了銳利化與去雜訊，高動態範圍(HDR)處理也是廣泛使用的影像處理。高動態範圍有助於提升視覺體驗。

圖9A是依據本發明一實施例的兩階段優化網路的流程圖。請參照圖9A，處理器130可進行本地優化網路(Local Optimizing Network，LON)(步驟S11)。接著，處理器130可對本地優化網路的輸出進行全域優化網路(Global Optimizing Network，GON)(步驟S12)。步驟S11的本地優化網路可用於如前述銳利化與去雜訊，並可藉由前述銳利化與去雜訊相關實施例實現。例如，圖2所示的步驟、圖3或圖4所示的架構。步驟S12的全域優化網路可用於高動態範圍處理，且其詳細實施例待後續實施例說明。

然而，兩階段網路不限於圖9A所示的順序。圖9B是依據本發明另一實施例的兩階段優化網路的流程圖。請參照圖9B，處理器130先可進行全域優化網路(步驟S13)。接著，處理器130可對全域優化網路的輸出進行本地優化網路(步驟S14)。步驟S13的本地優化網路可用於如前述銳利化與去雜訊，並可藉由前述銳利化與去雜訊相關實施例實現。例如，圖2所示的步驟、圖3或圖4所示的架構。步驟S14的全域優化網路可用於高動態範圍處理，且其詳細實施例待後續實施例說明。

針對高動態範圍處理，圖9C是依據本發明一實施例的影像處理方法的流程圖。請參照圖9C，處理器130可對第一影像(如圖9A中的步驟S11的輸出)或是一原始影像(圖9B中的步驟S13的輸入)進行高動態範圍處理，以輸出第一高動態範圍影像(步驟S910)。具體而言，高動態範圍處理是用於提升曝光動態範圍，並可能正確地表現出真實世界中自光源直射到最暗陰影如此大的範圍亮度。在一實施例中，處理器130可透過基於機器學習演算法(例如，深度神經網路(DNN)、多層感知器(MLP)、支持向量機(SVM)或其他機器學習模型)的強度映射模型辨識影像中的增強資訊。增強資訊例如是各像素對應的強度值(例如，亮度值、對比值、或色調)或調整強度的決策。而強度映射模型是基於訓練樣本(及標記結果)所訓練的機器學習模型。例如，強度映射模型包括一個或更多個卷積運算，且各卷積運算使用已訓練的過濾器。處理器130可基於增強資訊進行高動態範圍處理。即，調整特徵圖(例如，第一影像或原始影像)的強度值(例如，亮度值、對比值、或色調)。

在另一實施例中，處理器130可透過基於機器學習演算法的高動態範圍模型直接對特徵圖進行高動態範圍處理。在其他實施例中，處理器130可利用其他高動態範圍演算法。

第一影像例如是圖3的第一影像OM11或圖3的第一影像OM12，但也可能是其他本地優化網路的輸出。原始影像可以是醫療影像、監控影像、產品影像或人物影像，但本發明實施例不加以限制其類型。

處理器130依據第一高動態範圍影像對第一影像進行高動態範圍處理，以輸出第二影像(步驟S920)。具體而言，高動態範圍技術可參酌步驟S910的相關說明於此不再贅述。值得注意的是，在步驟S920中，處理器130還參考第一高動態範圍影像來進行高動態範圍處理。也就是說，處理器130參考相較於第一影像的寬及/或高更小的高動態範圍影像，並對第一輸入影像進行高動態範圍處理。

在一實施例中，當處理器130對第一影像進行高動態範圍處理，係依據第一高動態範圍影像對第一影像進行高動態範圍處理，以輸出第二影像。以圖9A為例，步驟S11的輸出為第一影像，而在步驟S12中即可依據第一高動態範圍影像對第一影像進行高動態範圍處理，以輸出第二影像。在另一實施例中，當處理器130對原始影像進行高動態範圍處理，係依據該第一高動態範圍影像對該原始影像進行高動態範圍處理，以產生該輸入影像，並再對輸入影像進行例如是圖3或圖4所示之第一編碼作業。以圖9B為例，步驟S13的輸入為原始影像，而在步驟S13中即可依據第一高動態範圍影像對原始影像進行高動態範圍處理，以輸出該輸入影像。

在此，先針對圖9A所示全域優化網路之高動態範圍處理做說明。在一實施例中，處理器130可結合第一高動態範圍影像及第一影像，以輸出第二結合影像。例如，處理器130可將第一高動態範圍影像及第一影像分配到不同通道，並將這些通道的集合作為第二結合影像。以紅綠藍格式為例，第一高動態範圍影像的某一個像素的紅、綠及藍的強度值在第一至第三通道，且第一影像的對應像素的紅、綠及藍的強度值在第四至第六通道。然而，依據不同格式或通道數，還可能有其他分配方式。

接著，處理器130可對第二結合影像進行一個或更多個卷積運算，以輸出第二影像。在一實施例中，第二結合影像經那些卷積運算而輸出增強資訊(例如，透過強度映射模型)，且處理器130可依據增強資訊調整第一輸入影像的強度值。在另一實施例中，第二結合影像經那些卷積運算而直接輸出第二影像(例如，透過高動態範圍模型)。

在一實施例中，進行高動態範圍處理之前還包括進行深度至空間(depth to space)轉換。深度至轉換空間用於將多通道分配至單一通道。也就是，多個通道中的像素被合併至相同通道，也可能使原本在不同通道的像素經轉換後位於相同通道。例如，第一至第三通道中的第一、第三及第五像素被分配到新的第一通道；第四至第六通道中的第二、第四及第六像素被分配到新的第二通道。

舉例而言，圖10是依據本發明一實施例的高動態範圍處理的流程圖。請先同時參照圖9A與圖10，處理器130在進行本地優化網路(Local Optimizing Network，LON)並輸出該第一影像之後，處理器130會對第一影像OM1(經組態寬×高×通道為W × H × C，其中W為第一影像OM1的寬，H為第一影像OM1的高，C為第一影像OM1的通道)進行空間至深度轉換(步驟S101)，並輸出第一標準動態範圍影像DSM21(經組態寬×高×通道為W/2 × H/2 × 4*C)。處理器130對第一標準動態範圍影像DSM21進行高動態範圍處理(步驟S102)，並輸出第一高動態範圍影像HDR11(經組態寬×高×通道為W/2 × H/2 × 4*C)。處理器130依據第一高動態範圍影像HDR11對第一標準動態範圍影像DSM21進行高動態範圍處理(步驟S105)，並輸出第二影像OM21(經組態寬×高×通道為W × H × C)。

在一實施例中，處理器130可定義第一影像為第一第一標準動態範圍(Standard Dynamic Range，SDR)影像。處理器130可對第j標準動態範圍影像進行第二編碼，以輸出第j+1標準動態範圍影像。j為1至N-1之正整數，而N為階層數。例如，j為2，則處理器130對第二標準動態範圍影像進行第二編碼，以輸出第三標準動態範圍影像。其餘依此類推，於此不再贅述。第二編碼包括池化(pooling)處理，進而縮小影像尺寸。

處理器130可對第j+1標準動態範圍影像進行高動態範圍處理，以輸出第j+1高動態範圍影像。接著，處理器130可依據第j+1高動態範圍影像對第j+1標準動態範圍影像進行高動態範圍處理，以輸出第j高動態範圍影像。相似地，參考寬及/或高較小的高動態範圍影像，並對尚未高動態範圍處理的影像進行高動態範圍處理。N為階層數，並為大於二的正整數。例如，j為3且N為4，則處理器130依據第四高動態範圍影像對第四標準動態範圍影像進行高動態範圍處理，以輸出第三高動態範圍影像。

此外，當j=1時，處理器130可依據第二(j+1)高動態範圍影像對第二(j+1)標準動態範圍影像進行高動態範圍處理，以輸出第一高動態範圍影像，進而讓第一高動態範圍影像對第一影像進行高動態範圍處理，以輸出第二影像。

舉例而言，圖11是依據本發明一實施例的高動態範圍處理的流程圖。請參照圖11，處理器130對第一影像OM1(經組態寬×高×通道為W × H × C，其中W為第一影像OM1的寬，H為第一影像OM1的高，C為第一影像OM1的通道)進行空間至深度轉換(步驟S111)，並輸出第一標準動態範圍影像DSM21(經組態寬×高×通道為W/2 × H/2 × 4*C)。處理器130對第一標準動態範圍影像DSM21進行第二編碼(步驟S112)，並輸出第二標準動態範圍影像DSM22(經組態寬×高×通道為W/4 × H/4 × 4*C)。處理器130對第二標準動態範圍影像DSM22進行第二編碼(步驟S113)，並輸出第三標準動態範圍影像DSM23(經組態寬×高×通道為W/8 × H/8 × 4*C)。處理器130對第三標準動態範圍影像DSM23進行第二編碼(步驟S114)，並輸出第四標準動態範圍影像DSM24(經組態寬×高×通道為W/16 × H/16 × 4*C)。處理器130直接對第四標準動態範圍影像DSM24進行高動態範圍處理(步驟S115)，並輸出第四高動態範圍影像HDR24(經組態寬×高×通道為W/16 × H/16 × 4C)。處理器130依據第四高動態範圍影像HDR24對第四標準動態範圍影像DSM24進行高動態範圍處理(步驟S116)，並輸出第三高動態範圍影像HDR23(經組態寬×高×通道為W/8 × H/8 × C)。處理器130依據第三高動態範圍影像HDR23對第三標準動態範圍影像DSM23進行高動態範圍處理(步驟S117)，並輸出第二高動態範圍影像HDR22(經組態寬×高×通道為W/4 × H/4 × C)。處理器130依據第二高動態範圍影像HDR22對第二標準動態範圍影像DSM22進行高動態範圍處理(步驟S118)，並輸出第一高動態範圍影像HDR21(經組態寬×高×通道為W/2 × H/2 × C)。處理器130依據第一高動態範圍影像HDR21對第一標準動態範圍影像DSM21進行高動態範圍處理(步驟S118)，並輸出第二影像OM22 (經組態寬×高×通道為W × H × C)。

須說明的是，本發明實施例不限於圖10所示的2階優化或圖11所示的4階優化，諸如3階(即，N為3)、5階(即，N為5)或更高階層也可實現。此外，上述步驟S112、113及S114的第二編碼也可稱為第一編碼演算，步驟S115的高動態範圍處理也可稱為全域演算，步驟S116的高動態範圍處理也可稱為第一解碼演算，且步驟S117、S118及S119的高動態範圍處理也可稱為第二解碼演算。

上文是先針對圖9A所示之先進行本地優化網路(Local Optimizing Network，LON)並輸出該第一影像之後，再對該第一影像進行全域優化網路(Global Optimizing Network，GON)之詳細實施方式說明。接著，請再同時參照圖9B與圖10，處理器130亦可先針對原始影像(圖9B中的步驟S13的輸入)進行高動態範圍處理來輸出該輸入影像後，再對該輸入影像進行本地優化網路處理以輸出該第一影像。與圖9A所示之實施方式相同，在圖9B所示之實施方式中，處理器130同樣會對原始影像(圖未示)進行空間至深度轉換(步驟S101)，並輸出第一標準動態範圍影像DSM21之作業。處理器130亦會對第一標準動態範圍影像DSM21進行高動態範圍處理(步驟S102)，並輸出第一高動態範圍影像HDR11。同樣地，處理器130亦會依據第一高動態範圍影像HDR11對第一標準動態範圍影像DSM21進行高動態範圍處理以產生該輸入影像。如此一來，該輸入影像後續即可進行例如是本地優化網路作業(如步驟S14)，以輸出第一影像。

與圖9A所示之實施方式相同，在圖9B所示之實施方式中，處理器130同樣可以進行如圖11所揭示之高動態範圍處理。舉例來說，可定義該原始影像為一第一處理影像，並對該第一處理影像進行該第二編碼，以輸出一第二處理影像。接著，再對該第二處理影像進行該高動態範圍處理，以輸出一第二高動態範圍影像。之後，依據該第二高動態範圍影像對該第二處理影像進行該高動態範圍處理，以輸出一第一高動態範圍影像，進而讓該第一高動態範圍影像對該原始影像進行該高動態範圍處理，以輸出該輸入影像。上述之該第二編碼例如是池化(pooling)處理。關於圖9B所示之實施方式相似於圖9A所示之實施方式相同，本文在此不再贅述。

在一實施例中，處理器130可對第一、第二或其他標準動態範圍影像進行第二編碼。在一實施例中，第二編碼包括第二降採樣。第二降採樣是用於縮小特徵圖(例如，輸入影像)的寬及/或高的處理。在一實施例中，第二降採樣為逆次像素(desubpixel)轉換。逆次像素轉換將單一通道上的多個像素分配到多個通道的單一像素。在另一實施例中，第二降採樣為池化處理。一較佳實施例中，池化處理例如是均值池化。即，取任一通道中的多個像素的平均值。在一些實施例中，第二降採樣包括逆次像素及通道均值池化。在其他實施例中，第二降採樣可能是其他用於縮小特徵圖的處理。因此，經第二編碼的影像的寬及/或高小於所輸入第一影像或原始影像。

在一實施例中，第二編碼包括至少一個卷積運算。

在一實施例中，處理器130更對第一影像或原始影像進行空間至深度(space to depth)轉換。空間至深度轉換用於將單一通道的第一影像或原始影像分配至多通道以進行後續高動態範圍處理(如圖10的步驟S102、或圖11的步驟S112~步驟S119)。也就是，相同通道中的像素被拆散至更多通道，也可能使原本在相同通道的像素經轉換後位於不同通道。例如，第一通道中的第一、第三及第五像素被分配到新的第一通道；第一通道中的第二、第四及第六像素被分配到新的第二通道。此外，處理器130可依據第一高動態範圍影像再對分配至多通道之第一影像或原始影像進行高動態範圍處理，以輸出第二影像。

圖12是依據本發明一實施例的空間至深度轉換的示意圖。請參照圖12，以圖11的步驟S111為例(也可能是圖10的步驟S101)。假設第一影像OM1經組態寬×高×通道為4 × 4 × 2。在空間至深度轉換(步驟S111)中，處理器130可將通道C1的像素A1、A3、A9及A11分配到新的通道C1，將通道C1的像素A2、A4、A10及A12分配到新的通道C2，將通道C1的像素A5、A7、A13及A15分配到新的通道C3，將通道C1的像素A6、A8、A14及A16分配到新的通道C4，將通道C2的像素B1、B3、B9及B11分配到新的通道C5，將通道C2的像素B2、B4、B10及B12分配到新的通道C6，將通道C2的像素B5、B7、B13及B15分配到新的通道C7，並將通道C2的像素B6、B8、B14及B16分配到新的通道C8。最終，形成寬×高×通道為2 × 2 × 8的第一編碼樣標準動態範圍影像。

圖13是依據本發明一實施例的第二編碼的流程圖。請參照圖13，以圖10的步驟S102為例(也可能是圖11的步驟S112、S113、S114)。處理器130可對第一影像OM1或第一標準動態範圍影像DSM21進行一個或更多個卷積運算，以輸出第一通道調整影像(步驟S122)。處理器130可結合第一通道調整影像及輸入至一個或更多個卷積運算的影像(例如，第一標準動態範圍影像DSM21)，以輸出組合影像CIM1(步驟S123)。接著，處理器130可對結合影像CM2進行第二降採樣(例如，均值池化)，以輸出第二第二標準動態範圍影像DSM23(步驟S124)。均值池化可參照圖7A及圖7B的說明，於此不再贅述。

圖14A是依據本發明一實施例的卷積運算的流程圖。請參照圖14A，圖13的步驟S122例如是包括兩個卷積運算(步驟S1221及S1222)。

圖14B是依據本發明一實施例的卷積運算的流程圖。請參照圖14B，圖13的步驟S122包括兩個卷積運算(步驟S1223及S1226)及多個深度卷積運算(步驟S1224)。處理器130可對步驟S1223的輸出分別進行深度卷積運算(步驟S1224)。處理器130可結合深度卷積運算的輸出(步驟S1225)，並對結合的影像進行卷積運算(步驟S1226)。接著，處理器130可將步驟S1226及步驟S1224的輸出相加/疊加(步驟S1227)。

須說明的是，步驟S122中的卷積運算還可能有其他變化。

圖15是依據本發明一實施例的高動態範圍區塊的流程圖。請參照圖15，以圖10的步驟S102為例(也可能是圖11的步驟S115)。這高動態範圍區塊是用於在未參考其他影像的情況下的高動態範圍處理。處理器130可進行第一卷積運算，以輸出第二通道調整影像(步驟S1031)，對第二通道調整影像進行平均運算，以輸出平均影像(步驟S1032)。處理器130可對平均影像進行第二編碼(例如，縮小影像尺寸)，以輸出編碼平均影像(步驟S1033)。處理器130可相乘第二通道調整影像及編碼平均影像，以輸出編碼加權影像(步驟S1034)。接著，處理器130可對編碼加權影像依序進行第二卷積運算(步驟S1035)及一個或更多個第二編碼(步驟S1036~S1039)。第二編碼可參照圖13、圖14A及圖14B的說明，於此不再贅述。

圖16是依據本發明一實施例的平均運算的示意圖。請參照圖16，假設第二通道調整影像經組態寬×高×通道為W × H × C。在平均運算(步驟S1032)中，各通道(以不同網底區別通道)中的像素取平均值。因此，平均影像的通道數相同於第二通道調整影像，但各通道僅有一個像素(如圖右方所示)。

圖17是依據本發明一實施例的相乘運算的示意圖。請參照圖17，假設第二通道調整影像經組態寬×高×通道為W × H × C。在相乘運算(步驟S1034)中，各通道(以不同網底區別通道)中的像素與編碼平均影像的相同通道中的單一像素相乘。因此，編碼加權影像的寬×高×通道的大小相同於第二通道調整影像。

圖18是依據本發明一實施例的高動態範圍處理區塊的流程圖。請參照圖18，以圖10的步驟S105為例(也可能是圖11的步驟S119、S118、S117或S116)。處理器130可結合第一影像OM1經第二編碼後的第一標準動態範圍影像DSM21及第一高動態範圍影像HDR11(步驟S131)，並輸出第二結合影像CM2。處理器130可對第二結合影像CM2進行一個或更多個卷積運算(步驟S132)，並輸出增強資訊。接著，處理器130可依據增強資訊對第一標準動態範圍影像DSM21進行高動態範圍處理(步驟S133)，並輸出組合影像CIM2。例如，處理器130可將增強資訊疊加於第一標準動態範圍影像DSM21。處理器130可對組合像CIM2進行深度至空間轉換(步驟S134)，並輸出第二影像OM21。

在一實施例中，處理器130可結合第j+1高動態範圍影像及第j+1標準動態範圍影像，以輸出第三結合影像。例如，圖11所示的結合第四高動態範圍影像HDR24及第四標準動態範圍影像DSM24。接著，處理器130可對第三結合影像進行卷積運算，以輸出第j高動態範圍影像。例如，第三結合影像經卷積運算輸出增強資訊，且增強資訊與第四標準動態範圍影像疊加可輸出第三高動態範圍影像HDR23。在一實施例中，資強資訊與標準動態範圍影像疊加後的影像可經深度至空間轉換，以產生另一張高動態範圍影像。

圖19A是依據本發明一實施例的卷積運算的流程圖。請參照圖19A，圖18的步驟S132包括兩個卷積運算(步驟S1321及S1322)。

圖19B是依據本發明一實施例的卷積運算的流程圖。請參照圖19B，圖18的步驟S132包括兩個卷積運算(步驟S1323及S1326)及多個深度卷積運算(步驟S1324)。處理器130可對步驟S1323的輸出分別進行深度卷積運算(步驟S1324)。處理器130可結合深度卷積運算的輸出(步驟S1325)，並對結合的影像進行卷積運算(步驟S1326)。接著，處理器130可將步驟S1326及步驟S1324的輸出相加/疊加(步驟S1327)，並據以形成增強資訊。

須說明的是，步驟S132中的卷積運算還可能有其他變化。

圖20是依據本發明一實施例的深度至空間轉換的示意圖。請參照圖20，以圖18的步驟S134為例，其他高動態範圍處理區塊請依此類推。假設組合影像CIM2經組態寬×高×通道為2 × 2 × 8。在深度至空間轉換(步驟S134)中，處理器130可將通道C1~C4的像素A1~A16分配到新的通道C1，並將通道C5~C8的像素B1~B16分配到新的通道C2。最終，形成寬×高×通道為4 × 4 × 2的第二影像OM21。

綜上所述，在本發明實施例的影像處理方法及影像處理裝置中，基於寬及/高較小的去雜訊/銳利化/高動態範圍影像對尚未去雜訊/銳利化/高動態範圍處理的影像進行去雜訊/銳利化/高動態範圍處理。藉此，可有效改善影像品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:影像處理裝置 110:記憶體 130:處理器 S210~S230、S301~S303、S401~S407、S501~S503、S910~S920、S101~105、S1011、S1021、S111~S119、S122~S124、S1221~S1227、S1031~S1039、S131~134、S1321~S1327:步驟 IM11:輸入影像 DSM11、DNM15、DNM23:第一雜訊影像 DNM11、DNM12:第一去雜訊影像 DNM21、DNM22:第二去雜訊影像 OM11、OM12、OM1:第一影像 DSM12:第二雜訊影像 CM1:第一結合影像 Y0000、Y0001、Y0010、Y0011、Y1000、Y1001、Y1010、Y1011、Y0100、Y0101、Y0110、Y0111、Y1100、Y1101、Y1110、Y1111、Y00、Y01、Y10、Y11:亮度值 U00、U10、U01、U11、U:色度值 V00、V10、V01、V11、V:濃度值 DSM21:第一標準動態範圍影像 DSM22:第二標準動態範圍影像 HDR11、HDR21:第一高動態範圍影像 OM21、OM22:第二影像 DSM:第三標準動態範圍影像 DSM24:第四標準動態範圍影像 HDR22、HDR12:第二高動態範圍影像 HDR23:第三高動態範圍影像 HDR24:第四高動態範圍影像 CM2:第二結合影像 CIM1、CIM2:組合影像

圖1是依據本發明一實施例的影像處理裝置的元件方塊圖。 圖2是依據本發明一實施例的影像處理方法的流程圖。 圖3是依據本發明一實施例的去雜訊處理的流程示意圖。 圖4是依據本發明一實施例的去雜訊處理的流程示意圖。 圖5是依據本發明一實施例的用於去雜訊區塊的流程圖。 圖6是依據本發明一實施例的原始影像的第一像素的示意圖。 圖7A是依據本發明一實施例的輸入影像的第二像素的示意圖。 圖7B是依據本發明一實施例的均值池化(average pooling)的示意圖。 圖8是依據本發明一實施例的像素解開的示意圖。 圖9A是依據本發明一實施例的兩階段優化網路的流程圖。 圖9B是依據本發明另一實施例的兩階段優化網路的流程圖。 圖9C是依據本發明一實施例的影像處理方法的流程圖。 圖10是依據本發明一實施例的高動態範圍(High Dynamic Range，HDR)處理的流程圖。 圖11是依據本發明一實施例的高動態範圍處理的流程圖。 圖12是依據本發明一實施例的空間至深度轉換的示意圖。 圖13是依據本發明一實施例的第二編碼的流程圖。 圖14A是依據本發明一實施例的卷積運算的流程圖。 圖14B是依據本發明一實施例的卷積運算的流程圖。 圖15是依據本發明一實施例的高動態範圍區塊的流程圖。 圖16是依據本發明一實施例的平均運算的示意圖。 圖17是依據本發明一實施例的相乘運算的示意圖。 圖18是依據本發明一實施例的高動態範圍處理區塊的流程圖。 圖19A是依據本發明一實施例的卷積運算的流程圖。 圖19B是依據本發明一實施例的卷積運算的流程圖。 圖20是依據本發明一實施例的深度至空間轉換的示意圖。

S210~S230:步驟

Claims (35)

1. 一種影像處理方法，包括：透過一處理器對一輸入影像進行一第一編碼，以輸出一第一雜訊影像；透過該處理器對該第一雜訊影像進行一第一去雜訊運算，以輸出一第一去雜訊影像；透過該處理器對該第一去雜訊影像進行一格式轉換；以及透過該處理器依據格式轉換後之該第一去雜訊影像對該輸入影像進行一第二去雜訊運算，以輸出一第一影像，其中依據該第一去雜訊影像對該輸入影像去雜訊的步驟包括：結合該第一去雜訊影像及該輸入影像，以輸出一第一結合影像；以及對該第一結合影像進行至少一卷積運算，以輸出該第一影像；其中，該第一編碼包括一池化(pooling)處理。
2. 如請求項1所述的影像處理方法，其中該第一結合影像經該至少一卷積運算輸出一雜訊資訊，且依據該第一去雜訊影像對該輸入影像去雜訊的步驟包括：依據該雜訊資訊對該輸入影像去雜訊。
3. 如請求項1所述的影像處理方法，其中依據該第一去雜訊影像對該輸入影像去雜訊的步驟包括：對該第一雜訊影像進行該第一編碼，以輸出一第二雜訊影像； 對該第二雜訊影像去雜訊，以輸出一第二去雜訊影像；以及依據該第一去雜訊影像對該輸入影像去雜訊，其中該第一去雜訊影像是依據該第二去雜訊影像對該第一雜訊影像進行該第一去雜訊運算所輸出的。
4. 如請求項1所述的影像處理方法，更包括：對該第一雜訊影像銳利化，以輸出一第一銳利化影像；以及依據該第一銳利化影像對該輸入影像銳利化，以輸出該第一影像。
5. 如請求項1所述的影像處理方法，更包括：對該第一影像或是一原始影像進行一高動態範圍(High Dynamic Range，HDR)處理，以輸出一第一高動態範圍影像；以及依據該第一高動態範圍影像對該第一影像或是該原始影像進行該高動態範圍處理，以產生一第二影像或是該輸入影像；其中，當對該第一影像進行該高動態範圍處理，係依據該第一高動態範圍影像對該第一影像進行該高動態範圍處理，以輸出該第二影像；其中，當對該原始影像進行該高動態範圍處理，係依據該第一高動態範圍影像對該原始影像進行該高動態範圍處理，以產生該輸入影像，並再對該輸入影像進行該第一編碼。
6. 如請求項5所述的影像處理方法，其中依據該第一高動態範圍影像對該第一影像或是該原始影像進行該高動態範圍處理的步驟包括： 結合該第一高動態範圍影像及該第一影像或是該原始影像，以輸出一第二結合影像；以及對該第二結合影像進行至少一卷積運算，以輸出該第二影像或是該輸入影像；其中，當結合該第一高動態範圍影像及該第一影像以輸出該第二結合影像，並對該第二結合影像進行至少一卷積運算後，係輸出該第二影像；其中，當結合該第一高動態範圍影像及該原始影像以輸出該第二結合影像，並對該第二結合影像進行至少一卷積運算後，係輸出該輸入影像，並再對該輸入影像進行該第一編碼。
7. 如請求項6所述的影像處理方法，其中該第二結合影像經該至少一卷積運算輸出一增強資訊，且依據該第一高動態範圍影像對該該第一影像或是該原始影像進行該高動態範圍處理的步驟包括：依據該增強資訊對該第一影像或是該原始影像進行該高動態範圍處理。
8. 如請求項5所述的影像處理方法，其中依據該第一高動態範圍影像對該輸入影像進行該高動態範圍處理的步驟包括：定義該第一影像為一第一標準動態範圍(Standard Dynamic Range，SDR)影像；對該第一標準動態範圍影像進行一第二編碼，以輸出一第二標準動態範圍影像； 對該第二標準動態範圍影像進行該高動態範圍處理，以輸出一第二高動態範圍影像；以及依據該第二高動態範圍影像對該第二標準動態範圍影像進行該高動態範圍處理，以輸出一第一高動態範圍影像，進而讓該第一高動態範圍影像對該第一影像進行該高動態範圍處理，以輸出該第二影像；其中，該第二編碼包括一池化(pooling)處理。
9. 如請求項8所述的影像處理方法，其中該第二編碼還包括：對該第一影像進行至少一卷積運算，以輸出一第一通道調整影像；以及結合該第一通道調整影像及輸入至該至少一卷積運算的影像。
10. 如請求項5所述的影像處理方法，更包括一空間至深度(space to depth)轉換，該空間至深度轉換用於將單一通道之該第一影像分配至多通道以進行該高動態範圍處理來輸出該第一高動態範圍影像，且依據該第一高動態範圍影像再對分配至多通道之該第一影像進行該高動態範圍處理，以輸出該第二影像。
11. 如請求項8所述的影像處理方法，其中該高動態範圍處理包括：進行一第一卷積運算，以輸出一第二通道調整影像；對該第二通道調整影像進行一平均運算，以輸出一平均影像；對該平均影像進行該第二編碼，以輸出一編碼平均影像； 相乘該第二通道調整影像及該編碼平均影像，以輸出一編碼加權影像；以及對該編碼加權影像進行一第二卷積運算及至少一該第二編碼。
12. 如請求項8所述的影像處理方法，其中該高動態範圍處理包括：結合該第二高動態範圍影像及該第二標準動態範圍影像，以輸出一第三結合影像；以及對該第三結合影像進行至少一卷積運算，以輸出該第一高動態範圍影像。
13. 如請求項5所述的影像處理方法，其中進行該高動態範圍處理之前還包括：進行一深度至空間(depth to space)轉換，其中該深度至空間轉換用於將多通道分配至單一通道。
14. 如請求項5所述的影像處理方法，其中依據該第一高動態範圍影像對該原始影像進行該高動態範圍處理的步驟包括：定義該原始影像為一第一處理影像；對該第一處理影像進行一第二編碼，以輸出一第二處理影像；對該第二處理影像進行該高動態範圍處理，以輸出一第二高動態範圍影像；以及依據該第二高動態範圍影像對該第二處理影像進行該高動態範圍處理，以輸出一第一高動態範圍影像，進而讓該第一高動態範 圍影像對該原始影像進行該高動態範圍處理，以輸出該輸入影像；其中，該第二編碼包括一池化(pooling)處理。
15. 如請求項5所述的影像處理方法，其中一原始影像經一第三編碼後形成該輸入影像。
16. 一種影像處理裝置，包括：一記憶體，用以儲存一程式碼；以及一處理器，耦接該記憶體，經配置用以載入並執行該程式碼以：對一輸入影像進行一第一編碼，以輸出一第一雜訊影像；對該第一雜訊影像去雜訊，以輸出一第一去雜訊影像；以及依據該第一去雜訊影像對該輸入影像去雜訊，以輸出一第一影像，其中該處理器更經配置用以：結合該第一去雜訊影像及該輸入影像，以輸出一第一結合影像；以及對該第一結合影像進行至少一卷積運算，以輸出該第一影像；其中，該第一編碼包括一池化處理。
17. 如請求項16所述的影像處理裝置，其中該第一結合影像經該至少一卷積運算輸出一雜訊資訊，且該處理器更經配置用以：依據該雜訊資訊對該輸入影像去雜訊。
18. 如請求項16所述的影像處理裝置，其中該處理器更經配置用以：對該第一雜訊影像進行該第一編碼，以輸出一第二雜訊影像；以及對該第二雜訊影像去雜訊，以輸出一第二去雜訊影像；以及依據該第一去雜訊影像對該輸入影像去雜訊，其中該第一去雜訊影像是依據該第二去雜訊影像對該第一雜訊影像進行該第一去雜訊運算所輸出的。
19. 如請求項16所述的影像處理裝置，其中該處理器更經配置用以：對該第一雜訊影像銳利化，以輸出一第一銳利化影像；以及依據該第一銳利化影像對該輸入影像銳利化，以輸出該第一影像。
20. 如請求項16所述的影像處理裝置，其中該處理器更經配置用以：對該第一影像進行一高動態範圍處理，以輸出一第一高動態範圍影像；以及依據該第一高動態範圍影像對該第一影像或是該原始影像進行該高動態範圍處理，以產生一第二影像或是該輸入影像；其中，當對該第一影像進行該高動態範圍處理，係依據該第一高動態範圍影像對該第一影像進行該高動態範圍處理，以輸出該第二影像； 其中，當對該原始影像進行該高動態範圍處理，係依據該第一高動態範圍影像對該原始影像進行該高動態範圍處理，以產生該輸入影像，並再對該輸入影像進行該第一編碼。
21. 如請求項20所述的影像處理裝置，其中該處理器更經配置用以：結合該第一高動態範圍影像及該第一影像，以輸出一第二結合影像；以及對該第二結合影像進行至少一卷積運算，以輸出該第二影像。
22. 如請求項21所述的影像處理裝置，其中該第二結合影像經該至少一卷積運算輸出一增強資訊，且該處理器更經配置用以：依據該增強資訊對該第一影像進行該高動態範圍處理。
23. 如請求項20所述的影像處理裝置，其中該處理器更經配置用以：定義該第一影像為一第一標準動態範圍影像；對一第一標準動態範圍影像去進行一第二編碼，以輸出一第二標準動態範圍影像；以及對該第二標準動態範圍影像進行該高動態範圍處理，以輸出一第二高動態範圍影像；以及依據該第二高動態範圍影像對該第二標準動態範圍影像進行該高動態範圍處理，以輸出一第一高動態範圍影像，進而讓該第一高動態範圍影像對該第一影像進行該高動態範圍處理，以輸出該 第二影像；其中，該第二編碼包括一池化處理。
24. 如請求項23所述的影像處理裝置，其中該處理器更經配置用以：對該第一影像進行至少一卷積運算，以輸出一第一通道調整影像；以及結合該第一通道調整影像及輸入至該至少一卷積運算的影像。
25. 如請求項20所述的影像處理裝置，其中該處理器更經配置用以：進行一空間至深度(space to depth)轉換，其中該空間至深度轉換用於將單一通道之該第一影像分配至多通道以進行該高動態範圍處理來輸出該第一高動態範圍影像，且依據該第一高動態範圍影像再對分配至多通道之該第一影像進行該高動態範圍處理，以輸出該第二影像。
26. 如請求項23所述的影像處理裝置，其中該處理器更經配置用以：進行一第一卷積運算，以輸出一第二通道調整影像；對該第二通道調整影像進行一平均運算，以輸出一平均影像；對該平均影像進行該第二編碼，以輸出一編碼平均影像；相乘該第二通道調整影像及該編碼平均影像，以輸出一編碼加權影像；以及對該編碼加權影像進行一第二卷積運算及至少一該第二編碼。
27. 如請求項23所述的影像處理裝置，其中該處理器更經配置用以：結合該第二高動態範圍影像及該第二標準動態範圍影像，以輸出一第三結合影像；以及對該第三結合影像進行至少一卷積運算，以輸出該第一高動態範圍影像。
28. 如請求項20所述的影像處理裝置，其中該處理器更經配置用以：進行一深度至空間(depth to space)轉換，其中該深度至空間轉換用於將多通道分配至單一通道。
29. 如請求項20所述的影像處理裝置，其中該處理器更經配置用以：定義該原始影像為一第一處理影像；對該第一處理影像進行一第二編碼，以輸出一第二處理影像；對該第二處理影像進行該高動態範圍處理，以輸出一第二高動態範圍影像；以及依據該第二高動態範圍影像對該第二處理影像進行該高動態範圍處理，以輸出一第一高動態範圍影像，進而讓該第一高動態範圍影像對該原始影像進行該高動態範圍處理，以輸出該輸入影像；其中，該第二編碼包括一池化(pooling)處理。
30. 如請求項20所述的影像處理裝置，其中一原始影像經一第三編碼後形成該輸入影像。
31. 一種影像處理方法，包括：輸入一標準動態範圍影像經一空間深度演算轉換影像資料格式，輸出一第一影像資料；將該第一影像資料輸入至一第一編碼演算，以輸出一第二影像資料；將該第二影像資料輸入經一全域演算，以輸出一第三影像資料；將該第二影像資料與該第三影像資料輸入至一第一解碼演算，以輸出一第四影像資料；以及將該第一影像資料及該第四影像資料輸入至一第二解碼演算，以輸出一高動態範圍影像。
32. 如請求項31所述的影像處理方法，其中該第一編碼演算包括：縮小該第一影像資料的影像尺寸。
33. 如請求項31所述的影像處理方法，其中該全域演算包括：進行一第一卷積運算，以輸出一通道調整影像；對該通道調整影像進行平均運算，以輸出一平均影像；縮小該平均影像的影像尺寸，以輸出一編碼平均影像；相乘該通道調整影像及該編碼平均影像，以輸出一編碼加權影像；以及對該編碼加權影像進行一第二卷積運算。
34. 如請求項31所述的影像處理方法，其中該第一解碼演算包括：結合該第二影像資料與該第三影像資料，以輸出一結合影像；對該結合影像進行至少一卷積運算，以輸出一增強資訊；依據該增強資訊對該第二影像資料進行一動態範圍處理，以輸出一組合影像；以及對該組合影像進行一深度至空間轉換，以輸出該第四影像資料。
35. 如請求項31所述的影像處理方法，其中該第二解碼演算包括：結合該第一影像資料與該第四影像資料，以輸出一結合影像；對該結合影像進行至少一卷積運算，以輸出一增強資訊；依據該增強資訊對該第一影像資料進行一動態範圍處理，以輸出一組合影像；以及對該組合影像進行一深度至空間轉換，以輸出該高動態範圍影像。

Images