TWI874201B - 影像處理系統、影像處理方法以及訓練系統 - Google Patents

Abstract

一種影像處理系統、影像處理方法以及訓練系統，影像處理方法包含：由影像處理模組中的預處理模組接收影像，並下取樣影像以獲得下取樣張量；由影像處理模組中的神經網路模組基於多個第一參數處理下取樣張量並產生輸出張量；由影像處理模組中的上取樣模組上取樣輸出張量以產生與影像尺寸相同的上取樣張量；以及由加法模組對上取樣張量以及影像執行逐元素加法以獲得輸出影像。

Description

影像處理系統、影像處理方法以及訓練系統

本發明涉及影像處理技術，特別涉及一種應用神經網路的影像處理技術。

由於即時影像處理晶片的效能限制，許多產品並不會在接收到4K或是8K影片輸入時，打開人工智慧模型（例如CNN網路）處理。

有鑑於此，本發明一些實施例提供一種影像處理系統、影像處理方法以及訓練系統以改善現有技術問題。

本發明一些實施例提供一種影像處理系統，包含影像處理模組以及加法模組；影像處理模組包含預處理模組、神經網路模組以及上取樣模組，預處理模組經配置以接收影像，並下取樣影像以獲得下取樣張量；神經網路模組經配置以基於多個第一參數處理下取樣張量並產生輸出張量；上取樣模組經配置上取樣輸出張量以產生與影像尺寸相同的上取樣張量；以及加法模組經配置以對上取樣張量以及影像執行逐元素加法以獲得輸出影像。

本發明一些實施例提供一種影像處理方法，包含：由影像處理模組中的預處理模組接收影像，並下取樣影像以獲得下取樣張量；由影像處理模組中的神經網路模組基於多個第一參數處理下取樣張量並產生輸出張量；由影像處理模組中的上取樣模組上取樣輸出張量以產生與影像尺寸相同的上取樣張量；以及由加法模組對上取樣張量以及影像執行逐元素加法以獲得輸出影像。

本發明一些實施例提供一種訓練系統，訓練系統包含處理模組以及待訓練影像處理模組，其中待訓練影像處理模組包含預處理模組、神經網路模組、上取樣模組以及加法模組；預處理模組經配置以接收訓練輸入影像，並下取樣訓練輸入影像以獲得下取樣張量；神經網路模組經配置以基於多個第一訓練參數處理下取樣張量並產生輸出張量；上取樣模組經配置以上取樣輸出張量以產生與訓練輸入影像尺寸相同的上取樣張量；以及加法模組經配置以對上取樣張量以及訓練輸入影像執行逐元素加法以獲得訓練輸出影像；處理模組經配置以利用訓練集中的多個訓練影像以及對應訓練影像的多個目標影像訓練待訓練影像處理模組以獲得待訓練影像處理模組的多個影像處理訓練參數的每一個的已訓練參數值，其中前述多個影像處理訓練參數包含前述多個第一訓練參數。

本發明一些實施例提供一種訓練系統，訓練系統包含處理模組以及待訓練神經網路模組，其中待訓練神經網路模組包含裁剪模組以及分類神經網路模組；裁剪模組經配置以接收訓練輸入影像並在訓練輸入影像上裁剪出多個裁剪影像；以及分類神經網路模組包含多個訓練參數，分類神經網路模組經配置以基於前述多個裁剪影像產生訓練輸入影像對應的畫質分類；處理模組經配置以利用訓練集中的多個訓練影像以及每一訓練影像的畫質分類標籤訓練待訓練神經網路模組以獲得每一訓練參數的已訓練參數值。

基於上述，本發明一些實施例提供一種影像處理系統、影像處理方法以及訓練系統。在影像處理系統中，影像會先經由預處理模組下取樣，而在低解析度的清況下處理後再加回原影像，因此神經網路模組的輸入尺寸可以減少。減少神經網路模組的輸入尺寸可以使神經網路模組在運行時的運算量、運算所需的緩衝以及耗能減少，從而在相同的運算資源下，神經網路模組可以被設計為結構較深的神經網路以獲得更大的視野。另外，藉由前述神經網路訓練系統訓練所得的參數值，可藉由神經網路快速獲得影像處理效果。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之實施例的詳細說明中，將可清楚的呈現。任何不影響本發明所能產生之功效及所能達成之目的修改與變更，均仍應落在本發明所揭示之技術內容涵蓋之範圍內。在所有圖式中相同的標號將用於表示相同或相似的元件。以下實施例中所提到的「連接」一詞可指任何直接或間接、有線或無線的連接手段。於本文中，所描述之「第一」或「第二」等類似序數之詞語，係用以區分或指關聯於相同或類似的元件或結構，且不必然隱含此等元件在系統上的順序。應了解的是，在某些情況或配置下，序數詞語係可交換使用而不影響本發明之實施。

圖1係依據本發明一些實施例所繪示的影像處理系統方塊圖。請參閱圖1，影像處理系統100包含影像處理模組101、記憶體模組102以及加法模組103。影像處理模組101以及記憶體模組102經配置以分別接收影像104的一份複製影像。影像處理模組101經配置以處理影像104的複製影像。記憶體模組102在影像處理模組101處理影像104的複製影像時，暫存影像104的複製影像。其中，記憶體模組102例如是靜態隨機存取記憶體（Static random-access memory， SRAM）或是動態隨機存取記憶體（Dynamic random-access memory， DRAM）。

影像處理模組101包含預處理模組1011、神經網路模組1012以及上取樣模組1013。預處理模組1011經配置以接收影像104的複製影像，並且下取樣影像104的複製影像以產生影像104的下取樣張量。神經網路模組1012包含一神經網路。神經網路模組1012包含多個參數，其中前述神經網路模組1012的參數包含神經網路模組1012的神經網路的多個權重。以下為說明方便，神經網路模組1012的多個參數被稱為第一參數。神經網路模組1012經配置以基於多個第一參數處理所接收的張量並產生輸出張量。在以下的說明中，將會進一步說明神經網路模組1012的架構。

上取樣模組1013經配置上取樣輸出張量以產生與影像104尺寸相同的上取樣張量。加法模組103經配置以對所接收到的兩個張量執行逐元素加法。

以下即配合圖式詳細說明本發明一些實施例之影像處理方法以及影像處理系統100之各模組之間如何協同運作。

圖13係依據本發明一些實施例所繪示的影像處理方法流程圖。請同時參閱圖1與圖13，影像處理方法包含步驟S1301~S1304。在步驟S1301中，由影像處理模組101中的預處理模組1011接收影像104的複製影像，並下取樣影像104的複製影像以產生下取樣張量。在步驟S1302中，由影像處理模組101中的神經網路模組1012基於神經網路模組1012的多個第一參數處理下取樣張量並產生輸出張量。在步驟S1303由影像處理模組101中的上取樣模組1013上取樣神經網路模組1012的輸出張量以產生與影像104尺寸相同的上取樣張量。在步驟S1304中，由加法模組103對上取樣張量以及記憶體模組102所儲存影像104的複製影像執行逐元素加法以獲得輸出影像。

在本發明一些實施例中，影像104為高解析度影像。例如，影像104為4K或是8K影像。

圖2係依據本發明一些實施例所繪示的影像處理系統運作時序圖。請同時參考圖1、圖2以及圖13，在本發明一些實施例中，影像處理系統100用以處理影片中的幀，也就是說前述影像104為影片中的一幀。如圖2所繪示，影片中的幀基於當前幀時序201載入到影像處理系統100處理。由於影像處理模組101需要處理時間以做多次處理擷取重要資訊，影像處理系統100在載入當前幀作為影像104後，需要經過影像處理模組工作時間後才會由上取樣模組1013輸出上取樣張量（如上取樣輸出時序202所繪示）。此時，如圖2的記憶體模組102的記憶體模組時序203所示，記憶體模組102開始動作以輸出儲存的影像104原始的複製影像給加法模組103。

在前述實施例中，影像104會先經由預處理模組1011下取樣，而在低解析度的情況下處理後再加回原影像，因此神經網路模組1012的輸入尺寸可以減少。減少神經網路模組1012的輸入尺寸可以使神經網路模組1012在運行時的運算量、運算所需的緩衝（buffer）以及耗能減少，從而在相同的運算資源下，神經網路模組1012可以被設計為結構較深的神經網路以獲得更大的視野。即使在前述的實施例中需要使用記憶體模組102以儲存原來的影像104，相較於直接對影像104進行處理，整體所使用的資源還是較為節省。

圖3A、圖3B以及圖3C係依據本發明一些實施例所繪示的像素解混洗運作示意圖。請同時參閱圖3A、圖3B以及圖3C，張量300為一個3軸（axes）張量，其形狀（shape）為（H×r, W×r, C），其中r=4，H、W以及C為正整數。也就是說張量300在第0軸上有H×r個元素，在第1軸上有W×r個元素，在第2軸上有C個元素。張量300的第2軸又被稱為張量300的通道軸。對張量300執行像素解混洗的運作為：基於一個縮小倍率r，對在張量300的通道軸上的元素300-1~300-C的每一個，在第0軸和第1軸上相互間隔為r的元素組合成一個新的通道元素以將張量300轉換為形狀為（H, W, C×r ²）的3軸張量。

以下以縮小倍率r=4進行說明。請參考圖3B以及圖3C，張量300’為張量300在張量300的通道軸上的一個元素。在圖3B以及圖3C中，在張量300’的第0軸以及第1軸上，元素30k-1~30k-N為在第0軸和第1軸上相互間隔為r的元素，其中k=1、2、…、16，N= H×W。因此將元素30k-1~30k-N組成新的通道元素30k（如圖3C所示），其中k=1、2、…、16。值得說明的是，由於在執行像素解混洗時，並未實際改變張量300的元素內容，當張量300為一影像時，基於縮小倍率r對張量300 執行像素解混洗將會保留張量300的像素資訊，其中影像的像素資訊為影像的各像素所包含的資訊，例如像素RGB值等等。

另外值得說明的是，基於放大倍率r對一個3軸張量執行像素混洗則是上述像素解混洗的逆操作。

圖14係依據本發明一些實施例所繪示的影像處理方法流程圖。請同時參閱圖1、圖13以及圖14，在本發明一些實施例中，步驟S1301包含步驟S1401。在步驟S1401中，預處理模組1011基於一個縮小倍率（例如前述縮小倍率r）對影像104的複製影執行像素解混洗以下取樣影像104產生下取樣張量，其中下取樣張量保持影像104的像素資訊。

在此實施例中，使用像素解混洗以下取樣影像104可在不損失像素資訊的情況下，減少神經網路模組1012的輸入尺寸，並且同時使神經網路模組1012接收到影像104完整的像素資訊。以前述縮小倍率r=4為例，若影像104為8K影像（尺寸為7680×4320），則基於縮小倍率4經過像素解混洗後尺寸為1960×1080×16，因此可採用輸入尺寸較小的神經網路。

當然，預處理模組1011也可基於其他下取樣方法，例如使用刪除（deletion）法刪除元素或是使用池化層（pooling layer）與卷積層，對影像104的複製影執行下取樣以產生下取樣張量。

在本發明一些實施例中，神經網路模組1012的輸出張量的尺寸被設置為與預處理模組1011所產生的下取樣張量相同。上取樣模組1013經配置以基於一個放大倍率對輸出張量執行像素混洗以上取樣輸出張量，其中前述放大倍率與預處理模組1011的縮小倍率相同。

圖4係依據本發明一些實施例所繪示的上取樣模組方塊圖。圖15係依據本發明一些實施例所繪示的影像處理方法流程圖。請同時參閱圖4、圖13以及圖15，在此實施例中，上取樣模組1013包含放大模組401以及卷積模組402。放大模組401經配置以放大輸出張量以產生放大輸出張量。卷積模組402包含至少一卷積層並且具有多個參數，前述卷積模組402的多個參數包含卷積層的權重。以下為說明方便，卷積模組402的多個參數被稱為第二參數。卷積模組402經配置基於多個第二參數處理放大輸出張量以產生上取樣張量。其中，放大模組401可基於任意的放大方法放大輸出張量。前述放大方法例如為內插法或是補0，本發明並不予以限制。

在此實施例中，前述步驟S1303包含步驟S1501以及S1502。在步驟S1501中，由放大模組401放大輸出張量以產生放大輸出張量。在步驟S1502中，由卷積模組402基於前述多個第二參數處理放大輸出張量以產生上取樣張量。

圖5係依據本發明一些實施例所繪示的影像處理系統方塊圖。圖16係依據本發明一些實施例所繪示的影像處理方法流程圖。請先參閱圖5，影像處理系統500相較於影像處理系統100更包含畫質偵測模組501、載入模組502以及記憶體模組503。在此實施例中，影像104為一個影片的一幀。畫質偵測模組501經配置以接收影像104的一份複製影像並且基於影像104的複製影像產生對應影像104所屬影片的畫質分類的索引。記憶體模組503例如可採用雙倍資料率同步動態隨機存取記憶體（Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM）以加快存取速度。

其中前述影片的畫質分類可包含影片內容的壓縮率以及畫質。例如，影片的畫質分類如下表（一）所記載，包含8K 高位元速率、8K 低位元速率、…、2K低位元速率等等。每一個畫質分類都對應一個索引，例如8K 高位元速率的索引為0，8K 低位元速率的索引為1等等。

索引	0	1	2	3	4	5
畫質分類	8K 高位元速率	8K 低位元速率	4K高位元速率	4K低位元速率	2K 高位元速率	2K低位元速率

表（一）

載入模組502經配置以基於對應影像104所屬影片的畫質分類的索引從記憶體模組503中取得對應畫質分類的多個影像處理參數值，並將所取得的影像處理參數值載入至影像處理模組101。

其中，影像處理參數值包含影像處理模組101運作時所需的參數。舉例來說，當上取樣模組1013採用前述圖4實施例所繪示的架構時，影像處理參數值包含前述神經網路模組1012的多個第一參數以及卷積模組402的多個第二參數的參數值。

請同時參閱圖5以及圖16。在此實施例中，影像處理方法包含步驟S1601~S1602。在步驟S1601中，由畫質偵測模組501基於影像104的複製影像產生對應影像104所屬影片的畫質分類的索引。在步驟S1602中，由載入模組502基於對應影像104所屬影片的畫質分類的索引從記憶體模組503中取得對應畫質分類的多個影像處理參數值，並將影像處理參數值載入至影像處理模組101。

值得說明的是，前述對應影像104所屬影片的畫質分類的索引是為了可以使載入模組502在記憶體模組503中快速找到對應畫質分類的多個影像處理參數值而設置，可以任意設定，不以表（一）所記載的實施例為限。例如，也可以數值0作為2K低位元速率的索引。

在前述實施例中，由於採用了基於影像104所屬影片的畫質分類切換影像處理模組101的參數的機制，可以對不同種類的影片採用不同的參數而產生較佳的處理效果。更可以基於需求，對不同種類的影片產生不同的處理效果。

圖6係依據本發明一些實施例所繪示的上取樣模組方塊圖。圖7係依據本發明一些實施例所繪示的裁剪示意圖。請參閱圖6，畫質偵測模組501包含裁剪（crop）模組601、分類神經網路模組602以及映射模組603。裁剪模組601經配置以接收影像104的複製影像並在影像104的複製影像上裁剪出多個裁剪影像。其中，前述裁剪的位置可以是固定的多個位置，或是隨機的多個位置。

請參閱圖7，在本發明一些實施例中，影像104的複製影像為影像701，裁剪模組601基於固定的位置702-1~702-M，在影像701上裁剪出裁剪影像701-1~701-M，其中影像701的尺寸為3840×2160×3，裁剪影像701-1~701-M的尺寸為240×240×3，M為一正整數。當然裁剪模組601也可以基於其他固定位置在影像701上裁剪出裁剪影像，或是在位置702-1~702-M中隨機選擇固定數量的位置以在影像701上裁剪出裁剪影像。

分類神經網路模組602經配置以接收前述多個裁剪影像，並且基於所接收的裁剪影像產生影像104所屬影片的畫質分類。在本發明一些實施例中，分類神經網路模組602包含卷積層、全連接層以及歸一化指數函式層（softmax layer），分類神經網路模組602的卷積層經配置以擷取前述多個裁剪影像的特徵，全連接層整合前述多個裁剪影像的特徵後產生多個輸出，歸一化指數函式層接收全連接層的輸出後輸出對應影像104所屬影片屬於每一個畫質分類的機率。例如，畫質分類如表（一）所記載，歸一化指數函式層被設置為包含6個輸出，第1個輸出為影片屬於8K 高位元速率的機率，第2個輸出為影片屬於8K 低位元速率的機率，以此類推。

映射模組603經配置以基於畫質分類產生索引。例如，映射模組603基於歸一化指數函式層的輸出，選取機率最高的畫質分類，在輸出對應機率最高的畫質分類的索引。例如，映射模組603基於歸一化指數函式層的輸出，判斷機率最高的畫質分類為8K 高位元速率，映射模組603產生索引0。

圖17依據本發明一些實施例所繪示的影像處理方法流程圖。請同時參閱圖6、圖7以及圖17。在此實施例中，前述步驟S1601包含步驟S1701~S1703。在步驟S1701中，由裁剪模組601接收影像104的複製影像並在影像104的複製影像上裁剪出多個裁剪影像。在步驟S1702中，由分類神經網路模組602基於前述多個裁剪影像產生影像104所屬影片的畫質分類。在步驟S1703中，由映射模組603基於影像104的畫質分類產生索引。

圖8係依據本發明一些實施例所繪示的神經網路模組方塊圖。圖9係依據本發明一些實施例所繪示的殘差網路層示意圖。請參閱圖8以及圖9，神經網路模組1012包含串聯的殘差網路層801~80P，其中P為一正整數。殘差網路層801~80P經配置以接收預處理模組1011所產生的下取樣張量並在處理下取樣張量後產生輸出張量。其中殘差網路層801~80P每一個的架構如殘差網路層900所示。殘差網路層900包含一個網路層901、加法模組903以及由網路層901的輸入直接連接至加法模組903的路徑902。其中網路層901包含一個神經網路。值得說明的是，殘差網路層801~80P每一個的網路層901的神經網路可以相同或是不相同，本發明並不予以限制。在此實施例中，前述步驟S1302包含由殘差網路層殘差網路層801~80P接收下取樣張量並產生輸出張量。

圖10係依據本發明一些實施例所繪示的訓練系統方塊圖。請參閱圖10，訓練系統1000包含處理模組1001以及待訓練影像處理模組1002。其中待訓練影像處理模組1002包含預處理模組1003、神經網路模組1004、上取樣模組1005以及加法模組1006。預處理模組1003經配置以接收訓練輸入影像1007的複製影像，並下取樣訓練輸入影像1007的複製影像以獲得下取樣張量。神經網路模組1004包含多個第一訓練參數。神經網路模組1004經配置以基於前述多個第一訓練參數處理下取樣張量並產生輸出張量。上取樣模組1005經配置以上取樣輸出張量以產生與訓練輸入影像尺寸相同的上取樣張量；以及加法模組1006經配置以對上取樣張量以及影像執行逐元素加法以獲得訓練輸出影像。預處理模組1003、神經網路模組1004、上取樣模組1005以及加法模組1006的實施方式相同於前述預處理模組1011、神經網路模組1012、上取樣模組1013以及加法模組103，因此關於預處理模組1003、神經網路模組1004、上取樣模組1005以及加法模組1006的各實施方式，可參考前述預處理模組1011、神經網路模組1012、上取樣模組1013以及加法模組103相關的實施例。

處理模組1001經配置以利用訓練集中的多個訓練影像以及對應該些訓練影像的多個目標影像，將前述多個訓練影像的每一個作為訓練輸入影像1007輸入至待訓練影像處理模組1002以訓練待訓練影像處理模組1002。在完成訓練後，處理模組1001可獲得待訓練影像處理模組1002的多個影像處理訓練參數的每一個的已訓練參數值。其中前述影像處理訓練參數包含前述第一訓練參數。

在本發明一些實施例中，使用者針對不同畫質分類（例如前述表（一）所記載的畫質分類）以及影像處理系統100在處理影像104後所要產生的效果（例如降噪、銳利化或增加細節等），蒐集多組的訓練集。訓練系統1000基於這些訓練集訓練待訓練影像處理模組1002以獲得不同組的影像處理訓練參數的已訓練參數值。訓練系統1000再依據畫質分類將這些不同組的影像處理訓練參數的已訓練參數值儲存入前述記憶體模組503中，以供載入模組502經配置以基於對應影像104所屬影片的畫質分類的索引取出使用。

在本發明一些實施例中，上取樣模組1005經配置以基於一個放大倍率對輸出張量執行像素混洗以上取樣神經網路模組1004所輸出的輸出張量。

在本發明一些實施例中，上取樣模組1005相同於圖4所記載的上取樣模組1013，包含放大模組以及卷積模組。上取樣模組1005的放大模組經配置以放大神經網路模組1004的輸出張量以產生放大輸出張量。上取樣模組1005的卷積模組包含至少一卷積層並且具有多個參數，前述上取樣模組1005的卷積模組的多個參數包含卷積層的權重。為說明方便，上取樣模組1005的卷積模組的多個參數被稱為第二訓練參數。上取樣模組1005的卷積模組經配置基於前述多個第二訓練參數處理放大輸出張量以產生上取樣張量。上取樣模組1005的放大模組以及卷積模組的實施方式相同於前述放大模組401以及卷積模組402，因此上取樣模組1005的放大模組以及卷積模組的各實施方式，可參考前述放大模組401以及卷積模組402相關的實施例。

圖11係依據本發明一些實施例所繪示的訓練系統方塊圖。請參閱圖11，訓練系統1100包含處理模組1101以及待訓練神經網路模組1102。其中待訓練神經網路模組1102包含裁剪模組1103以及分類神經網路模組1104。裁剪模組1103經配置以接收訓練輸入影像1105並在訓練輸入影像1105的複製影像上裁剪出多個裁剪影像。分類神經網路模組1104包含多個訓練參數，分類神經網路模組1104經配置以基於前述裁剪影像產生訓練輸入影像對應的畫質分類。裁剪模組1103以及分類神經網路模組1104的實施方式相同於前述裁剪模組601以及分類神經網路模組602，因此關於裁剪模組1103以及分類神經網路模組1104的各實施方式，可參考前述裁剪模組601以及分類神經網路模組602相關的實施例。

處理模組1101經配置以利用訓練集中的多個訓練影像以及每一訓練影像的畫質分類標籤訓練待訓練神經網路模組1102以獲得每一訓練參數的已訓練參數值。

在本發明的一些實施例中，處理模組1101所獲得的每一訓練參數的已訓練參數值載入至分類神經網路模組602，以使分類神經網路模組602能產生影像104所屬影片的畫質分類。

值得說明的是，處理模組1001以及處理模組1101可以是通用處理器，包括中央處理器（Central Processing Unit， CPU）、數位信號處理器（Digital Signal Processor， DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式化閘陣列（Field-Programmable Gate Array，FPGA）或者其他可程式化邏輯裝置。

圖12係依據本發明的一些實施例所繪示的電子設備系統方塊示意圖。如圖12所示，在硬體層面，電子設備1200包括處理單元1201、內部記憶體1202以及非揮發性記憶體1203。內部記憶體1202例如是隨機存取記憶體 （Random - Access Memory， RAM）。非揮發性記憶體（non-volatile memory）1203例如是至少1個磁碟記憶體等。當然，電子設備1200還可能包括其他功能所需要的硬體。

內部記憶體1202和非揮發性記憶體1203，用於存放程式，程式可以包括程式碼，程式碼包括電腦操作指令。內部記憶體1202和非揮發性記憶體1203向處理單元1201提供指令和資料。處理單元1201從非揮發性記憶體1203中讀取對應的電腦程式到內部記憶體1202中然後運行，在邏輯層面上形成影像處理系統100或500。

處理單元1201可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，前述實施例中揭露的各方法、步驟可以透過處理單元1201中的硬體的積體邏輯電路或者軟體形式的指令完成。處理單元1201可以是通用處理器，包括中央處理器、數位信號處理器、專用積體電路、現場可程式化閘陣列或者其他可程式化邏輯裝置，可以實現或執行前述實施例中揭露的各方法、步驟。

本說明書實施例還提供了一種電腦可讀儲存媒體，電腦可讀儲存媒體儲存至少一指令，該至少一指令當被電子設備1200的處理單元1201執行時，能夠使電子設備1200的處理單元1201執行前述實施例中揭露的各方法、步驟。

電腦的儲存媒體的例子包括，但不限於相變記憶體 （PRAM）、靜態隨機存取記憶體（SRAM）、動態隨機存取記憶體（DRAM）、其他類型的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電可抹除可程式化唯讀記憶體（EEPROM）、快閃記憶體或其他內部記憶體技術、唯讀光碟唯讀記憶體（CD-ROM）、數位多功能光碟（DVD）或其他光學儲存器、磁盒式磁帶，磁帶式磁碟儲存器或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒體不包括暫態媒體（transitory media），如調變的資料信號和載波。

前述實施例提供的一種影像處理系統、影像處理方法以及訓練系統。在影像處理系統中，影像會先經由預處理模組下取樣，而在低解析度的清況下處理後再加回原影像，因此神經網路模組的輸入尺寸可以減少。減少神經網路模組的輸入尺寸可以使神經網路模組在運行時的運算量、運算所需的緩衝以及耗能減少，從而在相同的運算資源下，神經網路模組可以被設計為結構較深的神經網路以獲得更大的視野。另外，藉由前述神經網路訓練系統訓練所得的參數值，可藉由神經網路快速獲得影像處理效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100,500:影像處理系統 101:影像處理模組 1011,1003:預處理模組 1012,1004:神經網路模組 1013,1005:上取樣模組 102,503:記憶體模組 103,1006:加法模組 104,701:影像 201:當前幀時序 202:上取樣輸出時序 203:記憶體模組時序 300,300’:張量 300-1~300-C,301-1~316-1,301-2~316-2,301-(W+1)~316-(W+1),301-N~316-N:元素 W,H,C,N,M,P,r:正整數 301~316:通道元素 401:放大模組 402:卷積模組 501:畫質偵測模組 502:載入模組 601,1103:裁剪模組 602,1104:分類神經網路模組 603:映射模組 701-1~701-M:裁剪影像 702-1~702-M:位置 801~80P,900:殘差網路層 901:網路層 902:路徑 903:加法模組 1000,1100:訓練系統 1001,1101:處理模組 1002:待訓練影像處理模組 1007,1105:訓練輸入影像 1102:待訓練神經網路模組 1200:電子設備 1201:處理單元 1202:內部記憶體 1203:非揮發性記憶體 S1301~S1304,S1401,S1501~S1502,S1601~S1602,S1701~S1703:步驟

圖1係依據本發明一些實施例所繪示的影像處理系統方塊圖。 圖2係依據本發明一些實施例所繪示的影像處理系統運作時序圖。 圖3A、圖3B以及圖3C係依據本發明一些實施例所繪示的像素解混洗運作示意圖。 圖4係依據本發明一些實施例所繪示的上取樣模組方塊圖。 圖5係依據本發明一些實施例所繪示的影像處理系統方塊圖。 圖6係依據本發明一些實施例所繪示的上取樣模組方塊圖。 圖7係依據本發明一些實施例所繪示的裁剪示意圖。 圖8係依據本發明一些實施例所繪示的神經網路模組方塊圖。 圖9係依據本發明一些實施例所繪示的殘差網路層示意圖。 圖10係依據本發明一些實施例所繪示的訓練系統方塊圖。 圖11係依據本發明一些實施例所繪示的訓練系統方塊圖。 圖12係依據本發明的一些實施例所繪示的電子設備系統方塊示意圖。 圖13係依據本發明一些實施例所繪示的影像處理方法流程圖。 圖14係依據本發明一些實施例所繪示的影像處理方法流程圖。 圖15係依據本發明一些實施例所繪示的影像處理方法流程圖。 圖16係依據本發明一些實施例所繪示的影像處理方法流程圖。 圖17係依據本發明一些實施例所繪示的影像處理方法流程圖。

100:影像處理系統

101:影像處理模組

1011:預處理模組

1012:神經網路模組

1013:上取樣模組

102:記憶體模組

103:加法模組

104:影像

Claims (10)

1. 一種影像處理系統，包含： 一影像處理模組，包含一預處理模組、一神經網路模組以及一上取樣模組，該預處理模組經配置以接收一影像，並下取樣該影像以獲得一下取樣張量；該神經網路模組經配置以基於多個第一參數處理該下取樣張量並產生一輸出張量；該上取樣模組經配置上取樣該輸出張量以產生與該影像尺寸相同的一上取樣張量；以及 一加法模組，經配置以對該上取樣張量以及該影像執行一逐元素加法以獲得一輸出影像。
2. 如請求項1所述之影像處理系統，其中該預處理模組基於一縮小倍率對該影像執行像素解混洗以下取樣該影像，其中該下取樣張量保持該影像的一像素資訊。
3. 如請求項1所述之影像處理系統，其中該上取樣模組經配置以基於一放大倍率對該輸出張量執行像素混洗以上取樣該輸出張量。
4. 如請求項1所述之影像處理系統，其中該上取樣模組包含： 一放大模組，經配置以放大該輸出張量以產生一放大輸出張量；以及 一卷積模組，包含至少一卷積層，該卷積模組經配置基於多個第二參數處理該放大輸出張量以產生該上取樣張量。
5. 如請求項1所述之影像處理系統，其中該影像為高解析度影像。
6. 如請求項1所述之影像處理系統，其中，該影像處理系統包含一畫質偵測模組以及一載入模組；其中該畫質偵測模組經配置以基於該影像產生對應該影像所屬之一影片的一畫質分類的一索引；以及該載入模組經配置以基於該索引從一記憶體模組中取得對應該畫質分類的多個影像處理參數值，並將該些影像處理參數值載入至該影像處理模組。
7. 如請求項6所述之影像處理系統，其中該畫質偵測模組包含一裁剪模組、一分類神經網路模組以及一映射模組；其中，該裁剪模組經配置以接收該影像並在該影像上裁剪出多個裁剪影像；該分類神經網路模組經配置以基於該些裁剪影像產生該影像所屬之該影片的該畫質分類；以及該映射模組經配置以基於該畫質分類產生該索引。
8. 如請求項1所述之影像處理系統，其中該神經網路模組包含串聯的多個殘差網路層，該些殘差網路層經配置以接收該下取樣張量並產生該輸出張量。
9. 一種影像處理方法，包含： （a）由一影像處理模組中的一預處理模組接收一影像，並下取樣該影像以獲得一下取樣張量； （b）由該影像處理模組中的一神經網路模組基於多個第一參數處理該下取樣張量並產生一輸出張量； （c）由該影像處理模組中的一上取樣模組上取樣該輸出張量以產生與該影像尺寸相同的一上取樣張量；以及 （d）由一加法模組對該上取樣張量以及該影像執行一逐元素加法以獲得一輸出影像。
10. 一種訓練系統，包含：一處理模組以及一待訓練影像處理模組，其中該待訓練影像處理模組包含： 一預處理模組，經配置以接收一訓練輸入影像，並下取樣該訓練輸入影像以獲得一下取樣張量； 一神經網路模組，經配置以基於多個第一訓練參數處理該下取樣張量並產生一輸出張量； 一上取樣模組，經配置以上取樣該輸出張量以產生與該訓練輸入影像尺寸相同的一上取樣張量；以及 一加法模組，經配置以對該上取樣張量以及該訓練輸入影像執行一逐元素加法以獲得一訓練輸出影像； 該處理模組經配置以利用一訓練集中的多個訓練影像以及對應該些訓練影像的多個目標影像訓練該待訓練影像處理模組以獲得該待訓練影像處理模組的多個影像處理訓練參數的每一個的一已訓練參數值，其中該些影像處理訓練參數包含該些第一訓練參數。

Images