[go: up one dir, main page]

TWI768759B - 具有超解析放大機制的影像放大裝置及方法 - Google Patents

具有超解析放大機制的影像放大裝置及方法 Download PDF

Info

Publication number
TWI768759B
TWI768759B TW110108632A TW110108632A TWI768759B TW I768759 B TWI768759 B TW I768759B TW 110108632 A TW110108632 A TW 110108632A TW 110108632 A TW110108632 A TW 110108632A TW I768759 B TWI768759 B TW I768759B
Authority
TW
Taiwan
Prior art keywords
image
convolution
output
complex
generate
Prior art date
Application number
TW110108632A
Other languages
English (en)
Other versions
TW202236208A (zh
Inventor
陳衍霖
官承譽
包苡廷
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW110108632A priority Critical patent/TWI768759B/zh
Priority to US17/521,890 priority patent/US12198297B2/en
Application granted granted Critical
Publication of TWI768759B publication Critical patent/TWI768759B/zh
Publication of TW202236208A publication Critical patent/TW202236208A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種具有超解析放大機制的影像放大方法，包含：由神經網路系統之放大模組接收輸入影像進行影像放大產生放大影像；由神經網路系統之神經網路模組包含之前端卷積路徑接收輸入影像，以進行卷積運算產生前端運算輸出結果；由神經網路模組包含之複數分支卷積路徑分別接收前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；由神經網路模組包含之混合模組根據相關於輸入影像之複數影像區域之權重設定，對輸出影像殘值加權並混合產生一組最終輸出影像殘值；以及由增強模組根據該組最終輸出影像殘值增強放大影像，以產生輸出放大影像。

Description

具有超解析放大機制的影像放大裝置及方法
本發明是關於影像放大技術，尤其是關於一種具有超解析放大機制的影像放大裝置及方法。
以往的影像放大技術並無法讓放大影像的解析度提升。因此，在放大的影像中，容易觀察到明顯的模糊感、不清晰的邊緣以及噪點的出現。近年來，影像超解析（super resolution）技術已在日常生活中被廣泛的使用。超解析主要的目的在於由低解析度（low-resolution；LR）的影像來獲得高解析度（high-resolution；HR）的影像，並盡可能維持細節。
隨著現今數位顯示器解析度的改善，從全高清（full HD）提升到超高清（ultra HD）甚至更高的解析度，具有超解析放大機制的影像放大技術也變得更重要。如何使放大的影像不僅在整體性上可以調整，更能針對區域特性進行增強，是亟待解決的問題。
鑑於先前技術的問題，本發明之一目的在於提供一種具有超解析放大機制的影像放大裝置及方法，以改善先前技術。
本發明包含一種具有超解析放大機制的影像放大裝置，包含：儲存電路，配置以儲存複數電腦可執行指令；以及處理電路，電性耦接於儲存電路，並配置以擷取並執行電腦可執行指令以運作為包含放大模組、神經網路模組以及增強模組之神經網路系統，並執行影像放大方法，影像放大方法包括：由放大模組接收輸入影像進行影像放大產生放大影像；由神經網路模組包含之前端卷積路徑接收輸入影像，以進行卷積運算產生前端運算輸出結果；由神經網路模組包含之複數分支卷積路徑分別接收前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；由神經網路模組包含之混合模組根據相關於輸入影像之複數影像區域之權重設定，對輸出影像殘值加權並混合產生一組最終輸出影像殘值；以及由增強模組根據該組最終輸出影像殘值增強放大影像，以產生輸出放大影像。
本發明另包含一種具有超解析放大機制的影像放大方法，包含：由神經網路系統之放大模組接收輸入影像進行影像放大產生放大影像；由神經網路系統之神經網路模組包含之前端卷積路徑接收輸入影像，以進行卷積運算產生前端運算輸出結果；由神經網路模組包含之複數分支卷積路徑分別接收前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；由神經網路模組包含之混合模組根據相關於輸入影像之複數影像區域之權重設定，對輸出影像殘值加權並混合產生一組最終輸出影像殘值；以及由神經網路系統之增強模組根據該組最終輸出影像殘值增強放大影像，以產生輸出放大影像。
本發明更包含一種具有超解析放大機制的影像放大裝置，包含：放大電路、神經網路電路以及增強電路。放大電路配置以接收輸入影像進行影像放大產生放大影像。神經網路電路包含前端卷積路徑接收輸入影像、複數分支卷積路徑以及混合電路。前端卷積路徑接收輸入影像配置以進行卷積運算產生前端運算輸出結果。分支卷積路徑分別配置以接收前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值。混合電路配置以根據相關於輸入影像之複數影像區域之權重設定，對複數組輸出影像殘值加權並混合產生一組最終輸出影像殘值。增強電路配置以根據該組最終輸出影像殘值增強放大影像，以產生輸出放大影像。
有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
本發明之一目的在於提供一種具有超解析放大機制的影像放大裝置及方法，針對不同的影像特性，對輸入影像進行深度學習，以產生對應此些影像特性的最終輸出影像殘值，以對放大的輸入影像強化，達到超解析的影像放大效果。
請參照圖1。圖1顯示本發明一實施例中，一種具有超解析放大機制的影像放大裝置100的方塊圖。影像放大裝置100包含儲存電路110以及處理電路120。
於一實施例中，儲存電路110可為例如，但不限於光碟、隨機存取記憶體（random access memory；RAM）、唯讀記憶體（read only memory；ROM）、軟碟、硬碟或光學磁碟片。儲存電路110配置以儲存複數電腦可執行指令115。
處理電路120電性耦接於儲存電路110。於一實施例中，處理電路120配置以擷取並執行電腦可執行指令115，並據以執行影像放大裝置100的功能。更詳細地說，處理電路120對解析度較低的輸入影像LR藉由深度學習的機制進行超解析（super resolution）影像放大，以產生輸出放大影像HR。其中，當輸入影像LR的尺寸為W×H，且放大倍率為n倍時，輸出放大影像HR的尺寸為nW×nH。
影像放大裝置100的運作將進一步於以下的段落，同時參照圖2及圖3進行詳細的說明。
圖2顯示本發明一實施例中，一種具有超解析放大機制的影像放大方法200的流程圖。影像放大方法200可應用於例如圖1所繪示的影像放大裝置100中，或由其他硬體元件如資料庫、一般處理器、計算機、伺服器、或其他具特定邏輯電路的獨特硬體裝置或具特定功能的設備來實作，如將程式碼和處理器/晶片整合成獨特硬體。
更詳細地說，影像放大方法200可使用電腦程式實現，以控制影像放大裝置100的各元件。電腦程式可儲存於一非暫態電腦可讀取記錄媒體中，例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
圖3顯示本發明一實施例中，根據影像放大裝置100的運作所實現的神經網路系統300的方塊圖。更詳細地說，當電腦可執行指令115由處理電路120執行時，將運作為神經網路系統300以執行影像放大方法200。亦即，圖3的神經網路系統300中的各模組可藉由運作於處理電路120上的軟體來實施，但本發明不排除以韌體或硬體（例如，微處理器、特定應用積體電路（ASIC）、可程式化邏輯裝置（PLD）等元件或其組合電路，但不以此為限）來替代或配置其中的一或多個模組的實施方式，例如如前所述的將程式碼和處理器/晶片整合成獨特硬體。
於一實施例中，神經網路系統300包含放大模組310、神經網路模組320以及增強模組330。其中，神經網路模組320包含前端卷積路徑340、分支卷積路徑350A、分支卷積路徑350B、混合模組360以及權重產生模組370。
影像放大方法200包含下列步驟（應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行）。
於步驟S210，由放大模組310接收輸入影像LR進行影像放大產生放大影像ER。
於一實施例中，放大模組310可藉由各種合適的運算機制，例如但不限於根據輸入影像LR包含的像素進行內插運算，來達到放大的目的。於一實施例中，當輸入影像LR的尺寸為W×H，且放大倍率為n倍時，放大影像ER的尺寸為nW×nH。
於步驟S220，由神經網路模組320包含之前端卷積路徑340接收輸入影像LR，以進行卷積運算產生前端運算輸出結果FO。
於一實施例中，前端卷積路徑340包含複數相串聯的前端卷積單元CNN 0~CNN 2。前端卷積單元CNN 0對應頭部卷積層（head layer），包含單一個卷積層。前端卷積單元CNN 1、CNN 2各對應一個殘值區塊（residual block），且可包含一或多個卷積層。前端卷積單元CNN 0~CNN 2依序對輸入影像LR進行卷積運算，以產生前端運算輸出結果FO。
須注意的是，圖3中所繪示的前端卷積單元的數目僅為一範例。於不同實施例中，前端卷積路徑340包含的前端卷積單元的數目可為一個或一個以上的任意數值。
於步驟S230，由神經網路模組320包含之複數分支卷積路徑分別接收前端運算輸出結果FO，以進行卷積運算產生複數組輸出影像殘值。
於本實施例中，神經網路模組320包含兩個分支卷積路徑350A及分支卷積路徑350B。分支卷積路徑350A及分支卷積路徑350B分別包含複數相串聯的分支卷積單元以及像素重組單元。
分支卷積路徑350A包含分支卷積單元CNA 0~CNA M以及像素重組單元PSA。
分支卷積單元CNA 0~CNA M-1各對應一個殘值區塊，且可包含一或多個卷積層。分支卷積單元CNA M對應尾部卷積層（tail layer），包含單一個卷積層。分支卷積單元CNA 0~CNA M依序對前端運算輸出結果FO進行卷積運算，以產生分支運算輸出結果BOA。
於一實施例中，分支運算輸出結果BOA包含n×n筆尺寸為W×H的資料。像素重組單元PSA將進一步使分支運算輸出結果BOA進行像素重組，產生一筆尺寸為nW×nH的資料，做為一組輸出影像殘值RVA。
分支卷積路徑350B包含分支卷積單元CNB 0~CNB 1以及像素重組單元PSB。
分支卷積單元CNB 0對應一個殘值區塊，且可包含一或多個卷積層。分支卷積單元CNB 1對應尾部卷積層，包含單一個卷積層。分支卷積單元CNB 0~CNB 1依序對前端運算輸出結果FO進行卷積運算，以產生分支運算輸出結果BOB。
於一實施例中，分支運算輸出結果BOB包含n×n筆尺寸為W×H的資料。像素重組單元PSB將進一步使分支運算輸出結果BOB進行像素重組，產生一筆尺寸為nW×nH的資料，做為一組輸出影像殘值RVB。
於一實施例中，分支卷積路徑350A及分支卷積路徑350B所包含的卷積單元分別根據複數組卷積運算參數進行卷積運算，且各複數組卷積運算參數對應於輸入影像LR之複數影像特性其中之一。其中，影像特性可為例如，但不限於邊緣、紋理或其組合。
舉例而言，分支卷積路徑350A可配置以針對物體邊緣效果進行訓練，以使輸出影像殘值RVA對物體邊緣進行強化，達到使邊緣清晰、具有較少雜訊以及平滑的功效。相對的，分支卷積路徑350B可配置以針對物體紋理進行訓練，以使輸出影像殘值RVB對物體紋理進行強化，達到使紋理凸顯的功效。
須注意的是，上述分支卷積路徑與影像特性的對應關係僅為一範例。於其他實施例中，分支卷積路徑可對應其他類型的影像特性，以深度學習的方式達到強化的功效。
進一步地，圖3中所繪示的分支卷積路徑的數目與結構僅為一範例。於不同實施例中，神經網路模組320包含的分支卷積路徑的數目可為兩個以上的任意數值，並針對不同的影像特性進行深度學習。並且，於不同實施例中，分支卷積路徑分別包含的卷積單元的數目可為一個或一個以上的任意數值。
於步驟S240，由神經網路模組320包含之混合模組360根據相關於輸入影像之複數影像區域之權重設定WS，對輸出影像殘值RVA以及輸出影像殘值RVB加權並混合產生一組最終輸出影像殘值RVF。
於一實施例中，權重設定WS是由神經網路模組320包含之權重產生模組370所產生。更詳細地說，權重產生模組370配置以接收輸入影像LR，以對應影像特性判斷輸入影像LR包含的影像區域各具有之影像區域特性。
舉例而言，權重產生模組370可包含高通濾波器、用以進行邊緣偵測的索伯（Sobel）濾波器、物體邊緣方向判斷單元或其組合，以區分輸入影像LR中的物體邊緣與紋理區域。在另一範例中，權重產生模組370亦可包含顏色判斷單元、影像分割（segmentation）單元或其組合，以區分不同的物件如天空、草地等。
進一步地，權重產生模組370根據影像區域特性，產生對應輸出影像殘值RVA及輸出影像殘值RVB之複數權重值做為權重設定WS。
在一個範例中，對應輸入影像LR中屬於物體邊緣的區域，權重產生模組370可使輸出影像殘值RVA分配較大的權重值。對應輸入影像LR中屬於物體紋理的區域，權重產生模組370可使輸出影像殘值RVB分配較大的權重值。
在另一個範例中，權重產生模組370可對輸入影像LR進行顏色與物件的區分，並根據區分的物件決定對應的影像特性。舉例來說，權重產生模組370可區分出輸入影像LR中的草地與樹叢區域以及其他區域，並對草地與樹叢區域進行邊緣的強化。在這樣的狀況下，對應輸入影像LR中的草地與樹叢區域，權重產生模組370將使輸出影像殘值RVA分配較大的權重值。而對應輸入影像LR中的其他區域，權重產生模組370將使輸出影像殘值RVB分配較大的權重值。
因此，混合模組360可根據各影像區域之影像區域特性，使輸出影像殘值RVA以及輸出影像殘值RVB透過權重設定WS進行加權，再透過例如但不限於疊加及/或相乘的運算，混合以產生一組最終輸出影像殘值RVF。其中，最終輸出影像殘值包含一筆尺寸為nW×nH的資料。
於步驟S250，由增強模組330根據最終輸出影像殘值RVF增強放大影像ER，以產生輸出放大影像HR。於一實施例中，增強模組330配置以將最終輸出影像殘值RVF與對應的放大影像ER的像素進行例如但不限於疊加及/或相乘的運算，以產生輸出放大影像HR。其中，輸出放大影像HR之尺寸為nW×nH。
須注意的是，上述的實施方式僅為一範例。於其他實施例中，本領域的通常知識者當可在不違背本發明的精神下進行更動。應瞭解到，在上述的實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。
綜合上述，本發明中具有超解析放大機制的影像放大裝置及方法可針對不同的影像特性，對輸入影像LR進行深度學習，以產生對應此些影像特性的最終輸出影像殘值，以對放大的輸入影像強化，達到超解析的影像放大效果。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可根據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100:影像放大裝置 110:儲存電路 115:電腦可執行指令 120:處理電路 200:影像放大方法 S210~S250:步驟 300:神經網路系統 310:放大模組 320:神經網路模組 330:增強模組 340:前端卷積路徑 350A、350B:分支卷積路徑 360:混合模組 370:權重產生模組 BOA、BOB:分支運算輸出結果 CNA 1~CNA M、CNB 1~CNB 2:分支卷積單元 PSA、PSB:像素重組單元 CNN 0~CNN 2:前端卷積單元 ER:放大影像 FO:前端運算輸出結果 LR:輸入影像 HR:輸出放大影像 RVA、RVB:輸出影像殘值 RVF:最終輸出影像殘值 WS:權重設定
［圖1］顯示本發明之一實施例中，一種具有超解析放大機制的影像放大裝置的方塊圖； ［圖2］顯示本發明之一實施例中，一種具有超解析放大機制的影像放大方法的流程圖；以及 ［圖3］顯示本發明一實施例中，根據影像放大裝置的運作所實現的神經網路系統的方塊圖。
200:影像放大方法
S210~S250:步驟

Claims (10)

  1. 一種具有超解析放大機制的影像放大裝置，包含：一儲存電路，配置以儲存複數電腦可執行指令；以及一處理電路，電性耦接於該儲存電路，並配置以擷取並執行該等電腦可執行指令以運作為包含一放大模組、一神經網路模組以及一增強模組之一神經網路系統，並執行一影像放大方法，該影像放大方法包括：由該放大模組接收一輸入影像進行影像放大產生一放大影像；由該神經網路模組包含之一前端卷積路徑接收該輸入影像，以進行卷積運算產生一前端運算輸出結果；由該神經網路模組包含之複數分支卷積路徑分別接收該前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；由該神經網路模組包含之一混合模組根據相關於該輸入影像之複數影像區域之一權重設定，對該複數組輸出影像殘值加權並透過疊加及/或相乘的運算以混合產生一組最終輸出影像殘值；以及由該增強模組根據該組最終輸出影像殘值與該放大影像的複數像素進行疊加及/或相乘的運算來增強該放大影像，以產生一輸出放大影像。
  2. 如請求項1所述之影像放大裝置，其中該影像放大方法更包括：由該前端卷積路徑包含的複數相串聯的前端卷積單元依序對該輸入影像進行卷積運算，以產生該前端運算輸出結果；由該等分支卷積路徑各包含的複數相串聯的分支卷積單元依序對該前端運算輸出結果進行卷積運算，以產生一分支運算輸出結果；以及 由該等分支卷積路徑各包含的一像素重組單元對該分支運算輸出結果進行像素重組，以產生該複數組輸出影像殘值其中之一。
  3. 如請求項2所述之影像放大裝置，其中當該輸入影像之尺寸為W×H且一放大倍率為n倍時，該放大影像之尺寸為nW×nH，該分支運算輸出結果包含n×n筆尺寸為W×H的資料，各該複數組輸出影像殘值包含一筆尺寸為nW×nH的資料，該組最終輸出影像殘值包含一筆尺寸為nW×nH的資料，且該增強模組產生的該輸出放大影像之尺寸為nW×nH。
  4. 如請求項1所述之影像放大裝置，其中該等分支卷積路徑分別根據複數組卷積運算參數進行卷積運算，且各該複數組卷積運算參數對應於該輸入影像之複數影像特性其中之一，以分別對該等影像特性進行強化。
  5. 如請求項4所述之影像放大裝置，該神經網路模組更包含一權重產生模組，該影像放大方法更包括：由該權重產生模組接收該輸入影像，以對應該等影像特性判斷該等影像區域各具有之一影像區域特性；由該權重產生模組根據該影像區域特性，產生對應該複數組輸出影像殘值之複數權重值做為該權重設定；以及由該混合模組根據各該等影像區域之該影像區域特性，使該輸出影像殘值透過該權重設定進行加權，再與該放大影像疊加以產生該輸出放大影像，以分別根據該等影像區域之該影像區域特性對該等影像區域進行強化。
  6. 一種具有超解析放大機制的影像放大方法，包含：由一神經網路系統之一放大模組接收一輸入影像進行影像放大產生一放大影像；由該神經網路系統之一神經網路模組包含之一前端卷積路徑接收該輸入影像，以進行卷積運算產生一前端運算輸出結果；由該神經網路模組包含之複數分支卷積路徑分別接收該前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；由該神經網路模組包含之一混合模組根據相關於該輸入影像之複數影像區域之一權重設定，對該複數組輸出影像殘值加權並透過疊加及/或相乘的運算以混合產生一組最終輸出影像殘值；以及由該神經網路系統之一增強模組根據該組最終輸出影像殘值與該放大影像的複數像素進行疊加及/或相乘的運算來增強該放大影像，以產生一輸出放大影像。
  7. 如請求項6所述之影像放大方法，更包括：由該前端卷積路徑包含的複數相串聯的前端卷積單元依序對該輸入影像進行卷積運算，以產生該前端運算輸出結果；由該等分支卷積路徑各包含的複數相串聯的分支卷積單元依序對該前端運算輸出結果進行卷積運算，以產生一分支運算輸出結果；以及由該等分支卷積路徑各包含的一像素重組單元對該分支運算輸出結果進行像素重組，以產生該複數組輸出影像殘值其中之一。
  8. 如請求項7所述之影像放大方法，其中當該輸入影像之尺寸為W×H且一放大倍率為n倍時，該放大影像之尺寸為nW×nH，該分支運算輸出結果包含n×n筆尺寸為W×H的資料，各該複數組輸出影像殘值包含一筆尺寸為nW×nH的資料，該組最終輸出影像殘值包含一筆尺寸為nW×nH的資料，且該增強模組產生的該輸出放大影像之尺寸為nW×nH。
  9. 如請求項6所述之影像放大方法，其中該等分支卷積路徑分別根據複數組卷積運算參數進行卷積運算，且各該複數組卷積運算參數對應於該輸入影像之複數影像特性其中之一，以分別對該等影像特性進行強化，該影像放大方法更包括：由該神經網路模組更包含之一權重產生模組接收該輸入影像，以對應該等影像特性判斷該等影像區域各具有之一影像區域特性；由該權重產生模組根據該影像區域特性，產生對應該複數組輸出影像殘值之複數權重值做為該權重設定；以及由該混合模組根據各該等影像區域之該影像區域特性，使該輸出影像殘值透過該權重設定進行加權，再與該放大影像疊加以產生該輸出放大影像，以分別根據該等影像區域之該影像區域特性對該等影像區域進行強化。
  10. 一種具有超解析放大機制的影像放大裝置，包含：一放大電路，配置以接收一輸入影像進行影像放大產生一放大影像；一神經網路電路，包含：一前端卷積路徑接收該輸入影像，配置以進行卷積運算產生一前端運算輸出結果； 複數分支卷積路徑，分別配置以接收該前端運算輸出結果，以進行卷積運算產生複數組輸出影像殘值；以及一混合電路，配置以根據相關於該輸入影像之複數影像區域之一權重設定，對該複數組輸出影像殘值加權並透過疊加及/或相乘的運算以混合產生一組最終輸出影像殘值；以及一增強電路，配置以根據該組最終輸出影像殘值與該放大影像的複數像素進行疊加及/或相乘的運算來增強該放大影像，以產生一輸出放大影像。
TW110108632A 2021-03-11 2021-03-11 具有超解析放大機制的影像放大裝置及方法 TWI768759B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110108632A TWI768759B (zh) 2021-03-11 2021-03-11 具有超解析放大機制的影像放大裝置及方法
US17/521,890 US12198297B2 (en) 2021-03-11 2021-11-09 Image enlarging apparatus and method having super resolution enlarging mechanism

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110108632A TWI768759B (zh) 2021-03-11 2021-03-11 具有超解析放大機制的影像放大裝置及方法

Publications (2)

Publication Number Publication Date
TWI768759B true TWI768759B (zh) 2022-06-21
TW202236208A TW202236208A (zh) 2022-09-16

Family

ID=83104008

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108632A TWI768759B (zh) 2021-03-11 2021-03-11 具有超解析放大機制的影像放大裝置及方法

Country Status (2)

Country Link
US (1) US12198297B2 (zh)
TW (1) TWI768759B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133008B (zh) * 2023-10-27 2024-01-26 山东合联互联网科技有限公司 一种数字化图纸多功能管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633599A1 (en) * 2017-05-26 2020-04-08 Hangzhou Hikvision Digital Technology Co., Ltd. Image distortion correction method and device and electronic device
TW202038188A (zh) * 2019-04-01 2020-10-16 大陸商北京市商湯科技開發有限公司 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
CN112132761A (zh) * 2020-09-16 2020-12-25 厦门大学 一种基于循环上下文聚合网络的单图像去雾方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
KR20210043933A (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
TWI733341B (zh) 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
US11748845B2 (en) * 2021-01-27 2023-09-05 Nvidia Corporation Machine learning techniques for enhancing video conferencing applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633599A1 (en) * 2017-05-26 2020-04-08 Hangzhou Hikvision Digital Technology Co., Ltd. Image distortion correction method and device and electronic device
TW202038188A (zh) * 2019-04-01 2020-10-16 大陸商北京市商湯科技開發有限公司 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
CN112132761A (zh) * 2020-09-16 2020-12-25 厦门大学 一种基于循环上下文聚合网络的单图像去雾方法

Also Published As

Publication number Publication date
US12198297B2 (en) 2025-01-14
US20220292636A1 (en) 2022-09-15
TW202236208A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN111144491B (zh) 图像处理方法、装置及电子系统
JP2003274157A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
CN110796624B (zh) 一种图像生成方法、装置及电子设备
US11967047B2 (en) Methods and devices for joint sensor and pixel domain denoising
TWI733341B (zh) 用於圖像放大與增強的方法與裝置
CN112949520A (zh) 一种基于多尺度小样本的航拍车辆检测方法及检测系统
US20160300331A1 (en) Scalable massive parallelization of overlapping patch aggregation
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
TWI768759B (zh) 具有超解析放大機制的影像放大裝置及方法
US20100021058A1 (en) Method and Apparatus for Image Processing
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN115660935B (zh) 一种分块渲染模式图形处理方法及系统
Dy et al. MCGAN: mask controlled generative adversarial network for image retargeting
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
CN101650824A (zh) 基于共形能量的内容敏感图像缩放方法
CN111612690A (zh) 一种图像拼接方法及系统
CN110942425A (zh) 一种超分辨率图像的重构方法、重构系统和电子设备
CN115115505B (zh) 具有超分辨率放大机制的图像放大装置及方法
TWI813181B (zh) 影像處理電路與影像處理方法
CN111369425B (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN110246227B (zh) 一种虚实融合仿真实验图像数据收集方法及系统
TWI831334B (zh) 收集訓練資料集的方法和系統