[go: up one dir, main page]

TWI788172B - 影像處理裝置以及方法 - Google Patents

影像處理裝置以及方法 Download PDF

Info

Publication number
TWI788172B
TWI788172B TW110149688A TW110149688A TWI788172B TW I788172 B TWI788172 B TW I788172B TW 110149688 A TW110149688 A TW 110149688A TW 110149688 A TW110149688 A TW 110149688A TW I788172 B TWI788172 B TW I788172B
Authority
TW
Taiwan
Prior art keywords
image
feature
weight
convolution
compressed
Prior art date
Application number
TW110149688A
Other languages
English (en)
Other versions
TW202312089A (zh
Inventor
栗永徽
黃啟恩
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Application granted granted Critical
Publication of TWI788172B publication Critical patent/TWI788172B/zh
Publication of TW202312089A publication Critical patent/TW202312089A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一種影像處理裝置，包括影像擷取電路以及處理器。影像擷取電路用以擷取低解析影像；以及處理器連接影像擷取電路，並運行超解析模型，其中超解析模型包括多個神經網路區塊，其中處理器用以進行下列操作：利用多個神經網路區塊從低解析影像產生超解析影像，其中多個神經網路區塊其中一區塊包括空間注意力模型以及通道注意力模型，通道注意力模型串接在空間注意力模型之後，空間注意力模型與通道注意力模型用以增強低解析影像當中興趣區在該超解析影像中的權重。此外，一種影像處理方法亦在此揭示。

Description

影像處理裝置以及方法
本揭示有關於一種影像處理技術，且特別是有關於影像處理裝置以及方法。
就目前影像處理技術而言，常常對影像執行超解析(Super Resolution)處理，以進行各種下游任務。例如，提升醫學影像清晰度、生物辨識成效或自駕車影像分割等。因此，超解析影像的內容是否能精準呈現「下游任務所需要的關鍵細節」成為目前超解析處理的重要議題。
本揭示的一態樣揭露一種影像處理裝置，包括影像擷取電路以及處理器。影像擷取電路用以擷取低解析影像；以及處理器連接影像擷取電路，並運行超解析模型，其中超解析模型包括多個神經網路區塊，其中處理器用以進行下列操作：利用多個神經網路區塊從低解析影像產生超解析影像，其中多個神經網路區塊其中一區塊包括空間注意力模型以及通道注意力模型，通道注意力模型串接在空間 注意力模型之後，空間注意力模型與通道注意力模型用以增強低解析影像當中興趣區在超解析影像中的權重。
本揭示的另一態樣揭露一種影像處理方法，包括：擷取低解析影像，並將低解析影像輸入至超解析模型，其中超解析模型包括多個神經網路區塊；以及利用多個神經網路區塊從低解析影像產生超解析影像，其中多個神經網路區塊其中一區塊包括空間注意力模型以及通道注意力模型，通道注意力模型中串接在空間注意力模型之後，空間注意力模型與通道注意力模型用以增強低解析影像當中興趣區在超解析影像中的權重。
100:影像處理裝置
110:影像擷取電路
120:處理器
img:低解析影像
SRM:超解析模型
β:參數
DDAB1~DDABr:雙維注意力區塊
DDAM1~DDAM4:雙維注意力模型
Conv:卷積層
selu:比例指數線性單元層
SAM:空間注意力模型
CAM:通道注意力模型
S301~S310、S1001~S1002:步驟
FM1~FM5:特徵圖
SCN1:第一壓縮卷積網路
DCN1~DCN2:空洞卷積網路
ECN1:第一激勵卷積網路
SFM1~SFM5:空間權重特徵圖
KM1~KM16:卷積核
CM11~CM15、CM21~CM25、CM31~CM35、CM41~CM43、CM51~CM53、CM61~CM63、CM71~CM73、CM81~CM83:卷積圖
SM1~SM3:壓縮特徵圖
DM1~DM3:全域特徵圖
EM1~EM5:激勵權重圖
GAPL:全域平均池化層
SCN2:第二壓縮卷積網路
ECN2:第二激勵卷積網路
EFM1~EFM5:加強權重特徵圖
FA:特徵陣列
CA7~CA16:卷積陣列
SA:壓縮特徵陣列
EA:激勵特徵陣列
第1圖是本揭示的影像處理裝置的方塊圖。
第2圖是依據本揭示一些實施例的其中一個神經網路區塊的示意圖。
第3圖是依據本揭示一些實施例的影像處理方法的流程圖。
第4圖是依據本揭示一些實施例的空間注意力模型的示意圖。
第5圖是依據本揭示一些實施例的執行第一壓縮卷積網路的示意圖。
第6圖是依據本揭示一些實施例的執行第一激勵卷積網路的示意圖。
第7圖是依據本揭示一些實施例的通道注意力模型的示意圖。
第8圖是依據本揭示一些實施例的執行第二壓縮卷積網路的示意圖。
第9圖是依據本揭示一些實施例的執行第二激勵卷積網路的示意圖。
第10圖是本揭示的影像處理方法的流程圖。
參照第1圖，第1圖是本揭示的影像處理裝置100的方塊圖。在一實施例中，影像處理裝置100包括影像擷取電路110以及處理器120。影像擷取電路110用以擷取低解析影像img。處理器120連接影像擷取電路110。
在一些實施例中，影像處理裝置100可由物聯網裝置、電腦、伺服器或資料處理中心實現。在一些實施例中，影像擷取電路110可以是用以擷取影像的攝影機或可以連續拍照之照相機。例如，數位單眼相機(Digital Single-Lens Reflex Camera，DSLR)、數位攝影機(Digital Video Camera，DVC)或近紅外線相機(Near-infrared Camera，NIRC)等。在一些實施例中，處理器120可由處理單元、中央處理單元或計算單元實現。
在一些實施例中，影像處理裝置100並不限於包括影像擷取電路110以及處理器120，影像處理裝置100 可以進一步包括操作以及應用中所需的其他元件，舉例來說，影像處理裝置100可更包括輸出介面(例如，用於顯示資訊的顯示面板)、輸入介面(例如，觸控面板、鍵盤、麥克風、掃描器或快閃記憶體讀取器)以及通訊電路(例如，WiFi通訊模型、藍芽通訊模型、無線電信網路通訊模型等)。
如第1圖所示，處理器120基於相應的軟體或韌體指令程序以執行超解析模型SRM。在一實施例中，超解析模型SRM可用以接收低解析影像img，並對低解析影像img進行超解析處理以產生超解析(Super Resolution)影像(詳細作法將在後續段落詳細說明)，其中超解析影像的解析度高於低解析影像img的解析度。
在一些實施例中，超解析模型SRM可以是任意可執行超解析處理的模型。例如，超解析卷積神經網路(Super-Resolution Convolution Neural Network，SRCNN)、深度遞迴卷積網路(Deep Recursive Convolutional Network，DRCN)、超解析生成對抗網路(Super-Resolution GAN，SRGAN)、遮罩注意力超解析生成對抗網路(Mask Attention Super-Resolution Generative Adversarial Network，MA-SRGAN)等。
在一實施例中，超解析模型SRM包括多個神經網路區塊，其中多個神經網路區塊其中一區塊包括空間注意力(Spatial Attention)模型以及通道注意力(Channel Attention)模型，通道注意力模型串接在空間注意力模型之後，空間注意力模型與通道注意力模型用以增強影像當中興趣區(Region of Interest)在超解析影像中的權重(即，增強重要特徵分布較密集的區域)。
在一些實施例中，每一個神經網路區塊可以是由卷積層(convolution layer)、池化層(pooling layer)、全連接層(fully connected layer)等種類之網路層的組合所構成。在一些實施例中，空間注意力模型以及通道注意力模型可以串接在多個神經網路區塊中的兩個卷積層之間，或者是包括於其中至少一個神經網路區塊的結構之中。
舉例而言，參照第2圖，第2圖是依據本揭示一些實施例的其中一個神經網路區塊的示意圖。此神經網路區塊包括多個雙維注意力(Dual Dimensional Attention)區塊DDAB1~DDABr，其中雙維注意力區塊DDAB1~DDABr的輸出特徵圖可與各參數β進行乘法運算，且r可以是任意正整數。接著，雙維注意力區塊DDAB2可由雙維注意力模型DDAM1~DDAM4、兩個以比例指數線性單元(Scaled Exponential Linear Unit,selu)為激活函數的卷積層Conv以第2圖所示的串接方式組合而成。值得注意的是，雙維注意力區塊DDAB1、DDAB3~DDABr也可具有相同的結構。接著，雙維注意力模型DDAM1可包括空間注意力模型SAM以及通道注意力模型CAM，其中通道注意力模型CAM串接在空間注 意力模型SAM之後。值得注意的是，雙維注意力模型DDAM2~DDAM4也可具有相同的結構。
藉由例如上述空間注意力模型SAM以及通道注意力模型CAM的結構，將可進一步增強影像當中興趣區在超解析影像中的權重，以對影像中的興趣區的像素進一步增強超解析處理的效果。後續將配合具體的例子，進一步說明空間注意力模型SAM以及通道注意力模型CAM在一些實施例當中的所執行的詳細步驟。
參照第3圖，第3圖是依據本揭示一些實施例的影像處理方法的流程圖。第3圖所示實施例的方法適用於第1圖的影像處理裝置100，但不以此為限。為方便及清楚說明起見，下述同時參照第1圖以及第3圖，以影像處理裝置100中各元件之間的作動關係來說明第3圖所示影像處理方法的詳細步驟。
在一實施例中，影像處理方法包括步驟S301~S310。首先，於步驟S301中，擷取低解析影像img，並將低解析影像img輸入至超解析模型SRM。
在一些實施例中，超解析模型SRM的參數的初始值可以是依據過往訓練經驗當中取得的平均值、人工給定的預設值。
再者，於步驟S302中，從超解析模型SRM中的在空間注意力模型之前的神經網路區塊接收多個特徵圖(Feature Map)。
在一些實施例中，在超解析模型SRM中，在空間 注意力模型之前的所有神經網路區塊可以是多個卷積層，多個卷積層可對低解析影像img進行卷積處理以產生多個特徵圖。
再者，於步驟S303中，利用空間注意力模型中的第一壓縮卷積(Squeeze Convolution)網路對多個特徵圖進行壓縮處理以產生多個壓縮特徵圖。
在一些實施例中，可利用與第一壓縮卷積網路對應的多個卷積核(Kernel Map)對多個特徵圖進行卷積處理以產生多個卷積圖，其中多個卷積圖的數量小於多個特徵圖的數量。接著，依據多個卷積核與多個卷積圖之間的對應關係對多個卷積圖進行對應元素非線性轉換處理以產生多個壓縮特徵圖(即，對與各卷積核對應的所有卷積圖中相同位置的元素的總和進行非線性轉換處理，以產生與各卷積核對應的壓縮特徵圖)，其中多個壓縮特徵圖分別對應於多個卷積核。換言之，由於第一壓縮卷積網路的卷積核的數量小於輸入的特徵圖的數量，故在完成卷積運算後輸出的壓縮特徵圖的數量會小於特徵圖的數量。藉此，將大大降低整體計算所需要的資源。
在一些實施例中，對應元素非線性轉換處理可以是比例指數線性單元(Scaled Exponential Linear Unit，selu)函數處理、線性整流單元(Rectified Linear Unit，ReLU)函數處理、sinh函數處理、參數線性整流單元(Parametric Rectified Linear Unit，PreLU)函數處理或上述函數處理的組合。
再者，於步驟S304中，利用空間注意力模型中的空洞卷積(Dilated Convolution)網路對多個壓縮特徵圖進行跳格特徵提取以產生多個全域特徵圖。
在一些實施例中，可利用空洞卷積網路依據預先設定的空洞率(dilation rate)對多個壓縮特徵圖進行跳格特徵提取。在一些實施例中，空洞卷積網路可對多個壓縮特徵圖進行多次跳格特徵提取(例如兩次)，其中多次跳格特徵提取分別對應於不同的多個卷積核，以及相同或不同的空洞率。
值得注意的是，藉由空洞卷積將增加對壓縮特徵圖每個像素點周圍的感受野，這將以更廣泛的範圍採集全域的特徵，可以大幅改善神經網路推論的結果，以防止在神經網路的學習過程中產生的重疊(Overlapping)問題。
再者，於步驟S305中，利用空間注意力模型中的第一激勵卷積(Excitation Convolution)網路對多個全域特徵圖進行解壓縮處理以產生多個激勵權重圖，其中多個激勵權重圖的數量等於多個特徵圖的數量。
在一些實施例中，可利用與第一激勵卷積網路對應的多個卷積核對多個全域特徵圖進行卷積處理以產生多個卷積影像，其中多個卷積核的數量大於多個全域特徵圖的數量。接著，依據多個卷積核與多個卷積影像之間的對應關係對多個卷積影像進行對應元素正規化處理以產生多個激勵權重圖，其中多個激勵權重圖分別對應於多個卷積核。
在一些實施例中，對應元素正規化處理可以是乙狀(Sigmoid)函數處理。
再者，於步驟S306中，將多個激勵權重圖分別與多個特徵圖進行元素層級相乘(Element-Wise Product)處理以產生多個空間權重特徵圖。
在一些實施例中，可將多個激勵權重圖中的元素分別與各自對應的特徵圖中的元素進行元素層級相乘處理以產生多個空間權重特徵圖。藉此，可藉由多個空間權重特徵圖增強超解析影像中興趣區的空間域權重(Spatial Weight)。
再者，於步驟S307中，利用通道注意力模型中的全域平均池化(Global Average Pooling)層對多個空間權重特徵圖進行平均化以產生特徵陣列。
在一些實施例中，可對各空間權重特徵圖中的所有元素加總後取平均值作為對應特徵圖的代表特徵，並進一步形成一個特徵陣列。
再者，於步驟S308中，利用通道注意力模型中的第二壓縮卷積網路對特徵陣列進行壓縮處理以產生壓縮特徵陣列，其中壓縮特徵陣列的尺寸小於特徵陣列的尺寸。
在一些實施例中，可利用與第二壓縮卷積網路對應的多個卷積核(尺寸皆為1x1)對特徵陣列進行卷積處理以產生多個卷積陣列，其中多個卷積核的數量小於特徵陣列中的元素的數量。接著，依據多個卷積核與多個卷積陣列之間的對應關係對多個卷積陣列進行對應元素非線性轉 換處理以產生壓縮特徵陣列，其中壓縮特徵陣列中的元素分別對應於多個卷積核。
再者，於步驟S309中，利用通道注意力模型中的第二激勵卷積網路對壓縮特徵陣列進行解壓縮處理以產生激勵特徵陣列。
在一些實施例中，可利用與第二激勵卷積網路對應的多個卷積核對壓縮特徵陣列進行卷積處理以產生多個卷積陣列，其中多個卷積核的數量大於壓縮特徵陣列的元素的數量，且多個卷積核的數量等於多個空間權重特徵圖的數量。接著，可依據多個卷積核與多個卷積陣列之間的對應關係對多個卷積陣列進行對應元素正規化處理以產生激勵特徵陣列，其中激勵特徵陣列中的元素分別對應於多個卷積核。詳細而言，可利用各卷積核對特徵陣列中的元素進行元素層級相乘處理，以產生與各卷積核對應的卷積陣列，並將多個卷積陣列中與各卷積核對應的卷積陣列中的元素進行對應元素正規化，以產生與各卷積核對應的激勵特徵陣列。
再者，於步驟S310中，將激勵特徵陣列中的元素分別與多個空間權重特徵圖進行純量積處理以產生多個加強權重特徵圖，進而依據多個加強權重特徵圖增強影像當中興趣區在超解析影像中的空間域權重以及通道域權重(Channel Weight)，以產生超解析影像，其中激勵特徵陣列中的元素的數量等於多個加強權重特徵圖的數量。
在一些實施例中，可將所產生的多個加強權重特徵 圖輸入串接在通道注意力模型之後的神經網路區塊以進行後續的訓練(訓練階段)或超解析處理(測試階段)。
藉由上述步驟，影像處理裝置100可依據由空間注意力模型以及通道注意力模型所產生的多個加強權重特徵圖增強低解析影像img當中興趣區在超解析影像中的空間域權重以及通道域權重。藉此，將可精準呈現下游任務所需要的關鍵細節(即，對低解析影像img中的具有特徵較密集的區域會有更強的超解析處理的效果)。
以下將提出具體的空間注意力模型以及通道注意力模型的例子。
參照第4圖，第4圖是依據本揭示一些實施例的空間注意力模型SAM的示意圖。空間注意力模型SAM包括第一壓縮卷積網路SCN1、空洞卷積網路DCN1~DCN2以及第一激勵卷積網路ECN1。假設空間注意力模型SAM可從前一層的神經網路區塊接收到5個特徵圖FM1~FM5，可將特徵圖FM1~FM5輸入第一壓縮卷積網路SCN1。
同時參照第5圖，第5圖是依據本揭示一些實施例的執行第一壓縮卷積網路SCN1的示意圖。於第5圖中，可利用3個卷積核KM1~KM3分別對特徵圖FM1~FM5進行卷積處理，以產生卷積影像CM11~CM15、CM21~CM25以及CM31~CM35。
接著，可對卷積影像CM11~CM15進行對應元素非線性轉換處理以產生壓縮特徵圖SM1(例如，對卷積影像CM11~CM15中的相同位置的元素的總和進行selu函 數處理以依據處理後的處理後的這些元素產生壓縮特徵圖SM1)，對卷積影像CM21~CM25進行對應元素非線性轉換處理以產生壓縮特徵圖SM2，以及對卷積影像CM31~CM35進行對應元素非線性轉換處理以產生壓縮特徵圖SM3。藉此，可將壓縮特徵圖SM1~SM3輸入空洞卷積網路DCN1，並進行第一次跳格特徵提取以將所產生的影像輸入空洞卷積網路DCN2，進而進行第二次跳格特徵提取以將所產生的多個全域特徵圖輸入第一激勵卷積網路ECN1。
同時參照第6圖，第6圖是依據本揭示一些實施例的執行第一激勵卷積網路ECN1的示意圖。於第6圖中，第一激勵卷積網路ECN1可從空洞卷積網路DCN2接收3個全域特徵圖DM1~DM3。接著，可利用5個卷積核KM4~KM8分別對全域特徵圖DM1~DM3進行卷積處理，以產生卷積圖CM41~CM43、CM51~CM53、CM61~CM63、CM71~CM73以及CM81~CM83。
接著，可對卷積圖CM41~CM43進行對應元素正規化處理以產生激勵權重圖EM1(例如，對卷積影像CM41~CM43中的相同位置的元素的總和進行sigmoid函數處理以依據處理後的這些元素產生激勵權重圖EM1)，對卷積圖CM51~CM53進行對應元素正規化處理以產生激勵權重圖EM2，對卷積圖CM61~CM63進行對應元素正規化處理以產生激勵權重圖EM3，對卷積圖CM71~CM73進行對應元素正規化處理以產生激勵權重 圖EM4，以及對卷積圖CM81~CM83進行對應元素正規化處理以產生激勵權重圖EM5。
藉此，可將激勵權重圖EM1~EM5分別與特徵圖FM1~FM5進行元素層級相乘處理(即，將相同位置的元素相乘)以產生多個空間權重特徵圖SFM1~SFM5，並將空間權重特徵圖SFM1~SFM5輸入串接在空間注意力模型SAM之後的通道注意力模型。
參照第7圖，第7圖是依據本揭示一些實施例的通道注意力模型CAM的示意圖。通道注意力模型CAM包括全域平均池化層GAPL、第二壓縮卷積網路SCN2以及第二激勵卷積網路ECN2。通道注意力模型CAM可從前一層的空間注意力模型接收到上述空間權重特徵圖SFM1~SFM5，可將空間權重特徵圖SFM1~SFM5輸入全域平均池化層GAPL。
接著，在全域平均池化層GAPL中，可對空間權重特徵圖SFM1~SFM5中的各者計算元素的平均值(即，取各空間權重特徵圖中的所有像素的平均值)，並將這些平均值做為特徵陣列的元素(特徵陣列中的多個元素分別對應於空間權重特徵圖SFM1~SFM5)。藉此，可將特徵陣列輸入第二壓縮卷積網路SCN2。
同時參照第8圖，第8圖是依據本揭示一些實施例的執行第二壓縮卷積網路SCN2的示意圖。於第8圖中，可利用3個尺寸為1x1的卷積核KM9~KM11分別對特徵陣列FA進行卷積處理以產生卷積陣列CA9~CA11(例 如，將特徵陣列FA中的元素分別與卷積核KM9進行乘積以產生卷積陣列CA9)。
接著，可對卷積陣列CA9~CA11進行對應元素非線性轉換以產生壓縮特徵陣列SA(例如，將卷積陣列CA9~CA11中的相同位置的元素的總和進行selu函數處理以產生壓縮特徵陣列SA)。藉此，可將壓縮特徵陣列SA輸入第二激勵卷積網路ECN2。
同時參照第9圖，第9圖是依據本揭示一些實施例的執行第二激勵卷積網路ECN2的示意圖。於第9圖中，第二激勵卷積網路ECN2可從第二壓縮卷積網路SCN2接收壓縮特徵陣列SA。接著，可利用5個尺寸為1x1的卷積核KM12~KM16分別對壓縮特徵陣列SA進行卷積處理，以產生卷積陣列CA12~CA16。
接著，可對卷積陣列CA12~CA16進行正規化處理以產生激勵特徵陣列EA。藉此，可將激勵特徵陣列EA中的元素分別與空間權重特徵圖SFM1~SFM5進行元素層級相乘處理以產生多個加強權重特徵圖EFM1~EFM5(例如，將激勵特徵陣列EA中的元素中的第1個元素與空間權重特徵圖SFM1中的所有元素相乘以產生加強權重特徵圖EFM1)，並將加強權重特徵圖EFM1~EFM5輸入串接在通道注意力模型CA之後的神經網路區塊，進而增強低解析影像img當中興趣區在超解析影像中的空間域權重以及通道域權重。如此一來，可在通道注意力模型CA之後的神經網路區塊中利用加強權重特徵圖 EFM1~EFM5進行後續的訓練(即，訓練階段)或超解析處理(即，測試階段)。
參照第10圖，第10圖是本揭示的影像處理方法的流程圖。在一實施例中，影像處理方法包括步驟S1001~S1002。於步驟S1001中，擷取影像，並將影像輸入至超解析模型，其中超解析模型包括多個神經網路區塊。再者，於步驟S1002中，利用多個神經網路區塊從影像產生超解析影像，其中多個神經網路區塊其中一區塊包括空間注意力模型以及通道注意力模型，通道注意力模型中串接在空間注意力模型之後，空間注意力模型與通道注意力模型用以增強影像當中興趣區在超解析影像中的權重。
由於上述步驟的詳細實施方式已詳述於上述段落，故在此不進一步贅述。
綜上所述，本揭示實施例影像處理裝置以及方法可利用超解析模型中的相互串接的空間注意力模型以及通道注意力模型增強影像當中興趣區在超解析影像中的權重，並提升超像素處理的效果，進而提升影像中的興趣區的超像素處理的效果。此外，空間注意力模型以及通道注意力模型中更包括壓縮與激勵網路的架構以大大降低所需要的運算資源。
雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本 揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。
S1001~S1002:步驟

Claims (20)

  1. 一種影像處理裝置，包括：一影像擷取電路，用以擷取一影像；以及一處理器，連接該影像擷取電路，並運行一超解析模型，其中該超解析模型包括多個神經網路區塊，其中該處理器用以進行下列操作：利用該些神經網路區塊從該影像產生一超解析影像，其中該些神經網路區塊其中一區塊包括一空間注意力模型以及一通道注意力模型，該通道注意力模型串接在該空間注意力模型之後，該空間注意力模型與該通道注意力模型用以增強該影像當中一興趣區在該超解析影像中的一權重。
  2. 如請求項1所述之影像處理裝置，其中該空間注意力模型包括一第一壓縮卷積網路以及一空洞卷積網路，其中該空間注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：從在該空間注意力模型之前的神經網路區塊接收多個特徵圖；利用該第一壓縮卷積網路對該些特徵圖進行壓縮處理以產生多個壓縮特徵圖，其中該些壓縮特徵圖的數量小於該些特徵圖的數量；以及利用該空洞卷積網路對該些壓縮特徵圖進行跳格特徵提取以產生多個全域特徵圖，進而依據該些全域特徵圖增強 該影像當中該興趣區在該超解析影像中的該權重。
  3. 如請求項2所述之影像處理裝置，其中利用該第一壓縮卷積網路對該些特徵圖進行壓縮處理以產生該些壓縮特徵圖的操作包括：利用與該第一壓縮卷積網路對應的多個卷積核對該些特徵圖進行卷積處理以產生多個卷積圖，其中該些卷積核的數量小於該些特徵圖的數量；以及依據該些卷積核與該些卷積圖之間的對應關係對該些卷積圖進行對應元素非線性轉換處理以產生該些壓縮特徵圖，其中該些壓縮特徵圖分別對應於該些卷積核。
  4. 如請求項2所述之影像處理裝置，其中該空間注意力模型更包括一第一激勵卷積網路，其中該權重包括與該些特徵圖的一影像空間域對應的一空間域權重，其中該空間注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：利用該第一激勵卷積網路對該些全域特徵圖進行解壓縮處理以產生多個激勵權重圖，其中該些激勵權重圖的數量等於該些特徵圖的數量；以及將該些激勵權重圖分別與該些特徵圖進行元素層級相乘處理以產生多個空間權重特徵圖，進而依據該些空間權重特徵圖增強該影像當中該興趣區在該超解析影像中的該空間域權重。
  5. 如請求項4所述之影像處理裝置，其中利用該第一激勵卷積網路對該些全域特徵圖進行解壓縮處理以產生多個激勵權重圖之操作包括：利用與該第一激勵卷積網路對應的多個卷積核對該些全域特徵圖進行卷積處理以產生多個卷積圖，其中該些卷積核的數量大於該些全域特徵圖的數量；以及依據該些卷積核與該些卷積圖之間的對應關係對該些卷積圖進行對應元素正規化處理以產生該些激勵權重圖，其中該些激勵權重圖分別對應於該些卷積核。
  6. 如請求項4所述之影像處理裝置，其中該通道注意力模型包括一全域平均池化層，其中該通道注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：從該空間注意力模型接收該些空間權重特徵圖；以及利用該全域平均池化層對該些空間權重特徵圖進行通道平均化處理以產生一特徵陣列，進而依據該特徵陣列增強該影像當中該興趣區在該超解析影像中的該權重。
  7. 如請求項6所述之影像處理裝置，其中該通道注意力模型更包括一第二壓縮卷積網路，其中該權重包括與該些特徵圖的一影像通道域對應的一通道域權重，其中該通道注意力模型增強該影像當中該興趣區在該超解析 影像中的該權重之操作包括：利用該第二壓縮卷積網路對該特徵陣列進行壓縮處理以產生一壓縮特徵陣列，進而依據該壓縮特徵陣列增強該影像當中該興趣區在該超解析影像中的該通道域權重，其中該壓縮特徵陣列的尺寸小於該特徵陣列的尺寸。
  8. 如請求項7所述之影像處理裝置，其中利用該第二壓縮卷積網路對該特徵陣列進行壓縮處理以產生該壓縮特徵陣列之操作包括：利用與該第二壓縮卷積網路對應的多個卷積核對該特徵陣列進行卷積處理以產生多個卷積陣列，其中該些卷積核的數量小於該特徵陣列中的元素的數量；以及依據該些卷積核與該些卷積陣列之間的對應關係對該些卷積陣列進行對應元素非線性轉換處理以產生該壓縮特徵陣列，其中該壓縮特徵陣列中的元素分別對應於該些卷積核。
  9. 如請求項7所述之影像處理裝置，其中該通道注意力模型更包括一第二激勵卷積網路，其中該通道注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：利用該第二激勵卷積網路對該壓縮特徵陣列進行解壓縮處理以產生一激勵特徵陣列；以及將該激勵特徵陣列中的元素分別與該些空間權重特徵圖 進行純量積處理以產生多個加強權重特徵圖，進而依據該些加強權重特徵圖增強該影像當中該興趣區在該超解析影像中的該空間域權重以及該通道域權重，其中該激勵特徵陣列中的元素的數量等於該些加強權重特徵圖的數量。
  10. 如請求項9所述之影像處理裝置，其中利用該第二激勵卷積網路對該壓縮特徵陣列進行解壓縮處理以產生該激勵特徵陣列之操作包括：利用與該第二激勵卷積網路對應的多個卷積核對該壓縮特徵陣列進行卷積處理以產生多個卷積陣列，其中該些卷積核的數量大於該壓縮特徵陣列的元素的數量；以及依據該些卷積核與該些卷積陣列之間的對應關係對該些卷積陣列進行對應元素正規化處理以產生該激勵特徵陣列，其中該激勵特徵陣列中的元素分別對應於該些卷積核。
  11. 一種影像處理方法，包括：藉由一影像擷取電路擷取一影像，並藉由一處理器將該影像輸入至一超解析模型，其中該超解析模型包括多個神經網路區塊；以及利用該些神經網路區塊從該影像產生一超解析影像，其中該些神經網路區塊其中一區塊包括一空間注意力模型以及一通道注意力模型，該通道注意力模型串接在該空間注意力模型之後，該空間注意力模型與該通道注意力模型用以增強該影像當中一興趣區在該超解析影像中的一權重。
  12. 如請求項11所述之影像處理方法，其中該空間注意力模型包括一第一壓縮卷積網路以及一空洞卷積網路，其中該空間注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：從在該空間注意力模型之前的神經網路區塊接收多個特徵圖；利用該第一壓縮卷積網路對該些特徵圖進行壓縮處理以產生多個壓縮特徵圖，其中該些壓縮特徵圖的數量小於該些特徵圖的數量；以及利用該空洞卷積網路對該些壓縮特徵圖進行跳格特徵提取以產生多個全域特徵圖，進而依據該些全域特徵圖增強該影像當中該興趣區在該超解析影像中的該權重。
  13. 如請求項12所述之影像處理方法，其中利用該第一壓縮卷積網路對該些特徵圖進行壓縮處理以產生該些壓縮特徵圖的操作包括：利用與該第一壓縮卷積網路對應的多個卷積核對該些特徵圖進行卷積處理以產生多個卷積圖，其中該些卷積核的數量小於該些特徵圖的數量；以及依據該些卷積核與該些卷積圖之間的對應關係對該些卷積圖進行對應元素非線性轉換處理以產生該些壓縮特徵圖，其中該些壓縮特徵圖分別對應於該些卷積核。
  14. 如請求項12所述之影像處理方法，其中該空間注意力模型更包括一第一激勵卷積網路，其中該權重包括與該些特徵圖的一影像空間域對應的一空間域權重，其中該空間注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：利用該第一激勵卷積網路對該些全域特徵圖進行解壓縮處理以產生多個激勵權重圖，其中該些激勵權重圖的數量等於該些特徵圖的數量；以及將該些激勵權重圖分別與該些特徵圖進行元素層級相乘處理以產生多個空間權重特徵圖，進而依據該些空間權重特徵圖增強該影像當中該興趣區在該超解析影像中的該空間域權重。
  15. 如請求項14所述之影像處理方法，其中利用該第一激勵卷積網路對該些全域特徵圖進行解壓縮處理以產生多個激勵權重圖之操作包括：利用與該第一激勵卷積網路對應的多個卷積核對該些全域特徵圖進行卷積處理以產生多個卷積圖，其中該些卷積核的數量大於該些全域特徵圖的數量；以及依據該些卷積核與該些卷積圖之間的對應關係對該些卷積圖進行對應元素正規化處理以產生該些激勵權重圖，其中該些激勵權重圖分別對應於該些卷積核。
  16. 如請求項14所述之影像處理方法，其中該 通道注意力模型包括一全域平均池化層，其中該通道注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：從該空間注意力模型接收該些空間權重特徵圖；以及利用該全域平均池化層對該些空間權重特徵圖進行通道平均化處理以產生一特徵陣列，進而依據該特徵陣列增強該影像當中該興趣區在該超解析影像中的該權重。
  17. 如請求項16所述之影像處理方法，其中該通道注意力模型更包括一第二壓縮卷積網路，其中該權重包括與該些特徵圖的一影像通道域對應的一通道域權重，其中該通道注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：利用該第二壓縮卷積網路對該特徵陣列進行壓縮處理以產生一壓縮特徵陣列，進而依據該壓縮特徵陣列增強該影像當中該興趣區在該超解析影像中的該通道域權重，其中該壓縮特徵陣列的尺寸小於該特徵陣列的尺寸。
  18. 如請求項17所述之影像處理方法，其中利用該第二壓縮卷積網路對該特徵陣列進行壓縮處理以產生該壓縮特徵陣列之操作包括：利用與該第二壓縮卷積網路對應的多個卷積核對該特徵陣列進行卷積處理以產生多個卷積陣列，其中該些卷積核的數量小於該特徵陣列中的元素的數量；以及 依據該些卷積核與該些卷積陣列之間的對應關係對該些卷積陣列進行對應元素非線性轉換處理以產生該壓縮特徵陣列，其中該壓縮特徵陣列中的元素分別對應於該些卷積核。
  19. 如請求項17所述之影像處理方法，其中該通道注意力模型更包括一第二激勵卷積網路，其中該通道注意力模型增強該影像當中該興趣區在該超解析影像中的該權重之操作包括：利用該第二激勵卷積網路對該壓縮特徵陣列進行解壓縮處理以產生一激勵特徵陣列；以及將該激勵特徵陣列中的元素分別與該些空間權重特徵圖進行純量積處理以產生多個加強權重特徵圖，進而依據該些加強權重特徵圖增強該影像當中該興趣區在該超解析影像中的該空間域權重以及該通道域權重，其中該激勵特徵陣列中的元素的數量等於該些加強權重特徵圖的數量。
  20. 如請求項19所述之影像處理方法，其中利用該第二激勵卷積網路對該壓縮特徵陣列進行解壓縮處理以產生該激勵特徵陣列之操作包括：利用與該第二激勵卷積網路對應的多個卷積核對該壓縮特徵陣列進行卷積處理以產生多個卷積陣列，其中該些卷積核的數量大於該壓縮特徵陣列的元素的數量；以及依據該些卷積核與該些卷積陣列之間的對應關係對該些 卷積陣列進行對應元素正規化處理以產生該激勵特徵陣列，其中該激勵特徵陣列中的元素分別對應於該些卷積核。
TW110149688A 2021-09-01 2021-12-30 影像處理裝置以及方法 TWI788172B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163239423P 2021-09-01 2021-09-01
US63/239,423 2021-09-01

Publications (2)

Publication Number Publication Date
TWI788172B true TWI788172B (zh) 2022-12-21
TW202312089A TW202312089A (zh) 2023-03-16

Family

ID=80878354

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110149688A TWI788172B (zh) 2021-09-01 2021-12-30 影像處理裝置以及方法
TW110149687A TWI788171B (zh) 2021-09-01 2021-12-30 影像處理裝置以及超解析處理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110149687A TWI788171B (zh) 2021-09-01 2021-12-30 影像處理裝置以及超解析處理方法

Country Status (3)

Country Link
US (2) US12400294B2 (zh)
CN (2) CN114331845A (zh)
TW (2) TWI788172B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230169326A1 (en) * 2021-11-30 2023-06-01 Kwai Inc. Method and apparatus for generating paired low resolution and high resolution images using a generative adversarial network
JP2024058817A (ja) * 2022-10-17 2024-04-30 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN117877034B (zh) * 2024-01-08 2024-07-02 耕宇牧星(北京)空间科技有限公司 一种基于动态卷积增强的遥感图像实例分割方法及模型
CN118628511B (zh) * 2024-06-26 2025-03-21 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种放射治疗计划中肺癌靶区的分割方法
CN120278912B (zh) * 2025-06-11 2025-08-05 青岛科技大学 多卷积模型结合注意力机制的水下图像增强方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
US20210142148A1 (en) * 2019-11-07 2021-05-13 National Central University Source separation method, apparatus, and non-transitory computer-readable medium
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815157B (zh) * 2009-02-24 2013-01-23 虹软(杭州)科技有限公司 图像及视频的放大方法与相关的图像处理装置
TWI419059B (zh) 2010-06-14 2013-12-11 Ind Tech Res Inst 以樣本為基礎之人臉超解析度方法與系統
US9251565B2 (en) 2011-02-03 2016-02-02 Massachusetts Institute Of Technology Hyper-resolution imaging
CN103095977B (zh) * 2011-10-31 2016-08-10 佳能企业股份有限公司 影像撷取方法及应用其的影像处理系统及影像撷取装置
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
EP3336608A1 (en) * 2016-12-16 2018-06-20 ASML Netherlands B.V. Method and apparatus for image analysis
CN109949255B (zh) 2017-12-20 2023-07-28 华为技术有限公司 图像重建方法及设备
TWI682359B (zh) * 2018-01-29 2020-01-11 國立清華大學 影像補全方法
CN109903221B (zh) * 2018-04-04 2023-08-22 华为技术有限公司 图像超分方法及装置
CN109034198B (zh) 2018-06-25 2020-12-11 中国科学院计算技术研究所 基于特征图恢复的场景分割方法和系统
CN109816593B (zh) * 2019-01-18 2022-12-20 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN111724448A (zh) 2019-03-18 2020-09-29 华为技术有限公司 一种图像超分辨重建方法、装置和终端设备
CN110070511B (zh) 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110175953B (zh) * 2019-05-24 2023-04-18 鹏城实验室 一种图像超分辨方法和系统
US11442430B2 (en) 2019-08-27 2022-09-13 Kyocera Document Solutions Inc. Rapid packaging prototyping using machine learning
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치
KR20190119550A (ko) 2019-10-02 2019-10-22 엘지전자 주식회사 영상의 해상도를 향상시키기 위한 방법 및 장치
CN110852948A (zh) 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备
US11010871B1 (en) * 2019-11-05 2021-05-18 Moxa Inc. Device and method of handling image super-resolution
CN111222466B (zh) * 2020-01-08 2022-04-01 武汉大学 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法
CN111402137B (zh) * 2020-03-20 2023-04-18 南京信息工程大学 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法
US12271791B2 (en) * 2020-10-01 2025-04-08 Apple Inc. Attention free transformer
CN112381020A (zh) 2020-11-20 2021-02-19 深圳市银星智能科技股份有限公司 一种视频场景识别方法、系统及电子设备
CN112712526B (zh) * 2020-12-31 2024-02-27 杭州电子科技大学 基于非对称卷积神经网络双通道的视网膜血管分割方法
US12212764B2 (en) * 2021-03-02 2025-01-28 Samsung Electronics Co., Ltd. Image compression method and apparatus
CN112966594A (zh) * 2021-03-03 2021-06-15 北京鼎翰科技有限公司 一种环境感知方法
WO2023050258A1 (en) * 2021-09-30 2023-04-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Robust and efficient blind super-resolution using variational kernel autoencoder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210142148A1 (en) * 2019-11-07 2021-05-13 National Central University Source separation method, apparatus, and non-transitory computer-readable medium
TW202119295A (zh) * 2019-11-07 2021-05-16 國立中央大學 來源分離方法、裝置及非暫態電腦可讀取媒體
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法

Also Published As

Publication number Publication date
US20230060988A1 (en) 2023-03-02
TWI788171B (zh) 2022-12-21
US12400295B2 (en) 2025-08-26
US12400294B2 (en) 2025-08-26
CN114283066A (zh) 2022-04-05
TW202312089A (zh) 2023-03-16
CN114331845A (zh) 2022-04-12
TW202312091A (zh) 2023-03-16
US20230063201A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
TWI788172B (zh) 影像處理裝置以及方法
CN111784578B (zh) 图像处理、模型训练方法及装置、设备、存储介质
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN111476737A (zh) 一种图像处理方法、智能设备及计算机可读存储介质
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
CN108288251A (zh) 图像超分辨率方法、装置及计算机可读存储介质
CN112488923B (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN113034358A (zh) 一种超分辨率图像处理方法以及相关装置
CN110163808A (zh) 一种基于卷积神经网络的单帧高动态成像方法
WO2019184657A1 (zh) 图像识别方法、装置、电子设备及存储介质
CN111311520A (zh) 图像处理方法、装置、终端及存储介质
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
WO2022166298A1 (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN111259841B (zh) 一种图像处理方法及相关设备
CN111080683A (zh) 图像处理方法、装置、存储介质及电子设备
CN107220934B (zh) 图像重建方法及装置
CN113411425A (zh) 视频超分模型构建处理方法、装置、计算机设备和介质
CN116030256A (zh) 小目标分割方法、小目标分割系统、设备和介质
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN111861877A (zh) 视频超分变率的方法和装置
WO2024245216A1 (zh) 一种图像处理方法及其相关装置
CN114241216B (zh) Hdr图像显著性检测方法、装置、图像处理设备及存储介质
CN116977194A (zh) 一种视频处理方法、装置及计算机设备、存储介质