[go: up one dir, main page]

TW201818346A - 利用超解析重建法生成高解析度影像的方法與系統 - Google Patents

利用超解析重建法生成高解析度影像的方法與系統 Download PDF

Info

Publication number
TW201818346A
TW201818346A TW105136158A TW105136158A TW201818346A TW 201818346 A TW201818346 A TW 201818346A TW 105136158 A TW105136158 A TW 105136158A TW 105136158 A TW105136158 A TW 105136158A TW 201818346 A TW201818346 A TW 201818346A
Authority
TW
Taiwan
Prior art keywords
resolution
frame
image
super
generating
Prior art date
Application number
TW105136158A
Other languages
English (en)
Other versions
TWI624804B (zh
Inventor
蕭百亨
張秉霖
Original Assignee
盾心科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 盾心科技股份有限公司 filed Critical 盾心科技股份有限公司
Priority to TW105136158A priority Critical patent/TWI624804B/zh
Priority to US15/805,197 priority patent/US10373292B2/en
Priority to EP17200233.9A priority patent/EP3319039A1/en
Publication of TW201818346A publication Critical patent/TW201818346A/zh
Application granted granted Critical
Publication of TWI624804B publication Critical patent/TWI624804B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明揭露一種利用超解析重建法生成高解析度影像的系統，包含：一訊框緩衝區、一卷積神經網路模組、一影像處理模組、以及一雙向預測模組；訊框緩衝區接收一影像擷取裝置所擷取具有低畫面更新率的高解析度影像及高畫面更新率的低解析度影像後，經由卷積神經網路模組、影像處理模組、以及雙向預測模組之協作，進行超解析重建影像處理，即透過經過訓練的卷積神經網路，運算出一超解析度影格，藉此，影像監控業者得以較低之軟硬體成本，達到有效增進影像品質及運算效率的目的，亦能解決習知利用超解析重建法所可能導致影像失真的問題。

Description

利用超解析重建法生成高解析度影像的方法與系統
一種利用超解析重建法生成高解析度影像的方法與系統，以解決影像失真、及上傳頻寬限制問題，本發明尤指應用於影像監控系統的利用超解析重建法生成高解析度影像的系統。
高解析度影像具有高品質以及清楚的細節資訊，對諸多應用領域多有幫助，例如衛星影像、醫學影像、以及景觀觀測等領域，對於影像監控系統而言，監控影像的解析度與影像品質更是影響監控安全的重要因素。
習知之影像監控系統，須由影像擷取裝置(例如：攝影機)錄製影像檔案並進行影像壓縮後(例如H.264壓縮標準)後，將其傳輸至雲端伺服器，雲端伺服器解壓縮該影像檔案後，可傳輸至使用者終端裝置(例如電腦、平板、智慧型手機等)，以供使用者即時監控各監控點的動態資訊，達到即時串流(Live Streaming)的目的；同時，雲端伺服器亦可用於儲存影像擷取裝置所擷取的多份影像檔案，使用者若需調閱非即時的影片檔案，得以透過使用者終端裝置連線至雲端伺服器，以達到隨選串流 (On-demand Streaming)的目的，然而，使用者若欲享有較佳的畫面流暢度及較多的影像細節資訊，勢必需要提高影像檔案的解析度及畫面更新率(Frames Per Second，下稱FPS)，但影像檔案之檔案容量亦會因此提升，進而對雲端伺服器的儲存空間及緩衝區(Buffer)造成更大負擔，又，以目前應用最為廣泛的寬頻技術-非對稱數位用戶線路(Asymmetric Digital Subscriber Line，簡稱ADSL)而言，不同通訊標準及不同國家的ADSL上傳速度差異甚大，因此，在有限的上傳頻寬限制下，如果影像擷取裝置的數量眾多，則影像擷取裝置同時上傳多個高FPS的高解析度影像檔案，對於雲端伺服器中的儲存空間、緩衝區都是一大負擔，進而可能造成即時播放不順暢，依此，使用者僅能以降低影片擷取裝置所擷取影像檔案解析度、畫面更新率及壓縮位元率(Bitrate)的方式，以改善播放順暢度及減輕雲端伺服器的負擔，但既有的編碼壓縮技術(例如H.264壓縮標準)雖可配合影像擷取裝置的上傳頻寬限制，但為兼顧即時串流的需求，既有編碼壓縮技術必為一破壞性壓縮，如此一來，使用者終端裝置所觀看到的影像品質必定會因此受到影響，是以，如何兼顧上傳頻寬限制及被擷取影像檔案的檔案大小，並增進經過壓縮後影像檔案的影像品質，乃為有待解決之問題，因此，有人提出以超解析度影像重建方法(Super-Resolution Reconstruction Method)作為解決方案。
習知之超解析度影像(Super-Resolution Image)重建方法，依照影像處理的數量，主要可區分為「單張影像的超解析度重建方法」及「多張影像的超解析度重建方法」，「單張影像的超解析度重建方法」係指利 用單張低解析度影像重建出高解析度影像，簡單來說，低解析度影像由於其邊緣資訊較為欠缺，故影像較為模糊，因此如何估算出低解析度影像所欠缺的邊緣資訊，以重建出解析度較高之超解析度影像，即為其技術手段，例如：應用傳統高通濾波器於貝氏最大事後機率估計法(Maximum A Posteriori,MAP)；而「多張影像的超解析度重建方法」係從一系列在相同場景下拍攝且各張影像之間帶有像素位移或其它特徵值的低解析度影像中，擷取並融合各張低解析度影像之間的特徵值差異，以重建出雜訊較少、細節更為豐富的高解析度影像，然而以前述超解析度重建方法所重建出的高解析度影像，其影像邊緣常有影像壞置(Ill-Posed)、鋸齒現象(Jaggies)等影像失真問題，故以多張低解析度影像所重建之超解析度影像，其影像品質仍有待改進。
又，另有發明人提出以多張低解析度影像內插(例如：雙立方內插法、雙三次內插法)至高解析度影像的超解析重建方法，如美國發明專利案第US8811774B1號「Super resolution using an interpretive scaler」，其主要係將至少二個低解析度影像內插(Interpolate)至一高解析度影像，以獲得一預估高解析度影像，超解析模組再根據該預估高解析度影像和該至少二個低解析度影像生成一超解析度影像；又如中華民國發明專利案第TWI488144B號「使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法」，其主要係將複數張低解析度影像與一個高解析度影像，經過多次內插後，分別生成一最終低解析度影像與一殘餘影像，並將兩者組合為 一經改良之高解析度影像，然而上述前案所生成之超解析度影像仍有影像失真問題，且其峰值訊噪比(Peak Signal to Noise Ratio,PSNR)亦不夠高，更未提出影像擷取裝置如何擷取所需影像，以解決儲存空間與上傳頻寬有限的問題。
綜前所述，由於上述前案之超解析度影像重建方法仍有影像失真及峰值訊噪比偏低的問題，亦無法針對影像監控系統提出適合的影像增強機制，因此，如何提供兼顧雲端伺服器的儲存空間大小、緩衝區大小、連網速度以及影像品質的一種利用超解析重建法生成高解析度影像的系統與方法，乃為待解決之問題。
有鑑於上述問題，本發明人係依據多年來從事影像處理的研究經驗，針對如何改善超解析度影像重建方法所可能導致的影像失真及影像品質欠佳等問題進行研究；緣此，本發明之主要目的在於提供一種可使影像監控業者得以較低之軟硬體成本，達到有效增進影像品質及運算效率、同時能解決習知超解析重建法所可能導致的影像失真問題、與影像擷取裝置之上傳頻寬有限、以及習知雲端伺服器之緩衝區、儲存空間有限之問題的「利用超解析重建法生成高解析度影像的系統及方法」。
為達上述目的，本發明之利用超解析重建法生成高解析度影像的系統，主要包含：一訊框緩衝區、一卷積神經網路模組、一影像處 理模組、以及一雙向預測模組；訊框緩衝區可接收一影像擷取裝置所擷取具有較低FPS的複數張高解析度影格、及較高FPS的複數張低解析度影格，並利用卷積神經網路(Convolutional Neural Network,CNN)模組、影像處理模組、以及雙向預測模組，進行超解析重建影像處理，以運算出一超解析度影格，並依序傳輸至一使用者終端裝置，以供使用者觀看一監控影像，又，本發明係以卷積神經網路模組作為超解析重建法中影像候選樣本的選擇機制及影像處理機制，藉此，本發明實施後，由於卷積神經網路模組於係經過不斷的訓練、及學習，故可擷取到更為精確的影像細節，進而達到使影像監控業者得以較低之軟硬體建置成本，達到有效增進影像品質及運算效率、同時能解決習知超解析重建法所可能導致的影像失真問題、與影像擷取裝置之上傳頻寬有限、以及儲存空間與緩衝區有限的問題。
為使 貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。
10‧‧‧影像擷取裝置
20‧‧‧網際網路
11‧‧‧影像壓縮模組
12‧‧‧第一傳輸模組
30‧‧‧利用超解析重建法生成高解析度影像的系統
31‧‧‧串流緩衝區
32‧‧‧影像解碼器
33‧‧‧訊框緩衝區
34‧‧‧儲存模組
35‧‧‧卷積神經網路模組
36‧‧‧影像處理模組
351‧‧‧輸入層
361‧‧‧位移計算單元
352‧‧‧隱藏層
362‧‧‧像素加法單元
353‧‧‧輸出層
37‧‧‧雙向預測模組
38‧‧‧影像編碼器
39‧‧‧第二傳輸模組
40‧‧‧使用者終端裝置
S1‧‧‧擷取多張低解析度影格及多張高解析度影格步驟
S2‧‧‧影像壓縮及上傳步驟
S3‧‧‧緩衝及影像解碼步驟
S31‧‧‧從記憶模組擷取影格步驟
S4‧‧‧超解析重建影像處理步驟
S41‧‧‧生成複數個候選高解析度像素集合步驟
S42‧‧‧生成選定高解析度像素集合步驟
S43‧‧‧生成影像融合殘差值步驟
S44‧‧‧生成後處理殘差值步驟
S45‧‧‧生成預測高解析度影格步驟
S46‧‧‧生成超解析度影格步驟
S5‧‧‧影像緩衝及編碼步驟
S6‧‧‧回傳至使用者終端裝置步驟
第1圖，為本發明之系統架構圖。
第2圖，為本發明之系統組成圖(一)。
第3圖，為本發明之系統組成圖(二)。
第4圖，為本發明之生成候選高解析度像素集合之示意圖。
第5圖，為本發明之實施流程圖(一)。
第6圖，為本發明之實施流程圖(二)。
第7圖，為本發明之實施示意圖(一)。
第8圖，為本發明之實施示意圖(二)。
第9圖，為本發明之實施示意圖(三)。
第10圖，為本發明之另一實施例之實施流程圖。
請參閱「第1圖」，圖中所示為本發明之系統架構圖，如圖，一利用超解析重建法生成高解析度影像的系統30可經由網際網路20，分別和一影像擷取裝置10、以及一使用者終端裝置40建立資訊連結，所述的影像擷取裝置10可擷取高解析度(High-Resolution)影像檔案、及低解析度(Low-Resolution)影像檔案，並傳輸至利用超解析重建法生成高解析度影像的系統30以便緩衝、儲存、及進行超解析重建影像處理，又，影像擷取裝置10所擷取之高解析度影像檔案，其FPS可小於、或等於低解析度影像檔案，當利用超解析重建法生成高解析度影像的系統30完成超解析重建影像處理後，即產生具有高畫面更新率及高解析度的一超解析度影格，經緩衝、及影像編碼後，即可依序傳輸至使用者終端裝置40，以供使用者觀看具有超解析度影像品質的一監控影像，另，利用超解析重建法生成高解析度影像的系統30可儲存影像擷取裝置10所擷取的多個影像檔案，故使用者終端裝置40亦可享有隨選串流(On-Demand Streaming)的功能，換言之，使用者終端裝置40可觀看非即時之監控影像。
請參閱「第2圖」，圖中所示為本發明之系統組成圖(一)，如圖，利用超解析重建法生成高解析度影像的系統30與影像擷取裝置10建立資訊連結後，可接收影像擷取裝置10所擷取具有較低FPS的複數張高解析度影格、及具有較高FPS的複數張低解析度影格，並以取樣張數T決定影像擷取裝置10所擷取之影格張數，舉例而言，若T=2，則影像擷取裝置10會擷取一張高解析度影格、以及一張低解析度影格；若T=5，則影像擷取裝置10會擷取一張高解析度影格、及四張低解析度影格，換言之，取樣張數(T值)決定影像擷取裝置10所連續擷取的影格張數，且影像擷取裝置10所擷取的影格中，至少會有一張高解析度影格，而在較佳的實施例下，於影像擷取裝置10所擷取的影格中，僅會有一張高解析度影格，其餘影格皆為低解析度影格，藉此可解決影像擷取裝置10之儲存空間有限、及影像擷取裝置10上傳頻寬有限的問題，其後，當影像擷取裝置10擷取完前等影格，即交由影像壓縮模組11進行影像壓縮，而影像壓縮模組11之壓縮方式，係以調降比特率(Bitrate)的方式減少影像檔案大小，又影像壓縮模組11所採用之壓縮類型，包括有：Motion Joint Photographic Experts Group(M-JPEG)、Windows Media Video(WMV)、H.264(國際電信聯盟電信標準化部門，ITU-T，制訂影片壓縮標準)等破壞性壓縮(Lossy Compression)之壓縮格式，以及例如有Huffyuv等非破壞性壓縮(Lossless Compression)的壓縮格式，另，目前線上串流平台主要以破壞性壓縮為主，影像壓縮模組11完成影像壓縮後，即交由第一傳輸模組12進行傳輸，第一傳輸模組12可為Wi-Fi傳輸模組、HSUPA(High-Speed Uplink Packet Access)傳輸模組或LTE(Long Term Evolution)傳輸模組等，又，由於線上串流的原理，係由傳送端將檔案分割為多個封包(Packets)並傳送至接收端，故經過影像壓縮模組11壓縮後的前等影格可預先分割為多個封包，再由第一傳輸模組12傳輸至利用超解析重建法生成高解析度影像的系統30，而藉由降低影像擷取裝置10所擷取影格之檔案大小，即可解決影像擷取裝置10之第一傳輸模組12因上傳頻寬有限，而僅能擷取較低解析度較低的影格的問題。
請繼續參閱「第2圖」，利用超解析重建法生成高解析度影像的系統30更包含有：一串流緩衝區31、一影像解碼器32、一訊框緩衝區33(Frame Buffer)、一儲存模組34、一卷積神經網路模組35、一影像處理模組36、一雙向預測模組37、一影像編碼器38、以及一第二傳輸模組39；當利用超解析重建法生成高解析度影像的系統30接收到第一傳輸模組12所傳輸的多個封包後，即先暫存於串流緩衝區31，串流緩衝區31再資訊連結至影像解碼器32，以對前述的多個封包進行解壓縮，進而解碼出前等影格，其後，影像解碼器32再資訊連結至訊框緩衝區33，以將前等影格暫存於訊框緩衝區33後，訊框緩衝區33再資訊連結至儲存模組34，以儲存經過解碼、且不須長期存放的監控影像，又，在較佳的實施例下，串流緩衝區31可直接資訊連結至儲存模組34，並將未經解碼、且須長期存放的前等影格儲存於儲存模組34，以有效節省儲存空間，又，儲存模組34可為固態硬碟(Solid State Disk,SSD)、硬碟(Hard Disk Drive,HDD)、嵌入式多媒體儲存卡記憶體(Embedded Multi Media Card,eMMC) 或嵌入式多晶片封裝記憶體(embedded Multi Chip Package,eMCP)等，不以此為限，特先陳明，而當訊框緩衝區33接收到經過解碼的前等影格後，可資訊連結傳輸至卷積神經網路模組35，以將經過解碼的前等影格傳輸至卷積神經網路模組35，其後，卷積神經網路模組35可分別資訊連結至影像處理模組36、以及雙向預測模組37，以對影像擷取裝置10所擷取的影格，進行超解析重建影像處理，而在進行超解析重建影像處理前，就卷積神經網路模組35所接收的的高解析影格(例如1920x1080像素，其中像素(Pixel)為影像顯示的基本單位)、和低解析度影格(例如320x180像素)，影像處理模組36可透過最近相鄰內插法(nearest-neighbor interpolation)、雙線性內插法(bilinear interpolation)、雙立方內插法(bicubic interpolation)等內插方式，將低解析度影格(320x180像素)放大到和高解析度影格一樣的大小(如1920x1080像素)，進而順利運算出一超解析度影格，並暫存於訊框緩衝區33，其後，影像編碼器38對超解析度影格進行影像編碼後，暫存於串流緩衝區31，最後，串流緩衝區31可資訊連結至利用超解析重建法生成高解析度影像的系統30所具有的第二傳輸模組39，以將超解析度影格傳輸至一使用者終端裝置40，又，使用者終端裝置40可為智慧型手機、個人電腦(Personal computer,PC)、筆記型電腦(Laptop)、平板電腦(Tablet)等，不以此為限，特先陳明，另，第一傳輸模組12傳輸封包的順序，可為順序流式傳輸(Progressive Streaming)或即時流式傳輸(Real Time Streaming)。
請參閱「第3圖」，圖中所示為本發明之系統組成圖(二)，如圖， 訊框緩衝區33與卷積神經網路模組35建立資訊連結，卷積神經網路模組35、及雙向預測模組37可分別資訊連結至影像處理模組36；所述的卷積神經網路模組35包括：一輸入層351、至少一隱藏層352、以及一輸出層353，輸入層351用以輸入欲進行卷積運算的影格、或殘差值；隱藏層352用以儲存複數筆參數(Parameter)，以決定卷積神經網路模組35進行卷積運算的像素濾波單位(或稱卷積核心)；輸出層353用以輸出卷積運算的運算結果；影像處理模組36具有一位移計算單元361、及一像素加法單元362，位移計算單元361用以進行一像素位移量計算，以減少各連續影格所產生的位移量差異，進而篩選出與低解析度影格有較小像素位移量的像素集合；像素加法單元362用以進行一像素加法運算，以分別生成可供雙向預測模組37接收之影格；雙向預測模組37用以接收同一時間點的一順向預測高解析度影格、及一逆向預測高解析度影格，以供卷積神經網路模組35進行至少一次的卷積運算後，可運算出一超解析度影格。
請參閱「第4圖」，圖中所示為本發明之生成候選高解析度像素集合之實施示意圖，如圖中所示，具有5x5像素的一高解析度影格，以圖中所揭的3x3卷積核心進行卷積運算後，即可運算出之具有5x5像素的一候選高解析度像素集合，而圖中所揭之運算結果為候選高解析度像素集合中的一張影格，故由運算結果可知，對高解析度影格進行卷積運算之目的在於，擷取X22-25、X32-35、X42-45、及X52-55像素，並可移動前等像素之位置，由此可知，卷積神經網路模組35之隱藏層352所儲存之複數筆參數可包括：若為順向預測模式，且取樣張數T=3，則輸入層351可對 一高解析度影格(第t幀)，利用如3x3像素、7x7像素、15x15像素、或31x31像素等不同的卷積核心(Kernel)，分別進行多次卷積運算(Convolution Operation)，以供輸入層351可從高解析度影格(第t幀)中運算出複數個候選高解析度像素集合(作為第t+1幀)，其後，為減少各候選高解析度像素集合(第t+1幀)之候選影格數量，輸入層351可再對各候選高解析度像素集合(第t+1幀)以較小的卷積核心(較佳為1x1像素的卷積核心)，同時進行至少一次卷積運算，以產生一選定高解析度像素集合(第t+1幀)，而在較佳的實施例下，就輸入層351對各候選高解析度像素集合(第t+1幀)進行卷積運算後的像素集合，位移計算單元361可先從中篩選出與低解析度影格(第t+1幀)有較小像素位移量的像素集合，以作為一選定高解析度像素集合(第t+1幀)；相對地；若為逆向預測模式，則輸入層351可對一高解析度影格(第t+3幀)，各以不同的卷積核心進行多次卷積運算，以供輸入層351可從高解析度影格(第t+3幀)中運算出複數個候選高解析度像素集合(作為第t+2幀)，其後，輸入層351再對複數個候選高解析度像素集合(第t+2幀)，以較小的卷積核心(較佳為1x1卷積核心)進行至少一次卷積運算後，即可產生一選定高解析度像素集合(第t+2幀)，而在較佳的實施例下，就輸入層351對各候選高解析度像素集合(第t+2幀)進行卷積運算後的像素集合，位移計算單元361可先從中篩選出與低解析度影格(第t+2幀)有較小像素位移量的像素集合，以作為一選定高解析度像素集合(第t+2幀)。
請參閱「第5圖」，圖中所示為本發明之實施流程圖(一)，如圖， 本發明之實施方法係包括：(1)擷取多張低解析度影格及多張高解析度影格步驟S1：若操作一使用者終端裝置40之使用者欲經由網際網路20觀看一影像擷取裝置10所擷取而得的超解析度影像，則影像擷取裝置10先同時擷取較低FPS的複數張高解析度影格、及較高FPS的複數張低解析度影格，並以取樣張數(以下稱T值)決定影格的擷取數量，舉例而言，若以t代表第t幀的高解析度影格、或低解析度影格，且T值(取樣張數)為3，則影像擷取裝置10會擷取一張高解析度影格(第t幀)、及兩張低解析度影格(第r+1幀、第t+2幀)，當影像擷取裝置10擷取完前等影格後，即傳輸至影像擷取裝置10所具有的一影像壓縮模組11，以繼續執行影像壓縮及上傳步驟S2；(2)影像壓縮及上傳步驟S2：當擷取多張低解析度影格及多張高解析度影格步驟S1執行完畢後，影像壓縮模組11即對複數張高解析度影格、及複數張低解析度影格進行影像壓縮，又影像壓縮模組11所採用之壓縮類型，包括有：M-JPEG、WMV、H.264等破壞性壓縮(Lossy Compression)之壓縮格式，以及例如有Huffyuv等非破壞性壓縮(Lossless Compression)的壓縮格式，影像壓縮模組11完成壓縮後，即由影像擷取裝置10所具有的一第一傳輸模組12進行傳輸，以傳輸至一利用超解析重建法生成高解析度影像的系統30，並繼續執行緩衝及影像解碼步驟S3；(3)緩衝及影像解碼步驟S3：承影像壓縮及上傳步驟S2，當利用超解析重建法生成高解析度影像的系統30所具有的一第二傳輸模組39接收 到影像擷取裝置10所傳輸的前等影格後，會先暫存至一串流緩衝區31，再傳輸至一影像解碼器32，以供影像解碼器32解碼出、及解壓縮出前述的各張高解析度影格、及各張低解析度影格後，暫存於訊框緩衝區33，其後，當利用超解析重建法生成高解析度影像的系統30準備執行超解析重建影像處理步驟S4時，訊框緩衝區33再將高解析度影格、及低解析度影格傳輸至一卷積神經網路模組35；(4)超解析重建影像處理步驟S4：承緩衝及影像解碼步驟S3，當卷積神經網路模組35接收到訊框緩衝區33所傳送的前等影格後，卷積神經網路模組35、影像處理模組36、以及雙向預測模組37即經由協作進行超解析重建影像處理，並由卷積神經網路模組35輸出一超解析度影格，而在進行超解析重建影像處理前，就卷積神經網路模組35所接收的的高解析影格(例如1920x1080像素)、和低解析度影格(例如320x180像素)，影像處理模組36可先透過最近相鄰內插法(Nearest-Neighbor Interpolation)、雙線性內插法(Bilinear Interpolation)、雙立方內插法(Bicubic Interpolation)等內插方式，將低解析度影格(320x180像素)放大到和高解析度影格一樣的解析度大小(如1920x1080像素)，再進行超解析重建影像處理；(5)影像緩衝及編碼步驟S5：承超解析重建影像處理步驟S4，當卷積神經網路模組35輸出一超解析度影格後，先暫存於訊框緩衝區33，再分別由影像編碼器38、串流緩衝區31進行編碼及緩衝後，即可傳輸至一第二傳輸模組39；(6)回傳至使用者終端裝置S6：承影像緩衝及編碼步驟S5，當第二傳輸 模組39接收到各張超解析度影格後，得以順序流式傳輸(Progressive Streaming)或即時流式傳輸(Real Time Streaming)的方式傳輸至使用者終端裝置40，以讓監控端可觀看到解析度較高、且畫面細節較豐富的超解析度影像。
請參閱「第6圖」，圖中所示為本發明之實施流程圖(二)，如圖，本發明之超解析重建影像處理步驟S4包括以下步驟：(1)生成複數個候選高解析度像素集合步驟S41：首先，一卷積神經網路模組35分別以不同的卷積核心，對一高解析度影格(第t幀)進行多次卷積運算，以分別產生複數個候選高解析度像素集合(作為第t+1幀)，其後，準備執行生成選定高解析度像素集合步驟S42；(2)生成選定高解析度像素集合步驟S42：承生成複數個候選高解析度像素集合步驟S41，為減少各候選高解析度像素集合(第t+1幀)之候選影格數量，卷積神經網路模組35再對複數個候選高解析度像素集合(第t+1幀)，同時以較小的卷積核心(較佳為1x1像素的卷積核心)進行至少一次卷積運算後，即可產生一選定高解析度像素集合(作為第t+1幀)，而在較佳的實施例下，就卷積神經網路模組35對各候選高解析度像素集合(第t+1幀)進行卷積運算後所產生的像素集合，影像處理模組36可先從中篩選出與低解析度影格(第t+1幀)有較小像素位移量的像素集合，以作為所述的選定高解析度像素集合(第t+1幀)，並回傳至卷積神經網路模組35，以供卷積神經網路模組35繼續執行生成影像融合殘差值步驟S43； (3)生成影像融合殘差值步驟S43、及生成後處理殘差值步驟S44：承生成一選定高解析度像素集合步驟S42，其後，卷積神經網路模組35同時對選定高解析度像素集合(第t+1幀)、及低解析度影格(第t+1幀)進行一卷積運算，以生成一影像融合殘差值(第t+1幀)，其後，為微調影像融合殘差值(第t+1幀)之影像品質、及增加影像的擷取細節，故卷積神經網路模組35繼續執行生成後處理殘差值步驟S44，即卷積神經網路模組35再以相同或不同的卷積核心，對影像融合殘差值(第t+1幀)進行一次卷積運算，以產生一第一後處理殘差值(第t+1幀)，接著，可再對第一後處理殘差值進行一次卷積運算，以產生一第二後處理殘差值，以此類推，藉此，可從各後處理殘差值中過濾出較不必要的影像資訊、亦可藉由卷積神經網路的學習機制，增加影像的擷取細節，其後，卷積神經網路模組35即以最終產生的後處理殘差值，作為一順向後處理殘差值(第t+1幀)、及一逆向後處理殘差值(第t+2幀)，並傳輸至影像處理模組36，以繼續執行生成預測高解析度影格步驟S45，另，以前述為例，卷積神經網路模組35亦可直接以影像融合殘差值作為最終產生的後處理殘差值，並傳輸至影像處理模組36，以繼續執行生成預測高解析度影格步驟S45；(4)生成預測高解析度影格步驟S45：承生成後處理殘差值步驟S44，當影像處理模組36接收到順向後處理殘差值(第t+1幀)、及逆向後處理殘差值後(第t+2幀)，若為順向預測模式，則影像處理模組36對順向後處理殘差值(第t+1幀)、以及低解析度影格(第t+1幀)進行一像素加法運算，以產生一順向預測高解析度影格(第t+1幀)；若為逆向預測模 式，則影像處理模組36對逆向後處理殘差值(第t+2幀)、以及低解析度影格(第t+2幀)進行一像素加法運算，以產生一逆向預測高解析度影格(第t+2幀)，若以此類推，逆向預測高解析度影格(第t+2幀)可作為一種高解析度影格(作為第t+2幀)，而再與一低解析度影格(第t+1幀)進行前等卷積運算，而產生一逆向預測高解析度影格(第t+1幀)，其後，影像處理模組36將同一時間點的一順向預測高解析度影格(t+1幀)、以及一逆向預測高解析度影格(t+1幀)傳輸至一雙向預測模組37，以繼續執行生成超解析度影格步驟S46；(5)生成超解析度影格步驟S46：承生成預測高解析度影格步驟S45，當雙向預測模組37接收到同一時間點的順向預測高解析度影格(t+1幀)、以及逆向預測高解析度影格(t+1幀)後，即交由卷積神經網路模組35進行至少一次的卷積運算，以產生一超解析度影格。
請再搭配參閱「第7圖」，圖中所示為本發明之實施示意圖(一)，即卷積神經網路模組35執行生成複數個候選高解析度像素集合步驟S41之實施示意圖，當卷積神經網路模組35的一輸入層351輸入一高解析度影格(第t幀)後，即以卷積神經網路模型35之一隱藏層352所儲存之參數為依據，分別以不同的卷積核心(例如1x1像素、3x3像素、7x7像素、15x15像素、或31x31像素)進行多次卷積運算，以運算出複數個候選高解析度像素集合(作為第t+1幀)，其後，為減少各候選高解析度像素集合(第t+1幀)之候選影格數量，卷積神經網路模組35之輸入層351須再對各候選高解析度像素集合(第t+1幀)以較小的卷積核心(較佳為1x1)進行一次卷 積運算後，以運算出一選定高解析度像素集合(第t+1幀)，又，各候選高解析度像素集合、及選定高解析度像素集合之影格數量皆可不只一張(例如皆可為32張)，換言之，圖中所揭含有32張影格的選定高解析度像素集合(第t+1幀)，係由一共含有160張影格的候選高解析度像素集合(第t+1幀)所篩選而出，而在較佳的實施例下，卷積神經網路模組35之輸出層353可將各候選高解析度像素集合(第t+1幀)經過卷積運算後的像素集合(即含有32張影格的選定高解析度像素集合)，傳輸至一影像處理模組36之一位移計算單元361，以供位移計算單元361從中篩選出與低解析度影格(第t+1幀)有較小像素位移量的像素集合，以作為經過二次篩選的選定高解析度像素集合(第t+1幀)，並再回傳至卷積神經網路模組35，以繼續執行生成影像融合殘差值步驟S43、及生成後處理殘差值步驟S44，而像素位移量之比較機制，可為最低像素偏移量的前10張影格、前15張影格、或前20張影格等，不以此為限，特先陳明，又，此階段若為順向預測模式，則一高解析度影格(第t幀)以不同的卷積核心進行多次卷積運算後，所產生之選定高解析度像素集合為第t+1幀；反之，若為逆向預測模式，則一高解析度影格(第t+3幀)，以不同的卷積核心進行多次卷積運算後，所運算出之選定高解析度像素集合為第t+2幀，以此類推。
請參閱「第8圖」，圖中所示為本發明之實施示意圖(二)，即卷積神經網路模組35執行生成影像融合殘差值步驟S43、及生成後處理殘差值步驟S44之實施示意圖，若為順向預測模式，則卷積神經網路模組35之輸入層351可輸入一選定高解析度像素集合(第t+1幀)、及一低解析 度影格(第t+1幀)，並依據隱藏層352所儲存之參數，利用一卷積核心進行一卷積運算，進而運算出一影像融合殘差值(第t+1幀)，其後，為微調影像融合殘差值(第t+1幀)之影像細節、及增加影像的擷取細節，輸入層351可再對影像融合殘差值(第t+1幀)以相同或不同的卷積核心，再進行一次卷積運算，以運算出一第一後處理殘差值(第t+1幀)，其後，輸入層351可繼續對第一後處理殘差值(第t+1幀)以相同、或不同的卷積核心進行一卷積運算，以運算出一第二後處理殘差值(第t+1幀)，以此類推，其後，卷積神經網路模組35之輸出層353得以最終產生的後處理殘差值(第t+1幀)為一順向後處理殘差值(第t+1幀)，其後，卷積神經網路模組35交由像素加法單元362執行生成預測高解析度影格步驟S45，即像素加法單元362將一順向後處理殘差值(第t+1幀)、及一低解析度影格(第t+1幀)進行一像素加法運算，以生成一順向預測高解析度影格(第t+1幀)；相對地，若為逆向預測模式，則一低解析度影格(第t+2幀)、以及一選定高解析度像素集合(第t+2幀)，可輸入於卷積神經網路模組35之輸入層351，輸入層351即可依據隱藏層352所儲存之參數，以一像素濾波單位為卷積核心進行一卷積運算，而運算出一影像融合殘差值(第t+2幀)，其後，為微調影像融合殘差值(第t+2幀)之影像細節、及增加影像的擷取細節，輸入層351可再對影像融合殘差值(第t+2幀)以相同或不同的像素濾波單位再進行一卷積運算，以運算出一第一後處理殘差值(第t+2幀)，其後，輸入層351再對第一後處理殘差值(第t+2幀)進行一卷積運算，以運算出一第二後處理殘差值(第t+2幀)，以此類推，並以最終產生的後處理殘差值為一逆向後處理殘差值(第t+2幀)，其後，像素加法單元362再將逆向後 處理殘差值(第t+2幀)、及低解析度影格(第t+2幀)進行一像素加法運算，以生成一逆向預測高解析度影格(第t+2幀)，另，無論是順向、或是逆向預測模式，在較佳的實施例下，輸入層351均可對第二後處理殘差值再進行一次卷積運算，以生成一第三後處理殘差值，並以第三後處理殘差值作為一順向後處理殘差值、或一逆向後處理殘差值，而卷積神經網路模組35對前述的後處理殘差值進行卷積運算的次數，最多不以三次為限，即輸入層351可再生成第四後處理殘差值、第五後處理殘差值等，特先陳明，且輸入層351每次若以相同的卷積核心(例如維持3x3)進行卷積運算，即可濾除更多不必要的影像雜訊，進而能增加峰值訊噪比(PSNR)之數值，最後，像素加法單元362將同一時間點的一順向預測高解析度影格、及一逆向預測高解析度影格再傳輸至一雙向預測模組37，以繼續執行生成超解析度影格步驟S46，另，無論是順向、或逆向預測模式，卷積神經網路模組35皆可直接以影像融合殘差值作為最終產生的後處理殘差值。
請參閱「第9圖」，圖中所示為本發明之實施示意圖(三)，如圖，雙向預測模組37執行生成超解析度影格步驟S46時，雙向預測模組37先接收同一時間點的一順向預測高解析度影格(第t+1幀)、以及一逆向後預測高解析度影格(第t+1幀)，並同時輸入於卷積神經網路模組35的輸入層351，接著利用一卷積核心依序進行多次卷積運算後，最後即可生成一超解析度影格(第t+1幀)，其中，於卷積運算過程中，輸入層351先後得以不同、且較小的卷積核心(例如1x1、或3x3)進行運算，並生成多個超 解析度像素集合，以獲得較佳的像素濾波效果，而在較佳的實施例下，若最終所輸出之超解析度影格為RGB影格，則進行多次卷積運算後，最終可產生對應至R(紅)、G(綠)、B(藍)三種色頻(Color Channel)的超解析度像素集合(內含3張影格)，並將對應至R、G、B色頻(之影格進行疊加之後，即可輸出一超解析度影格；而若最終所輸出之超解析度影格為CMYK影格，則進行多次卷積運算後，最終可產生對應至C(青)、M(洋紅)、Y(黃)、K(黑)四種色頻的超解析度像素集合(內含4張影格)，並將對應至C、M、Y、K色頻(之影格進行疊加之後，即可輸出一超解析度影格；若最終所輸出之影格為YUV影格，則進行多次卷積運算後，最終考產生對應至Y(明亮度)、U(色差分量)、V(色差分量)的三種色階值的超解析度像素集合(內含3張影格)，並將對應至Y、U、V之影格進行疊加之後，即可輸出一超解析度影格，而以雙向預測模式進行卷積運算的方式，即可改善高解析度影格(第t幀)切換至低解析度影格(第t+1幀)時、高解析度影格(第t+3幀)切換至低解析度影格(第t+2幀)時、或兩鄰近影格之像素因發生偏移，而產生時域冗餘的問題。
請再參閱「第10圖」，圖中所示為本發明之另一實施例的實施流程圖，監控端若需於一使用者終端裝置40觀看非即時的監控影像，則利用超解析重建法生成高解析度影像的系統30可執行以下步驟：一訊框緩衝區33執行從記憶模組擷取影格步驟S31，即訊框緩衝區33先由儲存模組34擷取出經過解碼的複數張高解析度影格、及複數張低解析度影格後，並傳輸至卷積神經網路模組35，以繼續執行超解析重建影像處理步 驟S4，又，訊框緩衝區33亦可由儲存模組34擷取出未經過解碼的複數個封包，並將前等封包經過影像解碼器32之解碼後，再傳輸至卷積神經網路模組35、影像處理模組36、及雙向預測模組37，以運算出一超解析度影格，其後，先暫存於訊框緩衝區33以供緩衝，並傳輸至影像編碼器38進行編碼，完成編碼後即傳輸至串流緩衝區31以供串流緩衝，當前述的影像緩衝及編碼步驟S5執行完畢後，第二傳輸模組39即執行回傳至使用者終端裝置步驟S6，即將各超解析度影格傳輸至使用者終端裝置40，以供監控端可觀看非即時監控影像的功能。
由上所述可知，本發明主要係具有：一訊框緩衝區、一卷積神經網路模組、一影像處理模組、以及一雙向預測模組；訊框緩衝區可接收一影像擷取裝置所擷取具有較低FPS的複數張高解析度影格、及較高FPS的複數張低解析度影格，經過串流緩衝、影像解碼及訊框緩衝後，先傳送至卷積神經網路模組，以產生複數個候選高解析度像素集合、及一個選定高解析度像素集合後，卷積神經網路模組再對一選定高解析度像素集合、以及一低解析度影格進行一卷積運算，以運算出一影像融合殘差值，其後，為微調影像融合殘差值之影像細節，卷積神經網路模組再對影像融合殘差值進行至少一次卷積運算，以產生一順向後處理殘差值、及一逆向後處理殘差值，其後，影像處理模組再將對一後處理殘差值(順向及逆向)、分別與一低解析度影格進行一像素加法運算，以產生同一時間點的一順向預測高解析度影格、以及一逆向預測高解析度影格，最後，再以一雙向預測模組接收同一時間點的順向預測高解析度影 格、及逆向預測高解析度影格，並於進行至少一次卷積運算後，即可運算出一超解析度影格；據此，本發明實施後，卷積神經網路模組於生成候選高解析度像素集合、產生後處理殘差值、及最終產生超解析度影格的過程中，其所進行之卷積運算，經過不斷的訓練、學習後，即可擷取到更為精確的影像細節，進而能達到讓影像監控業者得以較低之軟硬體成本，達到有效增進影像品質及運算效率、及同時能解決影像失真、影像擷取裝置之上傳頻寬有限、以及儲存空間與緩衝區有限之問題的「利用超解析重建法生成高解析度影像的系統及方法」之目的。
綜上所述，本發明之功效，係具有創作之「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向 鈞局提起發明專利之申請。

Claims (23)

  1. 一種利用超解析重建法生成高解析度影像的實施方法，其包含以下步驟：一擷取影像步驟：以一影像擷取裝置擷取複數張高解析度影格、及複數張低解析度影格；一生成候選像素集合與選定像素集合步驟：一卷積神經網路模組對該高解析度影格進行多次卷積運算，以運算出複數個候選高解析度像素集合後，再同時對各該候選高解析度像素集合，進行至少一次該卷積運算，以產生一選定高解析度像素集合；一產生後處理殘差值步驟：該卷積神經網路模組對該選定高解析度像素集合、與該低解析度影格進行至少一次該卷積運算後，可產生一後處理殘差值；一產生預測高解析度影格步驟：一像素加法單元對該後處理殘差值、及該低解析度影格進行一像素加法運算，以運算出同一時間點的一順向預測高解析度影格、及一逆向預測高解析度影格；以及一生成超解析度影格步驟：一雙向預測模組接收該順向預測高解析度影格、及該逆向預測高解析度影格後，該卷積網路模組對該順向預測高解析度影格、及該逆向預測高解析度影格進行至少一次該卷積運算，以產生一超解析度影格。
  2. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實施方法，其中，當一張該高解析度影格、與一張下一時間點的該低解析度影格，依序執行該生成候選像素集合與選定像素集合步驟、該產生後處理殘差值步驟、以及該產生預測高解析度影格步驟後，即可產生該順 向預測高解析度影格。
  3. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實施方法，其中，當一張該高解析度影格、與一張上一時間點的該低解析度影格，依序執行該生成候選像素集合與選定像素集合步驟、該產生後處理殘差值步驟、以及該產生預測高解析度影格步驟後，即可產生該逆向預測高解析度影格。
  4. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實施方法，其中，當該卷積神經網路模組對各該候選高解析度像素集合，進行至少一次該卷積運算後，一位移計算單元可先從該卷積運算之運算結果中篩選出與該低解析度影格有較小像素位移量的像素集合，以作為該選定高解析度像素集合。
  5. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該影像擷取裝置所擷取而得的複數張該高解析度影格，其畫面更新率低於、或等於複數張該低解析度影格。
  6. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該影像擷取裝置係以一取樣張數決定連續擷取影格的數量，且被擷取的影格中，至少有一張高解析度影格。
  7. 如申請專利範圍第1項、或第4項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該卷積神經網路模組具有一輸入層、一隱藏層、以及一輸出層，該輸入層用以輸入欲進行該卷積運算的影格、或殘差值，該隱藏層用以儲存複數筆參數，用以決定該卷積運算所利用之卷積核心，該輸出層用以輸出該卷積運算之運算結果。
  8. 如申請專利範圍第7項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該複數筆參數為該輸入層可利用不同的該卷積核心，分別對該高解析度影格進行多次該卷積運算，以運算出該複數個候選高解析度像素集合，且該輸入層可再利用1x1像素的該卷積核心，同時對該各該候選高解析度像素集合進行一次該卷積運算，以運算出該選定高解析度像素集合。
  9. 如申請專利範圍第7項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該複數筆參數為該輸入層可利用該卷積核心，同時對該選定高解析度像素集合、及該低解析度影格進行一次該卷積運算，以運算出一影像融合殘差值。
  10. 如申請專利範圍9項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該複數筆參數為該輸入層可對該影像融合殘差值再進行一次該卷積運算，以生成一第一後處理殘差值，其後，該輸入層可對該第一後處理殘差值再依序進行多次該卷積運算，並以最終產生的後處理殘差值，作為該後處理殘差值。
  11. 如申請專利範圍第7項所述之利用超解析重建法生成高解析度影像的實施方法，其中，該複數筆參數為該輸入層可對該順向預測高解析度影格、及該逆向預測高解析度影格進行至少一次的該卷積運算，以運算出可分別對應R、G、B色頻訊號的該超解析度影格、或運算出可分別對應C、M、Y、K色頻訊號的該超解析度影格、或運算出可分別對應Y、U、V色頻訊號的該超解析度影格。
  12. 如申請專利範圍第1項所述之利用超解析重建法生成高解析度影像的實 施方法，其中，一儲存模組分別可資訊連結至一訊框緩衝區、及一串流緩衝區，以儲存經過解碼的各該高解析度影格、及各該低解析度影格，以及儲存未經過解碼的複數個封包，各該封包經過解碼後，即可產生各該高解析度影格、及各該低解析度影格。
  13. 一種利用超解析重建法生成高解析度影像的系統，可資訊連結至一影像擷取裝置，以取得該影像擷取裝置所擷取而得的複數張高解析度影格、及複數張低解析度影格，以供一使用者終端裝置資訊連結後觀看一監控影像，其包含：一訊框緩衝區，供以接收、暫存一該高解析度影格、一該低解析度影格、以及一超解析度影格；一卷積神經網路模組，與該訊框緩衝區資訊連結，用以對該高解析度影格進行多次卷積運算，以產生複數個候選高解析度像素集合、以及用以對該複數候選高解析度像素集合進行至少一次該卷積運算，以產生一選定高解析度像素集合、以及用以對該選定高解析度像素集合、與該低解析度影格同時進行至少一次該卷積運算，以產生一後處理殘差值；一影像處理模組，與該卷積神經網路模組資訊連結，該影像處理模組具有一像素加法單元，供以對該後處理殘差值、及該低解析度影格進行一像素加法運算，以生成同一時間點的一順向預測高解析度影格、及一逆向預測高解析度影格；以及一雙向預測模組，與該卷積神經網路模組呈資訊連結，供以接收該順向預測高解析度影格、與該逆向預測高解析度影格後，再傳送至該卷積神經網路模組進行該卷積運算，以產生該超解析度影格。
  14. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，當一張該高解析度影格、與一張下一時間點的該低解析度影格，依序經由該卷積神經網路模組進行多次的該卷積運算、及該影像處理模組進行該像素加法運算後，即可產生該順向預測高解析度影格。
  15. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，當一張該高解析度影格、與一張上一時間點的該低解析度影格，依序經由該卷積神經網路模組進行多次的該卷積運算、及該影像處理模組進行該像素加法運算後，即可產生該逆向預測高解析度影格。
  16. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，該影像處理模組更具有一位移計算單元，用以對該複數候選高解析度像素集合進行該卷積運算後的結果，先進行一像素位移量計算，進而選擇出與該低解析度影格有較小像素位移量的像素集合，以作為該選定高解析度像素集合。
  17. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，該影像擷取裝置所擷取而得的複數張該高解析度影格，其畫面更新率低於、或等於複數張該低解析度影格。
  18. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，該影像擷取裝置係以一取樣張數決定影格的擷取數量，且被擷取的影格中，至少會出現一張高解析度影格。
  19. 如申請專利範圍第13項、或第16項所述之利用超解析重建法生成高解析度影像的系統，其中，該卷積神經網路模組具有一輸入層、一隱藏層以及一輸出層，該輸入層用以輸入欲進行該卷積運算的影格、及殘差值， 該隱藏層用以儲存複數筆參數，以供決定該卷積運算所利用之卷積核心，該輸出層用以輸出該卷積運算之運算結果。
  20. 如申請專利範圍第19項所述之利用超解析重建法生成高解析度影像的系統，其中，該複數筆參數為該輸入層可利用不同的該卷積核心，對該高解析度影格進行多次該卷積運算，以運算出該複數個候選高解析度像素集合，其後，該輸入層可利用1x1像素的該卷積核心，再對各該候選高解析度像素集合進行一次該卷積運算，以運算出該選定高解析度像素集合。
  21. 如申請專利範圍第19項所述之利用超解析重建法生成高解析度影像的系統，其中，該複數筆參數為該輸入層可對該選定高解析度像素集合進行一次該卷積運算，以運算出一影像融合殘差值，其後，該輸入層可對該影像融合殘差值再進行一次該卷積運算，以運算出一第一後處理殘差值，其後，該輸入層可對該第一後處理殘差值再依序進行多次該卷積運算，並以最終產生的後處理殘差值，作為該後處理殘差值。
  22. 如申請專利範圍第19項所述之利用超解析重建法生成高解析度影像的系統，其中，該複數筆參數為該輸入層可對該順向預測高解析度影格、及該逆向預測高解析度影格進行至少一次的該卷積運算，以運算出可分別對應R、G、B色頻訊號的該超解析度影格、或運算出可分別對應C、M、Y、K色頻訊號的該超解析度影格、或運算出可分別對應Y、U、V色頻訊號的該超解析度影格。
  23. 如申請專利範圍第13項所述之利用超解析重建法生成高解析度影像的系統，其中，一儲存模組分別資訊連結至該訊框緩衝區、及一串流緩衝區，以儲存經過解碼後的各該高解析度影格、與各該低解析度影格，以及用 以儲存未經過解碼的複數個封包，各該封包經過解碼後，即可產生各該高解析度影格、及各該低解析度影格。
TW105136158A 2016-11-07 2016-11-07 利用超解析重建法生成高解析度影像的方法與系統 TWI624804B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105136158A TWI624804B (zh) 2016-11-07 2016-11-07 利用超解析重建法生成高解析度影像的方法與系統
US15/805,197 US10373292B2 (en) 2016-11-07 2017-11-07 Method and system for providing high resolution image through super-resolution reconstruction
EP17200233.9A EP3319039A1 (en) 2016-11-07 2017-11-07 A method and system for providing high resolution image through super-resolution reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105136158A TWI624804B (zh) 2016-11-07 2016-11-07 利用超解析重建法生成高解析度影像的方法與系統

Publications (2)

Publication Number Publication Date
TW201818346A true TW201818346A (zh) 2018-05-16
TWI624804B TWI624804B (zh) 2018-05-21

Family

ID=60293752

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105136158A TWI624804B (zh) 2016-11-07 2016-11-07 利用超解析重建法生成高解析度影像的方法與系統

Country Status (3)

Country Link
US (1) US10373292B2 (zh)
EP (1) EP3319039A1 (zh)
TW (1) TWI624804B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689589A (zh) * 2018-07-03 2020-01-14 日商优必达株式会社股份有限公司 提高影像媒体质量的方法
US11044438B2 (en) 2019-02-22 2021-06-22 Delta Electronics, Inc. Projection display apparatus and display method
TWI795691B (zh) * 2020-01-09 2023-03-11 日商日立全球先端科技股份有限公司 影像生成系統、及非暫時性電腦可讀媒體

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
CN108765290A (zh) * 2018-05-29 2018-11-06 天津大学 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN109064394B (zh) * 2018-06-11 2023-07-18 西安电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法
CN108830813B (zh) * 2018-06-12 2021-11-09 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN108921786B (zh) * 2018-06-14 2022-06-28 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN109064396B (zh) * 2018-06-22 2023-04-07 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108876745B (zh) * 2018-06-27 2020-09-01 厦门美图之家科技有限公司 图像处理方法及装置
CN108986029B (zh) * 2018-07-03 2023-09-08 南京览笛信息科技有限公司 文字图像超分辨率重建方法、系统、终端设备及存储介质
CN109325915B (zh) * 2018-09-11 2022-11-08 合肥工业大学 一种用于低分辨率监控视频的超分辨率重建方法
CN110969217B (zh) * 2018-09-28 2023-11-17 杭州海康威视数字技术股份有限公司 基于卷积神经网络进行图像处理的方法和装置
CN109389557B (zh) * 2018-10-20 2023-01-06 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN109255755B (zh) * 2018-10-24 2023-05-23 上海大学 基于多列卷积神经网络的图像超分辨率重建方法
CN111107357B (zh) * 2018-10-25 2022-05-31 杭州海康威视数字技术股份有限公司 一种图像处理的方法、装置、系统及存储介质
CN110163237B (zh) * 2018-11-08 2023-03-14 腾讯科技（深圳）有限公司 模型训练及图像处理方法、装置、介质、电子设备
CN111353944B (zh) 2018-12-20 2024-05-28 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
RU2697928C1 (ru) 2018-12-28 2019-08-21 Самсунг Электроникс Ко., Лтд. Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
CN109785236B (zh) * 2019-01-21 2022-11-08 中国科学院宁波材料技术与工程研究所 一种基于超像素和卷积神经网络的图像超分辨方法
CN109903226B (zh) * 2019-01-30 2023-08-15 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109949223B (zh) * 2019-02-25 2023-06-20 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN109903228B (zh) * 2019-02-28 2023-03-24 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110084745A (zh) * 2019-03-12 2019-08-02 天津大学 基于并联的稠密卷积神经网络的图像超分辨率重建方法
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110136061B (zh) * 2019-05-10 2023-02-28 电子科技大学中山学院 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN110246084B (zh) * 2019-05-16 2023-03-31 五邑大学 一种超分辨率图像重构方法及其系统、装置、存储介质
CN110099280B (zh) * 2019-05-24 2020-05-08 浙江大学 一种无线自组织网络带宽受限下的视频业务质量增强方法
CN110276354B (zh) * 2019-05-27 2023-04-07 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法
CN110490797A (zh) * 2019-07-05 2019-11-22 苏州江奥光电科技有限公司 一种基于双流深层卷积网络的深度图像超分辨率重建方法
CN110443755B (zh) * 2019-08-07 2023-05-30 杭州智团信息技术有限公司 一种基于高低频信号量的图像超分辨率的方法
CN110706154B (zh) * 2019-08-28 2021-08-31 西北大学 一种基于层次化残差神经网络的图像超分辨率方法
CN110706155B (zh) * 2019-09-12 2022-11-29 武汉大学 一种视频超分辨率重建方法
CN110619604B (zh) * 2019-09-17 2022-11-22 中国气象局公共气象服务中心(国家预警信息发布中心) 三维降尺度方法、装置、电子设备及可读存储介质
CN110675320A (zh) * 2019-09-24 2020-01-10 南京工程学院 一种空间参数变化及复杂场景下目标图像清晰化方法
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
CN110807734A (zh) * 2019-10-30 2020-02-18 河南大学 一种sar图像超分辨率重建方法
CN110826467B (zh) * 2019-11-22 2023-09-29 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111028147B (zh) * 2019-11-25 2024-02-02 天津大学 基于级联空洞卷积的三维医学图像超分辨率重建方法
CN111159310B (zh) * 2019-12-13 2023-09-29 中国地质大学（武汉） 可扩展的、带有信息增益策略的图像生成时空融合方法
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111080528B (zh) * 2019-12-20 2023-11-07 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN113298705B (zh) * 2020-02-24 2025-06-03 华为技术有限公司 一种图像超分辨率处理方法及装置
CN113393374B (zh) * 2020-03-11 2025-02-11 联发科技股份有限公司 视频处理电路及用于执行sr操作的方法
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN113518227B (zh) * 2020-04-09 2023-02-10 于江鸿 数据处理的方法和系统
CN113538225A (zh) * 2020-04-14 2021-10-22 阿里巴巴集团控股有限公司 模型训练方法及图像转换方法、装置、设备和存储介质
CN113542772B (zh) * 2020-04-21 2023-03-24 四川大学 基于增强的宽激活残差网络的压缩图像去块效应方法
CN111476719B (zh) * 2020-05-06 2023-05-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111586412B (zh) * 2020-05-06 2022-07-26 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN111652803B (zh) * 2020-05-22 2023-04-25 中国科学技术大学 一种横向束流截面超分辨率重建方法
CN111726623B (zh) * 2020-05-26 2022-11-11 上海交通大学 提升空间可分级编码视频在丢包网络中重建质量的方法
CN113888403A (zh) * 2020-07-01 2022-01-04 成都智学易数字科技有限公司 医学扫描模型的影像再现方法
CN113888404B (zh) * 2020-07-01 2024-12-03 成都智学易数字科技有限公司 器官影像模型的远程重建方法
CN111815515B (zh) * 2020-07-01 2024-02-09 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN112070676B (zh) * 2020-09-10 2023-10-27 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN112419150B (zh) * 2020-11-06 2024-04-02 中国科学技术大学 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN112465701B (zh) * 2020-11-26 2023-08-29 上海健康医学院 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN112488923B (zh) * 2020-12-10 2024-10-25 Oppo广东移动通信有限公司 图像超分辨率重建方法、装置、存储介质及电子设备
CN113570510A (zh) * 2021-01-19 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112767252B (zh) * 2021-01-26 2022-08-02 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法
CN113034380B (zh) * 2021-02-09 2022-06-10 浙江大学 基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN112950470B (zh) * 2021-02-26 2022-07-15 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
KR102854621B1 (ko) * 2021-04-22 2025-09-02 에스케이하이닉스 주식회사 고해상도 프레임 생성 장치
CN113393376B (zh) * 2021-05-08 2024-07-12 杭州电子科技大学 一种基于深度学习的轻量级超分辨率图像重建方法
CN113240584B (zh) * 2021-05-11 2023-04-28 上海大学 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN115345777A (zh) * 2021-05-13 2022-11-15 南京大学 用于成像的方法、装置和计算机可读介质
CN113298712A (zh) * 2021-05-21 2021-08-24 安谋科技（中国）有限公司 图像处理方法、电子设备及其可读介质
CN113222825B (zh) * 2021-06-03 2023-04-18 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN115496652B (zh) * 2021-06-18 2025-06-24 四川大学 基于多尺度通道金字塔残差注意的盲压缩图像超分重建
WO2023274392A1 (en) * 2021-07-01 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Utilizing Coded Information During Super Resolution Process
CN113487487B (zh) * 2021-07-28 2024-03-19 国电南京自动化股份有限公司 一种异构立体图像的超分辨率重建方法及系统
CN113658042B (zh) * 2021-07-28 2024-10-15 西安理工大学 一种双向残差融合的视频超分辨率重建的方法
CN117940952A (zh) * 2021-08-04 2024-04-26 三星电子株式会社 电子设备及其操作方法
CN113674156B (zh) * 2021-09-06 2022-12-30 苏州大学 一种图像超分辨率重建的方法及系统
CN113781304B (zh) * 2021-09-08 2023-10-13 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN113744132B (zh) * 2021-09-09 2024-09-27 哈尔滨工业大学 基于多重优化的mr图像深度网络超分辨方法
US12039697B2 (en) 2021-09-13 2024-07-16 GE Precision Healthcare LLC Method and system for reconstructing high resolution versions of low resolution images of a cine loop sequence
CN113947184A (zh) * 2021-09-29 2022-01-18 紫光展锐(重庆)科技有限公司 图像处理方法及相关装置
JP7762035B2 (ja) * 2021-10-12 2025-10-29 キヤノン株式会社 画像処理装置および方法、プログラム
CN114170078B (zh) * 2021-11-18 2025-05-02 天讯瑞达通信技术有限公司 基于图神经网络的双目图像超分辨率方法及装置
CN114359043B (zh) * 2021-12-02 2024-11-22 深圳大学 Sar图像处理方法、装置、系统及存储介质
CN114202463B (zh) * 2021-12-15 2024-02-23 陕西师范大学 面向云端融合的视频超分辨率方法及系统
CN114283064B (zh) * 2021-12-24 2024-09-06 哈尔滨工业大学 基于真实世界双焦距图像的超分辨率自监督学习系统
CN114332625B (zh) * 2021-12-31 2024-11-15 云南大学 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN114463175B (zh) * 2022-01-18 2022-11-01 哈尔滨工业大学 基于深度卷积神经网络的火星图像超分辨方法
CN114494569B (zh) * 2022-01-27 2023-09-19 光线云(杭州)科技有限公司 基于轻量级神经网络和残差流式传输的云渲染方法和装置
CN114648468B (zh) * 2022-05-18 2022-08-16 中山大学深圳研究院 图像处理方法、装置、终端设备及计算机可读存储介质
CN115131242B (zh) * 2022-06-28 2023-08-29 闽江学院 基于注意力与蒸馏机制的轻量级超分辨率重建方法
CN115115520A (zh) * 2022-07-20 2022-09-27 晨星基因(北京)智能科技有限公司 一种具有提高图像清晰度和分辨率的图像成像方法
CN116188295A (zh) * 2022-12-22 2023-05-30 虹软科技股份有限公司 毛发增强方法、神经网络、电子装置和存储介质
CN116342389B (zh) * 2023-03-16 2025-10-14 武汉大学 基于多尺度增强模块的遥感影像超分辨率重建方法及系统
CN117132468B (zh) * 2023-07-11 2024-05-24 汕头大学 一种基于Curvelet系数预测的精密测量图像超分辨率重建方法
CN117114992B (zh) * 2023-08-26 2024-07-16 浙江大学 一种实时超分辨率方法和装置
CN117058001B (zh) * 2023-10-12 2023-12-12 深圳云天畅想信息科技有限公司 超分辨率视频融合重建方法、装置及计算机设备
CN117061824B (zh) * 2023-10-12 2024-01-26 深圳云天畅想信息科技有限公司 流媒体视频补帧方法、装置及计算机设备
CN117237197B (zh) * 2023-11-08 2024-03-01 华侨大学 基于交叉注意力机制的图像超分辨率方法及装置
CN117495680B (zh) * 2024-01-02 2024-05-24 华侨大学 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法
CN117896552B (zh) * 2024-03-14 2024-07-12 浙江华创视讯科技有限公司 视频会议的处理方法、视频会议系统以及相关装置
CN118570066B (zh) * 2024-08-02 2024-11-15 中国科学技术大学 一种基于掩码重建范式的文本图像超分辨率方法及系统
CN120107067A (zh) * 2025-01-10 2025-06-06 东南大学 一种基于生成对抗网络的红外图像超分辨率方法
CN119693237A (zh) * 2025-02-26 2025-03-25 蜜度科技股份有限公司 视频超分辨率重建方法、系统、电子设备和存储介质
CN120318075B (zh) * 2025-06-11 2025-10-10 国网江西省电力有限公司电力科学研究院 一种红外图像超分辨率重建方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US811774A (en) 1903-11-06 1906-02-06 William C Griffin Threader and cutter.
EP1321896B1 (en) * 2001-12-21 2009-12-30 International Business Machines Corporation Method and circuits for scaling images using neural networks
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
TWI288364B (en) * 2003-10-13 2007-10-11 Leadtek Research Inc Method for processing resolution of an image by image interpolation algorithm
US9799098B2 (en) * 2007-04-24 2017-10-24 Massachusetts Institute Of Technology Method and apparatus for image processing
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
TWI546777B (zh) * 2015-03-12 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與方法
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US11200483B2 (en) * 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689589A (zh) * 2018-07-03 2020-01-14 日商优必达株式会社股份有限公司 提高影像媒体质量的方法
US11044438B2 (en) 2019-02-22 2021-06-22 Delta Electronics, Inc. Projection display apparatus and display method
TWI795691B (zh) * 2020-01-09 2023-03-11 日商日立全球先端科技股份有限公司 影像生成系統、及非暫時性電腦可讀媒體
TWI822581B (zh) * 2020-01-09 2023-11-11 日商日立全球先端科技股份有限公司 影像生成系統、非暫時性電腦可讀媒體及影像生成方法
US12423962B2 (en) 2020-01-09 2025-09-23 Hitachi High-Tech Corporation System for generating image, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
EP3319039A1 (en) 2018-05-09
US10373292B2 (en) 2019-08-06
US20180137603A1 (en) 2018-05-17
TWI624804B (zh) 2018-05-21

Similar Documents

Publication Publication Date Title
TWI624804B (zh) 利用超解析重建法生成高解析度影像的方法與系統
US10616592B2 (en) Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
CN103597839B (zh) 视频压缩方法、视频重构方法和系统、及编码器
US8553109B2 (en) Concurrent image processing for generating an output image
US8031960B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
US20120294369A1 (en) Methods and apparatus for sampling-based super resolution video encoding and decoding
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021254139A1 (zh) 视频处理方法、设备及存储介质
KR20060085157A (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
EP3038370A1 (en) Devices and method for video compression and reconstruction
CN111510739B (zh) 一种视频传输方法及装置
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
CN104704839A (zh) 视频压缩方法
CN114125448B (zh) 视频编码方法、解码方法及相关装置
US11265563B2 (en) Optimization of downsampling occurring before encoding images during compression
CN114422852A (zh) 视频播放方法、存储介质、处理器和系统
US20260039828A1 (en) Method and apparatus for image processing using artificial intelligence technology
Watanabe et al. Traffic reduction in video call and chat using dnn-based image reconstruction
JP6416255B2 (ja) 画像処理システム、及び、画像処理方法
JP7789159B2 (ja) 同調可変なハイブリッドニューラルビデオ表現
US20250111541A1 (en) Compressed Video Streaming for Multi-Camera Systems
JP5175796B2 (ja) 符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラム
CN115733986B (zh) 编码、封装及显示方法、装置及电子设备
CN101977315A (zh) 一种跨层预测编码方法
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees