[go: up one dir, main page]

TWI715448B - 偵測解析度的方法及電子裝置 - Google Patents

偵測解析度的方法及電子裝置 Download PDF

Info

Publication number
TWI715448B
TWI715448B TW109105918A TW109105918A TWI715448B TW I715448 B TWI715448 B TW I715448B TW 109105918 A TW109105918 A TW 109105918A TW 109105918 A TW109105918 A TW 109105918A TW I715448 B TWI715448 B TW I715448B
Authority
TW
Taiwan
Prior art keywords
resolution
sub
frame
picture frame
image data
Prior art date
Application number
TW109105918A
Other languages
English (en)
Other versions
TW202133143A (zh
Inventor
陳慶隆
高宇哲
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109105918A priority Critical patent/TWI715448B/zh
Priority to US17/134,580 priority patent/US11336943B2/en
Application granted granted Critical
Publication of TWI715448B publication Critical patent/TWI715448B/zh
Publication of TW202133143A publication Critical patent/TW202133143A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本發明揭露一種偵測影像資料的解析度的方法及電子裝置。該方法應用於一電子裝置，該電子裝置之一計算電路執行一人工智慧模型。該影像資料包含複數個圖幀，每一圖幀包含複數個子圖幀。該人工智慧模型係處理複數個像素資料來產生對應於該些像素資料的一中間解析度。該方法包含：(A)產生一目標子圖幀，該目標子圖幀的像素個數係小於任一該些圖幀的像素個數；(B)將該目標子圖幀輸入該人工智慧模型，以得到該中間解析度；(C)儲存該中間解析度；(D)重複步驟(A)至步驟(C)，以得到複數個中間解析度；以及(E)根據該些中間解析度決定該影像資料的該解析度。

Description

偵測解析度的方法及電子裝置
本發明是關於影像處理，尤其是關於偵測影像資料(video material)的解析度。
目前的一些電子裝置(例如電視、螢幕、多媒播放器、機上盒、手機、電腦、筆記型電腦、平板電腦等)可播放或處理超高畫質(Ultra-high-definition,UHD)的影像資料，但是該些高解析度的影像資料可能是由解析度較低的影像資料放大(scale up)而來，換言之，該些高解析度的影像資料可能具有低的原始解析度。
為了提升影像品質，電子裝置通常會根據影像資料的原始解析度(original resolution)對影像資料施以不同的圖像品質處理(picture quality function)。傳統方法是藉由監測影像資料的像素值的更新頻率來偵測影像資料的解析度。然而此做法需要特別設計的硬體及演算法，造成實作上缺乏彈性。
隨著人工智慧(Artificial Intelligence,AI)蓬勃發展，有愈來愈多影像處理相關的機器學習(machine learning)演算法或深度學習(deep learning)演算法被提出。神經網路(Neural Network,NN)或卷積神經網路(Convolutional Neural Network,CNN)是廣泛被用於影像處理的人工智慧模型。目前已有人工 智慧模型被訓練來偵測影像資料的原始解析度(請參考：https：//github.com/subpic/koniq)，然而，當影像資料的標稱(nominal)解析度愈高時，人工智慧模型所需處理的影像資料就愈多，偵測解析度的程序也就愈耗時。這會造成執行該人工智慧模型的硬體(例如中央處理器、圖形處理器(Graphics Processing Unit,GPU))被偵測解析度的程序長時間占用，而降低電子裝置的效能。
鑑於先前技術之不足，本發明之一目的在於提供一種偵測解析度的方法及電子裝置。
本發明揭露一種偵測影像資料的解析度的方法。該方法應用於一電子裝置，該電子裝置之一計算電路執行一人工智慧模型。該影像資料包含複數個圖幀，每一圖幀包含複數個子圖幀。該人工智慧模型係處理複數個像素資料來產生對應於該些像素資料的一中間解析度。該方法包含：(A)產生一目標子圖幀，該目標子圖幀的像素個數係小於任一該些圖幀的像素個數；(B)將該目標子圖幀輸入該人工智慧模型，以得到該中間解析度；(C)儲存該中間解析度；(D)重複步驟(A)至步驟(C)，以得到複數個中間解析度；以及(E)根據該些中間解析度決定該影像資料的該解析度。
本發明另揭露一種電子裝置，用於偵測影像資料的解析度。該影像資料包含複數個圖幀，每一圖幀包含複數個子圖幀。該電子裝置包含一儲存電路及一計算電路。儲存電路儲存複數個程式指令或程式碼。計算電路耦接該儲存電路，並且執行該些程式指令或程式碼來執行一人工智 慧模型。該人工智慧模型處理複數個像素資料來產生對應於該些像素資料的一中間解析度。該計算電路更執行該些程式指令或程式碼來執行以下步驟：(A)產生一目標子圖幀，該目標子圖幀的像素個數係小於任一該些圖幀的像素個數；(B)將該目標子圖幀輸入該人工智慧模型，以得到該中間解析度；(C)儲存該中間解析度；(D)重複步驟(A)至步驟(C)，以得到複數個中間解析度；以及(E)根據該些中間解析度決定該影像資料的該解析度。
本發明另揭露一種偵測影像資料的解析度的方法。該方法應用於包含一計算電路及一儲存電路之一電子裝置。該儲存電路儲存複數個程式指令或程式碼，該計算電路執行該些程式指令或程式碼來執行一第一人工智慧模型，該第一人工智慧模型包含複數個子模型。該方法包含：(A)取得該影像資料的一圖幀；(B)將該圖幀輸入該些子模型之一目標子模型，以得到一第一中間結果；(C)儲存該第一中間結果；(D)使用該計算電路執行一第二人工智慧模型；(E)以該目標子模型之一次一子模型作為該目標子模型；(F)將該第一中間結果輸入該目標子模型，以得到一第二中間結果或該影像資料之該解析度；以及(G)當步驟(F)得到該第二中間結果而非該影像資料之該解析度時，以該第二中間結果作為該第一中間結果，並重複執行步驟(C)至步驟(F)，直到步驟(F)得到該影像資料之該解析度。
相較於傳統技術，本發明之偵測解析度的方法及電子裝置不會長時間占用電子裝置的軟硬體資源，因此可以增加電子裝置的效能(例如減少儲存電路或記憶體的頻寬需求，及/或減少計算量)。
有關本發明的特徵、實作與功效，茲配合圖式作實施例詳細說明如下。
100:電子裝置
110:計算電路
120:儲存電路
310,320:圖幀
SF1-1,SF1-2,SF1-3,SF1-4,SF1-5,SF1-6,SF1-7,SF1-8,SF1-9,SF2-1,SF2-2,SF2-3,SF2-4,SF2-5,SF2-6,SF2-7,SF2-8:子圖幀
510,810:記憶體
F1,F2,F3,F4,F5,Fk,Fn:圖幀
SF1,SF2,SF3,SF4,SF5,SF6,SF7,SF8,SF9:子圖幀
R1,R2,Rk-1,Rk,Rn-1:中間結果
812,814:子記憶體
1000:第一人工智慧模型
1010_1,1010_2,1010_k,1010_n:子模型
S210~S270,S410~S470,S710~S770,S910~S950,S1110~S1180:步驟
圖1顯示本發明電子裝置的部分元件；圖2顯示本發明偵測影像資料之解析度的方法的一實施例的流程圖；圖3A及圖3B分別顯示由多個子圖幀所構成的一個圖幀；圖4顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖；圖5顯示對應於圖4之實施例的圖幀、子圖幀及記憶體；圖6顯示對應於圖4之流程的另一範例的圖幀及子圖幀；圖7顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖；圖8顯示對應於圖7之實施例的圖幀、子圖幀及記憶體；圖9顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖；圖10顯示人工智慧模型包含多個子模型；以及圖11顯示步驟S930的子步驟(對應於圖10之實施例)。
以下說明內容之技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。
本發明之揭露內容包含偵測解析度的方法及電子裝置。由於本發明之電子裝置所包含之部分元件單獨而言可能為已知元件，因此在不影響該裝置發明之充分揭露及可實施性的前提下，以下說明對於已知元件的細節將予以節略。此外，本發明之偵測解析度的方法的部分或全部流程可以是軟體及/或韌 體之形式，並且可藉由本發明之電子裝置或其等效裝置來執行，在不影響該方法發明之充分揭露及可實施性的前提下，以下方法發明之說明將著重於步驟內容而非硬體。
圖1顯示本發明電子裝置的部分元件。電子裝置100包含計算電路110及儲存電路120。儲存電路120可以儲存部分的影像資料，而影像資料包含多個圖幀。在一些實施例中，儲存電路120包含多條線緩衝器(line buffer)以儲存一整個或部分圖幀。儲存電路120可以是動態隨機存取記憶體、靜態隨機存取記憶體、其等效的硬體，或多種記憶體的組合。儲存電路120更儲存有多個程式指令、人工智慧模型參數和其他參數，而計算電路110利用該些程式指令、人工智慧模型參數和其他參數來執行人工智慧模型(包含但不限於神經網路(Neural Network,NN)或卷積神經網路(Convolutional Neural Network,CNN))，以及來執行偵測影像資料之解析度的方法。電子裝置100例如是(但不限於)電視、螢幕、多媒播放器、機上盒、手機、電腦、筆記型電腦、平板電腦等。
計算電路110可以是具有程式執行能力的電路或電子元件，例如中央處理器、圖形處理器、或特殊應用積體電路(Application Specific Integrated Circuit,ASIC)。特殊應用積體電路例如是人工智慧模型加速器。
圖2顯示本發明偵測影像資料之解析度的方法的一實施例的流程圖。電子裝置100接收影像資料(步驟S210)，影像資料包含多個圖幀，且每個圖幀包含多個子圖幀。接著計算電路110從多個圖幀中決定一個目標圖幀(步驟S220)，例如目前正被電子裝置100接收的圖幀。然後計算電路110從同一個目標圖幀中選取一個目標子圖幀(步驟S230)。
圖3A及圖3B分別顯示由多個子圖幀所構成的一個圖幀。圖幀310包含9個子圖幀(SF1-1、SF1-2、SF1-3、...、SF1-9)，每個子圖幀的大小相同。圖幀320包含8個子圖幀(SF2-1、SF2-2、SF2-3、...、SF2-8)，8個子圖幀有多種大小。在一些實施例中，計算電路110在步驟S230選取子圖幀SF1-1或子圖幀SF2-1作為目標子圖幀。在圖3A的例子中，每次步驟S230所選取的目標圖幀的大小相同。在圖3B的例子中，每次步驟S230所選取的目標圖幀的大小不一定相同。圖3A及圖3B的子圖幀個數僅為示例，實施本案者可依實際應用決定子圖幀的個數。
回到圖2，決定目標子圖幀後，計算電路110將該目標子圖幀輸入人工智慧模型，以得到對應於該目標子圖幀的中間解析度(步驟S240)。換言之，人工智慧模型以目標子圖幀的多個像素資料作為輸入資料，然後基於該些像素資料計算或判斷該目標子圖幀的解析度。在一些實施例中，子圖幀的像素個數例如大於等於圖幀的像素個數的5%。
人工智慧模型產生該中間解析度之後，計算電路110儲存該中間解析度(步驟S250)，例如將中間解析度儲存到儲存電路120的特定的儲存空間或特定位置。步驟S250完成後，計算電路110判斷現有的中間解析度的個數是否大於等於目標值(步驟S260)。當中間解析度的個數大於等於目標值時，計算電路110分析已得到的中間解析度來決定影像資料的解析度(步驟S270)。當中間解析度的個數小於目標值時，計算電路110從同一個目標圖幀(即目前的目標圖幀)選取另一個目標子圖幀(步驟S230)，然後重複執行步驟S230至步驟S250，直到步驟S260的判斷為是。
在一些實施例中，目標值等於一個圖幀的子圖幀的個數；換言之， 計算電路110需要將一個圖幀的全部子圖幀輸入人工智慧模型以得到該圖幀的解析度。對圖3A及圖3B的例子而言，對應於圖幀310的目標值為9，而對應於圖幀320的目標值為8。
在其他的實施例中，目標值小於一個圖幀的子圖幀的個數；換言之，計算電路110只需要將一個圖幀的部分子圖幀，而非全部子圖幀，輸入人工智慧模型即可得到該圖幀的解析度。
在一些實施例中，步驟S240所得到的中間解析度可以是數個類別(例如高、中、低)的其中之一，而使用者可以自行定義各類別的實際解析度。舉例來說，高、中及低的中間解析度分別對應4K、2K及1080P。在一些實施例中，計算電路110在步驟S270中以中間解析度的眾數作為該圖幀的解析度。如果有一個以上的眾數，則計算電路110取任一眾數作為該圖幀的解析度。因為在多數的情況下影像資料不會時常切換解析度，所以圖2的流程等效於偵測影像資料的解析度。步驟S270完成後，計算電路110刪除已儲存的中間解析度，然後結束圖2的流程(即停止偵測影像資料的解析度)，或是回到步驟S220以繼續偵測影像資料的解析度。如果繼續偵測影像資料的解析度，則計算電路110在步驟S220中所決定的目標圖幀不同於前一個目標圖幀。
圖4顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖。圖5顯示對應於圖4之實施例的圖幀、子圖幀及記憶體。圖4的步驟S410及步驟S420分別與圖2的步驟S210及步驟S220相同，故不再贅述。在步驟S430中，計算電路110決定目標圖幀的一區域。圖5的記憶體510是儲存電路120的一部分，用來儲存子圖幀。
請參閱圖5，圖5顯示影像資料包含多個圖幀(F1、F2、...Fk、...、 Fn，1
Figure 109105918-A0305-02-0010-1
k
Figure 109105918-A0305-02-0010-2
n)，且每個圖幀包含9個子圖幀(SF1、SF2、SF3、...、SF9)(子圖幀的個數僅用於示例，非用以限定本發明)。任一圖幀的任一子圖幀分別對應於該圖幀的一個區域。任一區域可以以該區域位於(即相對於)該圖幀的座標來表示。在圖5的例子中，當步驟S420所決定的目標圖幀是圖幀F1時，步驟S430所決定的區域為子圖幀SF1所對應的區域(以灰色表示)；當步驟S420所決定的目標圖幀是圖幀F2時，步驟S430所決定的區域為子圖幀SF2所對應的區域；當步驟S420所決定的目標圖幀是圖幀Fk時，步驟S430所決定的區域為子圖幀SF9所對應的區域；以及當步驟S420所決定的目標圖幀是圖幀Fn時，步驟S430所決定的區域為子圖幀SF1所對應的區域。在一些實施例中，連續兩次的步驟S430所決定的兩個區域有不同的位置或座標，例如，圖幀F1的子圖幀SF1的位置或座標不同於圖幀F2的子圖幀SF2的位置或座標。
決定區域後，計算電路110選取該區域的像素作為目標子圖幀(步驟S435)，換言之，目標子圖幀包含該區域的所有像素(儲存於記憶體510中)，亦即目標子圖幀由該區域的所有像素所組成。在一些實施例中，步驟S430及步驟S435可以等效於從目標圖幀中選取一個目標子圖幀。在一些實施例中，記憶體510可以設計為剛好可以儲存一個子圖幀，以節省硬體資源。
步驟S435完成後，計算電路110執行步驟S440至步驟S470來得到影像資料的解析度。由於步驟S440、S450、S460、S470分別與步驟S240、S250、S260、S270相同，故不再贅述。
在圖4及圖5的實施例中，於得到影像資料的解析度之前，計算電路110執行數次步驟S420(即決定多個目標圖幀，例如圖5所示的圖幀F1、F2、...)以及數次步驟S430~S435(即決定多個子圖幀，例如圖5所示的圖幀 F1的子圖幀SF1、圖幀F1的子圖幀SF2、...)。需注意的是，在產生一次影像資料的解析度的過程中(即執行多次步驟S420~S460)，至少有一個步驟S430所決定的區域與前次所決定的區域不同。舉例來說，如圖5所示，連續兩次的步驟S430分別決定圖幀F1的子圖幀SF1所對應的區域及圖幀F2的子圖幀SF2所對應的區域。
圖6顯示對應於圖4之流程的另一範例的圖幀及子圖幀。圖6的圖幀F1、F2、F3、F4、F5為連續的圖幀。在本例中，計算電路110在步驟S420中可以不選擇連續的圖幀，例如圖幀F2未被選為目標圖幀。此外，在本例中，計算電路110可以在連續兩次的步驟S430中決定同一個區域，例如圖幀F3及圖幀F4的被決定的區域都是子圖幀SF2所對應的區域。
相較於圖2的實施例，圖4的實施例所需同時儲存的像素較少，換言之，圖4的實施例占用較少的儲存電路120。更明確地說，假設圖2的實施例及圖4的實施例使用相同大小的子圖幀(假設包含q個像素)，且目標值(假設為p)相同，則圖2的實施例需同時儲存q×p個像素的資料，而圖2的實施例只需同時儲存q個像素的資料。
圖7顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖。圖8顯示對應於圖7之實施例的圖幀、子圖幀及記憶體。圖7的步驟S710、S740、S750、S760及S770分別與圖2的步驟S210、S240、S250、S260及S270相同，故不再贅述。在步驟S720中，計算電路110決定第一目標圖幀及第二目標圖幀，例如分別是圖幀F1及圖幀F2。在步驟S730中，計算電路110決定第一區域及第二區域，例如分別是子圖幀SF1所對應的區域(以灰色表示)及子圖幀SF2所對應的區域(以灰色表示)。在步驟S735中，計算電路110組合圖 幀F1的子圖幀SF1(即第一目標圖幀的該第一區域的像素)與圖幀F2的子圖幀SF2(即第二目標圖幀的該第二區域的像素)，來產生目標子圖幀。換句話說，本實施例的子圖幀包含第一圖幀的多個像素及第二圖幀的多個像素。
圖8的記憶體810是儲存電路120的一部分，用來儲存子圖幀。在一些實施例中，可以將記憶體810視為包含兩個子記憶體：子記憶體812及子記憶體814。子記憶體812用來儲存第一圖幀的該第一區域的像素，子記憶體814用來儲存第二圖幀的該第二區域的像素。
在一些實施例中，第一圖幀及第二圖幀為連續的圖幀(例如圖8的圖幀F1及圖幀F2)。在其他的實施例中，第一圖幀及第二圖幀為不連續的圖幀(例如圖6的圖幀F1及圖幀F3)。
在目標值相同(所處理的子圖幀個數相同)的前提下，相較於圖4的實施例，圖7的實施例可以參考取自於更多的圖幀的像素值來決定影像資料的解析度。在某些應用中，圖7的實施例有可能獲得比圖4的實施例更準確的解析度。
在一些實施例中，第一區域的大小等於第二區域的大小，且各為圖4之實施例所採用之區域的大小的一半。如此一來，圖7的實施例的子圖幀的大小等於圖4的實施例的子圖幀的大小，即，記憶體810與記憶體510的儲存容量相同。
由於在圖2、圖4及圖7的方法中人工智慧模型一次只處理一個子圖幀，而非完整的圖幀，所以可以縮短人工智慧模型被連續占用的時間，以避免電子裝置100長時間處理同一操作或任務而降低效能。此外，因為圖2、圖4及圖7的流程可被中斷再接續執行(例如計算電路110於完成步驟 S250/S450/S750後以該人工智慧模型執行另一操作或任務，然後再從步驟S260/S460/S760接續解析度偵測的操作)，所以可以增加電子裝置100的設計或操作彈性。
在某些情況下，除了執行用來偵測影像資料的解析度的人工智慧模型(以下簡稱第一人工智慧模型)之外，電子裝置100可能會執行另外一個人工智慧模型(以下簡稱第二人工智慧模型)來處理即時性或重要性較高的任務(以下簡稱主要任務)，例如物體辨識(包含但不限於臉部辨識)。圖9顯示本發明偵測影像資料之解析度的方法的另一實施例的流程圖。實作圖9之流程的程式指令、第一及第二人工智慧模型參數和其他參數同樣儲存於儲存電路120中，由計算電路110執行。當計算電路110判斷有待處理的主要任務時(步驟S910判斷為是)，計算電路110執行儲存於儲存電路120中的第二人工智慧模型來處理該主要任務(步驟S920)。步驟S920完成後，流程回到步驟S910。當計算電路110判斷目前沒有待處理的主要任務時(步驟S910判斷為否)，計算電路110利用儲存電路120中的第一人工智慧模型執行偵測影像資料之解析度的操作的其中一個子操作(步驟S930)。步驟S930完成後，計算電路110判斷該解析度偵測之操作的所有子操作是否都已完成(步驟S940)。當步驟S940判斷為否時，計算電路110繼續判斷目前是否有待處理的主要任務(步驟S910)。當步驟S940判斷為是時，計算電路110決定影像資料的解析度(步驟S950)。
在一些實施例中，步驟S930所指的子操作可以是圖2、圖4及圖7之實施例中的產生一個中間解析度的操作，步驟S940的細節是判斷已儲存的中間解析度的個數是否大於等於目標值，而步驟S950的細節與步驟S270相同。換言之，步驟S930可以等效於圖2之步驟S210至S250(其中步驟S210及S220 只需執行一次)、等效於圖4之步驟S410至S450(其中步驟S410只需執行一次)，或是等效於圖7之步驟S710至S750(其中步驟S710只需執行一次)。因為步驟S930處理一個圖幀的部分像素，而非全部像素，所以計算電路110可以在執行兩個主要任務之間，以同一個人工智慧模型加速器執行偵測解析度的操作，而不影響主要任務。換言之，基於圖2、圖4及圖7之實施例，單一人工智慧模型加速器可以同時滿足實時需求任務(例如主要任務)和非實時需求任務(例如偵測解析度之操作)，增加了電子裝置100的效能及使用彈性。
在另一個實施例中，步驟S930的子操作是第一人工智慧模型的一個子模型。請參閱圖10，圖10顯示第一人工智慧模型包含多個子模型。第一人工智慧模型1000包含子模型1010_1、子模型1010_2、...、子模型1010_k、...、子模型1010_n(2
Figure 109105918-A0305-02-0014-3
n，2
Figure 109105918-A0305-02-0014-4
k
Figure 109105918-A0305-02-0014-5
n)。第一個子模型1010_1接收並處理圖幀，而得到中間結果R1。計算電路110不將中間結果R1直接輸入下一個子模型1010_2，而是將其儲存至儲存電路120。最後一個子模型1010_n以前一個子模型的中間結果作為輸入，並且產生該圖幀的解析度。位於中間的子模型(即除了第一個子模型1010_1及最後一個子模型1010_n之外的子模型)以前一個子模型的中間結果作為輸入，並且產生中間結果。在一些實施例中，中間結果R1、R2、...、Rk-1、Rk、...、Rn-1包含第一人工智慧模型1000在運算過程中所產生的特徵圖、隱藏層輸出及其他參數。在一些實施例中，第一人工智慧模型1000可以由解碼器模型(decoder model)、編碼器模型(encoder model)及波網模型(WaveNet model)組合而成(請參考：https：//github.com/Rayhane-mamah/Tacotron-2)。
圖11顯示對應於此實施例的步驟S930的子步驟。首先，計算電路110判斷儲存電路120中是否已儲存有中間結果(步驟S1110)。當計算電路 110第一次執行圖9的步驟S930時，由於儲存電路120尚未儲存任何中間結果，所以判斷結果為否。接著，計算電路110取得影像資料的一個圖幀(步驟S1120)，然後以該些子模型的第一個子模型作為目標子模型，並且將該圖幀輸入該目標子模型，以得到中間結果R1(步驟S1130)。於計算電路110將中間結果R1儲存於儲存電路120之後(步驟S1140)，步驟S930結束，計算電路110繼續執行步驟S940。
當計算電路110非第一次執行步驟S930時，步驟S1110的判斷結果為是，計算電路110選取當前的目標子模型的下一個子模型作為目標子模型(步驟S1150)。當前的目標子模型即計算電路110前一次執行步驟S930(即圖11的流程)時所決定的目標子模型。舉例來說，當計算電路110第二次執行步驟S930時，當前的目標子模型為子模型1010_1，因此計算電路110在步驟S1150中將以子模型1010_1的下一個子模型(即子模型1010_2)作為目標子模型。當計算電路110第k次執行步驟S930時，當前的目標子模型為子模型1010_k-1(圖未示)，因此計算電路110在步驟S1150中將以子模型1010_k-1的下一個子模型(即子模型1010_k)作為目標子模型。
決定新的目標子模型後(即步驟S1150完成後)，計算電路110從儲存電路120讀取前一個(即前次儲存的)中間結果，然後將中間結果輸入目標子模型。更明確地說，當計算電路110第k次執行步驟S930時，計算電路110在步驟S1160中以中間結果Rk-1輸入子模型1010_k。
步驟S1160產生中間結果(當k≠n)或圖幀的解析度(當k=n)。更明確地說，當步驟S1150所決定的目標子模型不是第一人工智慧模型1000的最後一個子模型時，步驟S1160產生中間結果；當步驟S1150所決定的目標子 模型是第一人工智慧模型1000的最後一個子模型時，步驟S1160產生解析度。換言之，當計算電路110執行多次步驟S930以執行完畢第一人工智慧模型1000的全部的子模型1010之後，即可得到圖幀的解析度(即影像資料的解析度)。因此，當計算電路110在步驟S1170中判斷步驟S1160的輸出為中間結果時，計算電路110將中間結果儲存至儲存電路120(步驟S1140)，然後結束步驟S930；而當計算電路110在步驟S1170中判斷步驟S1160的輸出為解析度時，計算電路110儲存或輸出解析度(步驟S1180)，然後結束步驟S930。在一些實施例中，解析度例如是單一數值或一個字串，而中間結果例如是多個特徵圖、隱藏層輸出及/或其他參數的集合。
在圖9的實施例中，人工智慧模型加速器被多個任務共用，換言之，電子裝置100可以利用同一組裝置(硬體(例如計算電路110及儲存電路120)與軟體(即第一及第二人工智慧模型)的組合)來交替地執行解析度偵測及物體辨識，以節省成本(例如共用計算電路110及/或使用較少的儲存電路)。再者，因為解析度偵測之操作被拆分為多個子操作來執行，所以即使硬體被多個人工智慧模型共用，重要性較高的主要任務(例如基於安全性的臉部辨識)也不會受到解析度偵測之操作的影響。
由於本技術領域具有通常知識者可藉由本案之裝置發明的揭露內容來瞭解本案之方法發明的實施細節與變化，因此，為避免贅文，在不影響該方法發明之揭露要求及可實施性的前提下，重複之說明在此予以節略。請注意，前揭圖示中，元件之形狀、尺寸、比例以及步驟之順序等僅為示意，係供本技術領域具有通常知識者瞭解本發明之用，非用以限制本發明。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本 發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
S210~S270:步驟

Claims (10)

  1. 一種偵測一影像資料之一解析度的方法，應用於一電子裝置，該電子裝置之一計算電路執行一人工智慧模型，該影像資料包含複數個圖幀，每一圖幀包含複數個子圖幀，該人工智慧模型係處理複數個像素資料來產生對應於該些像素資料的一中間解析度，該方法包含： (A) 產生一目標子圖幀，該目標子圖幀的像素個數係小於任一該些圖幀的像素個數； (B) 將該目標子圖幀輸入該人工智慧模型，以得到該中間解析度； (C) 儲存該中間解析度； (D) 重複步驟(A)至步驟(C)，以得到複數個中間解析度；以及 (E) 根據該些中間解析度決定該影像資料的該解析度。
  2. 如請求項1之方法，其中步驟(D)包含： 當該中間解析度的個數大於等於一目標值，停止執行步驟(A)至步驟(C)。
  3. 如請求項2之方法，其中該目標值係同一目標圖幀的該些子圖幀的個數。
  4. 如請求項2之方法，其中該些圖幀包含一第一圖幀及一第二圖幀，且連續兩次的步驟(A)所產生的兩個目標子圖幀係分別選自該第一圖幀及該第二圖幀。
  5. 如請求項4之方法，其中連續兩次的步驟(A)所產生的該兩個目標子圖幀係分別選自該第一圖幀的一第一區域及該第二圖幀的一第二區域，該第一區域對應於該第一圖幀的位置等於或不等於該第二區域對應於該第二圖幀的位置。
  6. 如請求項1之方法，其中步驟(E)包含： 以該些中間解析度之一眾數作為該解析度。
  7. 一種電子裝置，用於偵測一影像資料之一解析度，該影像資料包含複數個圖幀，每一圖幀包含複數個子圖幀，該電子裝置包含： 一儲存電路，儲存複數個程式指令或程式碼； 一計算電路，耦接該儲存電路，其中該計算電路執行該些程式指令或程式碼來執行一人工智慧模型，該人工智慧模型係處理複數個像素資料來產生對應於該些像素資料的一中間解析度，該計算電路更執行該些程式指令或程式碼來執行以下步驟： (A) 產生一目標子圖幀，該目標子圖幀的像素個數係小於任一該些圖幀的像素個數； (B) 將該目標子圖幀輸入該人工智慧模型，以得到該中間解析度； (C) 儲存該中間解析度； (D) 重複步驟(A)至步驟(C)，以得到複數個中間解析度；以及 (E) 根據該些中間解析度決定該影像資料的該解析度。
  8. 如請求項7之電子裝置，其中步驟(D)包含： 當該中間解析度的個數大於等於一目標值，停止執行步驟(A)至步驟(C)。
  9. 如請求項8之電子裝置，其中該些圖幀包含一第一圖幀及一第二圖幀，且連續兩次的步驟(A)所產生的兩個目標子圖幀係分別選自該第一圖幀及該第二圖幀。
  10. 一種偵測一影像資料之一解析度的方法，應用於一電子裝置，該電子裝置包含一計算電路及一儲存電路，該儲存電路儲存複數個程式指令或程式碼，該計算電路執行該些程式指令或程式碼來執行一第一人工智慧模型，該第一人工智慧模型包含複數個子模型，該方法包含： (A) 取得該影像資料的一圖幀； (B) 將該圖幀輸入該些子模型之一目標子模型，以得到一第一中間結果； (C) 儲存該第一中間結果； (D) 使用該計算電路執行一第二人工智慧模型； (E) 以該目標子模型之一次一子模型作為該目標子模型； (F) 將該第一中間結果輸入該目標子模型，以得到一第二中間結果或該影像資料之該解析度；以及 (G) 當步驟(F)得到該第二中間結果而非該影像資料之該解析度時，以該第二中間結果作為該第一中間結果，並重複執行步驟(C)至步驟(F)，直到步驟(F)得到該影像資料之該解析度。
TW109105918A 2020-02-24 2020-02-24 偵測解析度的方法及電子裝置 TWI715448B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109105918A TWI715448B (zh) 2020-02-24 2020-02-24 偵測解析度的方法及電子裝置
US17/134,580 US11336943B2 (en) 2020-02-24 2020-12-28 Method and electronic device for detecting resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109105918A TWI715448B (zh) 2020-02-24 2020-02-24 偵測解析度的方法及電子裝置

Publications (2)

Publication Number Publication Date
TWI715448B true TWI715448B (zh) 2021-01-01
TW202133143A TW202133143A (zh) 2021-09-01

Family

ID=75237386

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109105918A TWI715448B (zh) 2020-02-24 2020-02-24 偵測解析度的方法及電子裝置

Country Status (2)

Country Link
US (1) US11336943B2 (zh)
TW (1) TWI715448B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200929167A (en) * 2007-12-21 2009-07-01 Innolux Display Corp Flat panel display and image signal resolution detecting method thereof
TW201124959A (en) * 2010-01-07 2011-07-16 Univ Nat Taipei Technology Display wall system and high-resolution graphics and images generation and display method
TW201503047A (zh) * 2013-03-15 2015-01-16 Intel Corp 可變解析度之深度表示
US20170249891A1 (en) * 2014-07-25 2017-08-31 Darwin Hu Display devices with n-bit resolutions in gray levels
US20180136720A1 (en) * 2016-11-14 2018-05-17 Google Inc. Dual-path foveated graphics pipeline
TW201837458A (zh) * 2016-11-28 2018-10-16 美商克萊譚克公司 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014121A (en) * 1995-12-28 2000-01-11 Canon Kabushiki Kaisha Display panel and apparatus capable of resolution conversion
JP4864332B2 (ja) * 2004-07-13 2012-02-01 株式会社リコー 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体
JP4859219B2 (ja) * 2006-09-07 2012-01-25 キヤノン株式会社 映像出力装置及びその制御方法
TWI457855B (zh) * 2011-02-01 2014-10-21 Aten Int Co Ltd 影像調整裝置及影像調整方法
KR101899877B1 (ko) * 2012-04-04 2018-09-19 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JPWO2014102876A1 (ja) * 2012-12-27 2017-01-12 パナソニックＩｐマネジメント株式会社 画像処理装置、および、画像処理方法
US20150278991A1 (en) * 2014-03-27 2015-10-01 Wipro Limited Method and system for image scaling
US9256920B1 (en) * 2014-07-25 2016-02-09 Sharp Laboratories Of America, Inc. Image enhancement using a patch based technique
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
CN106530227B (zh) * 2016-10-27 2019-08-06 北京小米移动软件有限公司 图像复原方法及装置
KR101791917B1 (ko) * 2017-04-10 2017-11-20 주식회사 오렌지베리 일반 영상을 가상 현실 영상으로 자동 변환하는 방법 및 이를 이용한 장치
CN107295362B (zh) * 2017-08-10 2020-02-21 上海六界信息技术有限公司 基于图像的直播内容筛选方法、装置、设备及存储介质
US11928753B2 (en) * 2020-01-27 2024-03-12 Intel Corporation High fidelity interactive segmentation for video data with deep convolutional tessellations and context aware skip connections

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200929167A (en) * 2007-12-21 2009-07-01 Innolux Display Corp Flat panel display and image signal resolution detecting method thereof
TW201124959A (en) * 2010-01-07 2011-07-16 Univ Nat Taipei Technology Display wall system and high-resolution graphics and images generation and display method
TW201503047A (zh) * 2013-03-15 2015-01-16 Intel Corp 可變解析度之深度表示
US20170249891A1 (en) * 2014-07-25 2017-08-31 Darwin Hu Display devices with n-bit resolutions in gray levels
US20180136720A1 (en) * 2016-11-14 2018-05-17 Google Inc. Dual-path foveated graphics pipeline
TW201837458A (zh) * 2016-11-28 2018-10-16 美商克萊譚克公司 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法

Also Published As

Publication number Publication date
US20210266622A1 (en) 2021-08-26
US11336943B2 (en) 2022-05-17
TW202133143A (zh) 2021-09-01

Similar Documents

Publication Publication Date Title
US11783522B2 (en) Animation rendering method and apparatus, computer-readable storage medium, and computer device
US20200257902A1 (en) Extraction of spatial-temporal feature representation
US8542883B2 (en) System and method of adaptive vertical search range tracking for motion estimation in digital video
WO2019210546A1 (zh) 一种数据处理方法及计算设备
JP7734199B2 (ja) 顕著性ベースのフレーム色強調のための方法および装置
US8780120B2 (en) GPU self throttling
WO2018230294A1 (ja) 動画像処理装置、表示装置、動画像処理方法、および制御プログラム
CN114339412B (zh) 视频质量增强方法、移动终端、存储介质及装置
CN120584355A (zh) 使用运动向量的实时视频超分辨率
TW201842775A (zh) 用於在視訊編碼中的順延後處理的系統及方法
CN107392838B (zh) 基于OpenCL的WebP压缩并行加速方法及装置
TWI715448B (zh) 偵測解析度的方法及電子裝置
WO2023134625A1 (zh) 特效优化方法、装置、存储介质及程序产品
CN113316017B (zh) 检测分辨率的方法和电子装置
US20240256834A1 (en) Neural network computing system and method of executing neural network model
US11593582B2 (en) Method and device for comparing media features
TWI815092B (zh) 視頻處理電路及用於執行sr操作的方法
WO2024087971A1 (zh) 用于图像处理的方法、装置及存储介质
CN114245904B (zh) 用于高效的运动估计的方法和装置
KR102247741B1 (ko) 이미지 프로세서, 상기 이미지 프로세서의 동작 방법, 및 상기 이미지 프로세서를 포함하는 애플리케이션 프로세서
US20220138961A1 (en) Methods and apparatus for motion estimation based on region discontinuity
CN113794887A (zh) 一种游戏引擎中视频编码的方法及相关设备
US12506852B2 (en) Detecting equirectangular projection in 360-degree images
WO2023197284A1 (en) Saliency-based adaptive color enhancement
CN108846874A (zh) 信号发生器的图像生成方法和装置