TWI898866B - 影像產生方法與影像處理系統 - Google Patents

Abstract

一種影像產生方法與影像處理系統。所述方法包括：建立多個影像處理模型，其分別對應於多個候選影像尺寸；取得多個訓練資料集，其分別對應於所述多個候選影像尺寸；使用所述多個訓練資料集分別訓練所述多個影像處理模型；偵測輸入影像的第一影像尺寸；根據第一影像尺寸，從所述多個影像處理模型中決定目標影像處理模型；透過目標影像處理模型處理輸入影像，以產生對應於輸入影像的深度資訊；以及根據深度資訊，產生第一輸出影像與第二輸出影像。

Description

影像產生方法與影像處理系統

本發明是有關於一種影像產生方法與影像處理系統。

隨著科技的進步，影像處理技術也越來越多元，以滿足使用者的需求。在相關技術領域中，透過人工智慧模型將二維影像轉為三維影像的影像處理與呈現技術，也越來越受到重視。然而，受限於訓練資料的來源限制及人工智慧模型本身的功能侷限，即便一個人工智慧模型在訓練階段中已盡可能地使用足夠多個訓練資料來進行訓練，在將訓練後的人工智慧模型佈署使用後，一旦欲處理的影像的尺寸(例如解析度)發生變化，人工智慧模型的影像處理效能可能不如預期，進而降低後續產生的三維影像的影像品質。

本發明提供一種影像產生方法與影像處理系統，可改善上述問題。

本發明的實施例提供一種影像產生方法，其包括：建立多個影像處理模型，其中所述多個影像處理模型分別對應於多個候選影像尺寸；取得多個訓練資料集，其中所述多個訓練資料集分別對應於所述多個候選影像尺寸；使用所述多個訓練資料集分別訓練所述多個影像處理模型；偵測輸入影像的第一影像尺寸，其中所述輸入影像為二維影像；根據所述第一影像尺寸，從所述多個影像處理模型中決定目標影像處理模型；透過所述目標影像處理模型處理所述輸入影像，以產生對應於所述輸入影像的深度資訊；以及根據所述深度資訊，產生第一輸出影像與第二輸出影像，其中所述第一輸出影像與所述第二輸出影像用以形成對應於所述輸入影像的三維影像。

本發明的實施例另提供一種影像處理系統，其包括儲存裝置與處理器。所述儲存裝置用以儲存多個影像處理模型與多個訓練資料集。所述處理器耦接至所述儲存裝置。所述處理器用以：建立所述多個影像處理模型，其中所述多個影像處理模型分別對應於多個候選影像尺寸；取得所述多個訓練資料集，其中所述多個訓練資料集分別對應於所述多個候選影像尺寸；使用所述多個訓練資料集分別訓練所述多個影像處理模型；偵測輸入影像的第一影像尺寸，其中所述輸入影像為二維影像；根據所述第一影像尺寸，從所述多個影像處理模型中決定目標影像處理模型；透過所述目標影像處理模型處理所述輸入影像，以產生對應於所述輸入影像的深度資訊；以及根據所述深度資訊，產生第一輸出影像與第二輸出影像，其中所述第一輸出影像與所述第二輸出影像用以形成對應於所述輸入影像的三維影像。

基於上述，本發明提供的影像產生方法與影像處理系統，可在模型訓練階段，針對不同的影像尺寸來對多個影像處理模型進行訓練。爾後，透過動態偵測輸入影像的影像尺寸，目標影像處理模型可從所述多個影像處理模型中決定並用以產生對應於輸入影像的深度資訊。然後，此深度資訊可用以產生第一輸出影像與第二輸出影像。特別是，第一輸出影像與第二輸出影像可用以形成對應於輸入影像的三維影像。藉此，即便欲處理的影像的尺寸(例如解析度)發生變化，透過人工智慧模型產生的三維影像的影像品質仍可被有效維持甚至提高，從而改善傳統的影像處理技術中存在的缺陷。

圖1是根據本發明的實施例所繪示的影像處理系統的示意圖。請參照圖1，影像處理系統10可應用或設置於智慧型手機、平板電腦、筆記型電腦、桌上型電腦、伺服器、遊戲機或車載電腦等各式支援影像處理功能的一或多個電子裝置中，且所述電子裝置的類型不限於此。

影像處理系統10包括處理器11、儲存裝置12及顯示器13。處理器11用以負責影像處理系統10的整體或部分運作。例如，處理器11可包括中央處理單元(Central Processing Unit, CPU)、圖形處理單元(Graphic Processing Unit, GPU)或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。

在一實施例中，處理器11還可包括視覺處理單元(Vision Processing Unit, VPU)、神經網路處理單元(Neural network Processing Unit, NPU)及/或張量處理單元(Tensor Processing Unit, TPU)等專用以輔助執行神經網路運算及/或影像處理的處理器。此外，本發明不限制處理器11的數量與類型。

儲存裝置12耦接至處理器11並用以儲存資料。例如，儲存裝置12可包括揮發性儲存電路與非揮發性儲存電路。揮發性儲存電路用以揮發性地儲存資料。例如，揮發性儲存電路可包括隨機存取記憶體(Random Access Memory, RAM)或類似的揮發性儲存媒體。非揮發性儲存電路用以非揮發性地儲存資料。例如，非揮發性儲存電路可包括唯讀記憶體(Read Only Memory, ROM)、固態硬碟(solid state disk, SSD)、傳統硬碟(Hard disk drive, HDD)或類似的非揮發性儲存媒體。此外，本發明不限制儲存裝置12的數量與類型。

顯示器13耦接至處理器11並用以呈現影像。例如，顯示器13可包括電漿顯示器(Plasma Display)、液晶顯示器(liquid-crystal display, LCD)、薄膜電晶體液晶顯示器(Thin film transistor liquid crystal display, TFT-LCD)、有機發光二極體(Organic Light-Emitting Diode, OLED)及發光二極體顯示器(LED display)等，且顯示器13的類型不限於此。例如，顯示器13可為頭戴式顯示器或其他類型的顯示器。

在一實施例中，處理器11可建立影像處理模型101(1)~101(n)。例如，影像處理模型101(1)~101(n)的總數可為大於一的任意數量，本發明不加以限制。處理器11可將影像處理模型101(1)~101(n)儲存於儲存裝置12中。

在一實施例中，影像處理模型101(1)~101(n)中的任一者可單獨用以對影像(亦稱為輸入影像)執行深度估計(depth estimation)，以產生對應於輸入影像的深度資訊。例如，所述深度資訊可反映輸入影像中的至少部分像素位置所對應的深度值。

在一實施例中，影像處理模型101(1)~101(n)中的任一者採用單一網路的多重深度估計精度(Multiple Depth Estimation Accuracy with Single Network, MiDaS)模型來實施，且本發明不限於此。在一實施例中，影像處理模型101(1)~101(n)中的任一者還可採用深度神經網路(Deep Neural Networks, DNN)、循環神經網路(Recurrent Neural Network, RNN)及/或卷積神經網路(Convolutional Neural Network, CNN)等神經網路架構或人工神經網路(Artificial Neural Network, ANN)等各式運算架構來實施，本發明不加以限制。

在一實施例中，影像處理模型101(1)~101(n)分別對應於多個影像尺寸(亦稱為候選影像尺寸)。特別是，所述多個候選影像尺寸彼此各不相同。

在一實施例中，一個影像的影像尺寸可透過所述影像的解析度(resolution)或長寬比來表示。以解析度為例，一個影像的影像尺寸可表示為512×288、512×320或512×384等。或者，以長寬比為例，一個影像的影像尺寸可表示為16:9、16:10或4:3等。此外，所述多個候選影像尺寸中的任一者還可根據實務需求進行設定或調整，本發明不加以限制。

在一實施例中，處理器11可取得多個訓練資料集102(1)~102(n)。例如，訓練資料集102(1)~102(n)的總數可等於影像處理模型101(1)~101(n)的總數。此外，處理器11可將訓練資料集102(1)~102(n)儲存於儲存電路12中。

在一實施例中，訓練資料集102(1)~102(n)分別對應於所述多個候選影像尺寸。特別是，類似於影像處理模型101(1)~101(n)，訓練資料集102(1)~102(n)可分別對應於不同的候選影像尺寸。

在一實施例中，訓練資料集102(1)~102(n)中的每一者可包括多個影像(亦稱為訓練影像)。在一實施例中，在模型訓練階段，處理器11可使用訓練資料集102(1)~102(n)來分別訓練影像處理模型101(1)~101(n)。

圖2是根據本發明的實施例所繪示的使用不同的訓練資料集訓練影像處理模型的示意圖。請參照圖2，假設訓練資料集102(1)~102(n)包括訓練資料集102(i)(亦稱為第一訓練資料集)與102(j)(亦稱為第二訓練資料集)，且影像處理模型101(1)~101(n)包括影像處理模型101(i)(亦稱為第一影像處理模型)與101(j)(亦稱為第二影像處理模型)。i與j為介於1至n之間的整數，且i不同於j。此外，假設訓練資料集102(i)包括影像21(1)~21(m)。訓練資料集102(j)包括影像22(1)~22(k)。例如，影像21(1)~21(m)及22(1)~22(k)皆為訓練影像。此外，m與k可皆為大於1的任意整數。

在一實施例中，影像21(1)~21(m)皆具有同一個影像尺寸(亦稱為第一候選影像尺寸)。例如，第一候選影像尺寸可為512×288(或16:9)，且本發明不限於此。在一實施例中，訓練資料集102(i)與影像處理模型101(i)皆對應於第一候選影像尺寸。在一實施例中，處理器11可(只)使用訓練資料集102(i)中的影像21(1)~21(m)來訓練影像處理模型101(i)，以提升影像處理模型101(i)對具有第一候選影像尺寸的影像的深度資訊的預測能力。

在一實施例中，影像22(1)~22(k)皆具有同一個影像尺寸(亦稱為第二候選影像尺寸)。須注意的是，第二候選影像尺寸不同於第一候選影像尺寸。例如，第二候選影像尺寸可為512×384(或4:3)，且本發明不限於此。在一實施例中，訓練資料集102(j)與影像處理模型101(j)皆對應於第二候選影像尺寸。在一實施例中，處理器11可(只)使用訓練資料集102(j)中的影像22(1)~22(k)來訓練影像處理模型101(j)，以提升影像處理模型101(j)對具有第二候選影像尺寸的影像的深度資訊的預測能力。

在一實施例中，處理器11不使用訓練資料集102(j)(例如影像22(1)~22(k))來訓練影像處理模型101(i)，以避免影響影像處理模型101(i)對具有第一候選影像尺寸的影像的深度資訊的預測能力。在一實施例中，處理器11不使用訓練資料集102(i)(例如影像21(1)~21(m))來訓練影像處理模型101(j)，以避免影響影像處理模型101(j)對具有第二候選影像尺寸的影像的深度資訊的預測能力。

在一實施例中，在模型使用階段，經訓練的影像處理模型101(i)(即第一影像處理模型)專用以處理具有第一候選影像尺寸的影像(亦稱為第一影像)，以準確產生對應於第一影像的深度資訊(亦稱為第一深度資訊)。例如，第一影像可包括影像21(1)~21(m)中的任一者。第一深度資訊可用以描述第一影像中的至少部分像素位置所對應的深度值。

在一實施例中，在模型使用階段，經訓練的影像處理模型101(j)(即第二影像處理模型)專用以處理具有第二候選影像尺寸的影像(亦稱為第二影像)，以準確產生對應於第二影像的深度資訊(亦稱為第二深度資訊)。例如，第二影像可包括影像22(1)~22(k)中的任一者。第二深度資訊可用以描述第二影像中的至少部分像素位置所對應的深度。

在一實施例中，經訓練的影像處理模型101(i)對於具有第一候選影像尺寸的影像(即第一影像)執行的深度預測的準確率可高於經訓練的影像處理模型101(j)對於第一影像執行的深度預測的準確率。在一實施例中，經訓練的影像處理模型101(j)對於具有第二候選影像尺寸的影像(即第二影像)執行的深度預測的準確率可高於經訓練的影像處理模型101(i)對於第二影像執行的深度預測的準確率。

在一實施例中，經訓練的影像處理模型101(i)對於第一影像執行的深度預測的準確率可高於經訓練的影像處理模型101(i)對於第二影像執行的深度預測的準確率。在一實施例中，經訓練的影像處理模型101(j)對於第二影像執行的深度預測的準確率可高於經訓練的影像處理模型101(j)對於第一影像執行的深度預測的準確率。

在一實施例中，處理器11可取得至少一影像(亦稱為基準訓練影像)。基準訓練影像可具有至少一影像尺寸(亦稱為基準影像尺寸)。處理器11可對基準訓練影像進行尺寸調整操作，以產生具有至少一影像尺寸(亦稱為目標候選影像尺寸)的訓練影像。例如，目標候選影像尺寸可不同於基準影像尺寸。例如，所述尺寸調整操作可包括對基準訓練影像執行的縮放、裁切、旋轉及/或顏色調整等影像處理操作，以改變基準訓練影像的尺寸、方向及/或顏色等等。然後，處理器11可將所產生的訓練影像加入至訓練資料集102(1)~102(n)中對應於目標候選影像尺寸的訓練資料集中。

在一實施例中，假設目標候選影像尺寸為第一候選影像尺寸。處理器11可對基準訓練影像進行尺寸調整操作(亦稱為第一尺寸調整操作)，以產生具有第一候選影像尺寸的訓練影像(亦稱為第一訓練影像)。然後，處理器11可將第一訓練影像加入至訓練資料集102(i)(即第一訓練資料集)中，以擴充訓練資料集102(i)中的影像21(1)~21(m)(即訓練影像)的總數。

在一實施例中，假設目標候選影像尺寸為第二候選影像尺寸。處理器11可對基準訓練影像進行尺寸調整操作(亦稱為第二尺寸調整操作)，以產生具有第二候選影像尺寸的訓練影像(亦稱為第二訓練影像)。第一尺寸調整操作可不同於第二尺寸調整操作。然後，處理器11可將第二訓練影像加入至訓練資料集102(j)(即第二訓練資料集)中，以擴充訓練資料集102(j)中的影像22(1)~22(k)(即訓練影像)的總數。

圖3是根據本發明的實施例所繪示的對基準訓練影像進行尺寸調整操作的示意圖。請參照圖3，假設影像31為基準訓練影像。例如，影像31的影像尺寸(即基準影像尺寸)可為436×436，且本發明不限於此。

在一實施例中，處理器11可對影像31執行多次的尺寸調整操作，以分別產生具有不同影像尺寸的影像(即訓練影像)32~34。例如，影像32~34的影像尺寸可分別為1024×576、576×1024及1024×1024，且本發明不限於此。然後，處理器11可根據影像32~34各別的影像尺寸，將影像32~34分別加入至訓練資料集102(1)~102(n)的至少其中之一中。

在一實施例中，處理器11可根據影像處理模型101(i)(即第一影像處理模型)所對應的影像尺寸(即第一候選影像尺寸)，調整影像處理模型101(i)中的至少一邏輯層，以使調整後的邏輯層適於處理具有第一候選影像尺寸的影像(即第一影像)。例如，在一實施例中，假設影像處理模型101(i)原先不適於處理第一影像(例如不適於對第一影像執行深度預測)或不具有處理第一影像的能力(例如不具有對第一影像執行深度預測的能力)。在根據第一候選影像尺寸調整影像處理模型101(i)中的至少一邏輯層後，影像處理模型101(i)中調整後的邏輯層可適於處理第一影像(例如適於對第一影像執行深度預測)或具有處理第一影像的能力(例如具有對第一影像執行深度預測的能力)。

另一方面，處理器11可根據影像處理模型101(j)(即第二影像處理模型)所對應的影像尺寸(即第二候選影像尺寸)，調整影像處理模型101(j)中的至少一邏輯層，以使調整後的邏輯層適於處理具有第二候選影像尺寸的影像(即第二影像)。例如，在一實施例中，假設影像處理模型101(j)原先不適於處理第二影像(例如不適於對第二影像執行深度預測)或不具有處理第二影像的能力(例如不具有對第二影像執行深度預測的能力)。在根據第二候選影像尺寸調整影像處理模型101(j)中的至少一邏輯層後，影像處理模型101(j)中調整後的邏輯層可適於處理第二影像(例如適於對第二影像執行深度預測)或具有處理第二影像的能力(例如具有對第二影像執行深度預測的能力)。

圖4是根據本發明的實施例所繪示的根據不同的候選影像尺寸調整影像處理模型中的邏輯層的示意圖。請參照圖4，假設影像處理模型101(i)包括邏輯層401(1)~401(s)(標記為L(1)~L(s))，且影像處理模型101(j)包括邏輯層411(1)~411(s)(標記為L(1)~L(s))。

在一實施例中，處理器11可根據第一候選影像尺寸來調整邏輯層401(1)~401(s)的至少其中之一，使得調整後的邏輯層(即邏輯層401(1)~401(s)的至少其中之一)適於處理具有第一候選影像尺寸的影像(即第一影像)。例如，處理器11可根據第一候選影像尺寸，來調整邏輯層401(1)~401(s)的至少其中之一所支援的矩陣運算尺寸(亦稱為第一矩陣運算尺寸)，使調整後的第一矩陣運算尺寸相同於第一候選影像尺寸。

在一實施例中，處理器11可根據第二候選影像尺寸來調整邏輯層411(1)~411(s)的至少其中之一，使得調整後的邏輯層(即邏輯層411(1)~411(s)的至少其中之一)適於處理具有第二候選影像尺寸的影像(即第二影像)。例如，處理器11可根據第二候選影像尺寸，來調整邏輯層411(1)~411(s)的至少其中之一所支援的矩陣運算尺寸(亦稱為第二矩陣運算尺寸)，使調整後的第二矩陣運算尺寸相同於第二候選影像尺寸。

在一實施例中，在完成影像處理模型101(1)~101(n)的訓練後，處理器11可取得至少一影像(即輸入影像)並偵測輸入影像的影像尺寸(亦稱為第一影像尺寸)。特別是，此輸入影像為二維(two dimensional, 2D)影像。

在一實施例中，處理器11可根據第一影像尺寸，從影像處理模型101(1)~101(n)中決定一個影像處理模型(亦稱為目標影像處理模型)。在一實施例中，相較於影像處理模型101(1)~101(n)中的其他影像處理模型，目標影像處理模型所對應的影像尺寸(亦稱為目標影像尺寸)更接近第一影像尺寸。須注意的是，目標影像尺寸可相同或不同於第一影像尺寸，本發明不加以限制。

在一實施例中，處理器11可將第一影像尺寸與所述多個候選影像尺寸的至少其中之一進行比較，以取得比較結果。例如，此比較結果可反映出第一影像尺寸最接近(或相同於)所述多個候選影像尺寸中的某一者(即目標影像尺寸)。然後，處理器11可根據此比較結果，從影像處理模型101(1)~101(n)中決定目標影像處理模型。例如，處理器11可根據此比較結果，將影像處理模型101(1)~101(n)中對應於目標影像尺寸的影像處理模型決定為目標影像處理模型。

在一實施例中，處理器11可透過目標影像處理模型處理輸入影像，以產生對應於輸入影像的深度資訊。例如，此深度資訊可反映輸入影像中的至少部分像素位置所對應的深度值。在一實施例中，此深度資訊可包括對應於輸入影像的深度地圖(depth map)。

在一實施例中，在取得對應於輸入影像的深度資訊後，處理器11可根據此深度資訊，產生第一輸出影像與第二輸出影像。特別是，第一輸出影像與該第二輸出影像可用以形成對應於輸入影像的三維(3D)影像。在一實施例中，第一輸出影像與第二輸出影像可分別為對應於所述輸入影像的左眼影像與右眼影像。

在一實施例中，在取得第一輸出影像與第二輸出影像後，處理器11可進一步指示顯示器13同步或交錯呈現第一輸出影像與第二輸出影像，以形成對應於輸入影像的三維影像。關於顯示器13要同步或交錯呈現第一輸出影像與第二輸出影像，視顯示器13的類型而定，本發明不加以限制。爾後，當使用者使用其雙眼查看顯示器13同步或交錯呈現的第一輸出影像與第二輸出影像時，第一輸出影像與第二輸出影像可在使用者雙眼的視網膜上形成(或投射出)對應於所述輸入影像的三維影像(即立體影像)。

圖5是根據本發明的實施例所繪示的根據輸入影像產生第一輸出影像與第二輸出影像的示意圖。請參照圖5，假設影像51為輸入影像。此外，假設針對影像處理模型101(1)~101(n)，影像51的影像尺寸(即第一影像尺寸)最接近(或相同於)影像處理模型101(i)所對應的候選影像尺寸。例如，假設第一影像尺寸為512×288(或16:9)，則影像處理模型101(i)所對應的候選影像尺寸也為512×288(或16:9)。

在一實施例中，在偵測到影像51的影像尺寸(即第一影像尺寸)後，處理器11可根據第一影像尺寸，從影像處理模型101(1)~101(n)中選定影像處理模型101(i)作為目標影像處理模型。在確定目標影像處理模型(即影像處理模型101(i))後，處理器11可將影像51輸入至影像處理模型101(i)進行處理，以透過影像處理模型101(i)對影像51執行深度預測。根據影像處理模型101(i)對影像51的處理結果(即深度預測結果)，處理器11可取得對應於影像51的深度資訊52。處理器11可根據深度資訊52產生左眼影像(即第一輸出影像)531與右眼影像(即第二輸出影像)532。左眼影像531與右眼影像532可用以形成對應於影像51的三維影像(即立體影像)。須注意的是，關於如何根據深度資訊產生左眼影像(即第一輸出影像)與右眼影像(即第二輸出影像)的操作屬習知技術，在此不多加贅述。

在一實施例中，處理器11還可取得另一影像尺寸(亦稱為第二影像尺寸)。第二影像尺寸不同於第一影像尺寸。然後，處理器11可根據第二影像尺寸，將第一輸出影像與第二輸出影像的影像尺寸從第一影像尺寸調整為第二影像尺寸。以圖5為例，假設左眼影像531與右眼影像532皆具有第一影像尺寸。在取得第二影像尺寸後，處理器11可對左眼影像531與右眼影像532執行尺寸調整操作，使得調整後的左眼影像531與右眼影像532皆具有第二影像尺寸。

在一實施例中，處理器11可偵測顯示器13的解析度。然後，處理器11可根據顯示器13的解析度，來決定第二影像尺寸。例如，處理器11可將第二影像尺寸設定為與顯示器13的解析度一致(例如相同或接近)。例如，假設第一影像尺寸為512×288(或16:9)且顯示器13的解析度為1440×1440。處理器11可根據顯示器13的解析度，將第二影像尺寸設定為1440×1440(或1:1)。然後，處理器11可將左眼影像531與右眼影像532的影像尺寸同步或依序調整為1440×1440(或1:1)(即第二影像尺寸)。藉此，在顯示器13呈現左眼影像531與右眼影像532的期間，左眼影像531與右眼影像532的影像呈現品質可被提高。

圖6是根據本發明的實施例所繪示的影像產生方法的流程圖。請參照圖6，在步驟S601中，建立多個影像處理模型，其中所述多個影像處理模型分別對應於多個候選影像尺寸。在步驟S602中，取得多個訓練資料集，其中所述多個訓練資料集分別對應於所述多個候選影像尺寸。在步驟S603中，使用所述多個訓練資料集分別訓練所述多個影像處理模型。在步驟S604中，偵測輸入影像的第一影像尺寸，其中輸入影像為二維影像。在步驟S605中，根據第一影像尺寸，從所述多個影像處理模型中決定目標影像處理模型。在步驟S606中，透過目標影像處理模型處理輸入影像，以產生對應於輸入影像的深度資訊。在步驟S607中，根據深度資訊，產生第一輸出影像與第二輸出影像，其中第一輸出影像與第二輸出影像用以形成對應於輸入影像的三維影像。

然而，圖6中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖6中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。此外，圖6的方法可以搭配以上範例實施例使用，也可以單獨使用，本發明不加以限制。

綜上所述，本發明的實施例所提出的影像產生方法與影像處理系統，可在模型訓練階段，使用對應於不同影像尺寸的訓練資料集來訓練多個影像處理模型。爾後，在模型使用階段，輸入影像的影像尺寸可被偵測，以動態選擇合適的影像處理模型對輸入影像進行處理。藉此，可有效提高影像處理模型對輸入影像的深度資訊的預測準確率，進而提高後續產生(或呈現)的三維影像的影像品質，並有效改善傳統的影像處理技術中存在的缺陷。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:影像處理系統 11:處理器 12:儲存裝置 13:顯示器 101(1)~101(n),101(i),101(j):影像處理模型 102(1)~102(n),102(i),102(j):訓練資料集 21(1)~21(m),22(1)~22(k),31~34,51:影像 401(1)~401(s),411(1)~411(s):邏輯層 52:深度資訊 531:左眼影像(第一輸出影像) 532:右眼影像(第二輸出影像) S601~S607:步驟

圖1是根據本發明的實施例所繪示的影像處理系統的示意圖。 圖2是根據本發明的實施例所繪示的使用不同的訓練資料集訓練影像處理模型的示意圖。 圖3是根據本發明的實施例所繪示的對基準訓練影像進行尺寸調整操作的示意圖。 圖4是根據本發明的實施例所繪示的根據不同的候選影像尺寸調整影像處理模型中的邏輯層的示意圖。 圖5是根據本發明的實施例所繪示的根據輸入影像產生第一輸出影像與第二輸出影像的示意圖。 圖6是根據本發明的實施例所繪示的影像產生方法的流程圖。

S601~S607:步驟

Claims (18)

1. 一種影像產生方法，包括： 建立多個影像處理模型，其中該多個影像處理模型分別對應於多個候選影像尺寸； 取得多個訓練資料集，其中該多個訓練資料集分別對應於該多個候選影像尺寸； 使用該多個訓練資料集分別訓練該多個影像處理模型； 偵測輸入影像的第一影像尺寸，其中該輸入影像為二維影像； 根據該第一影像尺寸，從該多個影像處理模型中決定目標影像處理模型； 透過該目標影像處理模型處理該輸入影像，以產生對應於該輸入影像的深度資訊；以及 根據該深度資訊，產生第一輸出影像與第二輸出影像，其中該第一輸出影像與該第二輸出影像用以形成對應於該輸入影像的三維影像。
2. 如請求項1所述的影像產生方法，其中該多個影像處理模型包括第一影像處理模型與第二影像處理模型，該第一影像處理模型對應於該多個候選影像尺寸中的第一候選影像尺寸，該第二影像處理模型對應於該多個候選影像尺寸中的第二候選影像尺寸，且使用該多個訓練資料集分別訓練該多個影像處理模型的步驟包括： 使用該多個訓練資料集中對應於該第一候選影像尺寸的第一訓練資料集，訓練該第一影像處理模型；以及 使用該多個訓練資料集中對應於該第二候選影像尺寸的第二訓練資料集，訓練該第二影像處理模型。
3. 如請求項2所述的影像產生方法，其中經訓練的該第一影像處理模型專用以處理具有該第一候選影像尺寸的第一影像，以產生對應於該第一影像的第一深度資訊，並且 經訓練的該第一影像處理模型專用以處理具有該第二候選影像尺寸的第二影像，以產生對應於該第二影像的第二深度資訊。
4. 如請求項1所述的影像產生方法，其中取得該多個訓練資料集的步驟包括： 取得基準訓練影像，其中該基準訓練影像具有基準影像尺寸； 對該基準訓練影像進行尺寸調整操作，以產生具有該多個候選影像尺寸中的目標候選影像尺寸的訓練影像；以及 將該訓練影像加入至該多個訓練資料集中對應於目標候選影像尺寸的訓練資料集中。
5. 如請求項1所述的影像產生方法，其中建立該多個影像處理模型的步驟包括： 根據該多個影像處理模型中的第一影像處理模型所對應的第一候選影像尺寸，調整該第一影像處理模型中的至少一邏輯層，以使該至少一邏輯層適於處理具有該第一候選影像尺寸的第一影像。
6. 如請求項1所述的影像產生方法，其中相較於該多個影像處理模型中的其他影像處理模型，該目標影像處理模型所對應的目標影像尺寸更接近該第一影像尺寸。
7. 如請求項1所述的影像產生方法，其中根據該第一影像尺寸，從該多個影像處理模型中決定該目標影像處理模型的步驟包括： 將該第一影像尺寸與該多個候選影像尺寸的至少其中之一進行比較，以取得比較結果；以及 根據該比較結果，從該多個影像處理模型中決定該目標影像處理模型。
8. 如請求項1所述的影像產生方法，其中根據該深度資訊，產生該第一輸出影像與該第二輸出影像的步驟包括： 取得第二影像尺寸，其中該第二影像尺寸不同於該第一影像尺寸；以及 根據該第二影像尺寸，將該第一輸出影像與該第二輸出影像的影像尺寸從該第一影像尺寸調整為該第二影像尺寸。
9. 如請求項8所述的影像產生方法，其中取得該第二影像尺寸的步驟包括： 偵測顯示器的解析度，其中該顯示器預設用於呈現該第一輸出影像與該第二輸出影像；以及 根據該顯示器的該解析度，決定該第二影像尺寸。
10. 一種影像處理系統，包括： 儲存裝置，用以儲存多個影像處理模型與多個訓練資料集；以及 處理器，耦接至該儲存裝置， 其中該處理器用以： 建立該多個影像處理模型，其中該多個影像處理模型分別對應於多個候選影像尺寸； 取得該多個訓練資料集，其中該多個訓練資料集分別對應於該多個候選影像尺寸； 使用該多個訓練資料集分別訓練該多個影像處理模型； 偵測輸入影像的第一影像尺寸，其中該輸入影像為二維影像； 根據該第一影像尺寸，從該多個影像處理模型中決定目標影像處理模型； 透過該目標影像處理模型處理該輸入影像，以產生對應於該輸入影像的深度資訊；以及 根據該深度資訊，產生第一輸出影像與第二輸出影像，其中該第一輸出影像與該第二輸出影像用以形成對應於該輸入影像的三維影像。
11. 如請求項10所述的影像處理系統，其中該多個影像處理模型包括第一影像處理模型與第二影像處理模型，該第一影像處理模型對應於該多個候選影像尺寸中的第一候選影像尺寸，該第二影像處理模型對應於該多個候選影像尺寸中的第二候選影像尺寸，且該處理器使用該多個訓練資料集分別訓練該多個影像處理模型的操作包括： 使用該多個訓練資料集中對應於該第一候選影像尺寸的第一訓練資料集，訓練該第一影像處理模型；以及 使用該多個訓練資料集中對應於該第二候選影像尺寸的第二訓練資料集，訓練該第二影像處理模型。
12. 如請求項11所述的影像處理系統，其中經訓練的該第一影像處理模型專用以處理具有該第一候選影像尺寸的第一影像，以產生對應於該第一影像的第一深度資訊，並且 經訓練的該第一影像處理模型專用以處理具有該第二候選影像尺寸的第二影像，以產生對應於該第二影像的第二深度資訊。
13. 如請求項10所述的影像處理系統，其中該處理器取得該多個訓練資料集的操作包括： 取得基準訓練影像，其中該基準訓練影像具有基準影像尺寸； 對該基準訓練影像進行尺寸調整操作，以產生具有該多個候選影像尺寸中的目標候選影像尺寸的訓練影像；以及 將該訓練影像加入至該多個訓練資料集中對應於目標候選影像尺寸的訓練資料集中。
14. 如請求項10所述的影像處理系統，其中該處理器建立該多個影像處理模型的操作包括： 根據該多個影像處理模型中的第一影像處理模型所對應的第一候選影像尺寸，調整該第一影像處理模型中的至少一邏輯層，以使該至少一邏輯層適於處理具有該第一候選影像尺寸的第一影像。
15. 如請求項10所述的影像處理系統，其中相較於該多個影像處理模型中的其他影像處理模型，該目標影像處理模型所對應的目標影像尺寸更接近該第一影像尺寸。
16. 如請求項10所述的影像處理系統，其中該處理器根據該第一影像尺寸，從該多個影像處理模型中決定該目標影像處理模型的操作包括： 將該第一影像尺寸與該多個候選影像尺寸的至少其中之一進行比較，以取得比較結果；以及 根據該比較結果，從該多個影像處理模型中決定該目標影像處理模型。
17. 如請求項10所述的影像處理系統，其中該處理器根據該深度資訊，產生該第一輸出影像與該第二輸出影像的操作包括： 取得第二影像尺寸，其中該第二影像尺寸不同於該第一影像尺寸；以及 根據該第二影像尺寸，將該第一輸出影像與該第二輸出影像的影像尺寸從該第一影像尺寸調整為該第二影像尺寸。
18. 如請求項17所述的影像處理系統，其中該影像處理系統更包括： 顯示器，耦接至該處理器， 其中該處理器取得該第二影像尺寸的操作包括： 偵測該顯示器的解析度，其中該顯示器預設用於呈現該第一輸出影像與該第二輸出影像；以及 根據該顯示器的該解析度，決定該第二影像尺寸。