[go: up one dir, main page]

TWI717865B - 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品 - Google Patents

影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品 Download PDF

Info

Publication number
TWI717865B
TWI717865B TW108137267A TW108137267A TWI717865B TW I717865 B TWI717865 B TW I717865B TW 108137267 A TW108137267 A TW 108137267A TW 108137267 A TW108137267 A TW 108137267A TW I717865 B TWI717865 B TW I717865B
Authority
TW
Taiwan
Prior art keywords
optimization
original images
processing
image
images
Prior art date
Application number
TW108137267A
Other languages
English (en)
Other versions
TW202027033A (zh
Inventor
任思捷
陳岩
程璇曄
孫文秀
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202027033A publication Critical patent/TW202027033A/zh
Application granted granted Critical
Publication of TWI717865B publication Critical patent/TWI717865B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本發明涉及一種影像處理方法及裝置、電子設備和電腦可讀取的記錄媒體，所述方法包括：獲取透過飛行時間(TOF)感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述處理包括至少一次卷積處理以及至少一次非線性函數映射處理。本發明實施例能夠從原始圖像中有效的恢復出高品質的深度資訊。

Description

影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
本發明是有關於影像處理領域，特別是有關於一種影像處理方法及裝置、電子設備和記錄媒體。
深度圖像的獲取或者圖像的優化在許多領域有著重要的應用價值。例如，在資源探勘、三維重建、機器人導航等領域中，對障礙物的檢測、自動駕駛、活體檢測等都依賴于場景的高精度三維資料。相關技術中，在信噪比很低的情況下很難得到圖像準確的深度資訊，表現在得到的深度圖像中存在大片缺失深度資訊的黑洞。
本發明實施例提供了一種圖像優化的技術方案。
根據本發明的第一方面，提供了一種影像處理方法，其包括：獲取透過飛行時間(TOF)感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；透過神經網路對所述多個 原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述處理包括至少一次卷積處理以及至少一次非線性函數映射處理。
根據本發明提供的第二方面，提供了一種影像處理方法，其包括：獲取透過飛行時間(TOF)感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
根據本發明的協力廠商面，提供了一種影像處理裝置，其包括：獲取模組，用於獲取透過飛行時間(TOF)感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；優化模組，用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述處理包括至少一次卷積處 理以及至少一次非線性函數映射處理。
根據本發明的第四方面，提供了一種影像處理裝置，其包括：獲取模組，其用於獲取透過飛行時間TOF感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；優化模組，其用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
根據本發明第五方面，提供了一種電子設備，其包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行第一方面或者第二方面中任意一項所述的方法。
根據本發明的第六方面，提供了一種電腦可讀取的記錄媒體，其中儲存有電腦程式指令，其特徵在於，所述電腦程式指令被處理器執行時實現第一方面或者第二方面中任意一項所述的方法。
根據本發明的第七方面，提供了一種電腦程式產品，其 包括電腦可讀程式碼，當所述電腦代碼在電子設備中的處理器執行時實現第一方面或者第二方面中任意一項權利要求所述的方法。
本發明實施例可以應用在曝光率較低、圖像信噪比低的情況下，由於上述情況中，相機感測器接收到的信號非常弱且存在較大雜訊，現有技術很難利用這些信號去得到精度較高的深度值，而本發明實施例透過對採集的低信噪比的原始圖像進行優化處理，有效的在低信噪比的圖像中恢復出深度資訊，解決現有技術不能有效提取圖像特徵資訊的技術問題。本發明實施例一方面可以解決遠距離測量和高吸收率物體測量導致的低信噪比不能恢復深度資訊的問題，另一方面可以解決由於信噪比要求導致的成像解析度不足的困擾。即，本發明實施例可以能夠對低信噪比圖像進行優化從而恢復圖像的特徵資訊(深度資訊)。
S10、S20:步驟
S100、S200:步驟
S201~S205:步驟
S2031~S2033:步驟
S2041~S2043:步驟
S2051~S2053:步驟
S401~S403:步驟
S501~S503:步驟
10、100:獲取模組
20、200:優化模組
802:處理元件
804:記憶體
806:電源元件
808:多媒體元件
810:音訊元件
812:輸入/輸出介面
814:感測器元件
816:通信元件
820:處理器
1922:處理元件
1926:電源元件
1932:記憶體
1950:網路介面
1958:輸入/輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的影像處理方法的流程圖；圖2示出根據本發明實施例的影像處理方法中優化處理的示例性流程圖； 圖3示出根據本發明實施例的影像處理方法中優化處理的另一示例性流程圖；圖4示出根據本發明實施例的影像處理方法中第一組優化過程的示例性流程圖；圖5示出根據本發明實施例的影像處理方法中第二組優化過程的示例性流程圖；圖6示出根據本發明實施例的影像處理方法中第三組優化過程的示例性流程圖；圖7示出根據本發明實施例的影像處理方法的另一流程圖；圖8示出根據本發明實施例的影像處理方法的另一流程圖；圖9示出根據本發明實施例的影像處理方法的另一流程圖；圖10示出根據本發明實施例的影像處理裝置的模組方塊圖；圖11示出根據本發明實施例的影像處理裝置的另一模組方塊圖；圖12示出根據本發明實施例的電子設備的電路方塊圖；圖13示出根據本發明實施例的另一電子設備的電路方塊圖。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。以下將參考附圖詳細 說明本發明的各種示例性實施例、特徵和方面。附圖中相同的標號表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
圖1示出根據本發明實施例的影像處理方法的流程圖。其中本發明實施例的影像處理方法可以應用在具有深度攝像功能的電子設備中或者也可以應用在能夠執行影像處理的電子設備中， 例如可以應用在手機、照相機、電腦設備、智慧手錶、智慧手環等設備中，但本發明對此不進行限定。本發明實施例可以對低爆率情況下獲得的低信噪比的圖像進行優化處理，使得優化處理後的圖像能夠具有更豐富的深度資訊。
如圖1所示，在步驟S100中，獲取透過飛行時間(Time Of Flight，縮寫TOF)感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同。
在步驟S200中，透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述優化處理包括至少一次卷積處理以及至少一次非線性函數映射處理。
如上所述，本發明實施例提供的神經網路可以針對低信噪比的圖像進行優化處理，獲得具有更豐富的特徵資訊的圖像，即可以得到具有高品質的深度資訊的深度圖。本發明實施例的方法可以適用於具有TOF相機(飛行時間相機)的設備中。首先本發明實施例可以透過步驟S100獲取具有低信噪比的多個原始圖像，其中原始圖像可以是透過飛行時間相機採集得到的圖像，例如，可以透過飛行時間感測器在一次曝光過程中採集多個低信噪比的原始圖像，本發明實施例中可以將信噪比低於第一數值的圖像稱為低信噪比圖像，其中第一數值可以根據不同情況設定不同的數值，本發 明對此不作具體限定。在另一些實施例中，也可以透過從其他電子設備接收原始圖像的方式獲取各低信噪比的原始圖像，例如，可以從其他的電子設備接收由TOF感測器採集的原始圖像，並作為優化處理的物件，也可以透過設備自身配置的攝像設備拍攝各原始圖像。本發明實施例得到的各原始圖像為針對同一拍攝物件的一次曝光情況下得到的多個圖像，各圖像的信噪比不同，針對各原始圖像具有不同的特徵矩陣。例如，多個原始圖像的特徵矩陣中針對相同像素點的相位參數值不同。
其中，本發明實施例中的低信噪比是指圖像的信噪比較低，其中，在透過TOF相機執行拍攝時，在獲得一次曝光情況下的各原始圖像的同時還可以獲得一紅外圖像，如果該紅外圖像中像素值所對應的置信度(confidence level)資訊低於預設值的像素點的數量超過預設比例，則可以說明原始圖像為低信噪比的圖像，其中，該預設值可以根據TOF相機的使用場景確定，在一些可能的實施例中可以設置為100，但不作為本發明的具體限定，另外，預設比例也可以根據需求進行不同的設定，例如可以為30%或者也可以是其他比例，本領域技術人員可以根據其他設定確定原始圖像的低信噪比情況。
另外，在低曝光率的情況下獲得圖像也可以為低信噪比的圖像，因此，在低曝光率情況下獲得的圖像可以為本發明實施 例處理的原始圖像的物件，並且各個原始圖像中的相位特徵不同。其中低曝光率是指曝光時間小於或者等於400微秒的曝光情況，在該情況下獲得的圖像的信噪比較低，透過本發明實施例可以提高圖像的信噪比，並能夠從圖像中獲得更豐富的深度資訊，使得優化後的圖像具有更多的特徵資訊，從而獲得高品質的深度圖像。其中，本發明實施例獲取的原始物件可以為2個或者4個，本發明實施例對此不進行限定，其也可以是其他數量詞。
在獲得低信噪比的多個原始圖像後，可以利用神經網路進行原始圖像的優化處理，從原始圖像中恢復出深度資訊，可以得到原始圖像對應的深度圖。其中可以將原始圖像輸入至神經網路，利用神經網路對該多個原始圖像執行優化處理，進而得到優化的深度圖。本發明實施例中所採用的優化處理可以包括至少一次卷積處理以及至少一次非線性函數映射處理。其中可以先對原始圖像執行卷積處理，再對卷積處理的結果執行非線性函數映射處理，也可以先對原始圖像執行非線性映射處理，再對非線性映射處理的結果執行卷積處理，或者也可以多次交替執行卷積處理以及非線性處理。
例如，卷積處理可以表示為J，非線性函數映射處理可以表示為Y，則本發明實施例的優化處理過程可以為例如JY，JJY，JYJJY，YJ，YYJ，YJYYJ等，即本發明實施例中針對原始圖像的 優化處理可以包括至少一次卷積處理，以及至少一次非線性映射處理，其中關於各卷積處理以及非線性映射處理的順序和次數，本領域技術人員可以根據不同的需求進行設定，本發明對此不進行具體限定。
其中透過卷積處理可以融合特徵矩陣中的特徵資訊，並從輸入資訊中提取中更多更準確的深度資訊，以及經過非線性函數映射處理可以獲得更深一層的深度資訊，即可以獲取更豐富的特徵資訊。
在一些可能的實施方式中，透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
也就是說，本發明實施例可以透過神經網路直接得到與多個原始圖像對應的多個優化圖像。透過神經網路的優化處理可以提高輸入的原始圖像的信噪比，得到對應的優化圖像。進一步的，對優化圖像執行後處理可以得到具有更多和更精確的深度圖。
其中，透過多個優化圖像得到深度圖的運算式可以包括：
Figure 108137267-A0305-02-0012-1
其中，d表示深度圖，c表示光速，f表示相機的調製參數，
Figure 108137267-A0305-02-0012-2
、
Figure 108137267-A0305-02-0012-3
、
Figure 108137267-A0305-02-0012-4
和
Figure 108137267-A0305-02-0012-5
分別為各個原始圖像中第i行第j列的特徵值，i和j分 別為小於或者等於N的正整數，N表示原始圖像的維度(N*N)。
在另一些可能的實施方式中，透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
也就是說，本發明實施例的神經網路對多個原始圖像進行優化處理，可以直接得到該多個原始圖像對應的深度圖。該配置可以結合神經網路的訓練實現。
透過上述配置可以獲知，本發明實施例可以直接透過神經網路的優化處理得到具有更豐富和準確的深度資訊的深度圖，或者也可以透過神經網路優化得到與輸入的原始圖像對應的優化圖像，再進一步根據優化圖像的後處理得到具有更豐富和更準確的深度資訊的深度圖。
另外，在一些可能的實施方式中，在透過神經網路對原始圖像進行優化處理之前，本發明實施例還可以對原始圖像執行預 處理操作，得到預處理後的多個原始圖像，並將預處理後的多個原始圖像輸入至神經網路執行優化處理，得到多個原始圖像對應的深度圖。其中，預處理操作可以包括圖像標定、圖像校正，以及任意兩個原始圖像之間的線性處理和非線性處理中的至少一種。其中，透過對原始圖像進行圖像標定可以消除獲取原始圖像的圖像採集設備內參對圖像的影響，消除圖像採集設備帶來的雜訊，可以進一步提高原始圖像的精度。
其中，圖像標定可以基於現有技術手段實現，例如自標定演算法等，本發明對標定演算法的具體處理過程不作具體限定。圖像校正是指對圖像進行的復原性處理，一般情況下，引起圖像失真的原因包括成像系統的像差、畸變、頻寬有限等造成的圖像失真，由於成像器件拍攝姿態和掃描非線性引起的圖像幾何失真；由於運動模糊、輻射失真、引入雜訊等造成的圖像失真。圖像校正可以根據圖像失真原因，建立相應的數學模型，從被污染或畸變的圖像信號中提取所需要的資訊，沿著使圖像失真的逆過程恢復圖像本來面貌。其中圖像校正的過程可以透過濾波器消除原始圖像中的雜訊，從而提高原始圖像的精度。
任意兩個原始圖像之間的線性處理是指對兩個原始圖像執行相應像素點的特徵值的相加或者相減運算，得到該線性處理的結果，該結果可以表示成一個新的圖像的圖像特徵。
任意兩個原始圖像之間的非線性處理是指利用預設的非線性函數對原始圖像的各像素點進行非線性處理，即可以將各像素點的特徵值輸入至非線性函數中，得到新的像素值，從而完成原始圖像各像素點的非線性處理，得到一個新的圖像的圖像特徵。
在經過原始圖像的預處理之後，可以將預處理之後的圖像輸入至神經網路中，執行優化處理，得到優化的深度圖。透過預處理操作，可以減少原始圖像中的雜訊、誤差的影響，提高深度圖的精度。下面對優化過程具體說明，其中以原始圖像的優化處理過程為例進行說明，預處理之後的圖像的優化處理方式與原始圖像的優化處理方式相同，本發明不作重複說明。
本發明實施例的可以將神經網路執行的優化處理包括多組優化過程，如Q組優化過程，Q為大於1的整數，其中每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理。透過多個優化過程的組合，可以對原始圖像執行不同的優化處理。例如，可以包括三組優化過程A、B和C，其中該三個優化過程均可以包括至少一次卷積處理和/或至少一次非線性映射處理，但是所有的優化過程必須包括至少一次卷積處理以及至少一次非線性處理。
圖2示出根據本發明實施例的影像處理方法中優化處理的示例性流程圖，其中，以Q組優化過程為例進行說明。
如圖2所示，在步驟S201中，將所述原始圖像作為第一 組優化過程的輸入資訊，透過所述第一組優化過程處理後得到針對該第一組優化過程的優化特徵矩陣；在步驟S202中，將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將第n組優化過程輸出的優化特徵矩陣，以及前n-1組優化過程中至少一組優化過程輸出的優化特徵矩陣，作為第n+1組優化過程的輸入資訊進行優化處理，基於最後一組優化過程處理後得到的優化特徵矩陣，得到輸出結果，其中n為大於1且小於Q的整數，Q為優化過程的組數。
在本發明實施例中，神經網路執行的優化處理所包括的多組優化過程可以依次對前一組優化過程得到的處理結果(優化特徵矩陣)進行進一步的優化處理，並可以將最後一組的優化過程得到的處理結果作為深度圖或者優化圖像對應的特徵矩陣。在一些可能的實施方式中，可以直接對前一組優化過程得到的處理結果進行優化，即僅將前一組優化處理過程得到的處理結果作為下一組優化過程的輸入資訊。在另一些可能的實施方式中，也可以將當前優化過程的前一優化過程得到的處理結果與該前一優化過程之外的其餘之前的優化過程中的至少一個優化過程的結果作為輸入(例如可以將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊)。例如A、B和C為三個優化過程，B的輸入可以為A 的輸出，C的輸入可以為B的輸出，也可以為A和B的輸出。也就是說，本發明實施例中的第一優化過程的輸入為原始圖像，透過第一優化過程可以得到對原始圖像優化處理後的優化特徵矩陣，此時可以將優化處理後得到的優化特徵矩陣輸入至第二個優化過程，第二個優化過程可以對第一個優化過程得到的優化特徵矩陣進一步執行優化處理，得到針對第二個優化過程的優化特徵矩陣，該第二個優化過程得到的優化特徵矩陣可以被輸入至第三個優化特徵矩陣。
在一種可能的實施方式中，第三個優化過程可以僅將第二個優化特徵矩陣得輸出作為輸入資訊，也可以同時將第一個優化過程得到的優化特徵矩陣以及第二個優化過程得到的優化特徵矩陣作為輸入資訊進行優化處理，以此類推，第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將第n組優化過程輸出的優化特徵矩陣，以及前n-1組優化過程中至少一組優化過程輸出的優化特徵矩陣，作為第n+1組優化過程的輸入資訊進行優化處理，基於最後一組優化過程處理後得到優化結果，該優化結果可以為優化的深度圖，也可以為與原始圖像對應的優化圖像。透過上述配置，本領域技術人員可以根據不同的需求構建不同的優化過程，本發明實施例對此不進行限定。
另外，透過各組優化過程，可以不斷的融合輸入資訊中的特徵資訊並能夠從中恢復出更多的深度資訊，即得到的優化特徵 矩陣中可以是具有比輸入資訊更多的特徵，而且具有更多的深度資訊。
其中每組優化過程中執行卷積處理時採用的卷積核可以相同或不同，以及每組優化過程中執行非線性映射處理所採用的啟動函數也可以相同或不同。另外，每次卷積處理所採用的卷積核的數量也可以相同或者不同，本領域技術人員可以進行相應的配置。
由於TOF相機獲取的原始圖像中，包括各像素點的相位資訊，透過本發明實施例的優化處理，可以從相位資訊中恢復出對應的深度資訊，從而得到具有更多更精確的深度資訊的深度圖。
如上述實施例所述，步驟S200的優化處理過程可以包括多組優化過程，每組優化過程可以包括至少一次卷積處理以及至少一次非線性函數映射處理。在本發明的一些可能的實施方式中，每組優化過程可以採用不同的處理過程，例如可以執行降採樣、升採樣、卷積或者殘差等處理。本領域技術人員可以配置成不同的組合以及處理順序。
圖3示出根據本發明實施例的影像處理方法中優化處理的另一示例性流程圖，其中，所述對所述原始圖像執行優化處理還可以包括以下步驟：S203：對多個所述原始圖像執行第一組優化過程，得到融合該 多個原始圖像的特徵資訊的第一特徵矩陣；S204：對所述第一特徵矩陣執行第二組優化過程，得到第二特徵矩陣，所述第二特徵矩陣的特徵資訊比所述第一特徵矩陣的特徵資訊多；S205：對所述第二特徵矩陣執行第三組優化過程，得到優化特徵矩陣(輸出結果)，所述優化特徵矩陣的特徵資訊比所述第二特徵矩陣的特徵資訊多。
亦即，本發明實施例神經網路的優化處理可以包括依次執行的三組優化過程，即神經網路可以透過上述第一組優化過程、第二組優化過程以及第三組優化過程實現原始圖像的優化。在一些可能的實施方式中，第一組優化過程可以為降採樣處理過程，第二組優化過程可以為殘差處理過程，第三組優化過程可以為升採樣處理過程。
首先，可以透過步驟S203執行各原始圖像的第一組優化過程，融合各原始圖像的特徵資訊並恢復其中的深度資訊，獲得第一特徵矩陣。其中，本發明實施例透過第一組優化過程的方式一方面可以改變特徵矩陣的尺寸，如長和寬的維度，另一方面可以增加特徵矩陣中針對每個像素點的特徵資訊，從而可以進一步融合更多的特徵並恢復出其中的部分深度資訊。
圖4示出根據本發明實施例的影像處理方法中第一組 優化過程的示例性流程圖，其中，所述對多個所述原始圖像執行第一組優化過程，得到融合該多個原始圖像的特徵資訊的第一特徵矩陣，可以包括下列步驟：S2031：透過第一個第一子優化過程執行多個原始圖像的第一卷積處理，得到第一卷積特徵，以及透過對該第一卷積特徵執行第一非線性映射處理，得到針對第一個第一子優化過程的第一優化特徵矩陣；S2032：透過第i個第一子優化過程執行第i-1個第一子優化過程得到的第一優化特徵矩陣的第一卷積處理，並透過對該第一卷積處理得到的第一卷積特徵執行第一非線性映射處理，得到針對第i個第一子優化過程的第一優化特徵矩陣；S2033：基於第N個第一子優化過程得到的第一優化特徵矩陣確定所述第一特徵矩陣，其中i為大於1且小於或者等於N的正整數，N表示第一子優化過程的數量。
本發明實施例可以利用降採樣網路執行步驟S203的過程，即第一組優化過程可以為利用降採樣網路執行的降採樣處理的過程，其中降採樣網路可以為神經網路中的一部分網路結構。本發明實施例中的降採樣網路執行的第一組優化過程可以作為優化處理的一個優化過程，該過程可以包括多個第一子優化過程，例如降採樣網路可以包括多個降採樣模組，其中每個降採樣模組可以依次 連接，每個降採樣模組可以包括第一卷積單元和第一啟動單元，第一啟動單元透過與第一卷積單元相連接來對第一卷積單元輸出的特徵矩陣進行處理。對應的，步驟S203中的第一組優化過程可以包括多個第一子優化過程，每個第一子優化過程包括第一卷積處理以及第一非線性映射處理；也即每個降採樣模組可以執行一個第一子優化過程，降採樣模組內的第一卷積單元可以執行上述第一卷積處理，以及第一啟動單元可以執行上述第一非線性映射處理。
其中，可以透過第一個第一子優化過程執行從步驟S100得到的各原始圖像的第一卷積處理，得到對應的第一卷積特徵，並利用第一啟動函數執行該第一卷積特徵的第一非線性映射處理，例如，利用第一啟動函數與該第一卷積特徵相乘，最終得到該第一個降採樣過程的第一優化特徵矩陣，或者將第一卷積特徵帶入第一啟動函數相應的參數，得到啟動函數處理結果(第一優化特徵矩陣)。對應的，可以將該第一個第一子優化過程得到的第一優化特徵矩陣作為第二個第一子優化過程的輸入，利用第二個第一子優化過程對第一個第一子優化過程的第一優化特徵矩陣進行第一卷積處理，得到相應的第一卷積特徵，並利用第一啟動函數執行該第一卷積特徵的第一啟動處理，得到該第二個第一子優化過程的第一優化特徵矩陣。
依此類推，可以透過第i個第一子優化過程執行第i-1個 第一子優化過程得到的第一優化特徵矩陣的第一卷積處理，並透過對該第一卷積處理得到的第一卷積特徵執行第一非線性映射處理，得到針對第i個第一子優化過程的第一優化特徵矩陣，以及基於第N個第一子優化過程得到的第一優化特徵矩陣確定所述第一特徵矩陣，其中i為大於1且小於或者等於N的正整數，N表示第一子優化過程的數量。
其中，在執行每個所述第一子優化過程的第一卷積處理時，每個第一卷積處理所採用的第一卷積核相同，並且至少一個第一子優化過程的第一卷積處理採用的第一卷積核的數量與其他第一子優化過程的第一卷積處理採用的第一卷積核的數量不同。即，本發明實施例第一子優化過程採用的卷積核均為第一卷積核，但是各個第一子優化過程中採用的第一卷積核的個數可以不同，對應不同的第一子優化過程，可以選擇適配的數量來執行第一卷積處理。第一卷積核可以為4*4的卷積核，或者也可以為其他類型的卷積核，本發明對此不進行限定。另外，各第一子優化過程採用的第一啟動函數相同。
換句話說，從步驟S100獲取的原始圖像可以被輸入至降採樣網路中的第一個降採樣模組，第一個降採樣模組輸出的第一優化特徵矩陣被輸入至第二個降採樣模組，以此類推，透過最後一個第一降採樣模組處理輸出第一特徵矩陣。
其中，首先可以利用降採樣網路中的第一個降採樣模組中的第一卷積單元透過第一卷積核執行對各所述原始圖像的第一子優化過程，得到對應於第一個降採樣模組的第一卷積特徵。例如本發明實施例的第一卷積單元採用的第一卷積核可以為4*4的卷積核，利用該卷積核可以執行針對各個原始圖像的第一卷積處理，並將各個像素點的卷積結果進行累加處理，得到最終的第一卷積特徵。同時，本發明實施例中，每個第一卷積單元採用的第一卷積核的個數可以為多個，可以透過該多個第一卷積核分別執行各原始圖像的第一卷積處理，並進一步將相同像素點對應的卷積結果進行加和，得到第一卷積特徵，該第一卷積特徵實質上也為矩陣形式。在得到第一卷積特徵後，可以利用所述第一個降採樣模組的第一啟動單元透過第一啟動函數對該第一卷積特徵進行處理，得到針對第一個降採樣模組的第一優化特徵矩陣。即，本發明實施例可以將第一卷積單元輸出的第一卷積特徵輸入至與之連接的第一啟動單元，利用該第一啟動函數對第一卷積特徵進行處理，例如將第一啟動函數乘以第一卷積特徵，得到第一個第一降採樣模組的第一優化特徵矩陣。
進一步地，在得到第一個降採樣模組的第一優化特徵矩陣之後，可以利用第二個降採樣模組對第一優化特徵矩陣進行處理，得到與該第二個降採樣模組對應的第一優化特徵矩陣，以此類 推，分別得到與每個降採樣模組對應的第一優化特徵矩陣，最終得到第一特徵矩陣。其中，每個降採樣模組中的第一卷積單元所採用的第一卷積核可以為相同的卷積核，例如可以均為4*4的卷積核，但是各降採樣模組中的第一卷積單元採用的第一卷積核的個數可以不同，這樣可以獲得不同尺寸的第一卷積特徵，從而得到融合不同特徵的第一特徵矩陣。
表1示出根據本發明實施例的一種影像處理方法的網路結構的示意表。其中降採樣網路可以包括四個降採樣模組D1-D4。其中，每個降採樣模組內可以包括第一卷積單元和第一啟動單元。本發明實施例各第一卷積單元可以利用相同的第一卷積核執行對輸入特徵矩陣的第一卷積處理，但是每個第一卷積單元執行第一卷積處理的第一卷積核的個數可以不同。例如，從表1可以看出，第一個降採樣模組D1可以包括卷積層和啟動函數層，並且第一卷積核為4*4的卷積核，按照預定步長(Stride)(例如2)執行第一卷積處理，其中，第一個降採樣模組D1中第一卷積單元利用64個第一卷積核執行輸入的原始圖像的第一卷積處理，得到的第一卷積特徵，該第一卷積特徵包括64個圖像的特徵資訊。在得到第一卷積特徵之後，利用第一啟動單元執行處理，例如將第一卷積特徵與第一啟動函數相乘積，得到最終的第一個降採樣模組D1的第一優化特徵矩陣。透過第一啟動單元的處理後，可以使特徵資訊更豐富。
對應地，第二個降採樣模組D2可以從第一個降採樣模組D1接收其輸出的第一優化特徵矩陣，並利用其內的第一卷積單元採用128個第一卷積核對該第一優化特徵矩陣執行第一卷積處理，第一卷積核為4*4的卷積核，按照預定步長(例如2)執行第一卷積處理，第二個降採樣模組D2中第一卷積單元利用128個第一卷積核執行輸入的第一優化特徵矩陣的第一卷積處理，得到的第一卷積特徵，該第一卷積特徵包括128個圖像的特徵資訊。在得到第一卷積特徵之後，利用第一啟動單元執行處理，例如將第一卷積特徵與第一啟動函數相乘積，得到最終的第二個降採樣模組D2的第一優化特徵矩陣。透過第一啟動單元的處理後，可以使特徵資訊更豐富。
依此類推，第三個降採樣模組D3可以利用256個第一卷積核對D2輸出的第一優化特徵矩陣進行卷積操作，同樣的，步長為2，再進一步利用第一啟動單元對輸出的第一卷積特徵進行處理，得到第三個降採樣模組D3的第一優化特徵矩陣。以及第四個降採樣模組D4也可以利用256個第一卷積核對第三個降採樣模組D3輸出的第一優化特徵矩陣進行卷積操作，同樣的，步長為2，再進一步利用第一啟動單元對輸出的第一卷積特徵進行處理，得到第四個降採樣模組D4的第一優化特徵矩陣，即第一特徵矩陣。
Figure 108137267-A0305-02-0025-6
本發明實施例中，各降採樣模組中採用的第一卷積核可以相同，執行卷積操作的步長可以相同，但是每個第一卷積單元執行卷積操作採用的第一卷積核的個數可以不同。透過每個降採樣模組執行降採樣操作後，都可以進一步豐富圖像的特徵資訊，提高圖像的信噪比。
在執行步驟S203獲得第一特徵矩陣之後，可以對第一特徵矩陣執行步驟S204，得到第二特徵矩陣，例如可以將第一特徵矩陣輸入至殘差網路中，利用殘差網路對特徵進行篩選，而後利用啟動函數加深特徵資訊。其中，殘差網路同樣可以為單獨的神經網路，也可以為一個神經網路內的部分網路模組。本發明實施例步驟S204中的卷積操作為第二個優化處理過程，該過程可以包括多個卷積處理過程，並且每個卷積處理過程包括第二卷積處理以及第二非線性映射處理。對應的殘差網路可以包括多個殘差模組，每個殘差模組可以執行對應的第二卷積處理和第二非線性映射處理。
圖5示出根據本發明實施例的影像處理方法中第二組優化過程的示例性流程圖，其中，所述對所述第一特徵矩陣執行第 二組優化過程，得到第二特徵矩陣，可以包括下列步驟：S2041：透過第一個第二子優化過程執行所述第一特徵矩陣的第二卷積處理，得到第二卷積特徵，以及透過對該第二卷積特徵執行第二非線性映射處理，得到針對第一個第二子優化過程的第二優化特徵矩陣；S2042：透過第j個第二子優化過程執行第j-1個第二子優化過程得到的第二優化特徵矩陣的第二卷積處理，並透過對該第二卷積處理得到的第二卷積特徵執行第二非線性映射處理，得到針對第j個第二子優化過程的第二優化特徵矩陣；S2043：基於第M個第二子優化過程得到的第二優化特徵矩陣確定所述第二特徵矩陣，其中j為大於1且小於或者等於M的正整數，M表示第二子優化過程的數量。
本發明實施例的步驟S204的第二組優化過程可以為另一組優化處理過程，其可以根據步驟S203的優化處理結果執行進一步的優化操作。該第二組優化過程包括多個依次執行的第二子優化過程，其中前一個第二子優化得到的第二優化特徵矩陣可以作為下一個第二子優化的輸入，從而依次執行多個第二子優化過程，最終最後一個第二子優化過程得到第二特徵矩陣，其中第一個第二子優化過程的輸入為步驟S203得到的第一特徵矩陣。
具體的，本發明實施例可以透過第一個第二組優化過 程執行步驟S203得到的第一特徵矩陣的第二卷積處理，得到相應的第二卷積特徵，以及透過對該第二卷積特徵執行第二非線性映射處理，得到第二優化特徵矩陣；透過第j個第二子優化過程執行第j-1個第二子優化過程得到的第二優化特徵矩陣的第二卷積處理，並透過對該第二卷積處理得到的第二卷積特徵執行第二非線性映射處理，得到針對第j個第二子優化過程的第二優化特徵矩陣，以及基於第M個第二子優化過程得到的第二優化特徵矩陣確定所述第二特徵矩陣，其中j為大於1且小於或者等於M的正整數，M表示第二子優化過程的數量。
如上所述，本發明實施例中，可以利用殘差網路執行該第二組處優化過程，即第二組優化過程可以為利用殘差網路執行的優化的過程，其中殘差網路可以為神經網路中的一部分網路結構。第二組優化過程可以包括多個第二子優化過程，殘差網路可以包括依次連接的多個殘差模組，每個殘差模組中可以包括第二卷積單元以及與所述第二卷積單元連接的第二啟動單元，用以執行對應的第二子優化過程。
其中，可以透過第一個第二子優化過程執行從步驟S203得到的第一特徵矩陣的第二卷積處理，得到對應的第二卷積特徵，並利用第一啟動函數執行該第二卷積特徵的第二非線性映射處理，例如，利用第二啟動函數與該第二卷積特徵相乘，最終得到 該第二個第二子優化過程的第二優化特徵矩陣，或者將第二卷積特徵帶入第二啟動函數相應的參數，得到啟動函數處理結果(第二優化特徵矩陣)。對應的，可以將該第一個第二子優化過程得到的第二優化特徵矩陣作為第二個第二子優化過程的輸入，利用第二個第二子優化過程對第一個第二子優化過程的第二優化特徵矩陣進行第二卷積處理，得到相應的第二卷積特徵，並利用第二啟動函數執行該第二卷積特徵的第二啟動處理，得到該第二個第二子優化過程的第二優化特徵矩陣。
依此類推，可以透過第j個第二子優化過程執行第j-1個第二子優化過程得到的第二優化特徵矩陣的第二卷積處理，並透過對該第二卷積處理得到的第二卷積特徵執行第二非線性映射處理，得到針對第j個第二子優化過程的第二優化特徵矩陣，以及基於第M個第一子優化過程得到的第二優化特徵矩陣確定所述第二特徵矩陣，其中j為大於1且小於或者等於N的正整數，M表示第一子優化過程的數量。
其中，在執行每個所述第二子優化過程的第二卷積處理時，每個第二卷積處理所採用的第二卷積核相同，並且至少一個第二子優化過程的第二卷積處理採用的第二卷積核的數量與其他第二子優化過程的第二卷積處理採用的第二卷積核的數量不同。即，本發明實施例第一子優化過程採用的卷積核均為第二卷積核， 但是各個第二子優化過程中採用的第二卷積核的個數可以不同，對應不同的第二子優化過程，可以選擇適配的數量來執行第二卷積處理。第二卷積核可以為3*3的卷積核，或者也可以為其他類型的卷積核，本發明對此不進行限定。另外，各第二子優化過程採用的第二啟動函數相同。
換句話說，從步驟S203獲取的第一特徵矩陣可以被輸入至殘差網路中的第一個殘差模組，第一個殘差模組輸出的第二優化特徵矩陣被輸入至第二個殘差模組，以此類推，透過最後一個殘差處理輸出第二特徵矩陣。
其中，首先可以利用殘差網路中的第一個殘差模組中的第二卷積單元透過第二卷積核執行對第一特徵矩陣的卷積操作，得到對應於第一個殘差模組的第二卷積特徵。例如本發明實施例的第二卷積單元採用的第二卷積核可以為3*3的卷積核，利用該卷積核可以執行針對第一特徵矩陣的卷積操作，並將各個像素點的卷積結果進行累加處理，得到最終的第二卷積特徵。同時，本發明實施例中，每個第二卷積單元採用的第二卷積核的個數可以為多個，透過該多個第一卷積核分別執行第一特徵矩陣的卷積操作，並進一步將相同像素點對應的卷積結果進行加和，得到第二卷積特徵，該第二卷積特徵實質上也為矩陣形式。在得到第二卷積特徵後，可以利用所述第一個殘差模組的第二啟動單元透過第二啟動函數對該第 二卷積特徵進行處理，得到針對第一個殘差模組的第二優化特徵矩陣。即，本發明實施例可以將第二卷積單元輸出的第二卷積特徵輸入至與之連接的第二啟動單元，利用該第二啟動函數對第二卷積特徵進行處理，例如將第二啟動函數乘以第二卷積特徵，得到第一個殘差模組的第二優化特徵矩陣。
進一步地，在得到第一個殘差模組的第二優化特徵矩陣之後，可以利用第二個殘差模組對第一個殘差模組輸出的第二優化特徵矩陣進行處理，得到與該第二個殘差模組對應的第二優化特徵矩陣，以此類推，分別得到與每個殘差模組對應的第二優化特徵矩陣，最終得到第二特徵矩陣。其中，每個殘差模組中的第二卷積單元所採用的第二卷積核可以為相同的卷積核，例如可以均為3*3的卷積核，本發明對此不作限制，但是各降採樣模組中的第一卷積單元採用的第二卷積核的數量可以相同，這樣可以獲得在不改變特徵矩陣的尺寸的情況下保證圖像的特徵資訊的豐富。
如表1所示，其中殘差網路可以包括九個殘差模組Res1-Res9。其中，每個殘差模組內可以包括第二卷積單元和第二啟動單元。本發明實施例各第二卷積單元可以利用相同的第二卷積核執行對輸入的特徵矩陣的卷積操作，但是每個第二卷積單元執行卷積操作的第二卷積核的個數相同。例如，從表1可以看出，各殘差模組res1至Res9可以執行相同的操作，其中可以包括利用第二 卷積單元的卷積操作以及第二啟動單元的處理操作。第二卷積核可以為3*3的卷積核，卷積的步長可以為1，但本發明對此不進行具體限定。
具體地，殘差模組Res1中第二卷積單元利用256個第二卷積核執行輸入的第一特徵矩陣的卷積操作，得到的第二卷積特徵，該第一卷積特徵相當於包括256個圖像的特徵資訊。在得到第二卷積特徵之後，利用第二啟動單元執行處理，例如將第二卷積特徵與第二啟動函數相乘積，得到最終的Res1的第二優化特徵矩陣。透過第二啟動單元的處理後，可以使特徵資訊更豐富。
對應地，第二個殘差模組Res2可以從Res1接收其輸出的第二優化特徵矩陣，並利用其內的第二卷積單元採用256個第二卷積核對該第二優化特徵矩陣執行卷積操作，第二卷積核為3*3的卷積核，按照預定步長(例如1)執行卷積操作，殘差模組Res2中第二卷積單元利用256個第二卷積核執行輸入的第二優化特徵矩陣的卷積操作，得到的第二卷積特徵，該第二卷積特徵包括256個圖像的特徵資訊。在得到第二卷積特徵之後，利用第二啟動單元執行處理，例如將第二卷積特徵與第二啟動函數相乘積，得到最終的Res2的第二優化特徵矩陣。透過第二啟動單元的處理後，可以使特徵資訊更豐富。
依此類推，後續的各殘差模組Res3-9都可以利用256 個第二卷積核對前一個殘差模組Res2-8輸出的第二優化特徵矩陣進行卷積操作，同樣的，步長為1，再進一步利用第二啟動單元對輸出的第二卷積特徵進行處理，得到Res3-9的第二優化特徵矩陣。其中Res9輸出的第二優化特徵矩陣即為殘差網路輸出的第二特徵矩陣。第四個降採樣模組D4的第一優化特徵矩陣，即第一特徵矩陣。
本發明實施例中，各殘差模組中採用的第二卷積核可以相同，執行卷積操作的步長可以相同，並且每個第二卷積單元執行卷積操作採用的第二卷積核的數量也相同。透過每個殘差模組執行處理後，都可以進一步豐富圖像的特徵資訊，進一步提高圖像的信噪比。
在透過步驟S204得到第二特徵矩陣之後，可以透過下一個優化過程對第二特徵矩陣進行進一步優化，得到輸出結果。例如可以將該第二特徵矩陣輸入至升採樣網路，升採樣網路可以執行第二特徵矩陣的第三組優化過程，並能夠進一步豐富深度特徵資訊。其中，在執行升採樣處理過程時，可以利用降採樣處理過程中得到的特徵矩陣對第二特徵矩陣執行升採樣處理得到優化特徵矩陣。例如透過降採樣處理時得到的第一優化特徵矩陣對第二特徵矩陣執行優化處理。
圖6示出根據本發明實施例的影像處理方法中的第三 組優化過程的示例性流程圖，所述對所述第二特徵矩陣執行第三組優化過程，得到輸出結果，包括下列步驟：S2051：透過第一個第三子優化過程執行所述第二特徵矩陣的第三卷積處理，得到第三卷積特徵，以及透過對該第三卷積特徵執行第三非線性映射處理，得到針對第一個第三子優化過程的第三優化特徵矩陣；S2052：將第k-1個第三子優化過程得到的第三優化特徵矩陣以及第G-k+2個第一子優化過程得到的第一優化特徵矩陣作為第k個第三子優化過程的輸入資訊，並透過第k個第三子優化過程執行該輸入資訊的第三卷積處理，並透過對該第三卷積處理得到的第三卷積特徵執行第三非線性映射處理，得到針對第k個第三子優化過程的第三優化特徵矩陣；S2053：基於第G個第三子優化過程輸出的第三優化特徵矩陣確定所述輸出結果對應的優化特徵矩陣，其中k為大於1且小於或者等於G的正整數，G表示第三子優化過程的數量。
本發明實施例可以利用升採樣網路執行步驟S205的過程，其中升採樣網路可以為單獨的神經網路，或者可以為一神經網路中的一部分網路結構，本發明對此不進行具體限定。本發明實施例中的升採樣網路執行的第三組優化過程可以作為優化處理的一個優化過程，例如可以為殘差網路對應的優化過程之後的一個優化 過程，可以進一步對第二特徵矩陣進行進一步的優化。該過程可以包括多個第三子優化過程，例如升採樣網路可以包括多個升採樣模組，其中每個升採樣模組可以依次連接，每個升採樣模組可以包括第三卷積單元和第三啟動單元，第三啟動單元透過與第三卷積單元相連接，來對輸出的第二特徵矩陣進行處理。對應的，步驟S205中的第三組優化過程可以包括多個第三子優化過程，每個第三子優化過程包括第三卷積處理以及第三非線性映射處理；也即每個升採樣模組可以執行一個第三子優化過程，升採樣模組內的第三卷積單元可以執行上述第三卷積處理，以及第三啟動單元可以執行上述第三非線性映射處理。
其中，可以透過第一個第三子優化過程執行從步驟S204得到的第二特徵矩陣的第一卷積處理，得到對應的第三卷積特徵，並利用第三啟動函數執行該第三卷積特徵的第一非線性映射處理，例如，利用第三啟動函數與該第三卷積特徵相乘，最終得到該第一個第三子優化過程的第三優化特徵矩陣，或者將第三卷積特徵帶入第三啟動函數相應的參數，得到啟動函數處理結果(第三優化特徵矩陣)。對應的，可以將該第一個第三子優化過程得到的第三優化特徵矩陣作為第二個第三子優化過程的輸入，利用第二個第三子優化過程對第一個第三子優化過程的第三優化特徵矩陣進行第三卷積處理，得到相應的第三卷積特徵，並利用第三啟動函數執 行該第三卷積特徵的第三啟動處理，得到該第二個第三子優化過程的第三優化特徵矩陣。
依此類推，可以透過第k個第三子優化過程執行第k-1個第三子優化過程得到的第三優化特徵矩陣的第三卷積處理，並透過對該第三卷積處理得到的第三卷積特徵執行第三非線性映射處理，得到針對第k個第三子優化過程的第三優化特徵矩陣，以及基於第G個第三子優化過程得到的第三優化特徵矩陣確定所述輸出結果對應的優化特徵矩陣，其中k為大於1且小於或者等於G的正整數，G表示第三子優化過程的數量。
或者，在另一些可能的實施方式中，從第二個第三子優化過程開始，可以將第k-1個第三子優化過程得到的第三優化特徵矩陣以及第G-k+2個第一子優化過程得到的第一優化特徵矩陣作為第k個第三子優化過程的輸入資訊，並透過第k個第三子優化過程執行該輸入資訊的第三卷積處理，並透過對該第三卷積處理得到的第三卷積特徵執行第三非線性映射處理，得到針對第k個第三子優化過程的第三優化特徵矩陣，以及基於第G個第三子優化過程輸出的第三優化特徵矩陣確定所述輸出結果對應的優化特徵矩陣，其中k為大於1且小於或者等於G的正整數，G表示第三子優化過程的數量。其中，所述第三子優化過程的數量與所述第一組優化過程包括的第一子優化過程的數量相同。
也就是說，可以將第一個第三子優化過程得到的第三優化特徵矩陣，以及第G個第一子優化過程得到的第一特徵矩陣，輸入到第二個第三子優化過程，透過第二個第三子優化過程對輸入資訊進行第三卷積處理，得到第三卷積特徵，透過第三啟動函數對該第三卷積特徵進行非線性函數映射處理，得到第二個第三子優化過程得到的第三優化特徵矩陣。進一步將第二個第三子優化過程得到的第三優化特徵矩陣以及G-1個第一子優化過程得到的第一優化特徵矩陣輸入到第三個第三子優化過程，執行第三卷積處理以及第三啟動函數處理，得到針對第三個第三子優化過程的第三優化特徵矩陣，依此類推，得到最後一個第三子優化過程對應的第三優化特徵矩陣，即為輸出結果對應的優化特徵矩陣。
其中，在執行每個所述升採樣過程的第一卷積處理時，每個第三卷積處理所採用的第三卷積核相同，並且至少一個第三子優化過程的第三卷積處理採用的第三卷積核的數量與其他第三子優化的第三卷積處理採用的第三卷積核的數量不同。即，本發明實施例各升採樣過程採用的卷積核均為第三卷積核，但是各個第三子優化過程中採用的第三卷積核的個數可以不同，對應不同的第三子優化過程可以選擇適配的數量來執行第三卷積處理。第三卷積核可以為4*4的卷積核，或者也可以為其他類型的卷積核，本發明對此不進行限定。另外，各升採樣過程採用的第三啟動函數相同。
其中，本發明實施例可以利用升採樣網路對所述第二特徵矩陣執行第三組優化過程，得到輸出結果對應的特徵矩陣，本發明實施例中，升採樣網路可以包括依次連接的多個升採樣模組，每個升採樣模組中可以包括第三卷積單元以及與所述第三卷積單元連接的第三啟動單元。
從步驟S204獲取的第二特徵矩陣可以被輸入至升採樣網路中的第一個升採樣模組，第一個升採樣模組輸出的第三優化特徵矩陣被輸入至第二個升採樣模組，並且，從對應的降採樣模組中輸出的第一優化特徵矩陣也可以被輸入至對應的升採樣模組中，因此，升採樣模組可以同時執行兩個輸入特徵矩陣的卷積操作，得到其對應的第三優化特徵矩陣，以此類推，透過最後一個升採樣模組處理輸出第三特徵矩陣。
其中，首先可以利用升採樣網路中的第一個升採樣模組中的第三卷積單元透過第三卷積核執行對第二特徵矩陣的卷積操作，得到對應於第一個升採樣模組的第三卷積特徵。例如本發明實施例的第三卷積單元採用的第三卷積核可以為4*4的卷積核，利用該卷積核可以執行針對第二特徵矩陣的卷積操作，並將各個像素點的卷積結果進行累加處理，得到最終的第二卷積特徵。同時，本發明實施例中，每個第三卷積單元採用的第三卷積核的個數可以為多個，透過該多個第三卷積核分別執行第二特徵矩陣的第二組優化 過程，並進一步將相同像素點對應的卷積結果進行加和，得到第三卷積特徵，該第三卷積特徵實質上也為矩陣形式。在得到第三卷積特徵後，可以利用所述第一個升採樣模組的第三啟動單元透過第三啟動函數對該第三卷積特徵進行處理，得到針對第一個升採樣模組的第三優化特徵矩陣。即，本發明實施例可以將第三卷積單元輸出的第三卷積特徵輸入至與之連接的第三啟動單元，利用該第三啟動函數對第三卷積特徵進行處理，例如將第三啟動函數乘以第三卷積特徵，得到第一個升採樣模組的第三優化特徵矩陣。
進一步地，在得到第一個升採樣模組的第三優化特徵矩陣之後，可以利用第二個升採樣模組對第一個升採樣模組輸出的第三優化特徵矩陣以及對應的降採樣模組輸出的第一優化特徵矩陣進行卷積操作，得到與該第二個升採樣模組對應的第三優化特徵矩陣，以此類推，分別得到與每個升採樣模組對應的第三優化特徵矩陣，最終得到第三特徵矩陣。其中，每個升採樣模組中的第三卷積單元所採用的第三卷積核可以為相同的卷積核，例如可以均為4*4的卷積核，本發明對此不作限制，但是各降採樣模組中的第三卷積單元採用的第三卷積核的數量可以不同，這樣可以逐漸透過升採樣的過程將圖像矩陣轉換成與輸入的原始圖像的尺寸相同的圖像矩陣，並能夠進一步增加特徵資訊。
在一種可能的實施例中，其中升採樣網路中的升採樣 模組的數量可以與降採樣網路中的降採樣模組的數量相同，其中對應的升採樣模組和降採樣模組的對應關係可以為：第k個升採樣模組與第G-k+2個降採樣模組對應，其中k為大於1的整數，以及G為升採樣模組的數量即降採樣模組的數量。例如第2個升採樣模組對應的降採樣模組為第G個降採樣模組，第3個升採樣模組對應的降採樣模組為第G-1個降採樣模組，第k個升採樣模組對應的降採樣模組為第G-k+2個降採樣模組。
如表1所示，本發明實施例可以包括四個升採樣模組U1-U4。其中，每個升採樣模組內可以包括第三卷積單元和第三啟動單元。本發明實施例各第三卷積單元可以利用相同的第三卷積核執行對輸入的特徵矩陣的卷積操作，但是每個第二卷積單元執行卷積操作的第一卷積核的個數可以不同。例如，從表1可以看出，各升採樣模組U1至U4可以分別利用不同的升採樣模組執行第三組優化過程操作，其中可以包括利用第三卷積單元的卷積操作以及第三啟動單元的處理操作。第三卷積核可以為4*4的卷積核，卷積的步長可以為2，但本發明對此不進行具體限定。
具體的，第一個升採樣模組U1中的第三卷積單元利用256個第三卷積核執行輸入的第二特徵矩陣的卷積操作，得到的第三卷積特徵，該第三卷積特徵相當於包括512個圖像的特徵資訊。在得到第三卷積特徵之後，利用第三啟動單元執行處理，例如將第 三卷積特徵與第三啟動函數相乘積，得到最終的第一個升採樣模組U1的第三優化特徵矩陣。透過第三啟動單元的處理後，可以使特徵資訊更豐富。
對應地，第二個升採樣模組U2可以從第一個升採樣模組U1接收其輸出的第三優化特徵矩陣以及從第四個降採樣模組D4輸出的第一特徵矩陣，並利用其內的第三卷積單元採用128個第二卷積核對第一個升採樣模組U1輸出的第三優化特徵矩陣和第四個降採樣模組D4輸出的第一特徵矩陣執行卷積操作。第二卷積核為4*4的卷積核，按照預定步長(例如2)執行卷積操作，第二個升採樣模組U2中第三卷積單元利用128個第三卷積核執行上述卷積操作，得到的第三卷積特徵，該第三卷積特徵包括256個圖像的特徵資訊。在得到第三卷積特徵之後，利用第三啟動單元執行處理，例如將第三卷積特徵與第三啟動函數相乘積，得到最終的第二個升採樣模組U2的第三優化特徵矩陣。透過第三啟動單元的處理後，可以使特徵資訊更豐富。
進一步地，第三個升採樣模組U3可以從第二個升採樣模組U2接收其輸出的第三優化特徵矩陣以及從第三個降採樣模組D3輸出的第一優化特徵矩陣，並利用其內的第三卷積單元採用64個第二卷積核對第二個升採樣模組U2輸出的第三優化特徵矩陣和第三個降採樣模組D3輸出的第一優化特徵矩陣執行卷積操作。第 二卷積核為4*4的卷積核，按照預定步長(例如2)執行卷積操作，第三個升採樣模組U3中第三卷積單元利用64個第三卷積核執行上述卷積操作，得到的第三卷積特徵，該第三卷積特徵包括128個圖像的特徵資訊。在得到第三卷積特徵之後，利用第三啟動單元執行處理，例如將第三卷積特徵與第三啟動函數相乘積，得到最終的第三個升採樣模組U3的第三優化特徵矩陣。透過第三啟動單元的處理後，可以使特徵資訊更豐富。
進一步地，第四個升採樣模組U4可以從第三個升採樣模組U3接收其輸出的第三優化特徵矩陣以及從第二個降採樣模組D2輸出的第一優化特徵矩陣，並利用其內的第三卷積單元採用3個第二卷積核對第三個升採樣模組U3輸出的第三優化特徵矩陣和第二個降採樣模組D2輸出的第一優化特徵矩陣執行卷積操作。第二卷積核為4*4的卷積核，按照預定步長(例如2)執行卷積操作，第四個升採樣模組U4中第三卷積單元利用3個第三卷積核執行上述卷積操作，得到的第三卷積特徵。在得到第三卷積特徵之後，利用第三啟動單元執行處理，例如將第三卷積特徵與第三啟動函數相乘積，得到最終的第四個升採樣模組U4的第三優化特徵矩陣。透過第三啟動單元的處理後，可以使特徵資訊更豐富。
本發明實施例中，各升採樣模組中採用的第三卷積核可以相同，執行卷積操作的步長可以相同，並且每個第三卷積單元 執行卷積操作採用的第三卷積核的數量可以不同。透過每個升採樣模組執行處理後，都可以進一步豐富圖像的特徵資訊，進一步提高圖像的信噪比。
在透過最後一個升採樣模組處理後得到第三特徵矩陣，該第三特徵矩陣可以為多個原始圖像對應的深度圖，其具有與原始圖像相同的尺寸，並且包括了豐富的特徵資訊(深度資訊等)，從而可以提高圖像的信噪比，利用該第三特徵矩陣即可以得到優化後的優化圖像。
另外，神經網路輸出的第三特徵矩陣也可以為多個原始圖像分別對應的優化後的圖像的特徵矩陣，透過該第三特徵矩陣可以得到對應的多個優化圖像。優化圖像與原始圖像相比，具有的特徵值更準確，透過得到的原始圖像可以得到優化的深度圖。
在本發明實施例中，在透過降採樣網路、升採樣網路以及殘差網路進行圖像優化的過程之前，還可以利用訓練資料訓練各網路。本發明實施例可以基於上述降採樣網路、升採樣網路以及殘差網路構成圖像資訊的神經網路，透過向該神經網路輸入第一訓練圖像對神經網路進行訓練。其中，本發明實施例的神經網路為訓練得到的生成對抗網路中的生成網路。
其中，在一些可能的實施方式中，針對神經網路能夠直接輸出原始圖像的深度圖的情況，在訓練神經網路時，可以將訓練 樣本集輸入至神經網路，該訓練樣本集包括多個訓練樣本，其中每個訓練樣本可以包括多個第一樣本圖像、多個第一樣本圖像對應的真實深度圖。透過神經網路對輸入的訓練樣本進行優化處理，得到與每個訓練樣本對應的預測深度圖。利用真實深度圖和預測深度圖之間的差異可以得到網路損失，根據該網路損失可以調整網路參數，直至滿足訓練要求。其中訓練要求為真實深度圖和預測深度圖之間的差異確定的網路損失小於損失閾值，該損失閾值可以為預先配置的值，如0.1，對此本發明不作具體限定。其中網路損失的運算式可以為：
Figure 108137267-A0305-02-0043-7
其中，L depth 表示網路損失(即深度損失)，N表示原始圖像的維 度(N*N維)，i和j分別表示像素點的位置，
Figure 108137267-A0305-02-0043-9
表示真實深度圖中 第i行第j列的像素點的真實深度值，
Figure 108137267-A0305-02-0043-8
表示預測深度圖中第i行第j 列的像素點的預測深度值，i和j分別為大於或者等於1且小於或者等於N的整數。
透過上述，即可以得到神經網路的網路損失，根據該網路損失可以回饋調節神經網路的網路參數，直至得到的網路損失小於損失閾值，此時可以確定為滿足訓練要求，得到的神經網路能夠準確的得到原始圖像對應的深度圖。
另外，針對神經網路得到的是與原始圖像對應的優化圖像的情況，本發明實施例可以基於深度損失和圖像損失一起監督神經網路的訓練過程，圖7示出根據本發明實施例的影像處理方法的另一流程圖，如圖5所示本發明實施例的所述方法還包括神經網路的訓練過程，其可以包括下列步驟：
S401：獲取訓練樣本集，所述訓練樣本集包括多個訓練樣本，其中每個訓練樣本可以包括多個第一樣本圖像、多個第一樣本圖像對應的多個第二樣本圖像，以及多個第二樣本圖像對應的深度圖，其中，第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於第一樣本圖像的信噪比；
S402：利用所述神經網路對所述訓練樣本集執行所述優化處理，得到針對所述訓練樣本集中的第一樣本圖像的優化結果，進而得到第一網路損失和第二網路損失；所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的，所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
S403：基於所述第一網路損失和第二網路損失得到神經網路的網路損失，並根據所述網路損失對所述神經網路的參數進行調 整，直至滿足預設要求。
本發明實施例可以向神經網路中輸入多個訓練樣本，每個訓練樣本可以包括多個低信噪比的圖像(第一樣本圖像)，例如可以為採用低爆光率獲取的圖像資訊。該第一樣本圖像可以是利用EPC660 TOF相機和Sony的IMX316 Minikit開發套件，在實驗室、辦公室、臥室、客廳、餐廳等不同場景中採集得到，本發明對於採集設備以及採集場景不作具體限定，只要是能夠獲得在低曝光率下的第一訓練圖像的情況，即可以作為本發明實施例。本發明實施例中的第一樣本圖像可以包括200(或其他數量)組資料，每組資料包含分別在曝光時間為200us、400us等低曝光時間和正常曝光時間或長曝光時間下的TOF原始測量資料、深度圖、振幅圖，其中TOF原始測量資料可以作為第一樣本圖像。
透過神經網路的優化處理得到對應的優化特徵矩陣，例如可以透過降採樣網路、殘差網路以及升採樣網路可以執行訓練樣本中的多個第一樣本圖像的優化過程，最終得到與各第一樣本圖像分別對應的優化特徵矩陣，即預測優化圖像。本發明實施例可以將第一樣本圖像對應的優化特徵矩陣與標準特徵矩陣進行對比，即將預測優化圖像與對應的第二樣本圖像對比，確定二者的差異。其中標準特徵矩陣為第一訓練圖像中各圖像對應的第二樣本圖像的特徵矩陣，即具有準確的特徵資訊(相位、振幅、像素值等資訊) 的圖像特徵矩陣。透過將預測的優化特徵矩陣與標準特徵矩陣進行對比，可以確定神經網路的第一網路損失。
其中，以每個訓練樣本中包括的第一樣本圖像為4個進行舉例說明，第一網路損失的運算式可以為：
Figure 108137267-A0305-02-0046-10
其中，L raw 表示第一網路損失，N表示第一樣本圖像、第二樣本 圖像、預測優化圖像的維度(N*N)，
Figure 108137267-A0305-02-0046-14
、
Figure 108137267-A0305-02-0046-15
、
Figure 108137267-A0305-02-0046-16
以及
Figure 108137267-A0305-02-0046-17
分別表示 訓練樣本中的4個第一樣本圖像的第i行第j列的真實特徵值，
Figure 108137267-A0305-02-0046-18
、
Figure 108137267-A0305-02-0046-11
、
Figure 108137267-A0305-02-0046-12
以及
Figure 108137267-A0305-02-0046-13
分別表示4個第一樣本圖像對應的4個預測優化圖像 的第i行第j列的預測特徵值。
透過上述方式即可以得到第一網路損失。另外，在得到訓練樣本中每個第一樣本圖像對應的預測優化圖像的情況下，還可以根據得到的預測優化圖像進一步確定與該多個第一樣本圖像對應的預測深度圖，即執行預測優化圖像的後處理，具體方式可以參照公式(1)的限定。對應地，在得到預測深度圖之後，可以進一步確定第二網路損失，即深度損失，具體可以根據上述公式(2)得到第二網路損失，在此不做重複說明。
在得到第一網路損失和第二網路損失之後，可以利用第一網路損失和第二網路損失的加權和得到神經網路的網路損失， 神經網路的網路損失的運算式為：L=αLdepth+βLraw 公式(4)
其中，L表示神經網路的網路損失，α和β分別為第一網路損失和第二網路損失的權重，其中權重值可以根據需求設定，例如可以均為1，或者也可以使得α和β的加和為1，本發明對此不作具體限定。
在一種可能的實施方式中，可以基於得到的網路參數回饋調節神經網路中採用的參數，如卷積核參數、啟動函數參數等等，例如，可以調整降採樣網路、殘差網路以及升採樣網路的參數，或者也可以將該差異輸入至適應度函數，根據獲得的參數值調節優化處理過程的參數，以及降採樣網路、殘差網路以及升採樣網路的參數。而後再透過調節參數後的神經網路重新對訓練樣本即進行優化處理，得到新的優化結果。如此重複，直至得到的網路損失滿足預設的訓練要求，如網路損失低於預設的損失閾值。其中在得到網路損失滿足預設要求時，說明神經網路的訓練完成，此時可以根據該訓練完成的神經網路執行低信噪比圖像的優化過程，具有較高的優化精度。
進一步地，為了進一步保證神經網路的優化精度，本發明實施例還可以利用對抗網路進一步驗證訓練好的神經網路的優化結果，如果判定的結果表示需要進一步優化該網路，則可以進一步調整神經網路的參數，直至對抗網路的判定結果表示神經網路已 經達到較好的優化效果。
圖8示出根據本發明實施例的影像處理方法的另一流程圖，其中本發明實施例中，在步驟S502之前以及在步驟S502之後，還可以包括下列步驟：
S501：獲取訓練樣本集，該訓練樣本集包括多個訓練樣本，每個訓練樣本可以包括多個第一樣本圖像以及與該多個第一樣本圖像對應的多個第二樣本圖像，以及多個第二樣本圖像對應的深度圖。
S502：利用所述神經網路對所述訓練樣本執行所述優化處理，得到優化結果。
在一些可能的實施方式中，得到的優化結果可以為經神經網路得到的與第一樣本圖像對應的預測優化圖像，或者也可以為第一樣本圖像對應的預測深度圖。
S503：將所述優化結果和對應的監督樣本(第二樣本圖像或者深度圖)輸入至對抗網路，透過所述對抗網路對該優化結果和監督樣本進行真假判定，在所述對抗網路生成的判定值為第一判定值時，回饋調節所述優化處理過程中採用的參數，直至所述對抗網路針對所述第一優化圖像與所述標準圖像的判定值為第二判定值。
本發明實施例中，在透過步驟S401-S403對神經網路進行訓練之後，還可以利用對抗網路對生成網路(神經網路)執行 進一步的優化，步驟S501中的訓練樣本集和步驟S401中的訓練樣本集可以相同，也可以不同，本發明對此不限定。
在透過神經網路得到訓練樣本集中的訓練樣本的優化結果時，可以將該優化結果輸入至對抗網路，同時還可以將對應的監督樣本(即真實的清晰的第二樣本圖像或者深度圖)輸入至對抗網路。對抗網路可以對優化結果和監督樣本進行真假判定，即如果二者的差異小於第三閾值，對抗網路可以輸出第二判定值，如1，此時說明優化後的神經網路的優化精度很高，對抗網路不能確定優化結果和監督樣本哪個為真哪個為假，此時無需再對神經網路進行進一步的訓練。
如果優化結果和監督樣本之間的差異大於或者等於第三閾值，對抗網路可以輸出第一判定值，如0，此時說明優化後的神經網路的優化精度不是很高，對抗網路可以區分優化結果和監督樣本，此時需要進一步對神經網路進行訓練。即需要根據優化結果和監督樣本之間的差異回饋調節所述神經樣網路的參數，直至所述對抗網路針對所述優化結果和監督樣本的判定值為第二判定值。透過上述配置，可以進一步提高圖像神經網路的優化精度。
綜上所述，本發明實施例可以應用在具有深度攝像功能的電子設備中，如TOF相機中，透過本發明實施例可以從低信噪比的原始圖像資料恢復出深度圖，使得優化後的圖像具有高解析 度，高幀率等效果，可以在不損失精度的情況下得以實現該效果。本發明實施例提供的方法可以應用于無人駕駛系統的TOF相機模組，從而實現更遠的探測距離和更高的探測精度。另外，本發明實施例還可以應用于智慧手機和智慧安防監控中，在不影響測量精度的前提下降低模組功耗，從而使TOF模組不影響智慧手機和安防監控的續航能力。
另外，本發明實施例還提供了一種影像處理方法，圖9示出根據本發明實施例的影像處理方法的另一流程圖，其中，所述影像處理方法可以包括下列步驟：S10：獲取透過飛行時間TOF感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；S20：透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
在一些可能的實施方式中，所述透過神經網路對所述 多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述方法還包括：對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對 應的深度圖。
在一些可能的實施方式中，所述神經網路執行的優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；其中，所述透過神經網路對所述多個原始圖像執行優化處理包括：將所述多個原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對所述第一組優化過程的優化特徵矩陣；將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，其中n為大於1且小於Q的整數；基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果。在一些可能的實施方式中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述透過神經網路對所述多個原始圖像執行優化處理包括：對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到 的。
在一些可能的實施方式中，在所述對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣之前，所述方法還包括：利用所述降採樣處理過程中得到的特徵矩陣對所述第二特徵矩陣執行所述升採樣處理，得到所述優化特徵矩陣。
在一些可能的實施方式中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的，所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
此外，本發明還提供了影像處理裝置、電子設備、電腦可讀取的記錄媒體以及電腦程式產品，上述均可用來實現本發明提供的任一種影像處理方法，相應技術方案和描述可參見方法部分的相應記載，不再贅述。
圖10示出根據本發明實施例的影像處理裝置的模組方塊圖，如圖10所示，所述影像處理裝置包括：一獲取模組10，用於獲取透過飛行時間TOF感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；一優化模組20，用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述處理包括至少一次卷積處理以及至少一次非線性函數映射處理。
在一些可能的實施方式中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述優化模組還用於將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述裝置還包括預處理模組，其用於對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述優化模組還用於將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
在一些可能的實施方式中，所述優化模組執行的所述優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；並且，所述優化模組還用於將所述原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對該第一組優化過程的優化特徵矩陣；以及將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣，作為第n+1組優化過程的輸入資訊進行優化處理，基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果，其中n為大於1且小於Q的整數，Q為優化過程的組數。
在一些可能的實施方式中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述優化模組包括：第一優化單元，用於對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；第二優化單元，對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；第三優化單元，用於對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
在一些可能的實施方式中，所述第三優化單元還用於利用所述降採樣處理過程中得到的特徵矩陣對所述第二特徵矩陣執行所述升採樣處理，得到所述優化特徵矩陣。
在一些可能的實施方式中，所述神經網路是透過訓練樣本集訓練得到的，其中，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於所述第一樣本圖像的信噪比；其中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練 樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的，所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
圖11示出根據本發明實施例的影像處理裝置的另一模組方塊圖，其中所述影像處理裝置可以包括：一獲取模組100，其用於獲取透過飛行時間TOF感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；一優化模組200，其用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
在一些可能的實施方式中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖 像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述優化模組還用於將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
在一些可能的實施方式中，所述影像處理裝置還包括：一預處理模組，其用於對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述優化模組還用於將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
在一些可能的實施方式中，所述神經網路執行的優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；其中，所述優化模組還用於：將所述多個原始圖像作為第一組優化過程的輸入資訊，透過所 述第一組優化過程的處理後得到針對所述第一組優化過程的優化特徵矩陣；將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，其中n為大於1且小於Q的整數；基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果。
在一些可能的實施方式中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述優化模組包括：第一優化單元，用於對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；第二優化單元，用於對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；第三優化單元，用於對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
在一些可能的實施方式中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的，所述第二網路損失是基於透過對所 述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
在一些實施例中，本發明實施例提供的影像處理裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀取的記錄媒體，其中儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀取的記錄媒體可以包括非易失性電腦可讀取的記錄媒體或者易失性電腦可讀取的記錄媒體。
本發明實施例還提出一種電子設備，包括：一處理器；一用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為能藉由執行儲存於處理器中的指令而實現上述方法。
本發明實施例還提供了一種電腦程式產品，其包括電腦可讀取的程式碼，當所述電腦程式碼被電子設備中的處理器執行時能實現上述方法。電子設備可以被提供為終端、伺服器或其它形態的設備。
圖12示出根據本發明實施例的電子設備的電路方塊圖。例如，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備或個 人數位助理等終端。
參照圖12，電子設備800可以包括以下一個或多個元件：處理元件802，記憶體804，電源元件806，多媒體元件808，音訊元件810，輸入/輸出(I/O)介面812，感測器元件814以及通信元件816。
處理元件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理元件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理元件802可以包括一個或多個模組，便於處理元件802和其他元件之間的交互。例如，處理元件802可以包括多媒體模組，以方便多媒體元件808和處理元件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令、連絡人資料、電話簿資料、消息、圖片、視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電可擦除可程式設計唯讀記憶體(EEPROM)，可擦除可程式設計唯讀記憶體(EPROM)，可程式設計唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源元件806為電子設備800的各種元件提供電力。電源元件806可以包括電源管理系統，一個或多個電源及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體元件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體元件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊元件810被配置為輸出和/或輸入音訊信號。例如，音訊元件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信元件816發送。在一些實施例中，音訊元件810還包 括一個揚聲器，用於輸出音訊信號。
輸入/輸出介面812為處理元件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器元件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器元件814可以檢測到電子設備800的打開/關閉狀態、元件的相對定位，例如所述元件為電子設備800的顯示器和小鍵盤，感測器元件814還可以檢測電子設備800或電子設備800的一個元件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器元件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器元件814還可以包括光感測器，如互補金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器元件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通信元件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線上網(WiFi)、第二代無線通訊技術(2G)或第三 代無線通訊技術(3G)，或它們的組合。在一個示例性實施例中，通信元件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信元件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術、紅外資料協會(IrDA)技術、超寬頻(UWB)技術、藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀取的記錄媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本發明實施例的另一電子設備的電路方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖13，電子設備1900包括處理元件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理元件1922執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外， 處理元件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源元件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入/輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如微軟伺服器作業系統(Windows ServerTM)、蘋果公司推出的基於圖形化使用者介面作業系統(Mac OS XTM)、多用戶多行程的電腦作業系統(UnixTM)、自由和開放原始碼的類Unix作業系統(LinuxTM)、開放原始碼的類Unix作業系統(FreeBSDTM)或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀取的記錄媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理元件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀取的記錄媒體，其中載有用於使處理器實現本發明的各個方面的電腦可讀取的程式指令或程式碼。
電腦可讀取的記錄媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀取的記錄媒體例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀取的記錄媒體的更具體的例子(非窮舉的列表)包括：可擕式電腦盤(隨身碟)、 硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構以及上述的任意合適的組合。這裡所使用的電腦可讀記錄媒體不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、透過波導或其他傳輸媒介傳播的電磁波(例如，透過光纖電纜的光脈衝)、或者透過電線傳輸的電信號。
這裡所描述的電腦可讀取的程式指令可以從電腦可讀取的記錄媒體下載到各個計算/處理設備，或者透過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀取的程式指令，並轉發該電腦可讀取的程式指令，以供儲存在各個計算/處理設備中的電腦可讀取的記錄媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意 組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言一諸如Smalltalk、C++等，以及常規的程式設計語言一諸如“C”語言或類似的程式設計語言。電腦可讀取的程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以透過任意種類的網路包括局域網(LAN)或廣域網路(WAN)連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來透過網際網路連接)。在一些實施例中，透過利用電腦可讀取的程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀取的程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀取的程式指令實現。
這些電腦可讀取的程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在透過電腦或其它可程式設計資料處理裝置的 處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀取的程式指令儲存在電腦可讀取的記錄媒體中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀取的介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀取的程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們 有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S100、S200:步驟

Claims (38)

  1. 一種影像處理方法，包括：獲取透過飛行時間感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；及透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述優化處理包括至少一次卷積處理以及至少一次非線性函數映射處理。
  2. 如請求項1所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；及對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
  3. 如請求項1所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
  4. 如請求項1至3其中任一項所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括： 將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
  5. 如請求項1至3其中任一項所述的影像處理方法，還包括：對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
  6. 如請求項1至3其中任一項所述的影像處理方法，其中，所述神經網路執行的優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；其中，所述透過神經網路對所述多個原始圖像執行優化處理包括：將所述多個原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對所述第一組優化過程的優化特徵矩陣；將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，其中n為大於1且小於Q的整數； 基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果。
  7. 如請求項6所述的影像處理方法，其中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述透過神經網路對所述多個原始圖像執行優化處理包括：對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
  8. 如請求項7所述的影像處理方法，其中，對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，包括：利用所述降採樣處理過程中得到的特徵矩陣對所述第二特徵矩陣執行所述升採樣處理，得到所述優化特徵矩陣。
  9. 如請求項1至3其中任一項所述的影像處理方法，其中，所述神經網路是透過訓練樣本集訓練得到的，其中，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一 物件的圖像，且第二樣本圖像的信噪比高於所述第一樣本圖像的信噪比；其中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的；所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
  10. 一種影像處理方法，包括：獲取透過飛行時間感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對 應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
  11. 如請求項10所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
  12. 如請求項10所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
  13. 如請求項10至12其中任一項所述的影像處理方法，其中，所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
  14. 如請求項10至12其中任一項所述的影像處理方法，還包括：對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一 種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述透過神經網路對所述多個原始圖像執行優化處理，得到多個所述原始圖像對應的深度圖，包括：將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
  15. 如請求項10至12其中任一項所述的影像處理方法，其中，所述神經網路執行的優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；其中，所述透過神經網路對所述多個原始圖像執行優化處理包括：將所述多個原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對所述第一組優化過程的優化特徵矩陣；將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，其中n為大於1且小於Q的整數；基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果。
  16. 如請求項15所述的影像處理方法，其中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理， 所述透過神經網路對所述多個原始圖像執行優化處理包括：對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
  17. 如請求項16所述的影像處理方法，其中，對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，包括：利用所述降採樣處理過程中得到的特徵矩陣對所述第二特徵矩陣執行所述升採樣處理，得到所述優化特徵矩陣。
  18. 如請求項10至12其中任一項所述的影像處理方法，其中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的； 所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
  19. 一種影像處理裝置，包括：一獲取模組，用於獲取透過飛行時間感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；及一優化模組，用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中所述處理包括至少一次卷積處理以及至少一次非線性函數映射處理。
  20. 如請求項19所述的影像處理裝置，其中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；且所述優化模組對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
  21. 如請求項19所述的影像處理裝置，其中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
  22. 如請求項19至21其中任一項所述的影像處理裝置，其中，所述優化模組還用於將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
  23. 如請求項19至21其中任一項所述的影像處理裝置，還包括一預處理模組，其用於對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述優化模組還用於將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
  24. 如請求項19至21其中任一項所述的影像處理裝置，其中，所述優化模組執行的所述優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；並且，所述優化模組還用於將所述原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對該第一組優化過程的優化特徵矩陣；以及所述優化模組將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣，作為第n+1組優化過程的輸入資訊進行優化處理，基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果，其中n為大於1且小於Q的整數，Q為優化過程的組數。
  25. 如請求項24所述的影像處理裝置，其中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述優化模組包括：一第一優化單元，用於對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；一第二優化單元，對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；及一第三優化單元，用於對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
  26. 如請求項25所述的影像處理裝置，其中，所述第三優化單元還用於利用所述降採樣處理過程中得到的特徵矩陣對所述第二特徵矩陣執行所述升採樣處理，得到所述優化特徵矩陣。
  27. 如請求項19至21其中任一項所述的影像處理裝置，其中，所述神經網路是透過訓練樣本集訓練得到的，其中，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件的圖像，且第二樣本圖像的信噪比高於所述第一樣本圖像的信噪比； 其中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的；所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
  28. 一種影像處理裝置，包括：一獲取模組，其用於獲取透過飛行時間感測器在同一次曝光過程中採集到的多個信噪比低於第一數值的原始圖像，其中，所述多個原始圖像中的相同像素點對應的相位參數值不同；及一優化模組，其用於透過神經網路對所述多個原始圖像執行優化處理，得到所述多個原始圖像對應的深度圖，其中神經網路是透過訓練樣本集訓練得到的，所述訓練樣本集包括的多個訓練樣本中的每個訓練樣本包括多個第一樣本圖像、所述多個第一樣本圖像對應的多個第二樣本圖像以及所述多個第二樣本圖像對應的深度圖，其中，所述第二樣本圖像和對應的第一樣本圖像為針對同一物件 的圖像，且第二樣本圖像的信噪比高於對應的所述第一樣本圖像的信噪比。
  29. 如請求項28所述的影像處理裝置，其中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像的多個優化圖像，其中，所述優化圖像的信噪比高於所述原始圖像；所述優化模組對所述多個優化圖像進行後處理，得到所述多個原始圖像對應的深度圖。
  30. 如請求項28所述的影像處理裝置，其中，所述優化模組還用於透過神經網路對所述多個原始圖像進行優化處理，輸出所述多個原始圖像對應的深度圖。
  31. 如請求項28至30其中任一項所述的影像處理裝置，其中，所述優化模組還用於將所述多個原始圖像輸入到神經網路進行優化處理，得到所述多個原始圖像對應的深度圖。
  32. 如請求項28至30其中任一項所述的影像處理裝置，還包括一預處理模組，其用於對所述多個原始圖像執行預處理，得到預處理後的所述多個原始圖像，所述預處理包括下列操作中的至少一種：圖像標定、圖像校正、任意兩個原始圖像之間的線性處理、任意兩個原始圖像之間的非線性處理；所述優化模組還用於將預處理後的所述多個原始圖像輸入至所述神經網路執行優化處理，得到多個所述原始圖像對應的深度圖。
  33. 如請求項28至30其中任一項所述的影像處理裝置，其中，所述神經網路執行的優化處理包括依次執行的Q組優化過程，每組優化過程包括至少一次卷積處理和/或至少一次非線性映射處理；其中，所述優化模組還用於：將所述多個原始圖像作為第一組優化過程的輸入資訊，透過所述第一組優化過程的處理後得到針對所述第一組優化過程的優化特徵矩陣；將第n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，或者將前n組優化過程輸出的優化特徵矩陣作為第n+1組優化過程的輸入資訊進行優化處理，其中n為大於1且小於Q的整數；基於第Q組優化過程處理後得到的優化特徵矩陣，得到輸出結果。
  34. 如請求項33所述的影像處理裝置，其中，所述Q組優化過程包括依次執行的降採樣處理、殘差處理和升採樣處理，所述優化模組包括：一第一優化單元，用於對所述多個原始圖像執行所述降採樣處理，得到融合所述多個原始圖像的特徵資訊的第一特徵矩陣；一第二優化單元，用於對所述第一特徵矩陣執行所述殘差處理，得到第二特徵矩陣；及 一第三優化單元，用於對所述第二特徵矩陣執行所述升採樣處理，得到優化特徵矩陣，其中，所述神經網路的輸出結果是基於所述優化特徵矩陣得到的。
  35. 如請求項28至30其中任一項所述的影像處理裝置，其中，所述神經網路為訓練得到的生成對抗網路中的生成網路；所述神經網路的網路損失值為第一網路損失和第二網路損失的加權和，其中，所述第一網路損失是基於所述神經網路透過對所述訓練樣本包括的多個第一樣本圖像進行處理得到的多個預測優化圖像與所述訓練樣本中包含的多個第二樣本圖像之間的差異得到的；所述第二網路損失是基於透過對所述多個預測優化圖像進行後處理得到的預測深度圖和所述訓練樣本包括的深度圖之間的差異得到的。
  36. 一種電子設備，包括：一處理器；及一用於儲存所述處理器可執行指令的記憶體；其中，所述處理器被配置為執行請求項1至9或10至18其中任一項所述的影像處理方法。
  37. 一種電腦可讀取的記錄媒體，其中儲存有電腦程式指令，所述電腦程式指令被處理器執行時能實現請求項1至9或10至18其中任一項所述的影像處理方法。
  38. 一種電腦程式產品，其包括電腦可讀取的程式碼，當所述電腦可讀取的程式碼被電子設備中的處理器執行時能實 現請求項1至9或10至18其中任一項所述的影像處理方法。
TW108137267A 2018-12-14 2019-10-16 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品 TWI717865B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811536144.3 2018-12-14
CN201811536144.3A CN109658352B (zh) 2018-12-14 2018-12-14 图像信息的优化方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202027033A TW202027033A (zh) 2020-07-16
TWI717865B true TWI717865B (zh) 2021-02-01

Family

ID=66114280

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108137267A TWI717865B (zh) 2018-12-14 2019-10-16 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品

Country Status (7)

Country Link
US (1) US20210110522A1 (zh)
JP (1) JP7072119B2 (zh)
KR (1) KR102538164B1 (zh)
CN (1) CN109658352B (zh)
SG (1) SG11202012776VA (zh)
TW (1) TWI717865B (zh)
WO (1) WO2020119026A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质
CN110426560B (zh) * 2019-06-28 2020-08-25 北京大学 一种脉冲阵列信号时空上采样器生成方法
KR102652117B1 (ko) * 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
WO2021016770A1 (zh) * 2019-07-26 2021-02-04 Oppo广东移动通信有限公司 一种信息处理方法、网络设备、用户设备
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
CN111358430B (zh) 2020-02-24 2021-03-09 深圳先进技术研究院 一种磁共振成像模型的训练方法及装置
CN111127371B (zh) * 2020-03-30 2020-07-07 南京安科医疗科技有限公司 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN113628123B (zh) * 2020-05-09 2026-01-13 深圳市中兴微电子技术有限公司 图像恢复模型的训练方法及装置、电子设备、可读介质
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
CN111539899A (zh) * 2020-05-29 2020-08-14 深圳市商汤科技有限公司 图像修复方法及相关产品
TWI775128B (zh) * 2020-08-13 2022-08-21 蔡明勳 手勢控制裝置及其控制方法
CN112318107A (zh) * 2020-10-23 2021-02-05 西北工业大学 一种基于深度相机的大型零部件孔轴自动装配对中测量方法
CN114821288A (zh) * 2021-01-29 2022-07-29 中强光电股份有限公司 图像辨识方法以及无人机系统
CN116260983B (zh) * 2021-12-03 2026-01-09 华为技术有限公司 图像编解码方法和装置
US12462046B2 (en) 2021-12-05 2025-11-04 PUFsecurity Corporation Electronic device and method for performing permission management of storage device
CN114723691B (zh) * 2022-03-28 2022-12-23 江苏新之阳新能源科技有限公司 基于人工智能的液压系统漏油故障程度检测方法
KR102822516B1 (ko) 2022-08-17 2025-06-23 한국과학기술연구원 인공지능 기반 크라운 디자인 자동화 방법 및 시스템
CN119399201B (zh) * 2025-01-02 2025-03-14 南京航空航天大学 基于生成对抗网络的电辅助渐进成形盲区温度预测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
TW201812700A (zh) * 2016-09-10 2018-04-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
JP2018067294A (ja) * 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质
TW201832179A (zh) * 2017-01-18 2018-09-01 美商輝達公司 使用一類神經網路過濾影像資料
US20180276841A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
TW201837854A (zh) * 2017-04-10 2018-10-16 南韓商三星電子股份有限公司 用於深度學習影像超解析度的系統及方法
US20180300591A1 (en) * 2017-04-12 2018-10-18 Youspace, Inc. Depth-value classification using forests
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN108885701A (zh) * 2016-03-13 2018-11-23 微软技术许可有限责任公司 使用机器学习的根据飞行时间的深度

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
CN105657402B (zh) * 2016-01-18 2017-09-29 深圳市未来媒体技术研究院 一种深度图恢复方法
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
CN108229673B (zh) * 2016-12-27 2021-02-26 北京市商汤科技开发有限公司 卷积神经网络的处理方法、装置和电子设备
US20180227566A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN108961184B (zh) * 2018-06-28 2021-04-20 北京邮电大学 一种深度图像的校正方法、装置及设备
CN108846842B (zh) * 2018-07-04 2021-04-27 武汉斗鱼网络科技有限公司 一种图像噪声检测方法、装置及电子设备
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885701A (zh) * 2016-03-13 2018-11-23 微软技术许可有限责任公司 使用机器学习的根据飞行时间的深度
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
TW201812700A (zh) * 2016-09-10 2018-04-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
JP2018067294A (ja) * 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
TW201832179A (zh) * 2017-01-18 2018-09-01 美商輝達公司 使用一類神經網路過濾影像資料
US20180276841A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
TW201837854A (zh) * 2017-04-10 2018-10-16 南韓商三星電子股份有限公司 用於深度學習影像超解析度的系統及方法
US20180300591A1 (en) * 2017-04-12 2018-10-18 Youspace, Inc. Depth-value classification using forests
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法

Also Published As

Publication number Publication date
TW202027033A (zh) 2020-07-16
JP7072119B2 (ja) 2022-05-19
US20210110522A1 (en) 2021-04-15
SG11202012776VA (en) 2021-02-25
WO2020119026A1 (zh) 2020-06-18
KR20210013149A (ko) 2021-02-03
JP2021531566A (ja) 2021-11-18
KR102538164B1 (ko) 2023-05-30
CN109658352B (zh) 2021-09-14
CN109658352A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
TWI717865B (zh) 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
US11532180B2 (en) Image processing method and device and storage medium
CN111462268B (zh) 图像重建方法及装置、电子设备和存储介质
TWI759647B (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
CN109614876B (zh) 关键点检测方法及装置、电子设备和存储介质
CN110909815B (zh) 神经网络训练、图像处理方法、装置及电子设备
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
TW202029125A (zh) 圖像處理方法及裝置、電子設備和儲存介質
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN111724361B (zh) 实时显示病灶的方法及装置、电子设备和存储介质
CN111931781A (zh) 图像处理方法及装置、电子设备和存储介质
TW202119281A (zh) 人臉識別方法、電子設備和儲存介質
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN111507131A (zh) 活体检测方法及装置、电子设备和存储介质
CN115170424B (zh) 一种心脏超声影像伪影去除方法及装置
CN111046780A (zh) 神经网络训练及图像识别方法、装置、设备和存储介质
CN114419325B (zh) 一种图像特征提取方法、装置、电子设备及存储介质
CN113435390B (zh) 人群定位方法及装置、电子设备和存储介质
CN112434714A (zh) 多媒体识别的方法、装置、存储介质及电子设备
CN111723715B (zh) 一种视频显著性检测方法及装置、电子设备和存储介质
CN113658038B (zh) 基于空间误差自适应的网络训练方法及装置
HK40004424A (zh) 图像信息的优化方法及装置、电子设备和存储介质
HK40004424B (zh) 图像信息的优化方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees