[go: up one dir, main page]

TWI882991B - 用於偵測在失真影像中之物體之方法、系統及裝置 - Google Patents

用於偵測在失真影像中之物體之方法、系統及裝置 Download PDF

Info

Publication number
TWI882991B
TWI882991B TW109108116A TW109108116A TWI882991B TW I882991 B TWI882991 B TW I882991B TW 109108116 A TW109108116 A TW 109108116A TW 109108116 A TW109108116 A TW 109108116A TW I882991 B TWI882991 B TW I882991B
Authority
TW
Taiwan
Prior art keywords
sliding window
single image
image
distortion
distorted
Prior art date
Application number
TW109108116A
Other languages
English (en)
Other versions
TW202042178A (zh
Inventor
漢普斯 林森
嵩 袁
約翰 佛博格
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202042178A publication Critical patent/TW202042178A/zh
Application granted granted Critical
Publication of TWI882991B publication Critical patent/TWI882991B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本發明係關於一種用於使用一滑動窗演算法偵測在一第一失真影像(600)中之一物體之方法(S300)、電腦程式產品、裝置(100)及系統(800)。該方法(S300)包括：接收(S302)該第一失真影像(600)之一失真之一數學表示之一反算；其中一物體之該偵測包括在該第一失真影像(600)上方滑動(S304)一滑動窗(620)且針對該第一失真影像(600)中之複數個位置之各位置(630、634、638)：基於在該位置(630、634、638)處之該失真之該數學表示之該反算轉換(S306)該滑動窗(620)；及在用於該第一失真影像(600)中之該位置(630、634、638)處之物體偵測之該滑動窗演算法中使用(S308)經轉換滑動窗(720、724、728)。

Description

用於偵測在失真影像中之物體之方法、系統及裝置
本發明係關於一種用於偵測在一失真影像中之一物體之方法、裝置及系統。
用於相機應用之一重要領域係一位置之監測。在監測應用中，通常使用廣泛範圍之不同影像處理演算法處理經監測位置之視訊。例如，實施自動偵測經記錄視訊中之運動之演算法係常見的。一重要特徵之另一實例係經擷取影像中之物體偵測。一典型方法則係比較經擷取影像與一參考資料庫中之影像。在物體偵測演算法匹配經擷取影像及參考資料庫中之影像中之特徵時，偵測及辨識一物體。
然而，此一演算法存在若干問題。例如，對參考資料庫中之影像存在高要求。例如，此等影像必須反映廣泛範圍之物體同時以一可識別方式描繪物體。因此，物體通常在不同照明條件下且自廣泛範圍之方向成像。因此，一參考資料庫含有一大組參考影像係常見的。
然而，經擷取影像很少在理想成像條件下擷取。例如，經擷取影像可經受低亮度或失真。存在一系列不同影像失真源，例如，廣角透鏡(諸如魚眼透鏡及光學圓頂)及用於提供一全景影像之拼接技術之使 用。
無關於(若干)失真源及其形狀，當分析一影像時，一失真係一挑戰。例如，許多物體偵測演算法在應用至失真影像時經受嚴重影響，此係因為大多數演算法經設計以應用至非失真影像。因此，一處理器偵測失真影像中之物體變得運算密集。
因此，需要用於非理想影像中之物體偵測之一經改良演算法。
鑑於上文，本發明概念之一目的係消除或至少緩解此項技術中之上文識別之缺陷或問題之一或多者。特定言之，目的係提供一種用於偵測在一失真影像中之一物體之方法、系統及裝置。
根據一第一態樣，提供一種用於使用一滑動窗演算法偵測在一第一失真影像中之一物體之方法。該方法包括：接收該第一失真影像之一失真之一數學表示之一反算；其中一物體之該偵測包括在該第一失真影像上方滑動一滑動窗且針對該第一失真影像中之複數個位置之各位置：基於在該位置處之該失真之該數學表示之該反算轉換該滑動窗；且在用於該第一失真影像中之該位置處之物體偵測之該滑動窗演算法中使用經轉換滑動窗。
在本申請案之背景內容內，字詞「失真影像」應解釋為具有一失真視角之一影像。在一失真影像中，場景中之直線通常彎曲至某一程度。相比之下，一完美直線影像具有對應於一經描繪場景中之直線之完美直線。在本申請案之背景內容內，論述兩個類型之失真源：實體失真源及數位失真源。實體失真源之非限制性實例係廣角透鏡，包含魚眼透鏡 (例如，f-θ透鏡)、光學圓頂及不完美直線透鏡。一透鏡中之不完美可由製造不精確性引起。數位失真源之非限制性實例係(例如)用於自複數個影像產生一全景影像之影像拼接演算法。失真型樣可係不規則或規則的(諸如徑向失真)。一經擷取影像之失真型樣可係來自失真源之一者或一組合之結果。
在本申請案之背景內容內，字詞「滑動窗演算法」應解釋為包括一滑動窗之一物體偵測演算法。滑動窗係最初具有一預定寬度及高度之跨一影像移動之一矩形區域。比較存在於由滑動窗界定之區域中之影像特徵與參考特徵之一資料庫以便偵測影像中之物體。滑動窗中之一特徵偵測型樣可係基於參考特徵之資料庫。滑動窗演算法可使用複數個特徵偵測型樣使得一第一滑動窗包括一第一特徵偵測型樣，且一第二滑動窗包括一第二特徵偵測型樣等。藉此，滑動窗演算法可藉由使用複數個不同滑動窗及特徵偵測型樣而偵測複數個不同特徵。滑動窗演算法可係一基於卷積之演算法。
在本申請案之背景內容內，字詞「失真之數學表示」應解釋為在應用至一直線影像時導致失真影像之一影像轉換之一數學描述。應理解，前述失真可數學上表示為多項式、矩陣或查找表。例如，數學表示可係描述在擷取失真影像時使用之一魚眼透鏡之一轉換函數之一多項式/矩陣。查找表可包括在由直線(或非失真)影像中之座標編索引之失真影像中之座標或反之亦然。
藉由本方法，滑動窗演算法可用於偵測失真影像(諸如第一失真影像)中之物體。因此，與第一失真影像相關聯之影像資料不需要在使用滑動窗演算法進行物體偵測之前經轉換/反扭曲校正。藉此，降低與 影像轉換相關之一運算成本。例如，可完全減少或移除在物體偵測之前將一曲線影像轉換為一直線影像之需要。藉此，減少對於影像轉換之一需要可減少與此等影像轉換相關之任何不必要的影像裁切。因此，將歸因於影像裁切而移除之區域中之影像特徵可包含於滑動窗演算法中，且藉此可偵測存在於此等區域中之物體。
此外，由於第一失真影像不需要經轉換/反扭曲校正，故不需要內插與第一失真影像相關聯之影像資料。藉此，可降低與滑動窗演算法相關聯之一運算成本，此係因為滑動窗演算法不需要包含在影像內插中產生之影像資料。經內插影像資料不包括並非已存在於與經擷取影像相關聯之影像資料中之額外資訊，因此包含在滑動窗演算法中之影像內插中產生之影像資料僅增加一運算成本而無實際影像資訊之一對應增加。
此外，由於第一失真影像不需要轉換，故本發明方法可在一影像處理管線中之早期執行。在影像處理管線中之早期執行本發明且藉此偵測物體可容許使用經偵測物體作為用於影像處理管線中之後續步驟之輸入而不延遲影像處理管線中之後續步驟，藉此容許與影像處理管線相關之一較短處理時間。例如，經偵測物體可用作用於計算由影像處理管線形成之一視訊串流之編碼器設定及/或用於繪製由影像處理管線形成之視訊串流中之疊對(諸如邊界框)之輸入。與在影像處理管線中之早期偵測物體相關聯之一進一步優點係針對僅用於偵測物體之一分析相機，可不需要執行影像處理管線中之後續步驟。因此，由於可不需要分析相機以輸出一視訊串流，故藉此可降低分析相機之一功率消耗。
轉換滑動窗之步驟可包括轉換滑動窗之一特徵偵測型樣。
在本申請案之背景內容內，字詞「特徵偵測型樣」應解釋 為滑動窗演算法用以偵測一特定特徵之一型樣。應理解，滑動窗演算法可包括複數個不同特徵偵測型樣。例如，一特徵偵測型樣可用於偵測具有各種角度之影像圖框中之邊緣。特徵偵測型樣亦可用於偵測影像圖框中之一人、一人之一特定面部或其他物體，諸如一汽車、狗等。
可基於在滑動窗之位置處之失真之數學表示之反算轉換特徵偵測型樣。
轉換滑動窗之特徵偵測型樣之一優點係可偵測在第一失真影像中之失真特徵。藉此，滑動窗演算法可偵測在第一失真影像中之失真物體。
轉換滑動窗之特徵偵測型樣之一進一步優點係特徵偵測型樣可經調適至第一失真影像之一空間解析度，此係因為第一失真影像之空間解析度可跨第一失真影像變動。例如，在具有低空間解析度之區域中，可在滑動窗演算法中使用一較粗特徵偵測型樣，且藉此降低與滑動窗演算法相關聯之一運算成本。
在本申請案之背景內容內，字詞「空間解析度」應理解為一影像圖框之一空間解析度。在透過(例如)一廣角透鏡獲取或自多個影像圖框拼接之一失真影像中，影像之不同區域具有不同空間解析度。換言之，影像圖框之相等大小之區域覆蓋相機之視野(FOV)之不同大小之角度。空間解析度可以一影像圖框之一像素級指定，或可以一像素子群組級(例如，以一巨集區塊級)判定。可將空間解析度表達為每一FOV角之像素之數目或為每一像素之FOV角之量。熟習此項技術者熟習如何取決於應用而在此等表達之間互換。例如，在根據本申請案之一方法之一實施方案中，使用此等表達之一者可係較佳的。一空間解析度分佈可由(例如)指示 像素或像素子群組(例如，巨集區塊)之空間解析度分佈之一表表示。
轉換滑動窗之步驟可包括轉換滑動窗之一大小。
可基於在滑動窗之位置處之失真之數學表示之反算轉換滑動窗之大小。應理解，可獨立於滑動窗之寬度轉換滑動窗之高度。
轉換滑動窗之大小之一優點係滑動窗之大小可經調適成適於第一失真影像之空間解析度，此係因為第一失真影像之空間解析度可跨第一失真影像變動。藉此，可降低與滑動窗之大小相關聯之一運算成本。
方法可進一步包括：使用經轉換滑動窗作為一卷積神經網路之一第一層中之核心。
在本申請案之背景內容內，字詞「卷積神經網路」應解釋為用於影像分類之一演算法。可在使用演算法進行物體偵測之前訓練演算法。此訓練導致與特定影像特徵相關之卷積濾波器之一資料庫。當卷積神經網路用於物體偵測時，對一輸入影像執行複數個卷積，其中複數個卷積中之各卷積使用不同卷積濾波器。換言之，第一層係將一卷積操作(使用經轉換核心)應用至輸入(影像圖框之影像資料)，從而將結果傳遞至下一層之一卷積層。各卷積導致與卷積濾波器相關聯之一影像特徵圖。源自複數個卷積之特徵圖接著用於形成一最終輸出。最終輸出可接著用於偵測輸入影像中之一物體。
與使用經轉換滑動窗作為一卷積神經網路之一第一層中之核心相關聯之一優點係可不需要第一失真影像之一影像轉換。藉此，可降低與影像轉換相關聯之一運算成本。
方法可進一步包括：針對第一失真影像中之複數個位置之各位置儲存經轉換滑動窗。
與針對第一失真影像中之複數個位置之各位置儲存經轉換滑動窗相關聯之一優點係可在一隨後時間使用經轉換滑動窗。例如，經轉換滑動窗可在影像處理管線中隨後用於額外運算。由於失真在影像之間相同，故不需要針對各影像圖框轉換滑動窗之特徵偵測型樣及/或大小。針對第一失真影像中之複數個位置之各位置儲存經轉換滑動窗藉此促進經轉換滑動窗在以與第一失真影像相同之方式擷取之其他失真影像中之物體偵測中之重用，此繼而可降低與多個失真影像中之物體偵測相關聯之運算時間及運算成本。
經轉換滑動窗可儲存於由第一失真影像中之複數個位置之位置編索引之一查找表中。
與將經轉換滑動窗儲存於由第一失真影像中之複數個位置之位置編索引之一查找表中相關聯之一優點係其可容許經轉換滑動窗之一簡化檢索，且藉此降低相關聯運算成本。
假使對複數個失真影像執行方法，則複數個失真影像之各者中之一物體之偵測可包括使用用於第一失真影像中之物體偵測之經轉換滑動窗。
由於可針對複數個失真影像執行一次滑動窗之轉換，故可降低與滑動窗之轉換相關聯之運算成本，此係因為不需要針對複數個失真影像中之各失真影像轉換滑動窗。
此外，由於可針對複數個失真影像中之一個失真影像執行滑動窗之轉換，故相較於如在先前技術系統中之複數個失真影像中之各失真影像之轉換，可降低運算成本。換言之，可藉由本發明方法降低與複數個失真影像中之物體偵測相關之運算成本。
該方法可進一步包括將複數個經轉換影像編碼為一經轉換視訊串流。
失真可包括一光學失真。光學失真可包括一鏡筒失真、一針墊失真及/或一觸鬚失真。光學失真可包括成像光學器件之一光學軸與一影像感測器之間之一錯位。光學失真可包括一切向失真。
失真可包括應用至影像資料之一影像轉換，藉此形成失真影像。
影像轉換可包括一影像濾波器。影像轉換可包括一影像拼接。可拼接複數個主要影像以形成全景影像。失真影像可係經形成全景影像。熟習此項技術者意識到，經形成全景影像可由於影像拼接而包括失真特徵。
與包括應用至影像資料之一影像轉換藉此形成失真影像之失真相關聯之一優點係可在應用滑動窗演算法進行物體偵測之前對與影像資料相關聯之失真影像進行濾波。藉此，可在物體偵測之前減少或移除存在於影像資料中之某些特徵。
與包括一影像拼接之失真相關聯之一優點係其可容許本發明方法偵測全景影像中之物體。
轉換滑動窗之步驟可經硬體實施。例如，特徵偵測型樣之轉換可有利地在硬體(諸如一圖形處理單元(GPU))中執行。
根據一第二態樣，提供一種電腦程式產品。該電腦程式產品包括具有指令調適器之一電腦可讀儲存媒體，該指令調適器在藉由具有處理能力之一裝置執行時實行本發明方法。
電腦可讀儲存媒體可係一非暫時性電腦可讀儲存媒體。
方法之上文提及之特徵視情況亦適用於此第二態樣。為了避免不必要的重複，參考上文。
根據一第三態樣，提供一種經配置用於使用一滑動窗演算法偵測在一第一失真影像中之一物體之裝置。該裝置包括：一影像接收器，其經配置用於接收該第一失真影像；一失真接收器，其經配置用於接收該第一失真影像之一失真之一數學表示之一反算；及至少一個處理器，其經配置以：在該第一失真影像中之複數個位置上方滑動一滑動窗，且針對該第一失真影像中之複數個位置之各位置：基於在該位置處之該失真之該數學表示之該反算轉換該滑動窗；且在用於該第一失真影像中之該位置處之物體偵測之該滑動窗演算法中使用經轉換滑動窗。
方法及/或電腦程式產品之上文提及之特徵視情況亦適用於此第三態樣。為了避免不必要的重複，參考上文。
裝置可進一步包括經組態用於針對失真影像中之複數個位置之各位置儲存經轉換滑動窗之一非暫時性儲存媒體。
裝置可係一相機。
根據一第四態樣，提供一種經配置用於使用一滑動窗演算法偵測一失真影像中之一物體之系統。該系統包括：一相機，其經配置用於擷取一場景之失真影像；及本發明裝置；其中該裝置之影像接收器經配置用於接收由該相機擷取之該場景之該等失真影像。
方法、電腦程式產品及/或裝置之上文提及之特徵視情況亦適用於此第四態樣。為了避免不必要的重複，參考上文。
自下文給出之詳細描述將變得明白本發明之適用性之一進一步範疇。然而，應理解，詳細描述及特定實例在指示本發明概念之較佳 變體時僅藉由圖解給出，此係因為自此詳細描述，熟習此項技術者將變得明白在發明概念之範疇內之各種改變及修改。
因此，應理解，此發明概念不限於所描述方法之特定步驟或所描述系統之組件部分，此係因為此方法及系統可變動。亦應理解，本文中使用之術語僅係為了描述特定實施例之目的，且不旨在限制。必須注意，如在說明書及隨附發明申請專利範圍中使用，冠詞「一」、「一個」、「該」及「該等」旨在意謂存在一或多個元件，除非背景內容另外清楚指定。因此，例如，提及「一單元」或「該單元」可包含若干裝置及類似者。此外，字詞「包括」、「包含」、「含有」及類似字詞不排除其他元件或步驟。
100:裝置
102:影像接收器
104:失真接收器
106:處理器
108:非暫時性儲存媒體
110:編碼器
112:資料匯流排
200:相機
202:光學器件
500:場景
510:直線
512:直線
514:直線
516:直線
518:直線
600:失真影像
610:彎曲線
612:彎曲線
614:彎曲線
616:彎曲線
618:彎曲線
620:滑動窗
630:位置
634:位置
638:位置
700:特徵偵測型樣
720:經轉換滑動窗
724:經轉換滑動窗
728:經轉換滑動窗
800:系統
810:相機
812:成像光學器件
S300:方法
S302:接收
S304:滑動
S306:轉換
S308:使用
S310:轉換
S312:轉換
S314:使用
S316:儲存
現將參考展示本發明之實施例之隨附圖式更詳細描述本發明之上文及其他態樣。不應將圖視為將本發明限於特定實施例，代替性地，其等用於解釋及理解本發明。
如圖中繪示，層及區域之大小為了闡釋性目的而放大且因此，經提供以繪示本發明之實施例之一般結構。貫穿圖式，相同元件符號係指相同元件。
圖1A繪示經配置用於使用一滑動窗演算法偵測在一失真影像中之一物體之裝置。
圖1B繪示一相機。
圖2A繪示包括直線之一場景。
圖2B繪示圖2A中之場景之一失真影像。
圖2C繪示一特徵偵測型樣及複數個經轉換滑動窗。
圖3係用於使用一滑動窗演算法偵測在一第一失真影像中之一物體之一方法之一方塊圖。
圖4繪示經配置用於偵測一失真影像中之一物體之一系統。
現將參考其中展示發明概念之當前較佳變體之隨附圖式在下文更完整描述本發明概念。然而，此發明概念可以許多不同形式實施且不應解釋為限於本文中闡述之變體；實情是，此等變體係為了透徹及完整性提供，且對熟習此項技術者完全傳達本發明概念之範疇。
在特徵在影像中變形時，偵測失真影像中之物體可係有問題的。因此，一解決方案係在應用一物體偵測演算法之前對失真影像進行反扭曲校正。反扭曲校正係將一失真影像反轉為一線性投射影像(物體偵測演算法針對其工作更佳)之一程序。然而，反扭曲校正自身係使處理器承受負擔且亦耗費(例如)處理器中之有價值的資源(諸如時間、功率及頻寬)之一運算量非常大的操作。再者，反扭曲校正使相機系統中之定標器單元(其係一有限資源)承受負擔且因此亦需要存取定標器之其他程序可經受影響。
本發明者已意識到，藉由在一滑動窗演算法中轉換一滑動窗，可直接在失真影像中偵測物體。因此，使用本發明概念，不需要在應用滑動窗演算法進行物體偵測之前對失真影像進行反扭曲校正。現將參考圖1至圖4描述本發明概念。
圖1A至圖1B繪示經配置用於使用一滑動窗演算法偵測在一第一失真影像600中之一物體之一裝置100。現將結合圖2A至圖2C解釋 裝置之功能性。
裝置100包括一影像接收器102。影像接收器102經配置用於接收第一失真影像(參見下文之圖2B，參考600)。第一失真影像600可係一視訊串流中之一圖框。影像接收器102可經配置以自一影像感測器接收影像資料。影像接收器102可係一影像感測器。
裝置100進一步包括一失真接收器104。失真接收器104經配置用於接收第一失真影像600之一失真之一數學表示之一反算。失真可包括一光學失真。可使用一準直器判定光學失真。可基於一已知平坦目標之一失真影像判定失真。一已知平坦目標可包括一變動及/或重複型樣。例如，已知平坦目標可包括具有已知幾何形狀之一重複型樣。重複型樣可係一棋盤式型樣。
失真可包括應用至影像資料之一影像轉換，藉此形成失真影像。影像失真可與用於形成一全景影像之影像之一拼接相關聯。在一些變體中，失真係一光學失真及應用至經擷取影像資料之一影像轉換之一組合。
影像接收器102及失真接收器104可係一單一接收器。
裝置100進一步包括至少一個處理器106。至少一個處理器106經配置以在第一失真影像600中之複數個位置上方滑動一滑動窗620，且針對第一失真影像600中之複數個位置之各位置630、634、638：基於在位置630、634、638處之失真之數學表示之反算轉換滑動窗620；且在用於第一失真影像600中之位置630、634、638處之物體偵測之滑動窗演算法中使用經轉換滑動窗720、724、728。
滑動窗620可包括一特徵偵測型樣700。複數個特徵偵測型 樣可自與裝置100通信之一伺服器(圖中未展示)接收或儲存於裝置100中。複數個特徵偵測型樣可由一訓練程序預定。訓練程序可使用包括所關注特徵之複數個影像。訓練程序可使用不包括所關注特徵之複數個影像。例如，訓練程序可使用包括汽車之複數個影像及不包括汽車之複數個影像。
訓練程序可包括用於判定將最佳匹配所關注特徵之一卷積神經網路(CNN)之核心之一最佳化技術。在一CNN中，第一層始終係使用一滑動窗演算法及一組經定義核心之一卷積層。在一典型CNN案例中，各卷積層具有其自身之卷積核心組，應基於CNN之物體偵測案例(所關注特徵，例如，汽車、人等)訓練該卷積核心組之權重。如上文描述，針對一失真影像，經定義核心可並非始終足夠。使用本文中描述之發明概念，可基於失真之數學表示之反算及失真影像中之位置轉換CNN之一卷積層之核心組之特徵偵測型樣及/或大小。因此，失真影像可用作至CNN之輸入，且可代替性地轉換CNN之核心，尤其第一層之核心，但另外/替代地，亦針對CNN之其他卷積層。
至少一個處理器106可進一步經配置以拼接自(例如)一相機之影像感測器接收之影像以形成一全景影像。第一失真影像600可係經形成全景影像。
裝置100可進一步包括如圖1A中例示之一非暫時性儲存媒體108。非暫時性儲存媒體108可經組態用於針對第一失真影像600中之複數個位置之各位置630、634、638儲存經轉換滑動窗720、724、728。非暫時性儲存媒體108可進一步經組態以儲存由影像接收器102接收之失真影像。非暫時性儲存媒體108可進一步經組態以儲存與一特定相機及/或相機模型相關之失真及/或失真之反算。假使失真儲存於儲存媒體108中，則 可採用至少一個處理器106以計算失真之反算。非暫時性儲存媒體108可進一步經組態以儲存複數個特徵偵測型樣。
裝置100可進一步包括如圖1A中例示之一編碼器110。編碼器110可經配置用於將經轉換影像編碼為一進一步視訊串流。非暫時性儲存媒體108可進一步經組態以儲存進一步視訊串流。
裝置100可包括如圖1A中例示之一資料匯流排112。影像接收器102、失真接收器104、至少一個處理器106、非暫時性儲存媒體108及/或編碼器110可經由資料匯流排112通信。
裝置100可係一相機200，如圖1B中例示。相機200可包括光學器件202，如圖1B中例示。光學器件202可係成像光學器件。成像光學器件可係一相機物鏡。光學器件可使一場景500成像。裝置100可經配置以產生場景500之一全景影像。至少一個處理器106可進一步經配置以拼接影像以形成場景500之一全景影像。
現將參考圖2A至圖2C進一步描述本發明概念。圖2A繪示包括複數個直線510、512、514、516、518之一場景500。場景500之一直線影像將重現直線510、512、514、516、518。然而，影像通常失真，此如圖2B中之一鏡筒失真例示。圖2B繪示圖2A中之場景500之一失真影像600。如圖2B中例示，場景500中之直線510、512、514、516、518在失真影像600中呈現為彎曲線610、612、614、616、618。如失真影像600中例示，失真跨失真影像600變動。例如，在失真影像600之中心附近，場景500中之直線514經成像為失真影像600中之一彎曲線614。在失真影像600之邊緣附近，場景500中之直線510、518經成像為失真影像600中之彎曲線610、618。換言之，針對圖2B中例示之失真，失真在失真影像 600之中心中更小且朝向失真影像600之邊緣更大。因此，失真之一程度及形狀取決於失真自身及失真影像600中之一位置630、634、638。
在圖2B中，展示一滑動窗620。為了正確地識別失真影像600中之特徵，可基於失真之一反算且基於失真影像600中之位置630、634、638轉換一特徵偵測型樣700。在圖2C中展示之實例中，特徵偵測型樣700與一直線相關聯。將特徵偵測型樣700直接應用至失真影像600將(例如)未能正確地偵測與失真影像600中之一第一位置630處及一第三位置638處之直線相關之特徵。然而，將特徵偵測型樣700直接應用至失真影像600將(例如)正確地偵測與失真影像600中之一第二位置634處之直線相關之特徵。因此，為了使滑動窗演算法正確地識別與特徵偵測型樣700相關之特徵，可基於失真影像600中之各位置630、634、638之失真之一反算轉換滑動窗620。此由包括針對失真影像600中之三個不同位置630、634、638之圖2C中之經轉換特徵偵測型樣之三個經轉換滑動窗720、724、728例示。藉此，將滑動窗演算法中之經轉換滑動窗720、724、728應用至失真影像600將針對失真影像600中之各位置630、634、638正確地識別與特徵偵測型樣700相關之特徵。
應理解，圖2A中繪示之場景500中之直線510、512、514、516、518、圖2B中之光學失真及圖2C中之特徵偵測型樣700僅係實例，且其等在此處描述以便解釋本發明概念。應理解，本發明概念可使用不同影像特徵(例如，真實世界物體)及不同失真(例如，針墊失真、觸鬚失真及/或影像拼接)解釋。
圖3係用於使用一滑動窗演算法偵測在一第一失真影像600中之一物體之一方法S300之一方塊圖。方法S300包括接收S302第一失真 影像600之一失真之一數學表示之一反算。
失真可包括一光學失真。光學失真可包括一鏡筒失真、一針墊失真及/或一觸鬚失真。光學失真可包括成像光學器件之一光學軸與一影像感測器之間之一錯位。
失真可包括應用至影像資料之一影像轉換，藉此形成失真影像。影像轉換可包括一影像拼接。影像拼接可拼接複數個主要影像以形成一全景影像。失真影像可係一全景影像。
應理解，失真影像可包括一光學失真及應用至影像資料之一影像轉換。
一物體之偵測包括在第一失真影像600上方滑動S304一滑動窗620且針對第一失真影像600中之複數個位置之各位置630、634、638：基於在位置630、634、638處之失真之數學表示之反算轉換S306滑動窗620；且在用於第一失真影像600中之位置630、634、638處之物體偵測之滑動窗演算法中使用S308經轉換滑動窗720、724、728。
轉換S306滑動窗620之步驟可包括轉換S310滑動窗620之一特徵偵測型樣700。
轉換S306滑動窗620之步驟可包括轉換S312滑動窗620之一大小。
轉換S306滑動窗620之步驟可經硬體實施。轉換S306滑動窗620之步驟可實施於一特定應用積體電路(ASIC)中。轉換S306滑動窗620之步驟可以其他變體實施於裝置100之至少一個處理器106中之軟體中。
經轉換滑動窗720、724、728可儲存於由第一失真影像600 中之複數個位置之位置630、634、638編索引之一查找表中。
方法S300可進一步包括：使用S314經轉換滑動窗720、724、728作為一卷積神經網路之一第一層中之核心。
方法S300可進一步包括：針對第一失真影像600中之複數個位置之各位置630、634、638儲存S316經轉換滑動窗720、724、728。
假使對複數個失真影像執行方法S300，則複數個失真影像之各者中之一物體之偵測可包括使用用於第一失真影像600中之物體偵測之經轉換滑動窗720、724、728。複數個失真影像可係一視訊串流。方法S300可進一步包括將複數個經轉換影像編碼為一經轉換視訊串流。
圖4繪示經配置用於使用一滑動窗演算法偵測一失真影像中之一物體之一系統800。系統800包括：一相機810，其經配置用於擷取一場景500之失真影像；及本發明裝置100；其中裝置100之影像接收器102經配置用於接收由相機810擷取之場景500(圖2A)之失真影像。相機810可包括成像光學器件812。裝置100之影像接收器102可經配置用於經由一有線或無線通信介面接收場景500之失真影像。失真影像可係第一失真影像600。系統800可包括經配置以產生一場景500之一全景影像之複數個相機。系統800可安裝於一單一總成中。
熟習此項技術者意識到，本發明概念絕不限於上文描述之較佳變體。相反地，許多修改及變動在隨附發明申請專利範圍內可行。
另外，熟習此項技術者在實踐本發明時可自圖式、揭示內容及隨附發明申請專利範圍之一研究理解且實現所揭示變體之變動。
上文揭示之系統及方法可實施為軟體、韌體、硬體或其等之一組合。在一硬體實施方案中，上文之描述中提及之任務在功能單元之 間之劃分不一定對應於至實體單元之劃分；相反地，一個實體組件可具有多個功能性，且一個任務可由若干實體組件協作實行。某些組件或全部組件可實施為藉由一數位信號處理器或微處理器執行之軟體，或實施為硬體或為一特定應用積體電路。例如，滑動窗之轉換可實施於一GPU或一特定應用積體電路ASIC中，而使用經轉換滑動窗運行滑動窗演算法可實施於在裝置之一中央處理單元CPU上運行之軟體中。
S300:方法
S302:接收
S304:滑動
S306:轉換
S308:使用
S310:轉換
S312:轉換
S314:使用
S316:儲存

Claims (20)

  1. 一種用於偵測在一場景之一單一影像中之一物體之電腦實施方法，該單一影像藉由一預定失真(predetermined distortion)而被失真，該方法包括：接收該場景之該單一影像；接收該預定失真之一數學表示之一反算函數(inverse function)，其中該預定失真之該數學表示係一影像轉換，當該影像轉換施加於對應於該場景之一直線(rectilinear)影像時該影像轉換導致藉由該預定失真而被失真之該單一影像；及偵測該單一影像中之該物件，其中偵測該單一影像中之該物體包括：在藉由該預定失真而被失真之該單一影像中之複數個位置上方滑動一滑動窗，該滑動窗包括一特徵偵測型樣；且針對該單一影像中之該複數個位置之各位置，基於該預定失真之該數學表示之該反算函數之一位置特定值(position-specific value)轉換該滑動窗，其中在該單一影像中之該複數個位置之各位置處轉換該滑動窗包括轉換該滑動窗之該特徵偵測型樣，使得經轉換之該滑動窗之該特徵偵測型樣之所得位置特定失真對應於該預定失真之位置特定部分，使得該物體基於該等位置特定失真之至少一者在該單一影像中被偵測。
  2. 如請求項1之電腦實施方法，其中轉換該滑動窗之該步驟包括轉換該 滑動窗之一大小。
  3. 如請求項1之電腦實施方法，該方法進一步包括：針對該複數個位置之各位置儲存經轉換之該滑動窗。
  4. 如請求項3之電腦實施方法，其中該經轉換滑動窗儲存於由該複數個位置之該等位置編索引(index)之一查找表中。
  5. 如請求項1之電腦實施方法，其進一步包括：接收該場景之一第二單一影像，該第二單一影像係在接收該場景之該單一影像之後被接收，並藉由該預定失真而被失真；及偵測該第二單一影像中之該物體，其中在該第二單一影像中偵測該物體包括：在該複數個位置上方滑動該第二單一影像中之該滑動窗，該滑動窗包括該特徵偵測型樣；且針對該第二單一影像中之該複數個位置之各位置，基於該預定失真之該數學表示之該反算函數之位置特定值轉換該滑動窗，其中在該第二單一影像中之該複數個位置之各位置處轉換該滑動窗包括轉換該滑動窗之該特徵偵測型樣，使得經轉換之該滑動窗之該特徵偵測型樣之所得位置特定失真對應於該預定失真之位置特定部分，使得該物體基於該等位置特定失真之至少一者在該第二單一影像中被偵測。
  6. 如請求項1之電腦實施方法，其中該失真包括應用至影像資料之一影像轉換。
  7. 如請求項1之電腦實施方法，其中轉換該滑動窗經硬體實施。
  8. 如請求項1之電腦實施方法，其進一步包括：儲存該預定失真之該數學表示之該反算函數，其中該預定失真之該數學表示之經儲存之該反算函數與一特定相機或一相機模型相關。
  9. 如請求項1之電腦實施方法，其中該預定失真之該數學表示之該反算函數表示為一多項式。
  10. 如請求項1之電腦實施方法，其中該預定失真之該數學表示之該反算函數表示為一矩陣。
  11. 如請求項1之電腦實施方法，其中該預定失真之該數學表示之該反算函數表示為一查找表。
  12. 如請求項1之電腦實施方法，其中在藉由該預定失真而被失真之該單一影像中滑動該滑動窗包括在一預定方向中滑動該滑動窗。
  13. 如請求項1之電腦實施方法，其中在該單一影像中該滑動窗在其等上 方滑動之該複數個位置包括至少一預定位置。
  14. 一種非暫時性電腦可讀儲存媒體，其具有經組態以導致包含一處理器之一裝置實行如請求項1至13之任一項之電腦實施方法。
  15. 一種經組態以偵測在一場景之一單一影像中之一物體之裝置，該單一影像藉由一預定失真而被失真，該裝置包括：一接收器，其經組態以接收該場景之該單一影像；及至少一個處理器，其經組態以：接收該預定失真之一數學表示之一反算函數，其中該預定失真之該數學表示係一影像轉換，當該影像轉換施加於對應於該場景之一直線影像時導致藉由該預定失真而被失真之該單一影像；及偵測該單一影像中之該物件，其中偵測該單一影像中之該物體包括：在藉由該預定失真而被失真之該單一影像中之複數個位置上方滑動一滑動窗，該滑動窗包括一特徵偵測型樣；且針對該單一影像中之複數個位置之各位置，基於該預定失真之該數學表示之該反算函數之一位置特定值轉換該滑動窗，其中在該單一影像中之該複數個位置之各位置處轉換該滑動窗包括轉換該滑動窗之該特徵偵測型樣，使得經轉換之該滑動窗之該特徵偵測型樣之所得位置特定失真對應於該預定失真之位置特定部分，使得該物體基於該等位置特定失真之至少一者在該單一影像中被偵測。
  16. 如請求項15之裝置，其進一步包括一非暫時性儲存媒體，其經組態以儲存下列至少一者：對應於該預定失真之該數學表示之該反算函數之值，或該預定失真之該數學表示之該反算函數之之該等位置特定值，或經轉換之該滑動窗之位置特定值。
  17. 如請求項15之裝置，其中該裝置係一相機。
  18. 如請求項15之裝置，其中針對該複數個位置之各位置，對應於經轉換之該滑動窗之值係儲存於位置編索引之一查找表中。
  19. 一種用於影像處理之系統，該系統包括：一相機；及如請求項15至18之任一項之一裝置；其中該裝置之該接收器經組態以接收來自該相機之該場景之該單一影像。
  20. 一種用於偵測在一場景之一單一影像中之一物體之電腦實施方法，該單一影像藉由一預定失真而被失真，該方法包括：接收該場景之該單一影像；及偵測該單一影像中之該物件，其中偵測該單一影像中之該物體包括： 在藉由該預定失真而被失真之該單一影像中之複數個位置上方滑動一滑動窗，該滑動窗包括一特徵偵測型樣；且針對該單一影像中之該複數個位置之各位置，基於該預定失真之一數學表示之一反算函數之一位置特定值轉換該滑動窗，其中該預定失真之該數學表示係一影像轉換，當該影像轉換施加於對應於該場景之一直線影像時該影像轉換導致藉由該預定失真而被失真之該單一影像；其中在該單一影像中之該複數個位置之各位置處轉換該滑動窗包括轉換該滑動窗之該特徵偵測型樣，使得經轉換之該滑動窗之該特徵偵測型樣之所得位置特定失真對應於該預定失真之位置特定部分，使得該物體基於該等位置特定失真之至少一者在該單一影像中被偵測。
TW109108116A 2019-04-10 2020-03-12 用於偵測在失真影像中之物體之方法、系統及裝置 TWI882991B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19168368.9 2019-04-10
EP19168368.9A EP3722991B1 (en) 2019-04-10 2019-04-10 Method, system, and device for detecting an object in a distorted image

Publications (2)

Publication Number Publication Date
TW202042178A TW202042178A (zh) 2020-11-16
TWI882991B true TWI882991B (zh) 2025-05-11

Family

ID=66217701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108116A TWI882991B (zh) 2019-04-10 2020-03-12 用於偵測在失真影像中之物體之方法、系統及裝置

Country Status (6)

Country Link
US (1) US11682190B2 (zh)
EP (1) EP3722991B1 (zh)
JP (1) JP7628002B2 (zh)
KR (1) KR102598910B1 (zh)
CN (1) CN111815512B (zh)
TW (1) TWI882991B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210264153A1 (en) * 2020-02-21 2021-08-26 CACI, Inc.- Federal Machine learning method and apparatus for detection and continuous feature comparison
EP4325425B1 (en) * 2022-08-15 2024-06-12 Axis AB A method and system for defining an outline of a region in an image having distorted lines

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201143398A (en) * 2010-02-11 2011-12-01 Microsoft Corp Generic platform video image stabilization
US20160217164A1 (en) * 2015-01-28 2016-07-28 Numenta, Inc. Sparse distributed representation of spatial-temporal data
CN108830205A (zh) * 2018-06-04 2018-11-16 江南大学 基于改进全卷积网络的多尺度感知行人检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US7613357B2 (en) * 2005-09-20 2009-11-03 Gm Global Technology Operations, Inc. Method for warped image object recognition
JP2010218226A (ja) 2009-03-17 2010-09-30 Suzuki Motor Corp 計測マップ生成装置及び走行環境確認装置
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
JP2014187505A (ja) 2013-03-22 2014-10-02 Canon Inc 撮像装置、その制御方法及びプログラム
US9373057B1 (en) 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
DE102014013967A1 (de) * 2014-09-19 2016-03-24 Audi Ag Head-up-Display für einen Kraftwagen, Kraftwagen mit einem Head-up-Display und Verfahren zum Anordnen eines Head-up-Displays in einem Kraftwagen
WO2016104842A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
CN108700652B (zh) * 2015-12-09 2023-04-21 欧利景无线有限公司 用于无线事件检测和监控的方法、装置和系统
CN114445303B (zh) * 2016-02-16 2025-04-04 6115187加拿大公司暨伊美景象公司 图像失真变换方法和设备
CN106228510B (zh) * 2016-08-11 2019-01-29 中国电子科技集团公司第三十八研究所 基于畸变程度分割的无人机载实时sar图像配准方法
CN106504233B (zh) * 2016-10-18 2019-04-09 国网山东省电力公司电力科学研究院 基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统
FR3062223B1 (fr) * 2017-01-25 2019-04-19 Valeo Schalter Und Sensoren Gmbh Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images
DE102018107950B4 (de) * 2017-04-18 2025-02-20 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
WO2018232754A1 (en) 2017-06-23 2018-12-27 Microsoft Technology Licensing, Llc. Joint object detection based on collaborative information
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN110675307B (zh) * 2019-08-19 2023-06-06 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN111126306A (zh) * 2019-12-26 2020-05-08 江苏罗思韦尔电气有限公司 一种基于边缘特征及滑动窗的车道线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201143398A (en) * 2010-02-11 2011-12-01 Microsoft Corp Generic platform video image stabilization
US20160217164A1 (en) * 2015-01-28 2016-07-28 Numenta, Inc. Sparse distributed representation of spatial-temporal data
CN108830205A (zh) * 2018-06-04 2018-11-16 江南大学 基于改进全卷积网络的多尺度感知行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
期刊 Kristof Van Beeck A Warping Window Approach to Real-time Vision-based Pedestrian Detection in a Truck's Blind Spot Zone 2012 ICINCO 2012/01 https://www.researchgate.net/publication/260432686_A_Warping_Window_Approach_to_Real-time_Vision-based_Pedestrian_Detection_in_a_Truck%27s_Blind_Spot_Zone *

Also Published As

Publication number Publication date
JP2020194532A (ja) 2020-12-03
CN111815512A (zh) 2020-10-23
JP7628002B2 (ja) 2025-02-07
EP3722991C0 (en) 2024-05-29
CN111815512B (zh) 2024-12-10
US11682190B2 (en) 2023-06-20
US20200327691A1 (en) 2020-10-15
EP3722991A1 (en) 2020-10-14
EP3722991B1 (en) 2024-05-29
TW202042178A (zh) 2020-11-16
KR20200119712A (ko) 2020-10-20
KR102598910B1 (ko) 2023-11-03

Similar Documents

Publication Publication Date Title
JP5906028B2 (ja) 画像処理装置、画像処理方法
CN104994367B (zh) 一种图像矫正方法以及摄像头
US20130058589A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
US20180182083A1 (en) Convolutional neural network for wide-angle camera images
US20180176465A1 (en) Image processing method for immediately producing panoramic images
US9836668B2 (en) Image processing device, image processing method, and storage medium
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
TW201839716A (zh) 環景影像的拼接方法及其系統
TWI882991B (zh) 用於偵測在失真影像中之物體之方法、系統及裝置
US9715737B2 (en) Imaging adjusting method capable of varying scaling ratios and related camera and image processing system
CN115314689A (zh) 投影校正方法、装置、投影仪和计算机程序产品
JP2016081425A (ja) 画像処理装置、画像処理方法およびプログラム
CN111179180B (zh) 影像的修正方法及其装置
CN115567653A (zh) 图像控制器、图像处理系统及图像修正方法
JP6403401B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN109218602B (zh) 影像撷取装置、影像处理方法及电子装置
CN114466143B (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
CN111953982B (zh) 编码失真的图像帧的方法、设备和介质
CN117994174A (zh) 一种焦距拼接方法、装置、电子设备以及存储介质
CN115131249A (zh) 一种大视场角图像畸变的校正方法
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
KR102498870B1 (ko) 카메라 시스템 및 그의 영상처리방법
JP2017017609A (ja) 画像処理装置
TWI824321B (zh) 影像控制器、影像處理系統及影像修正方法
WO2026028290A1 (ja) 画像処理装置