[go: up one dir, main page]

TWI696841B - 基於飛行時間測距的運算裝置、感測裝置及處理方法 - Google Patents

基於飛行時間測距的運算裝置、感測裝置及處理方法 Download PDF

Info

Publication number
TWI696841B
TWI696841B TW108121698A TW108121698A TWI696841B TW I696841 B TWI696841 B TW I696841B TW 108121698 A TW108121698 A TW 108121698A TW 108121698 A TW108121698 A TW 108121698A TW I696841 B TWI696841 B TW I696841B
Authority
TW
Taiwan
Prior art keywords
phases
pixel
intensity information
difference
time
Prior art date
Application number
TW108121698A
Other languages
English (en)
Other versions
TW202032155A (zh
Inventor
魏守德
陳韋志
吳峻豪
Original Assignee
大陸商光寶電子（廣州）有限公司
光寶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商光寶電子（廣州）有限公司, 光寶科技股份有限公司 filed Critical 大陸商光寶電子（廣州）有限公司
Application granted granted Critical
Publication of TWI696841B publication Critical patent/TWI696841B/zh
Publication of TW202032155A publication Critical patent/TW202032155A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明提供一種基於飛行時間測距的運算裝置、感測裝置及處理方法。在此方法中，取得至少一畫素所對應至少二個相位的強度資訊，而此強度資訊係利用那些相位在時間上延遲感測調變光所得。依據這些相位的強度資訊之間的差異，決定是否放棄此畫素所對應的那些相位的強度資訊。藉此，可降低動態模糊對深度資訊估測的影響。

Description

基於飛行時間測距的運算裝置、感測裝置及處理方法
本發明是有關於一種光學量測技術，且特別是有關於一種基於飛行時間(Time of Flight，ToF)測距的運算裝置、感測裝置及處理方法。
隨著科技的發展，光學三維量測技術已逐漸成熟，其中飛行時間測距是目前一種常見的主動式深度感測技術。ToF測距技術的基本原理是，調變光(例如，紅外光、或雷射光等)經發射後遇到物體將被反射，而藉由被反射的調變光的反射時間差或相位差來換算被拍攝物體的距離，即可產生相對於物體的深度資訊。
值得注意的是，請參照圖1A的時序圖，ToF測距技術在感測調變光的時間被稱為曝光時間，其類似於相機快門時間。例如，邏輯1代表進行曝光/感測；邏輯0代表停止曝光。其中，當曝光時間增長時，接收到調變光的資料量亦會隨著增加。然而，較 長的曝光時間恐會容易造成動態模糊(motion blur)現象。例如，圖1B所示是待測物體運動所造成的殘影，且圖1C所示是車燈移動所造成的光軌。然而，當利用ToF測距技術計算深度資訊時，若遭遇到動態模糊情況，將導致深度距離不準確、或畫面模糊的情況。因此，如何提供一種簡便且能有效降低動態模糊影響的方法成為目前相關領域待努力的目標之一。
有鑑於此，本發明實施例提供一種基於飛行時間測距的運算裝置、感測裝置及處理方法，其能有效避免動態模糊所造成無效的深度計算。
本發明實施例基於飛行時間測距的運算裝置，其包括記憶體及處理器。記憶體記錄至少一畫素所對應至少二個相位的強度資訊以及用於運算裝置的處理方法所對應的程式碼，而此強度資訊係利用那些相位在時間上延遲感測調變光所得。處理器耦接記憶體，並經配置用以執行程式碼，且此處理方法包括下列步驟：取得至少二個相位的強度資訊。依據那些相位的強度資訊之間的差異，決定是否放棄此畫素所對應至少二個相位的強度資訊。
本發明實施例基於飛行時間測距的感測裝置，其包括調變光發射電路、調變光接收電路、記憶體以及處理器。調變光發射電路發射調變光。調變光接收電路利用至少二個相位在時間延遲上以接收此調變光。記憶體記錄至少一個畫素所對應至少二相位 的強度資訊以及用於感測裝置的處理方法所對應的程式碼。處理器耦接調變光接收電路及記憶體，並經配置用以執行程式碼，且此處理方法包括下列步驟。取得至少二個相位的強度資訊，而此強度資訊係利用那些相位在時間上延遲感測調變光所得。依據那些相位的強度資訊之間的差異，決定是否放棄此畫素所對應的那些相位的強度資訊。
另一方面，本發明實施例基於飛行時間測距的處理方法，其包括下列步驟：取得至少一畫素所對應至少二個相位的強度資訊，而此強度資訊係利用那些相位在時間上延遲感測調變光所得。依據那些相位的強度資訊之間的差異，決定是否放棄此畫素所對應的那些相位的強度資訊。
基於上述，本發明實施例基於飛行時間測距的運算裝置、感測裝置及處理方法，依據兩相位的強度資訊之間的差異來評估是否發生動態模糊現象，並據以將有動態模糊現象的畫素放棄，且重新拍攝或僅採用有效的畫素。藉此，可有效降低動態模糊對於深度資訊估測的影響。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:測距系統
100:感測裝置
110:調變光發射電路
120:調變光接收電路
122:光電感應器
130:處理器
140:訊號處理電路
150:記憶體
160:運算裝置
170:姿態感測器
CA、CB:電容
QA、QB:改變的電荷量
CS:控制訊號
CSB:反相控制訊號
DS:感測訊號
EM:調變光
MS:調變訊號
NA、NB:節點
REM:被反射的調變光
SW1、SW2:開關
VA、VB:電壓訊號
TA:目標物體
S410~S430、S710~S790、S810~S890、S910~S950:步驟
圖1A是一範例說明曝光時間與調變光訊號的時序圖。
圖1B及1C是二範例說明動態模糊現象。
圖2是依據本發明一實施例的測距系統的示意圖。
圖3A是依據本發明一實施例的調變光接收電路的電路示意圖。
圖3B是依據圖3A的實施例的訊號波形示意圖。
圖4是依據本發明一實施例基於飛行時間測距的處理方法的流程圖。
圖5A~5D是一範例說明本域(local)的動態模糊現象。
圖6A~6D是一範例說明全域(global)的動態模糊現象。
圖7是依據本發明第一實施例基於飛行時間測距的處理方法的流程圖。
圖8是依據本發明第二實施例基於飛行時間測距的處理方法的流程圖。
圖9是依據本發明第三實施例基於飛行時間測距的處理方法的流程圖。
圖10A及10B是一範例說明放棄無效資料的感測示意圖。
圖2是依據本發明一實施例的測距系統10的示意圖。請參照圖2，測距系統10包括基於ToF的感測裝置100及目標物體TA。
感測裝置100包括但不僅限於調變光發射電路110、調變 光接收電路120、處理器130、訊號處理電路140、記憶體150與姿態感測器170。感測裝置100可應用於諸如三維模型建模、物體辨識、車用輔助系統、定位、產線測試或誤差校正等領域。感測裝置100可能是獨立裝置，或經模組化而裝載於其他裝置，非用以限制本發明的範疇。
調變光發射電路110例如是雷射二極體或準直光產生裝置，且調變光接收電路120例如是攝像裝置或光源感應裝置(至少包括光感測器、讀取電路等)。訊號處理電路140耦接調變光發射電路110與調變光接收電路120。訊號處理電路140用以提供調變訊號MS給調變光發射電路110且提供控制訊號CS至調變光接收電路120。調變光發射電路110用以依據調變訊號MS發出調變光EM，而此調變光EM例如紅外光、雷射光或其他波段的準直光。例如，調變訊號MS為脈衝訊號，且調變訊號MS上升的邊緣對應調變光EM的觸發時間。調變光EM遇到目標物體TA後將會被反射，而調變光接收電路120可接收被反射的調變光REM。調變光接收電路120依據控制訊號CS對被反射的調變光REM解調變，以產生感測訊號DS。
更具體而言，圖3A是依據本發明一實施例的調變光接收電路120的電路示意圖。請參照圖3A，為了方便說明，本圖式以單位/單一畫素的電路為例。調變光接收電路120中對應於單位/單一畫素的電路包括光電感應元件122、電容CA、電容CB、開關SW1與開關SW2。光電感應器122例如是光電二極體(photodiode) 或具有類似用以感測被反射調變光REM之功能的其他光感測元件。光電感應器122一端接收共同參考電壓(例如，接地GND)，且其另一端耦接開關SW1與開關SW2的其中一端。開關SW1的另一端通過節點NA耦接電容CA且受控於控制訊號CS的反相訊號CSB。開關SW2的另一端通過節點NB耦接電容CB且受控於控制訊號CS。調變光接收電路120輸出節點NA上的電壓(或電流)訊號VA與節點NB上的電壓(或電流)訊號VB作為感測訊號DS。在另一實施例中，調變光接收電路120也可以選擇輸出電壓訊號VA與電壓訊號VB的差值作為感測訊號DS(可作為強度(intensity)資訊)。
圖3A的實施例僅作為舉例說明，調變光接收電路120的電路架構並不限於此。調變光接收電路120可以具有多個光電感應器122，或是更多電容或開關。本領域具有通常知識者可依據通常知識與實際需求而做適當調整。
圖3B是依據圖3A的實施例的訊號波形示意圖。請接著參照圖3A與圖3B，當反相控制訊號CSB為低準位(例如，邏輯0)時，開關SW1導通，此時控制訊號CS會處於高準位(例如，邏輯1)，開關SW2不導通。反之，當控制訊號CS為低準位(例如，邏輯0)時，開關SW2導通，此時反相控制訊號CSB處於高準位(例如，邏輯1)，開關SW1不導通。此外，光電感應器122的導通即可使光電感應器122接收到被反射的調變光REM。當光電感應器122與開關SW1都導通時，電容CA進行放電(或充電)，圖3B中 的QA表示電容CA所改變的電荷量，節點NA上的電壓訊號VA會相應地改變。當光電感應器122與開關SW2都導通時，電容CB進行放電(或充電)，圖3B中的QB表示電容CB所改變的電荷量，節點NB上的電壓訊號VB會相應地改變。
處理器130耦接調變光接收電路120。處理器130可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。於本發明實施例中，處理器130可依據感測訊號DS計算控制訊號CS與被反射的調變光REM之間的相位差，且依據此相位差來進行距離量測。例如，請參照圖3B，依據電壓訊號VA與電壓訊號VB之間的差異，處理器130可以計算出控制訊號CS與被反射的調變光REM之間的相位差。需說明的是，在一些實施例中，處理器130可能內建或電性連接有類比至數位轉換器(Analogy-to-Digital，ADC)，且透過類比至數位轉換器將感測訊號DS轉換成數位形式的訊號。
記憶體150耦接處理器130，記憶體150可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory，RAM)、快閃記憶體(Flash Memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Disk，SSD)、非揮發性(non-volatile)記憶體或類似元件或上述元件之組合的儲存器。於本實施例中，記憶體150 用於儲存緩衝的或永久的資料(例如，感測訊號DS對應的強度資訊、門檻值等)、程式碼、軟體模組、作業系統、應用程式、驅動程式等資料或檔案，且其詳細內容待後續實施例詳述。值得注意的是，記憶體150所記錄的程式碼是用於感測裝置100的處理方法，且後續實施例將詳加說明此處理方法。
姿態偵測器170耦接處理器130，姿態偵測器170可以是重力感測器(G-sensor)/加速度計(Accelerometer)、慣性(Inertial)感測器、陀螺儀(Gyroscope)、磁力感測器(Magnetometer)或其組合，並用以偵測諸如加速度、角速度、方位等運動或姿態，並據以產生姿態資訊(例如，記錄有三軸的重力加速度、角速度或磁力等資料)。
需說明的是，在一些實施例中，處理器130及記憶體150可能被獨立出來而成為運算裝置160。此運算裝置160可以是桌上型電腦、筆記型電腦、伺服器、智慧型手機、平板電腦的裝置。運算裝置160與感測裝置100更具有可相互通訊的通訊收發器(例如，支援Wi-Fi、藍芽、乙太網路(Ethernet)等通訊技術的收發器)，使運算裝置160可取得來自感測裝置100的感測訊號DS或對應的強度資訊(可記錄在記憶體140中以供處理器130存取)。
為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中感測裝置100及/或運算裝置160的運作流程。下文中，將搭配感測裝置100及運算裝置160中的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖4是依據本發明一實施例基於飛行時間測距的處理方法的流程圖。請參照圖4，處理器130取得至少一個畫素所對應至少二個相位的強度資訊(步驟S410)。具體而言，在圖3B的實施例中，調變訊號MS與控制訊號CS同步，但訊號處理電路140還可以讓調變訊號MS與控制訊號CS之間不同步。也就是說，控制訊號CS與調變訊號MS之間可具有參考相位。而訊號處理電路140會依據不同的參考相位將調變訊號MS或控制訊號CS的相位延遲或提前，使得調變訊號MS與控制訊號CS具有相位差/相位延遲。
在連續波(Continuous Wave，CW)量測機制中，相位差例如是0度、90度、180度及270度，即四相位方法。不同相位即會對應到不同起始及結束時間點的電荷累計時間區間。換句而言，調變光接收電路120利用四個相位在時間延遲上以接收被反射的調變光REM。而利用那些相位在時間上延遲感測被反射的調變光REM即可得到對應於不同相位的感測訊號DS，且感測訊號DS將可進一步作為強度資訊。此強度資訊可能記錄單一畫素(一個畫素對應到圖3A的電路)所累計的電荷量或進一步轉換成強度值。即，各畫素的強度資訊係利用那些相位在時間上延遲感測被反射的調變光REM所得。
接著，處理器130依據至少二個相位的強度資訊之間的差異，決定是否放棄此畫素所對應至少二個相位的強度資訊(步驟S430)。具體而言，經實驗可知，動態模糊現象將造成不同相位之間的強度資訊產生差異。舉例而言，圖5A~5D是一範例說明本域 (local)的動態模糊現象。請參照圖5A，圖中所示是目標物體TA(以椅子為例)與感測裝置100皆為靜止狀態(例如，無晃動、無跳動等運動)下依據感測訊號DS所生成的影像(以解析度為240×180為例)。請參照圖5B，圖中所示是相同時間點所對應任兩個相位對應強度值相減(即，強度資訊的差異)所產生的影像。請參照圖5C是圖5B經尺度調整後的影像，且可觀察到所有畫素的強度差異大致相同並等於或趨近於零。接著，假設目標物體TA移動。請參照圖5D，圖中所示是相同時間點所對應任兩個相位對應強度值相減(即，強度資訊的差異)所產生的影像，與圖5C相比可觀察到部分畫素的強度差異較大。
圖6A~6D是一範例說明全域(global)的動態模糊現象。請參照圖6A，圖中所示是目標物體TA(以椅子為例)與感測裝置100皆為靜止狀態下依據感測訊號DS所生成的影像(以解析度為240×180為例)。請參照圖6B，圖中所示是相同時間點所對應任兩個相位對應強度值相減(即，強度資訊的差異)所產生的影像。請參照圖6C是圖6B經尺度調整後的影像，且可觀察到所有畫素的強度差異大致相同並等於或趨近於零。接著，假設感測裝置100移動。請參照圖6D，圖中所示是相同時間點所對應任兩個相位對應強度值相減(即，強度資訊的差異)所產生的影像，與圖6C相比可觀察到部分畫素的強度差異較大。
由此可知，無論是產生本域或全域的動態模糊現象，兩個相位的強度資訊之間的差異將增加。反之，若無動態模糊現象，則 兩個相位的強度資訊的差異將等於或趨近於零。因此，兩個相位的強度資訊之間的差異將可用於評估是否發生動態模糊現象。
在一實施例中，針對各畫素，處理器130可判斷至少兩個相位的強度資訊之間的差異是否大於差異門檻值，且若此差異大於差異門檻值，則處理器130放棄此畫素所對應的那些相位的強度資訊。具體而言，無可避免地，兩相位的強度資訊的差異可能不會剛好等於零。因此，本發明實施例提升了寬容度，使處理器130可預設或經使用者設定有差異門檻值(例如，10、20、或40等)。若差異小於此差異門檻值，則處理器130可視為未發生動態模糊現象。反之，若差異大於此差異門檻值，則處理器130可直接視為發生動態模糊現象、或需進一步透過其他資訊來評估。值得注意的是，那些強度值差異大於差異門檻值的畫素的強度資訊可能會影響後續深度資訊估測的結果。因此，本發明實施例會依據一些條件來放棄任一畫素具有低於差異門檻值的四個相位的強度資訊。若處理器130放棄那些相位的強度資訊，則將判斷採用此畫素於不同時間點所對應的那些相位的強度資訊或是採用未放棄的其他畫素所對應不同相位的強度資訊。若任一畫素於當前時間點所對應至少二個相位的強度資訊被放棄，則需要再次透過調變光接收電路120感測以重新取得此畫素於不同時間點(後續的時間點)所對應的那些相位的強度資訊，並再評估是否採用這些強度資訊。或者，若僅部分畫素於當前時間點所對應的那些相位的強度資訊被放棄，則未放棄的那些畫素(或是受保留的畫素)所對應不同相位的 強度資訊將被採用。此外，處理器130可依據最後採用的強度資訊來計算深度資訊
需說明的是，針對任一個畫素，處理器130可將任兩個相位(例如，0度與180度、180度與270度等)的差異來與差異門檻值(其數值需對應調整)比較。在其他實施例中，處理器130亦可挑選差異最大的兩個相位的數值來與差異門檻值(其數值需對應調整)比較。或者，處理器130亦可能是隨機挑選更多個相位的強度資訊來比較。而若取得超過兩個差異，則可進一步平均或以特定線性組合來與差異門檻值比較。
以下將接著詳細說明那些放棄條件及對應的處理方式：圖7是依據本發明第一實施例基於飛行時間測距的處理方法的流程圖。請參照圖7，針對各畫素，處理器130取得至少兩個相位的強度資訊(步驟S710)，並判斷強度資訊之間的差異是否大於差異門檻值(步驟S730)，而其詳細說明可分別參酌步驟S410、S430的說明，故於此不再贅述。接著，若此差異未大於此差異門檻值，則處理器130可基於此畫素於當前時間點所對應的所有相位的強度資訊來計算深度資訊(步驟S735)。例如，0度與180度的差異作為實數部，90度與270度的差異作為虛數部；而實數部與虛數部所形成的角度即可作為相位差φ，且距離(即作為深度資訊)為1/2*c*φ/2π*f，其中c為光速常數，f為取樣頻率。
另一方面，若此差異大於差異門檻值，則處理器130可放棄/取消/不使用此畫素於當前時間點的四個相位的強度資訊(步 驟S780)，即不使用此畫素當次累計電荷時間區間中的強度資訊。處理器130可在下次透過調變光接收電路120感測時適性調整其偵測那些相位的調變光的曝光時間。由於縮短曝光時間可改善動態模糊現象，處理器130可進一步通知調變光接收電路120將曝光時間降低以重新拍攝/感測/接收被反射的調變光REM(步驟S790)，從而取得此畫素於不同時間點反應於調變光REM所得到至少二個相位的強度資訊。
圖8是依據本發明第二實施例基於飛行時間測距的處理方法的流程圖。請參照圖8，步驟S810、S830、S835、S880及S890的詳細內容可參酌步驟S710、S730、S735、S780及S790的說明，於此不再贅述。與第一實施例不同之處在於，若兩相位的強度資訊之間的差異大於差異門檻值，則處理器130會依據姿態感測器170所取得的姿態資訊來判斷造成此差異的動態模糊為全域或本域(步驟S850)。以三軸加速度感測值Xout、Yout及Zout為例，若
Figure 108121698-A0305-02-0015-1
為1g，則表示感測裝置100為靜止狀態且此差異是本域的動態模糊所造成(例如，目標物體TA移動)；若其值不為1g，則表示感測裝置100不為靜止狀態且此差異是全域的動態模糊所造成。需說明的是，依據姿態感測器170的類型，其判斷靜止狀態的條件可能不同，應用本發明實施例者可自行調整對應參數，非用以限制本發明的範疇。
若經判斷為全域的動態模糊，則處理器130會直接放棄 此畫素於當前時間點所對應的那些相位的強度資訊，並透過調變光接收電路120拍攝以重新取得此畫素下一次電荷累計時間區間內至少二個相位的強度資訊(步驟S855)。另一方面，若經判斷為本域的動態模糊，則處理器130可進一步依據模糊畫素數量來決定是否透過調變光接收電路120重新取得此畫素於不同時間點所對應至少二個相位的強度資訊。此模糊畫素數量是反應於一畫素經判斷有動態模糊而據此累計的數量。換句而言，若對應於某一畫素的強度資訊之間的差異大於差異門檻值，則累計模糊畫素數量，且經評估所有畫素後即可得到最終的模糊畫素數量。
值得注意的是，經實驗可知，不同差異門檻值將對應不同模糊畫素數量。換句而言，不同差異門檻值，一張感測影像中經判斷有動態模糊的畫素占所有畫素的比例可能不同。以240×180解析度為例，表(1)是不同差異門檻值對應的模糊畫素數量及其所占比例：
Figure 108121698-A0305-02-0016-2
表(1)中實驗所得的模糊畫素數量例如可用來作為比對的數量門檻值，但此數量門檻值可能依據不同差異門檻值、不同解析度或其他條件而被調整，本發明實施例不加以限制。處理器130可 判斷當前時間點(或取樣區間內)得到的模糊畫素數量是否大於設定的數量門檻值(步驟S870)。而若此模糊畫素數量大於設定的數量門檻值，則處理器130可放棄此畫素於當前時間點所對應的那些相位的強度資訊(步驟S880)，並透過調變光接收電路120拍攝以重新取得此畫素不同時間點(例如，下一個取樣時間點或後續取樣區間)所對應至少二個相位的強度資訊(步驟S890)。反之，若當前時間區間內得到的模糊畫素數量未大於設定的數量門檻值，則處理器130直接依據此畫素當前時間點所取得的複數個相位的強度資訊來計算深度資訊(步驟S835)，即保留此像素對應的強度資訊。
在一實施例中，步驟S890中調整曝光時間的長度可與模糊畫素數量及數量門檻值之間的差異相關。例如，調整的曝光時間可依據公式(1)、(2)得出：
Figure 108121698-A0305-02-0017-4
Figure 108121698-A0305-02-0017-5
 其中，exposure_time'為調整的曝光時間，exposure_time為原曝光時間，blur_pixels為模糊畫素數量，且threshold為數量門檻值。
需說明的是，在其他實施例中，調變光接收電路120亦可直接減少特定長度或亂數長度的曝光時間。
圖9是依據本發明第三實施例基於飛行時間測距的處理方法的流程圖。請參照圖9，步驟S910、S930、S935及S880的詳細內容可參酌步驟S710、S730、S735及S780的說明，於此不再 贅述。與第一實施例不同之處在於，若任一畫素的至少兩個相位的強度資訊之間的差異大於差異門檻值，則處理器130可僅放棄/取消/不使用此畫素於當前時間點所對應的那些相位的強度資訊(步驟950)，而受放棄的畫素是經判斷有動態模糊(例如，此畫素在兩相位之間的強度差異大於差異門檻值)。處理器130可記錄這些受放棄的畫素在感測影像中的位置、索引或代碼。而在步驟S935中，處理器130將依據未放棄的畫素的強度資訊來計算深度資訊。需說明的是，所有畫素中排除受放棄的畫素後所剩餘的畫素即為未放棄的畫素。而排除掉受放棄的畫素的強度資訊將可降低動態模糊的影像，且經判斷未受動態模糊影響的畫素的強度資訊仍可繼續供後續深度資訊計算使用。藉此，可避免多次重新拍攝，並進而提升效率。
圖10A及10B是一範例說明放棄無效資料的感測示意圖。請先參照圖10A，圖中所示為所有畫素皆保留的影像。請接著參照圖10B，假設差異門檻值為40，則差異超過40的畫素將被放棄，且處理器130可將這些受放棄的畫素的強度設為零或忽略不計。
需說明的是，前述三個實施例中各步驟可依據實際需求而互換、增加、或改變。例如，在第一實施例的步驟730中更進一步增加步驟870的判斷模糊畫素數量的機制。
綜上所述，本發明實施例基於飛行時間測距的運算裝置、感測裝置及處理方法，可基於任兩相位的強度資訊之間的差異、模糊畫素數量、姿態資訊或其組合來判斷是否發生動態模糊現象。若 經評估有動態模糊現象，可重新拍攝、或放棄部分有動態模糊的畫素的強度資訊。藉此，可以簡便的方式來降低動態模糊現象對後續深度資訊估測的影響。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S410~S430:步驟

Claims (13)

  1. 一種基於飛行時間測距的運算裝置，包括：一記憶體，記錄至少一畫素所對應至少二相位的強度資訊以及用於該運算裝置的處理方法所對應的程式碼，其中該強度資訊係利用該至少二相位在時間上延遲感測一調變光所得；以及一處理器，耦接該記憶體，並經配置用以執行該程式碼，該處理方法包括：取得該至少二相位的強度資訊；以及依據該至少二相位的強度資訊之間的差異，決定是否放棄該畫素所對應該至少二相位的強度資訊，其中決定是否放棄該畫素所對應該至少二相位的強度資訊的步驟包括：判斷該差異是否大於一差異門檻值；反應於該差異大於該差異門檻值，放棄該畫素所對應該至少二相位的強度資訊；反應於放棄該畫素所對應該至少二相位的強度資訊，判斷是否重新取得該畫素於不同時間點所對應至少二相位的強度資訊；以及依據複數個該畫素所對應不同相位的強度資訊來計算一深度資訊。
  2. 如申請專利範圍第1項所述基於飛行時間測距的運算裝置，其中該處理方法還包括：適性調整偵測該至少二相位的調變光的一曝光時間，以重新 取得該畫素於不同時間點所對應至少二相位的強度資訊。
  3. 如申請專利範圍第1項所述基於飛行時間測距的運算裝置，其中該記憶體更記錄一姿態資訊，該姿態資訊係對應於感測該至少二相位的調變光的裝置，且該處理方法還包括：反應於該差異大於該差異門檻值，依據該姿態資訊判斷造成該差異的動態模糊為全域(global)或本域(local)；反應於全域的動態模糊，放棄該畫素所對應該至少二相位的強度資訊，並於重新取得該畫素於不同時間點所對應至少二相位的強度資訊；以及反應於本域的動態模糊，依據一模糊畫素數量來決定是否重新取得該畫素於不同時間點所對應至少二相位的強度資訊，其中該模糊畫素數量是反應於該畫素經判斷有動態模糊而累計的一數量。
  4. 如申請專利範圍第3項所述基於飛行時間測距的運算裝置，其中該處理方法還包括：反應於該模糊畫素數量大於一數量門檻值，放棄該畫素所對應該至少二相位的強度資訊，並重新取得該畫素於不同時間點所對應至少二相位的強度資訊。
  5. 如申請專利範圍第1項所述基於飛行時間測距的運算裝置，其中該處理方法還包括：反應於該差異大於該差異門檻值，放棄至少一該畫素所對應不同相位的強度資訊，其中受放棄的該至少一畫素是判斷有動態 模糊；以及依據未放棄的複數個該畫素所對應不同相位的強度資訊來計算該深度資訊。
  6. 一種基於飛行時間測距的感測裝置，包括：一調變光發射電路，發射一調變光；一調變光接收電路，利用至少二相位在時間延遲上以接收該調變光；一記憶體，記錄至少一畫素所對應至少二相位的強度資訊以及用於該感測裝置的處理方法所對應的程式碼；以及一處理器，耦接該調變光接收電路及該記憶體，並經配置用以執行該程式碼，該處理方法包括：取得該至少二相位的強度資訊，其中該強度資訊係利用該至少二相位在時間上延遲感測該調變光所得；以及依據該至少二相位的強度資訊之間的差異，決定是否放棄該畫素所對應該至少二相位的強度資訊，其中決定是否放棄該畫素所對應該至少二相位的強度資訊的操作包括：判斷該差異是否大於一差異門檻值；反應於該差異大於該差異門檻值，放棄該畫素所對應該至少二相位的強度資訊；反應於放棄該畫素所對應該至少二相位的強度資訊，判斷是否重新取得該畫素於不同時點所對應至少二相位的強度資訊；以及 依據複數個該畫素所對應不同相位的強度資訊來計算一深度資訊。
  7. 如申請專利範圍第6項所述基於飛行時間測距的感測裝置，其中該處理方法還包括：適性調整該調變光接收電路偵測該至少二相位的調變光的一曝光時間，以重新取得該畫素於不同時間點所對應至少二相位的強度資訊。
  8. 如申請專利範圍第6項所述基於飛行時間測距的感測裝置，更包括：一姿態感測器，感測該感測裝置的姿態，並據以產生一姿態資訊，且該處理方法還包括：反應於該差異大於一差異門檻值，依據該姿態資訊判斷造成該差異的動態模糊為全域或本域；反應於全域的動態模糊，放棄該畫素所對應該至少二相位的強度資訊，並透過該調變光接收電路重新取得該畫素於不同時間點所對應至少二相位的強度資訊；以及反應於本域的動態模糊，依據一模糊畫素數量來決定是否重新透過該調變光接收電路重新取得該畫素於不同時間點所對應至少二相位的強度資訊，其中該模糊畫素數量是反應於經判斷有動態模糊而累計的一數量。
  9. 一種基於飛行時間測距的處理方法，包括：取得至少一畫素所對應至少二相位的強度資訊，其中該強度 資訊係利用該至少二相位在時間上延遲感測一調變光所得；以及依據該至少二相位的強度資訊之間的差異，決定是否放棄該畫素所對應該至少二相位的強度資訊，其中決定是否放棄該畫素所對應該至少二相位的強度資訊的步驟包括：判斷該差異是否大於一差異門檻值；反應於該差異大於該差異門檻值，放棄該畫素所對應該至少二相位的強度資訊；反應於放棄該畫素所對應該至少二相位的強度資訊，判斷是否重新取得該畫素於不同時點所對應至少二相位的強度資訊；以及依據複數個該畫素所對應不同相位的強度資訊來計算一深度資訊。
  10. 如申請專利範圍第9項所述基於飛行時間測距的處理方法，其中決定是否放棄該畫素所對應該至少二相位的強度資訊的步驟之後，更包括：適性調整偵測該至少二相位的調變光的一曝光時間，以重新取得該畫素於不同時間點所對應至少二相位的強度資訊。
  11. 如申請專利範圍第9項所述基於飛行時間測距的處理方法，其中判斷該差異是否大於該差異門檻值的步驟之後，更包括：取得一姿態資訊，該姿態資訊係對應於感測該至少二相位的調變光的裝置； 反應於該差異大於該差異門檻值，依據該姿態資訊判斷造成該差異的動態模糊為全域或本域；反應於全域的動態模糊，放棄該畫素所對應該至少二相位的強度資訊，並重新取得該畫素於不同時間點所對應至少二相位的強度資訊；以及反應於本域的動態模糊，依據一模糊畫素數量來決定是否重新取得該畫素於不同時間點所對應至少二相位的強度資訊，其中該模糊畫素數量是反應於該畫素經判斷有動態模糊而累計的一數量。
  12. 如申請專利範圍第11項所述基於飛行時間測距的處理方法，其中判斷該差異是否大於該差異門檻值的步驟之後，更包括：反應於該模糊畫素數量大於一數量門檻值，放棄該畫素所對應該至少二相位的強度資訊，並重新取得該畫素於不同時間點所對應至少二相位的強度資訊。
  13. 如申請專利範圍第9項所述基於飛行時間測距的處理方法，其中判斷該差異是否大於該差異門檻值的步驟之後，更包括：反應於該差異大於該差異門檻值，放棄至少一該畫素所對應不同相位的強度資訊，其中受放棄的該至少一畫素是經判斷有動態模糊；以及依據未放棄的複數個該畫素所對應不同相位的強度資訊來計 算深度資訊。
TW108121698A 2019-02-19 2019-06-21 基於飛行時間測距的運算裝置、感測裝置及處理方法 TWI696841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962807246P 2019-02-19 2019-02-19
US62/807,246 2019-02-19

Publications (2)

Publication Number Publication Date
TWI696841B true TWI696841B (zh) 2020-06-21
TW202032155A TW202032155A (zh) 2020-09-01

Family

ID=72110768

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108115961A TWI741291B (zh) 2019-02-19 2019-05-09 飛行時間相機模組的驗證方法及其驗證系統
TW108121698A TWI696841B (zh) 2019-02-19 2019-06-21 基於飛行時間測距的運算裝置、感測裝置及處理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108115961A TWI741291B (zh) 2019-02-19 2019-05-09 飛行時間相機模組的驗證方法及其驗證系統

Country Status (2)

Country Link
CN (5) CN111580117A (zh)
TW (2) TWI741291B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123671B4 (de) * 2020-09-10 2022-12-22 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Dynamikerweiterung eines Lichtlaufzeitkamerasystems
CN112954230B (zh) * 2021-02-08 2022-09-09 深圳市汇顶科技股份有限公司 深度测量方法、芯片和电子设备
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、系统及存储介质
CN113219476B (zh) * 2021-07-08 2021-09-28 武汉市聚芯微电子有限责任公司 测距方法、终端及存储介质
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
TW201719193A (zh) * 2015-09-10 2017-06-01 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
TW201841000A (zh) * 2017-02-17 2018-11-16 日商北陽電機股份有限公司 物體捕捉裝置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002139818A (ja) * 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd レンズ付きフイルムユニット
CN101252802B (zh) * 2007-02-25 2013-08-21 电灯专利信托有限公司 用于低输入电压的电荷泵电子镇流器
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
EP2402783B1 (en) * 2009-02-27 2013-10-02 Panasonic Corporation Distance measuring apparatus
CN102735910B (zh) * 2011-04-08 2014-10-29 中山大学 最大峰值电压侦测电路
WO2013009099A2 (ko) * 2011-07-12 2013-01-17 삼성전자 주식회사 블러 처리 장치 및 방법
CN103181156B (zh) * 2011-07-12 2017-09-01 三星电子株式会社 模糊处理装置及方法
EP2728374B1 (de) * 2012-10-30 2016-12-28 Technische Universität Darmstadt Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
US9019480B2 (en) * 2013-02-26 2015-04-28 Jds Uniphase Corporation Time-of-flight (TOF) system, sensor pixel, and method
US9681123B2 (en) * 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックＩｐマネジメント株式会社 測距装置
TWI545951B (zh) * 2014-07-01 2016-08-11 晶相光電股份有限公司 感測器以及感測方法
EP2978216B1 (de) * 2014-07-24 2017-08-16 Espros Photonics AG Verfahren zur Erkennung von Bewegungsunschärfe
JP6280002B2 (ja) * 2014-08-22 2018-02-14 浜松ホトニクス株式会社 測距方法及び測距装置
CN104677277B (zh) * 2015-02-16 2017-06-06 武汉天远视科技有限责任公司 一种测量物体几何属性或距离的方法及系统
CN106152947B (zh) * 2015-03-31 2019-11-29 北京京东尚科信息技术有限公司 测量物体尺寸的设备、方法和装置
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
CN107850664B (zh) * 2015-07-22 2021-11-05 新唐科技日本株式会社 测距装置
US9716850B2 (en) * 2015-09-08 2017-07-25 Pixart Imaging (Penang) Sdn. Bhd. BJT pixel circuit capable of cancelling ambient light influence, image system including the same and operating method thereof
TWI557393B (zh) * 2015-10-08 2016-11-11 微星科技股份有限公司 雷射測距校正方法與應用此方法的裝置
US10057526B2 (en) * 2015-11-13 2018-08-21 Pixart Imaging Inc. Pixel circuit with low power consumption, image system including the same and operating method thereof
US9762824B2 (en) * 2015-12-30 2017-09-12 Raytheon Company Gain adaptable unit cell
US10516875B2 (en) * 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
CN107040732B (zh) * 2016-02-03 2019-11-05 原相科技股份有限公司 影像感测电路及方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
KR102752035B1 (ko) * 2016-08-22 2025-01-09 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
JP6862751B2 (ja) * 2016-10-14 2021-04-21 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN108616726A (zh) * 2016-12-21 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system
US10557921B2 (en) * 2017-01-23 2020-02-11 Microsoft Technology Licensing, Llc Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing
CN108700664A (zh) * 2017-02-06 2018-10-23 松下知识产权经营株式会社 三维运动取得装置及三维运动取得方法
WO2018235163A1 (ja) * 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
EP3783304B1 (en) * 2017-06-22 2024-07-03 Hexagon Technology Center GmbH Calibration of a triangulation sensor
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法
CN108401098A (zh) * 2018-05-15 2018-08-14 绍兴知威光电科技有限公司 一种tof深度相机系统及其降低外部误差的方法
CN112363150B (zh) * 2018-08-22 2024-05-28 Oppo广东移动通信有限公司 标定方法、标定控制器、电子装置及标定系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
TW201719193A (zh) * 2015-09-10 2017-06-01 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
TW201841000A (zh) * 2017-02-17 2018-11-16 日商北陽電機股份有限公司 物體捕捉裝置

Also Published As

Publication number Publication date
TW202032154A (zh) 2020-09-01
CN111586307A (zh) 2020-08-25
CN111580117A (zh) 2020-08-25
CN111586306B (zh) 2022-02-01
CN111580067A (zh) 2020-08-25
CN111580067B (zh) 2022-12-02
CN111586307B (zh) 2021-11-02
TW202032155A (zh) 2020-09-01
CN111624612B (zh) 2023-04-07
CN111624612A (zh) 2020-09-04
TWI741291B (zh) 2021-10-01
CN111586306A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
TWI696841B (zh) 基於飛行時間測距的運算裝置、感測裝置及處理方法
US20250138193A1 (en) Processing system for lidar measurements
JP7308856B2 (ja) ノイズフロアの適応識別を使用したアクティブ信号検出
US20190113606A1 (en) Time-of-flight depth image processing systems and methods
JP7321178B2 (ja) パルスタイプに応じたｌｉｄａｒパルスディテクタの選択
KR102869766B1 (ko) ToF(time-of-flight) 깊이 측정 방법 및 이를 수행하는 ToF 카메라
JP7325433B2 (ja) リアルタイム検出に対するレーザパルスエッジの検出
US11272157B2 (en) Depth non-linearity compensation in time-of-flight imaging
US11423572B2 (en) Built-in calibration of time-of-flight depth imaging systems
US10473461B2 (en) Motion-sensor device having multiple light sources
JP6193227B2 (ja) ブラー処理装置及び方法
CN109903324B (zh) 一种深度图像获取方法及装置
CN112368597A (zh) 光测距装置
KR20140057625A (ko) 이동거리시간차 신호들을 프로세싱하는데 있어서 또는 프로세싱과 관련된 개선들
US11965962B2 (en) Resolving multi-path corruption of time-of-flight depth images
CN113439195A (zh) 使用动态视觉传感器和图案投影的三维成像和感测
KR20130008469A (ko) 블러 처리 장치 및 방법
CN113497892B (zh) 摄影装置、测距装置及方法、以及存储介质、计算机装置
CN117280177A (zh) 使用单光子雪崩二极管的结构化光深度计算的系统和方法
US11467258B2 (en) Computation device, sensing device and processing method based on time of flight
TWI707152B (zh) 基於飛行時間測距的運算裝置、感測裝置及處理方法
CN112415487B (zh) 基于飞行时间测距的运算装置、感测装置及处理方法
US11961257B2 (en) Built-in calibration of time-of-flight depth imaging systems