TWI622960B - 深度影像擷取裝置的校正方法 - Google Patents

Abstract

一種深度影像擷取裝置的校正方法。深度影像擷取裝置包括一投光裝置以及一影像感測裝置。校正方法包括以下步驟：擷取一校正板的至少三組影像，該校正板具有複數個特徵點；依據至少三組影像，校正影像感測裝置的影像感測裝置內部參數；取得投光裝置的一投影圖案中對應於校正板的複數個特徵點的多組對應點座標值；校正得到投光裝置的一投光裝置內部參數；取得複數個特徵點的多組特徵點空間座標值；以及依據多組特徵點空間座標值、多組對應點座標值、影像感測裝置內部參數以及投光裝置內部參數，得到影像感測裝置以及投光裝置之間的外部參數。

Description

深度影像擷取裝置的校正方法

本發明是有關於深度影像擷取裝置的校正方法。

使用深度攝影機 (depth camera) 時，可能因為深度攝影機遭受撞擊、摔落或者熱漲冷縮等因素，影響到深度攝影機原本已校正好的設定，進而造成深度攝影機無法計算影像深度值，或是深度攝影機計算的影像深度值之誤差變大，這樣的情況稱為校正出現錯誤。

當深度攝影機發生校正出現錯誤時，需要將深度攝影機送至製造廠商以重新校正深度攝影機。當廠商完成深度攝影機的校正後，再將深度攝影機送回給使用者。這樣的流程對使用者來說並不便利。因此，如何讓使用者便利的校正深度攝影機係為目前業界努力的方向之一。

本發明係有關於一種深度影像擷取裝置的校正方法，透過校正板的使用，可在不需要使用精密定位控制的校正平台的情況下，完成深度影像擷取裝置的校正。因此，在深度影像擷取裝置的校正參數失效時，可以讓使用者自行校正，不需要將深度影像擷取裝置送回廠商或送至專業的校正室進行深度影像擷取裝置的校正。

根據本發明之一方面，提出一種深度影像擷取裝置的校正方法。該深度影像擷取裝置包括一投光裝置以及一影像感測裝置。該校正方法包括以下步驟。擷取一校正板的至少三組影像，該校正板具有複數個特徵點。依據該至少三組影像，校正該影像感測裝置的一影像感測裝置內部參數。並依據該至少三組影像，取得該投光裝置的一投影圖案中對應於該些特徵點的複數個對應點的複數組對應點座標值。依據該影像感測裝置內部參數與該複數組對應點座標值取得該投光裝置的一投光裝置內部參數。依據該影像感測裝置內部參數，取得各該些特徵點的一特徵點空間座標值。以及依據該些特徵點空間座標值、該複數組對應點座標值、該影像感測裝置內部參數以及該投光裝置內部參數，取得該影像感測裝置以及該投光裝置之間的一外部參數。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

以下提出各種實施例進行詳細說明，然而，實施例僅用以作為範例說明，並不會限縮本發明欲保護之範圍。此外，實施例中的圖式省略部份元件，以清楚顯示本發明的技術特點。在所有圖式中相同的標號將用於表示相同或相似的元件。

請參照第1圖，其繪示依據本發明之一實施例之一深度影像擷取裝置10之示意圖。深度影像擷取裝置10包括一三維影像模組100以及一處理單元130。三維影像模組100包括一投光裝置110以及一影像感測裝置120。在三維影像模組100中，投光裝置110以及影像感測裝置120之間的相對距離以及相對角度係為固定。投光裝置110用以將一投影圖案投影至一校正板190上。上述之投影圖案可以例如是一隨機分佈的散亂光點的圖案，稱為隨機樣板 (random pattern) 圖像。在本發明之實施例中，將投光裝置110視為一虛擬相機，亦將投影圖案視為投光裝置110 (虛擬相機) 擷取的影像。投光裝置110可以例如是光學投影裝置、數位投影裝置。

影像感測裝置120用以擷取校正板190的影像，以及擷取投光裝置110將投影圖案投影至校正板190後的影像。影像感測裝置120可以例如是相機、攝影機等各種可用以擷取影像的裝置。校正板190上的校正圖樣可以例如是田字型、棋盤格、多個同心圓、多個圓點的校正圖樣，應該理解的是，校正圖樣並不以上述圖樣為限。上述之田字型的校正圖樣係為多條線段排列成田字型，各線段的交點形成一特徵點，這些特徵點以三乘三矩陣排列於校正板190上。校正板190具有校正圖樣的表面係一平坦表面。在本發明之實施例中，以具有田字型校正圖樣的校正板來執行深度影像擷取裝置10的校正方法。然而，本發明所屬技術領域中具有通常知識者均可瞭解，校正板190並不侷限於具有田字型校正圖樣的校正板，具有其他校正圖樣的校正板亦可使用。

影像感測裝置120擷取的影像以及投光裝置110的投影圖案可傳送至處理單元130。處理單元130依據影像感測裝置120擷取到的影像與投光裝置110的投影圖案對深度影像擷取裝置10進行校正。處理單元130可以例如是藉由使用一晶片、晶片內的一電路區塊、一韌體電路、含有數個電子元件及導線的電路板或儲存複數組程式碼的一儲存媒體來實現，也可藉由電腦系統、伺服器等電子裝置執行對應軟體或程式來實現。

請同時參照第1圖、第2A圖及第3圖。第2A圖繪示依據本發明之一實施例之深度影像擷取裝置的校正方法之流程圖。第2A圖繪示之深度影像擷取裝置的校正方法可應用於如第1圖所示之深度影像擷取裝置10。為了清楚說明上述各項元件的運作以及本發明實施例的深度影像擷取裝置的校正方法，以下將搭配第2A圖之流程圖詳細說明如下。然而，本發明所屬技術領域中具有通常知識者均可瞭解，本發明實施例的深度影像擷取裝置的校正方法並不侷限應用於第1圖的深度影像擷取裝置10，也不侷限於第2A圖之流程圖的各項步驟順序。第3圖繪示依據本發明之一實施例之深度影像擷取裝置所擷取的影像之示意圖。

根據本發明一實施例，首先，於步驟S202，處理單元130讀取影像感測裝置120的解析度、校正板190的尺寸、校正板190上的各特徵點之間的距離、校正板190上的各特徵點的特徵點座標值。上述之資訊的讀取方式可以係處理單元130讀取一設定檔案，或由使用人員或校正人員輸入上述資訊。

在步驟S204，影像感測裝置120以面對校正板190的至少三個不同角度，擷取校正板190的至少三張角度影像。影像感測裝置120以一第一角度擷取校正板190的一第一角度影像310_a、以一第二角度擷取該校正板的一第二角度影像320_a以及以一第三角度擷取該校正板的一第三角度影像330_a。第一角度、第二角度及第三角度彼此不同。處理單元130利用特徵點偵測方式，得到校正板190上的各特徵點在第一角度影像310_a、第二角度影像320_a及第三角度影像330_a中的位置 (座標值)。

接著，在步驟S206，處理單元130依據第一角度影像310_a、第二角度影像320_a及第三角度影像330_a校正影像感測裝置120的一影像感測裝置內部參數。處理單元130利用下列式1校正影像感測裝置120的影像感測裝置內部參數。 (式1) 其中，x、y、z是使用者指定的世界座標系之三維空間中的點(x, y, z) 之三維座標值。X、Y是點(x, y, z)成像於一平面影像上的對應點(X, Y)之二維座標值。α、β、γ、u ₀、ν ₀組成一個3x3的矩陣，是影像感測裝置120的影像感測裝置內部參數 (影像感測裝置120的投影矩陣)。 r ₁、 r ₂、 r ₃、 t都是3x1的向量，四者組成一個3x4座標轉換矩陣，相當於影像感測裝置120的外部參數。 r ₁、 r ₂、 r ₃是互相垂直的單位向量，構成一個旋轉矩陣。 r ₁、 r ₂、 r ₃分別是影像感測裝置120在x軸、y軸、z軸的旋轉向量。 t是影像感測裝置120的平移向量。s是一比例係數。

當影像感測裝置120以第一角度擷取校正板190的第一角度影像310_a時，可將此時的校正板平面定義為世界座標系統的xy平面，所以此時可將z座標定義為零 (z=0)，同時可將影像感測裝置120以第一角度擷取校正板190的第一角度影像310_a中的一第一特徵點的位置定為原點 (0, 0, 0)。由於將z座標定義為零 (z=0)，因此可簡化式1，移除 r ₃，得到下列式2。 (式2)

由於α、β、γ、u ₀、ν ₀與影像感測裝置120的旋轉、平移無關，因此可依據第一角度影像310_a、第二角度影像320_a、第三角度影像330_a以及式2解出α、β、γ、u ₀、ν ₀，得到影像感測裝置120的影像感測裝置內部參數。由於校正板190上各特徵點的特徵點座標值係為已知，更可算出影像感測裝置120在第一角度、第二角度、第三角度之間的旋轉與平移，得到 r ₁、 r ₂、 r ₃、 t的資料。

此外，影像感測裝置120的擷取的影像可能會因為影像感測裝置120的鏡頭之光學特性而發生扭曲或形變。處理單元130可由校正板190上的田字型校正圖樣的四個邊界的資料，依照同一條邊界是一條直線的特性，透過下列式3、式4及式5取得影像感測裝置120的影像感測裝置形變參數K ₁、K ₂、…。 (式3) (式4) (式5) 其中，K ₁、K ₂為影像感測裝置120的影像感測裝置形變參數。x _d及y _d是發生扭曲的影像上的點的座標值。x _u及y _u是沒有發生扭曲的影像上的點的座標值。x _c及y _c是扭曲中心位置。

接著，於步驟S208，影像感測裝置120於至少三個不同位置上擷取至少三張校正板190的影像，以及至少三張投光裝置110將投影圖案投影至校正板190後的校正板190的影像，如第3圖所示。在本發明一實施例中，上述之深度影像擷取裝置10置於不同位置，不同位置主要係為深度影像擷取裝置10與校正板190之間具有不同的距離，並不調整深度影像擷取裝置10面對校正板190的角度。於本發明另一實施例中，深度影像擷取裝置10與校正板190之間具有不同的距離，深度影像擷取裝置10在不同距離的位置上面對校正板190的角度亦為不同。

將深度影像擷取裝置10設置於距離校正板190一第一距離的一第一位置，也就是說，在第一位置上，深度影像擷取裝置10與校正板190之間具有一第一距離。在第一位置上，影像感測裝置120擷取校正板190的一第一位置影像310_b。隨後，深度影像擷取裝置10同樣仍在第一位置上，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第一位置投影影像310_c。

接著，將深度影像擷取裝置10設置於距離校正板190一第二距離的一第二位置，也就是說，在第二位置上，深度影像擷取裝置10與校正板190之間具有一第二距離。在第二位置上，影像感測裝置120擷取校正板190的一第二位置影像320_b。隨後，深度影像擷取裝置10同樣仍在第二位置上，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第二位置投影影像320_c。

接著，將深度影像擷取裝置10設置於距離校正板190一第三距離的一第三位置，也就是說，在第三位置上，深度影像擷取裝置10與校正板190之間具有一第三距離。在第三位置上，影像感測裝置120擷取校正板190的一第三位置影像330_b。隨後，深度影像擷取裝置10同樣仍在第三位置上，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第三位置投影影像330_c。第一距離、第二距離及第三距離彼此不同。

在本發明實施例中，上述之第一角度影像310_a、第一位置影像310_b及第一位置投影影像310_c可視作影像感測裝置120擷取校正板190的一第一組影像。第二角度影像320_a、第二位置影像320_b及第二位置投影影像320_c可視作影像感測裝置120擷取校正板190的一第二組影像。第三角度影像330_a、第三位置影像330_b及第三位置投影影像330_c可視作影像感測裝置120擷取校正板190的一第三組影像。

在步驟S210，依據上述取得的影像感測裝置120的影像感測裝置形變參數，處理單元130對第一位置影像310_b、第二位置影像320_b、第三位置影像330_b、第一位置投影影像310_c、第二位置投影影像320_c及第三位置投影影像330_c進行反扭曲運算 (undistortion)，以產生一無形變第一位置影像、一無形變第二位置影像、一無形變第三位置影像、一無形變第一位置投影影像、一無形變第二位置投影影像及一無形變第三位置投影影像。

在步驟S212，依據投影圖案、無形變第一位置影像、無形變第二位置影像、無形變第三位置影像、無形變第一位置投影影像、無形變第二位置投影影像及無形變第三位置投影影像，以區塊匹配 (block matching) 演算法取得投影圖案中對應於校正板190上的該些特徵點的多個對應點的一第一組對應點座標值、一第二組對應點座標值及一第三組對應點座標值。

由於影像感測裝置120擷取第一位置影像310_b以及第一位置投影影像310_c時，深度影像擷取裝置10皆位於第一位置，也就是說，影像感測裝置120及投光裝置110並沒有被移動，因此，可以區塊匹配演算法比對投影圖案及無形變第一位置投影影像，以取得投影圖案中對應於校正板190上的該些特徵點的多個對應點的對應點座標值 (第一組對應點座標值)。相似地，由於影像感測裝置120擷取第二位置影像320_b以及第二位置投影影像320_c時，深度影像擷取裝置10皆位於第二位置，因此，可以區塊匹配演算法比對投影圖案及無形變第二位置投影影像，以取得投影圖案中對應於校正板190上的該些特徵點的多個對應點的對應點座標值 (第二組對應點座標值)。影像感測裝置120擷取第三位置影像330_b以及第三位置投影影像330_c時，深度影像擷取裝置10皆位於第三位置，因此，可以區塊匹配演算法比對投影圖案及無形變第三位置投影影像，以取得投影圖案中對應於校正板190上的該些特徵點的多個對應點的對應點座標值 (第三組對應點座標值)。

於步驟S214，取得投光裝置110的一投光裝置形變參數。由於已經對第一位置影像310_b、第二位置影像320_b、第三位置影像330_b、第一位置投影影像310_c、第二位置投影影像320_c及第三位置投影影像330_c進行反扭曲運算，因此在經過反扭曲運算的上述影像上定義一個具有直線的方框，此方框在三維空間中也應具有直線。因此，可於無形變第一位置投影影像、無形變第二位置投影影像及無形變第三位置投影影像三者之一中定義一個方框，此方框為一長方形。將此方框的四個邊線的像素點對應至投影圖案，可在投影圖案上獲得一對應方框。若投光裝置110的投光鏡頭在投影投影圖案時，使得投影至校正板190的影像發生形變，則無形變第一位置投影影像、無形變第二位置投影影像及無形變第三位置投影影像三者之一中定義一個方框在投影圖案中的對應方框可能是梯形，而非為長方形。依據無形變第一位置投影影像、無形變第二位置投影影像及無形變第三位置投影影像三者之一中定義的方框以及投影圖案上的對應方框，透過上述之式3、式4、式5的計算，取得投光裝置110的投光裝置形變參數。

接著，於步驟S216，依據在步驟S212取得的第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值，透過前述之式1及式2，取得投光裝置110的一投光裝置內部參數。

於步驟S218，依據第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值，取得影像感測裝置120與投光裝置110的一影像轉換矩陣，以進行矯正 (rectification) 處理。由於影像感測裝置120與投光裝置110在三維影像模組100內並非完全疊合，影像感測裝置120與投光裝置110之間具有一夾角、一上下或左右的距離差異。影像感測裝置120擷取的影像以及與當作虛擬相機的投光裝置110擷取的影像 (投影圖案)的影像平面並不平行。透過矯正處理，兩個影像平面會平行且共面，且兩影像平面對應的極線 (epipolar line) 會是水平線。將影像感測裝置120擷取之影像與投光裝置110的投影圖案之間的歪斜用影像轉換矩陣轉正。

接著，於步驟S220，依據影像感測裝置內部參數以及校正板190上的校正點的校正點座標值，透過上述式1，可取得第一位置影像310_b及第一位置投影影像310_c、第二位置影像320_b及第二位置投影影像320_c與第三位置影像330_b及第三位置投影影像330_c中，第一位置影像310_b、第二位置影像320_b及第三位置影像330_b的 r ₁、 r ₂、 r ₃、 t的資料。由於已有α、β、γ、u ₀、ν ₀與 r ₁、 r ₂、 r ₃、 t的資料，以及校正板190的各特徵點在第一位置影像310_b、第二位置影像320_b及第三位置影像330_b中的特徵點座標值，因此可由上述式1取得校正板190上各特徵點的特徵點空間座標值。

於步驟S222，依據取得的校正板190上的各特徵點的特徵點空間座標值、投影圖案中對應於特徵點的第一、二、三組對應點座標值、影像感測裝置內部參數120的影像感測裝置內部參數以及投光裝置110的投光裝置內部參數，透過下列式6取得影像感測裝置120以及投光裝置110之間的一投影矩陣 (projection matrix)，此投影矩陣即是影像感測裝置120以及投光裝置110之間的外部參數。 (式6) 其中， 即為投影矩陣， p ₀～ p ₁₀為投影矩陣內的變數。

請參照第2B圖，其繪示依據本發明之另一實施例之深度影像擷取裝置的校正方法之流程圖。第2B圖繪示之深度影像擷取裝置的校正方法與第2A圖所示之深度影像擷取裝置的校正方法相似，相同或相似的流程步驟將以相同的標號表示。第2B圖繪示之深度影像擷取裝置的校正方法與第2A圖所示之深度影像擷取裝置的校正方法的主要不同之處在於，步驟S208可於步驟S206之前執行，也就是說，在校正影像感測裝置120的影像感測裝置內部參數之前，影像感測裝置120可先於三個不同位置上擷取至少三張校正板190的影像以及至少三張投光裝置110將投影圖案投影至校正板190後的校正板190的影像。

請同時參照第1圖、第4圖及第5圖。第4圖繪示依據本發明之另一實施例之深度影像擷取裝置的校正方法之流程圖。第4圖繪示之深度影像擷取裝置的校正方法可應用於如第1圖所示之深度影像擷取裝置10。為了清楚說明上述各項元件的運作以及本發明實施例的深度影像擷取裝置的校正方法，以下將搭配第4圖之流程圖詳細說明如下。然而，本發明所屬技術領域中具有通常知識者均可瞭解，本發明實施例的深度影像擷取裝置的校正方法並不侷限應用於第1圖的深度影像擷取裝置10，也不侷限於第4圖之流程圖的各項步驟順序。第5圖繪示依據本發明之此一實施例之深度影像擷取裝置所擷取的影像之示意圖。

根據本發明一實施例，首先，於步驟S402，處理單元130讀取影像感測裝置120的解析度、校正板190的尺寸、校正板190上的各特徵點之間的距離、校正板190上的各特徵點的特徵點座標值。上述之資訊的讀取方式可以係處理單元130讀取一設定檔案，或由使用人員或校正人員輸入上述資訊。

在步驟S404，影像感測裝置120於至少三個不同狀態下，擷取至少三張校正板190的影像以及至少三張投光裝置110將投影圖案投影至校正板190後之校正板190的影像，如第5圖所示。

詳細說明步驟S404如下。首先，將深度影像擷取裝置10設置於一第一狀態。在第一狀態下，深度影像擷取裝置10以一第一角度面對校正板190，且深度影像擷取裝置10與校正板190之間具有一第一距離。在深度影像擷取裝置10設置於第一狀態下，影像感測裝置120擷取校正板190的一第一狀態影像510_a。隨後，深度影像擷取裝置10同樣仍在第一狀態，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第一狀態投影影像510_b。

接著，將深度影像擷取裝置10設置於一第二狀態，在第二狀態下，深度影像擷取裝置10以一第二角度面對校正板190，且深度影像擷取裝置10與校正板190之間具有一第二距離。在深度影像擷取裝置10設置於第二狀態下，影像感測裝置120擷取校正板190的一第二狀態影像520_a。隨後，深度影像擷取裝置10同樣仍在第二狀態，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第二狀態投影影像520_b。

隨後，將深度影像擷取裝置10設置於一第三狀態，在第三狀態下，深度影像擷取裝置10以一第三角度面對校正板190，且深度影像擷取裝置10與校正板190之間具有一第三距離。在深度影像擷取裝置10設置於第三狀態下，影像感測裝置120擷取校正板190的一第三狀態影像530_a。隨後，深度影像擷取裝置10同樣仍在第三狀態，投光裝置110將投影圖案投影至校正板190。影像感測裝置120感測投影到校正板190上的投影圖案，擷取影像，產生一第三狀態投影影像530_b。上述之第一距離、第二距離及第三距離係不相同，第一角度、第二角度及第三角度係不相同。

在本發明實施例中，上述之第一狀態影像510_a、第一狀態投影影像510_b可視作影像感測裝置120擷取校正板190的一第一組影像，第二狀態影像520_a、第二狀態投影影像520_b可視作影像感測裝置120擷取校正板190的一第二組影像，第三狀態影像530_a、第三狀態投影影像530_b可視作影像感測裝置120擷取校正板190的一第三組影像。

在步驟S406，處理單元130利用特徵點偵測方式，得到校正板190上的各特徵點分別在第一狀態影像510_a、第二狀態影像520_a及第三狀態影像530_a中的位置 (座標值)。處理單元130依據第一狀態影像510_a、第二狀態影像520_a及第三狀態影像530_a校正影像感測裝置120的一影像感測裝置內部參數。處理單元130利用上述式1及式2校正影像感測裝置120的影像感測裝置內部參數。在步驟S408，透過上述式3、式4及式5取得影像感測裝置120的影像感測裝置形變參數。步驟S406及S408相似於第2A圖之步驟S206，因此不再贅述。

在步驟S410，依據上述取得的影像感測裝置120的影像感測裝置形變參數，處理單元130對第一狀態影像510_a、第二狀態影像520_a、第三狀態影像530_a、第一狀態投影影像510_b、第二狀態投影影像520_b及第三狀態投影影像530_b進行反扭曲運算 (undistortion)，以產生一無形變第一狀態影像、一無形變第二狀態影像、一無形變第三狀態影像、一無形變第一狀態投影影像、一無形變第二狀態投影影像及一無形變第三狀態投影影像。

在步驟S412，依據投影圖案、無形變第一狀態影像、無形變第二狀態影像、無形變第三狀態影像、無形變第一狀態投影影像、無形變第二狀態投影影像及無形變第三狀態投影影像，以區塊匹配演算法取得投影圖案中對應於校正板190上的該些特徵點的多個對應點的一第一組對應點座標值、一第二組對應點座標值及一第三組對應點座標值。步驟S412相似於第2A圖之步驟S212，因此在此不再贅述。

於步驟S414，取得投光裝置110的一投光裝置形變參數。由於已經對第一狀態影像510_a、第二狀態影像520_a、第三狀態影像530_a、第一狀態投影影像510_b、第二狀態投影影像520_b及第三狀態投影影像530_b進行反扭曲運算，於無形變第一狀態投影影像、無形變第二狀態投影影像及無形變第三狀態投影影像三者之一中定義一個方框，此方框為一長方形。將此方框的四個邊線的像素點對應至投影圖案，可在投影圖案上獲得一對應方框。若投光裝置110的投光鏡頭投影投影圖案時，對投影出的影像造成形變，投影圖案上的對應方框可能是梯形，而非為長方形。依據無形變第一狀態投影影像、無形變第二狀態投影影像及無形變第三狀態投影影像三者之一中定義的方框以及投影圖案上的對應方框，透過上述之式3、式4、式5的計算，取得投光裝置110的投光裝置形變參數。

接著，於步驟S416，依據在步驟S412取得的第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值，透過前述之式1及式2，取得該投光裝置的一投光裝置內部參數。

於步驟S418，依據第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值，取得影像感測裝置120與投光裝置110的一影像轉換矩陣，以進行矯正 (rectification) 處理。

接著，於步驟S420，依據影像感測裝置內部參數以及校正板190上的校正點的校正點座標值，取得校正板190上各特徵點的特徵點空間座標值。

於步驟S422，依據取得的校正板190上的各特徵點的特徵點空間座標值、投影圖案中對應於特徵點的第一、二、三組對應點座標值、影像感測裝置內部參數120的影像感測裝置內部參數以及投光裝置110的投光裝置內部參數，取得影像感測裝置120以及投光裝置110之間的一投影矩陣 (projection matrix)，此投影矩陣即是影像感測裝置120以及投光裝置110之間的外部參數。步驟S418、S420及S422相似於第2A圖之步驟S218、S220及S222，在此不另贅述細節。

在本發明之一實施例中，深度影像擷取裝置10可設置於一機器手臂上，藉由操作機器手臂使深度影像擷取裝置10位於不同角度、不同位置或不同狀態，以擷取校正板190之影像，達到以自由姿態 (free pose) 的模式以進行深度影像擷取裝置10的校正。在本發明之另一實施例中，深度影像擷取裝置10可由一使用者握持，由使用者操作以使深度影像擷取裝置10位於不同角度、不同位置或不同狀態，以擷取校正板190之影像。

本發明之上述實施例中，係以設置深度影像擷取裝置10於不同角度、不同位置或不同狀態，擷取校正板190之影像，以執行深度影像擷取裝置10的校正方法。然而，本發明實施例的深度影像擷取裝置10的校正方法並不侷限於設置深度影像擷取裝置10於不同角度、不同位置或不同狀態。亦可改變為設置校正板190於不同角度、不同位置或不同狀態，讓深度影像擷取裝置10擷取校正板190於不同角度、不同位置或不同狀態之影像，以執行深度影像擷取裝置10的校正方法。

依據本發明之實施例所提出之深度影像擷取裝置的校正方法，透過影像感測裝置的影像感測裝置內部參數以及投光裝置的投光裝置內部參數取得校正板上各特徵點的特徵點空間座標值 (空間位置)，取代校正平台的使用。當深度影像擷取裝置需要校正時，使用者可使用一個校正板自行校正深度影像擷取裝置，不需將深度影像擷取裝置送回至廠商，由廠商進行校正，也不需使用校正平台進行校正。再者，依據本發明之實施例所提出之深度影像擷取裝置的校正方法，由於校正深度影像擷取裝置時，不需將深度影像擷取裝置設置於校正平台上，可達到以自由姿態 (free pose) 的模式進行校正，提高了使用者校正深度影像擷取裝置的便利性。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧深度影像擷取裝置
100‧‧‧三維影像模組
110‧‧‧投光裝置
120‧‧‧影像感測裝置
130‧‧‧處理單元
190‧‧‧校正板
S202～S222、S402～S422‧‧‧流程步驟
310_a、310_b、310_c、320_a、320_b、330_c、330_a、330_b、330_c、510_a、510_b、520_a、520_b、530_a、530_b‧‧‧影像

第1圖繪示依據本發明之一實施例之一深度影像擷取裝置之示意圖。 第2A圖繪示依據本發明之一實施例之深度影像擷取裝置的校正方法之流程圖。 第2B圖繪示依據本發明之另一實施例之深度影像擷取裝置的校正方法之流程圖。 第3圖繪示依據本發明之一實施例之深度影像擷取裝置所擷取的影像之示意圖。 第4圖繪示依據本發明之另一實施例之深度影像擷取裝置的校正方法之流程圖。 第5圖繪示依據本發明之另一實施例之深度影像擷取裝置所擷取的影像之示意圖。

Claims (15)

1. 一種深度影像擷取裝置的校正方法，該深度影像擷取裝置包括一投光裝置以及一影像感測裝置，該校正方法包括： 擷取一校正板的至少三組影像，該校正板具有複數個特徵點； 依據該至少三組影像，校正該影像感測裝置的一影像感測裝置內部參數； 依據該至少三組影像，取得該投光裝置的一投影圖案中對應於該些特徵點的複數個對應點的複數組對應點座標值； 依據該影像感測裝置內部參數與該複數組對應點座標值校正該投光裝置的一投光裝置內部參數； 依據該影像感測裝置內部參數，取得各該些特徵點的一特徵點空間座標值；以及 依據該些特徵點空間座標值、該些對應點的該複數組對應點座標值、該影像感測裝置內部參數以及該投光裝置內部參數，取得該影像感測裝置以及該投光裝置之間的一外部參數。
2. 如申請專利範圍第1項所述之校正方法，更包括取得該影像感測裝置的一解析度以及各該些特徵點在該校正板上的一特徵點座標值。
3. 如申請專利範圍第1項所述之校正方法，其中利用該影像感測裝置擷取該校正板的該至少三組影像的步驟包括： 該影像感測裝置以一第一角度擷取該校正板的一第一角度影像、以一第二角度擷取該校正板的一第二角度影像，以及以一第三角度擷取該校正板的一第三角度影像，其中該第一角度、該第二角度及該第三角度係不相同； 設置該深度影像擷取裝置於一第一位置，該影像感測裝置擷取該校正板的一第一位置影像，以及該投光裝置將對應於該投影圖案的一投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以產生一第一位置投影影像； 設置該深度影像擷取裝置於一第二位置，該影像感測裝置擷取該校正板的一第二位置影像，以及該投光裝置將該投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以產生一第二位置投影影像；以及 設置該深度影像擷取裝置於一第三位置，該影像感測裝置擷取該校正板的一第三位置影像，以及該投光裝置將該投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以產生一第三位置投影影像。
4. 如申請專利範圍第3項所述之校正方法，其中該第一位置係為該深度影像擷取裝置與該校正板之間具有一第一距離，該第二位置係為該深度影像擷取裝置與該校正板之間具有一第二距離，以及該第三位置係為該深度影像擷取裝置與該校正板之間具有一第三距離； 其中該第一距離、該第二距離及該第三距離係不相同。
5. 如申請專利範圍第3項所述之校正方法，其中校正該影像感測裝置內部參數的步驟包括： 依據該第一角度影像、該第二角度影像及該第三角度影像校正該影像感測裝置內部參數。
6. 如申請專利範圍第3項所述之校正方法，其中取得該投影圖案中對應於該些特徵點的該些對應點的該複數組對應點座標值的步驟包括： 依據該影像感測裝置的一影像感測裝置形變參數，對該第一位置影像、該第二位置影像及該第三位置影像進行反扭曲運算，以產生一無形變第一位置影像、一無形變第二位置影像及一無形變第三位置影像； 依據該影像感測裝置的該影像感測裝置形變參數，對該第一位置投影影像、該第二位置投影影像及該第三位置投影影像進行反扭曲運算，以產生一無形變第一位置投影影像、一無形變第二位置投影影像及一無形變第三位置投影影像；以及 依據該投影圖案、該無形變第一位置影像、該無形變第二位置影像、該無形變第三位置影像、該無形變第一位置投影影像、該無形變第二位置投影影像及該無形變第三位置投影影像，以區塊匹配演算法取得該投影圖案中對應於該些特徵點的該些對應點的一第一組對應點座標值、一第二組對應點座標值及一第三組對應點座標值。
7. 如申請專利範圍第1項所述之校正方法，其中利用該影像感測裝置擷取該校正板的該至少三組影像的步驟包括： 設置該深度影像擷取裝置於一第一狀態，該影像感測裝置擷取該校正板的一第一狀態影像，該投光裝置將對應於該投影圖案的一投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以擷取一第一狀態投影影像； 設置該深度影像擷取裝置於一第二狀態，該影像感測裝置擷取該校正板的一第二狀態影像，以及該投光裝置將該投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以擷取一第二狀態投影影像；以及 設置該深度影像擷取裝置於一第三狀態，該影像感測裝置擷取該校正板的一第三狀態影像，以及該投光裝置將該投影圖案投影至該校正板，該影像感測裝置感測投影到該校正板的該投影圖案，以擷取一第三狀態投影影像。
8. 如申請專利範圍第7項所述之校正方法，其中該第一狀態係為該深度影像擷取裝置以一第一角度面對該校正板，且該深度影像擷取裝置與該校正板之間具有一第一距離，該第二狀態係為該深度影像擷取裝置以一第二角度面對該校正板，且該深度影像擷取裝置與該校正板之間具有一第二距離，以及該第三狀態係為該深度影像擷取裝置以一第三角度面對該校正板，且該深度影像擷取裝置與該校正板之間具有一第三距離； 其中該第一距離、該第二距離及該第三距離係不相同，該第一角度、該第二角度及該第三角度係不相同。
9. 如申請專利範圍第7項所述之校正方法，其中校正該影像感測裝置內部參數的步驟包括： 依據該第一狀態影像、該第二狀態影像及該第三狀態影像校正該影像感測裝置內部參數。
10. 如申請專利範圍第7項所述之校正方法，其中取得該投影圖案中對應於該些特徵點的該些對應點的該複數組對應點座標值的步驟包括： 依據該影像感測裝置的一影像感測裝置形變參數，對該第一狀態影像、該第二狀態影像及該第三狀態影像進行反扭曲運算，以產生一無形變第一狀態影像、一無形變第二狀態影像及一無形變第三狀態影像； 依據該影像感測裝置的該影像感測裝置形變參數，對該第一狀態投影影像、該第二狀態投影影像及該第三狀態投影影像進行反扭曲運算，以產生一無形變第一狀態投影影像、一無形變第二狀態投影影像及一無形變第三狀態投影影像；以及 依據該投影圖案、該無形變第一狀態影像、該無形變第二狀態影像、該無形變第三狀態影像、該無形變第一狀態投影影像、該無形變第二狀態投影影像及該無形變第三狀態投影影像，以區塊匹配演算法取得該投影圖案中對應於該些特徵點的該些對應點的一第一組對應點座標值、一第二組對應點座標值及一第三組對應點座標值。
11. 如申請專利範圍第1項所述之校正方法，更包括依據該至少三組影像中的至少一影像，取得該投光裝置的一投光裝置形變參數。
12. 如申請專利範圍第1項所述之校正方法，更包括依據該複數組對應點座標值，取得該影像感測裝置與該投光裝置的一影像轉換矩陣，以進行矯正處理。
13. 如申請專利範圍第1項所述之校正方法，其中該深度影像擷取裝置配置於一機器手臂上。
14. 如申請專利範圍第1項所述之校正方法，其中該些特徵點以田字型的三乘三矩陣排列於該校正板上。
15. 如申請專利範圍第1項所述之校正方法，其中該投影圖案係為一隨機樣板圖像。