TWI661260B - 影像中心的自動校準之系統及方法 - Google Patents

Abstract

一影像擷取裝置之影像中心的自動校準系統，包含控制器、第一顯示器及第二顯示器，其中該控制器控制該第一及第二顯示器以顯示平行的第一線及第二線，並根據影像擷取裝置所產生對應於該第一及第二線之第一影像線及第二影像線是否為平行線選擇性旋轉第一線及第二線。控制器根據平行的第一影像線及第二影像線中推算出影像擷取裝置的影像中心點。

Description

影像中心的自動校準之系統及方法

本發明是關於一種影像中心的自動校準之系統及其方法；具體而言，本發明是關於一種用於影像擷取裝置的影像中心的自動校準之系統及其方法。

傳統的相機參數校正方法可粗略分為兩種：一種是利用精心布置好的三維空間，實際建立一精確之世界座標系統，再經過空間轉換以及映射轉換推算其相機參數，優點是精確度較高，缺點則是需要一較大的空間及昂貴的人力代價布置三維空間，實際建立精確之世界座標模型；另一類型則是在固定相機參數的狀況下，利用不同視角在真實世界場景間之相似度匹配，可在有限次數的視角下推算其相機參數，優點是校正時不需額外的工作空間或是昂貴的人力建置，缺點則是精度較低。

然而，雖然上述兩種校正方式被廣泛使用，但是在工廠端自動化製造時，仍面臨挑戰，其問題有：(一)在人工轉動校正板的階段，由於是人為操作，其校正的結果會隨著不同的人有所偏差，這種偏差在量產階段是不被允許的；以及(二)在為了得到較好的精度，需要更多不同角度的校正板影 像，再利用代數之最小近似解推導空間轉換矩陣以及映射矩陣來推算像機參數，然而在一固定像機參數的情況下，相機的內部參數必然固定，過多的利用校正板影像會導致相機內部參數之一致性問題。

本發明的一個目的是在於提供一種可以對影像擷取裝置的影像中心進行自動校準的系統及其方法。

本發明的另一個目的在於提供一種可以提高世界座標系統的精度及降低額外工作空間或昂貴的人力建置之需求的影像中心之自動校準的系統及其方法。

本發明的另一個目的在於提供一種可利用平面螢幕動態產生校正影像、可以自動找出螢幕和影像擷取裝置在三維空間中的相對應關係並在最佳角度進行校正之自動校準的系統及其方法。

本發明的另一個目的在於提供一種可藉由螢幕和影像擷取裝置之空間幾何關係推算影像擷取裝置之影像中心、無須透過影像擷取裝置外部參數(空間轉換)、可避免影響到影像擷取裝置內部參數之一致性的自動校準的系統及其方法。

本發明之影像中心之自動校準系統包含影像擷取裝置、控制器、第一顯示器及第二顯示器，其中控制器是分別耦接至影像擷取裝置、第一顯示器及第二顯示器。控制器包含執行：(1)驅動一影像擷取裝置以擷取一第一顯示器所顯示的一第一線及一第二線為一影像，其中該第一線及該第二線於該第一顯示器的顯示平面上實質相互平行，且該影像擷取裝置 設置於該顯示平面前的一距離；(2)控制該第一顯示器以旋轉該第一線及該第二線，並旋轉該第一線及該第二線直到該影像擷取裝置的該影像中的該第一影像線及該第二影像線形成為相互平行線；(3)控制該第一顯示器在其顯示平面上顯示相互平行且與該第一線及該第二線垂直的一第一垂直線及一第二垂直線；(4)對該影像擷取裝置的該影像中分別對應該第一垂直線及該第二垂直線的一第一影像垂直線及一第二影像垂直線判斷該第一影像垂直線及該第二影像垂直線間的一交叉點；(5)於該影像中判斷出通過該交叉點並和該第一影像線及該第二影像線垂直的一第一直線；(6)對一第二顯示器進行步驟(1)至(5)以產生一第二直線，其中該第二顯示器設置臨近於該第一顯示器位置，並且該第二顯示器的顯示平面與該第一顯示器的顯示平面間具有一傾斜角度；以及(7)判斷該第一直線及該第二直線間的一交叉點為一影像中心點。

本發明之影像中之自動校準方法包含：(1)驅動一影像擷取裝置以擷取一第一顯示器所顯示的一第一線及一第二線為一影像，其中該第一線及該第二線於該第一顯示器的顯示平面上實質相互平行，且該影像擷取裝置設置於該顯示平面前的一距離；(2)控制該第一顯示器以旋轉該第一線及該第二線，並旋轉該第一線及該第二線直到該影像擷取裝置的該影像中的該第一影像線及該第二影像線形成為相互平行線；(3)控制該第一顯示器在其顯示平面上顯示相互平行且與該第一線及該第二線垂直的一第一垂直線及一第二垂直線；(4)對該影像擷取裝置的該影像中分別對應該第一垂直線及該第二垂直線的一第一影像垂直線及一第二影像垂直線判斷該第一影像垂直線及該第二影像垂直線間的一交叉點；(5)於該影像中判斷出通 過該交叉點並和該第一影像線及該第二影像線垂直的一第一直線；(6)對一第二顯示器進行步驟(1)至(5)以產生一第二直線，其中該第二顯示器設置臨近於該第一顯示器位置，並且該第二顯示器的顯示平面與該第一顯示器的顯示平面間具有一傾斜角度；以及(7)判斷該第一直線及該第二直線間的一交叉點為一影像中心點。

11p‧‧‧第一影像線

11pn‧‧‧第一影像垂直線

11s‧‧‧第一線

11sn‧‧‧第一垂直線

12p‧‧‧第二影像線

12pn‧‧‧第二影像垂直線

12s‧‧‧第二線

12sn‧‧‧第二垂直線

100‧‧‧系統

110‧‧‧影像擷取裝置

120‧‧‧控制器

130A‧‧‧第一顯示器

130B‧‧‧第二顯示器

C‧‧‧影像中心點

C1、C2、C3‧‧‧訊號連接線

L1‧‧‧第一直線

L2‧‧‧第二直線

PV‧‧‧視角

P130A‧‧‧影像

P130B‧‧‧影像

S130A‧‧‧顯示畫面

S130B‧‧‧顯示畫面

V1、V2‧‧‧交叉點

V130A‧‧‧正視圖

S01~S07‧‧‧步驟

圖1為本發明自動校準系統的一個實施例的示意圖；圖2為本發明自動校準之方法的一個實施例的流程圖；圖3為圖1中第一顯示器及第二線示器的一個示意圖；圖4A為圖3中第一顯示器的顯示畫面的一個實施例的示意圖；圖4B為影像擷取裝置從視角PV所產生對應於圖4A中第一顯示器之顯示畫面的影像的一個示意圖；圖5A為圖4A中的平行線被旋轉的一個實施例的示意圖；圖5B為影像擷取裝置從視角PV所產生對應於圖5A中之顯示畫面的影像的一個示意圖；圖6A為圖5A的另一個實施例的示意圖；圖6B為圖5B的另一個實施例的示意圖；圖7為依據圖6B的影像推算出一第一直線的一個實施例的示意圖；及圖8為圖7的另一個實施例的示圖。

敬請參考附圖及以下本發明影像中心的自動校準系統及其方法的說明。以下說明將會描述本發明自動校準系統及其方法的各種不同的實施例；然而，本發明的範圍不限於本案所提供的圖式或以下所描述的實施方式。

圖1為本發明的自動校準系統的一個實施例示範圖。如圖1 所示，在本實施例中，自動校準系統100至少包含一影像擷取裝置110、一控制器120及一第一顯示器130A；然而，在其他不同實施例中，自動校準系統100可進一步包含一第二顯示器130B。

如圖1所示，在本實施例中，控制器120是分別耦接至影像擷取裝置110、第一顯示器130A及第二顯示器130B。在一實施例中，影像擷取裝置110可包含智慧型手機、數位相機、錄影裝置等具有影像擷取功能之電子產品；但不限於此。

在本實施例中，控制器120可為一種處理器(例如，微處理器、中央處理器、積體電路、電腦、伺服器等裝置)，其係用於控制第一顯示器130A(及第二顯示器130B)的顯示畫面，並且可接收影像擷取裝置110從第一顯示器130A及/或第二顯示器130B擷取的影像。上述所謂「影像擷取裝置110從第一顯示器130A及/或第二顯示器130B擷取的影像」是指，以影像擷取裝置110的位置及視角(或視野)，第一顯示器130A(及第二顯示器130B)於影像擷取裝置110中的投影映射所產生的影像。舉例而言，假如影像擷取裝置110為一種數位相機，影像擷取裝置110所產生的影像為第一顯示器130A(及第二顯示器130B)的映射投影。

如圖1所示，控制器120可藉由訊號連接C1及C2分別與第一顯示器130A及第二顯示器130B電性連接；然而，在其他不同實施例中，控制器120可以無線通訊的方式分別與第一線示器130A及第二線示器130B連接。此外，控制器120與影像擷取裝置110之間的訊號連接C3可包含有線或無線的連線方式；但不限於此，在其他不同實施例中，控制器120可直接設置於影像擷取裝置110中。舉例而言，影像擷取裝置110及控制器120可形成 於同一個裝置中(例如影像擷取裝置110可為一種相機，而控制器120可為該相機中的一個處理器或積體電路)。

圖2為一種可用於自動校準系統100的自動校準之方法的流程圖。在本實施例中，該自動校準方法包含步驟S01~S07，以下說明會更詳細解釋步驟S01~S07：在本實施例中，當第二顯示器130B是設置於第一顯示器130A旁邊，且第一顯示器130A及第二顯示器130B各別的顯示面落在影像擷取裝置110的視角PV範圍內(如圖1所示)，第一顯示器130A的顯示平面與第二顯示器130B的顯示平面之間具有角度A。

如圖1及圖3所示，第一顯示器130A的顯示面會先顯示一第一線11s及一第二線12s。其中，如圖3中第一顯示器130A的正視圖V130A以及圖4A中第一顯示器130A的顯示畫面S130A所示，第一線11s與第二線12s實質為平行線。在本實施例中，第一線11s及第二線12s較佳是先以平行的橫線呈現於第一顯示器130A的顯示面上。

如圖1及2所示，步驟S01包含驅動影像擷取裝置以擷取第一顯示器的影像。具體而言，影像擷取裝置110與第一顯示器130A的顯示面之間會有一距離。以影像擷取裝置110的位置及視角PV所擷取/產生對應於圖4A中顯示畫面S130A的影像而言，由於第一顯示器130A的顯示平面不是正視的面向影像擷取裝置110，因此從影像擷取裝置110的視角PV往第一顯示器130A看時，根據視覺的消失定理(vanishing theorem)在影像擷取裝置110的影像中對應於第一線11s及第二線12s的一第一影像線11p及第二影像線12p彼此不會形成平行線，如圖4B所示(圖4B是從影像擷取裝置120的視角 PV看到如圖3及4A中第一顯示器130A之顯示畫面S130A的影像)。

在控制器120驅動影像擷取裝置110，以擷取如圖4B中對應於第一顯示器130A的顯示畫面S130A(圖3及4A)之影像P130A時，控制器120可對影像P130A進行分析。在本實施例中，控制器120會根據影像P130A判斷其中對應於第一線11s及第二線12s的第一影像線11p及第二影像線12p是否在影像P130A中為平行的兩條線。換言之，控制器120會判斷第一影像線11p與第二影像線12p是否為相互平行的關係。根據此判斷結果，控制器120會產生一平行判斷結果。

在一實施例中，在進行上述判斷時，控制器120可推斷影像P130A中的第一影像線11p及第二影像線12p的延伸方向，並且推算是否會在一個交叉點CP交叉。假如第一影像線11p及第二影像線12p各別的推算延伸方向上沒有交叉，控制器120會判斷第一影像線11p及第二影像線12p為相互平行的線，並且執行步驟S03；然而假如有發現到交叉點，控制器120會進行步驟S02。

如圖2及5A所示，步驟S02包含旋轉第一顯示器的第一線11s及第二線12s。具體而言，以圖5A所示的顯示畫面S130A為例，在第一線11s及第二線12s互相保持平行的狀態下，控制器120可驅動第一顯示器130A以逆時針方向(或順時針方向)在第一顯示器130A的顯示畫面S130A上旋轉第一線11s及第二線12s。隨著第一顯示器130A的顯示畫面S130A的變動，影像擷取裝置110也會同時更新影像P130A(亦即，產生新的對應於變動過的顯示畫面S130A的影像P130A)。

在本實施例中，控制器120會根據接收到的影像P130A選擇 性(持續)調整顯示畫面130A中的第一線11s及第二線12s的旋轉速度及幅度，並且當影像P130A中的第一影像線11p及第二影像線12p相互平行時才停止顯示畫面S130中的第一線11s及第二線12s之旋轉。以圖5A為舉例，在第一顯示器130A的顯示畫面S130A上，第一線11s及第二線12s(可能)會在被旋轉後，從原先第一線位置11s’及原先第二線位置12s’旋轉至圖5A中的第一線11s及第二線12s的位置。如圖5B所示，影像擷取裝置110所產生的影像P130A中所對應於圖5A顯示畫面S130A的第一線11s及第二線12s的第一影像線11p及第二影像線12p還是可能不是平行的線，其中第一影像線11p及第二影像線12p的延伸方向可能還會在交叉點CP之處交叉。在此情況下，控制器120會判斷上述影像P130A的第一影像線11p及第二影像線12p還是會相互交叉，因此控制器120所產生的平行判斷結果中之結論會是第一線11s及第二線12s還需要繼續被旋轉。

步驟S03包含控制第一顯示器在其顯示平面上顯示相互平行且與第一線及第二線垂直的一第一垂直線及一第二垂直線。圖6A為第一顯示器110的顯示畫面S130A的一實施例；圖6B為對應於圖6A中顯示畫面S130A的影像P130A。具體而言，如圖6A及6B所示，當控制器120發現顯示畫面S130A的第一線11s及第二線12s旋轉至可使影像P130中的對應第一影像線11p及第二影像線12p形成為平行線時，控制器120會控制第一顯示器120在顯示畫面S130A中顯示一第一垂直線11sn及一第二垂直線12sn。在本實施例中，第一垂直線11sn及第二垂直線12sn為平行線，並且分別與第一線11s及第二線12s垂直。

步驟S04包含對影像中對應第一垂直線及第二垂直線的一 第一影像垂直線及一第二影像垂直線判斷第一影像垂直線及第二影像垂直線間的一交叉點。如圖6A及6B所示，影像P130A中對應於第一垂直線11sn及第二垂直線12sn的第一影像垂直線11pn及第二影像垂直線12pn不會是相互平行線。在此情況下，控制器120會推算第一影像垂直線11pn及第二影像垂直線12pn的延伸方向，並且計算出影像P130A中第一影像垂直線11pn及第二影像垂直線12pn的交叉點V1。

步驟S05包含在影像中判斷出通過該交叉點並和第一影像線及第二影像線垂直的一第一直線。具體而言，如圖6B及7所示，當控制器120推算出交叉點V1的位置後，控制器120接著會計算出一第一直線L1。在本實施例中，第一直線L1會通過交叉點V1，並且會與第一影像線11p及第二影像線12p垂直。

步驟S06包含對一第二顯示器進行步驟S01至S05以產生一第二直線。具體而言，如圖1至3所示，在第一顯示器130A旁邊可設置一第二顯示器130B。在本實施例中，第二顯示器130B的顯示面較佳與第一顯示器的顯示面之間具有一傾斜角度A，且第一顯示器130A及第二顯示器130B各別的顯示面會落在影像擷取裝置110的視角PV範圍內。如圖8所示，在對第二顯示器130B執行步驟S01至S05後，控制器120可推算出第二顯示器130B的影像P130B中的交叉點V2、及通過交叉點V2並與第一影像線11d及第二影像線12d垂直的第二直線L2。

步驟S07包含判斷第一直線及第二直線間的一交叉點為一影像中心點。在本實施例中，如圖8所示，當控制器120推算出第二顯示器130B的第二直線L2後，控制器120接著會判斷第一直線L1及第二直線L2的 交叉點為影像中心點C。在判斷出影像中心點C後，控制器120可根據影像中心點C對影像擷取裝置110進行自動影像校準。

在其他不同實施例中，第二顯示器130B實際上可以是第一顯示器130A；具體而言，在第一次執行完步驟S01至S05後，第一顯示器130A可移至圖1中的第二顯示器130B的位置而成為第二顯示器130B，並且再對第二顯示器130B重新執行步驟S01至S05。然而，在其他不同實施例中，第一顯示器130A可在每個步驟(步驟S01至S05)在圖1中第一顯示器130A及第二顯示器130B的位置來回移動。

具體實施方案的前述描述將全面揭示本文所述實施方案的一般性質，在應用目前掌握的知識後，本發明的實施方案可以在不脫離本發明的精神和範圍的情況下進行修改，因此修改時應當全面理解本發明實施方案等同形式的含義和範圍。應當理解，本文所採用的措辭或術語僅作描述用，並非局限性。因此，在描述具體實施方案的同時，所屬領域技術人員將瞭解，本文所述實施方案在實施時可以在不脫離本發明的精神和範圍的情況下進行修改。

Claims (10)

1. 一種影像擷取裝置之影像中心的自動校準之方法，包含：(1)驅動該影像擷取裝置以擷取一第一顯示器所顯示的一第一線及一第二線為一影像，其中該第一線及該第二線於該第一顯示器的顯示平面上實質相互平行，且該影像擷取裝置設置於該顯示平面前的一距離；(2)控制該第一顯示器以旋轉該第一線及該第二線，並旋轉該第一線及該第二線直到該影像擷取裝置的該影像中的第一影像線及第二影像線形成為平行線；(3)控制該第一顯示器在其顯示平面上顯示相互平行且與該第一線及該第二線垂直的一第一垂直線及一第二垂直線；(4)對該影像擷取裝置的該影像中對應該第一垂直線及該第二垂直線的一第一影像垂直線及一第二影像垂直線判斷該第一影像垂直線及該第二影像垂直線間的一交叉點；(5)於該影像中判斷出通過該交叉點並和該第一影像線及該第二影像線垂直的一第一直線；(6)對一第二顯示器進行步驟(1)至(5)以產生一第二直線，其中該第二顯示器設置臨近於該第一顯示器位置，並且該第二顯示器的顯示平面與該第一顯示器的顯示平面間具有一傾斜角度；以及(7)判斷該第一直線及該第二直線間的一交叉點為一影像中心點。
2. 如申請專利範圍第1項所述之方法，其中該步驟(1)進一步包含：判斷該影像中分別對應於該第一線及該第二線的一第一影像線及一第二影像線是否相互為平行，並根據該判斷產生一平行判斷結果。
3. 如申請專利範圍第1項所述之方法，其中該步驟(2)進一步包含：在保持該第一線及該第二線於該顯示平面上相互平行的狀態下，控制該第一顯示器以旋轉該第一線及該第二線。
4. 如申請專利範圍第1項所述之方法，其中該步驟(1)進一步包含：將該影像擷取裝置設置於該第一顯示器前方但非位於顯示平面的正前方。
5. 如申請專利範圍第1項所述之方法，其中該影像擷取裝置具有一視野，該步驟(1)進一步包含：將該影像擷取裝置設置於該視野可包含到該第一顯示器之顯示平面及該第二顯示器之顯示平面的位置。
6. 一種影像擷取裝置之影像中心的自動校準之系統，包含：至少一顯示器，顯示一第一線及一第二線，該第一線及該第二線為平行線該影像擷取裝置設置於該至少一顯示器前的一距離，並且產生具有對應該第一線及該第二線的第一影像線及第二影像線之一影像；一控制器，訊號耦接至該至少一顯示器及該影像擷取裝置，其中該控制器執行：(1)驅動該影像擷取裝置以擷取該至少一顯示器所顯示的該第一線及該第二線為該影像；(2)控制該至少一顯示器以旋轉該第一線及該第二線，並旋轉該第一線及該第二線直到該影像擷取裝置的該影像中的該第一影像線及該第二影像線形成為平行線；(3)控制該至少一顯示器在其顯示平面上顯示相互平行且與該第一線及該第二線垂直的一第一垂直線及一第二垂直線；(4)對該影像擷取裝置的該影像中對應該第一垂直線及該第二垂直線的一第一影像垂直線及一第二影像垂直線判斷該第一影像垂直線及該第二影像垂直線間的一交叉點；(5)於該影像中判斷出通過該交叉點並和該第一影像線及該第二影像線垂直的一第一直線；(6)對另一顯示器進行步驟(1)至(5)以產生一第二直線，其中該另一顯示器設置臨近於該至少一顯示器位置，並且該另一顯示器的顯示平面與該至少一顯示器的顯示平面間具有一傾斜角度；(7)判斷該第一直線及該第二直線間的一交叉點為一影像中心點。
7. 如申請專利範圍第6項所述之系統，其中該控制器判斷該影像中分別對應於該第一線及該第二線的一第一影像線及一第二影像線是否相互為平行，並根據該判斷產生一平行判斷結果。
8. 如申請專利範圍第6項所述之系統，其中當旋轉該第一線及該第二線時，該控制器控制該至少一顯示器以維持該第一線及該第二線之間的平行關係。
9. 如申請專利範圍第6項所述之系統，其中該影像擷取裝置設置於該至少一顯示器的前方但非位於顯示平面的正前方。
10. 如申請專利範圍第6項所述之系統，其中該影像擷取裝置具有一視野，該至少一顯示器及該另一顯示器的顯示面位於該視野的範圍內。