TW201310004A - 編列數位影像關係裝置 - Google Patents
編列數位影像關係裝置 Download PDFInfo
- Publication number
- TW201310004A TW201310004A TW100125747A TW100125747A TW201310004A TW 201310004 A TW201310004 A TW 201310004A TW 100125747 A TW100125747 A TW 100125747A TW 100125747 A TW100125747 A TW 100125747A TW 201310004 A TW201310004 A TW 201310004A
- Authority
- TW
- Taiwan
- Prior art keywords
- camera
- digital image
- cameras
- image
- correlation device
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims abstract description 96
- 238000005259 measurement Methods 0.000 claims abstract description 53
- 230000003287 optical effect Effects 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims description 29
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000003825 pressing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100494265 Caenorhabditis elegans best-15 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000003 hoof Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一種編列數位影像關係裝置，其包含有一具有基座及量測桿之承載機構；至少三個活動設於量測桿上之調整機構；分別設於各調整裝置上之第一、二及第三攝影機所構成之影像擷取機構，且該第一、二及第三攝影機係以第一及第二校正點作為量測基準點；一設於第一、二及第三攝影機光軸上之校正板；以及一與第一、二及第三攝影機連接之處理機構，其係具有一編列數位影像運算模組，可將第一、二及第三攝影機所擷取之數位影像資料進行分析。
Description
本發明是有關於一種編列數位影像關係裝置，尤指一種可應用於量測大範圍區域位移和應變等相關應用之編列數位影像關係裝置者。
按，數位影像關係法早在1980年代出被發展出來，Peters和Ranson於1982年第一次利用數位影像的特性來觀察物件受力之後的行為(如：文獻Peters,W.H.,and Ranson,W.F.,1982,“Digital image techniques on experimental stress analysis”Opt.Eng.,21(3),427-431.)，開啟數位影像應用於變形量測先河。之後上述二人又與他人合作，首先對影像的前處理和數值的收斂和求值做探討(如：文獻Sutton,M.A.,Wolters,W.J.,et al,1983,“Determination of displacements using an improved digital image correlation method,”Image Vision Computing,1(3),133-139.、Chu,T.C.,Peters,W.H.,Sutton,M.A.,McNeil,S.R.,1985,“Application of digital image correlation to experimental mechanics,”Image Vision Computing,25(3),232-245.以及Sutton,M.A.,McNeil,S.R.,et al,1988,“Effect of subpixels image restoration on digital correlation error estimates,”Opt.Eng.,27(10),870-877.)，後續研究包括對數位影像數值所做插值法的優劣探討，和選取的子影像(Subimage)大小對收斂時間和準確性的影響等等。
而基本概念建立之後相關的數位影像法的應用研究如同雨後春筍般不斷出現，如Sutton(如：文獻Sutton,M.A.,Peters,W.H.,Chao,Y.J.,Luo,P.F.,1993,“Accurate measurement of three-dimensional Deformations in deformable and rigid bodies using computer vision,”Experimental Mechanics,33(2),123-132.)等人於1993年首度將將此方法應用於3D立體變形的量測，接著繼續將三維立體的觀測概念利用於表面輪廓測量研究(如：文獻Sutton,M.A.,McNeil,S.R.,et al,1997,“Measurement of surface profile using digital image correlation,“Experimental Mechanics,37(1),13-20.)。除了Sutton等人之外，許多學者專家如Oulamara(如：文獻Oulamara,A.,Tribillon,G.,Dunvernoy,J.,1988,“Subpixel speckle displacement using a digital processing technique,”Journal of Modern Optics,37,1201-1211.)和James(如：文獻James,M.R.,Morris,W.L.,Cox,B.N.,1990,“A high accuracy automated strain-field mapper,”Experimental Mechanics,30(1),60-67.)等人亦利用數位影像法建立自動變形或應變場量測系統，Septanika(如：文獻Septanika,E.G.,Ernst,L.J.,van den Hoof,L.A.C.M.,1998,“An automatic and interactive large-deformation measurement system based on image processing,”Experimental Mechanics,38(3),181-188.)則發展量測表面大應變率的量測系統。
目前市場上應用影像相關方法為基礎之非接觸式影像量測結構體變形的產品有Correlated Solutions公司開發的VIC 3D產品，如第1圖所示，其係為一支架10結兩部攝影機11、12所構成立體視覺之量測實體架構，可用來量測物體全域表面形變的系統，此技術乃利用物體表面的特徵，做為表面位移判斷與比對的標的，其結合攝影機影像捕捉與影像關係法演算法，使得3D表面形變的量測能在最快的時間內完成，並得到最佳的解析度，任何表面細微的位移，均能在數據與影像上呈現出來，藉由後處理，也可了解單點或表面的位移與應變；
然而，該項設備量測範圍不足以進行戶外場景如岩石山脈走勢觀測，因為傳統式應變計可達到高精度的應變量測，若要進行多點或全域的量測，在應變計的黏貼上是既費工又費時，不但不符合經濟成本，現地量測儀器的線路配置也是一大問題，且位移量測是結構監測中一個重要的項目，也是安全性評估的依據之一，因為結構產生的位移反應與其材料特性和剛度有關，過大的位移量可能意味結構剛度的衰減，內部構件已受到損傷，此時需再以其他儀器檢測，進一步判定損傷之位置與程度，並估算現有結構的剛度或承載力是否符合安全標準，以利後續工程師做維修、加勁或拆除重建等判斷。
因此，如何快速、便利又有效量測結構體的變形是工程界不斷致力發展與研究的目標。基於上述原因，本發明係多部攝影機結合編列數位影像關係進行變形分析之技術，發展非接觸式量測結構體變形的方法，具備全域、遠距與便利等優點，可用來進行快速之位移量測，以攝影機量測得到之位移場進行應變分析，計算求得結構在外力作用的應變反應。
如第1圖所示為習知3D立體變形的量測方法，使用兩部攝影機架構進行量測。當量測範圍超過兩部攝影機量測可視範圍時，只能觀測局部影像，無法量測物體遮敝區域。加上，針對不同物體需要調整攝影機姿態，並重新進行攝影機校正。針對習知技術存在問題，本專利採用共圓方式，解決物體有遮敝問題，且藉由多部攝影機可增加交會區域及對於校正參數互相比對。
該量測桿係呈一中空之圓狀，使第一、二及第三攝影機之三點中心光軸共圓交於一點，且使第一、二及第三攝影機利用調整裝置於量測桿上進行適當間距之調整。當現場量測重建三維資訊時，不需要先經過複雜校正處理，系統內部已針對每個角度建立校正參數。當觀測不同大小之待測物時，只要移動調整裝置於量測桿上進行適當間距之調整並取像，即可快速進行重建三維資訊。
本發明之主要目的係在於：
1.量測儀器架構與試驗程序簡單、可行性及準確度高，且裝置具有平衡裝置確保量測結果穩定。
2.量測範圍可任意選取，大面積量測。
3.藉由多部攝影機內外部參數互相比對，能正確估算位移及應變參數。
4.所建立之自動化計算程式，快速將受力前後之數位影像資料進行分析，並計算出位移及應變值。
5.攝影機所監測區域受力變形之影像紀錄可永久儲存作為其他方面研究之參考。
為達上述之目的，本發明係一種編列數位影像關係裝置，包含有：一具有基座及量測桿之承載機構；至少三個活動設於量測桿上之調整機構；分別設於各調整裝置上之第一、二及第三攝影機所構成之影像擷取機構，且該第一、二及第三攝影機係以第一及第二校正點作為量測基準點；一設於第一、二及第三攝影機光軸上之校正板；以及一與第一、二及第三攝影機連接之處理機構，其係具有一編列數位影像運算模組，可將第一、二及第三攝影機所擷取之數位影像資料進行分析。
於本發明之一實施例中，該量測桿係呈一中空之圓弧狀，使第一、二及第三攝影機之三點中心光軸共圓交於一點，且使第一、二及第三攝影機可利用調整裝置於量測桿上進行適當間距之調整。
於本發明之一實施例中，各調整機構係分別包含有一與量測桿活動結合之滑座、一設於滑座上之調整座、一設於滑座上之平衡裝置、及一設於滑座上之電控裝置，而該第一、二及第三攝影機係分別設於各調整座上。
於本發明之一實施例中，該滑座之兩端係分別設有與量測桿抵靠之滑輪及靠緊輪，而該靠緊輪係連接有一調整旋鈕。
於本發明之一實施例中，該第一校正點係設於基座上，用於固定第一、二及第三攝影機之光軸中心位於同一光軸點，做為量測初始點，而該第二校正點係為所在環境之一參考點，且與第二攝影機光軸中心及第一校正點皆位於同一光軸線上，做為初始化量測使用。
於本發明之一實施例中，該第二校正點係配合有一標示桿，可架設於遠方之待測物位置，以利第一、二及第三攝影機進行後續重覆量測使用。
於本發明之一實施例中，該標示桿上係具有可進行校正之標示刻度。
於本發明之一實施例中，該校正板係為具有固定間距之校正格點中心座，作為第一、二及第三攝影機校正時所需之校正點。
於本發明之一實施例中，該校正板之校正格點可為圓形或方形。
於本發明之一實施例中，當校正板之校正格點與第一、二及第三攝影機之影像平面不平行時，所擷取影像之格點將形成扭曲形狀。
於本發明之一實施例中，該處理機構更進一步連接有一預警單元。
於本發明之一實施例中，該編列數位影像運算模組至少包含有相互校正參數單元、全景拼接製作單元、全景編列數位影像單元及三維重建單元，可使第一、二及第三攝影機配合校正板進行校正，並將各攝影機所擷取之數位影像資料進行分析，且計算出位移及應變值。
於本發明之一實施例中，該相互校正參數單元係可調整第一攝影機之光軸垂直於校正板之可視範圍內。
於本發明之一實施例中，該相互校正參數單元係可取得第一攝影機之水平及垂直方向誤差值，以第一攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
於本發明之一實施例中，該相互校正參數單元係可調整第二及第三攝影機，使其觀察範圍與第一攝影機相同，並校正第二及第三攝影機所形成之三維重建。
於本發明之一實施例中，該相互校正參數單元係可調整攝影機第二攝影機，使其光軸垂直於校正板之可視範圍內。
於本發明之一實施例中，該相互校正參數單元係可取得第二攝影機之水平及垂直方向誤差值，以第二攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
於本發明之一實施例中，該相互校正參數單元係可調整第一及第三攝影機，使其觀察範圍與第二攝影機相同，並校正第一及第三攝影機所形成之三維重建。
於本發明之一實施例中，該相互校正參數單元係可調整攝影機第三攝影機，使其光軸垂直於校正板之可視範圍內。
於本發明之一實施例中，該相互校正參數單元係可取得第三攝影機之水平及垂直方向誤差值，以第三攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
於本發明之一實施例中，該相互校正參數單元係可調整第一及第二攝影機，使其觀察範圍與攝影機第三相同，並校正第一及第二攝影機所形成之三維重建。
於本發明之一實施例中，該全景拼接製作單元係可選取大面積量測範圍，主要先藉由左、右影像，先行校正求出第一、二及第三攝影機之參數，並根據求得知參數，將左、右兩個影像畫面經過影像匹配投影至同一場景。
於本發明之一實施例中，該同一場景係為該系列之每張影像都經過同一點光學中心來拍攝，可任意角度取景，相鄰的影像需要適當之重疊。
於本發明之一實施例中，該同一場景係為扭曲或投影所輸入的影像到一個特殊之數學模型，然後從第一張扭曲過後的影像和第二張扭曲後影像直到最後一張影像計算梯度，根據這些參數來計算影像接合之參數。
於本發明之一實施例中，該全景編列數位影像單元係可調整第一與第二攝影機、第二與第三攝影機及第三與第一攝影機，進行全景拼接製作得到各攝影機所形成之局部全景。
於本發明之一實施例中，該全景編列數位影像單元係結合第一與第二攝影機、第二與第三攝影機及第三與第一攝影機所形成之局部全景，形成全域式三維重建全景影像畫面。
於本發明之一實施例中，該全景編列數位影像單元係以三維重建後之全景影像畫面，量測剛體位移，以評估其基本量測誤差。
於本發明之一實施例中，該三維重建單元係可將影像以具有不同景深(視差圖)之三維型態加以呈現。
請參閱『第2~第9圖』所示，係分別為係本發明之外觀示意圖、本發明影像擷取機與處理機構之方塊示意圖、本發明之使用狀態示意圖、本發明編列數位影像之三維應變量測系統示意圖、本發明攝影機校正參數量測之示意圖、本發明之攝影機模型與投影原理示意圖、本發明位於Π'平面上之校正點示意圖、本發明攝影機校正參數量測示意圖及本發明全景拼接製作之示意圖。如圖所示：本發明係一種編列數位影像關係裝置，其至少包含有一承載機構1、至少三個調整機構2、一影像擷取機構3、一校正板4以及一處理機構5所構成。
上述所提之承載機構1係包含有一基座11、及一與基座11結合之量測桿12，該量測桿12係呈一中空之圓弧狀。
各個調整機構2係活動設於量測桿12上，而各調整機構2係分別包含有一與量測桿12活動結合之滑座21、一設於滑座21上之調整座22、一設於滑座21上之平衡裝置23、及一設於滑座21上之電控裝置24，其中該滑座21之兩端係分別設有與量測桿12抵靠之滑輪211及靠緊輪212，而該靠緊輪212係連接有一調整旋鈕213，使滑座21藉由滑輪211及靠緊輪212於量測桿12上移動，並以調整旋鈕213配合靠緊輪212使滑座21加以定位，且利用平衡裝置23與電控裝置24可調整各攝影機凝視角度，使之具有共圓特性，讓調整機構帶動各攝影機其中心都保持指向圓心。
該影像擷取機3構係包含有分別設於各調整裝置2所設調整座上之第一、二及第三攝影機31、32、33，且該第一、二及第三攝影機31、32、33係以第一及第二校正點301、302作為量測基準點，由於該量測桿12係呈一中空之圓弧狀，因此，可使第一、二及第三攝影機31、32、33之三點中心光軸共圓交於一點，且使第一、二及第三攝影機31、32、33可利用調整裝置2於量測桿12上進行適當間距之調整，其中該第一校正點301係設於基座11上，用於固定第一、二及第三攝影機31、32、33之光軸中心位於同一光軸點，做為量測初始點，而該第二校正點302係為所在環境之一參考點，且與第二攝影機32光軸中心及第一校正點301皆位於同一光軸線上，做為初始化量測使用，而該第二校正點302係配合有一標示桿303，可架設於遠方之待測物位置，以利第一、二及第三攝影機31、32、33進行後續重覆量測使用，該標示桿303上係具有可進行校正之標示刻度。
該校正板4係設於第一、二及第三攝影機31、32、33之光軸上，而該校正板4係為具有固定間距之校正格點41中心座，作為第一、二及第三攝影機31、33、33校正時所需之校正點，且該校正板4之校正格點41可為圓形或方形，另當校正板4之校正格點41與第一、二及第三攝影機31、33、33之影像平面不平行時，所擷取影像之格點將形成扭曲形狀。
該處理機構5係與第一、二及第三攝影機31、32、33連接，其係具有一編列數位影像運算模組51，可將第一、二及第三攝影機31、33、33所擷取之數位影像資料進行分析，而該處理機構5更進一步連接有一預警單元53，其中該編列數位影像運算模組51至少包含有相互校正參數單元511、全景拼接製作單元512、全景編列數位影像單元513及三維重建單元514，可使第一、二及第三攝影機31、32、33配合校正板4進行校正，並將各攝影機31、32、33所擷取之數位影像資料進行分析，且計算出位移及應變值。
當使用時係以運用於戶外現場為例，可偵測物件於三維方向的變形，只需在戶外現場前架設承載機構1、三個調整機構2、影像擷取機構3之第一、二及第三攝影機31、32、33及校正板4，而利用處理機構5之編列數位影像運算模組51以自動化機器視覺檢測的概念將戶外現場當成待測樣本，主要負責的工作為連續取像及變形(位移)相關係數的演算，使處理機構5控制各第一、二及第三攝影機31、32、33及進行人眼輔助監視，透過網路傳述方式進行網路分佈，做即時影像的傳輸，可大面積即時應力檢測，並將取得的數位影像自動分別對高壓鐵塔、山脈走勢、建築物、基座及岩石分佈進行連續性的監測；在戶外現場變形或位移達到危殆臨界值時，即控制預警單元52發出警訊。
為增加處理速度，需簡化原始影像資料量，採部分特徵取樣方式以大幅度縮減計算時間，至於取樣特徵的選擇方面，本發明最主要的目的在於開發戶外現地特徵區域辨識，作為物件與物件的相對位移當為最主要的監測目標，針對此點可以高壓鐵塔、山脈走勢、建築物、基座及岩石分佈的相對接合為特徵，可取高壓鐵塔、山脈走勢、建築物、基座及岩石分佈之邊界作為演算的特徵資料來代表位於戶外現場的辨識特徵曲線，而特徵曲線可透過邊界搜尋理論自動得到；然，特徵曲線的意義是在數位影像陣列中被保留的位置資料，位在特徵曲線位置上的資料，可集合成資料簡化的陣列I(t)，對I(t)特徵陣列連續進行交叉相關連演算(Cross-correlation)，可取得即時特徵曲線陣列與原始特徵陣列之交叉相關連係數(Cross-correlation Coefficients)，此係數可視為戶外現場危殆因子，其數值高低與戶外現場危險的程度呈高度的負相關。
而當影像擷取機構3之第一、二及第三攝影機31、32、33擷取所需之數位影像資料後則可由處理機構5之編列數位影像運算模組51進行分析計算出位移及應變值，如第4圖所示，虛線部份代表第一、二及第三攝影機31、32、33光軸，影像區域R為擬觀測之物體，今依據下列規則以編列數位影像運算模組51之相互校正參數單元511、全景拼接製作單元512、全景編列數位影像單元513及三維重建單元514進行編列數位影像如下：依據本發明之第一、二及第三攝影機31、32、33之擺位架構，可改善習知兩部攝影機取像架構三維影像，分別以第一、二及第三攝影機31、32、33光軸垂直於校正試件，對應於第二攝影機32與第三攝影機33、第一攝影機31與第三攝影機33及第一攝影機31與第二攝影機32，可求出三組三維應變量測之內外部參數；而全景影像分別由攝影機第二攝影機32與第三攝影機33、第一攝影機31與第三攝影機33及第一攝影機31與第二攝影機32求出三組全景應變量測資料。
如第5圖的戶外現地實驗架設示意圖，該第一、二及第三攝影機31、32、33之三點中心光軸共圓交於一點P，採用有固定間隔距離的校正格點41中心座標，作為第一、二及第三攝影機31、32、33校正時所需的校正點，基於戶外現場複雜地形之崎嶇不平及提高重覆量測精度雙重考量之下，分別設置第一校正點301及第二校正點302做為第一、二及第三攝影機31、32、33之量測基準點，第一校正點301用於固定第一、二及第三攝影機31、32、33與第二攝影機32光軸中心(P2)位於同一光軸點，量測初始點(0,0,0)做為量測初始點；第二校正點302做為戶外現場之一參考點(0,0,D)，D為待測戶外現場距離第一、二及第三攝影機31、32、33一參考距離(D)，且第一校正點301、第二攝影機32光軸中心(P2)及第二校正點302皆位於同一光軸線上，做為初始化量測使用。
由於第一、二及第三攝影機31、32、33由鏡頭與影像平面所組成，影像平面在鏡頭中心C之前，而焦距則為影像平面至鏡頭中心的距離，物體上某點P(x,y,z)投影至影像平面上為Pc(uc,vc)，此點即為C點與P點連線與影像平面之交點，由相似三角形的關係，可得攝影機座標(x,y,z)與影像座標(u 0,v 0)之關係式。
式中，(u 0,v 0)為影像平面中心點的座標位置。
如第6圖所示，O及O'分別為世界座標系統(world coordinate system)X-Y-Z及影像平面座標系統(image coordinate system)u-v的座標原點，C則為攝影機的鏡頭中心，同時也是第一、二及第三攝影機31、32、33座標系統(camera coordinate system)x-y-z的座標原點，影像座標系統的u軸與v軸分別平行於第一、二及第三攝影機31、32、33座標系統的x軸與y軸，其原點則位於影像平面的左上角。
對空間中任意點P，經由旋轉矩陣R與平移矩陣t，即可建立世界座標PW(X,Y,Z)與攝影機座標Pca(x,y,z)的轉換關係式 式中，R=R(θ,φ,Φ)為一個由θ,φ,Φ所定義的3×3的旋轉矩陣，θ,φ與Φ分別為繞y軸、x軸以及z軸的pan、tilt以及swing的角度。而t=[t x ,t y ,t z ] T 則為描述世界座標與攝影機座標間平移關係的平移矩陣。由式(7)與(8)可得Pc(uc,vc)與PW(X,Y,Z)的關係式
對空間中任一世界座標點P(X,Y,Z)，可由式(9)求得其投射於影像平面後的座標位置Pc(uc,vc)。然而在實際取像時，由於鏡頭扭曲的影響，投射點將沿著徑向與切線方向偏移。校正的影像座標(u c ,v c )與扭曲的影像座標(u d ,v d )之間的關係，可以下式表示。
利用式(9)與(11)，可將在三維世界座標系統下的點P(X,Y,Z)，對映到扭曲的影像座標P d (u d ,v d )。然而，使用式(9)與(10)，則可將影像平面上扭曲影像座標點(u d ,v d )，轉換到三維空間的投射線上的點，或者是此投射線與已知二維平面的交界點。
使用校正格點的中心為校正點，然而校正點投射到影像平面時，可能不再保持原始圖形，而成為變形圖形。以下將敘述如何求取此變形圖形的中心，以便將三維中間的校正點中心，對映到二維影像平面上。
而第7圖係顯示一個位於Π'平面上的校正格點R，此校正點之半徑為r，且其校正點中心h0=(X0,Y0,Z0)T係位於平面座標系統x h -y h 的座標原點。在世界座標系統X-Y-Z下，平面座標系統x h -y h 的原點座標為h0=(X0,Y0,Z0)T，而座標軸x h 及y h 的方向餘弦分別為h1=(X1,Y1,Z1)T與h2=(X2,Y2,Z2)T。在x h -y h 座標系統下，此校正點之方程式可表示為
式(12)表示的是一個圓錐曲線的方程式。實際上，校正點投射到影像平面上會是扭曲的校正點，或是在某些特殊範例上是一個圓。使用式(9)與(12)，圓點R投影於影像平面的曲線方程式可表示為 式中，。
在平面座標系統x h -y h 下，校正點中心(u e ,v e )可以求得下式。
最後，可使用下式將此控制校正點於影像平面上的投影點座標單位由mm轉換成pixel。
u=M x u d ,v=M y v d (16)
式中，M x 與M y 分別為在u與v軸方向的比例係數，其單位為pixel/mm，可將實際物理單位元mm轉換為影像單位元pixel。
透過以上的轉換，可得到在世界座標中任意控制圓點中心，在影像平面上的座標位置，由上述轉換，可知共有15個攝影機參數，其中M x ,M y ,f,k 1,k 2,p 1,p 2以及(u 0,v 0)為攝影機的內部參數。而(t x ,t y ,t z )與(θ,Φ,φ)則為攝影機的外部參數。
利用上式(14)~(16)，可將一個在三維世界座標下的控制圓點中心，對映到二維影像平面上，可將三維的場景投影到二維影像平面上。然而，此對映的轉換過程係屬於多對一的轉換，如果只使用一部攝影機時，即無法獲取深度的相關資訊。因此，本發明採用一部攝影機光軸垂直於校正試件，求取校正試件上各格點的座標位置，以建立世界座標系統以及一組校正點的座標位置。再使用此組校正點，校正其他兩部攝影機構成之立體視覺系統，各旋轉一個角度，並同時對試件表面的同一區域取像，利用這兩張影像中的相關點，以求取深度資料。
若已知空間中M個控制圓點中心的世界座標位置，以及此M個點在攝影機之影像平面上相關的影像座標(U j ,V j )，j=1,…,M，即可以非線性最小平方法，求得攝影機的最佳15個攝影機參數，使得經由攝影機模型方程式求得的影像對座標(u j ,v j )與實驗值(U j ,V j )之間的誤差為最小，亦即使下式之值為最小值。
而第8圖係為攝影機校正參數量測示意圖，以第一攝影機31的光軸垂直於校正板4，利用相互校正參數單元511求取校正板4上各校正格點41的座標位置，以建立世界座標系統以及一組校正點的座標位置；之後再使用此組校正點，校正第二攝影機31及第三攝影機33構成之立體視覺系統，其餘編列數位影像關法選用方式亦同；並以第二攝影機32的光軸垂直於校正板4，利用相互校正參數單元511求取校正板4上各校正格點41的座標位置，以建立世界座標系統以及一組校正點的座標位置，再使用此組校正點，校正第一攝影機31及第三攝影機構成之立體視覺系統；再以第三攝影機33的光軸垂直於校正板4，利用相互校正參數單元511求取校正板4上各校正格點41的座標位置，以建立世界座標系統以及一組校正點的座標位置，再使用此組校正點，校正第一攝影機31及第二攝影機32構成之立體視覺系統。
利用校正格點41之中心位置為校正點，且格點投射於影像平面上，建立一世界座標系統以及M個已知世界座標位置之校正點，利用此M個校正點以及攝影機模型方程式，執行立體視覺系統的攝影機校正，以求得各攝影機M x ,M y ,f,k 1,k 2,p 1,p 2與(u 0,v 0)之攝影機內部參數以及(t x ,t y ,t z )與(θ,Φ,φ)之攝影機外部參數。並使用校正格點41中心與影像平面格點中心的相關數學式，以減少第一、二及第三攝影機31、32、33的偏差，此外亦考慮第一、二及第三攝影機31、32、33之徑向與圓周向鏡頭扭曲係數，以增進第一、二及第三攝影機31、32、33的精確度。
以下列方法進行3D視覺系統的校正以及量測誤差評估方式(以校正板4以及第一攝影機31的光軸垂直於校正試件為例，其餘第二攝影機32及第三攝影機33編列數位影像之方式亦同)：
(1)調整第一攝影機31，使其光軸垂直於校正板4之校正格點4，並使N×N格點陣列在可視範圍內。
(2)取得第一攝影機31水平及垂直方向誤差值，設定X=D及X=-D前、後移動，以第一攝影機31求取校正點參數，並以第一攝影機31所攝取影像的水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標，以及在此座標系統下的N×N個格點座標位置。
(3)調整第二攝影機32與第三攝影機33，使其觀察範圍與第一攝影機31相同，並配合三維重建單元514校正第二攝影機32與第三攝影機33所形成的三維重建。
(4)以校正後的三維重建，量測剛體位移，以評估其基本量測誤差。
而當全景拼接製作單元512於進行全景拼接製作時，主要分為兩個步驟(如第9圖所示)：
(1)先藉由第一、二及第三攝影機31、32、33同時拍攝左右兩張影像，先行校正求出鏡頭的參數。
(2)根據求得的參數，將左右兩張影像畫面經過影像匹配的過程投影至同一場景。
另亦可輸入一系列的影像，並將輸入之立體影像接合成一全景影像接合，而該系列的每張影像都經過同一點光學中心來拍攝，可任意角度取景，相鄰的影像需要適當的重疊；首先扭曲或投影所輸入的影像到一個特殊的數學模型，然後從第一張扭曲過後的影像和第二張扭曲後影像直到最後一張影像計算梯度，根據這些參數來計算影像接合的參數，找出一組可能的對應解。最後，可以決定最佳的接合點而把相鄰的兩張影像拼接完成具有深度資訊的全景拼接影像。
再者，當全景編列數位影像單元513於進行編列數位影像之拼接製作時，主要分為兩個步驟：
(1)先藉由第一、二及第三攝影機31、32、33所擷取之左右影像，先行校正求出第一、二及第三攝影機31、32、33的參數。
(2)根據求得的參數，將兩張左右影像畫面經過影像匹配的過程投影至同一場景。
另亦可輸入一系列的影像，並將輸入之立體影像接合成一全景影像接合，該系列的每張影像都經過同一點光學中心來拍攝，可任意角度取景，相鄰的影像需要適當的重疊；首先，扭曲或投影所輸入的影像到一個特殊的數學模型，然後從第一張扭曲過後的影像和第二張扭曲後影像直到最後一張影像計算梯度，根據這些參數來計算影像接合的參數，找出一組可能的對應解。
以下列方法進行編列數位影像關法之拼接製作步驟：
(1)調整攝影機N1-N2、N2-N3及N3-N1，進行全景拼接製作得到攝影機N1-N2、N2-N3及N3-N1所形成的局部全景。
(2)結合攝影機N1-N2、N2-N3及N3-N1所形成的局部全景，形成的全域式三維重建全景影像畫面。
(3)以三維重建後之全景影像畫面，量測剛體位移，以評估其基本量測誤差。
最後，可以決定最佳的接合點而把相鄰的兩張影像拼接完成具有深度資訊的全景拼接影像；經由以上規則編列後，可以獲得大面積之三維應變量，物件與物件的相對位移當為最主要的監測目標，可使本發明以第一、二及第三攝影機31、32、33進行測量，而具備全域、遠距與便利等優點，可用來進行快速之位移量測，以攝影機量測得到之位移場進行應變分析，計算求得結構在外力作用的應變反應；且至少達到下列之優點：
1.實驗儀器及試驗步驟簡單、可行性及準確度高，且實驗裝置具有平衡裝置確保量測結果穩定。
2.量測範圍可任意選取，大面積量測。
3.藉由多部攝影機內外部參數互相比對，能正確估算位移及應變參數。
4.所建立之自動化計算程式，快速將受力前後之數位影像資料進行分析，並計算出位移及應變值。
5.攝影機所監測區域受力變形之影像紀錄可永久儲存作為其他方面研究之參考。
綜上所述，本發明編列數位影像關係裝置可有效改善習用之種種缺點；進而使本發明之產生能更進步、更實用、更符合消費者使用之所須，確已符合發明專利申請之要件，爰依法提出專利申請。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
10．．．支架
11、12．．．攝影機
1．．．承載機構
11．．．基座
12．．．量測桿
2．．．調整機構
21．．．滑座
211．．．滑輪
212．．．靠緊輪
213．．．調整旋鈕
22．．．調整座
23．．．平衡裝置
24．．．電控裝置
3．．．影像擷取機
31．．．第一攝影機
32．．．第二攝影機
33．．．第三攝影機
301．．．第一校正點
302．．．第二校正點
303．．．標示桿
4．．．校正板
41．．．校正格點
5．．．處理機構
51．．．編列數位影像運算模組
511．．．相互校正參數單元
512．．．全景拼接製作單元
513．．．全景編列數位影像單元
514．．．三維重建單元
52．．．預警單元
第1圖，係習用之影像量測結構示意圖。
第2圖，係本發明之外觀示意圖。
第3圖，係本發明影像擷取機與處理機構之方塊示意圖。
第4圖，係本發明編列數位影像之三維應變量測系統示意圖。
第5圖，係本發明攝影機校正參數量測之示意圖。
第6圖，係本發明之攝影機模型與投影原理示意圖。
第7圖，係本發明位於Π'平面上之校正點示意圖。
第8圖，係本發明攝影機校正參數量測示意圖。
第9圖，係本發明全景拼接製作之示意圖。
1．．．承載機構
11．．．基座
12．．．量測桿
2．．．調整機構
21．．．滑座
211．．．滑輪
212．．．靠緊輪
213．．．調整旋鈕
22．．．調整座
23．．．平衡裝置
24．．．電控裝置
3．．．影像擷取機
31．．．第一攝影機
32．．．第二攝影機
33．．．第三攝影機
301．．．第一校正點
302．．．第二校正點
303．．．標示桿
4．．．校正板
41．．．校正格點
5．．．處理機構
51．．．編列數位影像運算模組
52．．．預警單元
Claims (28)
- 一種編列數位影像關係裝置，其包括有：一承載機構，係包含有一基座、及一與基座結合之量測桿；至少三個調整機構，係活動設於量測桿上；一影像擷取機構，係包含有分別設於各調整裝置上第一、二及第三攝影機，且該第一、二及第三攝影機係以第一及第二校正點作為量測基準點；一校正板，係設於第一、二及第三攝影機之光軸上；以及一處理機構，係與第一、二及第三攝影機連接，其係具有一編列數位影像運算模組，可將第一、二及第三攝影機所擷取之數位影像資料進行分析。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該量測桿係呈一中空之圓弧狀，使第一、二及第三攝影機之三點中心光軸共圓交於一點，且使第一、二及第三攝影機可利用調整裝置於量測桿上進行適當間距之調整。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，各調整機構係分別包含有一與量測桿活動結合之滑座、一設於滑座上之調整座、一設於滑座上之平衡裝置、及一設於滑座上之電控裝置，而該第一、二及第三攝影機係分別設於各調整座上。
- 依申請專利範圍第3項所述之編列數位影像關係裝置，其中，該滑座之兩端係分別設有與量測桿抵靠之滑輪及靠緊輪，而該靠緊輪係連接有一調整旋鈕。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該第一校正點係設於基座上，用於固定第一、二及第三攝影機之光軸中心位於同一光軸點，做為量測初始點，而該第二校正點係為所在環境之一參考點，且與第二攝影機光軸中心及第一校正點皆位於同一光軸線上，做為初始化量測使用。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該第二校正點係配合有一標示桿，可架設於遠方之待測物位置，以利第一、二及第三攝影機進行後續重覆量測使用。
- 依申請專利範圍第5項所述之編列數位影像關係裝置，其中，該標示桿上係具有可進行校正之標示刻度。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該校正板係為具有固定間距之校正格點中心座，作為第一、二及第三攝影機校正時所需之校正點。
- 依申請專利範圍第8項所述之編列數位影像關係裝置，其中，該校正板之校正格點可為圓形或方形。
- 依申請專利範圍第8項所述之編列數位影像關係裝置，其中，當校正板之校正格點與第一、二及第三攝影機之影像平面不平行時，所擷取影像之格點將形成扭曲形狀。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該處理機構更進一步連接有一預警單元。
- 依申請專利範圍第1項所述之編列數位影像關係裝置，其中，該編列數位影像運算模組至少包含有相互校正參數單元、全景拼接製作單元、全景編列數位影像單元及三維重建單元，可使第一、二及第三攝影機配合校正板進行校正，並將各攝影機所擷取之數位影像資料進行分析，且計算出位移及應變值。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整第一攝影機之光軸垂直於校正板之可視範圍內。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可取得第一攝影機之水平及垂直方向誤差值，以第一攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整第二及第三攝影機，使其觀察範圍與第一攝影機相同，並校正第二及第三攝影機所形成之三維重建。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整攝影機第二攝影機，使其光軸垂直於校正板之可視範圍內。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可取得第二攝影機之水平及垂直方向誤差值，以第二攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整第一及第三攝影機，使其觀察範圍與第二攝影機相同，並校正第一及第三攝影機所形成之三維重建。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整攝影機第三攝影機，使其光軸垂直於校正板之可視範圍內。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可取得第三攝影機之水平及垂直方向誤差值，以第三攝影機之移動取得其影像之水平與垂直方向的Scale Factor(mm/pixel)，並產生一世界座標。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該相互校正參數單元係可調整第一及第二攝影機，使其觀察範圍與攝影機第三相同，並校正第一及第二攝影機所形成之三維重建。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該全景拼接製作單元係可選取大面積量測範圍，主要先藉由左、右影像，先行校正求出第一、二及第三攝影機之參數，並根據求得知參數，將左、右兩個影像畫面經過影像匹配投影至同一場景。
- 依申請專利範圍第22項所述之編列數位影像關係裝置，其中，該同一場景係為該系列之每張影像都經過同一點光學中心來拍攝，可任意角度取景，相鄰的影像需要適當之重疊。
- 依申請專利範圍第22項所述之編列數位影像關係裝置，其中，該同一場景係為扭曲或投影所輸入的影像到一個特殊之數學模型，然後從第一張扭曲過後的影像和第二張扭曲後影像直到最後一張影像計算梯度，根據這些參數來計算影像接合之參數。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該全景編列數位影像單元係可調整第一與第二攝影機、第二與第三攝影機及第三與第一攝影機，進行全景拼接製作得到各攝影機所形成之局部全景。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該全景編列數位影像單元係結合第一與第二攝影機、第二與第三攝影機及第三與第一攝影機所形成之局部全景，形成全域式三維重建全景影像畫面。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該全景編列數位影像單元係以三維重建後之全景影像畫面，量測剛體位移，以評估其基本量測誤差。
- 依申請專利範圍第12項所述之編列數位影像關係裝置，其中，該三維重建單元係可將影像以具有深淺度之三維型態加以呈現。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100125747A TW201310004A (zh) | 2011-08-18 | 2011-08-18 | 編列數位影像關係裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100125747A TW201310004A (zh) | 2011-08-18 | 2011-08-18 | 編列數位影像關係裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201310004A true TW201310004A (zh) | 2013-03-01 |
| TWI428562B TWI428562B (zh) | 2014-03-01 |
Family
ID=48481928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100125747A TW201310004A (zh) | 2011-08-18 | 2011-08-18 | 編列數位影像關係裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TW201310004A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104811680A (zh) * | 2014-01-28 | 2015-07-29 | 聚晶半导体股份有限公司 | 图像获取装置及其图像形变校正方法 |
| CN104811604A (zh) * | 2014-01-28 | 2015-07-29 | 聚晶半导体股份有限公司 | 图像获取装置及其图像形变校正方法 |
| TWI511081B (zh) * | 2014-01-28 | 2015-12-01 | Altek Semiconductor Corp | 影像擷取裝置及其影像形變校正方法 |
| TWI548281B (zh) * | 2014-11-21 | 2016-09-01 | 財團法人工業技術研究院 | 寬景監視系統及其方法 |
| TWI564647B (zh) * | 2015-03-27 | 2017-01-01 | 國立臺北科技大學 | 全景動態網路攝影機的影像轉換運算方法 |
| TWI579776B (zh) * | 2015-10-27 | 2017-04-21 | 財團法人國家實驗研究院 | 利用影像擷取裝置給定一全域場景影像之方法 |
| TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
| CN113834433A (zh) * | 2020-06-24 | 2021-12-24 | 财团法人工业技术研究院 | 受压状态量测方法及受压状态量测系统 |
| TWI777361B (zh) * | 2020-01-20 | 2022-09-11 | 新加坡商視覺技術創投私人有限公司 | ３ｄ拍攝裝置、３ｄ拍攝方法、３ｄ顯示終端、電腦可讀儲存媒體及電腦程式產品 |
-
2011
- 2011-08-18 TW TW100125747A patent/TW201310004A/zh not_active IP Right Cessation
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104811680A (zh) * | 2014-01-28 | 2015-07-29 | 聚晶半导体股份有限公司 | 图像获取装置及其图像形变校正方法 |
| CN104811604A (zh) * | 2014-01-28 | 2015-07-29 | 聚晶半导体股份有限公司 | 图像获取装置及其图像形变校正方法 |
| TWI511081B (zh) * | 2014-01-28 | 2015-12-01 | Altek Semiconductor Corp | 影像擷取裝置及其影像形變校正方法 |
| US9792685B2 (en) | 2014-01-28 | 2017-10-17 | Altek Semiconductor Corp. | Image capturing device and method for calibrating image deformation thereof |
| CN104811604B (zh) * | 2014-01-28 | 2018-03-20 | 聚晶半导体股份有限公司 | 图像获取装置及其图像形变校正方法 |
| TWI548281B (zh) * | 2014-11-21 | 2016-09-01 | 財團法人工業技術研究院 | 寬景監視系統及其方法 |
| TWI564647B (zh) * | 2015-03-27 | 2017-01-01 | 國立臺北科技大學 | 全景動態網路攝影機的影像轉換運算方法 |
| TWI579776B (zh) * | 2015-10-27 | 2017-04-21 | 財團法人國家實驗研究院 | 利用影像擷取裝置給定一全域場景影像之方法 |
| TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
| TWI777361B (zh) * | 2020-01-20 | 2022-09-11 | 新加坡商視覺技術創投私人有限公司 | ３ｄ拍攝裝置、３ｄ拍攝方法、３ｄ顯示終端、電腦可讀儲存媒體及電腦程式產品 |
| CN113834433A (zh) * | 2020-06-24 | 2021-12-24 | 财团法人工业技术研究院 | 受压状态量测方法及受压状态量测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI428562B (zh) | 2014-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8803943B2 (en) | Formation apparatus using digital image correlation | |
| TW201310004A (zh) | 編列數位影像關係裝置 | |
| Luhmann | Close range photogrammetry for industrial applications | |
| Chen et al. | Full-field 3D measurement using multi-camera digital image correlation system | |
| US9965870B2 (en) | Camera calibration method using a calibration target | |
| CN102032878B (zh) | 基于双目立体视觉测量系统的精确在线测量方法 | |
| CA2553477C (en) | Transprojection of geometry data | |
| CN109163657B (zh) | 一种基于双目视觉三维重建的圆形目标位姿检测方法 | |
| CN110296691A (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN102072706B (zh) | 一种多相机定位与跟踪方法及系统 | |
| Ben-Hamadou et al. | Flexible calibration of structured-light systems projecting point patterns | |
| CN109658457A (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
| CN102003938A (zh) | 大型高温锻件热态在位检测方法 | |
| CN106840011A (zh) | 铁塔变形测量装置及其方法 | |
| Yang et al. | Flexible and accurate implementation of a binocular structured light system | |
| Zhou et al. | A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors | |
| CN107328502A (zh) | 一种锚杆托盘载荷可视化数字成像方法 | |
| CN102221331A (zh) | 一种基于不对称双目立体视觉技术的测量方法 | |
| CN108108021A (zh) | 人眼跟踪系统外参数校正治具及校正方法 | |
| CN107941153A (zh) | 一种激光测距优化标定的视觉系统 | |
| Chen et al. | Rotation axis calibration of a turntable using constrained global optimization | |
| CN104807405A (zh) | 一种基于光线角度标定的三维坐标测量方法 | |
| CN110414101B (zh) | 一种仿真场景测量方法、准确性测定方法及系统 | |
| Franco et al. | RGB-D-DIC technique for low-cost 3D displacement fields measurements | |
| TWI526670B (zh) | 隧道變形之立體影像量測方法及其裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |