TWI419077B - 立體視覺資訊補償系統及方法 - Google Patents
立體視覺資訊補償系統及方法 Download PDFInfo
- Publication number
- TWI419077B TWI419077B TW99130757A TW99130757A TWI419077B TW I419077 B TWI419077 B TW I419077B TW 99130757 A TW99130757 A TW 99130757A TW 99130757 A TW99130757 A TW 99130757A TW I419077 B TWI419077 B TW I419077B
- Authority
- TW
- Taiwan
- Prior art keywords
- dimensional object
- image
- information
- stereoscopic
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000004438 eyesight Effects 0.000 title description 10
- 230000007812 deficiency Effects 0.000 title 1
- 230000004927 fusion Effects 0.000 claims description 36
- 230000004075 alteration Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 18
- 230000007547 defect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本發明係關於一種視覺資訊之系統及方法,特別涉及一種補償立體視覺缺陷的立體視覺資訊補償系統及方法。
人類利用眼睛以獲得視覺的感知,特別是透過雙眼視覺(binocular vision)同時獲得具有視差的視覺畫面,再經由大腦的分析處理後,產生立體視感,也就是可以得知視線所及的各項立體物件的相對距離遠近、立體物件與觀看者之間的絕對距離、甚至是立體物件的厚度。
但對於因視力受損僅剩餘單邊眼睛可正常接收影像、或大腦無法正確分析雙眼分別產生之畫面的人而言,即無法得知眼前各項物件的相對距離,或是立體物件與觀看者本身的距離。這種缺乏立體感的視覺缺陷不但減少了觀看時的視覺豐富性,更可能造成觀看者無法判斷景物與自己的距離而產生碰撞,引發安全上的疑慮。
目前已知的立體顯示裝置或立體影像的生成技術,都是以觀看者的雙眼視覺能力未受損的情況為前提而發展;且眾多視覺缺陷的輔助機制中,並沒有針對立體視感的缺陷而提供補償的作法,使得雙眼視覺具有缺陷的觀看者沒有機會如常人般地偵知景物的深度或距離,徒增生活上的不便利。
本發明涉及到一種立體視覺資訊補償系統及方法,利用影像擷取單元捕捉影像,再將影像進行處理及附加立體資訊的手段,在平面影像上顯示出立體物件的深度或距離資訊,以供視覺具有缺陷,無法發揮雙眼視覺(binocular vision)效果之人獲得對景像的立體訊息。
根據本發明的一項方案,提供一種立體視覺資訊補償系統,其中一個實施例包括:複數影像擷取單元、一影像處理單元及一顯示單元。影像處理單元更包括:距離運算單元、暫存單元及立體資訊融合單元。複數影像擷取單元設置於同一視平線,分別對同一場景擷取不同角度之複數平面影像,所述的平面影像中皆包括場景中的至少一立體物件,複數平面影像中包括一基準影像。距離運算單元計算所述立體物件在複數平面影像間的像差(disparity),以及根據像差與影像擷取單元間的距離,計算所述立體物件與所述視平線間的距離值,並將距離值記錄在暫存單元。立體資訊融合單元根據該暫存單元所暫存的距離值獲得對應於立體物件的立體資訊,並將對應於立體物件的立體資訊融合於基準影像的立體物件,以產生一校正影像。顯示單元接收及顯示所述的校正影像。
根據本發明的另一方案,提供一種立體視覺資訊補償方法,其中一個實施例包括:以設置在同一視平線的複數影像擷取單元分別對同一場景擷取不同角度之複數平面影像,每一平面影像中包括場景的至少一立體物件,所述平面影像中包括一基準影像;一影像處理單元計算立體物件在該等平面影像間的像差;根據像差及該等影像擷取單元
間的距離,計算出立體物件與影像擷取單元間的一距離值;影像處理單元根據距離值將所述立體物件所對應的一立體資訊融合於基準影像中的立體物件,以產生一校正影像;輸出校正影像至一顯示單元。
詳細內容及例示實施方式與圖式,請參閱以下說明。
第一圖是本發明提供的一種立體視覺資訊補償系統第一實施例的方塊圖。立體視覺資訊補償系統1包括複數影像擷取單元、影像處理單元14及顯示單元16。本實施例的影像擷取單元包括影像擷取單元10及影像擷取單元12;影像處理單元14更包括距離運算單元140、暫存單元142、立體資訊融合單元144及警示比對單元146。
二個影像擷取單元10、12位於同一視平線水平並排,且並間隔有一定寬度;所述的寬度範圍可模擬人類左、右兩眼之間的間距,約介於6到7公分之間。具體的影像擷取單元10、12可為攝影機或照相機,同步地連續或定期分別擷取同一個場景的平面影像。二個平面影像皆包括所述場景中的至少一項相同的立體物件,例如建築物、車輛或樹木。為便於理解實施內容,下文中,影像擷取單元10所擷取的平面影像稱為基準影像,影像擷取單元12所擷取的平面影像則稱為參考影像。
影像擷取單元10、12同步擷取的基準影像及參考影像皆被傳送到影像處理單元14進行處理。影像處理單元14的距離運算單元140接收到基準影像及參考影像後,利用影像分析的手段,辨識基準影像和參考影像中所包含的立
體物件,以便計算立體物件與視平線間的距離。首先,可利用如影像分割(Image Segmentation)之技術將基準影像中的物件解析出來並加以標示,接著,距離運算單元140可透過如點對應式(point matching)或區塊對應式(block matching)分析進行影像對應(image correspondence),藉由比對畫面中的紋理、色塊或邊緣,以辨識出二個平面影像中所存在的相對應立體物件。
點對應式或區塊對應式的分析都是基於影像的像素進行比對,因此,當辨識出二個平面影像中相對應的立體物件時,同時可獲得立體物件分別在基準影像及參考影像中的位置,換言之,可得知立體物件在影像中的二維座標。
由於影像擷取單元10、12之間的位置間隔了一定寬度,因此基準影像與參考影像的內容雖皆涉及同一場景,但所擷取的角度和範圍會產生差異,使得擷取到的畫面內容不會完全重疊相等。因此,同一立體物件在基準影像中的位置與在參考影像中的位置存在差距,也就是像差(disparity)。以模擬人眼位置的影像擷取單元10、12所擷取的影像來說,立體物件會產生水平像差(x軸方向像差),且距離視平線越近的立體物件,產生的像差越大。距離運算單元140可根據同一立體物件在基準影像和參考影像中的座標,計算出每一立體物件在此二個平面影像的像差。
獲得立體物件在二個平面影像之間的像差之後,距離運算單元140可進一步依據影像擷取單元10、12之間所間隔的寬度與立體物件的像差,即可由該像差估測出該立體物件相對於視平線的距離值。根據像差計算立體物件之距離值之手段已為本領域之人士所熟知,此即不再贅言。
計算出平面影像中各項可分辨的立體物件的距離值後,影像處理單元14可將每一距離值暫存在暫存單元142中,例如暫存在緩衝器(buffer)或記錄在註冊檔(registry)。立體資訊融合單元144及警示比對單元146接著即會針對暫存單元142中所暫存的距離值進行處理,以便提供融合了立體資訊的影像。
立體資訊融合單元144自暫存單元142中一一讀取出每個立體物件的距離值,並且以基準影像的畫面為基礎,將每個距離值的數值融合到基準影像中相對應的立體物件,產生了一個在畫面中除了包括景物之外,還標示有每個立體物件之距離值的校正影像。
如第二圖所示的校正影像20示意圖,其中,由距離運算單元140所辨識及計算出距離值的立體物件201、202到206包括車輛以及建築物。在每個立體物件201到206周圍適當之處,分別標識有距離值的數值211、212到216,用以提示使用者每個立體物件201到206與視平線之間的距離。藉此,具有雙眼視覺缺陷的使用者即使無法分辨影像中各個立體物件的距離,仍可藉由融合在校正影像20的距離值數值而獲得立體物件的前、後關係,以及與視平線間距離值的立體資訊。例如在第二圖中,根據距離值的數值211到216依序標示出的3、5、20、20、120及200,不但可得知該等立體物件201到206彼此間的相對距離,還可得知每一立體物件201到206與視平線間的絕對距離。
在立體資訊融合單元144融合立體資訊到基準影像,並產生校正影像之後或同時,警示比對單元146可讀取暫存單元142所暫存的各距離值,並將每一距離值分別與一
預設的門檻值進行比對。設置所述的門檻值係考慮到:具有雙眼視覺缺陷的使用者無法正確地判斷出立體物件與自身的距離,若使用者與眼前的景物越來越接近而不自知、或無法在短時間內作出反應,則有可能因太過靠近立體物件而發生碰撞。本系統所預設的門檻值,即係用於確認視平線與校正影像中的任一立體物件之間的距離,是否已接近到可能發生碰撞。當警示比對單元146比對出任一距離值已等於或小於門檻值時,即會產生一警示訊息,例如動態閃爍的警告文字。
顯示單元16連接於影像處理單元14,用以接收並呈現由影像處理單元14所處理完畢的資料。上述立體資訊融合單元144所產生的校正影像,以及警示比對單元146所產生的警示訊息,皆會傳送到顯示單元16,由顯示單元16輸出校正影像的畫面,以及在顯示單元16顯示出警告文字,藉此以提供具有立體資訊的影像畫面給使用者,同時對可能產生的危險提供預警的功能。
所述的立體視覺資訊補償系統1可設置在頭盔式或眼鏡式的視覺輔助裝置上,顯示單元16可為設置正對使用者雙眼的液晶螢幕或類似的影像輸出元件,並將影像擷取單元10、12設置在顯示單元16上方,分別垂直地對應到使用者左、右兩眼的位置,以獲得最接近使用者雙眼接收的平面影像。影像處理單元14則可設置在頭盔或眼鏡側邊或後方,以接收影像擷取單元10、12所擷取到的平面影像,以及產生校正影像及警示訊息。
除了顯示出立體物件的距離值數值之外,本發明所揭露的技術手段還可提供其他立體資訊,以輔助具有雙眼視
覺缺陷的使用者辨識立體物件。
第三圖為本發明提供的一種立體視覺資訊補償系統第二實施例的方塊圖。第二實施例的立體視覺資訊補償系統1a較第一實施例更包含了一警示單元18;並且在影像處理單元14a更包括一比對表148。
當距離運算單元140根據基準影像及參考影像而計算出各個立體物件的距離值,並且將距離值一一暫存在暫存單元142後,立體資訊融合單元144可根據暫存單元142中的記錄以及比對表148的內容,取得立體物件的立體資訊,以便產生校正影像。
比對表148記錄了複數立體資訊和複數距離資料,每一項立體資訊和每一距離資料一對一互相對應。所述的複數距離資料可為前後相接續但不重疊的距離區段。立體資訊融合單元144可從暫存單元142讀取出其中一項距離值,將距離值與比對表148中記錄的距離資料進行比對,當所讀取的距離值與比對表148的其中一項特定距離資料相符時(例如所述距離值落入其中一段距離區段的範圍內),立體資訊融合單元144即選取與該項距離資料所對應的立體資訊。立體資訊融合單元144可利用影像邊緣偵測的技術,例如Sobel邊緣偵測法,辨識出基準影像中各個立體物件的邊緣,並依據所選取的立體資訊來變更該立體物件的輪廓。藉由立體物件的輪廓變化來顯示不同立體物件的遠、近關係,以及與視平線的的距離。
立體資訊可包括色彩資訊,依照不同距離資料所指出的距離遠、近程度,分別對應不同的顏色或亮度。例如:越接近視平面的距離區段所對應的色彩資訊越偏向暖色系
,且亮度越高;越遠離視平面的距離區段對應到的色彩資訊越偏冷色系,且亮度越低。
例如:3公尺以下的距離區段對應紅色;超過3公尺到10公尺以下的距離區段對應桃紅色;超過10公尺到25公尺以下的距離區段對應橘紅色;超過100公尺到150公尺以下對應藍色,依此類推。以第二圖的校正影像示意圖為例,距離運算單元140計算出立體物件203及205的距離值分別為20公尺及120公尺。根據比對表148的記錄資料,立體物件203的距離值介於指示出10到25公尺的距離區段中,因此對應到橘紅色;而立體物件205的距離值落入指示出100到150公尺的距離區段中,因此對應藍色。
立體資訊融合單元144即可沿著立體物件203以橘紅色描繪建築物的輪廓;以及以藍色描繪立體物件204的輪廓。當校正影像顯示在顯示單元16時,使用者即可透過校正影像中各個立體物件的不同邊緣色彩,判斷出各個立體物件的距離。
在另一個實施例中,立體資訊亦可為陰影濃度資訊,例如:越接近視平面的距離區段對應到的陰影越濃重,而越遠離視平面的距離區段則對應到越淺淡的陰影。所述的陰影濃度可以灰階(grayscale)來表現。因此,立體資訊融合單元144可根據每一立體物件的距離值,選取相對應的灰階值後,沿著立體物件一側的邊緣,變更與邊緣相臨的像素的灰階值,使立體物件的邊緣呈現出濃、淡不同的陰影。使用者也可藉由每個立體物件的陰影濃度得知立體物件的距離。
在另一個實施例中,立體資訊還可以是線條寬度資訊
。比對表148所記錄的不同距離資料一一對應不同的線條寬度,例如:距離值在3公尺以下,線條寬度為10個畫素寬;超過3公尺到10公尺以內,線條寬度為9個畫素寬,依此類推。立體資訊融合單元144可根據距離值所對應到的距離資料而選取相對的線條寬度,並根據所選取的線條寬度,沿著立體物件的邊緣變更相鄰畫素的內容,以使立體物件的邊緣可隨著距離值的大小而顯示出不同的輪廓寬度。如第七圖所示之示意圖,根據立體物件的輪廓寬度差異,可得知第七圖中的立體物件201a與203a相較,立體物件203a的距離較遠,而立體物件206a的距離又比立體物203a更遠。
立體資訊融合單元144以基準影像的畫面為基礎,將基準影像中各個立體物件依照所對應的立體資訊改變其輪廓外觀,以產生校正影像,並傳送到顯示單元16顯示。
警示比對單元146讀取暫存單元142所暫存的距離值,並與預設的門檻值進行比對,當判斷出特定距離值小於或等於門檻值時,產生警示訊息。本實施例中的警示訊息可為聲音訊息,如連續而短促的提示音;警示單元18可為擴音裝置,用以接收聲音訊息並加以播放,以引起使用者的注意。在另一實施例中,警示單元18可為一發光裝置,如發光二極體(LED),根據警示比對單元146發出的警示訊息而閃爍,提示使用者與立體物件過於接近。
為了保障具有雙眼視覺缺陷的使用者的安全,在另一個實施例當中,警示比對單元146可同時產生警示訊息到顯示單元16,以及輸出警示訊息到警示單元18,以便於使用者太過接近立體物件時,可同時接收多方的警示,如聽
到擴音裝置輸出的提示音以及顯示單元16上的警告文字,以避免使用者與立體物件發生碰撞。
在另一實施例中,立體資訊融合單元144可根據立體物件在基準影像和參考影像的畫面及角度差異,利用立體影像繪圖的技術,將平面影像中以二維平面方式呈現的立體物件,轉換為具有立體效果的透視圖,並輔以距離值的數值搭配呈現在顯示單元16上,以提供另一種校正影像供使用者觀看。如同人類雙眼分別接收影像畫面時,因雙眼之間的距離差異,造成左、右眼接收到的畫面視角略有差異,本實施例中的影像擷取單元10、12亦然。
請參考第四A圖及四B圖分別顯示影像擷取單元10及12擷取同一立體物件之影像所產生的基準影像4a和參考影像4b的示意圖。其中,基準影像4a相較於參考影像4b多了左側視角的畫面細節,即影像中的42區塊,而參考影像4b則包含了基準影像4a所未顯示的右側視角的畫面細節,即44區塊。立體資訊融合單元144可根據基準影像及參考影像萃取出所述立體物件的特徵,如色澤、紋理或形狀,找出所述立體物件在二個影像中的對應部分,如基準影像4a與參考影像4b的40a與的40b區塊互相對應。
立體資訊融合單元144可將基準影像4a與參考影像4b中特有的部分整合,使得產生出來的校正影像4c(參照第四C圖)同時顯現出基準影4a像與參考影像4b所具有的影像畫面。如第四C圖所示,校正影像4c所顯示的立體物件以基準影像4a為基礎,包括二個影像中像對應的40a區域、基準影像4a的42區域及參考影像4b的44區域,並利用光亮面或陰暗面的效果來顯現融合後之物件的立體效
果。例如第四C圖中,分別將42a及44a區域以陰暗面表示,40a區域以光亮面表示;在其他實施例中,亦可僅以光亮面之40a搭配單邊陰暗面42a或44a來表現立體資訊,以提供使用者判斷其為立體物件的依據。
第五圖提供一種立體視覺資訊補償方法第一實施例的流程圖,請配合參閱第一圖以利說明。所述方法實施例是以設置在同一視平線,且間隔一定寬度的複數個影像擷取單元10、12個別對同一場景擷取平面影像(S501),每一平面影像中都包括相同的至少一個立體物件。影像擷取單元10所擷取的平面影像為基準影像,影像擷取單元12所擷取的平面影像及為參考影像。
在複數平面影像當中,因影像擷取單元10、12設置位置的差異,使得平面影像中的同一項立體物件在基準影像及參考影像中所顯示的位置不完全重疊。
影像擷取單元10、12將平面影像傳送到影像處理單元14進行處理。其中,距離運算單元140執行影像對應分析,以辨識出基準影像及參考影像中相同的立體物件;並且根據立體物件的像素資料,計算出立體物件在基準影像和參考影像之間的像差(S503)。距離運算單元140更進一步依據影像擷取單元10、12之間所間隔的寬度以及立體物件的像差,利用三角幾何關係計算出立體物件相對於視平線的距離值(S505)。
距離運算單元140將計算出來的各立體物件的距離值一一記錄到暫存單元142(S507)。立體資訊融合單元144自暫存單元142讀取立體物件的立體資訊,也就是各個立體物件所對應的距離值的數值,並以基準影像的畫面為基
礎,一一將暫存單元142的距離值融合到影像中相對應的立體物件(S509),以產生一校正影像(S511),並傳送到顯示單元16以供顯示。校正影像中即融合了立體物件的畫面以及各立體物件所對應的距離值數值。
警示比對單元146亦可讀取暫存單元142中所記錄的各項距離值,並分別與一預設的門檻值進行比對,以判斷是否有任一距離值等於或小於預設的門檻值(S513)。
若經警示比對單元146的判斷,偵測出所有的距離值都大於門檻值,代表場景中各立體物件與視平線的距離還保持有一段安全間距,不致讓使用者碰撞到任一立體物件,則警示比對單元146就不會產生警示訊息,顯示單元16可單純顯示已增添了立體資訊的校正影像(S515),以供使用者觀看並獲取影像中各立體物件與使用者之間的距離。
反之,若警示比對單元146判斷出任一距離值小於或等於門檻值,則代表視平線與至少一立體物件間的距離過於接近,可能造成使用者與該立體物件發生碰撞的危險,此時警示比對單元146即可產生一警示訊息(S517),如一段警告文字。接著再將校正影像及警示文字皆傳送到顯示單元16,由顯示單元16顯示包含有立體資訊的校正影像以及警示訊息(S519)。
第六圖再提供一種立體視覺資訊補償方法第二實施例之流程圖,請一併參照第二圖所示方塊圖。在本實施例中,同樣以複數個影像擷取單元10、12對同一場景擷取複數平面影像(S601),經過距離運算單元140執行影像對應分析找出平面影像中共同包含的立體物件,並計算出立體物件的像差(S603),以及利用像差與影像擷取單元10、12
間的間隔寬度計算出立體物件的距離值後(S605),再將被計算出來的一或多個立體物件的距離值暫存於暫存單元142(S607)。
與第五圖所示流程不同之處,在於第六圖所示實施例中,立體資訊融合單元144從暫存單元142讀取出一項距離值後,以該項距離值對照比對表148中的記錄,以獲得對應於該項距離值的一立體資訊(S609)。比對表148中記錄了複數的立體資訊,每一立體資訊對應一項距離資料,立體資訊融合單元144將讀取出來的距離值和比對表148所記錄的各項距離資料一一比對,當判斷出比對中的距離值符合其中一項距離資料時,即選取該項距離資料所對應的立體資訊,以指定為進行比對之距離值所對應之立體物件的立體資訊(S611)。
當立體資訊融合單元144完成暫存單元142所記錄的各項距離值的比對,並且分別讀取出對應於各項距離值的立體資訊後,即以基準影像的畫面為基礎,將讀取出來的立體資訊一一融合到影像中相符的立體物件,以產生一校正影像(S613)。本實施例中的立體資訊可包括色彩資訊、陰影濃度資訊或線條寬度資訊,立體資訊融合單元144可根據上述的立體資訊修改影像中各個立體物件的輪廓,藉由改變立體物件在平面影像上的二維外觀輪廓,以標示出立體物件的距離。例如第七圖所示之示意圖,立體資訊融合單元144根據各個立體物件201a到206a的立體資訊,將各立體物件的邊緣依照距離值的不同,分別產生不同寬度的輪廓,相對應於第二圖所示實施例之距離值,其中,立體物件201a及202a的距離值相同且最近,因此皆呈現
出較寬的輪廓線條;反觀距離值最大(亦即距離最遠)的立體物件206a,其輪廓線條則較細。藉此以輔助使用者根據立體物件輪廓的清晰度來判斷立體物件的距離遠近。利用陰影濃度的濃、淡做差異化的顯示,亦屬相同原理,不再贅述。本實施例其他細節說明,請參閱第二圖所示之實施例內容。
警示比對單元146亦讀取暫存單元142所暫存的距離值,並一一與預設門檻值比對,判斷是否有任一距離值等於或小於門檻值(S615):若各個立體物件的距離值都大於門檻值,顯示單元16即可顯示立體資訊融合單元144產生的校正影像(S617);但若偵測到有任一項距離值等於或小於門檻值時,警示比對單元146即產生一警示訊息(S619),如提示音或閃光,並於顯示單元16顯示校正影像的同時,由警示單元18輸出警示訊息(S621)。
藉由上述各實施例所說明的技術手段,已揭露出本發明可透過複數影像擷取單元模擬使用者的雙眼來擷取影像,並利用影像處理和運算的手段計算出平面影像所包含的立體物件與視平線間的距離,再根據不同的距離遠、近程度,提供視覺性的輔助資訊,使得無法自行辨識出立體物件之距離的使用者,可以透過額外的立體資訊而獲得視覺上的輔助,達到補償視覺缺陷的效果,減少使用者日常生活的不便。
即使使用者並非眼部缺陷,而係腦部之立體資訊融合功能缺陷造成缺乏雙眼視覺者,仍可藉由本發明所揭示的技術手段經簡單的訓練後,培養出對立體物件之距離的感知、估計能力,同樣可達成距離或立體資訊缺損補償的目
標。
同時,本技術更輔以各種警示訊息,為使用者提供可能發生的碰撞的預警機制,也可獲得降低使用者因雙眼視覺缺陷而產生安全問題的功效。
此外,本發明所揭露的技術手段可以軟體程式進行實作,將程式代碼記錄在連接於影像處理單元的記憶體,或是燒錄為韌體,由影像處理單元讀取及執行,不需要複雜的電路設計且更新容易,具有減少硬體裝置製造成本及不佔體積的優點。
然而,上述各實施例當中之元件及步驟,僅係為闡述本發明所舉之例示,並無自限所請求保護之範圍的意圖。凡遵循本發明之精神及根據本發明所揭示之技術手段,而進行微幅之修飾或改變者,亦屬本發明所保護之範疇。
1,1a‧‧‧立體視覺資訊補償系統
10‧‧‧影像擷取單元
12‧‧‧影像擷取單元
14,14a‧‧‧影像處理單元
140‧‧‧距離運算單元
142‧‧‧暫存單元
144‧‧‧立體資訊融合單元
146‧‧‧警示比對單元
148‧‧‧比對表
16‧‧‧顯示單元
18‧‧‧警示單元
20,20a‧‧‧校正影像
201-206,201a-206a‧‧‧立體物件
211-216‧‧‧數值
4a‧‧‧基準影像
4b‧‧‧參考影像
4c‧‧‧校正影像
40a,40b,42,42a,44,44a‧‧‧影像區域
S501-S519‧‧‧流程步驟
S601-S621‧‧‧流程步驟
第一圖:本發明所提供的一種立體視覺資訊補償系統第一實施例之方塊圖;第二圖:本發明所提供的一個校正影像示意圖;第三圖:本發明所提供的一種立體視覺資訊補償系統第二實施例之方塊圖;第四A圖:基準影像實施例示意圖;第四B圖:參考影像實施例示意圖;第四C圖:校正影像實施例示意圖;第五圖:本發明所提供的一種立體視覺資訊補償方法第一實施例之流程圖;第六圖:本發明所提供的一種立體視覺資訊補償方法第
二實施例之流程圖;及第七圖:本發明所提供的另一個校正影像示意圖。
1‧‧‧立體視覺資訊補償系統
10‧‧‧影像擷取單元
12‧‧‧影像擷取單元
14‧‧‧影像處理單元
140‧‧‧距離運算單元
142‧‧‧暫存單元
144‧‧‧立體資訊融合單元
146‧‧‧警示比對單元
16‧‧‧顯示單元
Claims (21)
- 一種立體視覺資訊補償方法,包括:以設置在同一視平線的複數影像擷取單元分別對同一場景擷取不同角度之複數平面影像,該等平面影像中包括該場景的至少一立體物件,該等平面影像中包括一基準影像;一影像處理單元計算該立體物件在該等平面影像間的一像差;根據該像差及該等影像擷取單元間的距離,該影像處理單元計算出該立體物件與該視平線之間的一距離值;根據該距離值,該影像處理單元讀取一比對表,該比對表記錄複數種分別對應不同距離資料的一立體資訊,由該影像處理單元根據該距離值比對該比對表,以獲得對應於該立體物件的該立體資訊;將該立體物件所對應的該立體資訊融合於該基準影像中的該立體物件,以產生一校正影像;及輸出該校正影像至一顯示單元;其中,將該立體物件所對應的該立體資訊融合於該基準影像中的該立體物件是根據該立體資訊變更該基準影像的該立體物件的輪廓;其中該比對表記錄的該等立體資訊為色彩資訊、陰影濃度資訊或線條寬度資訊。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,計算該距離值後,更包括:暫存該立體物件的該距離值於一暫存單元。
- 如申請專利範圍第2項所述的立體視覺資訊補償方法,其中,根據該距離值將該立體物件所對應的該立體資訊融合以產生該校正影像的步驟中包括:讀取該暫存單元所暫存的該距離值;及將該距離值之數值融合於該基準影像,用以標示該立體物件的距離,以產生該校正影像。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,當該立體物件所對應的該立體資訊為色彩資訊時,該立體物件的輪廓顏色是根據所對應的色彩資訊變更。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,當該立體物件所對應的該立體資訊為陰影濃度資訊時,該立體物件的輪廓陰影濃度是根據所對應的陰影濃度資訊變更。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,當該立體物件所對應的該立體資訊為線條寬度資訊時,該立體物件的輪廓寬度是根據所對應的線條寬度資訊變更。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,計算該距離值後,更包括:暫存該立體物件的該距離值於一暫存單元。
- 如申請專利範圍第7項所述的立體視覺資訊補償方法,其中,將該立體物件所對應的該立體資訊融合於該基準影像中的該立體物件後,更包括:讀取該暫存單元的該距離值,將該距離值之數值融合於該校正影像,以標示該立體物件的距離。
- 如申請專利範圍第2項所述的立體視覺資訊補償方法,其中,根據該距離值將該立體物件所對應的該立體資訊融合以產生該校正影像的步驟中包括:讀取該暫存單元所暫存的該距離值;及將該立體物件在該基準影像及該參考影像中因視角差異而顯示的差別區域整合到該基準影像,並將該距離值之數值融合到經整合的該基準影像,以產生該校正影像。
- 如申請專利範圍第1項所述的立體視覺資訊補償方法,其中,輸出校正影像至該顯示單元前,更包括:判斷該距離值是否等於或小於一臨界值,若是,則產生一警示訊息。
- 如申請專利範圍第10項所述的立體視覺資訊補償方法,其中,輸出該校正影像至該顯示單元後,更包括:輸出該警示訊息至該顯示單元及一警示單元其中任一者或其組合。
- 一種立體視覺資訊補償系統,包括:複數影像擷取單元,設置於同一視平線,分別對同一場景擷取不同角度之複數平面影像,該等平面影像中包括該場景的至少一立體物件,且該等平面影像包括一基準影像;一影像處理單元,包括:一距離運算單元,計算該立體物件在該等平面影像間的一像差,以及根據該像差與該等影像擷取單元間的距離,計算該立體物件與該視平線間的一距離值; 一暫存單元,暫存該距離運算單元所計算的該距離值;一比對表,記錄複數立體資訊,每一該等立體資訊對應一距離資料;及一立體資訊融合單元,根據該暫存單元所暫存的該距離值並且查詢該比對表,以獲得對應於該立體物件的一立體資訊,並將對應於該立體物件的該立體資訊融合於該基準影像的該立體物件,以產生一校正影像;及一顯示單元,接收及顯示該校正影像;其中,該立體資訊融合單元根據對應於該立體物件的該立體資訊,變更該基準影像的該立體物件的輪廓;其中該比對表記錄的該等立體資訊為色彩資訊、陰影濃度資訊或線條寬度資訊。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,該立體資訊融合單元讀取記錄於該暫存單元的該距離值,融合該距離值之數值到該基準影像,以標示該立體物件的距離,以產生該校正影像。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,該立體資訊融合單元讀取記錄於該暫存單元的該距離值,融合該距離值之數值到該校正影像,以標示該立體物件的距離。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,當該立體物件所對應的該立體資訊為色彩資訊時,該立體資訊融合單元根據色彩資訊變更該立體物件 的輪廓顏色。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,當該立體物件所對應的該立體資訊為陰影濃度資訊時,該立體資訊融合單元根據陰影濃度資訊變更該立體物件的輪廓陰影濃度。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,當該立體物件所對應的該立體資訊為線條寬度資訊時,該立體資訊融合單元根據線條寬度資訊變更該立體物件的輪廓寬度。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,該立體資訊融合單元將該立體影像於該基準影像及該參考影像中因視角差異所顯示之差別區域整合到該基準影像,並讀取記錄於該暫存單元的該距離值,融合該距離值之數值到經整合的該基準影像,以產生該校正影像。
- 如申請專利範圍第12項所述的立體視覺資訊補償系統,其中,該影像處理單元更包括:一警示比對單元,判斷該距離值是否小於或等於一臨界值,及於該距離值小於或等於該臨界值時產生一警示訊息。
- 如申請專利範圍第18項所述的立體視覺資訊補償系統,其中,該顯示單元接收並顯示該警示訊息。
- 如申請專利範圍第18項所述的立體視覺資訊補償系統,其中更包括:一警示單元,輸出該警示訊息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99130757A TWI419077B (zh) | 2010-09-10 | 2010-09-10 | 立體視覺資訊補償系統及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99130757A TWI419077B (zh) | 2010-09-10 | 2010-09-10 | 立體視覺資訊補償系統及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201211936A TW201211936A (en) | 2012-03-16 |
| TWI419077B true TWI419077B (zh) | 2013-12-11 |
Family
ID=46764476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW99130757A TWI419077B (zh) | 2010-09-10 | 2010-09-10 | 立體視覺資訊補償系統及方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI419077B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105323572A (zh) * | 2014-07-10 | 2016-02-10 | 坦亿有限公司 | 立体影像处理系统、装置与方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3549095B1 (en) * | 2016-11-30 | 2022-02-16 | Novasight Ltd. | Methods and devices for displaying image with changed field of view |
| CN113112537A (zh) * | 2021-04-22 | 2021-07-13 | 温州大学 | 一种基于深度网络目标分割的立体视觉生成方法及装置 |
| TW202301083A (zh) * | 2021-06-28 | 2023-01-01 | 見臻科技股份有限公司 | 提供精準眼動追蹤之光學系統和相關方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040047518A1 (en) * | 2002-08-28 | 2004-03-11 | Carlo Tiana | Image fusion system and method |
| US7274830B2 (en) * | 2002-06-12 | 2007-09-25 | Litton Systems, Inc. | System for multi-sensor image fusion |
| CN101040809A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 基于认知和目标辨识的视觉替代方法 |
| TW200943936A (en) * | 2008-02-01 | 2009-10-16 | Omnivision Cdm Optics Inc | Fusing of images captured by a multi-aperture imaging system |
| TW201004818A (en) * | 2008-07-21 | 2010-02-01 | Univ Nat Defense | The asynchronous photography automobile-detecting apparatus |
-
2010
- 2010-09-10 TW TW99130757A patent/TWI419077B/zh not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7274830B2 (en) * | 2002-06-12 | 2007-09-25 | Litton Systems, Inc. | System for multi-sensor image fusion |
| US20040047518A1 (en) * | 2002-08-28 | 2004-03-11 | Carlo Tiana | Image fusion system and method |
| CN101040809A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 基于认知和目标辨识的视觉替代方法 |
| TW200943936A (en) * | 2008-02-01 | 2009-10-16 | Omnivision Cdm Optics Inc | Fusing of images captured by a multi-aperture imaging system |
| TW201004818A (en) * | 2008-07-21 | 2010-02-01 | Univ Nat Defense | The asynchronous photography automobile-detecting apparatus |
Non-Patent Citations (1)
| Title |
|---|
| Sahyun Hong; Wooil M.Moon;Hong-Yul Paik; Gi-Hyuk Choi,"Data Fusion of multiple Polarimetric SAR images using Discrete Wavelet Transform(DWT)",3323-3325,(C)IEEE,2002。 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105323572A (zh) * | 2014-07-10 | 2016-02-10 | 坦亿有限公司 | 立体影像处理系统、装置与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201211936A (en) | 2012-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9451242B2 (en) | Apparatus for adjusting displayed picture, display apparatus and display method | |
| CN101783967B (zh) | 信号处理设备、图像显示设备、信号处理方法和计算机程序 | |
| KR101763592B1 (ko) | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기 | |
| US9838673B2 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
| US20170192236A1 (en) | Method of Adapting a Virtual Reality Helmet | |
| JP4562457B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| TW201817220A (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
| CN104581113B (zh) | 基于观看角度的自适应全息显示方法及全息显示装置 | |
| US9363498B2 (en) | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image | |
| TWI419077B (zh) | 立體視覺資訊補償系統及方法 | |
| CN108064447A (zh) | 图像显示方法、智能眼镜及存储介质 | |
| EP2498501A2 (en) | 3D image display method and apparatus thereof | |
| EP3402410B1 (en) | Detection system | |
| EP2683171A2 (en) | Stereoscopic display apparatus and control method thereof | |
| KR101408591B1 (ko) | 무안경 3차원 영상 디스플레이 장치 및 방법 | |
| TWI589150B (zh) | 3d自動對焦顯示方法及其系統 | |
| TWI436636B (zh) | 三維視訊影像調整方法及裝置 | |
| JPWO2012131862A1 (ja) | 画像処理装置、立体画像表示装置、方法およびプログラム | |
| US20130293687A1 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
| US12081722B2 (en) | Stereo image generation method and electronic apparatus using the same | |
| US20140085434A1 (en) | Image signal processing device and image signal processing method | |
| JP2012023589A (ja) | 立体画像処理装置、立体画像撮影装置、立体画像表示装置、及び立体画像処理方法 | |
| CN102300106B (zh) | 三维处理电路及处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |