TWI696981B - 使用紅外線攝影機的互動影像處理系統 - Google Patents
使用紅外線攝影機的互動影像處理系統 Download PDFInfo
- Publication number
- TWI696981B TWI696981B TW108114611A TW108114611A TWI696981B TW I696981 B TWI696981 B TW I696981B TW 108114611 A TW108114611 A TW 108114611A TW 108114611 A TW108114611 A TW 108114611A TW I696981 B TWI696981 B TW I696981B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- color
- camera
- image processing
- infrared
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 178
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本揭露揭露一種互動影像處理裝置,包含一第一攝影機、一第二攝影機、一影像處理電路、一視覺處理單元、一影像訊號處理器、一中央處理單元和一記憶體。本揭露根據第一攝影機和一第二攝影機產生的紅外線影像,計算一深度資料,以改善深度品質。
Description
本揭露係指一種使用深度引擎的互動影像處理方法、裝置及媒體,尤指一種首先使用深度引擎來進行深度運算的互動影像處理方法、裝置及媒體。
在典型的立體影像處理系統中,紅-綠-藍(Red-Green-Blue)影像感應器或是攝影機產生的原始影像,往往需進行一系列的預處理操作,例如影像分析、影像重建、圖像品質增強(包含自動白平衡、曝光值以及對比校正)以及深度運算等,以為後續應用做準備。
接著,重建後的影像和其深度資料可輸入到一中央處理單元來進行處理,以實現視訊遊戲系統、售貨停或是其他系統所提供的互動介面的相關應用,例如虛擬實境裝置,筆記型電腦,平板電腦,桌上型電腦,智慧型手機,互動式投影機,電視機上盒組,或消費型電子裝置等裝置所提供的互動介面。
然而,不同的光源對立體影像處理系統可視為雜訊,導致深度運算的品質受到不同光源的影響而不穩定。此外,深度運算的品質在缺乏紋理的場景下會比較差。因此,如何改善深度運算的品質,已成為本領域的課題之一。
因此,本揭露的目的之一在於提供一種用於互動影像處理的方法、裝置和媒體,用來改善深度品質。
本揭露揭露一種互動影像處理系統,包含一第一攝影機,用來產生一第一紅外線影像;一第二攝影機,用來產生一第二紅外線影像;一第三攝影機,用來產生一彩色影像;一影像處理電路,耦接於該第一攝影機、該第二攝影機和該第三攝影機,用來根據該第一紅外線影像、該第二紅外線影像和該彩色影像,計算一深度資料;以及一視覺處理單元,耦接於該影像處理電路,用來對該第一紅外線影像和該第二紅外線影像進行立體匹配,以產生一灰階匹配影像;以及對該灰階匹配影像和該彩色影像進行彩色匹配,以產生一彩色匹配影像。
本揭露揭露一種互動影像處理系統,包含一第一攝影機用來產生一第一彩色紅外線影像;一第二攝影機用來產生一第二彩色紅外線影像;一影像處理電路,耦接於該第一攝影機和該第二攝影機,用來根據該第一彩色紅外線影像和該第二彩色紅外線影像,計算一深度資料;以及一視覺處理單元,耦接於該影像處理電路,用來對該第一彩色紅外線影像和該第二彩色紅外線影像進行立體匹配,以產生一彩色匹配影像。
本揭露根據第一紅外線攝影機和第二紅外線攝影機產生的紅外線影像來計算深度資料,以改善深度品質。因此,中央處理單元進行相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升,以提供較佳的使用者體驗。
第1圖為本揭露實施例一互動影像處理系統1的功能方塊圖。互動影像處理系統1包含一第一攝影機11、一第二攝影機12、一影像處理電路13、一視覺處理單元14、一影像訊號處理器15,一中央處理單元16和一記憶體17。
第一攝影機11和第二攝影機12耦接於影像處理電路13,用來分別產生影像M1、M2到影像處理電路13。
影像處理電路13耦接於第一攝影機11、第二攝影機12和視覺處理單元14,其可視為一深度硬體引擎,用來計算從影像M1、M2中辨識到的物體所對應的一深度資料D。具體而言,影像處理電路13從影像M1、M2辨識至少一物件,再根據一參考值(即,第一攝影機11和第二攝影機12之間的距離)來計算辨識到的至少一物件所對應的距離,其中深度資料D包含辨識到的一個或多個物件所對應的距離。
於一實施例中,影像處理電路13將標示有一相同同步標籤的影像M1、M2結合為一相同資料封包,其中該相同資料封包標示有一第一通道的一標籤;以及將深度資料D和一虛設資料DY結合為一相同資料封包,其中該相同資料封包標示有一第二通道的一標籤。第一通道是一實體路徑,且第二通道是一虛擬路徑。如此一來,視覺處理單元14可根據資料封包的標籤來分辨用於實體路徑的資料封包和用於虛擬路徑的資料封包。於一實施例中,影像處理電路13將影像M1、影像M2、深度資料D和虛設資料DY的其中二者結合為標示有第一通道的標籤的一資料封包,以及將影像M1、影像M2、深度資料D和虛設資料DY中的其他二者結合為標示有第二通道的標籤的一資料封包,但不限於此,本領域具通常知識者可根據實際需求來修改資料封包的內容。
視覺處理單元14耦接於影像處理電路13和影像訊號處理器15,用來根據深度資料D,對影像M1、M2進行立體匹配。此外,視覺處理單元14用來根據影像M1、M2,判斷具有一特定圖案或圖形的至少一擷取物件,其中該特定圖案可以是一手勢。
影像訊號處理器15耦接於視覺處理單元14和中央處理單元16,用來對原始影像M1、M2進行自動白平衡和曝光值校正,以改善圖像品質,如此有利於後續物件辨識和深度運算的品質。於一實施例中,影像處理電路13、視覺處理單元14和影像訊號處理器15可整合在單一晶片。
中央處理單元16耦接於影像訊號處理器15和記憶體17,用來基於影像M1、M2和對應的深度資料D,產生一運算結果,其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視(Augmented reality see-through,AR see-through)、六維自由度(Six degree of freedom,6-Dof)以及同時定位和映射(Simultaneous Localization and Mapping,SLAM)的相關應用。
記憶體17耦接於視覺處理單元14、影像訊號處理器15和中央處理單元16,用來儲存至少一程式碼,以指示對應的處理單元來進行特定演算及運算。於一實施例中,記憶體17可整合在中央處理單元16中,且視覺處理單元14和影像訊號處理器15中的至少一者可從中央處理單元16存取程式碼來進行相關運算。
在互動影像處理系統1的架構下,本揭露首先使用影像處理電路13(即,深度硬體引擎)來運算原始影像M1、M2對應的深度資料D,以取代習知技術中使用數位訊號處理器來進行軟體運算。接著,本揭露藉由視覺處理單元14和影像訊號處理器15的運算操作,可得到具有較佳圖像品質的影像M1、M2,也可得到具有較佳準確度的深度資料D。因此,中央處理單元16進行相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升,以提供較佳的使用者體驗。
第2圖為本揭露實施例影像處理電路13的功能方塊圖。影像處理電路13可以是一專用集成電路(Application-specific integrated circuit,ASIC),用來計算從影像中辨識到的物件所對應的深度資料D。
影像處理電路13包含一影像分析電路21、一物件擷取電路22、一物件深度運算電路23、一重疊物件深度運算電路24和一多工器25。
影像分析電路21用來判斷是否調整第一影像M1和第二影像M2的畫素值,以提升圖像品質。舉例來說,當影像M1、M2太暗時,影像分析電路21可提高第一影像M1和第二影像M2的曝光值來取得較佳的圖像品質,以用於後續的物件擷取運算。
物件擷取電路22耦接於影像分析電路21,用來從第一影像M1和第二影像M2中辨識至少一物件。
物件深度運算電路23耦接於物件擷取電路22,用來根據第一攝影機11和第二攝影機12之間的距離、至少一物件在第一影像M1的位置和至少一物件在第二影像M2的位置之間的畫素距離以及一三角定位方法,運算至少一物件的一第一深度。
重疊物件深度運算電路24耦接於物件深度運算電路23,用來計算至少一物件中的兩個重疊物件的一第二深度,以及輸出包含第一深度和第二深度的深度資料D。
多工器25耦接於重疊物件深度運算電路24,用來根據一控制訊號,輸出第一影像M1、第二影像M2和深度資料D的其中一者。
本揭露在互動影像處理系統1的前端部分,使用影像處理電路13來根據原始影像M1、M2以運算深度資料D,如此可減輕數位訊號處理器的深度運算負擔。
第3圖為本揭露實施例一互動影像處理系統3的功能方塊圖。互動影像處理系統3包含一第一攝影機11、一第二攝影機12、一影像處理電路13、一視覺處理單元14、一影像訊號處理器15、一中央處理單元16、一記憶體37和一數位訊號處理器38。
互動影像處理系統1和3的架構相似,故相同元件以相同符號表示。數位訊號處理器38耦接於影像訊號處理器15和中央處理單元16之間,用來根據一第四程式碼和深度資料D,將影像M1、M2轉換為一立體圖MS。舉例來說,立體圖MS包含三維度的物件,其投影在二維度的平面。
記憶體37耦接於數位訊號處理器38,用來儲存第四程式碼,用以指示數位訊號處理器38進行立體圖轉換。
在互動影像處理系統3的架構下,本揭露首先使用影像處理電路13來運算對應於兩個原始影像M1、M2的深度資料D,再使用數位訊號處理器38來進行立體圖轉換,以減輕中央處理單元16的運算負擔(請注意,在第1圖的實施例中,中央處理單元16用來進行立體圖轉換)。因此,中央處理單元16的軟體運算功耗可進一步降低,以達到省電的目的。
第4圖為本揭露實施例一互動影像處理系統4的功能方塊圖。互動影像處理系統4包含一第一攝影機41、一第二攝影機42、一第三攝影機40、一影像處理電路43、一視覺處理單元44、一影像訊號處理器45、一中央處理單元16、一記憶體47、一數位訊號處理器48和一紅外線光源49。
於本實施例中,第一攝影機41和第二攝影機42是紅外線攝影機,用來產生紅外線影像IR1、IR2(其中紅外線影像IR1、IR2的影像畫素是根據灰階值來定義),第三攝影機40是一紅綠藍(red-green-blue,RGB)攝影機,用來產生一彩色影像RGB(其中彩色影像RGB的影像畫素是根據紅色、綠色和藍色畫素來定義)。紅外線光源49用來提供一環境光源給第一攝影機41和第二攝影機42,以利於紅外線影像轉換。
影像處理電路43耦接於第一攝影機41、第二攝影機42和第三攝影機40,用來根據紅外線影像IR1、IR2和彩色影像RGB,運算一深度資料D。影像處理電路43另將紅外線影像IR1、IR2結合為一相同資料封包(亦稱作,紅外線邊對邊(Infrared side by side)),或者將彩色影像RGB和深度資料D結合為一相同資料封包,或者將紅外線影像IR1、IR2中的一者和深度資料D結合為一相同資料封包。
視覺處理單元44耦接於影像處理電路43,用來對紅外線影像IR1、IR2進行立體匹配,以產生一灰階匹配影像。視覺處理單元44還用來對灰階匹配影像和彩色影像RGB進行彩色匹配,以產生一彩色匹配影像RGBIR(其中彩色匹配影像RGBIR的影像畫素是根據紅色、綠色、藍色和紅外線/灰階畫素來定義)。
影像訊號處理器45耦接於視覺處理單元44,用來對彩色立體圖RGBIR進行自動白平衡和曝光值校正,以改善圖像品質,如此有利於後續物件辨識和深度運算的品質。
數位訊號處理器48耦接於影像訊號處理器45,用來根據深度資料D,將彩色匹配影像RGBIR轉換為一立體圖MS。
中央處理單元16耦接於數位訊號處理器48和記憶體47,用來基於立體圖MS和對應的深度資料D,產生一運算結果,其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。
記憶體47耦接於視覺處理單元44、影像訊號處理器45、數位訊號處理器48和中央處理單元16,用來儲存用於指示對應處理單元進行相關軟體運算的程式碼。
在互動影像處理系統4的架構下,本揭露使用兩個紅外線攝影機、紅外線光源和一個紅-綠-藍攝影機,以提供穩定的深度品質。因此,中央處理單元16處理相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升來提供較佳的使用者體驗。
第5圖為本揭露實施例一互動影像處理系統5的功能方塊圖。互動影像處理系統5包含一第一攝影機51、一第二攝影機52、一影像處理電路53、一視覺處理單元54、一影像訊號處理器55、一中央處理單元16、一記憶體57、一數位訊號處理器58和一隨機點紅外線光源(random dot infrared light source)59。
於本實施例中,第一攝影機51和第二攝影機52是彩色紅外線攝影機,用來產生彩色紅外線影像RGBIR1、RGBIR2(其中彩色紅外線影像RGBIR1、RGBIR2的影像畫素是根據紅色畫素、綠色畫素、藍色畫素和灰階值來定義),隨機點紅外線光源59用來提供一環境光源給第一攝影機51和第二攝影機52,以利於紅外線影像轉換。
影像處理電路53耦接於第一攝影機51和第二攝影機52,用來根據彩色紅外線影像RGBIR1、RGBIR2,運算一深度資料D。
影像處理電路53另從彩色紅外線影像RGBIR1、RGBIR2擷取紅色畫素、綠色畫素、藍色畫素來將彩色紅外線影像RGBIR1、RGBIR2的彩色成分結合為一相同資料封包,如此亦稱作「紅綠藍邊對邊」並可用於擴增實境透視應用。
影像處理電路53另從彩色紅外線影像RGBIR1、RGBIR2擷取灰階值來將彩色紅外線影像RGBIR1、RGBIR2的紅外線成分結合為一相同資料封包,如此亦稱作「紅外線邊對邊」並可用於同時定位和映射、手勢移動偵測與追蹤和六維自由度應用。
影像處理電路53另將深度資料D和彩色紅外線影像RGBIR1的彩色成分結合為一相同資料封包,如此可在第一攝影機51的視角基準下,進行空間掃描和物件掃描的應用。於一實施例中,影像處理電路53另結合深度資料D和彩色紅外線影像RGBIR2的彩色成分結合為一相同資料封包,如此可在第二攝影機52的視角基準下,進行空間掃描和物件掃描的應用。
視覺處理單元54耦接於影像處理電路53,用來基於第一攝影機51、第二攝影機52的視角,分別對彩色紅外線影像RGBIR1、RGBIR2進行立體匹配,以分別產生彩色匹配影像RGBD1、RGBD2。
影像訊號處理器55耦接於視覺處理單元54,用來對彩色立體圖RGBD1、RGBD2進行自動白平衡和曝光值校正,以改善圖像品質,如此有利於後續物件辨識和深度運算的品質。
數位訊號處理器58耦接於影像訊號處理器55,用來根據深度資料D,將彩色匹配影像RGBD1或RGBD2轉換為一立體圖MS。
中央處理單元16耦接於數位訊號處理器58和記憶體57,用來基於立體圖MS和對應的深度資料D,產生一運算結果,其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。
記憶體57耦接於視覺處理單元54、影像訊號處理器55、數位訊號處理器58和中央處理單元56,用來儲存用於指示對應處理單元進行相關軟體運算的程式碼。
在互動影像處理系統5的架構下,由於彩色紅外線攝影機可產生彩色深度影像,本揭露可提供較高的幀率(Frame rate)。此外,本揭露也可提供穩定的深度品質,且深度品質將不會受其他光源的影響。因此,中央處理單元16處理相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升來提供較佳的使用者體驗。
互動影像處理系統1的操作可歸納為一互動影像處理流程6,如第6圖所示,互動影像處理流程6包含以下步驟。
步驟61:使用一影像處理電路,根據一第一影像產生的一第一攝影機和一第二影像產生的一第二攝影機,計算一深度資料。
步驟62:用影像處理電路,將第一影像和第二影像結合為標示有一第一通道的一第一標籤的一第一資料封包,以及將深度資料和一虛設資料結合為標示有一第二通道的一第二標籤的一第二資料封包。
步驟63:使用一視覺處理單元,根據深度資料,對第一影像和第二影像進行立體匹配。
步驟64:使用一影像訊號處理器,對對第一影像和第二影像進行自動白平衡和曝光值校正。
步驟65:使用一中央處理單元,基於第一影像、第二影像和深度資料,產生一運算結果,其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。
關於互動影像處理流程6的詳細操作可參考第1圖的相關描述,於此不贅述。
互動影像處理系統3的操作可歸納為一互動影像處理流程7,如第7圖所示,互動影像處理流程7包含以下步驟。
步驟71:使用一影像處理電路,根據一第一影像產生的一第一攝影機和一第二影像產生的一第二攝影機,計算一深度資料。
步驟72:用影像處理電路,將第一影像和第二影像結合為標示有一第一通道的一第一標籤的一第一資料封包,以及將深度資料和一虛設資料結合為標示有一第二通道的一第二標籤的一第二資料封包。
步驟73:使用一視覺處理單元,根據深度資料,對第一影像和第二影像進行立體匹配。
步驟74:使用一影像訊號處理器,對對第一影像和第二影像進行自動白平衡和曝光值校正。
步驟75:使用一數位訊號處理器,將第一影像和第二影像轉換為一立體圖。
步驟76:使用一中央處理單元,基於第一影像、第二影像和深度資料,產生一運算結果,其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。
關於互動影像處理流程7的詳細操作可參考第3圖的相關描述,於此不贅述。
請注意,在習知技術中,不同的應用(包含手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射等應用)只能操作於特定硬體架構和平台,因為這些應用在不同的硬體架構和平台是互不相容的。相較之下,本揭露提供的互動影像處理系統的架構可適用於上述所有的應用,只要執行儲存於互動影像處理系統的中央處理單元或記憶體的程式碼及演算法即可。
此外,中央處理單元可從記憶體存取兩個或兩個以上的程式碼,以進行兩個或兩個以上的應用(包含手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射等應用),以實現多任務功能。
綜上所述,本揭露根據第一紅外線攝影機和第二紅外線攝影機產生的紅外線影像來計算深度資料,以改善深度品質。因此,中央處理單元進行相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升,以提供較佳的使用者體驗。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
1、3、4、5:互動影像處理系統
11、41、51:第一攝影機
12、42、52:第二攝影機
13、43、53:影像處理電路
14、44、54:視覺處理單元
15、45、55:影像訊號處理器
16、56:中央處理單元
17、37、47、57:記憶體
21:影像分析電路
22:物件擷取電路
23:物件深度運算電路
24:重疊物件深度運算電路
25:多工器
38、48、58:數位訊號處理器
40:第三攝影機
49:紅外線光源
59:隨機點紅外線光源
6、7:互動影像處理流程
61~65、71~76:步驟
D:深度資料
IR1、IR2:紅外線影像
M1:第一影像
M2:第二影像
MS:立體圖
RGB:彩色影像
RGBIR、RGBD1、RGBD2:彩色匹配影像
RGBIR1、RGBIR2:彩色紅外線影像
DY:虛設資料
第1圖為本揭露實施例一互動影像處理系統的功能方塊圖。
第2圖為本揭露實施例一影像處理電路的功能方塊圖。
第3圖為本揭露實施例一互動影像處理系統的功能方塊圖。
第4圖為本揭露實施例一互動影像處理系統的功能方塊圖。
第5圖為本揭露實施例一互動影像處理系統的功能方塊圖。
第6圖為本揭露實施例一互動影像處理流程的流程圖。
第7圖為本揭露實施例一互動影像處理流程的流程圖。
4:互動影像處理系統
40:第三攝影機
41:第一攝影機
42:第二攝影機
43:影像處理電路
44:視覺處理單元
45:影像訊號處理器
16:中央處理單元
47:記憶體
48:數位訊號處理器
49:紅外線光源
D:深度資料
IR1、IR2:紅外線影像
RGB:彩色影像
RGBIR:彩色匹配影像
MS:立體圖
Claims (15)
- 一種互動影像處理系統,包含: 一第一攝影機,用來產生一第一紅外線影像; 一第二攝影機,用來產生一第二紅外線影像; 一第三攝影機,用來產生一彩色影像; 一影像處理電路,耦接於該第一攝影機、該第二攝影機和該第三攝影機,用來根據該第一紅外線影像、該第二紅外線影像和該彩色影像,計算一深度資料;以及 一視覺處理單元,耦接於該影像處理電路,用來對該第一紅外線影像和該第二紅外線影像進行立體匹配,以產生一灰階匹配影像;以及對該灰階匹配影像和該彩色影像進行彩色匹配,以產生一彩色匹配影像。
- 如請求項1所述的互動影像處理系統,其中該影像處理電路將該彩色影像和該深度資料結合為一第一資料封包。
- 如請求項1所述的互動影像處理系統,其中該影像處理電路將該第一紅外線影像和該深度資料結合為一第二資料封包。
- 如請求項1所述的互動影像處理系統,其中該影像處理電路將該第一紅外線影像和該第二紅外線影像結合為一第三資料封包。
- 如請求項1所述的互動影像處理系統,另包含: 一影像訊號處理器,耦接於該視覺處理單元,用來對該第一紅外線影像和該第二紅外線影像進行自動白平衡和曝光值校正; 一中央處理單元,耦接於該影像訊號處理器,用來產生一運算結果;以及 一數位訊號處理器,耦接於該影像訊號處理器和該中央處理單元之間,用來根據該深度資料,將該第一紅外線影像和該第二紅外線影像轉換為一立體圖。
- 如請求項5所述的互動影像處理系統,其中該中央處理單元用來同時執行用於手勢偵測與追蹤、空間掃描、物件掃描、擴增實境透視以及同時定位和映射的多個程式碼中的至少一者。
- 如請求項1所述的互動影像處理系統,另包含: 一紅外線光源,用來提供一環境光源給該第一攝影機和該第二攝影機,以用於紅外線影像轉換機。
- 一種互動影像處理系統,包含: 一第一攝影機用來產生一第一彩色紅外線影像; 一第二攝影機用來產生一第二彩色紅外線影像; 一影像處理電路,耦接於該第一攝影機和該第二攝影機,用來根據該第一彩色紅外線影像和該第二彩色紅外線影像,計算一深度資料;以及 一視覺處理單元,耦接於該影像處理電路,用來對該第一彩色紅外線影像和該第二彩色紅外線影像進行立體匹配,以產生一彩色匹配影像。
- 如請求項8所述的互動影像處理系統,其中該影像處理電路擷取該第一彩色紅外線影像和該第二彩色紅外線影像的紅色像素、綠色色像素和藍色像素,以將該第一彩色紅外線影像和該第二彩色紅外線影像的彩色成分結合為一第一資料封包,且該第一資料封包是用於擴增實境透視應用。
- 如請求項8所述的互動影像處理系統,其中該影像處理電路擷取該第一彩色紅外線影像和該第二彩色紅外線影像的紅外線成分以產生一第二資料封包,且該第二資料封包是用於同時定位和映射、手勢移動偵測與追蹤和六維自由度應用。
- 如請求項8所述的互動影像處理系統,其中該影像處理電路將該深度資料和該第一彩色紅外線影像的彩色成分結合為一第三資料封包,且該第三資料封包是在該第一攝影機的視角基準下,進行空間掃描和物件掃描的應用。
- 如請求項8所述的互動影像處理系統,其中該影像處理電路將該深度資料和該第二彩色紅外線影像的彩色成分結合為一第四資料封包,且該第四資料封包是在該第二攝影機的視角基準下,進行空間掃描和物件掃描的應用。
- 如請求項8所述的互動影像處理系統,另包含: 一影像訊號處理器,耦接於該視覺處理單元,用來對該第一彩色紅外線影像和該第二彩色紅外線影像進行自動白平衡和曝光值校正; 一中央處理單元,耦接於該影像訊號處理器,用來產生一運算結果;以及 一數位訊號處理器,耦接於該影像訊號處理器和該中央處理單元之間,用來根據該深度資料,將該第一彩色紅外線影像和該第二彩色紅外線影像轉換為一立體圖。
- 如請求項13所述的互動影像處理系統,其中該中央處理單元用來同時執行用於手勢偵測與追蹤、空間掃描、物件掃描、擴增實境透視以及同時定位和映射的多個程式碼中的至少一者。
- 如請求項8所述的互動影像處理系統,另包含: 一隨機點紅外線光源,用來提供一環境光源給該第一攝影機和該第二攝影機,以用於紅外線影像轉換。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108114611A TWI696981B (zh) | 2019-04-26 | 2019-04-26 | 使用紅外線攝影機的互動影像處理系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108114611A TWI696981B (zh) | 2019-04-26 | 2019-04-26 | 使用紅外線攝影機的互動影像處理系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI696981B true TWI696981B (zh) | 2020-06-21 |
| TW202040514A TW202040514A (zh) | 2020-11-01 |
Family
ID=72176473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108114611A TWI696981B (zh) | 2019-04-26 | 2019-04-26 | 使用紅外線攝影機的互動影像處理系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI696981B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI879635B (zh) * | 2024-07-15 | 2025-04-01 | 所羅門股份有限公司 | 六維物件姿態追蹤方法及裝置、電腦可讀取的記錄媒體 |
| TWI880972B (zh) * | 2020-09-15 | 2025-04-21 | 未來市股份有限公司 | 用於處理與深度相關的影像的系統和方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120127284A1 (en) * | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Head-mounted display device which provides surround video |
| US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| US20160232710A1 (en) * | 2015-02-10 | 2016-08-11 | Dreamworks Animation Llc | Generation of three-dimensional imagery from a two-dimensional image using a depth map |
| TW201709724A (zh) * | 2015-07-13 | 2017-03-01 | 皇家飛利浦有限公司 | 用於判定一圖像之一深度圖的方法與設備 |
| CN106797460A (zh) * | 2014-09-22 | 2017-05-31 | 三星电子株式会社 | 三维视频的重建 |
| TW201816548A (zh) * | 2016-10-26 | 2018-05-01 | 宏達國際電子股份有限公司 | 虛擬實境交互方法、裝置與系統 |
| TW201832547A (zh) * | 2017-02-23 | 2018-09-01 | 鈺立微電子股份有限公司 | 產生全景深度影像的影像裝置、相關方法及相關影像裝置 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
-
2019
- 2019-04-26 TW TW108114611A patent/TWI696981B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| US20120127284A1 (en) * | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Head-mounted display device which provides surround video |
| CN106797460A (zh) * | 2014-09-22 | 2017-05-31 | 三星电子株式会社 | 三维视频的重建 |
| US20160232710A1 (en) * | 2015-02-10 | 2016-08-11 | Dreamworks Animation Llc | Generation of three-dimensional imagery from a two-dimensional image using a depth map |
| TW201709724A (zh) * | 2015-07-13 | 2017-03-01 | 皇家飛利浦有限公司 | 用於判定一圖像之一深度圖的方法與設備 |
| TW201816548A (zh) * | 2016-10-26 | 2018-05-01 | 宏達國際電子股份有限公司 | 虛擬實境交互方法、裝置與系統 |
| TW201832547A (zh) * | 2017-02-23 | 2018-09-01 | 鈺立微電子股份有限公司 | 產生全景深度影像的影像裝置、相關方法及相關影像裝置 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI880972B (zh) * | 2020-09-15 | 2025-04-21 | 未來市股份有限公司 | 用於處理與深度相關的影像的系統和方法 |
| TWI879635B (zh) * | 2024-07-15 | 2025-04-01 | 所羅門股份有限公司 | 六維物件姿態追蹤方法及裝置、電腦可讀取的記錄媒體 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202040514A (zh) | 2020-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
| JP7499280B2 (ja) | 人物の単眼深度推定のための方法およびシステム | |
| US9965861B2 (en) | Method and system of feature matching for multiple images | |
| US11445163B2 (en) | Target image acquisition system and method | |
| CN109660782B (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
| KR20210053202A (ko) | 컴퓨터 비전 훈련 시스템 및 그 방법 | |
| TWI637288B (zh) | 用於眼球視線校正的影像處理方法及其系統 | |
| TWI798459B (zh) | 提取特徵之方法、圖像匹配之方法以及處理圖像之方法 | |
| CN107230199A (zh) | 图像处理方法、装置和增强现实设备 | |
| CN108846807A (zh) | 光效处理方法、装置、终端及计算机可读存储介质 | |
| TWI696149B (zh) | 使用深度引擎的互動影像處理方法、裝置及媒體 | |
| US11039118B2 (en) | Interactive image processing system using infrared cameras | |
| TWI696981B (zh) | 使用紅外線攝影機的互動影像處理系統 | |
| US10885671B2 (en) | Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor | |
| CN111836030A (zh) | 使用深度引擎的互动影像处理方法、装置及媒体 | |
| US20200410705A1 (en) | System and method for processing image related to depth | |
| TWI696980B (zh) | 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體 | |
| WO2025174476A1 (en) | System integrated machine-learning co-processing | |
| EP3731175A1 (en) | Interactive image processing system using infrared cameras | |
| EP3731184A1 (en) | Method, apparatus, medium for interactive image processing using depth engine and digital signal processor | |
| EP3731183A1 (en) | Method, apparatus, medium for interactive image processing using depth engine | |
| TWI880972B (zh) | 用於處理與深度相關的影像的系統和方法 | |
| TWI885862B (zh) | 穿透式顯示方法和穿透式顯示系統 | |
| EP3972244A1 (en) | System and method for processing image related to depth | |
| JP2022050854A (ja) | 奥行きに関連する画像を処理するシステム及び方法 |