[go: up one dir, main page]

TWI660328B - 利用非平面投影影像產生深度圖的影像裝置及其相關方法 - Google Patents

利用非平面投影影像產生深度圖的影像裝置及其相關方法 Download PDF

Info

Publication number
TWI660328B
TWI660328B TW107106253A TW107106253A TWI660328B TW I660328 B TWI660328 B TW I660328B TW 107106253 A TW107106253 A TW 107106253A TW 107106253 A TW107106253 A TW 107106253A TW I660328 B TWI660328 B TW I660328B
Authority
TW
Taiwan
Prior art keywords
image
degree
depth map
images
planar projection
Prior art date
Application number
TW107106253A
Other languages
English (en)
Other versions
TW201832184A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201832184A publication Critical patent/TW201832184A/zh
Application granted granted Critical
Publication of TWI660328B publication Critical patent/TWI660328B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

利用非平面投影影像產生深度圖的影像裝置包含二影像擷取器和一深度引擎。該二影像擷取器是用以產生二非平面投影影像，其中當該二非平面投影影像的每一非平面投影影像被投影至對應該每一非平面投影影像的影像擷取器所對應的一空間時，該每一非平面投影影像在該空間中的每一列像素對應的投影位置和該二影像擷取器的光學中心共一平面。該深度引擎是用以根據該二非平面投影影像，產生一深度圖。

Description

利用非平面投影影像產生深度圖的影像裝置及其相關方法
本發明是有關於一種產生深度圖的影像裝置及其相關方法，尤指一種利用非平面投影影像產生深度圖的影像裝置及其相關方法。
當現有技術產生一360度環景深度圖時，現有技術是利用用以形成一360度環景影像的複數個平面影像產生對應複數個視角的深度圖，其中該複數個視角的總和不小於360度，然後再利用對應該複數個視角的深度圖產生該360度環景深度圖。同理，當現有技術產生該360度環景深度圖的部分時，現有技術是利用用以形成該360度環景深度圖的部分的至少一平面影像產生對應至少一視角的深度圖，然後再利用對應該至少一視角的深度圖產生該360度環景深度圖的部分。因此，因為現有技術是利用該複數個平面影像產生該360度環景深度圖(或利用該至少一平面影像產生該360度環景深度圖的部分)，所以現有技術會需要較多的影像擷取器，導致現有技術所需的成本與生產難度較高、產品體積較大。因此，如何降低產生該360度環景深度圖(或產生該360度環景深度圖的部分)所需影像擷取器數量已成為一項重要課題。
本發明的一實施例提供一種利用非平面投影影像產生深度圖的影像裝置。該影像裝置包含二影像擷取器和一深度引擎。該二影像擷取器是用以產生二非平面投影影像，其中當該二非平面投影影像的每一非平面投影影像被投影至對應該每一非平面投影影像的影像擷取器所對應的一空間時，該每一非平面投影影像在該空間中的每一列像素對應的投影位置和該二影像擷取器的光學中心共一平面；該深度引擎是用以根據該二非平面投影影像，產生一深度圖。
本發明的另一實施例提供一種利用非平面投影影像產生深度圖的方法。該方法包含利用二影像擷取組產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含至少二影像擷取器，當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組中相對應的影像擷取器的光學中心共一平面，且該空間是對應該相對應的影像擷取器中的一影像擷取器；利用一深度引擎根據該二360度影像，產生一深度圖。
本發明的另一實施例提供一種利用非平面投影影像產生深度圖的影像裝置。該影像裝置包含二影像擷取組和一深度引擎。該二影像擷取組是用以產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含至少二影像擷取器，以及當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組中相對應的影像擷取器的光學中心共一平面，且該空間是對應該相對應的影像擷取器中的一影像擷取器。該深度引擎是用以根據該二360度影像，產 生一深度圖。
本發明的另一實施例提供一種利用非平面投影影像產生深度圖的影像裝置。該影像裝置包含二影像擷取組和一深度引擎。該二影像擷取組是用以產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含一影像擷取器和一反射鏡，該影像擷取器面向該反射鏡並通過該反射鏡的反射光產生該二360度影像中的一對應的360度影像，該對應的360度影像對應該反射鏡所具有的至少一虛擬光學中心，以及當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組的至少二虛擬光學中心中的二對應的虛擬光學中心共一平面，且該空間是對應該二對應的虛擬光學中心中的一虛擬光學中心。該深度引擎是用以根據該二360度影像，產生一深度圖。
本發明提供一種利用非平面投影影像產生深度圖的影像裝置及其相關方法。該影像裝置及該方法是根據至少二非平面投影影像產生一360度環景(或球面，或柱面)深度圖，或產生該360度環景(或球面，或柱面)深度圖的部分，所以相較於現有技術，本發明需要較少的影像擷取器，也就是說本發明可利用簡單的架構產生該360度環景(或球面，或柱面)深度圖，或產生該360度環景(或球面，或柱面)深度圖的部分。
100、700、800、1200、1400‧‧‧影像裝置
102、104、7021、7022、7041、7042、1202 、1204、14021、14041‧‧‧影像擷取器
106‧‧‧深度引擎
108、110‧‧‧支撐單元
14022、14042‧‧‧反射鏡
702、704、1402、1404‧‧‧影像擷取組
B、X1、X2、Z、CZ‧‧‧距離
BL‧‧‧基線
C1、C2、C3、C4‧‧‧光學中心
DP‧‧‧深度圖
dθ‧‧‧角度差
f‧‧‧虛擬焦距
FPI‧‧‧第一360度環景影像
HDP1‧‧‧第一半深度圖
HDP2‧‧‧第二半深度圖
L1、L2、LP1、LF2‧‧‧直線
LH1、LH2‧‧‧左半球影像
NPI1、NPI2‧‧‧非平面投影影像
NPI1P‧‧‧預定點
PP1、PP2‧‧‧投影平面
PP1P、PP2P、NPI2P、P‧‧‧點
P1、P2‧‧‧像素
RH1、RH2‧‧‧右半球影像
SPI‧‧‧第二360度環景影像
θ1、θ2‧‧‧夾角
202-208、602-608‧‧‧步驟
第1圖是本發明的第一實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置的示意圖。
第2圖是本發明的第二實施例所公開的一種利用非平面投影影像產生深度圖的方法的流程圖。
第3圖是說明當非平面投影影像被投影至該第一空間時，非平面投影影像對應影像擷取器的光學中心的示意圖。
第4圖是說明深度引擎可直接根據非平面投影影像產生深度圖的示意圖。
第5圖是說明深度引擎根據非平面投影影像產生深度圖的示意圖。
第6圖是本發明的第三實施例所公開的一種利用非平面投影影像產生深度圖的方法的流程圖。
第7圖是本發明的第四實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置的示意圖。
第8圖是本發明的第五實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置的示意圖。
第9圖是說明當二影像擷取組所對應的光學中心所在的直線不平行的示意圖。
第10圖是說明深度引擎可旋轉該第一360度影像的左半球影像、該第一360度影像的右半球影像、該第二360度影像的左半球影像和該第二360度影像的右半球影像以使對應該第一360度影像的左半球影像和該第二360度影像的左半球影像的直線平行於對應該第一360度影像的右半球影像和該第二360度影像的右半球影像的直線的示意圖。
第11圖是說明深度引擎是根據該第一360度影像的左半球影像和該第二360度影像的左半球影像，產生第一半深度圖，以及根據該第一360度影像的右半球影像和該第二360度影像的右半球影像，產生一第二半深度圖的示意圖。
第12圖是本發明的第五實施例所公開的一種利用非平面投影影像產生深度圖的 影像裝置的示意圖。
第13圖是說明非平面投影影像是360度柱面影像的示意圖。
第14圖是本發明的第六實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置的示意圖。
請參照第1、2圖，第1圖是本發明的第一實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置100的示意圖，以及第2圖是本發明的第二實施例所公開的一種利用非平面投影影像產生深度圖的方法的流程圖，其中影像裝置100包含二影像擷取器102、104和一深度引擎106。如第1圖所示，影像擷取器102、104是魚眼影像擷取器且都具有360度視角，其中深度引擎106電連接於影像擷取器102、104，以及影像擷取器102、104之間具有一支撐單元108。另外，本發明領域具有熟知技藝者應當熟知影像擷取器102、104的每一影像擷取器至少包含鏡頭和影像感測器(例如電荷耦合元件(Charge-coupled Device,CCD)影像感測器或互補式金氧半影像感測器(Complementary Metal-Oxide-Semiconductor Image Sensor))。在本發明的另一實施例中，該每一影像擷取器更包含一影像處理器(image signal processor,ISP)以及重映射處理器(remapping processor)。另外，在本發明的另一實施例中，該每一影像擷取器所包含的影像處理器以及重映射處理器是整合至深度引擎106。另外，第2圖的方法是利用第1圖的影像裝置100說明，詳細步驟如下：步驟202：開始；步驟204：利用影像擷取器102、104產生二非平面投影影像NPI1、NPI2； 步驟206：利用深度引擎106根據二非平面投影影像NPI1、NPI2，產生一深度圖DP；步驟208：結束。
在步驟204中，影像擷取器102、104可分別產生非平面投影影像NPI1、NPI2，其中在本發明的一實施例中，非平面投影影像NPI1、NPI2是360度球面影像，也就是說非平面投影影像NPI1、NPI2是非針孔投影的投影影像。另外，在本發明的另一實施例中，非平面投影影像NPI1、NPI2也可以是360度球面影像的局部影像。因此，當非平面投影影像NPI1、NPI2的每一非平面投影影像被投影至對應該每一非平面投影影像的影像擷取器所對應的一空間時，非平面投影影像NPI1、NPI2有一特性就是該每一非平面投影影像在該空間中的每一列像素對應的投影位置和二影像擷取器102、104的光學中心C1、C2共一平面。請參照第3圖，第3圖是說明非平面投影影像NPI1被投影至影像擷取器102對應的一第一空間，以及非平面投影影像NPI2被投影至影像擷取器104對應的該第一空間的示意圖。如第3圖所示，當非平面投影影像NPI1和非平面投影影像NPI2被投影至該第一空間時，非平面投影影像NPI1對應影像擷取器102的光學中心C1以及非平面投影影像NPI2對應影像擷取器104的光學中心C2，其中光學中心C1和光學中心C2位於影像擷取器102和影像擷取器104之間的基線BL，且光學中心C1和光學中心C2之間的距離為B。如第3圖所示，非平面投影影像NPI1在該第一空間中的每一列像素(例如像素P1、P2)對應的投影位置和光學中心C1和光學中心C2共一平面，也就是說如第3圖所示，像素P1、P2和光學中心C1所構成的一第一三角形和像素P1、P2和光學中心C2所構成的一第二三角形共一平面。因為非平面投影影像NPI1、NPI2具有該特性，所以深度引擎106可直接根據非平面投影影像NPI1、NPI2，產生一深度圖DP(如第4圖所示)，也就是說在深度引擎106在非平 面投影影像NPI1、NPI2執行一相對應特徵點搜尋以產生深度圖DP之前，深度引擎106可僅對非平面投影影像NPI1、NPI2執行水平方向匹配搜尋，減少影像裝置100的運算負擔。另外，深度圖DP是一360度球面深度圖。
請參照第5圖，第5圖是說明深度引擎106根據非平面投影影像NPI1、NPI2產生深度圖DP的示意圖，其中第5圖將解釋如何通過非平面投影影像NPI1、NPI2(360度球面影像)計算對應一物件的距離。如第5圖所示，給定非平面投影影像NPI1上的一預定點NPI1P，其中預定點NPI1P和光學中心C1之間的直線L1和光學中心C1與一投影平面PP1之間的虛擬焦距f所在的直線LF1之間具有一夾角θ1。因為虛擬焦距f和夾角θ1為已知，所以可通過式(1)決定投影平面PP1上的一點PP1P和直線LF1之間的距離X1，其中點PP1P是由預定點NPI1P被投影至投影平面PP1所產生：X1=f * tan(θ1) (1)
另外，因為非平面投影影像NPI1、NPI2之間的第一視差為已知，且非平面投影影像NPI1、NPI2的投影方式已知，所以深度引擎106可將該第一視差轉換為一角度差dθ，且一夾角θ2可由式(2)決定，其中夾角θ2是對應於光學中心C2與一投影平面PP2之間的虛擬焦距f所在的直線LF2：θ2=θ1-dθ (2)
如第5圖所示，因為夾角θ2可由式(2)決定，所以非平面投影影像NPI2 上的一點NPI2P也可被夾角θ2決定。因此，投影平面PP2上的一點PP2P和直線LF2之間的距離X2可通過式(3)決定，其中點PP2P是由預定點NPI2P被投影至投影平面PP2所產生：X2=f * tan(θ2)=f * tan(θ1-dθ) (3)
因為由式(3)可知，距離X2和該第一視差有關，所以可通過式(4)決定投影平面PP1和投影平面PP2之間的第二視差DS：DS=X1-X2=f * tan(θ1)-f * tan(θ1-dθ) (4)
另外，如第5圖所示，預定點NPI1P和光學中心C1之間的直線L1和點NPI2P和光學中心C2之間的直線L2可決定深度圖DP上一點P，也就是說點P為直線L1和直線L2的交點。因為第二視差DS和虛擬焦距f已知，所以點P和基線BL之間的距離Z可由式(5)決定，其中B為光學中心C1和光學中心C2之間的距離：Z=(f * B)/(X1-X2) (5)
將式(4)代入式(5)產生式(6)：Z=B/(tan(θ1)-tan(θ1-dθ)) (6)
因此，可通過式(7)決定點P和光學中心C1之間的距離CZ： CZ=Z/cos(θ1)=B/cos(θ1)*((tan(θ1)-tan(θ1-dθ))) (7)
同理，點P和光學中心C2之間的距離也可通過上述方程式求得，在此不再贅述。另外，深度圖DP的其他點和光學中心C1之間的距離也可通過上述方程式求得，在此也不再贅述。
另外，在本發明的另一實施例中，非平面投影影像NPI1、NPI2是360度環景影像(球面影像)，其中當非平面投影影像NPI1、NPI2是360度環景影像(球面影像)時，深度圖DP也可通過上述方式求得，且深度圖DP是一360度環景深度圖。
另外，在本發明的另一實施例中，非平面投影影像NPI1、NPI2是360度環景影像(柱面影像)，其中當非平面投影影像NPI1、NPI2是360度環景影像(柱面影像)時，深度圖DP可通過現有技術所提供的平面投影求距離的方式求得，且深度圖DP是一360度環景深度圖。
另外，在本發明的另一實施例中，非平面投影影像NPI1、NPI2是非360度的非平面投影影像。例如非平面投影影像NPI1、NPI2可為60度的非平面投影影像。因此，如果非平面投影影像NPI1、NPI2為60度的非平面投影影像，且非平面投影影像NPI1、NPI2之間有一重疊視角(例如非平面投影影像NPI1、NPI2之間有一30度的重疊視角)時，則深度引擎106所產生的深度圖DP是對應該30度的重疊視角。
另外，請參照第6、7圖，第6圖是本發明的第三實施例所公開的一種利用非平面投影影像產生深度圖的方法的流程圖，以及第7圖是本發明的第四實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置700的示意圖，其中影像裝置700包含二影像擷取組702、704和深度引擎106，深度引擎106電連接影像擷取組702、704，影像擷取組702包含影像擷取器7021、7022，影像擷取組704包含影像擷取器7041、7042，影像擷取器7021、7022、7041、7042是魚眼影像擷取器，以及影像擷取器7021、7022、7041、7042是設置在支撐單元108上。另外，影像擷取器7021、7022、7041、7042中的每一影像擷取器的視角不小於180度。另外，第6圖的方法是利用第7圖的影像裝置700說明，詳細步驟如下：步驟602：開始；步驟604：利用影像擷取組702、704分別產生一第一360度影像和一第二360度影像；步驟606：利用深度引擎106根據該第一360度影像和該第二360度影像，產生一深度圖；步驟608：結束。
在步驟604中，如第7圖所示，影像擷取組702所產生的第一360度影像很明顯地對應影像擷取器7021、7022的光學中心C1、C2。同理，影像擷取組704所產生的第二360度影像也很明顯地對應影像擷取器7041、7042的光學中心C3、C4。當該第一360度影像中對應一第一預定視角的第一局部影像被投影至一第二空間時，該第一局部影像在該第二空間中的每一列像素對應的投影位置和影像擷取組702、704中相對應的影像擷取器的光學中心共一平面，且該第二空間是對應該相對應的影像擷取器中的一影像擷取器。例如當該第一預定視角為 180度且該第二空間是對應影像擷取器7021時，該第一360度影像的第一局部影像為該第一360度影像的一左半球影像，且該第一360度影像的第一局部影像在該第二空間中的每一列像素對應的投影位置和影像擷取器7021的光學中心C1、影像擷取器7041的光學中心C3共一平面，其中影像擷取器7021和影像擷取器7041是影像擷取組702、704中相對應的影像擷取器。
同理，當該第一360度影像中對應一第二預定視角(180度)的第二局部影像被投影至影像擷取組702中對應該第一360度影像的第二局部影像的影像擷取器(例如影像擷取器7022)所對應的該第二空間時，該第一360度影像的第二局部影像為該第一360度影像的一右半球影像；當該第二360度影像中對應一第三預定視角(180度)的第一局部影像被投影至影像擷取組704中對應該第二360度影像的第一局部影像的影像擷取器(例如影像擷取器7041)所對應的該第二空間時，該第二360度影像的第一局部影像為該第二360度影像的一左半球影像；當該第二360度影像中對應一第四預定視角(180度)的第二局部影像被投影至影像擷取組704中對應該第二360度影像的第二局部影像的影像擷取器(例如影像擷取器7042)所對應的該第二空間時，該第二360度影像的第二局部影像為該第二360度影像的一右半球影像。
因此，在步驟606中，如第7圖所示，當光學中心C1、C3所在的直線L1和光學中心C2、C4所在的直線L2平行時，深度引擎106可直接合併該第一360度影像的第一局部影像(該第一360度影像的左半球影像)和該第一360度影像的第二局部影像(該第一360度影像的右半球影像)為一第一球面影像，以及直接合併該第二360度影像的第一局部影像(該第二360度影像的左半球影像)和該第二 360度影像的第二局部影像(該第二360度影像的右半球影像)為一第二球面影像，也就是說當光學中心C1、C3所在的直線L1和光學中心C2、C4所在的直線L2平行時，深度引擎106可以不考慮光學中心C1、C2之間的距離(也就是支撐單元108的厚度)。因此，深度引擎106可根據上述產生深度圖DP的方式，利用該第一球面影像和該第二球面影像產生該深度圖。
另外，請參照第8圖，第8圖是本發明的第五實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置800的示意圖。如第8圖所示，影像裝置800和影像裝置700的差別在於影像裝置800中的影像擷取器7021、7041是設置在支撐單元108上以及影像裝置800中的影像擷取器7022、7042是設置在一支撐單元110上。另外，因為光學中心C1、C3所在的直線L1和光學中心C2、C4所在的直線L2平行，深度引擎106可利用影像擷取器7021、7022所產生的第一360度影像和影像擷取器7041、7042所產生的第二360度影像通過上述產生深度圖DP的方式產生一深度圖。另外，影像裝置800的其餘操作原理都和影像裝置700相同，在此不再贅述。
另外，在步驟606中，如果光學中心C1、C3所在的直線L1和光學中心C2、C4所在的直線L2不平行時(如第9圖所示)，則在本發明的一實施例中，深度引擎106可先旋轉該第一360度影像的左半球影像(LH1)、該第二360度影像的左半球影像(LH2)使左半球影像(LH1)和左半球影像(LH2)的每一列像素對應的投影位置和光學中心C1和光學中心C3共一平面、旋轉該第一360度影像的右半球影像(RH1)和該第二360度影像的右半球影像(RH2)使右半球影像(RH1)和右半球影像(RH2)的每一列像素對應的投影位置和光學中心C2和光學中心C4共一平面，並使直線L1平行於直線L2(如第10圖所示)，其中當直線L1平行於直線L2時， 該第一360度影像的左半球影像(LH1)和該第一360度影像的右半球影像(RH1)可視為對應一第一等效虛擬光學中心(其中該第一等效虛擬光學中心是直線L1與直線L2之間的空間壓縮合併後，由光學中心C1與光學中心C2合併所產生)，以及該第二360度影像的左半球影像(LH2)和該第二360度影像的右半球影像(RH2)也可視為對應一第二等效虛擬光學中心(其中該第二等效虛擬光學中心是直線L1與直線L2之間空間壓縮合併後，由光學中心C3與光學中心C4合併所產生)，如此可使用第6圖的步驟產生360度深度圖。如第10圖所示，雖然直線L1平行於直線L2，但因為該第一360度影像的左半球影像(LH1)、該第一360度影像的右半球影像(RH1)、該第二360度影像的左半球影像(LH2)和該第二360度影像的右半球影像(RH2)之間的接縫可能不平滑，所以深度引擎106是根據旋轉後的該第一360度影像的左半球影像(LH1)和該第二360度影像的左半球影像(LH2)，產生一第一半深度圖HDP1，以及根據該旋轉後的第一360度影像的右半球影像(RH1)和該第二360度影像的右半球影像(RH2)，產生一第二半深度圖HDP2(如第11圖所示)。另外，因為深度引擎106將拼接第一半深度圖HDP1和第二半深度圖HDP2以產生該深度圖，所以第一半深度圖HDP1和第二半深度圖HDP2所對應的視角會大於180度。另外，因為直線L1和直線L2的方向已被深度引擎106固定(如第10圖所示)，所以深度引擎106在拼接第一半深度圖HDP1和第二半深度圖HDP2時，深度引擎106可使第一半深度圖HDP1沿直線L1旋轉和使第二半深度圖HDP2沿直線L2旋轉以使第一半深度圖HDP1和第二半深度圖HDP2拼接的接縫趨於平整。另外，在本發明的另一實施例中，深度引擎106可使第一半深度圖HDP1和第二半深度圖HDP2任意地旋轉以使第一半深度圖HDP1和第二半深度圖HDP2拼接的接縫趨於平整。
另外，本發明並不受限於影像裝置700包含二影像擷取組702、704， 也就是說影像裝置700可包含至少二影像擷取組。當影像裝置700包含超過二以上的影像擷取組時，影像裝置700仍然可通過上述方式產生該深度圖。
另外，請參照第12圖，第12圖是本發明的第五實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置1200的示意圖，其中影像裝置1200包含二影像擷取器1202、1204和深度引擎106，深度引擎106電連接影像擷取器1202、1204，影像擷取器1202、1204是魚眼影像擷取器，以及影像擷取器1202、1204是設置在支撐單元108上。另外，影像擷取器1202、1204中的每一影像擷取器的視角不小於180度。如第12圖所示，影像裝置1200和影像裝置700的差別在於影像裝置1200中的影像擷取器1202、1204是設置在支撐單元108上的同一邊，所以影像裝置1200的深度引擎106所產生的深度圖是影像裝置700的深度引擎106所產生的深度圖的部分。例如影像裝置1200的深度引擎106所產生的深度圖是影像裝置700的深度引擎106所產生的深度圖的右半球部分。另外，影像裝置1200的其餘操作原理都和影像裝置700相同，在此不再贅述。
另外，深度引擎106可以是一具有上述深度引擎106的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)，或是一具有上述深度引擎106的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)或是一具有上述深度引擎106的功能的軟體模組。
另外，在本發明的另一實施例中，非平面投影影像NPI1、NPI2是360度柱面影像(如第13圖所示)，其中非平面投影影像NPI1對應光學中心C1以及非平面投影影像NPI2對應光學中心C2。另外，當非平面投影影像NPI1、NPI2是360度柱面影像時，一360度柱面深度圖也可通過如第2圖、第6圖所示的方式或現有 技術所提供的平面投影求距離的方式求得，在此不再贅述。
另外，請參照第14圖，第14圖是本發明的第六實施例所公開的一種利用非平面投影影像產生深度圖的影像裝置1400的示意圖，其中影像裝置1400包含二影像擷取組1402、1404和深度引擎106，影像擷取組1402包含一影像擷取器14021和一反射鏡14022，影像擷取組1404包含一影像擷取器14041和一反射鏡14042。另外，為了簡化第14圖，第14圖未繪示深度引擎106和影像擷取器14021、14041之間的連線。如第14圖所示，影像擷取器14021可通過反射鏡14022擷取一第一360度環景影像FPI，以及影像擷取器14041可通過反射鏡14042擷取一第二360度環景影像SPI(其中第14圖僅繪示出第一360度環景影像FPI和第二360度環景影像SPI的橫截面)，其中第一360度環景影像FPI對應反射鏡14022所具有的至少一虛擬光學中心，以及第二360度環景影像SPI對應反射鏡14042所具有的至少一虛擬光學中心。例如，以第一360度環景影像FPI為例，當第一360度環景影像FPI中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置會和影像擷取組1402、1404所具有的至少二虛擬光學中心中的二對應的虛擬光學中心共一平面，且該空間是對應該二對應的虛擬光學中心中的一虛擬光學中心。因此，影像裝置1400內的深度引擎106即可利用第一360度環景影像FPI和第二360度環景影像SPI的重疊區域通過如第2圖、第6圖所示的方式產生一360度環景深度圖。另外，由第一360度環景影像FPI決定反射鏡14022所具有的至少一虛擬光學中心以及由第二360度環景影像SPI決定反射鏡14042所具有的至少一虛擬光學中心是本發明領域的技術人員所熟知，所以在此不再贅述。
綜上所述，因為本發明所提供的利用非平面投影影像產生深度圖的影像裝置及其相關方法是根據至少二非平面投影影像產生一360度環景(或球面，或柱面)深度圖，或產生該360度環景(或球面，或柱面)深度圖的部分，所以相較於現有技術，本發明需要較少的影像擷取器，也就是說本發明可利用較簡單的架構產生該360度環景(或球面，或柱面)深度圖，或產生該360度環景(或球面，或柱面)深度圖的部分。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (14)

  1. 一種利用非平面投影影像產生深度圖的影像裝置，包含：二影像擷取器，用以產生二非平面投影影像，其中當該二非平面投影影像的每一非平面投影影像被投影至對應該每一非平面投影影像的影像擷取器所對應的一空間時，該每一非平面投影影像在該空間中的每一列像素對應的投影位置和該二影像擷取器的光學中心所形成的一直線共一平面；及一深度引擎，用以根據該二非平面投影影像，產生一深度圖。
  2. 如請求項1所述的影像裝置，其中該每一非平面投影影像是一360度環景影像，以及該深度圖是一360度環景深度圖。
  3. 如請求項2所述的影像裝置，其中該每一非平面投影影像是一360度球面影像或一360度柱面影像，且該深度圖是一360度球面深度圖或一360度柱面深度圖。
  4. 如請求項1所述的影像裝置，其中該每一非平面投影影像是一非360度影像，且該深度圖對應該二非平面投影影像之間的重疊視角。
  5. 如請求項1所述的影像裝置，其中該每一非平面投影影像是一非針孔投影的投影影像。
  6. 一種利用非平面投影影像產生深度圖的方法，包含：利用二影像擷取組產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含至少二影像擷取器，當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組中相對應的影像擷取器的光學中心所形成的一直線共一平面，且該空間是對應該相對應的影像擷取器中的一影像擷取器；及利用一深度引擎根據該二360度影像，產生一深度圖。
  7. 如請求項6所述的方法，其中該二360度影像是360度環景影像，以及該深度圖是一360度環景深度圖。
  8. 如請求項6所述的方法，其中該二360度影像是360度球面影像或360度柱面影像，且該深度圖是一360度球面深度圖或一360度柱面深度圖。
  9. 一種利用非平面投影影像產生深度圖的影像裝置，包含：二影像擷取組，用以產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含至少二影像擷取器，以及當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組中相對應的影像擷取器的光學中心所形成的一直線共一平面，且該空間是對應該相對應的影像擷取器中的一影像擷取器；及一深度引擎，用以根據該二360度影像，產生一深度圖。
  10. 如請求項9所述的影像裝置，另包含：一支撐單元，其中該二影像擷取組設置於該支撐單元上。
  11. 如請求項9所述的影像裝置，另包含：至少二支撐單元，其中該二影像擷取組設置於該至少二支撐單元上。
  12. 一種利用非平面投影影像產生深度圖的影像裝置，包含：二影像擷取組，用以產生二360度影像，其中該二影像擷取組中的每一影像擷取組包含一影像擷取器和一反射鏡，該影像擷取器面向該反射鏡並通過該反射鏡的反射光產生該二360度影像中的一對應的360度影像，該對應的360度影像對應該反射鏡所具有的至少一虛擬光學中心，以及當該二360度影像的一360度影像中對應一預定視角的局部影像被投影至一空間時，該局部影像在該空間中的每一列像素對應的投影位置和該二影像擷取組的至少二虛擬光學中心中的二對應的虛擬光學中心所形成的一直線共一平面，且該空間是對應該二對應的虛擬光學中心中的一虛擬光學中心；及一深度引擎，用以根據該二360度影像，產生一深度圖。
  13. 如請求項12所述的影像裝置，其中該二360度影像是360度環景影像。
  14. 如請求項12所述的影像裝置，其中該深度圖為一360度環景深度圖。
TW107106253A 2017-02-23 2018-02-23 利用非平面投影影像產生深度圖的影像裝置及其相關方法 TWI660328B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762462363P 2017-02-23 2017-02-23
US62/462,363 2017-02-23
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31

Publications (2)

Publication Number Publication Date
TW201832184A TW201832184A (zh) 2018-09-01
TWI660328B true TWI660328B (zh) 2019-05-21

Family

ID=63264028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107106253A TWI660328B (zh) 2017-02-23 2018-02-23 利用非平面投影影像產生深度圖的影像裝置及其相關方法

Country Status (3)

Country Link
US (2) US10885650B2 (zh)
CN (1) CN108470360B (zh)
TW (1) TWI660328B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762353B (zh) * 2021-06-09 2022-04-21 信驊科技股份有限公司 以縮放調整及接縫拼接來產生投影影像的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885650B2 (en) * 2017-02-23 2021-01-05 Eys3D Microelectronics, Co. Image device utilizing non-planar projection images to generate a depth map and related method thereof
US11348265B1 (en) * 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
TWI756956B (zh) 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置
TWI792381B (zh) * 2021-03-25 2023-02-11 鈺立微電子股份有限公司 影像擷取裝置及其深度資訊計算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200528945A (en) * 2004-01-20 2005-09-01 Chuang-Jan Chang 3D visual measurement system using fish-eye cameras as visual detectors and method for constructing same
CN102005039A (zh) * 2010-08-24 2011-04-06 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
US20150054913A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Image stitching
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP6217227B2 (ja) * 2013-08-12 2017-10-25 株式会社リコー 校正装置、方法及びプログラム
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
EP3219100A1 (en) * 2014-09-15 2017-09-20 Dmitry Gorilovsky A system comprising multiple digital cameras viewing a large scene
CN106709865B (zh) * 2015-11-13 2020-02-18 杭州海康威视数字技术股份有限公司 一种深度图像合成方法及装置
US10127685B2 (en) * 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
EP3394633B1 (en) * 2015-12-21 2023-07-05 Koninklijke KPN N.V. Device in a car for communicating with at least one neighboring device, corresponding method and computer program product.
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
CN107301005B (zh) * 2016-04-14 2020-04-07 中强光电股份有限公司 决定触控位置的方法及使用所述方法的触控投影系统
US10885650B2 (en) * 2017-02-23 2021-01-05 Eys3D Microelectronics, Co. Image device utilizing non-planar projection images to generate a depth map and related method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200528945A (en) * 2004-01-20 2005-09-01 Chuang-Jan Chang 3D visual measurement system using fish-eye cameras as visual detectors and method for constructing same
CN102005039A (zh) * 2010-08-24 2011-04-06 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
US20150054913A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Image stitching
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762353B (zh) * 2021-06-09 2022-04-21 信驊科技股份有限公司 以縮放調整及接縫拼接來產生投影影像的方法

Also Published As

Publication number Publication date
US20180286067A1 (en) 2018-10-04
CN108470360B (zh) 2022-06-17
US10885650B2 (en) 2021-01-05
CN108470360A (zh) 2018-08-31
TW201832184A (zh) 2018-09-01
US11508082B2 (en) 2022-11-22
US20210082138A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
TWI660328B (zh) 利用非平面投影影像產生深度圖的影像裝置及其相關方法
TWI679875B (zh) 用於產生360度深度圖的影像裝置
US10666860B2 (en) Image processor, image processing method and program, and imaging system
JPH08125835A (ja) 全方位撮影装置及び全方位画像合成装置
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
CN207766424U (zh) 一种拍摄装置及成像设备
JP6846651B2 (ja) 画像処理装置及び撮像装置
CN101546111A (zh) 单相机双目宽基线折反射全景立体成像方法及其装置
KR20200124271A (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
WO2017174029A1 (zh) 一种具有三维图像拍摄功能的手机
TW201906398A (zh) 影像擷取裝置及其影像拼接方法
JP5234490B2 (ja) ステレオ画像形成装置
JP4436488B2 (ja) ステレオ映像取得装置
TW201342303A (zh) 三維空間圖像的獲取系統及方法
JP2005275789A (ja) 三次元構造抽出方法
JP2013074473A (ja) パノラマ撮像装置
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP3714200B2 (ja) 撮像装置
JP3872250B2 (ja) 広画角撮像装置
US20220308355A1 (en) Striped mirror image splitter
JP2001258050A (ja) 立体映像撮像装置
KR20150037975A (ko) 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
Zhu et al. Expanding a fish-eye panoramic image through perspective transformation