TWI798999B - 用於建置三維影像的裝置與方法 - Google Patents
用於建置三維影像的裝置與方法 Download PDFInfo
- Publication number
- TWI798999B TWI798999B TW110146850A TW110146850A TWI798999B TW I798999 B TWI798999 B TW I798999B TW 110146850 A TW110146850 A TW 110146850A TW 110146850 A TW110146850 A TW 110146850A TW I798999 B TWI798999 B TW I798999B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- image capture
- image
- point cloud
- model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Abstract
一種用於建置三維影像的裝置與方法。所述裝置包括多個影像擷取裝置以及處理裝置。每個影像擷取裝置用以產生影像擷取訊號。影像擷取訊號包括圖像資料、深度資料以及時間戳記。在一影像擷取階段,處理裝置針對每個時間戳記而依據影像擷取訊號中的圖像資料以及深度資料以計算點雲資料以及貼圖資料,依據所述點雲資料以及所述貼圖資料建立三維模型。處理裝置將所述時間戳記與所述時間戳記對應的所述三維模型統整為影像串流。
Description
本發明是有關於一種用於建置三維影像的裝置與方法。
在擴增實境(Augmented Reality;AR)技術或是虛擬實境(Virtual Reality;VR)技術的應用情境中,需要播放3D影像或是動態的3D模型來讓使用者更為融入虛擬場景或方便於與虛擬物件的互動。
然則,若要產生動態的3D影像(或稱為是「動畫」),便需要先行建置靜態的3D模型,從而耗時耗力。並且,若要使靜態的3D模型轉換成動態的3D模型,需要另外建立3D模型的骨架以及表面的材質貼圖,因而需要大量的設計人力,方能續行後續的動畫製作。因此,若能夠降低3D模型在建立時的難度,讓使用者更易於建置3D模型,則可更為方便地研發AR技術或VR技術等應用。
本發明提供一種用於建置三維影像的裝置與方法,藉由實景影像產生具備3D模型的3D影像,除了可以記錄3D模型在時間軸上的動作外,還可節省3D模型的建置時間。
本發明提出一種用於建置三維影像的裝置。所述裝置包括多個影像擷取裝置以及處理裝置。每個影像擷取裝置用以產生影像擷取訊號。所述影像擷取訊號包括圖像資料、深度資料以及時間戳記,且每個影像擷取裝置所產生的影像擷取訊號藉由所述時間戳記而位於相同時間線上。處理裝置用以接收所述影像擷取裝置各自的所述影像擷取訊號。在影像擷取階段,影像擷取裝置擷取所述影像擷取訊號,處理裝置自所述影像擷取裝置接收所述影像擷取訊號。針對每個時間戳記,處理裝置依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算點雲資料以及貼圖資料,依據所述點雲資料以及所述貼圖資料建立三維模型。處理裝置將所述時間戳記與所述時間戳記對應的所述三維模型統整為影像串流。
本發明提出一種用於建置三維影像的方法。所述方法包括:配置多個影像擷取裝置,每個影像擷取裝置用以產生影像擷取訊號,所述影像擷取訊號包括圖像資料、深度資料以及時間戳記,且每個影像擷取裝置所產生的所述影像擷取訊號藉由所述時間戳記而位於相同時間線上;在影像擷取階段,獲得來自所述多個影像擷取裝置所擷取的所述影像擷取訊號;針對每個時間戳記,依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算一點雲資料以及一貼圖資料,依據所述點雲資料以及所述貼圖資料建立三維模型;以及,將所述時間戳記與所述時間戳記對應的所述三維模型統整為影像串流。
基於上述,本發明提供一種用於建置三維影像的裝置與方法,藉由多個影像擷取裝置擷取實景影像,並依據實景影像來估算點雲、貼圖等向量資料,藉此建立時間軸上每個時間點的3D模型,產生具備3D模型的3D影像。因此,本發明藉由擷取實景影像而直接建立3D模型以及具備前述3D模型的3D影像,可記錄3D模型在時間軸上的動作,並節省3D模型的建置時間。再者,由於3D影像具備3D模型的動態動作,更有利於估算或產生與前述3D模型對應的骨架資訊,藉以達到利用實景影像即可實現3D模型與其骨架的建立,降低3D模型的建置成本。
圖1是依照本發明一實施例的一種用於建置三維影像的裝置100的方塊圖。用於建置三維影像的裝置100主要包括多個影像擷取裝置110-1~110-n(n為大於等於2個的正整數)以及處理裝置120。每個影像擷取裝置110-1~110-n用以產生影像擷取訊號S110-1~S110-n。本實施例的影像擷取裝置110-n是以深度攝影機作為實施例。處理裝置120可以是用於影像擷取裝置110-1~110-n各自的影像擷取訊號S110-1~S110-n,並處理這些影像擷取訊號S110-1~S110-n以產生具備時間軸的3D模型的影像串流190。
影像擷取裝置110-1~110-n包括時間同步模組112-1~112-n以及收發模組114-1~114-n。時間同步模組112-1~112-n用於產生時間戳記。處理裝置120可藉由影像擷取訊號S110-1~S110-n中的時間戳記得知每個圖像資料以及深度資料是何時擷取的。收發模組114-1~114-n可透過網路、匯流排或相應的通訊協定以將影像擷取裝置110-1~110-n所產生的影像擷取訊號S110-1~S110-n發送至處理裝置120。
處理裝置120可以是作為控制前述影像擷取裝置110-1~110-n的主控台,或是位於雲端的伺服器。本實施例的處理裝置120可以包括通訊模組122、影像處理模組124以及中央處理器126。通訊模組122與前述收發模組114-1~114-n通訊且接收前述影像擷取訊號S110-1~S110-n。影像處理模組124與中央處理器126可處理前述影像擷取訊號S110-1~S110-n。應用本實施例者可依其需求實現前述模組(例如且不限於,時間同步模組112-1~112-n、收發模組114-1~114-n、通訊模組122以及影像處理模組124),例如,以中央處理器、圖形處理器、積體電路、韌體設備…等方式實現前述模組的對應功能。
本實施例的影像擷取訊號S110-1~S110-n除了包括圖像資料以及前述圖像資料對應的深度資料以外,還包括時間戳記。時間戳記用於記錄擷取此圖像資料的時間點資訊。每一影像擷取裝置110-1~110-n所產生的影像擷取訊號S110-1~S110-n藉由對應的時間戳記而位於相同時間線上。
詳細來說,影像擷取裝置110-1~110-n包括時間同步模組112-1~112-n以及收發模組114-1~114-n。時間同步模組112-1~112-n用於產生時間戳記。處理裝置120可藉由影像擷取訊號S110-1~S110-n中的時間戳記得知每個圖像資料以及深度資料是何時擷取的。例如,在初始化階段,處理裝置120控制每一影像擷取裝置110-1~110-n以將每一時間同步模組112-1~112-n同步化,也就是,使這些時間同步模組112-1~112-n所產生的時間戳記相互同步。本實施例的收發模組114-1~114-n可透過網路、匯流排或相應的通訊協定以將影像擷取裝置110-1~110-n所產生的影像擷取訊號S110-1~S110-n發送至處理裝置120。
圖2是依照本發明一實施例的一種用於建置三維影像的方法200的流程圖。圖2所述方法200採用圖1中所述用於建置三維影像的裝置100來實現,且方法200中各步驟係由處理裝置120控制與執行。方法200包括步驟S205至S230。於步驟S205中,在圖1之用於建置三維影像的裝置100的初始化階段,圖1之處理裝置120獲得影像擷取裝置110-1~110-n各自的影像擷取訊號S110-1~S110-n,以獲得初始化背景資料以及其對應的初始化深度資料。藉此,於後續的影像擷取階段(步驟S210至步驟S230),圖1中之處理裝置120可在物件並未放入前先行擷取場景中的背景資訊。本實施例的初始化階段還可包括:圖1中之時間同步模組112-1~112-n的同步化、影像擷取裝置110-1~110-n的相對位置校正…等操作,將於後續實施例詳細說明。
在影像擷取階段的步驟S210,影像擷取裝置110-1~110-n擷取影像擷取訊號S110-1~S110-n,且圖1中之處理裝置120自影像擷取裝置110-1~110-n接收影像擷取訊號S110-1~S110-n。
在所述影像擷取階段的步驟S220,針對每個時間戳記,圖1中之處理裝置120依據影像擷取訊號S110-1~S110-n中與前述時間戳記對應的圖像資料以及深度資料以計算點雲資料以及貼圖資料,並且依據前述點雲資料以及前述貼圖資料建立3D模型。在所述影像擷取階段的步驟S230,圖1中之處理裝置120將這些時間戳記與這些時間戳記對應的3D模型統整為影像串流。因此,本發明實施例便藉由實景影像產生具備3D模型的3D影像,除了可以記錄3D模型在時間軸上的動作外,還可節省3D模型的建置時間。
圖3是依照本發明一實施例中配置多個影像擷取裝置110-1~110-8的示意圖。圖4與圖5用以呈現圖3中影像擷取裝置所擷取的圖像資料的示意圖。本實施例的影像擷取裝置分別從多個角度(如,圖3中(A)部分所示的影像擷取裝置110-1~110-5)和/或多個高度(如,圖3中(B)部分所示的影像擷取裝置110-6~110-8)對物件310(以人體呈現)擷取影像,從而產生圖1之影像擷取訊號S110-1~S110-8。圖3中(A)部分所呈現的XY平面用以呈現影像擷取裝置110-1~110-5分別從不同角度對物件310擷取影像。圖3中(B)部分所呈現的XZ平面用以呈現影像擷取裝置110-6~110-8分別從不同高度對物件310擷取影像,例如,影像擷取裝置110-6的高度高於影像擷取裝置110-7,且影像擷取裝置110-7的高度高於影像擷取裝置110-8。應用本實施例者可依其需求以相對於物件310而言不同的角度、或以不同的高度、或以不同角度以及高度設置多個影像擷取裝置110-n。若同時以不同角度以及高度設置多個影像擷取裝置(例如,同時實現圖3中(A)部分與(B)部分),則會於每個高度設置5個影像擷取裝置且以總共15個影像擷取裝置來實現本發明實施例。
詳細來說,圖3中(A)部分所示的影像擷取裝置110-1~110-5是以五等分的方式均設置在物件310(人體)的四周,相鄰兩個影像擷取裝置之間的角度差為72度角。因此,相鄰的影像擷取裝置在同一時間點所擷取影像擷取訊號的圖像資料會有些許重疊或相近似。圖4是圖3中(A)部分相鄰影像擷取裝置110-1、110-2、110-5中圖像資料430-1、430-2、430-5以及將這些圖像資料拼接的示意圖。在此以影像擷取裝置110-1為例來說明,如何利用與影像擷取裝置110-1相鄰的影像擷取裝置110-2、110-5來產生屬於影像擷取裝置110-1對應視角所擷取到的視角圖像資料。影像擷取裝置110-1所擷取的圖像資料430-1有部分區域與影像擷取裝置110-2、110-5所擷取的圖像資料部分重疊。因此,本實施例圖1中之處理裝置120的影像處理模組124可利用影像縫合演算法將這些具有部分重疊的圖像資料430-1、430-2、430-5以水平銜接的方式整合成屬於影像擷取裝置110-1對應視角所擷取到的視角圖像資料440-1。前述「影像縫合演算法」可將對應不同視角的多張影像進行裁切、拼貼,以縫合成廣視野影像。請參閱公告第TWI672670號專利說明書。圖4的實施例雖然呈現出影像擷取裝置110-1、110-2、110-5所擷取的圖像資料可以整合為影像擷取裝置110-1對應視角的視角圖像資料440-1,然而,應用本實施例亦可知悉,當其他影像擷取裝置(如,影像擷取裝置110-3、110-4)所擷取的圖像資料亦可以與影像擷取裝置110-1所擷取的圖像資料有相互重疊處,本實施例圖1中之處理裝置120亦可使用前述影像縫合演算法將影像擷取裝置110-1~110-5所擷取的圖像資料整合為影像擷取裝置110-1對應視角的視角圖像資料。並且,應用本實施例者藉由前述操作而分別產生每一影像擷取裝置110-1~110-5對應視角的視角圖像資料。
另一方面,圖3中(B)部分所示的影像擷取裝置110-6~110-8是以不同高度的方式設置在物件310附近,因此,相鄰高度的影像擷取裝置在同一時間點所擷取影像擷取訊號的圖像資料會有些許重疊或相近似。如圖5是圖3中(A)部分相鄰影像擷取裝置110-6、110-7、110-8中圖像資料530-6、530-7、530-8以及將這些圖像資料拼接的示意圖。因為影像擷取裝置110-6~110-8在XY平面上皆為相同視角,因此影像擷取裝置110-7所擷取的圖像資料530-7有部分區域與影像擷取裝置110-6、110-8所擷取的圖像資料530-6、530-8部分重疊。因此,本實施例圖1之處理裝置120的影像處理模組124可利用影像縫合演算法(請參閱公告第TWI672670號)將這些具有部分重疊的530-6、530-7、530-8以垂直銜接的方式整合成屬於影像擷取裝置110-6~110-8對應視角所擷取到的視角圖像資料540-2。
本實施例圖1中之處理裝置120可藉由圖3影像擷取裝置110-1~110-8各自擷取的圖像資料與對應的深度資料來產生3D模型所需、部分的點雲資料,並且將這些點雲資料銜接成完整的3D模型,此3D模型用以描述物件310。或是,圖1中之處理裝置120可藉由影像擷取裝置110-1~110-5的對應視角的視角圖像資料(如,圖4視角圖像資料440-1、圖5視角圖像資料540-2)與對應的深度資料來產生3D模型所需、部分的點雲資料,並且將這些點雲資料銜接成完整且用以描述物件310的3D模型。或是,圖1中之處理裝置120可藉由影像擷取裝置110-1~110-5的對應視角的視角圖像資料整合成相對於物件310的環景影像,藉由此環景影像與對應的深度資料來產生3D模型所需的點雲資料,從而產生完整且用以描述物件310的3D模型。換句話說,應用本實施例者可依其需求以依據影像擷取裝置110-1~110-8各自擷取的圖像資料以及深度資料來計算或估算描述物件310的部分點雲資料,從而整合前述點雲資料來產生物件310的3D模型。並且,除了計算點雲資料以外,本實施例圖1中之處理裝置120還會藉由依據影像擷取裝置110-1~110-8各自擷取的圖像資料以及深度資料來計算物件310上的紋理材質,從而產生相應的貼圖資料,藉以建立同時具有點雲資料以及貼圖資料的3D模型。
圖6是依照本發明一實施例圖3中(A)部分對於影像擷取裝置110-1~110-5的位置配置來呈現物件610的3D模型的示意圖。圖6中(A)部分相近似於圖3中(A)部分影像擷取裝置110-1~110-5的相對位置配置。圖6中(B)部分與(C)部分分別呈現影像擷取裝置110-1、110-5所擷取到的圖像資料630-1、630-5作為舉例。圖6中(D)部分呈現經圖1之處理裝置120計算後獲得點雲資料與貼圖資料並加以整合後的3D模型。
圖7是依照本發明一實施例的點雲資料與人體骨架進行匹配的示意圖。當圖1中之處理裝置120計算得到由點雲資料710整合成的3D模型後,便可依據點雲資料710透過產生與3D模型對應的骨架資料720。前述骨架匹配技術請參閱論文『Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 43, Issue: 1, Jan. 1 2021』。所述骨架匹配技術是可利用點雲資料710判讀出人體骨架的位置,且由於本發明圖1之處理裝置120產生具時間軸的三維模型的影像串流,此3D影像串流具備3D模型的動態動作,更有利於估算或產生與前述3D模型對應的骨架資訊720,且此骨架資訊720將具備較佳的準確性。
圖8是依照本發明一實施例的用於建置三維影像的方法800的細節流程圖。圖8方法800由圖1之用於建置三維影像的裝置100實現,且圖8方法800係為圖2之用於建置三維影像的方法200中各步驟的細節。請參照圖8與圖2,圖8步驟S201為初始化階段,包括步驟S802、S804以及S806。
於步驟S802,圖1之處理裝置120透過影像擷取裝置110-1~110-n各自擷取的影像擷取訊號S110-1~S110-n來判斷與校正這些影像擷取裝置110-1~110-n的相對位置。在一實施例中,可用手動方式或以電子驅動方式調整這些影像擷取裝置110-1~110-n的相對位置。前述電子驅動方式例如是在這些影像擷取裝置110-1~110-n裝設可調式基座,使圖1之處理裝置120自動地調整影像擷取裝置110-1~110-n的視角與相對位置。
於步驟S804,類似圖2之步驟S205,圖1之處理裝置120透過獲得影像擷取裝置110-1~110-n各自的影像擷取訊號S110-1~S110-n,以獲得初始化背景資料以及其對應的初始化深度資料。藉此,於後續的影像擷取階段,圖之1處理裝置120可在物件並未放入前先行擷取場景中的背景資訊。
於步驟S806,圖1之處理裝置120控制影像擷取裝置110-1~110-n以將時間同步模組112-1~112-n同步化,使這些時間同步模組112-n所產生的時間戳記相互同步。時間同步模組112-1~112-n用以產生影像擷取訊號S112-1~S112-n中的時間戳記。
在完成初始化階段(步驟S201)後,圖1之用於建置三維影像的裝置100便可進入影像擷取階段。於步驟S210,在影像擷取階段,圖1之處理裝置120控制影像擷取裝置110-1~110-n擷取影像擷取訊號S110-1~S110-n,並自影像擷取裝置110-1~110-n接收影像擷取訊號S110-1~S110-n。圖2之步驟S220中則具備多個步驟S822、S824、S826以及S828。於步驟S822中,在處理裝置120中拼接影像擷取訊號S110-1~S110-n中的圖像資料以產生對應於影像擷取裝置110-1~110-n的視角的視角圖像資料,如前述圖3至圖5的相應實施例所述。於步驟S824中,在處理裝置120中銜接前述視角圖像資料成為環景影像,如前述圖3至圖5的相應實施例所述。於步驟S826中,圖1之處理裝置120依據前述視角圖像資料以及環景影像而產生點雲資料以及貼圖資料。本實施例可先行依據視角圖像資料以及環景影像而產生點雲資料,然後再利用前述點雲資料產生前述貼圖資料。本實施例可依據視角圖像資料進行三角網格化而產生前述貼圖資料。於步驟S828中,圖1之處理裝置120依據點雲資料以及貼圖資訊建立每個時間戳記對應的三維模型。
在完成步驟S220後,表示每個時間戳記對應的三維模型皆已建立,因此於步驟S230中,圖1之處理裝置120將這些時間戳記與這些時間戳記對應的3D模型統整為影像串流。再者,於步驟S840中,圖1之處理裝置120還可依據前述點雲資料以及貼圖資料產生與3D模型對應的骨架資料,如前述圖7實施例所述。
因此,本發明實施例會在第一個時間戳記產生與此時間戳記相對應的3D模型,在下一個時間戳記(也就是,在時間軸上相對於第一個時間戳記的下一個時間戳記,可能為第一個時間戳記經過特定時間區段(如,一秒或零點幾秒後的時間點)後的下個時間戳記)產生與此時間戳記相對應的3D模型,從而逐步完成每個時間戳記對應的3D模型。因此,在每個時間戳記上皆會產生對應的3D模型,從而在一時間軸中具備動態的3D模型,實現錄製3D動畫的功能。
綜上所述,本發明實施例藉由多個影像擷取裝置擷取實景影像,並依據實景影像來估算點雲、貼圖等向量資料,藉此建立時間軸上每個時間點的3D模型,產生具備3D模型的3D影像。因此,本發明藉由擷取實景影像而直接建立3D模型以及具備前述3D模型的3D影像,可記錄3D模型在時間軸上的動作,並節省3D模型的建置時間。再者,由於3D影像具備3D模型的動態動作,更有利於估算或產生與前述3D模型對應的骨架資訊,藉以達到利用實景影像即可實現3D模型與其骨架的建立,降低3D模型的建置成本。
100:用於建置三維影像的裝置
110-1~110-n:影像擷取裝置
112-1~112-n:時間同步模組
114-1~114-n:收發模組
120:處理裝置
122:通訊模組
124:影像處理模組
126:中央處理器
190:影像串流
310:物件
430-1~430-5、530-6~530-8、630-1、630-5:圖像資料
440-1、540-2:視角圖像資料
710:點雲資料
720:骨架資料
S110-1~S110-n:影像擷取訊號
S201~S230、S802~S840:用於建置三維影像的方法的各步驟
圖1是依照本發明一實施例的一種用於建置三維影像的裝置\的方塊圖。
圖2是依照本發明一實施例的一種用於建置三維影像的方法的流程圖。
圖3是依照本發明一實施例中配置多個影像擷取裝置的示意圖。
圖4與圖5用以呈現圖3中影像擷取裝置所擷取的圖像資料的示意圖。
圖6是依照本發明一實施例圖3中(A)部分對於影像擷取裝置的位置配置來呈現物件的3D模型的示意圖。
圖7是依照本發明一實施例的點雲資料與人體骨架進行匹配的示意圖。
圖8是依照本發明一實施例的用於建置三維影像的方法的細節流程圖。
S205~S230:用於建置三維影像的方法的各步驟
Claims (14)
- 一種用於建置三維影像的裝置,包括:多個影像擷取裝置,每個影像擷取裝置用以產生一影像擷取訊號,所述影像擷取訊號包括一圖像資料、一深度資料以及一時間戳記,且每個影像擷取裝置所產生的所述影像擷取訊號藉由所述時間戳記而位於相同時間線上;以及一處理裝置,用以接收所述影像擷取裝置各自的所述影像擷取訊號,其中,在一影像擷取階段,所述多個影像擷取裝置擷取所述影像擷取訊號,所述處理裝置自所述影像擷取裝置接收所述影像擷取訊號,針對每個時間戳記,所述處理裝置依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算一點雲資料以及一貼圖資料,依據所述點雲資料以及所述貼圖資料建立一三維模型,所述處理裝置將所述時間戳記與所述時間戳記對應的所述三維模型統整為一影像串流,其中在一初始化階段,所述處理裝置透過所述影像擷取裝置各自擷取的所述影像擷取訊號來判斷與校正所述多個影像擷取裝置的相對位置。
- 如請求項1所述的裝置,其中所述處理裝置依據所述點雲資料以及所述貼圖資料產生與所述三維模型對應的一骨架資料,且所述影像串流中的所述三維模型具備對應的所述骨架資料。
- 如請求項1所述的裝置,其中所述影像擷取裝置分別從多個角度或多個高度對一物件擷取影像,從而產生所述影像擷取訊號。
- 如請求項1所述的裝置,其中每個影像擷取裝置包括一時間同步模組與一收發模組,所述處理裝置在所述初始化階段,控制該些影像擷取裝置以將所述時間同步模組同步化,其中所述時間同步模組用以產生所述時間戳記,所述收發模組透過一網路、一匯流排或一通訊協定以將所述影像擷取裝置所產生的所述影像擷取訊號發送至所述處理裝置,以及,所述處理裝置包括一通訊模組、一影像處理模組以及一中央處理器,所述通訊模組與所述收發模組通訊且接收所述影像擷取訊號,所述影像處理模組與所述中央處理器處理所述影像擷取訊號。
- 如請求項1所述的裝置,其中在所述初始化階段,所述處理裝置獲得所述影像擷取裝置各自的所述影像擷取訊號,以獲得一初始化背景資料以及其對應的一初始化深度資料,其中所述處理裝置基於所述初始化背景資料以及其對應的所述初始化深度資料來計算所述圖像資料以及所述深度資料所對應的所述點雲資料以及所述貼圖資料。
- 如請求項1所述的裝置,其中所述處理裝置拼接所述影像擷取訊號中的所述圖像資料以產生對應於所述影像擷取裝置的視角的一視角圖像資料,銜接所述視角圖像資料成為一環景影像,依據所述視角圖像資料以及所述環景影像而產生所述點雲資料以及所述貼圖 資料,從而依據所述點雲資料以及所述貼圖資訊建立每個時間戳記對應的所述三維模型。
- 如請求項1所述的裝置,其中所述處理裝置拼接所述影像擷取訊號中的所述圖像資料以產生對應於所述影像擷取訊號的視角的一視角圖像資料,依據所述視角圖像資料進行三角網格化以產生貼圖資料,依據所述影像擷取訊號中的所述圖像資料產生所述點雲資料,且依據所述點雲資料建立每個時間戳記對應的所述三維模型。
- 一種用於建置三維影像的方法,包括:配置多個影像擷取裝置,每個影像擷取裝置用以產生一影像擷取訊號,所述影像擷取訊號包括一圖像資料、一深度資料以及一時間戳記,且每個影像擷取裝置所產生的所述影像擷取訊號藉由所述時間戳記而位於相同時間線上;在一影像擷取階段,獲得來自所述多個影像擷取裝置所擷取的所述影像擷取訊號;針對每個時間戳記,依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算一點雲資料以及一貼圖資料,依據所述點雲資料以及所述貼圖資料建立一三維模型;以及將所述時間戳記與所述時間戳記對應的所述三維模型統整為一影像串流,其中每一影像擷取裝置包括一時間同步模組,並且,所述方法還包括:在一初始化階段,控制該些影像擷取裝置以將所述時間同步模 組同步化,其中所述時間同步模組用以產生所述時間戳記。
- 如請求項8所述的方法,還包括:依據所述點雲資料以及所述貼圖資料產生與所述三維模型對應的一骨架資料,其中,所述影像串流中的所述三維模型具備對應的所述骨架資料。
- 如請求項8所述的方法,其中所述影像擷取裝置分別從多個角度或多個高度對一物件擷取影像,從而產生所述影像擷取訊號。
- 如請求項8所述的方法,還包括:在所述初始化階段,透過所述影像擷取裝置各自擷取的所述影像擷取訊號來判斷與校正所述多個影像擷取裝置的相對位置。
- 如請求項8所述的方法,還包括:在所述初始化階段,獲得所述影像擷取裝置各自的所述影像擷取訊號,以獲得一初始化背景資料以及其對應的一初始化深度資料,其中,基於所述初始化背景資料以及其對應的所述初始化深度資料來計算所述圖像資料以及所述深度資料所對應的所述點雲資料以及所述貼圖資料。
- 如請求項8所述的方法,其中,依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算所述點雲資料以及所述貼圖資料,依據所述點雲資料以及所述貼圖資料建立所述三維模型的步驟包括:拼接所述影像擷取訊號中的所述圖像資料以產生對應於所述影 像擷取訊號的視角的一視角圖像資料;銜接所述視角圖像資料成為一環景影像;依據所述視角圖像資料以及所述環景影像而產生所述點雲資料以及所述貼圖資料;以及依據所述點雲資料以及所述貼圖資訊建立每個時間戳記對應的所述三維模型。
- 如請求項8所述的方法,其中,依據所述影像擷取訊號中的所述圖像資料以及所述深度資料以計算所述點雲資料以及所述貼圖資料,依據所述點雲資料以及所述貼圖資料建立所述三維模型的步驟包括:拼接所述影像擷取訊號中的所述圖像資料以產生對應於所述影像擷取訊號的視角的一視角圖像資料,且依據所述視角圖像資料進行三角網格化以產生一貼圖資料;以及依據所述影像擷取訊號中的所述圖像資料產生所述點雲資料,且依據所述點雲資料建立每個時間戳記對應的所述三維模型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110146850A TWI798999B (zh) | 2021-12-15 | 2021-12-15 | 用於建置三維影像的裝置與方法 |
| CN202111558062.0A CN116263977A (zh) | 2021-12-15 | 2021-12-17 | 用于建立三维影像的装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110146850A TWI798999B (zh) | 2021-12-15 | 2021-12-15 | 用於建置三維影像的裝置與方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI798999B true TWI798999B (zh) | 2023-04-11 |
| TW202327347A TW202327347A (zh) | 2023-07-01 |
Family
ID=86723633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110146850A TWI798999B (zh) | 2021-12-15 | 2021-12-15 | 用於建置三維影像的裝置與方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116263977A (zh) |
| TW (1) | TWI798999B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200928570A (en) * | 2007-12-28 | 2009-07-01 | Ind Tech Res Inst | Method for three-dimension (3D) measurement and an apparatus thereof |
| TW201837861A (zh) * | 2017-04-10 | 2018-10-16 | 鈺立微電子股份有限公司 | 深度處理系統 |
| TW202006659A (zh) * | 2018-07-03 | 2020-02-01 | 財團法人工業技術研究院 | 點雲拼貼處理方法及裝置 |
-
2021
- 2021-12-15 TW TW110146850A patent/TWI798999B/zh active
- 2021-12-17 CN CN202111558062.0A patent/CN116263977A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200928570A (en) * | 2007-12-28 | 2009-07-01 | Ind Tech Res Inst | Method for three-dimension (3D) measurement and an apparatus thereof |
| TW201837861A (zh) * | 2017-04-10 | 2018-10-16 | 鈺立微電子股份有限公司 | 深度處理系統 |
| TW202006659A (zh) * | 2018-07-03 | 2020-02-01 | 財團法人工業技術研究院 | 點雲拼貼處理方法及裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202327347A (zh) | 2023-07-01 |
| CN116263977A (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866977B (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| US12033355B2 (en) | Client/server distributed camera calibration | |
| JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2019219012A1 (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
| CN107330978B (zh) | 基于位置映射的增强现实建模体验系统及方法 | |
| JP6348623B2 (ja) | 三次元モデルの作成方法、三次元モデル作成装置、三次元モデル作成システム、及び三次元モデル作成用プログラム | |
| CN102647606B (zh) | 立体影像处理器、立体影像互动系统及立体影像显示方法 | |
| KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
| CN106254854B (zh) | 三维图像的获得方法、装置及系统 | |
| US8724849B2 (en) | Information processing device, information processing method, program, and information storage medium | |
| JP2005500757A (ja) | 3dビデオ会議システム | |
| US20200133388A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP6846661B2 (ja) | 3次元的な投影対象のための投影方法及び装置 | |
| WO2022161107A1 (zh) | 三维视频的处理方法、设备及存储介质 | |
| CN109345581B (zh) | 基于多目相机的增强现实方法、装置及系统 | |
| JP2021072627A (ja) | 3dツアーの比較表示システム及び方法 | |
| JP2025533676A (ja) | 2dゲームの裸眼3d表示方法及びシステム | |
| CN115733936A (zh) | 图像处理设备、图像处理方法和存储介质 | |
| TWI798999B (zh) | 用於建置三維影像的裝置與方法 | |
| WO2016184285A1 (zh) | 物品图像处理方法、装置和系统 | |
| CN112416124A (zh) | 舞蹈姿势反馈方法及装置 | |
| WO2023108016A1 (en) | Augmented reality using a split architecture | |
| CN111385627A (zh) | 一种增强现实设备及其控制方法、计算机可读存储介质 | |
| JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN113079340A (zh) | 基于Hololens2的三维全息视频会议系统 |