TW202006659A

TW202006659A - 點雲拼貼處理方法及裝置

Info

Publication number: TW202006659A
Application number: TW108123415A
Authority: TW
Inventors: 蔡懿婷; 林俊隆; 林敬傑
Original assignee: 財團法人工業技術研究院
Priority date: 2018-07-03
Filing date: 2019-07-03
Publication date: 2020-02-01
Also published as: JP2020017946A; EP3591975A1; US20200013235A1; CN110675315A

Abstract

一種點雲拼貼處理方法及裝置，所述裝置包括輸入輸出裝置、儲存裝置及處理器。其中，輸入輸出裝置用以接收點雲的位元串流。儲存裝置用以儲存記錄多個方向所對應的索引的索引表。處理器耦接輸入輸出裝置與儲存裝置，經執行程式以將點雲的位元串流解多工為拼貼影像及其中多個拼貼所對應的索引，利用索引查詢索引表以獲得各個拼貼的方向，並依此方向轉換拼貼影像以還原點雲的多個拼貼，以及利用還原後的拼貼重建點雲。

Description

點雲拼貼處理方法及裝置

本發明是有關於影像處理方法及裝置，且特別是有關於一種點雲拼貼處理方法及裝置。

目前大多數用來表示現實世界中視覺元件的方法都是將相機的輸出用某種動畫專家群組（Motion Picture Experts Group，MPEG）視訊編碼標準壓縮以進行傳送及儲存，最後由播放器將其解碼以顯示在平面顯示器上。現在愈來愈多的裝置能夠擷取並顯示現實世界的三維立體（3D）圖像。點雲是三維空間中多個點的集合，每一點都包含有三維座標，有些點可包含有影像的屬性值，例如顏色、材質、反射面強度或其他屬性。點雲可用來將物件或場景重建為這些點的構成。

例如，近年來在娛樂產業中非常流行的虛擬實境（Virtual Reality，VR）和擴增實境（Augmented Reality，AR）的應用，即可應用點雲的資料點來呈現VR和AR的3D物件。然而，為了忠實呈現出所要重建的場景，點雲依不同設定可能會包括由多個相機及深度感測器所擷取的數千至數十億個點。因此，有必要使用壓縮技術來減少用以表示點雲的資料量，以確保高質量和高速的視頻傳輸。

有鑑於此，本發明提供一種點雲拼貼處理方法及裝置，其可改善點雲壓縮的編碼效率，確保高質量和高速的視頻傳輸。

本發明一實施例的點雲拼貼處理裝置，其包括輸入輸出裝置、儲存裝置及處理器。其中，輸入輸出裝置用以接收點雲資料。儲存裝置用以儲存記錄有多個方向所對應的索引的索引表。處理器耦接輸入輸出裝置及儲存裝置，經執行程式以產生點雲的多個拼貼（patch），其中點雲包括三維空間中的多個點，各個拼貼對應於點雲的一部分，決定各個拼貼適於產生拼貼影像的方向，並依所決定方向轉換各個拼貼以產生拼貼影像，以及將拼貼影像封裝並記錄各個拼貼的方向所對應的索引。

本發明一實施例的點雲拼貼處理裝置，其包括輸入輸出裝置、儲存裝置及處理器。其中，輸入輸出裝置用以接收點雲的位元串流。儲存裝置用以儲存記錄有多個方向所對應的索引的索引表。處理器耦接輸入輸出裝置及儲存裝置，經執行程式以將位元串流解多工為拼貼影像及其中多個拼貼所對應的索引，利用索引查詢索引表以獲得各個拼貼的方向，並依此方向轉換並投影拼貼影像以還原點雲的多個拼貼，以及利用還原後的拼貼重建點雲。

本發明一實施例的點雲拼貼處理方法，適用於具有處理器的解碼器。此方法包括將點雲的位元串流解多工為拼貼影像及其中多個拼貼所對應的索引，利用索引查詢索引表以獲得各個拼貼的方向，並依此方向轉換拼貼影像以還原點雲的多個拼貼，以及利用還原後的拼貼重建點雲。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的點雲拼貼處理方法在編碼時允許點雲的各個拼貼（patch）使用不同的投影方式，並利用額外的資訊來指示每個拼貼所使用的投影方式，使得解碼器可依據此資訊所指示的投影方式來還原拼貼並重建點雲。藉此，可改善點雲壓縮的編碼效率，並確保高質量和高速的視頻傳輸。

圖1是依照本發明一實施例所繪示的點雲拼貼處理裝置的方塊圖。請參照圖1，本實施例的點雲拼貼處理裝置10例如是具備運算功能的相機、攝影機、手機、個人電腦、虛擬實境裝置、擴增實境裝置、雲端伺服器或其他裝置，其例如是作為編碼器來執行本發明實施例的點雲拼貼處理方法。點雲拼貼處理裝置10中至少包括輸入輸出裝置12、儲存裝置14及處理器16，其功能分述如下：

輸入輸出裝置12例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽（Bluetooth，BT）、無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面，其是用以接收由相機、攝影機等影像來源裝置所提供的點雲資料，並輸出經處理後的視訊串流。在一實施例中，輸入輸出裝置12亦可包括支援乙太網路（Ethernet）或是支援802.11g、802.11n、802.11ac等無線網路標準的網路卡，使得點雲拼貼處理裝置10可連接網路並經由網路輸入及輸出資料。

儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器16執行的程式。在一實施例中，儲存裝置14例如還儲存記錄有多個方向所對應索引的索引表。

處理器16耦接輸入輸出裝置12與儲存裝置14，其例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯控制器（Programmable Logic Controller，PLC）或其他類似裝置或這些裝置的組合，而可載入並執行儲存裝置14中儲存的程式，以執行本發明實施例的點雲拼貼處理方法。

圖2是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述點雲拼貼處理裝置10，以下即搭配點雲拼貼處理裝置10的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟201中，由處理器16產生點雲的多個拼貼。其中，點雲包括三維空間中的多個點，每一個點均包括可用以定義其幾何位置的幾何資訊以及可用以定義其顏色、反光度、透明度等屬性的屬性資訊。各個拼貼對應於點雲的一部分，其例如是包括彼此表面法向量的偏差小於閥值的多個點的集合。

在步驟202中，由處理器16決定各個拼貼適於產生拼貼影像的方向，並依所決定的方向轉換各個拼貼以產生拼貼影像。在一些實施例中，處理器16例如是採用空間最密、相似度比對、畫面內預測（Intra Prediction）或畫面間預測（Inter Prediction）等演算法來判斷各個拼貼適於產生拼貼影像的方向。

詳言之，在一實施例中，處理器16例如會比較各個拼貼中多個色塊的位置及大小，以計算拼貼之間色塊的相似度，而據以決定各個拼貼在拼貼影像中的位置。其中，處理器16例如會將各個拼貼投影至不同方向，並使用投影至不同方向的拼貼來計算相似度，從中決定各個拼貼適於產生拼貼影像的方向。在其他實施例中，處理器16可使用投影至不同方向的拼貼來進行畫面內預測或畫面間預測，以找出具有較佳編碼效率的組合，從而決定各個拼貼適於產生拼貼影像的方向，本實施例不限定投影方向的決定方式。

在一實施例中，處理器16可依據預設或使用者選擇的投影方式來決定各個拼貼適於產生拼貼影像的方向。所述的投影方式例如包括2個方向、8個方向或是n個方向的任意子集（n為大於2的整數），但不以此為限。

以2個方向為例，其例如包括將拼貼旋轉0°（即不旋轉）及旋轉至預設方向（例如鏡像旋轉270°）的投影方式。在一實施例中，處理器16可決定各個拼貼是否適於旋轉至預設方向，其中若適於旋轉，將拼貼旋轉至預設方向後放入拼貼影像，而若不適於旋轉，則直接將拼貼放入拼貼影像。在另一實施例中，處理器16可判斷各個拼貼的寬度是否大於高度，其中若判斷結果為否，將拼貼旋轉至預設方向後放入拼貼影像，而若判斷結果為是，則直接將拼貼放入拼貼影像。

以8個方向為例，其例如包括將拼貼旋轉0°（即不旋轉）、90°、180°、270°以及將拼貼的鏡像旋轉0°、90°、180°、270°的投影方式，處理器16可決定各個拼貼適於旋轉至這8個預設方向中的哪一個方向，從而將各個拼貼依所決定的預設方向旋轉後放入拼貼影像。

以n個方向的任意子集為例，其例如從8個預設方向（如前述實施例所述）中選擇任意4個方向，即處理器16預設可提供8個方向的選擇，但可依系統或使用者的當前需求僅將4個方向致能，並將其餘4個方向禁能。藉此，處理器16在決定各個拼貼的旋轉方向時，將僅依已致能的4個方向來決定各個拼貼適於旋轉的方向，從而將各個拼貼依所決定的方向旋轉後放入拼貼影像。

回到圖2的流程，在步驟203中，由處理器16封裝拼貼影像並記錄各個拼貼的方向所對應的索引。詳言之，處理器16例如是將包括經適當轉換的多個拼貼的拼貼影像封裝為記錄有各個拼貼的幾何位置的幾何影像（geometry image）、記錄有各個拼貼的色彩組成的紋理影像（texture image）以及記錄有幾何影像和紋理影像中哪些像素的資料為有效的占用圖（occupancy map）。上述的幾何影像、紋理影像及占用圖經過影像填充（image padding）、平滑化（smoothing）、壓縮等處理後，將由多工器組成為壓縮位元串流而經由輸入輸出裝置12輸出。此外，處理器16例如會依照預先建立的索引表，將先前所決定的各個拼貼的方向轉換為對應的索引，並將此索引記錄於附屬拼貼資訊，而與封裝後的拼貼影像一同輸出。

舉例來說，圖3是依照本發明一實施例所繪示的點雲拼貼處理方法的範例。請參照圖3，本實施例是以點雲中的物件30為例，說明點雲拼貼處理裝置產生拼貼影像的過程。

首先，計算點雲中物件30在其周圍的前、後、左、右、上、下六個面的投影以產生六個拼貼30a~30f。接著，分析各個拼貼（此處以拼貼32為例）中的色塊分佈（拼貼32中的不同圖案代表不同色塊），並利用相似度比較法，依序計算拼貼30a~30f的不同方向投影與其他拼貼的投影之間的相似度，從而決定各個拼貼30a~30f適於在拼貼影像中的方向及位置。最後，依所決定的方向對各個拼貼30a~30f進行轉換，以產生包括所有拼貼30a~30f內容的拼貼影像，此拼貼影像將被封裝為如圖3所示的記錄有各個拼貼30a~30f的色彩組成的紋理影像34a，以及記錄有各個拼貼30a~30f的幾何位置的幾何影像34b。

需說明的是，點雲拼貼處理裝置10在決定各個拼貼適於產生拼貼影像的方向時例如是依照預設的或使用者選擇的投影方式來決定方向，並依照所選擇的投影方式所對應的索引表來記錄各個拼貼的方向所對應的索引。

舉例來說，圖4A及圖4B是依照本發明一實施例所繪示的拼貼投影方式的範例。以2個方向的投影方式為例，如圖4A所示，其包括將拼貼旋轉0°及將拼貼的鏡像旋轉270°的方式，而其所對應的索引為0、1。此外，以8個方向的投影方式為例，如圖4B所示，其包括將拼貼旋轉0°、90°、180°、270°以及將拼貼的鏡像旋轉0°、90°、180°、270°的方式，而其所對應的索引分別為0~7。

在一實施例中，點雲拼貼處理裝置10在決定各個拼貼適於產生拼貼影像的過程中，除了決定各個拼貼的方向外，還可進一步決定各個拼貼的偏移量（offset）以對拼貼進行平移。而藉由對旋轉後的拼貼進行平移，可使得拼貼影像中的各個拼貼排列得更為緊密，從而提高編碼效率。上述的偏移量例如是各個拼貼平移後的位置相對於拼貼的原點或點雲的原點的偏移量，在此不設限。

舉例來說，圖5是依照本發明一實施例所繪示的藉由旋轉及平移拼貼以產生拼貼影像的範例。請參照圖5，拼貼影像52是由習知方法產生，以拼貼52a、52b、52c為例，習知方法是在不旋轉且不平移拼貼的情況下，直接依照拼貼影像52當下已被其他拼貼占有的區域，由上至下逐列找尋拼貼影像52中可放下當前拼貼的未占有區域，而依序將拼貼52a、52b、52c放入拼貼影像52。

相對地，拼貼影像54則是依照本發明實施例的點雲拼貼處理方法來產生，以拼貼54a、54b、54c為例，點雲拼貼處理裝置是將當前拼貼進行不同方向的旋轉後，再將旋轉後的拼貼在拼貼影像54中平移，從而依據當前拼貼在經過不同方向的旋轉及平移後與其他拼貼的相似度，決定當前拼貼適於產生拼貼影像54的方向及偏移量，最終依據所決定方向旋轉拼貼並依據所決定的偏移量平移旋轉後的拼貼以產生拼貼影像54。比較拼貼影像52、54可發現，由於拼貼影像54中的拼貼經過適當的旋轉及平移，因此拼貼影像54中的拼貼的排列較為緊密，結果可增加編碼效率。

在一實施例中，處理器16例如將上述的幾何影像、紋理影像及占用圖進行影像填充（image padding）、平滑化（smoothing）、壓縮等處理，以及將記錄有各個拼貼方向的索引加入附屬拼貼資訊並進行壓縮，最後由多工器將上述壓縮後的資料組成為壓縮位元串流而經由輸入輸出裝置12輸出。

詳細而言，圖6是依照本發明一實施例所繪示的點雲拼貼處理方法的詳細流程圖。請同時參照圖1及圖6，本實施例的方法適用於上述點雲拼貼處理裝置10，以下即搭配點雲拼貼處理裝置10的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟601中，處理器16經由輸入輸出裝置12接收點雲資料後，即產生多個拼貼，並在步驟S602中，以上述的點雲拼貼處理方法改變拼貼方向以產生拼貼影像及拼貼資訊（例如拼貼影像中各個拼貼的方向）。

在步驟603中，處理器16對拼貼影像進行封裝，以產生占用圖，並在步驟604中產生幾何影像，以及在步驟605中產生紋理影像。而所產生的幾何影像及紋理影像經由步驟606的影像填充後，即在步驟607中進行視訊壓縮，以獲得壓縮幾何影像及壓縮紋理影像。其中，在步驟608中，處理器16依據先前產生的拼貼資訊，對使用壓縮幾何影像重建的幾何影像進行平滑化處理，而將處理後的幾何影像回饋至步驟605，用以作為產生紋理影像的依據。

另一方面，在步驟609中，處理器16對步驟603中產生的占用圖進行壓縮，並在步驟610中，將步驟602中產生的拼貼資訊加入附屬拼貼資訊並進行壓縮。最後，在步驟611中，處理器16將前述步驟中產生的壓縮幾何影像、壓縮紋理影像、壓縮占用圖以及壓縮附屬拼貼資訊使用多工器組成為壓縮位元串流而經由輸入輸出裝置12輸出。

藉由上述方法，本發明實施例的點雲拼貼處理裝置10可將由點雲產生的多個拼貼進行適當轉換後產生拼貼影像，並將拼貼影像及記錄有拼貼方向的索引等資訊壓縮後輸出，使得解碼器可依據此資訊還原拼貼並重建點雲。以下則舉實施例說明解碼器的結構及其相對應的點雲拼貼處理方法（解碼方法）。

圖7是依照本發明一實施例所繪示的點雲拼貼處理裝置的方塊圖。請參照圖7，本實施例的點雲拼貼處理裝置70例如是具備運算功能的相機、攝影機、手機、個人電腦、虛擬實境裝置、擴增實境裝置、雲端伺服器或其他裝置，其中至少包括輸入輸出裝置72、儲存裝置74及處理器76。其中，輸入輸出裝置72、儲存裝置74及處理器76的構成與前述實施例的輸入輸出裝置12、儲存裝置14及處理器16的構成相同或相似，故在此不再贅述。與前述實施例不同的是，本實施例的點雲拼貼處理裝置70是作為解碼器來執行本發明實施例的點雲拼貼處理方法。

詳細而言，圖8是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。請同時參照圖7及圖8，本實施例的方法適用於上述點雲拼貼處理裝置70，以下即搭配點雲拼貼處理裝置70的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟801中，由處理器76利用輸入輸出裝置72接收點雲的位元串流，從而將點雲的位元串流解多工為拼貼影像及其中多個拼貼所對應的索引。

接著，在步驟802中，由處理器76利用索引查詢預先儲存在儲存裝置74中的索引表，以獲得各個拼貼的方向，並依所查詢的方向轉換拼貼影像以還原點雲的多個拼貼。

在一實施例中，處理器76可依據預設的投影方式選擇索引表來查詢拼貼的方向，所述的投影方式例如包括n個方向（n為大於等於2的整數）。

以2個方向為例，其例如包括將拼貼旋轉0°（即不旋轉）及旋轉至預設方向（例如將鏡像旋轉90°）的投影方式，處理器76可利用索引查詢索引表，以判斷拼貼影像中的各個拼貼是否經過旋轉。其中，若經過旋轉，處理器76將拼貼依預設方向反轉以還原拼貼，而若未經過旋轉，處理器76則不對該拼貼進行轉換。

需說明的是，在一實施例中，處理器76還利用索引查詢拼貼影像中各個拼貼的偏移量，從而依所查詢的偏移量反向平移各個拼貼。其中，上述的偏移量例如是各個拼貼平移後的位置相對於拼貼的原點或點雲的原點的偏移量，在此不設限。

舉例來說，下表1是適應性拼貼旋轉函數的查詢表。其中，識別符的值例如對應於索引Idx ，即，當索引Idx 為0時，識別符設為FPO_NULL；當索引Idx 為1時識別符設為FPO_SWAP。

表1

基於所設定的識別符，利用上述查詢表，可算出拼貼還原後的畫面座標(x ,y )，如下：

(1)

其中，座標(u ,v )為拼貼在拼貼影像中的原始座標，旋轉函數Rotation (x )和偏移量函數Offset (x )的輸出為上表1中定義的矩陣，索引fIdx為標示在影片中第幾張畫面的索引值，拼貼平移函數Patch2dShiftU和Patch2dShiftV分別為拼貼左上角頂點在拼貼影像中的X位置與Y位置。

另一方面，以8個方向為例，其例如包括將拼貼旋轉0°（即不旋轉）、90°、180°、270°以及將拼貼的鏡像旋轉0°、90°、180°、270°的投影方式，處理器16可利用索引查詢索引表，以判斷拼貼影像中的各個拼貼是旋轉至這8個預設方向中的哪一個方向，從而將各個拼貼依所查詢的預設方向反轉。

舉例來說，下表2是適應性拼貼旋轉函數的查詢表。其中，旋轉函數Rotation (x )和偏移量函數Offset (x )的值例如對應於索引Idx 。

表2

其中，

為占用圖的封裝區塊尺寸，

和

分別為拼貼的寬度和高度除以

所得的值。而利用上述表2查詢旋轉函數Rotation (x )和偏移量函數Offset (x )的輸出，並帶入公式(1)，即可算出拼貼的畫面座標(x ,y )。

回到圖8的流程，在步驟803中，處理器76利用還原後的拼貼重建點雲。其中，處理器76例如是使用預設的投影方式將各個二維的拼貼投影至三維空間，以重建點雲。詳細而言，處理器76從點雲的位元串流中可解出每個畫面對應的幾何影像、紋理影像、占用圖以及附屬拼貼資訊。處理器76藉由占用圖可得知幾何影像與紋理影像中的哪些像素是有效資料，而藉由附屬拼貼資訊則可得知拼貼資訊，例如屬於哪個拼貼。處理器76使用有效資料和拼貼資訊即可將二維的拼貼投影至三維空間，而重建點雲。

詳細而言，圖9是依照本發明一實施例所繪示的點雲拼貼處理方法的詳細流程圖。請同時參照圖7及圖9，本實施例的方法適用於上述點雲拼貼處理裝置70，以下即搭配點雲拼貼處理裝置70的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟901中，處理器76經由輸入輸出裝置72接收點雲的壓縮位元串流後，即將其解多工為壓縮紋理影像、壓縮幾何影像、壓縮占用圖以及壓縮附屬拼貼資訊。其中，處理器76在步驟902中，藉由將壓縮紋理影像和壓縮幾何影像進行視訊解壓縮，以產生解壓縮紋理影像和解壓縮幾何影像；在步驟903中，藉由將壓縮占用圖進行解壓縮，以產生解壓縮占用圖；在步驟904中，藉由將壓縮附屬拼貼資訊進行解壓縮，以產生解壓縮附屬拼貼資訊。

在步驟905中，處理器76即根據解壓縮占用圖得知解壓縮幾何影像中的哪些像素是有效資料，再依據解壓縮附屬拼貼資訊中記錄的各個拼貼的方向、偏移量等拼貼資訊，對解壓縮幾何影像中的各個拼貼的方向進行反轉。所述反轉可包括方向反轉及/或平移反轉，在此不設限。

在步驟906中，處理器76將反轉後的拼貼投影至三維空間，以重建幾何部分（例如包括位置及形狀），並在步驟907中，對重建的幾何部分進行平滑化。最後，在步驟908中，處理器76將解壓縮紋理影像，對重建後的幾何部分進行紋理重建，而獲得重建後點雲。

藉由上述方法，本發明實施例的點雲拼貼處理裝置70可將壓縮位元串流分解為重建點雲所需的拼貼影像及拼貼資訊，而藉由對拼貼進行反轉並投影到三維空間，可重建出點雲。

在一實施例中，本發明的點雲拼貼處理方法在編碼時例如會進一步參考當下的裝置的運算資源、網路資源等參數，選擇適當的投影方式對拼貼進行處理，以確保高質量和高速的視頻傳輸。

詳細而言，圖10是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。請同時參照圖1及圖10，本實施例的方法適用於上述點雲拼貼處理裝置10，以下即搭配點雲拼貼處理裝置10的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟1001中，由處理器16產生點雲的多個拼貼。而在步驟1002中，處理器16會依照當下可用的運算資源、網路頻寬、編碼器的編碼能力、解碼器的解碼能力等參數，決定是要使用2種旋轉方向還是使用8種旋轉方向來對拼貼進行旋轉，並依照決定結果設定優選方向旗標，以供解碼器做為解碼時的參考。其中，若優選方向旗標的數值設定為1，則在步驟1003中，將使用2種旋轉方向；而若優選方向旗標的數值設定為0，則在步驟1004中，將使用8種旋轉方向。

此外，處理器16還可以依系統或使用者的需求使用更多的旗標來標記各個拼貼的處理方式，以供解碼器據以還原拼貼並重建點雲。

詳細而言，圖11是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。請同時參照圖1及圖11，本實施例的方法適用於上述點雲拼貼處理裝置10，以下即搭配點雲拼貼處理裝置10的各項元件說明本實施例的點雲拼貼處理方法的詳細步驟。

首先，在步驟1101中，由處理器16產生點雲的多個拼貼。而在步驟1102中，處理器16會依據系統設定或使用者操作，判斷是否致能方向旋轉功能。其中，若判斷需致能方向旋轉功能，處理器16會將方向致能旗標的數值設定為1，並進入步驟1103，反之則將方向致能旗標的數值設定為0，並進入步驟1111，不旋轉拼貼。

若判斷需致能方向旋轉功能，在步驟1103中，處理器16會依照當下的資源參數，決定要使用2種旋轉方向還是使用8種旋轉方向來對拼貼進行旋轉，並依照決定結果設定優選方向旗標。其中，若優選方向旗標的數值設定為1，則在步驟1004中，將使用2種旋轉方向；而若優選方向旗標的數值設定為0，則在步驟1005中，將使用8種旋轉方向。

在使用2種旋轉方向的情況下，在步驟1106中，處理器16可決定各個拼貼是否適於旋轉至預設方向，並依照決定結果設定拼貼旋轉旗標。其中，若拼貼旋轉旗標的數值設定為1，則在步驟1108中，將拼貼旋轉至預設旋轉方向；而若拼貼旋轉旗標的數值設定為0，則在步驟1109中，不旋轉拼貼。

在使用8種旋轉方向的情況下，在步驟1107中，處理器16可決定各個拼貼是否適於旋轉至預設方向（即，除了旋轉0°以外的其他7個方向），並依照決定結果設定拼貼旋轉旗標。其中，若拼貼旋轉旗標的數值設定為1，則在步驟1110中，將拼貼旋轉至預設的7個旋轉方向的其中一個方向，並記錄該旋轉方向的索引（例如使用3個位元記錄7種狀態）；而若拼貼旋轉旗標的數值設定為0，則在步驟1109中，不旋轉拼貼（即，旋轉0°）。

最後，在步驟1112中，由處理器16對前述步驟處理後的拼貼及所產生的附屬資訊進行影像填充、平滑化、壓縮等處理，其詳細內容已於前述實施例說明，故在此不再贅述。

綜上所述，本發明的點雲拼貼處理方法及裝置藉由在編碼時考慮將點雲的拼貼進行旋轉及/或平移，使得所產生的拼貼影像中拼貼的排列更為緊密，從而改善點雲壓縮的編碼效率。此外，本發明方法更將各個拼貼的旋轉方向、偏移量等拼貼資訊加入附屬資訊一同提供給解碼器，使得解碼器能夠還原拼貼並重建點雲。藉此，可改善點雲壓縮的編碼效率，並確保高質量和高速的視頻傳輸。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10、70‧‧‧點雲拼貼處理裝置 12、72‧‧‧輸入輸出裝置 14、74‧‧‧儲存裝置 16、76‧‧‧處理器 30‧‧‧物件 30a~30f、32、52a、52b、52c、54a、54b、54c‧‧‧拼貼 34a‧‧‧紋理影像 34b‧‧‧幾何影像 52、54‧‧‧拼貼影像 201~203、601~611、801~803、901~908、1001~1004、1101~1112‧‧‧步驟

圖1是依照本發明一實施例所繪示的點雲拼貼處理裝置的方塊圖。圖2是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。圖3是依照本發明一實施例所繪示的點雲拼貼處理方法的範例。圖4A及圖4B是依照本發明一實施例所繪示的拼貼投影方式的範例。圖5是依照本發明一實施例所繪示的藉由旋轉及平移拼貼以產生拼貼影像的範例。圖6是依照本發明一實施例所繪示的點雲拼貼處理方法的詳細流程圖。圖7是依照本發明一實施例所繪示的點雲拼貼處理裝置的方塊圖。圖8是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。圖9是依照本發明一實施例所繪示的點雲拼貼處理方法的詳細流程圖。圖10是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。圖11是依照本發明一實施例所繪示的點雲拼貼處理方法的流程圖。

801~803‧‧‧步驟

Claims

一種點雲拼貼處理裝置，包括：輸入輸出裝置，接收點雲資料；儲存裝置，儲存記錄有多個方向所對應的索引的索引表；處理器，耦接所述輸入輸出裝置及所述儲存裝置，經執行程式以：產生所述點雲的多個拼貼(patch)，其中所述點雲包括三維空間中的多個點，各所述拼貼對應於所述點雲的一部分；決定各所述拼貼適於產生拼貼影像的方向，並依所述方向轉換各所述拼貼以產生拼貼影像；以及封裝所述拼貼影像並查詢所述索引表以獲得各所述拼貼的所述方向所對應的索引。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器包括決定各所述拼貼是否適於旋轉至預設方向，若適於旋轉，將所述拼貼旋轉後放入所述拼貼影像，以及若不適於旋轉，直接將所述拼貼放入所述拼貼影像。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器包括判斷各所述拼貼的寬度是否大於高度，若判斷結果為否，將所述拼貼旋轉至預設方向後放入所述拼貼影像，以及若判斷結果為是，直接將所述拼貼放入所述拼貼影像。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器包括決定各所述拼貼適於旋轉0°或鏡像旋轉270°，以及將各所述拼貼依所決定的方向旋轉後放到所述拼貼影像。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器包括決定各所述拼貼適於旋轉至n個預設方向其中之一，其中n為大於2的整數，以及將各所述拼貼依所決定的所述預設方向旋轉後放入所述拼貼影像。
如申請專利範圍第5項所述的點雲拼貼處理裝置，其中所述n個方向包括旋轉0°、90°、180°、270°以及鏡像旋轉0°、90°、180°、270°的任意組合。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器包括從所述n個預設方向中選擇m個預設方向，其中n為大於2的整數，m為小於n的整數，決定各所述拼貼適於旋轉至所述m個預設方向其中之一，以及將各所述拼貼依所決定的所述預設方向旋轉後放入所述拼貼影像。
如申請專利範圍第1項所述的點雲拼貼處理裝置，其中所述處理器更依所述方向旋轉各所述拼貼，以及決定旋轉後各所述拼貼適於產生所述拼貼影像的偏移量(offset)，並依所述偏移量平移旋轉後各所述拼貼以產生拼貼影像，其中所述偏移量包括各所述拼貼平移後的位置相對於所述拼貼的原點或所述點雲的原點的偏移量。
一種點雲拼貼處理裝置，包括：輸入輸出裝置，接收點雲的位元串流；儲存裝置，儲存記錄有多個方向所對應的索引的索引表；處理器，耦接所述輸入輸出裝置及所述儲存裝置，經執行程式以：將所述位元串流解多工為拼貼影像及其中多個拼貼所對應的索引；利用所述索引查詢索引表以獲得各所述拼貼的方向，並依所述方向轉換所述拼貼影像以還原所述點雲的多個拼貼；以及利用還原後的所述拼貼重建所述點雲。
如申請專利範圍第9項所述的點雲拼貼處理裝置，其中所述處理器包括利用所述索引查詢所述索引表，以判斷各所述拼貼是否經過旋轉，其中若經過旋轉，將所述拼貼反轉以還原所述拼貼，而若未經過旋轉，不對所述拼貼進行轉換。
如申請專利範圍第9項所述的點雲拼貼處理裝置，其中所述處理器包括利用所述索引查詢所述索引表，以判斷所述拼貼是否經過旋轉0°或鏡像旋轉270°，以及將各所述拼貼依所判斷的方向反轉。
如申請專利範圍第9項所述的點雲拼貼處理裝置，其中所述處理器包括利用所述索引查詢所述索引表，以判斷所述拼貼是否經過旋轉至n個預設方向其中之一，其中n為大於2的整數，以及將各所述拼貼依所判斷的所述預設方向反轉。
如申請專利範圍第12項所述的點雲拼貼處理裝置，其中所述n個方向包括旋轉0°、90°、180°、270°以及鏡像旋轉0°、90°、180°、270°的任意組合。
如申請專利範圍第9項所述的點雲拼貼處理裝置，其中所述索引更包括各所述拼貼的偏移量，所述處理器更依所述偏移量反向平移各所述拼貼，其中所述偏移量包括各所述拼貼平移後的位置相對於所述拼貼的原點或所述點雲的原點的偏移量。
一種點雲拼貼處理方法，適用於具有處理器的解碼器，所述方法包括下列步驟：將點雲的位元串流解多工為拼貼影像及其中多個拼貼所對應的索引；利用所述索引查詢索引表以獲得各所述拼貼的方向，並依所述方向轉換所述拼貼影像以還原所述點雲的多個拼貼；以及利用還原後的所述拼貼重建所述點雲。
如申請專利範圍第15項所述的方法，其中利用所述索引查詢索引表以獲得各所述拼貼的方向，並依所述方向轉換所述拼貼影像的步驟包括：利用所述索引查詢所述索引表，以判斷各所述拼貼是否經過旋轉；若經過旋轉，將所述拼貼反轉以還原所述拼貼；以及若未經過旋轉，不對所述拼貼進行轉換。
如申請專利範圍第15項所述的方法，其中利用所述索引查詢索引表以獲得各所述拼貼的方向，並依所述方向轉換所述拼貼影像的步驟包括：利用所述索引查詢所述索引表，以判斷所述拼貼是否經過旋轉0°或鏡像旋轉270°；以及將各所述拼貼依所判斷的方向反轉。
如申請專利範圍第15項所述的方法，其中利用所述索引查詢索引表以獲得各所述拼貼的方向，並依所述方向轉換所述拼貼影像的步驟包括：利用所述索引查詢所述索引表，以判斷所述拼貼是否經過旋轉至n個預設方向其中之一，其中n為大於2的整數；以及將各所述拼貼依所判斷的所述預設方向反轉。
如申請專利範圍第18項所述的方法，其中所述n個方向包括旋轉0°、90°、180°、270°以及鏡像旋轉0°、90°、180°、270°的任意組合。
如申請專利範圍第15項所述的方法，其中所述索引更包括各所述拼貼的偏移量，且依所述方向轉換所述拼貼影像的步驟更包括：依所述偏移量反向平移各所述拼貼，其中所述偏移量包括各所述拼貼平移後的位置相對於所述拼貼的原點或所述點雲的原點的偏移量。