[go: up one dir, main page]

TW202036483A - 拼貼擴充方法、編碼器與解碼器 - Google Patents

拼貼擴充方法、編碼器與解碼器 Download PDF

Info

Publication number
TW202036483A
TW202036483A TW108143551A TW108143551A TW202036483A TW 202036483 A TW202036483 A TW 202036483A TW 108143551 A TW108143551 A TW 108143551A TW 108143551 A TW108143551 A TW 108143551A TW 202036483 A TW202036483 A TW 202036483A
Authority
TW
Taiwan
Prior art keywords
collage
point
points
point cloud
tile
Prior art date
Application number
TW108143551A
Other languages
English (en)
Inventor
王聖博
柯二中
蔡懿婷
林俊隆
林敬傑
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW202036483A publication Critical patent/TW202036483A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06T11/10—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

拼貼擴充方法、編碼器與解碼器。所述方法包括：獲得包括多個點的一點雲；根據所述點雲獲得一第一拼貼，其中所述第一拼貼為所述點雲的一子集合；針對所述第一拼貼中的至少一取樣點，獲得所述點雲中距離所述取樣點小於一第一門檻值的至少一鄰近點；以及將所述鄰近點加入所述第一拼貼中。

Description

拼貼擴充方法、編碼器與解碼器
本發明是有關於一種用於點雲的拼貼擴充方法、編碼器與解碼器。
點雲(point cloud)是三維空間中的多個點，且此些點中的每一個點會具有位置資訊、色彩資訊或其他的資訊。在習知的點雲壓縮(Point Cloud Compression，PCC)技術中，編碼器會將點雲的資料分成多個拼貼(patch)，每一個拼貼為該點雲的子集合。之後編碼器可以根據此些拼貼產生壓縮後資料。解碼器可以根據壓縮後資料獲得拼貼，並根據所獲得的拼貼重建(或還原)壓縮前的點雲的資料。
然而，由於拼貼經過編碼器壓縮，當解碼器根據壓縮後資料獲得拼貼並根據此些拼貼重建(或還原)壓縮前的點雲的資料時，該點雲中的拼貼的交接處可能會失真而產生裂縫，而此裂縫會降低解碼器所解碼出的點雲的資料(即，點雲影像)的品質。
因此，本發明提供一種拼貼擴充方法、編碼器與解碼器，可以有效地解決拼貼的交接處可能會失真而產生的裂縫，進而提升解碼器所解碼出的點雲的資料的品質。
本發明提出一種拼貼擴充方法，包括：獲得包括多個點的點雲；根據點雲獲得第一拼貼，其中第一拼貼為點雲的子集合；針對第一拼貼中的至少一取樣點，獲得點雲中距離取樣點小於第一門檻值的至少一鄰近點；以及將鄰近點加入第一拼貼中。
本發明提出一種編碼器，包括：拼貼產生模組、拼貼擴充模組、壓縮模組以及輸出模組。拼貼產生模組用以獲得包括多個點的點雲並根據點雲獲得第一拼貼。其中第一拼貼為點雲的子集合。拼貼擴充模組用以針對第一拼貼中的至少一取樣點，獲得點雲中距離取樣點小於第一門檻值的至少一鄰近點，並將鄰近點加入第一拼貼中。壓縮模組用以壓縮已加入鄰近點的第一拼貼以獲得壓縮後資料。輸出模組用以輸出壓縮後資料。
本發明提出一種解碼器，包括：解壓縮模組、拼貼擴充模組與點雲重建模組。解壓縮模組用以解壓縮對應於多個點的點雲的壓縮後資料以獲得至少一解壓縮資料。其中解壓縮資料包括第一拼貼且第一拼貼為點雲的一子集合。拼貼擴充模組用以針對第一拼貼中的至少一取樣點，獲得點雲中距離取樣點小於第一門檻值的至少一鄰近點，並將鄰近點加入第一拼貼中。點雲重建模組用以根據已加入鄰近點的第一拼貼重建點雲以獲得重建後的點雲。
基於上述，本發明的拼貼擴充方法、編碼器與解碼器可以有效地解決拼貼的交接處可能會失真而產生的裂縫，進而提升解碼器所解碼出的點雲的資料的品質。
圖1A是依照本發明的一實施例所繪示的編碼器的示意圖。圖1B是依照本發明的一實施例所繪示的編碼器的運作的示意圖。
請參照圖1A，在本實施例中，編碼器1000包括拼貼擴充模組10、拼貼產生模組12、拼貼封裝模組14、幾何影像產生模組16、紋理影像產生模組18、影像填充(padding)模組20a~20b、群組擴張(group dilation)模組22、壓縮模組24a~24c、輸出模組26、平滑(smoothing)模組28、輔助拼貼資訊壓縮(auxiliary patch information compression)模組30以及熵(entropy)壓縮模組32。
需注意的是，圖1A中的編碼器1000例如可以由一電子裝置所執行。舉例來說，電子裝置可以具有處理器與儲存裝置。電子裝置可為智慧型手機、平板電腦、筆記型電腦、個人電腦等裝置。
處理器可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。
儲存裝置可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid State Drive，SSD)或類似元件或上述元件的組合。
在本範例實施例中，電子裝置的儲存裝置中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會分別由電子裝置的處理器來執行。例如，電子裝置的儲存裝置中包括圖1A中的各個模組，藉由這些模組來分別執行編碼器1000中的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，上述的各個運作也可以是使用其他硬體形式的方式來實現。
請同時參照圖1A與圖1B，首先，拼貼產生模組12可以獲得包括多個點的點雲PC，並根據點雲PC獲得一拼貼(以下稱為，第一拼貼)。特別是，第一拼貼為點雲PC的子集合。也就是說，第一拼貼具有點雲PC中的部份的點。
以圖1B的範例來說明，在圖1B的步驟S101中，拼貼產生模組12會獲得點雲PC。在步驟S102中，拼貼產生模組12會將點雲PC的多個點投影至一立方體的六個二維平面上。此些二維平面中的每一個二維平面上群聚的點可以獲得至少一拼貼。以圖1B的步驟S102的示意圖來說，假設拼貼產生模組12會產生拼貼P1~P6。為了方便說明，以下以拼貼P1(即，前述的第一拼貼)為範例進行說明。而相類似的方法可以應用於其他拼貼中。假設拼貼P1在所投影的二維平面(亦稱為，第一二維平面)上具有彼此相互群聚的多個點(亦稱為，第一點)。在此假設拼貼P1為三維的拼貼並且拼貼P1具有多個點，每一個點用以記錄該點在三維空間中的位置、顏色以及其他資訊。
在獲得拼貼P1後，在步驟S103中，拼貼產生模組12會根據三維的拼貼P1產生對應於拼貼P1的二維拼貼。其中，拼貼P1的二維拼貼包括幾何影像P_G以及紋理影像P_T。幾何影像P_G以及紋理影像P_T可以分別為二維的影像。幾何影像P_G用以表示前述多個第一點的位置資訊(例如，三維空間中的座標)且紋理影像P_T用以表示前述多個第一點的顏色資訊。特別是，在步驟S103中，拼貼擴充模組10會用對拼貼P1中的至少一取樣點，獲得點雲PC中距離此些取樣點小於一門檻值(亦稱為，第一門檻值)的至少一鄰近點，並將此鄰近點加入拼貼P1中。例如，拼貼擴充模組10會將鄰近點的位置加入拼貼P1的幾何影像P_G中並且將鄰近點的顏色加入紋理影像P_T中。
圖2是依照本發明的一實施例所繪示的尋找鄰近點的方法的流程圖。圖2用以詳細說明如何在點雲中尋找一取樣點的鄰近點。
請參照圖2，在步驟S201中，拼貼擴充模組10會獲得點雲中的一拼貼Pchi ，其中i為1~n，用以代表點雲的第一個拼貼至第n個拼貼。在步驟S203中，拼貼擴充模組10會取得拼貼中的一取樣點pj ，並在步驟S205中判斷取樣點pj 是否位於拼貼Pchi 的邊上。若取樣點pj 不位於拼貼Pchi 的邊上，則會再次執行步驟S203以取得拼貼Pchi 中的其他點作為取樣點。若取樣點pj 位於拼貼Pchi 的邊上，在步驟S207中，拼貼擴充模組10會掃描點雲中的一點pk ，並在步驟S209中判斷取樣點pj 與點pk 的距離是否小於門檻值(即，第一門檻值)。若取樣點pj 與點pk 的距離非小於門檻值，則拼貼擴充模組10會再次執行步驟S207以掃描點雲中的其他點。若取樣點pj 與點pk 的距離小於門檻值，在步驟S211中，拼貼擴充模組10會複製點pk 至拼貼Pchi 。
需注意的是，在另一實施例中，步驟S205可以省略。換句話說，拼貼擴充模組10也可以針對拼貼Pchi 中的每一個點在點雲中找尋對應的鄰近點並將此鄰近點加入Pchi 中。
在一實施例中，僅當拼貼Pchi 中的點的數量大於一門檻值(亦稱為，第二門檻值)時，拼貼擴充模組10才會啟動圖2的流程以執行獲得點雲中距離取樣點小於第一門檻值的鄰近點的運作。也就是說，當一拼貼太小時，拼貼擴充模組10不會對此拼貼中的取樣點尋找點雲中的鄰近點。
在一實施例中，當針對某一個取樣點從點雲中找到多個匹配(即，距離小於第一門檻值)的鄰近點時，拼貼擴充模組10僅會將一數量(亦稱為，第一數量)的鄰近點加入第一拼貼中，且此第一數量會小於一門檻值(亦稱為，第三門檻值)。換句話說，針對拼貼中的某一取樣點，僅會加入小於某特定數量的鄰近點至該拼貼中以避免加入過多的鄰近點。而本發明並不用以限定如何從所搜尋出的多個鄰近點中挑選欲加入拼貼中的鄰近點。
需注意的是，加入拼貼中的鄰近點通常是屬於同一個點雲的另一個拼貼(亦稱為，第二拼貼)。也就是說，第二拼貼為點雲的另一子集合。藉由在一拼貼中加入不同拼貼中的點，可以有效地降低解碼器在解碼時拼貼的交接處可能會失真而產生裂縫的問題。
圖3A與圖3B是依照本發明的一實施例所繪示的將鄰近點加入拼貼的示意圖。
請參照圖3A，假設影像300用以表示目前欲加入鄰近點的拼貼。假設第一門檻值為1。拼貼擴充模組10會掃描點雲中的點以找出距離影像300中的每一個點(或僅每一個邊上的點)小於第一門檻值的鄰近點，並將此些鄰近點加入拼貼中以獲得如影像301中的拼貼。類似地，請參照圖3B，假設影像302用以表示目前欲加入鄰近點的拼貼。假設第一門檻值為2。拼貼擴充模組10會掃描點雲中的點以找出距離影像300中的每一個點(或僅每一個邊上的點)小於第一門檻值的鄰近點，並將此些鄰近點加入拼貼中以獲得如影像303中的拼貼。
請再次參照圖1A與圖1B，在此需說明的是，雖然前述範例是先將拼貼P1轉換為包括幾何影像P_G以及紋理影像P_T的二維拼貼後再將所找出的鄰近點的位置與顏色分別加入幾何影像P_G以及紋理影像P_T。然而，本發明不限於此，在其他實施例中，也可以先找出拼貼P1中的每個取樣點的鄰近點，將鄰近點加入拼貼P1後再將已加入鄰近點的拼貼P1轉換為包括幾何影像以及紋理影像的二維拼貼，而此二維拼貼幾何影像與紋理影像也會分別包括鄰近點的位置與顏色。
之後，在步驟S104中，拼貼封裝模組14會整合已加入鄰近點的位置的幾何影像P_G與和拼貼P1同屬於第一二維平面的其他拼貼的其他幾何影像。幾何影像產生模組16會根據點雲PC、拼貼產生模組12的輸出以及拼貼封裝模組14的輸出產生整合已加入鄰近點的位置的幾何影像P_G與屬於第一二維平面的其他拼貼的其他幾何影像的整合後幾何影像G_IMG。也就是說，此步驟是要將多個幾何影像整合至單一的一張影像中。
此外，在步驟S104中，拼貼封裝模組14還會整合已加入鄰近點的顏色的紋理影像P_T與屬於第一二維平面的其他拼貼的其他紋理影像。之後紋理影像產生模組18會根據點雲PC、拼貼產生模組12的輸出以及拼貼封裝模組14的輸出，產生整合已加入鄰近點的顏色的紋理影像P_T與屬於第一二維平面的其他拼貼的其他紋理影像的整合後紋理影像T_IMG。也就是說，此步驟是要將多個紋理影像整合至單一的一張影像中。
在獲得整合後幾何影像G_IMG與整合後紋理影像T_IMG後，還可以針對此兩張影像各別進行前處理後再進行壓縮。以圖1A的編碼器1000為例，影像填充模組20a可以對整合後幾何影像G_IMG中內部的多個拼貼的幾何影像間的空白空間(empty space)進行填充以產生適合用於影像壓縮的分段的(piecewise)平滑(smooth)影像。類似地，影像填充模組20b可以對整合後紋理影像T_IMG中內部的多個拼貼的紋理影像間的空白空間進行填充以產生適合用於影像壓縮的分段的平滑影像，並再藉由群組擴張模組22來對整合後紋理影像T_IMG進行型態學的擴張。
在將整合後幾何影像G_IMG與整合後紋理影像T_IMG進行前處理後，在圖1B的步驟S105中，壓縮模組24a會壓縮整合後幾何影像G_IMG以獲得一壓縮後資料C_img2(亦稱為，第一壓縮後資料)。壓縮模組24b會壓縮整合後紋理影像T_IMG以獲得一壓縮後資料C_img1(亦稱為，第二壓縮後資料)。之後，在步驟S106中，輸出模組26可以以位元流的形式來輸出前述的壓縮後資料C_img1以及壓縮後資料C_img2。
此外，拼貼封裝模組14還可以產生佔據地圖(occupancy map)OM。佔據地圖OM中會包括至少一已佔據區塊(occupied block)以及至少一空區塊(empty block)。其中，已佔據區塊用以表示前述拼貼所對應的一二維地圖(2D map)(即，二維影像)中具有資料的區塊，且空區塊用以表示二維地圖中不具有資料的區塊。需說明的是，二維地圖會包括多個相素，而二維地圖可以藉由n*n個相素的區塊大小來將二維地圖平分成多個區塊，其中n為正整數。
幾何影像產生模組16與紋理影像產生模組18可以參考佔據地圖OM來分別產生整合後幾何影像與整合後紋理影像。前述的影像填充模組20a~20b也可以參考佔據地圖OM來執行其功能。此外，在壓縮佔據地圖OM時，可以選擇使用有損壓縮的壓縮模組24c或是無損壓縮的熵壓縮模組32來獲得壓縮後佔據地圖OM，並藉由輸出模組26以位元流的形式輸出壓縮後佔據地圖OM。
特別是，在一實施例中，在圖2的流程中，當鄰近點加入一拼貼且對應於此拼貼的佔據地圖中的已佔據區塊的數量增加時，拼貼擴充模組10不會將鄰近點加入該拼貼中。
在圖1A的編碼器1000中，拼貼產生模組12可以產生拼貼資訊PI。拼貼資訊PI可以記錄點雲PC共有幾個拼貼、每個拼貼位於哪個二維平面或其他與點雲或拼貼相關的資訊。平滑模組28可以根據拼貼資訊PI以及壓縮模組24a的輸出來執行平滑操作以產生平滑的幾何影像，並將此平滑影像輸入至紋理影像產生模組18中。
輔助拼貼資訊壓縮模組30主要用於壓縮與拼貼相關的輔助(或額外)資訊，並以位元流形式藉由輸出模組26輸出壓縮後的輔助資訊。
需說明的是，雖然圖1A中拼貼擴充模組10是耦接拼貼產生模組12。然而在其他實施例中，也可以使用多個拼貼擴充模組10配置在幾何影像產生模組16與紋理影像產生模組18之後以達到類似的效果。
圖4A是依照本發明的一實施例所繪示的解碼器的示意圖。圖4B是依照本發明的一實施例所繪示的解碼器的運作的示意圖。
請參照圖4A，解碼器4000包括輸入模組70、解壓縮模組72a~72b、佔據地圖解壓縮模組74、輔助拼貼資訊解壓縮(auxiliary patch information decompression)模組76、幾何影像重建模組78、平滑模組80、紋理影像重建模組82、色彩平滑(color smoothing)模組84以及拼貼擴充模組86。解碼器4000例如可以由一電子裝置所執行。舉例來說，電子裝置可以具有處理器與儲存裝置。電子裝置可為智慧型手機、平板電腦、筆記型電腦、個人電腦等裝置。
在本範例實施例中，電子裝置的儲存裝置中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會分別由電子裝置的處理器來執行。例如，電子裝置的儲存裝置中包括圖4A中的各個模組，藉由這些模組來分別執行解碼器4000中的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，上述的各個運作也可以是使用其他硬體形式的方式來實現。
請同時參照圖4A與圖4B，在步驟S401中，輸入模組70會獲得一位元流，而此位元流中會包括對應於多個點的一點雲的至少一壓縮後資料，此壓縮後資料可以包括壓縮後資料C_img1以及壓縮後資料C_img2，其中解壓縮資料包括每一個拼貼且每一拼貼為點雲的子集合。之後在步驟S403中，解壓縮模組72a~72b、佔據地圖解壓縮模組74與輔助拼貼資訊解壓縮模組76會對位元流進行解壓縮。更詳細來說，解壓縮模組72a會從位元流中獲得壓縮後資料C_img1並對此壓縮後資料C_img1進行解碼以在步驟S405中獲得整合後紋理影像T_IMG。類似地，解壓縮模組72b會從位元流中獲得壓縮後資料C_img2並對此壓縮後資料C_img2進行解碼以在步驟S405中獲得整合後幾何影像G_IMG。此外，佔據地圖解壓縮模組74會從位元流中獲得壓縮後的佔據地圖並進行解碼以獲得解壓縮後的佔據地圖。輔助拼貼資訊解壓縮模組76會從位元流中獲得壓縮後的輔助拼貼資訊並進行解碼以獲得解壓縮後的輔助拼貼資訊。
之後，幾何影像重建模組78會根據解壓縮模組72b所輸出的整合後幾何影像G_IMG、佔據地圖解壓縮模組74所輸出的佔據地圖以及輔助拼貼資訊解壓縮模組76所輸出的輔助拼貼資訊來獲得整合後幾何影像G_IMG中的每一個拼貼的幾何影像，平滑模組80會對每一個拼貼的幾何影像執行一平滑操作。此外，紋理影像重建模組82會根據解壓縮模組72a所輸出的整合後紋理影像T_IMG與平滑模組80所輸出的經平滑操作後的影像獲得每一個拼貼的紋理影像，色彩平滑模組84會對每一個拼貼的紋理影像執行一平滑操作。在經由前述的過程後，可以獲得如圖4B步驟S407中的多個拼貼P1~P6，且每個拼貼具有紋理影像與幾何影像，幾何影像用以表示每個拼貼的多個點的位置資訊，紋理影像用以表示多個第點的顏色資訊。之後，拼貼擴充模組86可以執行類似於前述拼貼擴充模組10的運作。
以拼貼P1為例，由於已獲得拼貼P1~P6，故可以由拼貼P1~P6反推由拼貼P1~P6所組成的點雲。拼貼擴充模組86可以針對拼貼P1中的至少一取樣點，獲得由拼貼P1~P6所組成的點雲中距離該取樣點小於門檻值(例如，前述的第一門檻值)的至少一鄰近點，並將此鄰近點加入拼貼P1中。例如，拼貼P1包括的幾何影像用以表示拼貼P1的多個點的位置資訊且拼貼P1的紋理影像用以表示拼貼P1的多個點的顏色資訊。拼貼擴充模組86會將鄰近點的位置加入拼貼P1的幾何影像並且將拼貼P1的鄰近點的顏色加入紋理影像。
需注意的是，在加入鄰近點至拼貼P1的範例中，在一實施例中，拼貼擴充模組86會獲得所述拼貼P1所對應的佔據地圖。類似於先前所述，佔據地圖中會包括至少一已佔據區塊(occupied block)以及至少一空區塊(empty block)。其中，已佔據區塊用以表示前述拼貼P1所對應的一二維地圖(2D map)(即，二維影像)中具有資料的區塊，且空區塊用以表示二維地圖中不具有資料的區塊。當鄰近點加入拼貼P1且拼貼P1的佔據地圖中的已佔據區塊的數量增加時，拼貼擴充模組86不將鄰近點加入拼貼P1中。
此外，在一實施例中，僅當拼貼P1中的點的數量大於一門檻值(例如，前述的第二門檻值)時，拼貼擴充模組86才會執行前述獲得點雲中距離取樣點小於第一門檻值的鄰近點的運作。
在一實施例中，當針對拼貼P1的某一個取樣點從點雲中找到多個匹配(即，距離小於第一門檻值)的鄰近點時，拼貼擴充模組10僅會將一數量(例如，前述的第一數量)的鄰近點加入拼貼P1中，且此第一數量會小於一門檻值(例如，前述的第三門檻值)。換句話說，針對拼貼P1中的某一取樣點，僅會加入小於某特定數量的鄰近點至拼貼P1中以避免加入過多的鄰近點。而本發明並不用以限定如何從所搜尋出的多個鄰近點中挑選欲加入拼貼中的鄰近點。
此外，在一實施例中，拼貼擴充模組86會掃描點雲PC中的點以找出距離拼貼P1中的每一個點(或僅每一個邊上的點)小於第一門檻值的鄰近點，並將此些鄰近點加入拼貼P1中以獲得如影像301中的拼貼。
需注意的是，加入拼貼P1中的鄰近點通常是屬於同一個點雲PC的另一個拼貼。而此另一個拼貼為點雲的另一子集合。藉由在一拼貼中加入不同拼貼中的點，可以有效地降低解碼器在重建出點雲時點雲的交接處可能會失真而產生裂縫的問題。
雖然前述是以拼貼P1為範例，而相類似的過程可以應用於拼貼P2~P6，故在此不再贅述。
在獲得已分別加入鄰近點的拼貼P1~P6後，在步驟S409中，可以透過點雲重建模組(未繪示)以根據已加入鄰近點的拼貼P1~P6重建出點雲PC以獲得重建後的點雲PC。
需注意的是，在圖4A的範例中，拼貼擴充模組86是耦接在色彩平滑模組84之後，然而本發明不限於此。在其他實施例中，也可以分別配置拼貼擴充模組86耦接於幾何影像重建模組78或紋理影像重建模組82之後。此外，在本實施例中，編碼器1000與解碼器4000皆具有拼貼擴充模組。然而在其他實施例中，也可以編碼器1000以及解碼器4000兩者的其中之一具有拼貼擴充模組。
圖5是依照本發明的一實施例所繪示的拼貼擴充方法的效果的示意圖。
請參照圖5，在使用習知的方法對於拼貼壓縮後重建出的點雲中，可以看到如區域5a~5f中具有明顯的裂縫。然而，若使用本發明的拼貼擴充方法，可以看到區域6a~6f(對應於前述的區域5a~5f)中並無明顯的裂縫。因此，本發明的拼貼擴充方法可以有效地解決拼貼的交接處可能會失真而產生的裂縫，進而提升解碼器所解碼出的點雲的資料的品質。
圖6是依照本發明的一實施例所繪示的拼貼擴充方法的流程圖。
請參照圖6，首先，獲得包括多個點的一點雲(步驟S601)。根據點雲獲得一第一拼貼(步驟S603)。其中，第一拼貼為點雲的一子集合。之後，針對第一拼貼中的至少一取樣點，獲得點雲中距離取樣點小於第一門檻值的至少一鄰近點(步驟S605)。最後將所找出的鄰近點加入第一拼貼(步驟S607)中。
綜上所述，本發明的拼貼擴充方法、編碼器與解碼器可以有效地解決拼貼的交接處可能會失真而產生的裂縫，進而提升解碼器所解碼出的點雲的資料的品質。
1000:編碼器 PC:點雲 PI:拼貼資訊 OM:佔據地圖 10:拼貼擴充模組 12:拼貼產生模組 14:拼貼封裝模組 16:幾何影像產生模組 18:紋理影像產生模組 20a~20b:影像填充模組 22:群組擴張模組 24a~24c:壓縮模組 26:輸出模組 28:平滑模組 30:輔助拼貼資訊壓縮模組 32:熵壓縮模組 S101~S106、S201~S211、S401~S409、S601~S607:步驟 P1~P6:拼貼 P_T:紋理影像 P_G:幾何影像 T_IMG:整合後紋理影像 G_IMG:整合後幾何影像 C_img1、C_img2:壓縮後資料 300~303:影像 4000:解碼器 70:輸入模組 72a~72b:解壓縮模組 74:佔據地圖解壓縮模組 76:輔助拼貼資訊解壓縮模組 78:幾何影像重建模組 80:平滑模組 82:紋理影像重建模組 84:色彩平滑模組 86:拼貼擴充模組 5a~5f、6a~6f:區域
圖1A是依照本發明的一實施例所繪示的編碼器的示意圖。 圖1B是依照本發明的一實施例所繪示的編碼器的運作的示意圖。 圖2是依照本發明的一實施例所繪示的尋找鄰近點的方法的流程圖。 圖3A與圖3B是依照本發明的一實施例所繪示的將鄰近點加入拼貼的示意圖。 圖4A是依照本發明的一實施例所繪示的解碼器的示意圖。 圖4B是依照本發明的一實施例所繪示的解碼器的運作的示意圖。 圖5是依照本發明的一實施例所繪示的拼貼擴充方法的效果的示意圖。 圖6是依照本發明的一實施例所繪示的拼貼擴充方法的流程圖。
S601~S607:步驟

Claims (24)

  1. 一種拼貼擴充方法，包括： 獲得包括多個點的一點雲(point cloud)； 根據所述點雲獲得一第一拼貼(patch)，其中所述第一拼貼為所述點雲的一子集合； 針對所述第一拼貼中的至少一取樣點，獲得所述點雲中距離所述取樣點小於一第一門檻值的至少一鄰近點；以及 將所述鄰近點加入所述第一拼貼中。
  2. 如申請專利範圍第1項所述的拼貼擴充方法，其中根據所述點雲獲得所述第一拼貼的步驟包括： 將所述點雲的所述多個點投影至多個二維平面；以及 根據所述多個二維平面中的一第一二維平面上群聚的多個第一點獲得所述第一拼貼， 其中所述第一拼貼包括一幾何(geometry)影像以及一紋理(texture)影像，所述幾何影像用以表示所述多個第一點的一位置資訊且所述紋理影像用以表示所述多個第一點的一顏色資訊。
  3. 如申請專利範圍第2項所述的拼貼擴充方法，其中將所述鄰近點加入所述第一拼貼中的步驟包括： 將所述鄰近點的位置加入所述幾何影像並且將所述鄰近點的顏色加入所述紋理影像。
  4. 如申請專利範圍第3項所述的拼貼擴充方法，更包括： 根據已加入所述鄰近點的位置的所述幾何影像與屬於所述第一二維平面的其他拼貼的一其他幾何影像產生一整合後幾何影像； 根據已加入所述鄰近點的顏色的所述紋理影像與屬於所述第一二維平面的其他拼貼的一其他紋理影像產生一整合後紋理影像； 壓縮所述整合後幾何影像以獲得一第一壓縮後資料； 壓縮所述整合後紋理影像以獲得一第二壓縮後資料；以及 輸出所述第一壓縮後資料以及所述第二壓縮後資料。
  5. 如申請專利範圍第1項所述的拼貼擴充方法，更包括： 獲得所述第一拼貼所對應的一第一佔據地圖(occupancy map)，其中所述第一佔據地圖包括至少一已佔據區塊(occupied block)以及至少一空區塊(empty block)，所述已佔據區塊用以表示所述第一拼貼所對應的一二維地圖(2D map)中具有資料的區塊，且所述空區塊用以表示所述二維地圖中不具有資料的區塊； 當所述鄰近點加入所述第一拼貼且所述第一佔據地圖中的所述已佔據區塊的數量增加時，不將所述鄰近點加入所述第一拼貼中。
  6. 如申請專利範圍第1項所述的拼貼擴充方法，更包括： 僅當所述第一拼貼中的點的數量大於一第二門檻值時，執行獲得所述點雲中距離所述取樣點小於所述第一門檻值的所述鄰近點的步驟。
  7. 如申請專利範圍第1項所述的拼貼擴充方法，更包括： 將一第一數量的所述鄰近點加入所述第一拼貼中，其中所述第一數量小於一第三門檻值。
  8. 如申請專利範圍第1項所述的拼貼擴充方法，其中所述取樣點為位於所述第一拼貼中的邊上的點。
  9. 如申請專利範圍第1項所述的拼貼擴充方法，其中所述鄰近點屬於一第二拼貼，所述第二拼貼為所述點雲的另一子集合。
  10. 一種編碼器，包括： 一拼貼產生模組，用以獲得包括多個點的一點雲，並根據所述點雲獲得一第一拼貼，其中所述第一拼貼為所述點雲的一子集合； 一拼貼擴充(expanding)模組，用以針對所述第一拼貼中的至少一取樣點，獲得所述點雲中距離所述取樣點小於一第一門檻值的至少一鄰近點，並將所述鄰近點加入所述第一拼貼中； 一壓縮模組，用以壓縮已加入所述鄰近點的所述第一拼貼以獲得一壓縮後資料；以及 一輸出模組，用以輸出所述壓縮後資料。
  11. 如申請專利範圍第10項所述的編碼器，其中在根據所述點雲獲得所述第一拼貼的運作中， 所述拼貼產生模組將所述點雲的所述多個點投影至多個二維平面，根據所述多個二維平面中的一第一二維平面上群聚的多個第一點獲得所述第一拼貼， 其中所述第一拼貼包括一幾何(geometry)影像以及一紋理(texture)影像，所述幾何影像用以表示所述多個第一點的一位置資訊且所述紋理影像用以表示所述多個第一點的一顏色資訊。
  12. 如申請專利範圍第11項所述的編碼器，其中在將所述鄰近點加入所述第一拼貼中的運作中， 所述拼貼擴充模組將所述鄰近點的位置加入所述幾何影像並且將所述鄰近點的顏色加入所述紋理影像。
  13. 如申請專利範圍第12項所述的編碼器，更包括： 一拼貼封裝(patch packing)模組，用以整合已加入所述鄰近點的位置的所述幾何影像與屬於所述第一二維平面的其他拼貼的一其他幾何影像，以及整合已加入所述鄰近點的顏色的所述紋理影像與屬於所述第一二維平面的其他拼貼的一其他紋理影像； 一影像產生模組，用以產生整合已加入所述鄰近點的位置的所述幾何影像與屬於所述第一二維平面的其他拼貼的所述其他幾何影像的一整合後幾何影像，以及產生整合已加入所述鄰近點的顏色的所述紋理影像與屬於所述第一二維平面的其他拼貼的所述其他紋理影像的一整合後紋理影像，其中 所述壓縮模組還用以壓縮所述整合後幾何影像以獲得一第一壓縮後資料以及壓縮所述整合後紋理影像以獲得一第二壓縮後資料， 所述輸出模組還用以輸出所述第一壓縮後資料以及所述第二壓縮後資料。
  14. 如申請專利範圍第10項所述的編碼器，其中 僅當所述第一拼貼中的點的數量大於一第二門檻值時，所述拼貼擴充模組執行獲得所述點雲中距離所述取樣點小於所述第一門檻值的所述鄰近點的運作。
  15. 如申請專利範圍第10項所述的編碼器，其中 所述拼貼擴充模組還用以將一第一數量的所述鄰近點加入所述第一拼貼中，其中所述第一數量小於一第三門檻值。
  16. 如申請專利範圍第10項所述的編碼器，其中所述取樣點為位於所述第一拼貼中的邊上的點。
  17. 如申請專利範圍第10項所述的編碼器，其中所述鄰近點屬於一第二拼貼，所述第二拼貼為所述點雲的另一子集合。
  18. 一種解碼器，包括： 一解壓縮模組，用以解壓縮對應於多個點的一點雲的至少一壓縮後資料以獲得至少一解壓縮資料，其中所述解壓縮資料包括一第一拼貼且所述第一拼貼為所述點雲的一子集合； 一拼貼擴充(expanding)模組，用以針對所述第一拼貼中的至少一取樣點，獲得所述點雲中距離所述取樣點小於一第一門檻值的至少一鄰近點，並將所述鄰近點加入所述第一拼貼中；以及 一點雲重建模組，用以根據已加入所述鄰近點的所述第一拼貼重建所述點雲以獲得重建後的所述點雲。
  19. 如申請專利範圍第18項所述的解碼器，其中所述第一拼貼包括一幾何(geometry)影像以及一紋理(texture)影像，所述幾何影像用以表示所述第一拼貼的多個第一點的一位置資訊且所述紋理影像用以表示所述多個第一點的一顏色資訊， 所述拼貼擴充模組將所述鄰近點的位置加入所述幾何影像並且將所述鄰近點的顏色加入所述紋理影像。
  20. 如申請專利範圍第18項所述的解碼器，其中 僅當所述第一拼貼中的點的數量大於一第二門檻值時，所述拼貼擴充模組執行獲得所述點雲中距離所述取樣點小於所述第一門檻值的所述鄰近點的運作。
  21. 如申請專利範圍第18項所述的解碼器，其中 所述拼貼擴充模組還用以將一第一數量的所述鄰近點加入所述第一拼貼中，其中所述第一數量小於一第三門檻值。
  22. 如申請專利範圍第18項所述的解碼器，其中所述取樣點為位於所述第一拼貼中的邊上的點。
  23. 如申請專利範圍第18項所述的解碼器，其中所述鄰近點屬於一第二拼貼，所述第二拼貼為所述點雲的另一子集合。
  24. 一種拼貼擴充方法，包括： 獲得包括多個點的一點雲(point cloud)； 根據所述點雲獲得一第一拼貼(patch)，其中所述第一拼貼為所述點雲的一子集合； 針對所述第一拼貼中的至少一取樣點，獲得至少一擴充點；以及 將所述擴充點加入所述第一拼貼中。
TW108143551A 2019-03-15 2019-11-29 拼貼擴充方法、編碼器與解碼器 TW202036483A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962818761P 2019-03-15 2019-03-15
US62/818,761 2019-03-15
US201962849976P 2019-05-20 2019-05-20
US62/849,976 2019-05-20

Publications (1)

Publication Number Publication Date
TW202036483A true TW202036483A (zh) 2020-10-01

Family

ID=72423878

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143551A TW202036483A (zh) 2019-03-15 2019-11-29 拼貼擴充方法、編碼器與解碼器

Country Status (3)

Country Link
US (1) US20200294270A1 (zh)
CN (1) CN111768482A (zh)
TW (1) TW202036483A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589473A (zh) * 2021-07-05 2023-01-10 财团法人工业技术研究院 内容拼贴编码方法及内容拼贴解码方法
TWI816268B (zh) * 2021-07-05 2023-09-21 財團法人工業技術研究院 內容拼貼編碼方法及內容拼貼解碼方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117337449A (zh) * 2021-04-28 2024-01-02 Oppo广东移动通信有限公司 点云质量增强方法、编码和解码方法及装置、存储介质
CN115147317A (zh) * 2022-05-30 2022-10-04 山东大学 一种基于卷积神经网络的点云颜色质量增强方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201621813A (zh) * 2014-11-06 2016-06-16 鴻海精密工業股份有限公司 點雲修補方法及系統
CN104715509A (zh) * 2015-03-23 2015-06-17 江苏大学 一种基于散乱点云特征的网格重建方法
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN108090960B (zh) * 2017-12-25 2019-03-05 北京航空航天大学 一种基于几何约束的目标重建方法
CN109409437B (zh) * 2018-11-06 2021-06-01 安徽农业大学 一种点云分割方法、装置、计算机可读存储介质及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589473A (zh) * 2021-07-05 2023-01-10 财团法人工业技术研究院 内容拼贴编码方法及内容拼贴解码方法
TWI816268B (zh) * 2021-07-05 2023-09-21 財團法人工業技術研究院 內容拼貼編碼方法及內容拼貼解碼方法

Also Published As

Publication number Publication date
CN111768482A (zh) 2020-10-13
US20200294270A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7266686B2 (ja) 点群圧縮のための方法、装置、およびコンピュータプログラム
US11044478B2 (en) Compression with multi-level encoding
KR102602375B1 (ko) 포인트 클라우드 압축에서 중복 포인트를 처리하기 위한 방법 및 장치
TW202036483A (zh) 拼貼擴充方法、編碼器與解碼器
US20240153150A1 (en) Mesh Compression Texture Coordinate Signaling and Decoding
US12316883B2 (en) Techniques and apparatus for automatic ROI chunking for content-aware point cloud compression using HEVC tiles
US20210211703A1 (en) Geometry information signaling for occluded points in an occupancy map video
CN115176279A (zh) 用于点云译码的方法和装置
EP3343446A1 (en) Method and apparatus for encoding and decoding lists of pixels
US20210142463A1 (en) Generating modified digital images utilizing nearest neighbor fields from patch matching operations of alternate digital images
CN116940965A (zh) 用于网格压缩的片时间对齐解码
CN116636219A (zh) 通过使用基于几何的点云压缩来压缩时间数据
CN117178299A (zh) 将3d网格快速且紧凑地打包到2d地图中的卷积方法
WO2018068250A1 (zh) 处理数据的方法、装置、芯片和摄像头
US20240177355A1 (en) Sub-mesh zippering
WO2023179705A1 (zh) 编码、解码方法、装置及设备
WO2025012715A1 (en) Sub-mesh zippering
CN102129702A (zh) 一种图像缩略图的制作方法及其系统
Luong et al. Novel Hardware Implementation of Deduplicating Visually Identical JPEG Image Chunks
CN106534874A (zh) 纹理砖压缩及解压缩方法以及使用该方法的装置
CN116648904B (zh) 视频编码的方法、视频解码的方法、装置及存储介质
US20250329058A1 (en) Inter-Prediction for Dynamic Mesh Coding
US20230156222A1 (en) Grid-based patch generation for video-based point cloud coding
US20230040484A1 (en) Fast patch generation for video based point cloud coding
WO2023173237A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质