[go: up one dir, main page]

TWI874661B - 點雲壓縮方法、編碼器、解碼器及儲存媒介 - Google Patents

點雲壓縮方法、編碼器、解碼器及儲存媒介 Download PDF

Info

Publication number
TWI874661B
TWI874661B TW110118911A TW110118911A TWI874661B TW I874661 B TWI874661 B TW I874661B TW 110118911 A TW110118911 A TW 110118911A TW 110118911 A TW110118911 A TW 110118911A TW I874661 B TWI874661 B TW I874661B
Authority
TW
Taiwan
Prior art keywords
point cloud
stereo
attribute information
geometric information
determining
Prior art date
Application number
TW110118911A
Other languages
English (en)
Other versions
TW202147849A (zh
Inventor
馬展
王劍強
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202147849A publication Critical patent/TW202147849A/zh
Application granted granted Critical
Publication of TWI874661B publication Critical patent/TWI874661B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申請實施例公開了點雲壓縮方法、編碼器、解碼器及儲存媒介，其中，所述方法包括：獲取待編碼影像的當前塊；確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵；對所述隱層特徵進行壓縮，得到壓縮碼流。

Description

點雲壓縮方法、編碼器、解碼器及儲存媒介
本申請實施例涉及影像編碼技術，涉及但不限於點雲壓縮方法、編碼器、解碼器及儲存媒介。
基於學習的點雲幾何壓縮技術中，在點集上進行壓縮的技術應用範圍限制在點數量固定且點數少的小點雲上，無法用於真實場景的複雜點雲；而且基於三維密集卷積的點雲壓縮技術，由於將稀疏點雲轉換為體積模型進行壓縮，沒有充分挖掘點雲的稀疏結構，造成計算冗餘且編碼性能不高。
本申請實施例提供點雲壓縮方法、編碼器、解碼器及儲存媒介。本申請實施例的技術方案是這樣實現的：
第一方面，本申請實施例提供的點雲壓縮方法，包括：
獲取待壓縮影像的當前塊；
確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；
採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵；
對所述隱層特徵進行壓縮，得到壓縮碼流。
第二方面，本申請實施例提供的點雲壓縮方法，包括：
獲取待解壓影像的當前塊；
確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；
採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵；
對所述隱層特徵進行解壓縮，得到解壓縮碼流。
第三方面，本申請實施例提供的編碼器，包括：
第一記憶體和第一處理器；
所述第一記憶體儲存有可在第一處理器上運行的電腦程式，所述第一處理器執行所述程式時實現第一方面所述點雲壓縮方法。
第四方面，本申請實施例提供的解碼器，包括：
第二記憶體和第二處理器；
所述第二記憶體儲存有可在第二處理器上運行的電腦程式，所述第二處理器執行所述程式時實現第二方面所述點雲壓縮方法。
本申請實施例中，如此，針對獲取的待編碼影像的當前塊，首先，確定當前塊的點雲資料的幾何訊息和對應的屬性訊息；然後，採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵；最後，對所述隱層特徵進行壓縮，得到壓縮碼流；這樣，透過採用稀疏卷積網路對當前塊中的點雲進行幾何訊息和屬性訊息的稀疏化下採樣，從而能夠實現對複雜點雲的稀疏化轉換，這樣對得到隱層特徵進行壓縮，得到壓縮碼流，不僅能夠提高運算速率，而且編碼性能較高，進而可用於真實場景的複雜點雲。
為使本申請實施例的目的、技術方案和優點更加清楚，下面將結合本申請實施例中的附圖，對本申請的具體技術方案做進一步詳細描述。以下實施例用於說明本申請，但不用來限制本申請的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中所使用的術語只是為了描述本申請實施例的目的，不是旨在限制本申請。
在以下的描述中，涉及到“一些實施例”，其描述了所有可能實施例的子集，但是可以理解，“一些實施例”可以是所有可能實施例的相同子集或不同子集，並且可以在不衝突的情況下相互結合。
需要指出，本申請實施例所涉及的術語“第一\第二\第三”僅僅是區別類似或不同的物件，不代表針對物件的特定排序，可以理解地，“第一\第二\第三”在允許的情況下可以互換特定的順序或先後次序，以使這裡描述的本申請實施例能夠以除了在這裡圖示或描述的以外的順序實施。
為了便於對本申請實施例所提供的技術方案的理解，首先提供一種G-PCC編碼的流程方塊圖和G-PCC解碼的流程方塊圖。需要說明的是，本申請實施例描述的G-PCC編碼的流程方塊圖和G-PCC解碼的流程方塊圖僅是為了更加清楚地說明本申請實施例的技術方案，並不構成對於本申請實施例提供的技術方案的限定。本領域技術人員可知，隨著G-PCC編碼和解碼技術的演變和新業務場景的出現，本申請實施例提供的技術方案對於類似的技術問題，同樣適用。
在本申請實施例中，在點雲G-PCC編碼器框架中，將輸入三維圖像模型的點雲進行slice劃分後，對每一個slice進行獨立編碼。
如圖1所示的G-PCC編碼的流程方塊圖中，應用於點雲編碼器中，針對待編碼的點雲資料，先透過slice劃分，將點雲資料劃分為多個slice。在每一個slice中，點雲的幾何訊息和每個點雲所對應的屬性訊息是分開進行編碼的。在幾何編碼過程中，對幾何訊息進行坐標轉換，使點雲全都包含在一個包圍盒（bounding box）中，然後再進行量化，這一步量化主要起到縮放的作用，由於量化取整，使得一部分點雲的幾何訊息相同，於是在基於參數來決定是否移除重複點，量化和移除重複點這一過程又被稱為立體像素化過程。接著對bounding box進行八元數劃分。在基於八元數的幾何訊息編碼流程中，將包圍盒八等分為8個子立方體，對非空的（包含點雲中的點）的子立方體繼續進行八等分，直到劃分得到的葉子結點為1x1x1的單位立方體時停止劃分，對葉子結點中的點進行算術編碼，生成二進位的幾何位元流，即幾何碼流。在基於三角面片集（triangle soup，trisoup）的幾何訊息編碼過程中，同樣也要先進行八元數劃分，但區別於基於八元數的幾何訊息編碼，該trisoup不需要將點雲逐級劃分到邊長為1x1x1的單位立方體，而是劃分到子塊（block）邊長為W時停止劃分，基於每個block中點雲的分佈所形成的表面，得到該表面與block的十二條邊所產生的至多十二個交點（vertex），對vertex進行算術編碼（基於交點進行表面擬合），生成二進位的幾何位元流，即幾何碼流。Vertex還用於在幾何重建的過程的實現，而重建的幾何訊息在對點雲的屬性編碼時使用。
在屬性編碼過程中，幾何編碼完成，對幾何訊息進行重建後，進行顏色轉換，將顏色訊息（即屬性訊息）從RGB顏色空間轉換到YUV顏色空間。然後，利用重建的幾何訊息對點雲重新著色，使得未編碼的屬性訊息與重建的幾何訊息對應起來。在顏色訊息編碼過程中，主要有兩種變換方法，一是依賴於細節層次（Level of Detail，LOD）劃分的基於距離的提升變換，二是直接進行區域自我調整分層變換（Region Adaptive Hierarchal Transform，RAHT）的變換，這兩種方法都會將顏色訊息從空間域轉換到頻域，透過變換得到高頻係數和低頻係數，最後對係數進行量化（即量化係數），最後，將經過八元數劃分及表面擬合的幾何編碼資料與量化係數處理屬性編碼資料進行slice合成後，依次編碼每個block的vertex坐標（即算數編碼），生成二進位的屬性位元流，即屬性碼流。
如圖2所示的G-PCC解碼的流程方塊圖中，應用於點雲解碼器中。解碼器獲取二進位碼流，針對二進位碼流中的幾何位元流和屬性位元流分別進行獨立解碼。在對幾何位元流的解碼時，透過算術解碼-八元數合成-表面擬合-重建幾何-反坐標變換，得到點雲的幾何訊息；在對屬性位元流的解碼時，透過算術解碼-反量化-基於LOD的反提升或者基於RAHT的反變換-反顏色轉換，得到點雲的屬性訊息，基於幾何訊息和屬性訊息還原待編碼的點雲資料的三維圖像模型。
本申請實施例中的點雲壓縮方法，主要應用在如圖1所示的G-PCC編碼的流程和如圖2所示的G-PCC解碼的流程。也就是說，本申請實施例中的點雲壓縮方法，既可以應用於G-PCC編碼的流程方塊圖，也可以應用於G-PCC解碼的流程方塊圖，甚至還可以同時應用於G-PCC編碼的流程方塊圖和G-PCC解碼的流程方塊圖。
圖3A為本申請實施例點雲壓縮方法的實現流程示意圖，該方法可由編碼器實現，如圖3A所示，所述方法至少包括以下步驟：
步驟S301，獲取待壓縮影像的當前塊。
需要說明的是，影像圖像可以劃分為多個圖像塊，每個當前待編碼的圖像塊可以稱為編碼塊（Coding Block，CB）。這裡，每個編碼塊可以包括第一圖像分量、第二圖像分量和第三圖像分量；而當前塊為影像圖像中當前待進行第一圖像分量、第二圖像分量或者第三圖像分量預測的編碼塊。
其中，假定當前塊進行第一圖像分量預測，而且第一圖像分量為亮度分量，即待預測圖像分量為亮度分量，那麼當前塊也可以稱為亮度塊；或者，假定當前塊進行第二圖像分量預測，而且第二圖像分量為色度分量，即待預測圖像分量為色度分量，那麼當前塊也可以稱為色度塊。
還需要說明的是，預測模式參數指示了當前塊的編碼模式及該模式相關的參數。通常可以採用位元率失真優化（Rate Distortion Optimization，RDO）的方式確定當前塊的預測模式參數。
具體地，在一些實施例中，編碼器確定當前塊的預測模式參數的實現為：編碼器確定當前塊的待預測圖像分量；基於當前塊的參數，利用多種預測模式分別對待預測圖像分量進行預測編碼，計算多種預測模式下每一種預測模式對應的位元率失真代價結果；從計算得到的多個位元率失真代價結果中選取最小位元率失真代價結果，並將最小位元率失真代價結果對應的預測模式確定為當前塊的預測模式參數。
也就是說，在編碼器側，針對當前塊可以採用多種預測模式分別對待預測圖像分量進行編碼。這裡，多種預測模式通常包括有幀間預測模式、傳統幀內預測模式和非傳統幀內預測模式，而傳統幀內預測模式又可以包括有直流（Direct Current，DC）模式、平面（PLANAR）模式和角度模式等，非傳統幀內預測模式又可以包括有MIP模式、跨分量線性模型預測（Cross-component Linear Model Prediction，CCLM）模式、幀內塊複製（Intra Block Copy，IBC）模式和PLT（Palette）模式等，幀間預測模式可以包括：幀間幾何劃分預測模式（Geometrical partitioning for inter blocks，GEO）、幾何劃分預測模式、三角預測模式（Triangle partition mode，TPM）等。
這樣，在利用多種預測模式分別對當前塊進行編碼之後，可以得到每一種預測模式對應的位元率失真代價結果；然後從所得到的多個位元率失真代價結果中選取最小位元率失真代價結果，並將該最小位元率失真代價結果對應的預測模式確定為當前塊的預測模式參數；如此，最終可以使用所確定的預測模式對當前塊進行編碼，而且在這種預測模式下，可以使得預測殘差小，能夠提高編碼效率。
步驟S302，確定當前塊的點雲資料的幾何訊息和對應的屬性訊息。
在一些實施例中，點雲資料包括點雲區域的點數；當前塊中點雲資料滿足預設條件，包括：當前塊的點雲資料為密集點雲。以二維情況為例，如圖3B所示，其示出了稀疏卷積和密集卷積的對比：在密集卷積下，卷積核遍歷平面321每一個像素位置；在稀疏卷積下，由於資料在平面322內稀疏分佈，所以不需要對平面所有位置進行遍歷，只需要對資料存在的位置（即有顏色的方塊位置）進行卷積處理，這對於點雲這種在空間中分佈非常稀疏的資料來說，可以極大的減少處理量。在一些可能的實現方式中，確定出這些點的幾何訊息和該幾何訊息對應的屬性訊息。其中，幾何訊息包括該點的坐標值，屬性訊息至少包括：顏色、亮度和像素值等。 步驟S303，採用稀疏卷積網路，對幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵。
在一些實施例中，隱層特徵為對當前塊的幾何訊息和對應的屬性訊息進行下採樣之後的幾何訊息和對應的屬性訊息。步驟S303可以理解為，採用稀疏卷積網路，對幾何訊息和該幾何訊息對應的屬性訊息進行多次下採樣，得到下採樣後的幾何訊息和對應的屬性訊息。比如，按照步長為2，卷積核大小也為2的卷積實現，將每個2*2*2的空間單元內的立體像素的特徵聚合到1個立體像素上，每次下採樣後點雲的長寬高尺度都減小一半，共有3次下採樣，得到隱層特徵。
步驟S304，對所述隱層特徵進行壓縮，得到壓縮碼流。
在一些實施例中，將最終得到的隱層特徵的幾何訊息和屬性訊息分別編碼成二進位碼流，即可得到壓縮碼流。
在一些可能的實現方式中，首先，確定所述隱層特徵中的幾何訊息出現的頻率，比如，利用熵模型確定點雲的幾何坐標出現的頻率；其中，該熵模型是基於一個可訓練的透過因式分解表示的概率密度分佈，或者是基於上下文訊息的條件熵模型。然後，根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；比如，出現的概率越大，則權值越大。最後，將所述調整的隱層特徵編碼為二進位碼流，以得到所述壓縮碼流。比如，透過算術編碼的方式，對隱層特徵的坐標和屬性分別編碼，得到壓縮碼流。
在本申請實施例中，透過採用稀疏卷積網路從點雲中確定出點雲數量較少的點雲區域，從而對點雲數量較多的點雲區域進行特徵屬性的提取，不僅能夠提高運算速率，而且編碼性能較高，進而可用於真實場景的複雜點雲。
在一些實施例中，為了能夠更好的應用在複雜點雲場景中，獲取待壓縮影像的當前塊之後，還可以是透過首先，確定當前塊的點雲資料中的點數量；其次，在所述當前塊中確定所述點數量大於等於預設數值的點雲區域；再次，確定所述點雲區域中點雲資料的幾何訊息和對應的屬性訊息。最後，透過稀疏卷積網路對該區域的幾何訊息和對應的屬性訊息進行下採樣，得到用於進行壓縮的隱層特徵。這樣，透過對包括密集點雲的區域，採用稀疏卷積網路進行下採樣，從而能夠實現對複雜場景的點雲進行壓縮。
在一些實施例中，為提高確定的幾何訊息和屬性訊息的準確性，步驟S302可以透過以下步驟實現：
步驟S321，確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息。
這裡，對於點雲資料中的任一點，確定出該點在世界坐標系的坐標值，將該坐標值作為幾何訊息；還可以是將幾何訊息設置為全1，作為佔用符。這樣，能夠節省對幾何訊息的計算量。
步驟S322，對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
這裡，對於每一點的進行特徵提取，得到包括該點的顏色、亮度和像素等訊息的屬性訊息。
在本申請實施例中，透過確定點雲資料中點在世界坐標系中的坐標值，將坐標值作為集合訊息，以及進行特徵提取得到屬性訊息，從而提高了確定的幾何訊息和屬性訊息的準確性。
在一些實施例中，步驟S303，採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵，可以透過以下步驟實現，如圖3C所示，圖3C為本申請實施例提供的點雲壓縮方法的另一實現流程示意圖，結合圖3A進行以下說明：
步驟S401，對所述幾何訊息和對應的屬性訊息進行量化處理，得到單位立體像素，得到單位立體像素集合。
這裡，以三維稀疏張量形式表示幾何訊息和對應的屬性訊息，對該三維稀疏張量進行量化，量化為單位立體像素，從而得到單位立體像素集合。其中，單位立體像素可以理解為是表示點雲資料的最小單元。
步驟S402，根據稀疏卷積網路的下採樣步長和卷積核尺寸，確定下採樣次數。
這裡，稀疏卷積網路可以採用稀疏卷積神經網路來實現，如圖3B中322所示。下採樣步長和卷積核尺寸越大，下採樣次數越小；在一個具體例子中，下採樣次數為下採樣步長和卷積核尺寸相乘的次數。比如，首先，根據稀疏卷積網路的下採樣步長和卷積核尺寸，確定能夠進行壓縮的立體像素空間，然後根據該空間的大小，確定採樣次數。在稀疏卷積神經網路中可以將下採樣步長設置為2，該網路的卷積核為2，那麼能夠進行壓縮的立體像素空間為2*2*2，那麼確定下採樣次數為3。
步驟S403，按照下採樣次數，對所述單位立體像素集合中的單位立體像素進行聚合，得到所述隱層特徵。
比如，下採樣次數為3次，即可實現聚合每個2*2*2的空間單元內的單位立體像素。
在一些可能的實現方式中，首先，根據所述下採樣次數，將所述點雲佔據的區域劃分為多個單位聚合區域；比如，下採樣次數為3次，將點雲佔據的區域劃分為多個2*2*2的單位聚合區域。然後，對每一單位聚合區域內的單位立體像素進行聚合，得到目標立體像素集合；比如，將每個2*2*2的單位聚合區域中的單位立體像素聚合到一個目標立體像素中，從而得到目標立體像素集合。最後，確定所述目標立體像素集合中每一目標立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。這裡，透過對單位聚合區域內的單位立體像素進行聚合之後，確定每一目標像素的幾何訊息和對應的屬性訊息，以得到隱層特徵。
在本申請實施例中，透過多次下採樣，將單位聚合區域內的多個單位立體像素聚合到一個目標立體像素中，將目標立體像素的幾何訊息和對應的屬性訊息，作為隱層特徵；從而實現了對多個立體像素進行壓縮，進而提高了編碼性能。
本申請實施例提供一種點雲壓縮方法，該方法應用於影像解碼設備，即解碼器。該方法所實現的功能可以透過影像解碼設備中的處理器調用程式碼來實現，當然程式碼可以保存在電腦儲存媒介中，可見，該影像編碼設備至少包括處理器和儲存媒介。
在一些實施例中，圖4為本申請實施例點雲壓縮方法的另一實現流程示意圖，該方法可由解碼器實現，如圖4所示，所述方法至少包括以下步驟：
步驟S501，獲取待解壓影像的當前塊。
步驟S502，確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息。
步驟S503，採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵。
這裡，轉置卷積網路的卷積核與稀疏卷積網路的卷積核尺寸相同。在一些可能的實現方式中，可以採用步長為2，卷積核也是2的轉置卷積網路對幾何訊息和對應的屬性訊息進行上採樣。
步驟S504，對所述隱層特徵進行解壓縮，得到解壓縮碼流。
在一些實施例中，將最終得到的隱層特徵的幾何訊息和屬性訊息分別編碼成二進位碼流，即可得到壓縮碼流。
在一些可能的實現方式中，首先，確定所述隱層特徵中的幾何訊息出現的頻率，比如，利用熵模型確定點雲的幾何坐標出現的頻率；其中，該熵模型是基於一個可訓練的透過因式分解表示的概率密度分佈，或者是基於上下文訊息的條件熵模型。然後，根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；比如，出現的概率越大，則權值越大。最後，將所述調整的隱層特徵解碼為二進位碼流，以得到所述解壓縮碼流。比如，透過算術解碼的方式，對隱層特徵的坐標和屬性分別進行解碼，得到解壓縮碼流。
在本申請實施例中，透過採用稀疏轉置網路從壓縮的點雲資料進行解壓縮，不僅能夠提高運算速率，而且編碼性能較高，進而可用於真實場景的複雜點雲。
在一些實施例中，為了能夠更好的應用在複雜點雲場景中，獲取待壓縮影像的當前塊之後，還可以是透過首先，確定當前塊的點雲資料中的點數量；其次，在所述當前塊中確定所述點數量大於等於預設數值的點雲區域；再次，確定所述點雲區域中點雲資料的幾何訊息和對應的屬性訊息。最後，透過稀疏卷積網路對該區域的幾何訊息和對應的屬性訊息進行下採樣，得到用於進行壓縮的隱層特徵。這樣，透過對包括密集點雲的區域，採用稀疏卷積網路進行下採樣，從而能夠實現對複雜場景的點雲進行壓縮。
在一些實施例中，為提高確定的幾何訊息和屬性訊息的準確性，步驟S502可以透過以下步驟實現：
步驟S521，確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息。
步驟S522，對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
在本申請實施例中，透過確定點雲資料中點在世界坐標系中的坐標值，將坐標值作為集合訊息，以及進行特徵提取得到屬性訊息，從而提高了確定的幾何訊息和屬性訊息的準確性。
在一些實施例中，步驟S503，採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵，可以透過以下步驟實現：
第一步，確定所述幾何訊息和對應的屬性訊息所屬的目標立體像素。
這裡，由於當前塊是進行壓縮得到的，所以幾何訊息和屬性訊息也是壓縮的，首先確定出幾何訊息和對應的屬性訊息所屬的目標立體像素，該目標立體像素是由多個單位立體像素壓縮得到的，所以這樣先確定出幾何訊息和對應的屬性訊息所屬的目標立體像素。
第二步，根據所述轉置卷積網路的上採樣步長和卷積核尺寸，確定上採樣次數。
這裡，轉置卷積網路可以採用稀疏轉置卷積神經網路來實現，下採樣步長和卷積核尺寸越大，上採樣次數越小。
在一些可能的實現方式中，首先，確定所述目標立體像素佔據的單位聚合區域；比如，確定出該目標立體像素是由哪些區域的單位立體像素聚合得到的。
然後，在所述單位聚合區域內，根據所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素；比如，單位聚合區域為2*2*2，那麼根據上採樣次數，進行三次解壓縮，將目標立體像素解壓縮為多個單位立體像素。
最後，確定每一單位立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。比如，得到以三維稀疏張量形式表示幾何訊息和對應的屬性訊息，對該三維稀疏張量進行量化，量化為單位立體像素，從而得到單位立體像素集合。
在一些可能的實現方式中，首先，確定所述當前塊的當前層中非空單位立體像素佔據總目標立體像素的比例。這裡，確定出當前層中被佔據的立體像素（即非空單位立體像素）與未被佔據的立體像素（即空單位立體像素）的數量，得到當前層中非空單位立體像素佔據總目標立體像素的比例。另外，對於當前塊的每一層，均確定出其中被佔據的立體像素和未被佔據的空立體像素的數量，從而得到非空單位立體像素佔據總目標立體像素的比例。在一些實施例中，先是採用二分類神經網路，根據當前單位立體像素，確定下一個單位立體像素為非空立體像素的概率；這裡，採用二分類神經網路，根據當前單位立體像素是否為非空立體像素的情況，預測下一個單位立體像素為非空立體像素的概率。然後，將概率大於等於預設占比閾值的立體像素確定為預測非空單位立體像素，以確定所述比例。比如，將概率大於0.8的立體像素預測為非空單位立體像素，從而確定出非空單位立體像素佔據總目標立體像素的比例。
其次，根據所述比例，確定所述當前塊中當前層的下一層的非空單位立體像素數量。
這裡，將所述比例，確定為當前層的下一層的非空單位立體像素佔據的比例，從而確定下一層的非空單位立體像素數量。
再次，至少根據所述非空單位立體像素數量，對所述當前層的下一層進行幾何訊息重建。
這裡，按照上一步驟中，確定出非空單位立體像素數量，預測出下一層中滿足該數量的所述非空單位立體像素，根據該預測出的非空單位立體像素和未預測出的非空單位立體像素，對當前層的下一層進行幾何訊息重建。
最後，確定所述下一層的點雲資料的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
這裡，對下一層進行重建之後，確定出該層的雲資料的幾何訊息和對應的屬性訊息；對於當前塊的每一層重建之後，均可確定出該層的幾何訊息和對應的屬性訊息；將多層的幾何訊息和對應的屬性訊息，作為當前塊的隱層特徵。
在本申請實施例中，透過當前層中非空單位立體像素佔據的比例預測下一層非空單位立體像素的數量，使得下一層非空立體像素數量更加接近真實值，根據點雲中非空立體像素的真值數量，對預設占比閾值進行調整，從而能夠實現分類重建時利用立體像素數量進行自我調整閾值的設置，進而提高了編碼性能。
在一些實施例中，動態圖像專家組（Moving Picture Experts Group，MPEG）、聯合圖像專家組（Joint Photographic Experts Group，JPEG）和音訊視訊編碼標準（Audio Video coding Standard，AVS）等標準組織都在發展點雲壓縮的相關技術標準。其中，MPEG點雲壓縮（Point Cloud Compression，PCC）的技術標準較領先且具有代表性。它包括基於幾何的點雲壓縮（Geometry-based Point Cloud Compression G-PCC）和基於影像的點雲壓縮（Video-based Point Cloud Compression，V-PCC）。G-PCC中的幾何壓縮主要透過八元數模型和/或三角形表面模型實現。V-PCC主要透過三維到二維的投影和影像壓縮實現。
按照壓縮內容，點雲壓縮可以分為幾何壓縮和屬性壓縮。本申請實施例所述的技術方案屬於幾何壓縮。
與本申請實施例內容相近的是，新興的利用神經網路和深度學習的點雲幾何壓縮技術。目前該研究方向尚處於起步探索階段。目前出現的技術資料可分為基於三維卷積神經網路的體積模型壓縮技術和直接在點集上利用PointNet等網路的點雲壓縮技術。
然而，G-PCC由於其不能充分對點雲幾何結構進行特徵提取和變換，所以壓縮率低。V-PCC在密集點雲上的編碼性能優於G-PCC，但是受限於投影的方法，仍不能對三維幾何結構特徵進行充分壓縮，且編碼器複雜度高。
相關的基於學習的點雲幾何壓縮技術都缺乏滿足標準條件的測試結果，並且缺少足夠的同行評審以及缺少公開的技術和資料以進行對比驗證。且其各種方案具有如下明顯缺陷：直接在點集上進行壓縮的技術應用範圍限制在點數量固定且點數少的小點雲上，不能直接用於真實場景的複雜點雲。基於三維密集卷積的點雲壓縮技術，由於將稀疏點雲轉換為體積模型進行壓縮，沒有充分挖掘點雲的稀疏結構，而造成計算冗餘且編碼性能不高等問題。
基於此，下面將說明本申請實施例在一個實際的應用場景中的示例性應用。
本申請實施例提供了一種多尺度點雲幾何壓縮方法，使用端到端學習的自編碼器框架，利用稀疏卷積神經網路構建分析變換和合成變換。點雲資料以三維稀疏張量形式表示為坐標與對應屬性：{C，F}，輸入的點雲幾何資料X的對應屬性FX為全1，作為佔用符。在編碼器中，輸入X經過分析變換被遞進式地下採樣到多個尺度，在此過程中，幾何結構特徵被自動提取並嵌入到稀疏張量的屬性F中。最終得到的隱層表徵Y的坐標CY和特徵屬性FY被分別編碼成二進位碼流。在解碼器中，隱層表徵Y被解碼，然後經過合成變換中遞進式地上採樣，輸出多尺度的重建結果。
所述方法的詳細流程和轉碼器結構如圖5A所示，圖中AE表示算術編碼（Arithmetic Encoder），AD（Arithmetic Decoder）表示算術解碼；
詳細說明如下：
編解碼的變換由多層稀疏卷積神經網路組成：初始-殘差網路（Inception-Residual Network，IRN）被用於提高網路的特徵分析能力，IRN結構如圖5B所示，在每一次上採樣和下採樣後，都有一個由3個IRN單元組成的特徵提取模組；下採樣透過步長為2、卷積核大小也為2的卷積實現，將每個2x2x2的空間單元內的立體像素的特徵聚合到1個立體像素上，每次下採樣後點雲的長寬高尺度都減小一半，共有3次下採樣；在解碼器中的上採樣透過步長為2、卷積核也為2的轉置卷積實現，即，將1個立體像素劃分為2x2x2個立體像素，點雲的長寬高尺度將變為原來的2倍。每次上採樣後，透過二分類從生成的立體像素中保留預測為被佔據的立體像素，去除預測為空的立體像素及其屬性，以實現幾何細節的重建。透過分層遞進式的重建，粗糙點雲逐漸恢復出細節結構。其中，圖5B所示的REL表示修正線性單元（Rectified Linear unit）。
關於多尺度分層重建的詳細說明如下：可以透過二分類區分生成立體像素，從而實現重建。所以在解碼器的每一個尺度的特徵上，透過一層輸出通道為1的卷積來預測每一個立體像素被佔據的概率。在訓練過程中，使用二值交叉熵損失函數（LBCE ）衡量分類失真並用於訓練；在分層重建中，對應使用多尺度LBCE ，即，以實現多尺度的訓練；其中，N表示不同尺度的個數，多尺度LBCE 可以稱為失真損失，即下文描述的失真損失D。在推斷過程中，透過設置概率的閾值來進行分類，該閾值不固定，而是根據點數量自我調整地設置，即透過排序，選擇概率更大的立體像素，當設置重建立體像素數量和原始立體像素數量相同時，往往可以獲得最優結果。一個具體的重建過程可以參照圖6理解，如圖6所示，從（a）到（b）表示1次下採樣，從（b）到（c）表示1次下採樣，從（c）到（d）表示1次下採樣，即，從（a）到（d）表示編碼過程中點雲的3次下採樣。從（e）到（j）表示點雲的分層重建過程，（e）、（g）和（i）表示3次上採樣的結果，顏色代表立體像素被佔據的概率的大小，約接近綠色，被佔據的概率越大，約接近藍色，概率越小。（f）、（h）和（j）是根據概率分類的結果，共有3種可能，其中綠色和藍色分別代表預測出的立體像素中正確的和錯誤的結果，而紅色表示沒有被正確預測出的立體像素。在訓練時，為了避免前面沒有預測出來的立體像素對後面的重建造成影響，同時保留了預測出的立體像素和沒有被預測出的立體像素用於下一級的重建。
關於如何對特徵進行編碼的說明如下：透過分析變換得到的隱層特徵Y的坐標CY 和屬性FY 被分別編碼。坐標CY 透過經典的八元數編碼器無損編碼，僅佔據較小的碼率。屬性FY 經過量化得到，然後透過算術編碼進行壓縮。算術編碼依賴於一個學習到的熵模型來估計每一個的概率，如下式（1）所示，該熵模型透過一個完全因式分解概率密度分佈得到：（1）； 式中，為每個單變數分佈的分佈。該分佈與一個均勻概率密度卷積得到概率值。
此外，本申請實施例也提供了一個基於上下文訊息的條件熵模型，假設特徵的數值服從高斯分佈，可以利用該分佈得到該熵模型。為了利用上下文來預測高斯分佈的參數，可以基於掩模卷積設計上下文模型，該模型用來提取上下文訊息，如圖5C所示，其示出了自回歸先驗的上下文模型（Context Model via Autoregressive Prior）的結構，對於輸入的當前立體像素，透過一個卷積核為5x5x5的掩模卷積來掩蓋當前立體像素的後面的立體像素，以便利用前面的立體像素對當前立體像素進行預測，得到的輸出的正態分佈的均值和方差。透過實驗表明，基於上下文的條件熵模型在測試集上和基於完全因式分解的概率密度模型相比，平均得到-7.28%的BD-Rate。
轉碼器的參數需要經過訓練得到，訓練細節描述如下：所用資料集為ShapeNet資料集，對該資料集進行採樣，得到密集點雲；並將該密集點雲中點的坐標量化到[0,127]範圍內，以用於訓練。用於訓練的損失函數是失真損失D和碼率損失R的加權和：；
其中，R可以透過上述熵模型估計的概率計算訊息熵得到，即透過如下式得到：，K表示待編碼的數位（即卷積變換得到的數值）的總數；失真損失的運算式為：；參數用於控制碼率損失R和失真損失D的比重，該參數值例如可以設置為0.5、1、2、4或6等任意值，以獲得不同碼率的模型。訓練可以使用適應性矩估計（Adaptive Moment estimation，Adam）優化演算法。損失函數從0.0008到0.00002衰減，訓練32000批，每一批有8個點雲。
本申請實施例在MPEG PCC要求的測試點雲長裙（longdress）、紅色和黑色（redandblack）、籃球運動員（basketball player）和安德魯（Andrew）、搶劫（Loot）、士兵（Soldier）和舞者（Dancer）以及聯合攝影專家組要求的多種資料集上進行測試，利用基於點到點距離的峰值信噪比（D1 Peak Signal to Noise Ratio，D1 PSNR）作為客觀品質評價指標，相比V-PCC、G-PCC（octree）和G-PCC （trisoup），BD-rate（Bjontegaard Delta Rate）分別為-36.93%、-90.46%、-91.06%。
在長裙、紅色和黑色、籃球運動員和安德魯這4個資料上和其它方法的碼率曲線對比如圖7所示，從圖7中可以看出，在每種資料上，本申請實施例提供的所述方法，無論在哪種碼率（Bit）下獲得的PSNR均高於其它方法，即本申請實施例所獲得的壓縮性能較好。
在redandblack資料上相近碼率的主觀品質對比如圖8所示，從圖中可以看出，以上資料說明所述方法的壓縮性能相比V-PCC、G-PCC有較大提升。
此外，由於充分適應了點雲稀疏且無結構的特點，本申請實施例相比於其它基於學習的點雲幾何壓縮方法有更多的靈活性，不需要對點數量或者體積模型的大小進行限制，可以方便地處理任意大小的點雲。且編解碼所需要的時間和儲存開銷相比於基於體積模型的方法減少很多。在Longdress、Loot、Redandblack和Soldier上的平均測試顯示，編碼所需要的記憶體約為333MB，時間約為1.58s，解碼所需要的記憶體約為1273MB，時間約為5.4s；其中，使用的測試設備為Intel Core i7-8700KW CPU和Nvidia GeForce GTX 1070 GPU。
在本申請實施例中，設計了一個基於稀疏張量和稀疏卷積的點雲幾何編解碼方案。在編解碼變換中，應用多尺度結構和損失函數提供多尺度的重建。基於分類重建時利用點數量進行自我調整閾值設置。
在一些實施例中，可以對神經網路的結構參數進行修改，例如增加或減少上下採樣次數，和/或改變網路層數等。
基於前述的實施例，本申請實施例提供的點雲壓縮的編碼器和解碼器，可以包括所包括的各模組、以及各模組所包括的各單元，可以透過電子設備中的處理器來實現；當然也可透過具體的邏輯電路實現；在實施的過程中，處理器可以為中央處理器、微處理器、數位訊號處理器或場域可程式閘陣列等。
如圖9所示，本申請實施例提供一種編碼器900，包括：
第一獲取模組901，用於獲取待編碼影像的當前塊；
第一確定模組902，用於確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；
下採樣模組903，用於採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵；
第一壓縮模組904，用於對所述隱層特徵進行壓縮，得到壓縮碼流。
在本申請的一些實施例中，所述第一確定模組902，還用於：確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息；對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
在本申請的一些實施例中，所述下採樣模組903，還用於：對所述幾何訊息和對應的屬性訊息進行量化處理，得到單位立體像素，得到單位立體像素集合；根據所述稀疏卷積網路的下採樣步長和卷積核尺寸，確定下採樣次數；按照所述下採樣次數，對所述單位立體像素集合中的單位立體像素進行聚合，得到所述隱層特徵。
在本申請的一些實施例中，所述下採樣模組903，還用於：根據所述下採樣次數，將所述點雲佔據的區域劃分為多個單位聚合區域；對每一單位聚合區域內的單位立體像素進行聚合，得到目標立體像素集合；確定所述目標立體像素集合中每一目標立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
在本申請的一些實施例中，所述第一壓縮模組904，還用於：確定所述隱層特徵中的幾何訊息出現的頻率；根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；將所述調整的隱層特徵編碼為二進位碼流，以得到所述壓縮碼流。
在實際應用中，如圖10所示，本申請實施例還提供了一種編碼器1000，包括：第一記憶體1001和第一處理器1002；所述第一記憶體1001儲存有可在第一處理器1002上運行的電腦程式，所述第一處理器1002執行所述程式時編碼器側的點雲壓縮方法。
如圖11所示，本申請實施例提供一種解碼器1100，包括：
第二獲取模組1101，用於獲取待解壓影像的當前塊；
第二確定模組1102，用於確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；
上採樣模組1103，用於採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵；
解壓縮模組1104，用於對所述隱層特徵進行解壓縮，得到解壓縮碼流。
在本申請的一些實施例中，第二獲取模組1101，還用於：確定所述當前塊的點雲資料中的點數量；在所述當前塊中確定所述點數量大於等於預設數值的點雲區域；確定所述點雲區域中點雲資料的幾何訊息和對應的屬性訊息。
在本申請的一些實施例中，第二確定模組1102，還用於：確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息；對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
在本申請的一些實施例中，所述上採樣模組1103，還用於：確定所述幾何訊息和對應的屬性訊息所屬的目標立體像素；根據所述轉置卷積網路的上採樣步長和卷積核尺寸，確定上採樣次數；按照所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素，以得到所述隱層特徵。
在本申請的一些實施例中，所述上採樣模組1103，還用於：確定所述目標立體像素佔據的單位聚合區域；在所述單位聚合區域內，根據所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素；確定每一單位立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
在本申請的一些實施例中，所述上採樣模組1103，還用於：確定所述當前塊的當前層中非空單位立體像素佔據總目標立體像素的比例；根據所述比例，確定所述當前塊中當前層的下一層的非空單位立體像素數量；至少根據所述非空單位立體像素數量，對所述當前層的下一層進行幾何訊息重建；確定所述下一層的點雲資料的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
在本申請的一些實施例中，所述上採樣模組1103，還用於：採用二分類神經網路，根據當前單位立體像素，確定下一個單位立體像素為非空立體像素的概率；將概率大於等於預設占比閾值的立體像素確定為所述非空單位立體像素，以確定所述比例。
在本申請的一些實施例中，所述解壓縮模組1104，還用於：確定所述隱層特徵中的幾何訊息出現的頻率；根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；將所述調整的隱層特徵解壓縮為二進位碼流，以得到所述解壓縮碼流。
在實際應用中，如圖12所示，本申請實施例還提供了一種解碼器1200，包括：
第二記憶體1201和第二處理器1202；
所述第二記憶體1201儲存有可在第二處理器1202上運行的電腦程式，所述第二處理器1202執行所述程式時實現解碼器側的點雲壓縮方法。
相應的，本申請實施例提供了一種儲存媒介，其上儲存有電腦程式，該電腦程式被第一處理器執行時，實現編碼器的點雲壓縮方法；或者，該電腦程式被第二處理器執行時，實現解碼器的點雲壓縮方法。
以上裝置實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本申請裝置實施例中未披露的技術細節，請參照本申請方法實施例的描述而理解。
需要說明的是，本申請實施例中，如果以軟體功能模組的形式實現上述的點雲壓縮方法，並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本申請實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得電子設備（可以是手機、平板電腦、筆記型電腦、臺式電腦、機器人、無人機等）執行本申請各個實施例所述方法的全部或部分。而前述的儲存媒介包括：隨身碟、行動硬碟、唯讀記憶體（Read Only Memory，ROM）、磁碟或者光碟等各種可以儲存程式碼的媒介。這樣，本申請實施例不限制於任何特定的硬體和軟體結合。
這裡需要指出的是：以上儲存媒介和設備實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本申請儲存媒介和設備實施例中未披露的技術細節，請參照本申請方法實施例的描述而理解。
應理解，說明書通篇中提到的“一個實施例”或“一實施例”意味著與實施例有關的特定特徵、結構或特性包括在本申請的至少一個實施例中。因此，在整個說明書各處出現的“在一個實施例中”或“在一實施例中”未必一定指相同的實施例。此外，這些特定的特徵、結構或特性可以任意適合的方式結合在一個或多個實施例中。應理解，在本申請的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本申請實施例的實施過程構成任何限定。上述本申請實施例序號僅僅為了描述，不代表實施例的優劣。
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以透過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通訊連接可以是透過一些介面，設備或單元的間接耦合或通訊連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是實體上分開的，作為單元顯示的部件可以是、或也可以不是實體單元；既可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以透過程式指令相關的硬體來完成，前述的程式可以儲存於電腦可讀取儲存媒介中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存媒介包括：行動存放裝置、唯讀記憶體（Read Only Memory，ROM）、磁碟或者光碟等各種可以儲存程式碼的媒介。
或者，本申請上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本申請實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得電子設備（可以是手機、平板電腦、筆記型電腦、臺式電腦、機器人、無人機等）執行本申請各個實施例所述方法的全部或部分。而前述的儲存媒介包括：行動存放裝置、ROM、磁碟或者光碟等各種可以儲存程式碼的媒介。
本申請所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本申請所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本申請所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
以上所述，僅為本申請的實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述請求項的保護範圍為準。
321、322:平面 900:編碼器 901:第一獲取模組 902:第一確定模組 903:下採樣模組 904:第一壓縮模組 1000:編碼器 1001:第一記憶體 1002:第一處理器 1100:解碼器 1101:第二獲取模組 1102:第二確定模組 1103:上採樣模組 1104:解壓縮模組 1200:解碼器 1201:第二記憶體 1202:第二處理器 S301~S304:步驟 S401~S403:步驟 S501~S504:步驟
圖1為本申請實施例提供的示例性的編碼流程方塊圖；
圖2為本申請實施例提供的示例性的解碼流程方塊圖；
圖3A為本申請實施例點雲壓縮方法的實現流程示意圖；
圖3B為本申請實施例神經網路的結構示意圖；
圖3C為本申請實施例提供的點雲壓縮方法的另一實現流程示意圖；
圖4為本申請實施例點雲壓縮方法的另一實現流程示意圖；
圖5A為本申請實施例點雲壓縮和解壓縮方法的實現流程示意圖；
圖5B為本申請實施例IRN的結構示意圖；
圖5C為本申請實施例上下文模型的結構示意圖；
圖6為本申請實施例重建過程示意圖；
圖7為本申請實施例在多種資料上和其它方法的碼率曲線對比示意圖；
圖8為本申請實施例在紅色和黑色資料上相近碼率的主觀品質和其它方法的獲得主觀品質對比示意圖；
圖9為本申請實施例提供的編碼器的組成結構示意圖；
圖10為本申請實施例提供的編碼器的另一組成結構示意圖；
圖11為本申請實施例提供的解碼器的組成結構示意圖；
圖12為本申請實施例提供的解碼器的另一組成結構示意圖。
S301~S304:步驟

Claims (14)

  1. 一種點雲壓縮方法，所述方法包括：獲取待壓縮影像的當前塊；確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵；對所述隱層特徵進行壓縮，得到壓縮碼流，其中，所述採用稀疏卷積網路，對所述幾何訊息和對應的屬性訊息進行下採樣，得到隱層特徵，包括：對所述幾何訊息和對應的屬性訊息進行量化處理，得到單位立體像素，得到單位立體像素集合；根據所述稀疏卷積網路的下採樣步長和卷積核尺寸，確定下採樣次數；按照所述下採樣次數，對所述單位立體像素集合中的單位立體像素進行聚合，得到所述隱層特徵。
  2. 根據請求項1所述的方法，其中，所述確定所述點雲資料的幾何訊息和對應的屬性訊息，包括：確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息；對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
  3. 根據請求項1所述的方法，其中，所述按照所述下採樣次數，對所述立體像素矩陣集合中的單位立體像素矩陣進行聚合，得到所述隱層特徵，包括： 根據所述下採樣次數，將所述點雲佔據的區域劃分為多個單位聚合區域；對每一單位聚合區域內的單位立體像素進行聚合，得到目標立體像素集合；確定所述目標立體像素集合中每一目標立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
  4. 根據請求項1或3所述的方法，其中，所述對所述隱層特徵進行壓縮，得到壓縮碼流，包括：確定所述隱層特徵中的幾何訊息出現的頻率；根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；將所述調整的隱層特徵編碼為二進位碼流，以得到所述壓縮碼流。
  5. 一種點雲壓縮方法，所述方法包括：獲取待解壓影像的當前塊；確定所述當前塊的點雲資料的幾何訊息和對應的屬性訊息；採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵；對所述隱層特徵進行解壓縮，得到解壓縮碼流，其中，所述採用轉置卷積網路，對所述幾何訊息和對應的屬性訊息進行上採樣，得到隱層特徵，包括：確定所述幾何訊息和對應的屬性訊息所屬的目標立體像素；根據所述轉置卷積網路的上採樣步長和卷積核尺寸，確定上採樣次數；按照所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素，以得到所述隱層特徵。
  6. 根據請求項5所述的方法，其中，所述獲取待解壓影像的當前塊之後，所述方法還包括：確定所述當前塊的點雲資料中的點數量；在所述當前塊中確定所述點數量大於等於預設數值的點雲區域；確定所述點雲區域中點雲資料的幾何訊息和對應的屬性訊息。
  7. 根據請求項5所述的方法，其中，所述確定所述點雲資料的幾何訊息和對應的屬性訊息，包括：確定所述點雲資料中任一點在世界坐標系中的坐標值，得到所述幾何訊息；對所述任一點進行特徵提取，得到與所述幾何訊息對應的所述屬性訊息。
  8. 根據請求項5所述的方法，其中，所述按照所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素，以得到所述隱層特徵，包括：確定所述目標立體像素佔據的單位聚合區域；在所述單位聚合區域內，根據所述上採樣次數，將所述目標立體像素解壓縮為多個單位立體像素；確定每一單位立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
  9. 根據請求項8所述的方法，其中，所述確定每一單位立體像素的幾何訊息和對應的屬性訊息，以得到所述隱層特徵，包括：確定所述當前塊的當前層中非空單位立體像素佔據總目標立體像素的比例；根據所述比例，確定所述當前塊中當前層的下一層的非空單位立體像素數量； 至少根據所述非空單位立體像素數量，對所述當前層的下一層進行幾何訊息重建；確定所述下一層的點雲資料的幾何訊息和對應的屬性訊息，以得到所述隱層特徵。
  10. 根據請求項9所述的方法，其中，所述確定每一目標立體像素中的非空立體像素佔據總目標立體像素的比例，包括：採用二分類神經網路，根據當前單位立體像素，確定下一個單位立體像素為非空立體像素的概率；將概率大於等於預設占比閾值的立體像素確定為所述非空單位立體像素，以確定所述比例。
  11. 根據請求項9或10所述的方法，其中，所述對所述隱層特徵進行解壓縮，得到解壓縮碼流，包括：確定所述隱層特徵中的幾何訊息出現的頻率；根據所述頻率，對所述隱層特徵進行加權調整，得到調整的隱層特徵；將所述調整的隱層特徵解壓縮為二進位碼流，以得到所述解壓縮碼流。
  12. 一種編碼器，包括：第一記憶體和第一處理器；所述第一記憶體儲存有可在第一處理器上運行的電腦程式，所述第一處理器執行所述程式時實現請求項1至4任一項所述點雲壓縮方法。
  13. 一種解碼器，包括：第二記憶體和第二處理器；所述第二記憶體儲存有可在第二處理器上運行的電腦程式，所述第二處理器執行所述程式時實現請求項5至11任一項所述點雲壓縮方法。
  14. 一種儲存媒介，其上儲存有電腦程式，該電腦程式被第一處理器執行時，實現請求項1至4任一項所述點雲壓縮方法；或者，該電腦程式被第二處理器執行時，實現請求項5至11任一項所述點雲壓縮方法。
TW110118911A 2020-06-05 2021-05-25 點雲壓縮方法、編碼器、解碼器及儲存媒介 TWI874661B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010508225.3 2020-06-05
CN202010508225 2020-06-05
CN202010677169.6 2020-07-14
CN202010677169.6A CN113766228B (zh) 2020-06-05 2020-07-14 点云压缩方法、编码器、解码器及存储介质

Publications (2)

Publication Number Publication Date
TW202147849A TW202147849A (zh) 2021-12-16
TWI874661B true TWI874661B (zh) 2025-03-01

Family

ID=78785582

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110118911A TWI874661B (zh) 2020-06-05 2021-05-25 點雲壓縮方法、編碼器、解碼器及儲存媒介

Country Status (5)

Country Link
US (1) US20230075442A1 (zh)
EP (1) EP4156683A4 (zh)
CN (3) CN116132671A (zh)
TW (1) TWI874661B (zh)
WO (1) WO2021244363A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132671A (zh) * 2020-06-05 2023-05-16 Oppo广东移动通信有限公司 点云压缩方法、编码器、解码器及存储介质
US20230013421A1 (en) * 2021-07-14 2023-01-19 Sony Group Corporation Point cloud compression using occupancy networks
WO2023130333A1 (zh) * 2022-01-06 2023-07-13 上海交通大学 编解码方法、编码器、解码器以及存储介质
CN114972551B (zh) * 2022-02-11 2024-12-17 北京大学深圳研究生院 一种点云的压缩和解压缩方法
US11900525B2 (en) * 2022-02-14 2024-02-13 Google Llc Learned volumetric attribute compression using coordinate-based networks
WO2023179706A1 (zh) * 2022-03-25 2023-09-28 维沃移动通信有限公司 编码方法、解码方法及终端
WO2023205969A1 (zh) * 2022-04-24 2023-11-02 Oppo广东移动通信有限公司 点云几何信息的压缩、解压缩及点云视频编解码方法、装置
CN114612751B (zh) * 2022-05-12 2022-08-05 南京航空航天大学 一种基于语义学习的整机点云数据的下采样方法
CN115049750B (zh) * 2022-05-31 2023-06-16 九识智行(北京)科技有限公司 基于八叉树的体素地图生成方法、装置、存储介质及设备
CN115018938A (zh) * 2022-06-10 2022-09-06 深圳市镭神智能系统有限公司 一种点云数据的处理方法、装置、设备以及存储介质
CN115049946B (zh) * 2022-06-10 2023-09-26 安徽农业大学 一种基于点云变换的麦田生长状态判别方法与装置
CN115102934B (zh) * 2022-06-17 2023-09-19 腾讯科技（深圳）有限公司 点云数据的解码方法、编码方法、装置、设备及存储介质
CN114782438B (zh) * 2022-06-20 2022-09-16 深圳市信润富联数字科技有限公司 物体点云修正方法、装置、电子设备和存储介质
CN119366184A (zh) * 2022-07-12 2025-01-24 Oppo广东移动通信有限公司 一种点云帧间补偿方法、编解码方法、装置和系统
CN119213771A (zh) * 2022-07-12 2024-12-27 Oppo广东移动通信有限公司 一种点云几何数据增强、编解码方法、装置和系统
CN119174177A (zh) * 2022-07-12 2024-12-20 Oppo广东移动通信有限公司 编解码方法、解码器、编码器及计算机可读存储介质
CN115169556B (zh) * 2022-07-25 2023-08-04 美的集团(上海)有限公司 模型剪枝方法及装置
CN119366187A (zh) * 2022-07-29 2025-01-24 上海交通大学 编解码方法、码流、编码器、解码器以及存储介质
WO2024060161A1 (zh) * 2022-09-22 2024-03-28 上海交通大学 编解码方法、编码器、解码器以及存储介质
CN117934752A (zh) * 2022-10-14 2024-04-26 戴尔产品有限公司 用于生成目标对象的方法、电子设备和计算机程序产品
CN119856487A (zh) * 2022-10-17 2025-04-18 Oppo广东移动通信有限公司 编解码方法、解码器、编码器及计算机可读存储介质
WO2024082101A1 (zh) * 2022-10-17 2024-04-25 Oppo广东移动通信有限公司 编解码方法、解码器、编码器、码流及存储介质
CN115661275A (zh) * 2022-10-20 2023-01-31 浙江工商大学 一种基于通道增益的可变速率稀疏点云压缩方法
CN116095181B (zh) * 2022-12-30 2024-06-07 天翼云科技有限公司 一种基于对象存储的点云压缩存储方法及装置
WO2024148473A1 (zh) * 2023-01-09 2024-07-18 Oppo广东移动通信有限公司 编码方法及装置、编码器、码流、设备、存储介质
WO2024153154A1 (en) * 2023-01-19 2024-07-25 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024159534A1 (zh) * 2023-02-03 2024-08-08 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
CN120752675A (zh) * 2023-02-21 2025-10-03 抖音视界有限公司 用于视频处理的方法、装置和介质
WO2024178542A1 (zh) * 2023-02-27 2024-09-06 上海交通大学 编解码方法、编码器、解码器以及存储介质
US20240331205A1 (en) * 2023-04-03 2024-10-03 Qualcomm Incorporated Attribute coding for point cloud compression
CN120752676A (zh) * 2023-04-13 2025-10-03 高通股份有限公司 用于点云压缩的属性译码和扩增
WO2024217510A1 (en) * 2023-04-19 2024-10-24 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud processing
WO2024221201A1 (zh) * 2023-04-24 2024-10-31 上海交通大学 编解码方法及装置、编解码器、几何码流、设备、存储介质
WO2024221456A1 (zh) * 2023-04-28 2024-10-31 Oppo广东移动通信有限公司 解码方法、编码方法、训练方法、解码器以及编码器
CN116612025A (zh) * 2023-05-09 2023-08-18 宁波大学 基于占用概率学习的彩色点云v-pcc失真修复方法
CN116385571B (zh) * 2023-06-01 2023-09-15 山东矩阵软件工程股份有限公司 一种基于多维化动态可变分辨率的点云压缩方法及系统
WO2025000342A1 (zh) * 2023-06-29 2025-01-02 Oppo广东移动通信有限公司 编解码方法、编码器、解码器以及存储介质
WO2025000429A1 (zh) * 2023-06-30 2025-01-02 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
CN116800979B (zh) * 2023-07-14 2025-05-27 北京邮电大学 一种基于帧间隐式相关性的点云视频编码方法
US12288367B2 (en) 2023-08-01 2025-04-29 City University Of Hong Kong Point cloud geometry compression
WO2025073291A1 (en) * 2023-10-07 2025-04-10 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud processing
WO2025147965A1 (zh) * 2024-01-11 2025-07-17 Oppo广东移动通信有限公司 编解码方法、解码器、编码器及计算机可读存储介质
WO2025208368A1 (zh) * 2024-04-02 2025-10-09 Oppo广东移动通信有限公司 编解码方法、点云编码器、点云解码器以及存储介质
WO2025213480A1 (zh) * 2024-04-12 2025-10-16 Oppo广东移动通信有限公司 编解码方法及装置、点云编解码器、码流、设备、存储介质
CN118283278B (zh) * 2024-05-09 2024-09-03 深圳市其域创新科技有限公司 三维数据压缩方法、数据解压方法、电子设备及存储介质
CN118381927B (zh) * 2024-06-24 2024-08-23 杭州宇泛智能科技股份有限公司 基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备
CN118632027B (zh) * 2024-08-08 2024-10-29 华侨大学 一种基于图卷积网络的点云压缩方法
CN119559269B (zh) * 2024-11-14 2025-09-30 北京理工大学 一种仿人眼三维点云数据压缩方法
CN119729018B (zh) * 2024-11-29 2025-10-03 重庆邮电大学 面向三维点云无线传输的自适应深度信源信道联合编码方法
CN119625091B (zh) * 2025-02-12 2025-06-03 鹏城实验室 三维点云编码方法、三维点云解码方法、装置、电子设备
CN120034663A (zh) * 2025-02-19 2025-05-23 上海工程技术大学 动态点云压缩的编码单元优化划分及动态点云压缩方法
CN119722825B (zh) * 2025-02-27 2025-07-01 烟台大学 一种基于层间残差和irn连接残差的点云几何压缩方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156206A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing Spatially-Sparse Data Based on Submanifold Sparse Convolutional Neural Networks
US20190373293A1 (en) * 2019-08-19 2019-12-05 Intel Corporation Visual quality optimized video compression
CN110674829A (zh) * 2019-09-26 2020-01-10 哈尔滨工程大学 一种基于图卷积注意网络的三维目标检测方法
CN110677652A (zh) * 2019-09-26 2020-01-10 叠境数字科技（上海）有限公司 一种基于体素卷积的点云几何有损压缩方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316311A1 (en) * 2015-03-24 2017-11-02 Hrl Laboratories, Llc Sparse inference modules for deep learning
GB201616095D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd A neural network and method of using a neural network to detect objects in an environment
CN107403456B (zh) * 2017-07-28 2019-06-18 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
CN108833927B (zh) * 2018-05-03 2019-08-16 北京大学深圳研究生院 一种基于删除量化矩阵中0元素的点云属性压缩方法
US11012713B2 (en) * 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11057631B2 (en) * 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
CN110097605B (zh) * 2019-05-05 2022-05-27 山东大学 一种基于支持向量机的点云压缩编码器关键参数优化方法
CN110349230A (zh) * 2019-07-15 2019-10-18 北京大学深圳研究生院 一种基于深度自编码器的点云几何压缩的方法
US11803989B2 (en) * 2020-01-08 2023-10-31 Qualcomm Incorporated Quantization for geometry-based point cloud compression
CN116132671A (zh) * 2020-06-05 2023-05-16 Oppo广东移动通信有限公司 点云压缩方法、编码器、解码器及存储介质
CN118015375A (zh) * 2024-03-04 2024-05-10 东海实验室 一种基于可见光相机、红外相机和激光雷达的目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156206A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing Spatially-Sparse Data Based on Submanifold Sparse Convolutional Neural Networks
US20190373293A1 (en) * 2019-08-19 2019-12-05 Intel Corporation Visual quality optimized video compression
CN110674829A (zh) * 2019-09-26 2020-01-10 哈尔滨工程大学 一种基于图卷积注意网络的三维目标检测方法
CN110677652A (zh) * 2019-09-26 2020-01-10 叠境数字科技（上海）有限公司 一种基于体素卷积的点云几何有损压缩方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Information technology - Coded Representation of Immersive Media - Part 5: Video-based Point Cloud Compression. ISO/IEC 23090-5:2019(E), ISO/IEC JTC 1/SC 29/WG 11, N19089, MPEG 129, 2020-04-14. https://www.mpeg.org/meetings/mpeg-129/ *

Also Published As

Publication number Publication date
CN113766228A (zh) 2021-12-07
EP4156683A1 (en) 2023-03-29
WO2021244363A1 (zh) 2021-12-09
TW202147849A (zh) 2021-12-16
CN116132671A (zh) 2023-05-16
EP4156683A4 (en) 2023-08-09
US20230075442A1 (en) 2023-03-09
CN113766228B (zh) 2023-01-13
CN116016917A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
TWI874661B (zh) 點雲壓縮方法、編碼器、解碼器及儲存媒介
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
WO2023130333A1 (zh) 编解码方法、编码器、解码器以及存储介质
JP7673198B2 (ja) 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ
CN116320487A (zh) 帧内预测方法、装置、编码器、解码器、及存储介质
JP2025518459A (ja) Ａｉベースの動的点群コーディングのための幾何座標スケーリング
JP2024505798A (ja) 点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器
CN119487841A (zh) 使用神经网络进行图像区域的并行处理-解码、后滤波和rdoq
TW202404359A (zh) 編解碼方法、編碼器、解碼器以及可讀儲存媒介
Hussain et al. Developed JPEG Algorithm applied in image compression
CN108353193A (zh) 基于多个基于图的模型通过使用优化转换编码/解码视频信号的方法和设备
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
JP7589904B2 (ja) メッシュ圧縮のためのパッチ時間的位置合わせの符号化
CN113079378A (zh) 图像处理方法、装置和电子设备
CN116320488A (zh) 帧内预测方法、装置、编码器、解码器、及存储介质
JP7529923B2 (ja) 非マニホールドメッシュにおける境界ループの検出のための方法、装置、およびコンピュータプログラム
WO2024159534A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
CN110290382A (zh) 一种残差数据编码和解码方法
WO2024148473A1 (zh) 编码方法及装置、编码器、码流、设备、存储介质
TW202416712A (zh) 使用神經網路進行圖像區域的並行處理-解碼、後濾波和rdoq
CN115733990A (zh) 点云编解码方法、设备及存储介质
EP4144083A1 (en) Methods and systems for combined lossless and lossy coding
CN115022627B (zh) 一种针对绘制中间图像的高压缩比的无损压缩方法和装置
WO2025200931A1 (en) Method, apparatus, and medium for visual data processing
WO2023201450A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质