[go: up one dir, main page]

WO2023095670A1 - 点群復号装置、点群復号方法及びプログラム - Google Patents

点群復号装置、点群復号方法及びプログラム Download PDF

Info

Publication number
WO2023095670A1
WO2023095670A1 PCT/JP2022/042341 JP2022042341W WO2023095670A1 WO 2023095670 A1 WO2023095670 A1 WO 2023095670A1 JP 2022042341 W JP2022042341 W JP 2022042341W WO 2023095670 A1 WO2023095670 A1 WO 2023095670A1
Authority
WO
WIPO (PCT)
Prior art keywords
child
node
occupied
intra prediction
prediction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/042341
Other languages
English (en)
French (fr)
Inventor
康平 松崎
圭 河村
恭平 海野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of WO2023095670A1 publication Critical patent/WO2023095670A1/ja
Priority to US18/594,466 priority Critical patent/US20240212219A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to a point cloud decoding device, a point cloud decoding method, and a program.
  • Non-Patent Document 1 point cloud encoding and decoding techniques based on the octree method, such as Non-Patent Document 1, are widely used.
  • the octree method used in this technology divides the three-dimensional space into finite spaces called nodes. Then, a process of dividing each node into eight is hierarchically performed.
  • the currently focused node before splitting is called a parent node
  • the node after splitting is called a child node.
  • other nodes in the same hierarchy as the parent node are called parent hierarchy nodes
  • other nodes in the same hierarchy as the child node are called child hierarchy nodes.
  • Non-Patent Document 2 an intra-prediction method that predicts the occupancy states of eight child nodes by referring to the occupancy states of 26 parent hierarchical nodes that share faces, edges, or vertices with parent nodes in the octree method. is disclosed.
  • the occupation score is calculated using the value obtained by multiplying the occupation state of the 26 parent hierarchy nodes and the weight parameter set in advance. Using two thresholds th0 and th1, if the occupancy score is th0 or less, it is unoccupied; if it is th1 or more, it is occupied;
  • Non-Patent Document 3 the processing time for encoding and decoding is reduced compared to the technique of Non-Patent Document 2 by reducing the number of parent hierarchy nodes to be referred to for each of the eight child nodes to seven. Techniques are disclosed.
  • G-PCC codec description v5 ISO/IEC JTC1/SC29/WG11 N18891 [PCC]
  • Intra mode for geometry coding in TMC3 ISO/IEC JTC1/SC29/WG11 MPEG2018/m43600 [G-PCC] [new proposal]
  • On geometry occupancy intra prediction ISO/IEC JTC1/SC29/WG11 MPEG2020/m52327
  • Non-Patent Document 2 and Non-Patent Document 3 has the effect of improving the compression performance for dense point clouds, while it is effective for sparse point clouds such as those measured by LiDAR. There was a problem that there was no
  • the present invention has been made in view of the above problems, and provides a point cloud decoding device, a point cloud decoding method, and a program that can improve the accuracy of intra prediction of a point cloud and improve compression performance. intended to
  • a first feature of the present invention is a point cloud decoding device configured to decode a point cloud from a bitstream, wherein occupation information of the child hierarchy node indicating whether or not the child hierarchy node is occupied and the occupancy information of the child node, which indicates whether or not the child node is occupied, to predict the occupancy information of the child node and an intra prediction unit.
  • a second feature of the present invention is a point cloud decoding method configured to decode a point cloud from a bitstream, wherein occupancy information of the child hierarchy node indicating whether the child hierarchy node is occupied or not and predicting occupancy information of the child node indicating whether the child node is occupied by using the occupancy information of the child hierarchy node.
  • a third feature of the present invention is a program that causes a computer to function as a point cloud decoding device configured to decode a point cloud from a bitstream, wherein the point cloud decoding device is occupied by a child hierarchy node. and a occupancy storage unit configured to store occupancy information of the child hierarchy node indicating whether or not the child node is occupied by using the occupancy information of the child hierarchy node. and an intra prediction unit configured to predict occupation information of the child node.
  • a point cloud decoding device capable of improving the accuracy of intra-prediction of a point cloud and improving compression performance.
  • FIG. 1 is a diagram showing an example of the configuration of a point cloud processing system 10 according to one embodiment.
  • FIG. 2 is a diagram showing an example of functional blocks of the point cloud decoding device 200 according to one embodiment.
  • FIG. 3 is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device 200 according to one embodiment.
  • FIG. 4 is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device 200 according to one embodiment.
  • FIG. 5A is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device 200 according to one embodiment.
  • FIG. 5B is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device 200 according to one embodiment.
  • FIG. 6 is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device 200 according to one embodiment.
  • FIG. 7 is a diagram for explaining an example of prediction by the intra prediction unit 21 of the point group decoding device
  • FIG. 1 is a diagram showing a point cloud processing system 10 according to an embodiment according to this embodiment.
  • the point cloud processing system 10 has a point cloud encoding device 100 and a point cloud decoding device 200.
  • the point cloud encoding device 100 is configured to generate encoded data (bitstream) by encoding an input point cloud signal.
  • the point cloud decoding device 200 is configured to generate an output point cloud signal by decoding the bitstream.
  • the input point cloud signal and the output point cloud signal are composed of position information and attribute information of each point in the point cloud.
  • the attribute information is, for example, color information and reflectance of each point.
  • such a bitstream may be transmitted from the point cloud encoding device 100 to the point cloud decoding device 200 via a transmission channel.
  • the bitstream may be stored in a storage medium and then provided from the point cloud encoding device 100 to the point cloud decoding device 200 .
  • FIG. 2 is a diagram showing an example of functional blocks of the point group decoding device 200 according to this embodiment.
  • the point group decoding device 200 has an intra prediction unit 21 , a probability acquisition unit 22 , an arithmetic decoding unit 23 , an octree decoding unit 24 and an occupation storage unit 25 . These functional blocks are implemented by executing a program that causes a computer installed in the point cloud decoding device 200 to function.
  • the intra prediction unit 21 is configured to predict occupation states of eight child nodes obtained by dividing a parent node.
  • the occupancy state of a child node is information about whether or not the child node is occupied, that is, whether or not the child node has a point. Note that if a child node has a point, then such child node is occupied.
  • the intra prediction unit 21 is configured to predict the occupancy state of child nodes using the scanning range and scanning interval of the LiDAR sensor.
  • the LiDAR sensor measures the distance to an object using laser light and expresses the measured position of the object as a point.
  • the irradiation direction of the laser light horizontally or vertically, it is possible to scan the distance to the surrounding objects.
  • the scanning range and scanning interval in the horizontal and vertical directions are determined for each hardware.
  • the vertical scanning range and scanning interval of the Velodyne HDL-64E LiDAR sensor are 360° and 0.08°, respectively, and 26.9° and 0.4°, respectively.
  • the intra prediction unit 21 is configured to predict the occupancy state of child nodes using such scanning ranges and scanning intervals.
  • information on the scanning range and scanning interval may be held in advance in the point group decoding device 200, or may be included in the input bitstream.
  • the intra prediction unit 21 is configured to estimate the scanning range and the scanning interval using the previously decoded point group when temporally continuous point groups are decoded. good too.
  • the intra prediction unit 21 obtains the azimuth angle and the polar angle by converting the coordinates of the decoded point group from the orthogonal coordinate system to the polar coordinate system, and determines the scanning range from the maximum and minimum values of the azimuth angle and the polar angle. It may be configured to estimate.
  • the intra prediction unit 21 searches for the nearest point of each point in the azimuth direction and the polar angle direction, obtains the absolute value of the difference between the azimuth angle and the polar angle of the nearest point, and scans the average value and the median value. It may be configured to be the estimated result of the interval.
  • the intra prediction unit 21 first estimates the scanning interval in the vertical direction, divides the point group for each scanning interval using the estimated value of the scanning interval, and uses the divided point group to may be configured to estimate a scan interval of .
  • the intra prediction unit 21 first estimates the horizontal scanning interval, divides the point group for each scanning interval using the estimated value of the scanning interval, and uses the divided point group to estimate the vertical direction. It may be configured to estimate the scan interval.
  • the occupancy state of child hierarchy nodes and parent hierarchy nodes, and the positions of occupied child hierarchy nodes used in the following description are given from the occupation storage unit 25 .
  • a hatched rectangle represents a child hierarchy node that is occupied
  • a white rectangle represents a child hierarchy node that is unoccupied.
  • a rectangle containing a star-shaped symbol is assumed to be a child node (prediction target child node) whose occupancy state is to be predicted.
  • the horizontal scanning interval is ⁇
  • a child node to be predicted when a child node to be predicted is occupied, it is considered that one of the child hierarchy nodes horizontally away from the center of the child node by ⁇ is occupied.
  • the position of the child hierarchy node to be occupied differs depending on the shape of the object surface. For example, if the wavy line labeled T1 represents the object surface, then the child hierarchy nodes labeled n1 and n2 are occupied. On the other hand, if the wavy line labeled T2 represents the surface of the object, then the child hierarchy nodes labeled n3 and n4 are occupied. Therefore, when an arbitrary child layer node located on the laser light path indicated by the dotted line is occupied, the intra prediction unit 21 may predict that the prediction target child node is occupied.
  • the intra prediction unit 21 determines whether the child node to be predicted is occupied. can be expected to be
  • the intra prediction unit 21 may limit the child hierarchy nodes to be referenced by any method, such as referencing only the child hierarchy nodes whose distance from the child node to be predicted is within a threshold.
  • the intra prediction unit 21 does not have to refer to child layer nodes located outside the scanning range of the LiDAR sensor.
  • the intra prediction unit 21 may estimate the position of the child hierarchy node to be referred to by any method.
  • the intra-prediction unit 21 uses the positions of occupied child-layer nodes that are 3 ⁇ and 2 ⁇ away from the center of the child node to be predicted, and uses linear regression to determine the position of the child-layer node that is ⁇ away. may be estimated, or the positions of such child hierarchy nodes may be estimated in some other way.
  • the intra prediction unit 21 may use the position given from the occupation storage unit 25 for the position of the child hierarchy node that is the occupation, or may newly calculate the position.
  • the intra prediction unit 21 refers to the child hierarchy nodes around the estimated position in consideration of the measurement error, and if any of the referenced child hierarchy nodes is occupied, the child node to be predicted is occupied. can be expected to be
  • the intra prediction unit 21 may also perform prediction in the vertical direction in a similar manner. When prediction is performed independently for the same child node in the horizontal direction and the vertical direction, the intra prediction unit 21 predicts that the child node to be predicted is occupied if either one of them is predicted to be occupied. It may be predicted, or only when both are predicted to be occupied, the child node to be predicted may be predicted to be occupied.
  • the referenced child hierarchy node is not always decrypted. Therefore, the intra prediction unit 21 may regard the occupied state of child layer nodes that have not yet been decoded as unoccupied.
  • the intra prediction unit 21 cannot predict that the prediction target child node is occupied because the laser light that is ⁇ away from the center of the child node passes through neither n1 nor n2.
  • the intra prediction unit 21 determines that the prediction target child node is may be expected to be occupied.
  • N is any natural number. This N may be the minimum value at which laser light does not pass through the interior of the prediction target child node, or may be another value. Also, the number of N used for prediction in the intra prediction 21 may be one or more.
  • the intra prediction unit 21 can predict that the prediction target child node is occupied.
  • the intra prediction 21 uses the angle ⁇ to determine whether or not the laser beam ⁇ away from the center of the prediction target child node passes through the prediction target child node. It may be determined whether or not the obtained coordinates are located inside the prediction target child node by performing coordinate transformation on the coordinates of the center of the child node.
  • the intra prediction 21 assumes that the length of one side of the child node to be predicted is r, the distance from the origin to the center of the child node to be predicted is l, and if l ⁇ tan ⁇ r/2, prediction The determination may be made by an approximation formula such as considering that the node is located inside the child node of interest.
  • the determination results for the coordinates representing the positions of the child nodes are calculated in advance and stored in a lookup table. You can
  • the intra prediction unit 21 may refer to the determination result from the coordinates of the child node using this lookup table, thereby omitting the calculation required for the determination.
  • the intra prediction unit 21 may omit such determination processing.
  • the minimum N at which the laser light does not pass through the child node to be predicted may be calculated and stored in advance.
  • the intra prediction unit 21 limits the reference range of the child layer node to only the vicinity of the child node in order to speed up the prediction process, and uses a method that simplifies the above process to perform the prediction target. It may be configured to predict the occupancy state of child nodes.
  • the intra-prediction unit 21 may be configured to predict that a child node near which a occupied child hierarchy node exists is occupied.
  • the intra prediction unit 21 may be configured to predict that a child node that shares a face, edge, or vertex with a occupied child hierarchy node is occupied.
  • FIG. 5A shows an example of a child node to be predicted that shares a face with a child node that is occupied, and a child node that shares a face with a child node to be predicted that includes a star symbol is occupied. Therefore, the intra prediction unit 21 predicts that the prediction target child node is occupied.
  • FIG. 5B shows an example of a child node to be predicted that shares an edge with a child node that is occupied, and a child node that shares an edge with a child node to be predicted that includes a star symbol is occupied. Therefore, the intra prediction unit 21 predicts that the prediction target child node is occupied.
  • the intra prediction unit 21 can similarly predict.
  • the intra prediction unit 21 predicts the child node of the prediction target only when the child node of the prediction target shares a face, edge, or vertex with a plurality of child hierarchy nodes predicted to be occupied. It may be configured to predict that the node is occupied.
  • the intra prediction unit 21 does not necessarily need to refer to all child hierarchy nodes existing in the vicinity of the prediction target child node (for example, a position sharing a plane, edge, or vertex with the prediction target child node). It may be configured to refer only to some selected child hierarchy nodes.
  • the intra prediction unit 21 selects each child layer node represented as a relative position based on the position of the child node to be predicted by encoding training point cloud data using such prediction. It may be configured to compare the compression performance in the case and the compression performance when each child hierarchy node is not selected, and select a child hierarchy node with a large improvement in compression performance, or by another method It may be configured to select.
  • the intra prediction unit 21 uses the occupancy state of the referenced child layer node instead of predicting that the child node to be predicted is occupied. It may be configured to cumulatively add the occupancy score to the child node of interest.
  • the occupancy score is a value obtained by multiplying a binary value of "1" when the referenced child hierarchy node is occupied and "0" when the referenced child hierarchy node is unoccupied by the weight. .
  • weights may be used depending on whether the child node to be referenced shares a plane, an edge, or a vertex with the child node to be predicted.
  • the intra prediction unit 21 may be configured to divide the final occupation score by the number of times the occupation score is added to the prediction target child node. Then, using two thresholds th0 and th1, the intra prediction unit 21 determines that the occupancy score is th0 or less as non-occupancy, and determines that the occupancy score is th1 or more as occupancy. is larger than th0 and smaller than th1, it may be determined that the prediction is impossible.
  • the intra prediction unit 21 may be configured to perform prediction using parent hierarchy nodes.
  • squares represented by black thick lines represent parent nodes
  • squares represented by black thick dotted lines represent parent hierarchical nodes.
  • the child hierarchy node written as n1 and the parent hierarchy node written as p1 are both occupied.
  • the child hierarchy nodes contained in p1 have not yet been decoded, and the occupancy state of such child hierarchy nodes is unknown.
  • n2 is predicted to be occupied because it shares the face with n1. It should be noted that the fact that it is predicted to be occupied is expressed by including a round symbol.
  • the intra prediction unit 21 assumes that the point cloud represents the surface of a continuous object, and the child node located between the child node predicted to be occupied and the parent hierarchy node that is occupied is assumed to be occupied.
  • the intra prediction unit 21 predicts that the child node containing the star-shaped symbol is unoccupied when n2 is predicted to be unoccupied or p1 is unoccupied.
  • the intra prediction unit 21 is configured to perform prediction using parent hierarchy nodes.
  • the intra prediction unit 21 may be configured to perform prediction in the same manner in the vertical direction as well.
  • the intra prediction unit 21 makes predictions independently for the same prediction target child node in the horizontal direction and the vertical direction, if either one is predicted to be occupied, the prediction target child node is occupied. or only when both are predicted to be occupied, it may be predicted that the child node to be predicted is occupied.
  • intra-prediction unit 21 does not necessarily have to perform such prediction for all possible combinations of positional relationships between child nodes and parent hierarchy nodes, and performs such prediction only for some selected combinations. may be configured to do so.
  • the intra prediction unit 21 compares the compression performance when each combination is selected and the compression performance when each combination is not selected by encoding the training point cloud data using the above prediction.
  • a combination with a large degree of improvement in compression performance may be selected, or other methods may be used for selection.
  • the intra prediction unit 21 may be configured to cumulatively add the occupancy score to the prediction target child node and predict the occupancy state of the prediction target child node by threshold determination in the same manner as in the method described above. good.
  • the intra prediction unit 21 outputs "1" when it is positioned between the child node predicted to be occupied and the parent hierarchy node which is occupied in the expected combination, and "1" otherwise. 0” is multiplied by a weight to obtain an occupation score.
  • This occupancy score may be common to the occupancy score when prediction is performed using only child hierarchy nodes.
  • different weights may be used depending on whether only child hierarchy nodes are used or when parent hierarchy nodes are used.
  • the probability acquisition unit 22 is configured to acquire the probability of occurrence of data corresponding to the node decoded by the arithmetic decoding unit 23 using prediction of occupation information given from the intra prediction unit 21 and the like. Such probability of occurrence may be a fixed value or an adaptive variable value.
  • the probability acquisition unit 22 obtains occupation information of neighboring nodes of the parent node of the child node decoded by the arithmetic decoding unit 23 and occupation information of eight child nodes having a common parent node. Other information such as
  • the probability acquisition unit 22 is configured to output the acquired occurrence probability to the arithmetic decoding unit 23 .
  • the arithmetic decoding unit 23 is configured to decode the octree data (bit string) using the input bitstream and the occurrence probabilities given by the probability acquisition unit 22 .
  • Such octree data may be binary, 0 or 1, or otherwise.
  • such octatree data may be replaced with known quadtree data or binary tree data in all or some of the parent nodes.
  • the octree decoding unit 24 is configured to decode geometric information from a bit string using a known decoding technique based on the octree method.
  • the octree decoding unit 24 when given eight bits representing occupation information of eight child nodes included in a certain parent node, generates a child node at a position where the bit is "1". It is configured.
  • the octree decoding unit 24 is configured to hierarchically perform such processing from the upper layer to the lower layer, and output the coordinates of the nodes in the lowest layer as geometric information representing a point group.
  • the octatree method may be replaced with a known quadtree method or binary tree method in all or some of the parent nodes.
  • the octree decoding unit 24 is configured to decode parent nodes in ascending order of azimuth angle so that child layer nodes at positions with smaller azimuth angles relative to the parent node are always decoded. good too.
  • the octree decoding unit 24 may be configured to decode parent nodes in ascending order of polar angle.
  • the occupancy storage unit 25 is configured to store the occupancy state of child nodes for each hierarchy using the position information of the child nodes that are occupied given from the octree decoding unit 24 .
  • the occupancy storage unit 25 may be configured to store, for each occupied child node, the occupancy state of the child hierarchy node located near the child node for use by the intra prediction unit 21 .
  • a child hierarchy node in the current hierarchy can be regarded as a parent hierarchy node in a hierarchy one level deeper.
  • the occupation storage unit 25 divides the scanning range of the LiDAR sensor in the horizontal direction and/or the vertical direction in advance. It may be configured to store the coordinates of child hierarchy nodes located within each divided range.
  • Such information may be used by the intra prediction unit 21 to estimate the position of the child layer node to be referred to.
  • the occupancy state of eight child nodes of a parent node can be predicted from the occupancy state of a child hierarchy node based on position estimation of a point cloud measured by a LiDAR sensor or the like. It can improve prediction accuracy and improve compression performance.
  • the present invention is applied to the point group encoding device 100 and the point group decoding device 200 as examples, but the present invention is not limited to such examples.
  • a point cloud encoding/decoding system having the functions of the point cloud encoding device 100 and the point cloud decoding device 200 can be similarly applied.
  • the United Nations-led Sustainable Development Goals (SDGs) Goal 9 "Develop resilient infrastructure, It will be possible to contribute to the promotion of sustainable industrialization and the expansion of innovation.
  • Point group processing system 100 Point group encoding device 200
  • Point group decoding device 21 Point group decoding device 21
  • Intra prediction unit 22 Probability acquisition unit 23

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係る点群復号装置２００は、子階層ノードが占有であるか否かを示す子階層ノードの占有情報を記憶する占有記憶部２５と、子階層ノードの占有情報を用いて子ノードが占有であるか否かを示す子ノードの占有情報を予測するイントラ予測部２１とを有する。

Description

点群復号装置、点群復号方法及びプログラム
　本発明は、点群復号装置、点群復号方法及びプログラムに関する。
　例えば、非特許文献１のような八分木法に基づく点群の符号化及び復号技術が広く利用されている。
　かかる技術で用いられる八分木法では、３次元空間をノードと呼ばれる有限の空間で分割する。そして、各ノードを８つに分割する処理を階層的に行う。
　かかる処理では、現在着目している分割前のノードを親ノードと呼び、分割後のノードを子ノードと呼ぶ。また、親ノードと同じ階層にある他のノードを親階層ノードと呼び、子ノードと同じ階層にある他のノードを子階層ノードと呼ぶ。
　非特許文献２では、八分木法における親ノードと面、辺又は頂点を共有する２６個の親階層ノードの占有状態を参照することにより、８つの子ノードの占有状態を予測するイントラ予測手法が開示されている。
　かかる技術では、８つの子ノードのそれぞれに対して、２６個の親階層ノードの占有状態及び事前に設定した重みパラメータを乗算した値を用いて占有スコアを計算する。そして、２つの閾値ｔｈ０及びｔｈ１を用いて、占有スコアがｔｈ０以下であれば非占有であり、ｔｈ１以上であれば占有であり、ｔｈ０より大きくｔｈ１より小さければ予測不可能と判定する。
　非特許文献３では、８つの子ノードのそれぞれに対して参照する親階層ノードの数を７通りに削減することにより、非特許文献２の技術に比べて符号化及び復号の処理時間を削減する技術が開示されている。
Ｇ-ＰＣＣ　ｃｏｄｅｃ　ｄｅｓｃｒｉｐｔｉｏｎ　ｖ５、ＩＳＯ/ＩＥＣ　ＪＴＣ１/ＳＣ２９/ＷＧ１１　Ｎ１８８９１ ［ＰＣＣ］Ｉｎｔｒａ　ｍｏｄｅ　ｆｏｒ　ｇｅｏｍｅｔｒｙ　ｃｏｄｉｎｇ　ｉｎ　ＴＭＣ３、ＩＳＯ/ＩＥＣ　ＪＴＣ１/ＳＣ２９/ＷＧ１１　ＭＰＥＧ２０１８/ｍ４３６００ ［Ｇ-ＰＣＣ］［ｎｅｗ　ｐｒｏｐｏｓａｌ］Ｏｎ　ｇｅｏｍｅｔｒｙ　ｏｃｃｕｐａｎｃｙ　ｉｎｔｒａ　ｐｒｅｄｉｃｔｉｏｎ、ＩＳＯ/ＩＥＣ　ＪＴＣ１/ＳＣ２９/ＷＧ１１　ＭＰＥＧ２０２０/ｍ５２３２７
　しかしながら、非特許文献２や非特許文献３のイントラ予測は、密な点群に対しては圧縮性能を改善する効果がある一方で、ＬｉＤＡＲで計測したような疎な点群に対しては効果が無いという問題点があった。
　そこで、本発明は、上述の課題に鑑みてなされたものであり、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、ビットストリームから点群を復号するように構成されている点群復号装置であって、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを要旨とする。
　本発明の第２の特徴は、ビットストリームから点群を復号するように構成されている点群復号方法であって、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶する工程と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測する工程と、を有することを要旨とする。
　本発明の第３の特徴は、コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、前記点群復号装置は、子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを要旨とする。
　本発明によれば、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる点群復号装置、点群復号方法及びプログラムを提供することができる。
図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。 図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図４は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図５Ａは、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図５Ｂは、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図６は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。 図７は、一実施形態に係る点群復号装置２００のイントラ予測部２１による予測の一例について説明するための図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
　以下、図１～図７を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。
　図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。
　点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。
　なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。
　ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。
（点群復号装置２００）
　以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。
　図２に示すように、点群復号装置２００は、イントラ予測部２１と、確率取得部２２と、算術復号部２３と、八分木復号部２４と、占有記憶部２５とを有する。これらの機能ブロックは、点群復号装置２００に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
　以下、本実施形態に係る点群復号装置２００の各機能ブロックについて説明する。確率取得部２２、算術復号部２３及び八分木復号部２４における具体的な処理については、例えば、上述の非特許文献１に記載の方法を用いることができる。
［イントラ予測部２１］
　イントラ予測部２１は、親ノードを分割して得られる８つの子ノードの占有状態を予測するように構成されている。
　ここで、子ノードの占有状態は、子ノードは占有であるか否かについて、すなわち、子ノードに点が存在するか否かを示す情報である。なお、子ノードに点が存在する場合、かかる子ノードは占有である。
　本実施形態においては、イントラ予測部２１は、ＬｉＤＡＲセンサにおける走査範囲や走査間隔を用いて子ノードの占有状態を予測するように構成されている。
　ＬｉＤＡＲセンサは、レーザ光を用いて物体までの距離を計測し、計測された物体の位置を点で表現する。
　一般的に、レーザ光の照射方向を水平方向や垂直方向に変化させることにより、周囲の物体までの距離を走査することができる。水平方向や垂直方向への走査範囲や走査間隔は、ハードウェアごとに定められている。
　一例を挙げれば、Ｖｅｌｏｄｙｎｅ　ＨＤＬ-６４Ｅ　ＬｉＤＡＲセンサの水平方向への走査範囲及び走査間隔は。それぞれ３６０°及び０.０８°であり、Ｖｅｌｏｄｙｎｅ　ＨＤＬ-６４Ｅ　ＬｉＤＡＲセンサの垂直方向への走査範囲及び走査間隔は、それぞれ２６.９°及び０.４°である。
　イントラ予測部２１は、このような走査範囲や走査間隔を用いて、子ノードの占有状態を予測するように構成されている。
　ここで、走査範囲や走査間隔の情報は、予め点群復号装置２００において保持されていてもよいし、入力ビットストリームの中に含まれていてもよい。
　また、イントラ予測部２１は、時間的に連続する点群が復号される場合には、１つ以上前に復号された点群を用いて走査範囲や走査間隔を推定するように構成されていてもよい。
　すなわち、イントラ予測部２１は、復号された点群の座標を直交座標系から極座標系に変換することによって方位角及び極角を求め、方位角及び極角の最大値と最小値から走査範囲を推定するように構成されていてもよい。
　また、イントラ予測部２１は、方位角方向や極角方向に対する各点の最近傍点を探索し、かかる最近傍点の方位角や極角の差の絶対値を求め、その平均値や中央値を走査間隔の推定結果とするように構成されていてもよい。
　ここでは、イントラ予測部２１は、初めに垂直方向の走査間隔を推定してから、推定した走査間隔の値を用いて走査間隔ごとに点群を分割し、分割した点群を用いて水平方向の走査間隔を推定するように構成されていてもよい。
　或いは、イントラ予測部２１は、初めに水平方向の走査間隔を推定してから、推定した走査間隔の値を用いて走査間隔ごとに点群を分割し、分割した点群を用いて垂直方向の走査間隔を推定するように構成されていてもよい。
　なお、以降の説明で用いられる子階層ノードや親階層ノードの占有状態や、占有である子階層ノードの位置は、占有記憶部２５から与えられる。 
　図３を参照して、イントラ予測部２１による予測の概要について説明する。
　図３の例では、単純化のため、水平方向のみを考慮し、垂直方向の上部から見た子階層ノードを四角形で示す。斜線の四角形は、占有である子階層ノードを表し、白色の四角形は、非占有である子階層ノードを表す。
　また、黒い太線で表される四角形は、親ノードを表し、黒い丸は、ＬｉＤＡＲセンサの位置を表している。ＬｉＤＡＲセンサの位置は、点を表すローカル座標系の原点Ｏに相当する。
　ここで、星型の記号を含む四角形を、これから占有状態を予測する子ノード（予測対象の子ノード）とする。
　水平方向の走査間隔をθとすると，予測対象の子ノードが占有となる場合には、かかる子ノードの中心から水平方向にθだけ離れたいずれかの子階層ノードが占有であると考えられる。
　ただし、物体表面の形状によって占有となる子階層ノードの位置は異なる。例えば、Ｔ１と書かれた波線が物体表面を表す場合、ｎ１及びｎ２と書かれた子階層ノードが占有となる。一方、Ｔ２と書かれた波線が物体表面を表す場合、ｎ３及びｎ４と書かれた子階層ノードが占有となる．
　そのため，点線で表されたレーザ光の経路上に位置する任意の子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。
　また、計測誤差を考慮して、θに微小な変化を加えた方位を通るレーザ光の経路上に位置する子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。
　ただし、レーザ光の経路上に位置する全ての子階層ノードの占有状態を参照する処理における演算量は大きい。そのため、例えば、イントラ予測部２１は、予測対象の子ノードとの距離が閾値以内にある子階層ノードのみを参照する等、任意の方法で参照する子階層ノードを制限してもよい。
　また、イントラ予測部２１は、ＬｉＤＡＲセンサの走査範囲外に位置する子階層ノードについては参照しなくてもよい。
　或いは、イントラ予測部２１は、任意の方法で参照すべき子階層ノードの位置を推定してもよい。例えば，イントラ予測部２１は、予測対象の子ノードの中心と方位角が３θ及び２θだけ離れている占有である子階層ノードの位置を用いて、線形回帰によってθだけ離れた子階層ノードの位置を推定してもよいし、他の方法で、かかる子階層ノードの位置を推定してもよい。
　この時。イントラ予測部２１は、占有である子階層ノードの位置については、占有記憶部２５から与えられたものを用いてもよいし、新たに計算してもよい。
　また、イントラ予測部２１は、計測誤差を考慮して、推定された位置の周囲の子階層ノードを参照し、参照した子階層ノードのいずれかが占有であれば、予測対象の子ノードが占有であると予測してもよい。
　さらに、イントラ予測部２１は、垂直方向に対しても同様の方法で予測を行なってもよい。イントラ予測部２１は、同一の子ノードに対して水平方向及び垂直方向で独立に予測が行われた場合、どちらか一方でも占有であると予測すれば、予測対象の子ノードが占有であると予測してもよいし、両方とも占有であると予測した場合にのみ、予測対象の子ノードが占有であると予測してもよい。
　なお、参照する子階層ノードが常に復号済みとは限らない。そのため、イントラ予測部２１は、まだ復号されていない子階層ノードの占有状態については、非占有であるとみなしてよい。
　また、イントラ予測部２１による予測において、図４に示すように、星型の記号を含む子ノードの中心からθだけ離れたレーザ光が、予測対象の子ノードの内部を通過する場合もある。
　この時、例えば、Ｔ１と書かれた波線が物体表面を表す場合、ｎ１及びｎ２と書かれた子階層ノードが占有となる。しかしながら、子ノードの中心からθだけ離れたレーザ光は、ｎ１及びｎ２のどちらも通過しないため、イントラ予測部２１は、予測対象の子ノードが占有であると予測することができない。
　このような場合には、Ｎ×θだけ離れたレーザ光の経路上に位置する予測対象の子ノードの近傍の子階層ノードが占有である場合、イントラ予測部２１は、予測対象の子ノードが占有であると予測してもよい。
　ここで、Ｎは、任意の自然数である。このＮは、レーザ光が予測対象の子ノードの内部を通過しなくなる最小の値でもよいし、他の値でもよい。また、イントラ予測２１における予測に使用するＮは、1通りだけでもよいし、複数通りでもよい。
　図４の例では、Ｎ＝２の場合に、レーザ光がｎ１を通過するため、イントラ予測部２１は、予測対象の子ノードが占有であると予測することができる。
　ここで、イントラ予測２１は、予測対象の子ノードの中心からθだけ離れたレーザ光が予測対象の子ノードの内部を通過するか否かについて判断するために、角度θを用いて予測対象の子ノードの中心の座標を座標変換し、得られた座標が予測対象の子ノードの内部に位置するか否かについて判定してもよい。
　或いは、イントラ予測２１は、予測対象の子ノードの１辺の長さをｒとし、原点から予測対象の子ノードの中心までの距離をｌとし、ｌ×ｔａｎθ＜ｒ/２であれば、予測対象の子ノードの内部に位置するとみなす、というような近似式による判定を行ってもよい。
　また、θやｒの値については、符号化や復号を実行する前に決定可能であるため、予め子ノードの位置を表す座標に対する判定結果を計算しておき、ルックアップテーブルに保存しておいてもよい。
　そして、イントラ予測部２１は、符号化や復号の実行時には、かかるルックアップテーブルを用いて子ノードの座標から判定結果を参照することにより、判定に要する計算を省略してもよい。
　八分木法における各階層で全てのノードに対する判定結果が一致する場合、イントラ予測部２１は、かかる判定処理を省略してもよい。同様に、レーザ光が予測対象の子ノードの内部を通過しなくなる最小のＮを事前に計算して保存しておいてもよい。
　本実施形態において、イントラ予測部２１は、予測処理の高速化のために、子階層ノードの参照範囲を子ノードの近傍のみに制限しつつ、上述の処理を簡略化した方法で、予測対象の子ノードの占有状態を予測するように構成されていてもよい。
　すなわち、イントラ予測部２１は、占有である子階層ノードが近傍に存在する子ノードが占有であると予測するように構成されていてもよい。
　例えば、イントラ予測部２１は、占有である子階層ノードと面、辺又は頂点を共有する子ノードが占有であると予測するように構成されていてもよい。
　図５Ａ及び図５Ｂを参照して、図３と同様の表現で、イントラ予測部２１による予測の一例について説明する。
　図５Ａは、占有である子階層ノードと面を共有する予測対象の子ノードの例について示しており、星型の記号を含む予測対象の子ノードと面を共有する子階層ノードが占有であるため、イントラ予測部２１は、予測対象の子ノードが占有であると予測する。
　図５Ｂは、占有である子階層ノードと辺を共有する予測対象の子ノードの例を示しており、星型の記号を含む予測対象の子ノードと辺を共有する子階層ノードが占有であるため、イントラ予測部２１は、予測対象の子ノードが占有であると予測する。
　なお、占有である子階層ノードと頂点を共有する予測対象の子ノードの例については割愛するが、イントラ予測部２１は、同様に予測できる。
　また、図６に示すように、イントラ予測部２１は、予測対象の子ノードが、占有であると予測される複数の子階層ノードと面、辺又は頂点を共有する場合のみ、予測対象の子ノードが占有であると予測するように構成されていてもよい。
　なお、イントラ予測部２１は、必ずしも予測対象の子ノードの近傍（例えば、予測対象の子ノードと面、辺又は頂点を共有する位置）に存在する全ての子階層ノードを参照する必要はなく、選択された一部の子階層ノードのみを参照するように構成されていてもよい。
　例えば、イントラ予測部２１は、かかる予測を用いて訓練用の点群データを符号化することにより、予測対象の子ノードの位置を基準とした相対位置として表される各子階層ノードを選択する場合の圧縮性能と、かかる各子階層ノードを選択しない場合の圧縮性能とを比較し、圧縮性能の改善度合いが大きい子階層ノードを選択するように構成されていてもよいし、他の方法で選択するように構成されていてもよい。
　また、イントラ予測部２１は、参照する子階層ノードのいずれかが占有であれば、予測対象の子ノードが占有であると予測する代わりに、参照する子階層ノードの占有状態を用いて、予測対象の子ノードに占有スコアを累積加算するように構成されていてもよい。
　かかる占有スコアは、参照する子階層ノードが占有である場合には「１」となり、参照する子階層ノードが非占有である場合は「０」となる２値に、重みを乗算した値である。
　ここで、例えば、参照する子階層ノードが予測対象の子ノードと面を共有する場合と、辺を共有する場合と、頂点を共有する場合とで異なる重みが用いられてもよい。
　また、イントラ予測部２１は、予測対象の子ノードに対して占有スコアを加算した回数で、最終的な占有スコアを除算するように構成されていてもよい。そして、イントラ予測部２１は、２つの閾値ｔｈ０及びｔｈ１を用いて、占有スコアがｔｈ０以下であれば非占有であると判定し、占有スコアがｔｈ１以上であれば占有である判定し、占有スコアがｔｈ０より大きくｔｈ１より小さければ予測不可能と判定するように構成されていてもよい。
　また、参照する子階層ノードが常に復号済みとは限らないため、予測に必要な情報が不足する恐れがある。かかる情報の不足を補うために、イントラ予測部２１は、親階層ノードを利用した予測を行うように構成されていてもよい。
　図７を参照して、かかる予測の一例について説明する。図７の例では、単純化のため、水平方向のみを考慮し、垂直方向の上部から見た子階層ノードを四角形で示す。斜線の四角形は、占有である子階層ノードを表し、白色の四角形は、非占有である子階層ノードを表す。
　また、黒い太線で表される四角形は、親ノードを表し、黒い太点線で表される四角形は、親階層ノードを表す。
　図７の例では、ｎ１と書かれた子階層ノード及びｐ１と書かれた親階層ノードは、共に占有であるものとする。 ｐ１に含まれる子階層ノードは、まだ復号されておらず、かかる子階層ノードの占有状態は、不明である。
　そして、ｎ２と書かれた子ノードは、ｎ１と面を共有するため、占有であると予測されている。なお、占有であると予測されることは、丸い記号を含むことで表現している。
　ここで、星型の記号を含む子ノードの占有状態を予測することを考える。本実施形態では、イントラ予測部２１は、点群が連続的な物体の表面を表すと仮定し、占有であると予測される子ノードと占有である親階層ノードとの間に位置する子ノードは占有であると予測する。
　なお，図７において、イントラ予測部２１は、ｎ２が非占有であると予測される場合や、ｐ１が非占有である場合には、星型の記号を含む子ノードは非占有と予測する。
　このようにして、イントラ予測部２１は、親階層ノードを利用した予測を行うように構成されている。また、イントラ予測部２１は、垂直方向に対しても同様の方法で予測を行うように構成されていてもよい。
　イントラ予測部２１は、同一の予測対象の子ノードに対して水平方向及び垂直方向で独立に予測を行う場合、どちらか一方でも占有であると予測すれば、予測対象の子ノードが占有であると予測してもよいし、両方とも占有であると予測した場合にのみ、予測対象の子ノードが占有であると予測してもよい。
　なお，イントラ予測部２１は、必ずしも考えられる子ノードと親階層ノードとの位置関係の全ての組み合わせで、かかる予測を行う必要はなく、選択された一部の組み合わせに対してのみ、かかる予測を行うように構成されていてもよい。
　ここでは、イントラ予測部２１は、上述の予測を用いて訓練用の点群データを符号化することにより、各組み合わせを選択する場合の圧縮性能と各組み合わせを選択しない場合の圧縮性能とを比較し、圧縮性能の改善度合いが大きい組み合わせを選択してもよいし、他の方法で選択してもよい。
　なお，イントラ予測部２１は、上述した方法と同様に、予測対象の子ノードに占有スコアを累積加算し、閾値判定によって、予測対象の子ノードの占有状態を予測するように構成されていてもよい。
　ここでは、イントラ予測部２１は、想定される組み合わせで、占有であると予測される子ノードと占有である親階層ノードとの間に位置する場合に「１」となり、それ以外の場合に「０」となる２値に、重みを乗算した値を占有スコアとする。
　かかる占有スコアは、子階層ノードのみを利用して予測を行う場合の占有スコアと共通でもよい。ここでは、子階層ノードのみを利用する場合と親階層ノードを利用する場合とで異なる重みを用いてもよい。 
[確率取得部２２]
　確率取得部２２は、イントラ予測部２１から与えられる占有情報の予測等を用いて、算術復号部２３で復号されるノードに対応するデータの生起確率を取得するように構成されている。かかる生起確率は、固定値であってもよいし、適応的な変動値であってもよい。
　確率取得部２２は、かかる生起確率を取得する際に、算術復号部２３で復号される子ノードの親ノードの近傍ノードの占有情報や、共通の親ノードを持つ８つの子ノードの占有情報のような他の情報を用いてもよい。
　確率取得部２２は、取得した生起確率を算術復号部２３へ出力するように構成されている。
[算術復号部２３]
　算術復号部２３は、入力ビットストリーム及び確率取得部２２によって与えられた生起確率を用いて、八分木データ（ビット列）を復号するように構成されている。
　かかる八分木データは、０又は１の２値であってもよいし、それ以外であってもよい。
　なお、本実施形態においては、全て又は一部の親ノードにおいて、かかる八分木データは、公知の四分木 (Ｑｕａｄ　ｔｒｅｅ) データや二分木(Ｂｉｎａｒｙ　ｔｒｅｅ) データに置き換えられてもよい。
[八分木復号部２４] 
　八分木復号部２４は、公知の八分木法に基づく復号手法を用いてビット列から幾何情報を復号するように構成されている。
　すなわち、八分木復号部２４は、ある親ノードに含まれる８つの子ノードの占有情報を表す８つのビットが与えられた場合、ビットが「１」となる位置に子ノードを生成するように構成されている。
　八分木復号部２４は、かかる処理を、上層から下層に向かって階層的に行い、最下層のノードの座標を、点群を表す幾何情報として出力するように構成されている。
　なお、本実施形態においては、全て又は一部の親ノードにおいて、八分木法が、公知の四分木法や二分木法に置き換えられてもよい。
　また、八分木復号部２４は、親ノードを基準として方位角が小さい位置にある子階層ノードが常に復号済みになるように、方位角の小さい順に親ノードを復号するように構成されていてもよい。
　同様に、八分木復号部２４は、極角の小さい順に親ノードを復号するように構成されていてもよい。 
[占有記憶部２５] 
　占有記憶部２５は、八分木復号部２４から与えられる占有である子ノードの位置情報を用いて、階層ごとの子ノードの占有状態を記憶するように構成されている。
　占有記憶部２５は、イントラ予測部２１が利用するために、占有である子ノード毎に近傍に位置する子階層ノードの占有状態を記憶するように構成されていてもよい。
　なお、八分木法では、現在の階層における子階層ノードは、１つ深い階層における親階層ノードとみなすことができる。
　また、占有記憶部２５は、予めＬｉＤＡＲセンサの水平方向及び/又は垂直方向への走査範囲を分割しておき。分割された各範囲内に位置する子階層ノードの座標を記憶するように構成されていてもよい。
　かかる情報は、イントラ予測部２１において参照すべき子階層ノードの位置を推定するために利用されてもよい。
　本実施形態によれば、ＬｉＤＡＲセンサ等で計測される点群の位置推定に基づいて子階層ノードの占有状態から親ノードの８つの子ノードの占有状態を予測することができ、点群のイントラ予測の精度を改善し、圧縮性能を改善することができる。
　なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
１０…点群処理システム
１００…点群符号化装置
２００…点群復号装置
２１…イントラ予測部
２２…確率取得部
２３…算術復号部
２４…八分木復号部
２５…占有記憶部
 

Claims (13)

  1. 　ビットストリームから点群を復号するように構成されている点群復号装置であって、
    　子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、
    　前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを特徴とする点群復号装置。
  2. 　前記占有記憶部は、親階層ノードが占有であるか否かを示す前記親階層ノードの占有情報を更に記憶するように構成されており、
    　前記イントラ予測部は、前記子階層ノードの占有情報及び前記親階層ノードの占有情報を用いて、前記子ノードの占有情報を予測するように構成されていることを特徴とする請求項１に記載の点群復号装置。
  3. 　前記イントラ予測部は、占有である前記子階層ノードが近傍に存在する前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１又は２に記載の点群復号装置。
  4. 　前記イントラ予測部は、占有であると予測された前記子ノードと占有である前記親階層ノードとの間に位置する前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～３のいずれか一項に記載の点群復号装置。
  5. 　前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れたレーザ光の経路上に位置する前記子階層ノードが占有である場合、前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～４のいずれか一項に記載の点群復号装置。
  6. 　前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れた点を含む前記子階層ノードの位置を推定し、前記位置を推定した前記子階層ノードが占有である場合、前記子ノードを占有であると予測するように構成されていることを特徴とする請求項１～５のいずれか一項に記載の点群復号装置。
  7. 　前記イントラ予測部は、前記子ノードの位置からセンサの走査間隔分離れたレーザ光が前記子ノードの内部を通過すると判定した場合、前記子ノードの近傍に位置する前記子階層ノードの内部を通過するレーザ光を、前記子ノードの位置からセンサの走査間隔分離れたレーザ光の代替とするように構成されていることを特徴とする請求項１～６のいずれか一項に記載の点群復号装置。
  8. 　前記イントラ予測部は、前記判定及び/又は前記子ノードの近傍に位置する前記子階層ノードの内部を通過するレーザ光の選定に、事前に計算されたルックアップテーブルを用いるように構成されていることを特徴とする請求項７に記載の点群復号装置。
  9. 　前記イントラ予測部は、前記子ノードからの距離によって、参照する前記子階層ノード及び/又は親階層ノードを選択するように構成されていることを特徴とする請求項１～８のいずれか一項に記載の点群復号装置。
  10. 　前記イントラ予測部は、イントラ予測を用いて訓練用の点群を符号化した場合の圧縮性能の改善度合いによって、参照する前記子階層ノード及び/又は親階層ノードを選択するように構成されていることを特徴とする請求項１～９のいずれか一項に記載の点群復号装置。
  11. 　前記占有記憶部は、センサの走査範囲を分割し、分割された各範囲内に位置する前記子階層ノードの座標を記憶するように構成されていることを特徴とする請求項１～１０のいずれか一項に記載の点群復号装置。
  12. 　ビットストリームから点群を復号するように構成されている点群復号方法であって、
    　子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶する工程と、
    　前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測する工程と、を有することを特徴とする点群復号方法。
  13. 　コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、
    　前記点群復号装置は、
    　　子階層ノードが占有であるか否かを示す前記子階層ノードの占有情報を記憶するように構成されている占有記憶部と、
    　　前記子階層ノードの占有情報を用いて、子ノードが占有であるか否かを示す前記子ノードの占有情報を予測するように構成されているイントラ予測部と、を有することを特徴とするプログラム。
PCT/JP2022/042341 2021-11-25 2022-11-15 点群復号装置、点群復号方法及びプログラム Ceased WO2023095670A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/594,466 US20240212219A1 (en) 2021-11-25 2024-03-04 Point cloud decoding device, point cloud decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021190773A JP2023077494A (ja) 2021-11-25 2021-11-25 点群復号装置、点群復号方法及びプログラム
JP2021-190773 2021-11-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/594,466 Continuation US20240212219A1 (en) 2021-11-25 2024-03-04 Point cloud decoding device, point cloud decoding method, and program

Publications (1)

Publication Number Publication Date
WO2023095670A1 true WO2023095670A1 (ja) 2023-06-01

Family

ID=86539635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042341 Ceased WO2023095670A1 (ja) 2021-11-25 2022-11-15 点群復号装置、点群復号方法及びプログラム

Country Status (3)

Country Link
US (1) US20240212219A1 (ja)
JP (1) JP2023077494A (ja)
WO (1) WO2023095670A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146691A1 (ja) * 2018-01-26 2019-08-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210218969A1 (en) * 2018-04-09 2021-07-15 Blackberry Limited Methods and devices for predictive coding of point clouds

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553745B1 (en) * 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
JP7546677B2 (ja) * 2020-01-06 2024-09-06 オッポ広東移動通信有限公司 イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体
EP4124035A4 (en) * 2020-03-24 2024-01-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INTRA-IMAGE PREDICTION METHOD AND APPARATUS, ENCODER, DECODER, AND STORAGE MEDIUM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146691A1 (ja) * 2018-01-26 2019-08-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210218969A1 (en) * 2018-04-09 2021-07-15 Blackberry Limited Methods and devices for predictive coding of point clouds

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COHEN ROBERT A.; TIAN DONG; VETRO ANTHONY: "Point Cloud Attribute Compression Using 3-D Intra Prediction and Shape-Adaptive Transforms", 2016 DATA COMPRESSION CONFERENCE (DCC), IEEE, 30 March 2016 (2016-03-30), pages 141 - 150, XP033027696, DOI: 10.1109/DCC.2016.67 *
GARCIA DIOGO C.; DE QUEIROZ RICARDO L.: "Intra-Frame Context-Based Octree Coding for Point-Cloud Geometry", 2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), IEEE, 7 October 2018 (2018-10-07), pages 1807 - 1811, XP033455370, DOI: 10.1109/ICIP.2018.8451802 *
GARCIA DIOGO C.; FONSECA TIAGO A.; FERREIRA RENAN U.; DE QUEIROZ RICARDO L.: "Geometry Coding for Dynamic Voxelized Point Clouds Using Octrees and Multiple Contexts", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE, USA, vol. 29, 1 January 1900 (1900-01-01), USA, pages 313 - 322, XP011747617, ISSN: 1057-7149, DOI: 10.1109/TIP.2019.2931466 *

Also Published As

Publication number Publication date
US20240212219A1 (en) 2024-06-27
JP2023077494A (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
US20250166233A1 (en) Inter prediction coding for geometry point cloud compression
US20220207780A1 (en) Inter prediction coding for geometry point cloud compression
KR20220027869A (ko) 팔진트리 기반 포인트 클라우드 코딩에서의 평면 모드에 대한 컨텍스트 결정
KR20220027868A (ko) 옥트리 기반 포인트 클라우드 코딩에서의 평면 모드
CN115298698A (zh) 基于几何的点云压缩中用于角度模式和方位角模式的激光器角度的译码
TW202234894A (zh) 用於幾何形狀譯碼的用於幀間和幀內預測的混合樹譯碼
US12256096B2 (en) Global motion estimation using road and ground object labels for geometry-based point cloud compression
US12301890B2 (en) Hybrid-tree coding for inter and intra prediction for geometry coding
US11949909B2 (en) Global motion estimation using road and ground object labels for geometry-based point cloud compression
US20230177739A1 (en) Local adaptive inter prediction for g-pcc
CN118160006A (zh) 用于预测性基于几何的点云压缩的具有半径插值的帧间预测译码
CN120019411A (zh) 点云的预测几何编解码
US20250379969A1 (en) Decoding method, encoding method, decoding device, and encoding device
CN116711313A (zh) 用于几何体点云压缩的帧间预测编解码
WO2023095670A1 (ja) 点群復号装置、点群復号方法及びプログラム
JP7667887B2 (ja) 点群を符号化及び復号化する方法
CN119547107A (zh) 用于几何点云压缩的坐标转换
WO2023102484A1 (en) Local adaptive inter prediction for g-pcc
CN116636204A (zh) 用于几何编解码的帧间和帧内预测的混合树编解码
KR102840655B1 (ko) 적어도 하나의 센서에 의해 감지된 포인트 클라우드 지오메트리 데이터에 대해 인코딩/디코딩하는 방법 및 장치
RU2837738C2 (ru) Способ и устройство для кодирования/декодирования геометрических данных облака точек, обнаруженных с помощью, по меньшей мере, одного датчика
RU2832275C2 (ru) Способ кодирования и декодирования облака точек
US20240185470A1 (en) Decoding attribute values in geometry-based point cloud compression
JP2025513183A (ja) ジオメトリ点群圧縮のためのインター予測コーディング
CN116648914A (zh) 用于基于几何的点云压缩的使用道路和地面物体标记的全局运动估计

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898454

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202417015977

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22898454

Country of ref document: EP

Kind code of ref document: A1