JP2005063300A

JP2005063300A - Hidden region interpolation method for arbitrary viewpoint video

Info

Publication number: JP2005063300A
Application number: JP2003295190A
Authority: JP
Inventors: Atsushi Matsumura; 篤志松村; Hitoshi Naito; 整内藤; Ryoichi Kawada; 亮一川田; Shuichi Matsumoto; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-08-19
Filing date: 2003-08-19
Publication date: 2005-03-10

Abstract

【課題】データ量を増やすことなく、隠蔽された箇所の描画を可能にする任意視点動画像の隠蔽領域補完方式を提供することにある。
【解決手段】送信側では、参照画像１と画像の奥行きマップ３とから背景画像４を生成し、背景バッファ５に合成する。この時、該合成を行うための射影変換行列６を算出する。受信側は、送信側から、参照画像１，奥行きマップ３および射影変換行列６を受信する。受信側では、参照画像１と画像の奥行きマップ３とから任意視点画像１１と背景画像１２を生成する。また、背景画像１２と背景バッファ１３内の画像と射影変換行列６の３つを用いて該背景バッファ１３をフレーム毎に動的に更新する。最後に、任意視点画像１１と背景バッファ１３内の画像とを合成して、任意視点画像における隠蔽箇所に対する背景画像を補完し、補完画像１４を得る。
【選択図】図１PROBLEM TO BE SOLVED: To provide a concealed region complementing method of an arbitrary viewpoint moving image that enables drawing of a concealed portion without increasing the amount of data.
On the transmission side, a background image 4 is generated from a reference image 1 and a depth map 3 of the image, and is combined with a background buffer 5. At this time, a projective transformation matrix 6 for performing the synthesis is calculated. The receiving side receives the reference image 1, the depth map 3, and the projective transformation matrix 6 from the transmitting side. On the receiving side, an arbitrary viewpoint image 11 and a background image 12 are generated from the reference image 1 and the image depth map 3. Further, the background buffer 13 is dynamically updated for each frame using the background image 12, the image in the background buffer 13, and the projective transformation matrix 6. Finally, the arbitrary viewpoint image 11 and the image in the background buffer 13 are combined to complement the background image for the concealed portion in the arbitrary viewpoint image, thereby obtaining the complementary image 14.
[Selection] Figure 1

Description

この発明は任意視点動画像の隠蔽領域補完方式に関し、特に任意視点からの画像を生成する際に、隠蔽などにより対応点が得られなかった箇所に対して、背景バッファを用いて画像の補完を行うようにした任意視点動画像の隠蔽領域補完方式に関する。 The present invention relates to a concealment region interpolation method for an arbitrary viewpoint moving image, and in particular, when generating an image from an arbitrary viewpoint, image complementation is performed using a background buffer for a portion where a corresponding point cannot be obtained due to concealment or the like. The present invention relates to a method for complementing a concealment area of an arbitrary viewpoint moving image.

ユーザとの間のインタラクティブな映像アプリケーションを提供することを目的とし、画像と同時に付加情報を伝送する開発が行われている。例えば、付加情報として奥行き情報や視差情報が伝送された場合、任意の視点からの画像（以下、任意視点画像）を生成することが可能になる。 In order to provide an interactive video application with a user, development is being performed to transmit additional information simultaneously with an image. For example, when depth information or parallax information is transmitted as additional information, an image from an arbitrary viewpoint (hereinafter, arbitrary viewpoint image) can be generated.

これに伴い、奥行き情報や視差情報を用いた任意視点画像の生成について、様々な研究が行われている。例えば、川田等の“多視点伝送のための高精度反復勾配法による実時間ステレオマッチング方式”２００２年映像メディア学会冬季大会、Ｎｏ．７−５，Ｎｏｖ Along with this, various studies have been conducted on the generation of arbitrary viewpoint images using depth information and parallax information. For example, Kawada et al., “Real-time stereo matching method using high-precision iterative gradient method for multi-view transmission”, 2002 Winter Conference of the Video Media Society, No. 7-5, Nov

２００２では、奥行き生成を高精度に行うための対応付けについての研究がされており、これにより正確な奥行きの算出が可能になる。また、片山等の“多視点画像の補完・再構成による視点追従型立体画像表示法”電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８０３−８１１，Ｍａｙ１９９６では、抽出された奥行きから物体を認識し、他視点において各物体をより高精度に映すための手法が提案されている。 In 2002, research on matching for performing depth generation with high accuracy is performed, and this enables accurate depth calculation. In addition, Katayama et al., “Viewpoint-following stereoscopic image display method by complementing and reconstructing multi-viewpoint images”, IEICE Transactions, Vol. J79-D-II, No. 5, pp 803-811, May 1996 proposes a method for recognizing an object from the extracted depth and projecting each object with higher accuracy from another viewpoint.

しかしながら、前記した従来技術の手法を用いて任意視点画像を生成した場合、背景部分に対する考慮がなされていないため、隠蔽された箇所に対する描画が不十分であるという課題があった。 However, when an arbitrary viewpoint image is generated using the above-described conventional technique, there is a problem that drawing on a concealed portion is insufficient because the background portion is not taken into consideration.

この課題を解決する方法として、昼間等の“複数の奥行きマップを用いた仮想視点画像の生成”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．８０５−８１１，Ｍａｙ２００１では、複数の画像をもとに各画像における奥行きマップを生成し、それをもとにした任意視点画像の生成方法を提案している。しかしながら、この方法では、複数枚の画像およびそれらの各画像に対する奥行きマップが必要になるため、伝送すべき情報が増加してしまうという課題があった。 As a method of solving this problem, “Generating Virtual Viewpoint Images Using Multiple Depth Maps” such as daytime, the IEICE Transactions, Vol. J84-D-II, No. 5, pp. 805-811, May 2001 proposes a method for generating an arbitrary viewpoint image based on a depth map generated for each image based on a plurality of images. However, this method requires a plurality of images and a depth map for each of those images, and there is a problem that information to be transmitted increases.

また、秦泉寺等の“スプライト生成のためのグローバルモーション算出法と符号化への適用”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．５３５−５４４，Ｆｅｂ２００２等では、前景画像と背景画像を分離し、背景画像をスプライトを用いて補完する方法が提案されている。しかしながら、この方法では、背景画像が既知であるという前提があるため、背景画像が予め得られない場合は補完を行うことが困難になるという課題があった。
川田等の“多視点伝送のための高精度反復勾配法による実時間ステレオマッチング方式”２００２年映像メディア学会冬季大会、Ｎｏ．７−５，Ｎｏｖ２００２片山等の“多視点画像の補完・再構成による視点追従型立体画像表示法”電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８０３−８１１、Ｍａｙ１９９６昼間等の“複数の奥行きマップを用いた仮想視点画像の生成”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．８０５−８１１，Ｍａｙ２００１秦泉寺等の“スプライト生成のためのグローバルモーション算出法と符号化への適用”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．５３５−５４４，Ｆｅｂ２００２ Also, Kosenji et al. “Global Motion Calculation Method for Sprite Generation and Application to Coding”, IEICE Transactions, Vol. J84-D-II, No. 2, pp. 535-544, Feb 2002, etc. propose a method of separating a foreground image and a background image and complementing the background image using a sprite. However, in this method, since there is a premise that the background image is known, there is a problem that it is difficult to perform complementation when the background image is not obtained in advance.
Kawada et al., “Real-time stereo matching method using high-precision iterative gradient method for multi-view transmission” 2002 Winter Conference of the Video Media Society, No. 7-5, Nov 2002 Katayama et al., “Viewpoint-Following Stereoscopic Image Display Method by Complementing and Reconstructing Multi-viewpoint Images,” IEICE Transactions, Vol. J79-D-II, No. 5, pp 803-811, May 1996. “Generating Virtual Viewpoint Images Using Multiple Depth Maps” such as daytime, IEICE Transactions, Vol. J84-D-II, No. 5, pp. 805-811, May 2001 Kosenji et al. “Global Motion Calculation Method for Sprite Generation and Application to Coding”, IEICE Transactions, Vol. J84-D-II, No. 2, pp. 535-544, Feb 2002

本発明の目的は、前記した従来技術の課題を解決し、データ量を増やすことなく、隠蔽された箇所の描画を可能にする任意視点動画像の隠蔽領域補完方式を提供することにある。 An object of the present invention is to solve the above-described problems of the prior art and provide a concealed region complementation method for an arbitrary viewpoint moving image that enables rendering of a concealed portion without increasing the amount of data.

前記した目的を達成するために、本発明は、一視点からなる参照画像と、該参照画像における各画素の奥行きを記述する奥行きマップと、該参照画像と該奥行きマップとから生成される背景画像と、該背景画像を保存するための背景バッファと、該背景バッファに該背景画像を記述するための射影変換式を求める手段とを備えた送信側装置を具備する点に第１の特徴がある。 To achieve the above object, the present invention provides a reference image consisting of one viewpoint, a depth map describing the depth of each pixel in the reference image, and a background image generated from the reference image and the depth map. And a transmission side device including a background buffer for storing the background image and means for obtaining a projective transformation expression for describing the background image in the background buffer. .

また、本発明は、前記送信側装置から、前記参照画像、前記奥行きマップおよび前記射影変換式中の射影変換行列を受信する手段と、前記参照画像および奥行きマップから任意視点画像と背景画像とを生成する手段と、該背景画像を保存するための背景バッファと、該背景画像と該背景バッファ内の画像と前記射影変換行列の３つを用いて該背景バッファをフレーム毎に動的に更新する手段とを備えた受信側装置を具備する点に第２の特徴がある。 Further, the present invention provides means for receiving the reference image, the depth map, and a projective transformation matrix in the projective transformation formula from the transmission side device, and an arbitrary viewpoint image and a background image from the reference image and the depth map. The background buffer is dynamically updated on a frame-by-frame basis using a generating unit, a background buffer for storing the background image, the background image, the image in the background buffer, and the projective transformation matrix. There is a second feature in that a receiving side device including the means is provided.

さらに、本発明は、前記背景バッファ内の画像と前記任意視点画像との対応点を、前記射影変換行列および奥行きマップを用いて算出し、該対応点を用いて射影変換式を算出する手段と、該射影変換式を用いて前記任意視点画像における隠蔽箇所に対する背景画像を補完する手段とを具備した点に第３の特徴がある。 Furthermore, the present invention calculates a corresponding point between the image in the background buffer and the arbitrary viewpoint image using the projective transformation matrix and a depth map, and calculates a projective transformation formula using the corresponding point; There is a third feature in that there is provided means for complementing a background image for a concealed portion in the arbitrary viewpoint image using the projective transformation formula.

前記第１の特徴によれば、大きな演算負荷を必要とする、背景バッファに該背景画像を記述するための射影変換式を求める処理を送信側にて行うことができる。 According to the first feature, it is possible to perform processing for obtaining a projective transformation expression for describing the background image in the background buffer, which requires a large calculation load, on the transmission side.

前記第２、３の特徴によれば、小さな演算負荷にて背景バッファをフレーム毎に動的に更新することができ、また伝送量を増やすことなく、隠蔽箇所を補完された高精度な任意視点画像を生成することができるようになる。 According to the second and third features, the background buffer can be dynamically updated for each frame with a small calculation load, and a high-precision arbitrary viewpoint in which the concealment point is complemented without increasing the transmission amount An image can be generated.

本発明によれば、送信側から受信側に伝送すべき情報量を増加させることなく、また受信側に大きな処理負荷をかけることなく、任意視点動画像の隠蔽領域の補完を行うことができるようになる。また、受信側にて、隠蔽領域が補完された、任意視点の高精度な画像を生成することができるようになる。 According to the present invention, it is possible to complement the concealment area of an arbitrary viewpoint video without increasing the amount of information to be transmitted from the transmission side to the reception side and without imposing a large processing load on the reception side. become. In addition, on the receiving side, it is possible to generate a highly accurate image of an arbitrary viewpoint in which the concealment region is complemented.

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の一実施形態の処理を説明する図である。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram illustrating processing according to an embodiment of the present invention.

送信側、例えば放送局では、送信する画像をある視点から撮影した画像（以下、参照画像）１と、他の視点から撮影した画像２から、画像（又は画素）の奥行きマップ３を生成する。この画像の奥行きマップ３の生成方法は周知であるので説明を省略する。次に、前記参照画像１と画像の奥行きマップ３とから、該参照画像１の背景画像４を抽出する。また、背景バッファ５を生成し、前記背景画像４を背景バッファ５に合成、すなわち上書きする。この時、該合成を行うための射影変換式（以下、射影変換行列という）６を算出する。この射影変換行列６の算出は受信側でも可能であるが、この算出にかかる計算量の負荷が大きいため、本発明では、送信側にて射影変換行列６の算出を行い、算出された行列を受信側に送ることとする。 On the transmission side, for example, a broadcasting station, a depth map 3 of an image (or pixel) is generated from an image (hereinafter referred to as a reference image) 1 taken from a certain viewpoint and an image 2 taken from another viewpoint. Since the method for generating the depth map 3 of this image is well known, the description thereof is omitted. Next, the background image 4 of the reference image 1 is extracted from the reference image 1 and the image depth map 3. Also, the background buffer 5 is generated, and the background image 4 is combined with the background buffer 5, that is, overwritten. At this time, a projective transformation formula (hereinafter referred to as a projective transformation matrix) 6 for performing the synthesis is calculated. Although the calculation of the projective transformation matrix 6 can be performed on the reception side, since the calculation load for the calculation is large, in the present invention, the projection transformation matrix 6 is calculated on the transmission side, and the calculated matrix is calculated. It will be sent to the receiving side.

ここで、前記の動作をより詳細に説明する。前記背景画像４の抽出は、参照画像１と画像の奥行きデータ３を用いて、その奥行きの値がある閾値Ｔｈ以上であれば背景画像、該閾値Ｔｈより小さければ前景画像と判定する。次に、前記背景バッファ５に画像が存在しない第１フレームでは、分離された背景画像を該背景バッファ５に書き込む。第２フレーム以降のフレームでは、背景バッファ５に記憶されているデータに各フレームの背景画像を合成する。この際、現在のバッファと背景として抽出された画像との間の射影変換行列６（Ｂ）を算出する。この射影変換行列Ｂは、下記の式(1)により定義される。 Here, the above operation will be described in more detail. The background image 4 is extracted by using the reference image 1 and the depth data 3 of the image as a background image if the depth value is equal to or greater than a certain threshold Th, and as a foreground image if the depth value is smaller than the threshold Th. Next, in the first frame in which no image exists in the background buffer 5, the separated background image is written into the background buffer 5. In the second and subsequent frames, the background image of each frame is combined with the data stored in the background buffer 5. At this time, a projective transformation matrix 6 (B) between the current buffer and the image extracted as the background is calculated. This projective transformation matrix B is defined by the following equation (1).

（ｕ，ｖ，１）^Ｔ×Ｂ（ｕ’，ｖ’，１）^Ｔ＝０・・・(1)
ここに、（ｕ，ｖ，１）は現在のバッファに記憶されている背景画像の画素の位置、（ｕ’，ｖ’，１）は合成する背景画像の前記位置（ｕ，ｖ，１）に対応する画素の位置である。 (U, v, 1) ^T × B (u ′, v ′, 1) ^T = 0 (1)
Here, (u, v, 1) is the position of the pixel of the background image stored in the current buffer, and (u ′, v ′, 1) is the position (u, v, 1) of the background image to be synthesized. Is the position of the pixel corresponding to.

射影変換行列Ｂは３×３の行列であるが、スケールを任意に決めることができるため、自由度は８である。すなわち、（ｕ，ｖ，１）と（ｕ’，ｖ’，１）の対応が少なくとも８点求まれば、射影変換行列Ｂを算出することができる。なお、この対応点を見つけるための計算量が大きくなるので、前述のように、射影変換行列６の算出は処理能力の大きな演算装置などを用意できる放送局などの送信側で行うのが好適である。 The projective transformation matrix B is a 3 × 3 matrix, but the degree of freedom is 8 because the scale can be arbitrarily determined. That is, if at least eight correspondences between (u, v, 1) and (u ′, v ′, 1) are obtained, the projective transformation matrix B can be calculated. Since the calculation amount for finding the corresponding points becomes large, as described above, it is preferable to calculate the projective transformation matrix 6 on the transmission side of a broadcasting station or the like that can prepare an arithmetic device having a large processing capability. is there.

次に、受信側では、送信側から送られてきた、ある視点から撮影した参照画像１と、画像の奥行きマップ３とを用いて、任意視点画像１１を生成する。この処理は公知であるので簡単に説明する。 Next, on the reception side, an arbitrary viewpoint image 11 is generated using the reference image 1 taken from a certain viewpoint and the image depth map 3 sent from the transmission side. Since this process is known, it will be briefly described.

画像の奥行きマップ３では、参照画像１の各画素における奥行きＺ_ｕｖが記述されているため、対象画像の各画素の座標と奥行きにより各画素の３次元上での位置が取得できる。これを用いることにより、任意視点での画像を生成する。すなわち、カメラの回転を３×３の行列Ｒ’によって、またカメラの平行移動を１×３のベクトルｔ’として定義する。参照画像における画素の位置を（ｕ，ｖ）と表した場合、任意視点における対応点（ｕ’’，ｖ’’）と、（ｕ，ｖ）の関係は下記の式(2)によって表される。
（ｕ’’，ｖ’’，１）^Ｔ×（Ｚ_ｕｖＲ’（ｕ，ｖ，１）^Ｔ＋ｔ’）＝０・・・(2) In the depth map 3 of the image, the depth Z _{uv at} each pixel of the reference image 1 is described. _Therefore , the position of each pixel in three dimensions can be acquired from the coordinates and depth of each pixel of the target image. By using this, an image at an arbitrary viewpoint is generated. That is, camera rotation is defined by a 3 × 3 matrix R ′ and camera translation is defined as a 1 × 3 vector t ′. When the pixel position in the reference image is represented as (u, v), the relationship between the corresponding point (u ″, v ″) at the arbitrary viewpoint and (u, v) is represented by the following equation (2). The
(U ″, v ″, 1) ^T × (Z _uv R ′ (u, v, 1) ^T + t ′) = 0 (2)

式(2)を（ｕ’’，ｖ’’，１）^Ｔについて解くことにより、任意視点における各点の座標を求めることができる。これによって求められた（ｕ’’，ｖ’’）に対して、参照画像における（ｕ，ｖ）の輝度を与えることにより、任意視点画像の生成を行う。 By solving Equation (2) for (u ″, v ″, 1) ^T , the coordinates of each point at an arbitrary viewpoint can be obtained. An arbitrary viewpoint image is generated by giving the luminance of (u, v) in the reference image to (u ″, v ″) obtained in this way.

また、前記参照画像１と画像の奥行きマップ３とから、該参照画像１の背景画像１２を抽出する。そして、送信側から送られてくる前記射影変換行列Ｂを用いて、背景画像１２を背景バッファ１３に合成する。図２は該合成の概念図であり、前記背景画像１２は、射影変換行列Ｂを用いた射影変換により背景バッファ１３に合成される。その際、同一点における参照画像および背景バッファ共に背景画像であると判断された場合、参照画像の画素を優先させることとする。これにより、より新しい情報を優先させて合成させることが可能になり、各フレームにおける背景部の動きに対応させることができるようになる。また、動画像のフレーム数が増えるにつれて背景バッファ１３に蓄積される動画像の背景画像のデータ量が多くなり、動画像の隠蔽領域が小さくなる。なお、送信側から受信側に送られる前記射影変換行列Ｂのデータ量が小さいことは明らかである。 A background image 12 of the reference image 1 is extracted from the reference image 1 and the image depth map 3. Then, the background image 12 is combined with the background buffer 13 using the projective transformation matrix B sent from the transmission side. FIG. 2 is a conceptual diagram of the synthesis. The background image 12 is synthesized in the background buffer 13 by projective transformation using the projective transformation matrix B. At this time, if it is determined that both the reference image and the background buffer at the same point are background images, priority is given to the pixels of the reference image. As a result, newer information can be preferentially synthesized and can be made to correspond to the movement of the background portion in each frame. Further, as the number of moving image frames increases, the amount of moving image background image data stored in the background buffer 13 increases, and the moving image concealment area decreases. It is obvious that the data amount of the projective transformation matrix B sent from the transmission side to the reception side is small.

次に、前記任意視点画像１１と背景バッファ１３に蓄積されている背景画像とを合成すると、隠蔽領域が保完された画像１４を得ることができる。該補完の方法を以下に説明する。 Next, when the arbitrary viewpoint image 11 and the background image stored in the background buffer 13 are combined, an image 14 in which the concealment area is completed can be obtained. The complementing method will be described below.

まず、任意視点画像と背景バッファ画像との間の射影変換行列Ｂ’を算出する。ここで、画像間の対応点が必要とされるが、前記式(1)で算出した射影変換行列Ｂと、伝送された奥行きから求められた対応点の関係を用いることにより、マッチングを取ることなく対応点を算出する。この算出は少ない処理量で行うことができるから、受信側例えば携帯電話などにおける計算量の負荷が軽くなる。 First, a projective transformation matrix B ′ between the arbitrary viewpoint image and the background buffer image is calculated. Here, corresponding points between images are required, and matching is performed by using the relationship between the projection transformation matrix B calculated by the equation (1) and the corresponding points obtained from the transmitted depth. Corresponding points are calculated instead. Since this calculation can be performed with a small amount of processing, the load of the calculation amount on the receiving side, for example, a mobile phone is lightened.

その後、算出された射影変換行列Ｂ’を用いて、対応点がないとして判断された画像に対する補完を行う。点（ｕ’’，ｖ’’）の補完を行う際には、下記の式(3)を満たす点（ｕ’，ｖ’，１）を算出し、参照画像の画素（ｕ’，ｖ’）における輝度を点（ｕ’’，ｖ’’）の輝度として定義する。
（ｕ’，ｖ’，１）^Ｔ×Ｂ（ｕ’’，ｖ’’，１）^Ｔ＝０・・・(3) Thereafter, the calculated projection transformation matrix B ′ is used to complement the image determined as having no corresponding point. When complementing the point (u ″, v ″), a point (u ′, v ′, 1) that satisfies the following equation (3) is calculated, and the pixel (u ′, v ′) of the reference image is calculated. ) Is defined as the luminance of the point (u ″, v ″).
(U ′, v ′, 1) ^T × B (u ″, v ″, 1) ^T = 0 (3)

図３は、背景バッファ１３と、任意視点画像１１と対応の取れた背景箇所１３ａを示し、該任意視点画像１１と対応の取れた背景箇所１３ａとを合成することにより、補完を行うことができる。ただし、ｕ’およびｖ’が整数でない場合には、線形補完により輝度値の修正を行う。 FIG. 3 shows the background buffer 13 and the background portion 13a corresponding to the arbitrary viewpoint image 11, and complementation can be performed by synthesizing the background portion 13a corresponding to the arbitrary viewpoint image 11 with each other. . However, when u ′ and v ′ are not integers, the luminance value is corrected by linear interpolation.

以上の処理により、隠蔽された箇所および誤対応などにより対応点なしと判断された箇所に対する高精度な補完が可能になる。 With the above processing, it is possible to perform high-precision complementation on a concealed part and a part that is determined to have no corresponding point due to an erroneous correspondence or the like.

本発明者は、前記した任意視点動画像の隠蔽領域補完方法の有効性を確認するために次の実験を行った。 The present inventor conducted the following experiment in order to confirm the effectiveness of the above-described method for complementing the concealment region of the arbitrary viewpoint moving image.

すなわち、映像情報メディア学会の標準画像である、Ｒｅｄの輝度値のみによる８階調のグレースケール画像を用いる。実験では、左目画像を参照画像とし、右目画像より奥行きを算出する。受信側では、参照画像および各画素に対する奥行きを受信すると仮定し、これを基に右目画像として定義されている画像の再現を試みた。 That is, a grayscale image of 8 gradations using only the luminance value of Red, which is a standard image of the Institute of Image Information Media, is used. In the experiment, the left-eye image is used as a reference image, and the depth is calculated from the right-eye image. On the receiving side, it was assumed that the reference image and the depth for each pixel were received, and based on this, an attempt was made to reproduce the image defined as the right-eye image.

実験結果は、図４（ａ）、（ｂ）に示すようになった。図４（ａ）、（ｂ）の横軸はフレーム数を示し、それぞれの縦軸は、それぞれＰＳＮＲと対応点なしと判断されて描画がされなかった画素の割合を示す。図４（ａ）を見ると、補完ありの画像（曲線ａ）では、補完なしの画像（曲線ｂ）比べて、ＰＳＮＲが、フレーム数が増えるにつれて向上し、精度の高い画像が得られていることが分かる。 The experimental results are shown in FIGS. 4 (a) and 4 (b). 4A and 4B, the horizontal axis indicates the number of frames, and each vertical axis indicates the ratio of pixels that are determined to have no corresponding point and the PSNR and are not drawn. As shown in FIG. 4A, in the image with the complement (curve a), the PSNR is improved as the number of frames is increased as compared with the image without the complement (curve b), and a highly accurate image is obtained. I understand that.

また、図４（ｂ）を見ると、補完ありの画像（曲線ｃ）では、描画されなかった画素の割合が、フレーム数が増えるにつれて大幅に減少しているが、補完なしの画像（曲線ｄ）では、漸増していることが分かる。 4B, in the image with the complement (curve c), the ratio of the pixels that were not drawn decreases significantly as the number of frames increases, but the image without the complement (curve d). ), You can see that it is increasing gradually.

したがって、本発明によると、任意視点動画像の隠蔽領域の補完が高精度に行われることが確認された。 Therefore, according to the present invention, it was confirmed that the concealment region of the arbitrary viewpoint moving image is complemented with high accuracy.

本発明の一実施形態の機能を示すブロック図である。It is a block diagram which shows the function of one Embodiment of this invention. 参照画像の背景画像を背景バッファに合成する処理の概念図である。It is a conceptual diagram of the process which synthesize | combines the background image of a reference image to a background buffer. 背景バッファ内の画像と任意視点画像の合成処理の概念図である。It is a conceptual diagram of the synthetic | combination process of the image in a background buffer, and arbitrary viewpoint images. 本発明により任意視点動画像の隠蔽領域の補完がなされた実験例における、任意視点動画像のＰＳＮＲと描画されなかった画素の割合を示すグラフである。6 is a graph showing a PSNR of an arbitrary viewpoint moving image and a ratio of pixels that are not drawn in an experimental example in which a hidden region of an arbitrary viewpoint moving image is complemented according to the present invention.

Explanation of symbols

１・・・参照画像、２・・・他の視点画像、３・・・画像の奥行きマップ、５・・・背景バッファ、６・・・射影変換行列、１１・・・任意視点画像、１２・・・背景画像、１３・・・背景バッファ、１４・・・補完画像。 DESCRIPTION OF SYMBOLS 1 ... Reference image, 2 ... Other viewpoint image, 3 ... Depth map of image, 5 ... Background buffer, 6 ... Projection transformation matrix, 11 ... Arbitrary viewpoint image, 12. ..Background image, 13... Background buffer, 14.

Claims

A reference image consisting of one viewpoint, a depth map describing the depth of each pixel in the reference image, a background image generated from the reference image and the depth map, and a background buffer for storing the background image A method for concealing an arbitrary viewpoint moving image concealment region, comprising: a transmission-side apparatus including a means for obtaining a projective transformation expression for describing the background image in the background buffer.

In the concealment region complementation method of the arbitrary viewpoint moving image according to claim 1,
A concealment region complementation method for an arbitrary viewpoint moving image, characterized in that a background image of each frame of a moving image is synthesized in the background buffer, and the projective transformation formula is obtained each time.

Means for receiving the reference image, the depth map, and a projective transformation matrix in the projective transformation equation from the transmission side device according to claim 1; and an arbitrary viewpoint image and a background image from the reference image and the depth map. A background buffer for storing the background image, and the background buffer, the image in the background buffer, and the projective transformation matrix are used to dynamically update the background buffer for each frame. A method for concealing a hidden area of an arbitrary viewpoint moving image, comprising: a receiving side device comprising:

In the concealment region complementation method of the arbitrary viewpoint moving image according to claim 3,
Means for calculating a corresponding point between the image in the background buffer and the arbitrary viewpoint image using the projective transformation matrix and a depth map, and calculating a projective transformation formula using the corresponding point;
An arbitrary viewpoint moving image concealment region complementing system comprising: means for complementing a background image for a concealment location in the arbitrary viewpoint image using the projective transformation formula.