JP2019082998A - 深度マップにおける擬似画素をフィルタリングするための方法 - Google Patents

Abstract

【課題】深度マップにおける擬似画素を削除して、エッジを保持し、且つ、わずかな細部又はノイズを滑らかにするフィルタリングを行う方法を提供する。【解決手段】方法は、フィルタリングする現在画素を中心とする近隣画素について幾何学的距離の関数に基づく重みを決定し、該重みを畳み込みフィルタに適用することによって現在画素をフィルタリングする。これによって、深度マップの鮮明なエッジを保持し、且つ、わずかな細部又はノイズを滑らかにしながら、深度マップにおける擬似画素を除去することができる。【選択図】図３

Description

技術分野
本発明は、深度マップに関し、特に画像処理を実行する場合に深度マップの使用に影響する擬似画素をフィルタリングするための方法に関する。

背景
深度マップは、各画素が、カメラに対する対象の位置で観察されている対象の距離、距離の逆数、又は距離の関数である任意の情報を記録する特殊画像である。深度マップは、例えば、同じ視野を観察する数台のカメラを使用し、且つビュー間の視差の変動を用いて深度を推定することで計算されてもよい。実際には、推定深度マップは、擬似画素を示している。例えば、１台のカメラから次のカメラへと対象が部分的に隠されること、対象からの反射光の変動が、相異なる位置で観察されること、テクスチャがないか又はほとんどない表面が、視差推定を困難にすること、カメラ間の感度のばらつき、のように、多くの理由が、深度マップの推定を困難にする。

擬似画素を除去するために、深度マップをフィルタリングすることが重要である。擬似画素をフィルタリングする場合の１つの問題は、深度マップの実際の細部の境界を保持しながら、擬似画素を除去することである。

擬似画素をフィルタリングする既知のアプローチは、双方向フィルタを使用することである。双方向フィルタは、画素Ｉ（ｘ，ｙ）に関連する重み関数ｗ（ｘ，ｙ，ｋ，ｌ）を定義する。座標（ｋ，ｌ）は、中心画素Ｉ（ｘ，ｙ）と、重みが計算される画素Ｉ（ｘ＋ｋ，ｙ＋ｌ）との間のシフトを示す。
ｗ（ｘ，ｙ，ｋ，ｌ）＝ｄ（ｘ＋ｋ，ｙ＋ｌ）ｒ（Ｉ（ｘ，ｙ），Ｉ（ｘ＋ｋ，ｙ＋ｌ））

重みは、前記「双方向」である。何故なら、重みが、強度項ｒ（Ｉ（ｘ，ｙ），Ｉ（ｘ＋ｋ，ｙ＋ｌ））に依存し、幾何学的距離項ｄ（ｘ＋ｋ，ｙ＋ｌ）が、画素値に依存しないからである。関数ｒ及びｄの典型的な選択は、

である。

重み関数ｗは、２つのパラメータに依存する。即ち、画素Ｉ（ｘ＋ｋ，ｙ＋ｌ）が、中心画素Ｉ（ｘ，ｙ）よりどれほど大きい強度を有しなければならないかを制御するσ_ｄと、距離（ｋ，ｌ）が、畳み込みフィルタにどれほど影響を及ぼすかを制御するσ_ｒと、である。画素の強度は、画素とカメラとの間の距離の関数である。

重みは、（ｋ，ｌ）∈［−Ｐ，＋Ｐ］^２など、画素Ｉ（ｘ，ｙ）を中心とする［２Ｐ＋１×２Ｐ＋１］画素のグループ用に内部で定義される。畳み込みフィルタは、重み関数内の全ての重みの和で重み関数を割ることによって定義される。

（ｉ，ｊ）∈［０，２Ｐ＋１］^２の場合、畳み込みフィルタ

は、重み関数の積分による重み関数の正規化である。

双方向フィルタは、わずかな細部又はノイズを滑らかにしながら、深度マップの鮮明なエッジを保持できる効率的なフィルタリングを提供する。

しかしながら、双方向フィルタは、擬似画素を除去するためには効率的ではない。実際には、擬似画素は、それらを直接囲む画素に対して鮮明なエッジを示している。Ｉ（ｘ，ｙ）に位置する擬似画素用に計算された重み関数ｗ（ｘ，ｙ，ｋ，ｌ）は、Ｉ（ｘ，ｙ）に似ている同等の振幅を有する周囲画素用にのみ高い重みを有する。従って、擬似画素は、双方向フィルタリングステージ後に除去されない。換言すれば、双方向フィルタは、フィルタリングの数回の反復後にさえ擬似画素を保持している。１つの選択肢は、パラメータσ_ｄを増加させることであろうが、しかしこれは、擬似画素と同様に、対象の境界の鮮明なエッジが解消されることにつながる。

本発明は、前述のことを考慮して考案された。

発明の概要
本発明の第１の態様に従って、深度マップにおける擬似画素をフィルタリングするためのコンピュータ実行方法であって、現在画素と呼ばれる深度マップの画素用に、
− 現在画素を中心とする前記深度マップの画素グループに属して近隣画素と呼ばれる少なくとも１つの画素用の少なくとも１つの重みを決定することであって、前記重みが、現在画素に隣接する画素の強度及び前記少なくとも１つの近隣画素の強度の、且つ同様に現在画素と前記少なくとも１つの近隣画素との間の幾何学的距離の関数であることと、
− 少なくとも１つの隣接画素に対応する重み関数を決定することであって、その重み関数の係数が、前記決定された重みであることと、
− 重み関数の全ての係数の和を最大限にする正規化された重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
を含む方法が提供される。

提案される解決策は、双方向フィルタが行うであろうように、深度マップの鮮明なエッジを保持し、且つわずかな細部又はノイズを滑らかにしながら、最小値フィルタ又は最大値フィルタが行うであろうように、深度マップにおける擬似画素を除去することができる。

実際に、現在画素が、擬似画素である場合に、その重み関数の全ての係数の和は、隣接画素の強度を用いて決定された他の重み関数の係数の和と比較して最大でない。何故なら、隣接画素間で、擬似画素が、それほど頻繁ではないからである。

最小値フィルタ／最大値フィルタ解決策において、フィルタリングされた画素は、近隣画素の最小値
Ｉ_ｍｉｎ（ｘ，ｙ）＝ｍｉｎ（Ｉ（ｘ＋ｎ，ｙ＋ｍ）∀（ｎ，ｍ）∈［−１，１］
と等しいか又は近隣画素の最大値
Ｉ_ｍａｘ（ｘ，ｙ）＝ｍａｘ（Ｉ（ｘ＋ｎ，ｙ＋ｍ）∀（ｎ，ｍ）∈［−１，１］
に等しい。

画像に対して最小値フィルタ、次に最大値フィルタを連続的に呼び出すことは、いわゆる画像侵食である。画像に対して最大値フィルタ、次に最小値フィルタを連続的に呼び出すことは、画像膨張と呼ばれる。侵食フィルタは、擬似画素の直接的な周囲より大きな振幅を備えた擬似画素を除去できるようにする。一方、膨張フィルタは、擬似画素の直接的な周囲より小さな振幅を備えた擬似画素を除去できるようにする。実際には、侵食又は膨張フィルタは、擬似画素を除去できるが、実際の対象の境界にひどく影響を及ぼす。

双方向フィルタ解決策において、現在画素は、重み関数の計算において主要な役割を果たす。現在画素が、擬似画素である場合に、重み関数は、現在画素と類似の近隣画素を強調する。従って、フィルタリング後に、擬似画素は、解消又は消去されるのではなく、元のまま保たれる。

本発明の実施形態による解決策において、本発明者らは、重み関数の重みを計算する場合に、現在画素の強度を隣接画素の強度により取り替えることによって、重み関数の計算における現在画素の役割を制限することを提案する。従って、本発明による方法は、現在画素に隣接する画素数と同数の重み関数を生成することができる。現在画素をフィルタリングするために、複数の生成された重み関数の間で重み関数が選択される。選択された重み関数は、対応する重み関数の全ての係数の和を最大限にする重み関数である。次に、１つの畳み込みフィルタが、選択された重み関数から生成される。

本発明の実施形態によれば、少なくとも隣接画素の重みは、

によって与えられ、
式中、ｒは、基準値であり、Ｔは、深度マップの画素と基準値ｒとの間の差基準であり、（ｘ，ｙ）は、現在画素の座標であり、（ｋ，ｌ）は、現在画素Ｉ（ｘ，ｙ）と、重みが決定される近隣画素との間のシフトを表す。

この単純化された重み関数は、スマートフォンに埋め込まれるプロセッサなど、制限された計算能力のプロセッサによって実行することができる。

本発明の実施形態によれば、重み関数は、一次元フィルタであり、且つ深度マップの方向に直交する。

本発明の実施形態によれば、重み関数の方向は、角度αを計算することによって決定され、角度αの値は、第１の変数ｘ間における現在画素の強度の局所微分と、第２の変数ｙ間における現在画素の強度の局所微分との比率の逆正接である。

本発明の実施形態によれば、方法は、
− 第１の重み関数を決定することであって、その第１の重み関数の係数が、隣接画素間で最高の強度を有する隣接画素の強度の関数として決定されることと、
− 第２の重み関数を決定することであって、その第２の重み関数の係数が、隣接画素間で最低の強度を有する隣接画素の強度の関数として決定されることと、
− 第３の重み関数を決定することであって、その第３の重み関数の係数が、現在画素の強度の関数として決定されることと、
− 第４の重み関数を決定することであって、その第４の重み関数の係数が、隣接画素の強度の中央値である強度の関数として決定されることと、
− ４つの重み関数の間で、重み関数の全ての係数の和を最大限にする正規化された重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
を更に含む。

４つの重み関数だけを生成することは、擬似画素をフィルタリングするために必要とされる計算負荷を低減する。この４つの重み関数はまた、同様にスマートフォンに埋め込まれるＧＰＵによって提供されるベクトル計算を利用する。

本発明の別の目的は、深度マップにおける擬似画素をフィルタリングできる装置であって、現在画素と呼ばれる深度マップの画素用に、
− 現在画素を中心とする前記深度マップの画素グループに属して近隣画素と呼ばれる少なくとも１つの画素用の少なくとも１つの重みを決定することであって、前記重みが、現在画素に隣接する画素の強度及び前記少なくとも１つの近隣画素の強度の、且つ同様に現在画素と前記少なくとも１つの隣接画素との間の幾何学的距離の関数であることと、
− 少なくとも１つの隣接画素に対応する重み関数を決定することであって、その重み関数の係数が、前記決定された重みであることと、
− 重み関数の全ての係数の和を最大限にする正規化された重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
を行うように構成された少なくとも１つのハードウェアプロセッサを含む装置に関する。

本発明の実施形態によれば、少なくとも隣接画素の重みは、

によって与えられ、
式中、ｒは、基準値であり、Ｔは、深度マップの画素と基準値ｒとの間の差基準であり、（ｘ，ｙ）は、現在画素の座標であり、（ｋ，ｌ）は、現在画素Ｉ（ｘ，ｙ）と、重みが決定される近隣画素との間のシフトを表す。

本発明の実施形態によれば、重み関数は、一次元フィルタであり、且つ深度マップのエッジの方向に直交する。

本発明の実施形態によれば、重み関数の方向は、角度αを計算することによって決定され、角度αの値は、第１の変数ｘ間における現在画素の強度の局所微分と、第２の変数ｙ間における現在画素の強度の局所微分との比率の逆正接である。

本発明の実施形態によれば、ハードウェアプロセッサは、
− 第１の重み関数を決定することであって、その第１の重み関数の係数が、隣接画素間で最高の強度を有する隣接画素の強度の関数として決定されることと、
− 第２の重み関数を決定することであって、その第２の重み関数の係数が、隣接画素間で最低の強度を有する隣接画素の前記強度の関数として決定されることと、
− 第３の重み関数を決定することであって、その第３の重み関数の係数が、現在画素の強度の関数として決定されることと、
− 第４の重み関数を決定することであって、その第４の重み関数の係数が、隣接画素の強度の中央値である強度の関数として決定されることと、
− ４つの重み関数間で、重み関数の全ての係数の和を最大限にする正規化された重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
を行うように更に構成される。

本発明の要素によって実行される幾つかのプロセスは、コンピュータによって実行されてもよい。従って、かかる要素は、完全なハードウェア実施形態か、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）か、又は本明細書では一般に「回路」、「モジュール」、若しくは「システム」と全て呼ばれ得るソフトウェア及びハードウェアの態様を組み合わせる実施形態の形式を取ることができる。更に、かかる要素は、コンピュータが利用可能なプログラムコードを媒体に具体化した任意の有形表現媒体に具体化されたコンピュータプログラムプロダクトの形式を取ってもよい。

本発明の要素が、ソフトウェアにおいて実行され得るので、本発明は、プログラム可能な機器に提供するためのコンピュータ可読コードとして、いずれかの適切なキャリヤ媒体上で具体化することができる。有形キャリヤ媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は固体メモリ装置などの記憶媒体を含んでもよい。一時キャリヤ媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁信号、例えばマイクロ波若しくはＲＦ信号などの信号を含んでもよい。

図面の簡単な説明
ここで、本発明の実施形態は、単に例として、以下の図面を参照して説明される。

本発明の実施形態による方法を実行できる装置の例を示す概略ブロック図である。 本発明の実施形態による、深度マップの擬似画素をフィルタリングするための方法ステップの流れ図を表す。 現在画素を中心とする、且つ隣接画素と呼ばれる［２Ｐ＋１×２Ｐ＋１］画素のグループを表す。

詳細な説明
当業者によって理解されるであろうように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として具体化することができる。従って、本原理の態様は、完全なハードウェア実施形態か、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）か、又は本明細書では一般に「回路」、「モジュール」、若しくは「システム」と全て呼ばれ得るソフトウェア及びハードウェアの態様を組み合わせる実施形態の形式を取ることができる。更に、本原理の態様は、コンピュータ可読記憶媒体の形式を取ることができる。１つ又は複数のコンピュータ可読記憶媒体のどの組み合わせが利用されてもよい。

図１は、本発明の実施形態による方法を実行できる装置の例を示す概略ブロック図である。

機器１００は、バス１０６によって接続されるプロセッサ１０１と、記憶ユニット１０２と、入力装置１０３と、表示装置１０４と、インターフェースユニット１０５とを含む。言うまでもなく、コンピュータ機器１００の構成要素は、バス接続部以外の接続部によって接続されてもよい。

プロセッサ１０１は、機器１００の動作を制御する。記憶ユニット１０２は、プロセッサ１０１によって実行される少なくとも１つのプログラムと、深度マップ、プロセッサ１０１によって実行される計算によって用いられるパラメータ、プロセッサ１０１によって実行される計算の中間データ等を含む様々なデータとを格納する。プロセッサ１０１は、任意の既知で適切なハードウェアか、ソフトウェアか、又はハードウェア及びソフトウェアの組み合わせによって形成されてもよい。例えば、プロセッサ１０１は、処理回路などの専用ハードウェアによって、又は自らのメモリに格納されたプログラムを実行する、ＣＰＵ（中央処理ユニット）などのプログラム可能な処理ユニットによって形成されてもよい。

記憶ユニット１０２は、コンピュータが読み取れる方法でプログラム、データ等を格納できる任意の適切な記憶装置又は手段によって形成されてもよい。記憶ユニット１０２の例には、半導体メモリ装置などの非一時的なコンピュータ可読記憶媒体と、読み出し及び書き込みユニットに装着される磁気、光、又は光磁気記録媒体とを含む。プログラムは、図３〜４に関連して説明されるような本開示の実施形態に従って、明視野画像を操作するためのプロセスをプロセッサ１０１に実行させる。

入力装置１０３は、キーボード、マウスなどのポインティング装置、又はコマンドを入力するためにユーザによって用いられる同様のものによって形成されてもよい。出力装置１０４は、例えばグラフィカルユーザインターフェース（ＧＵＩ）を表示する表示装置によって形成されてもよい。入力装置１０３及び出力装置１０４は、例えばタッチスクリーンパネルによって一体的に形成されてもよい。

インターフェースユニット１０５は、機器１００と外部機器との間のインターフェースを提供する。インターフェースユニット１０５は、ケーブル又は無線通信を介して外部機器と通信可能であってもよい。

機器１００は、例えば、タブレット又はスマートフォンなどの携帯装置であってもよい。

図２は、本発明の実施形態に従って、深度マップの擬似画素をフィルタリングするための方法ステップの流れ図を表す。以下のステップは、深度マップの全ての画素用に実行される。

ステップ２００において、機器１００のプロセッサ１０１は、図３に表されているように、近隣画素と呼ばれる、現在画素を中心にした［２Ｐ＋１×２Ｐ＋１］画素のグループを定義する。図３において、近隣画素のグループは、５×５グループである。

ステップ２０１において、機器１００のプロセッサ１０１は、深度マップにおいて（ｘ，ｙ）が現在画素の座標である場合の現在画素に関連する第１の重み関数ｗ_０，０（ｘ，ｙ）の重みを計算する。

考慮される近隣画素に関連する重みｗ_０，０（ｘ，ｙ，ｋ，ｌ）は、次のように計算され、
ｗ_０，０（ｘ，ｙ，ｋ，ｌ）＝ｄ（ｘ＋ｋ，ｙ＋ｌ）ｒ（Ｉ（ｘ，ｙ），Ｉ（ｘ＋ｋ，ｙ＋ｌ）） （１）
式中、（ｋ，ｌ）は、現在画素と、座標が（ｘ＋ｋ，ｙ＋ｌ）である、重みが計算される近隣画素との間のシフトを示す。

重みは、強度項ｒ（Ｉ（ｘ，ｙ），Ｉ（ｘ＋ｋ，ｙ＋ｌ））に依存し、式中、Ｉ（ｘ，ｙ）は、現在画素の強度であり、Ｉ（ｘ＋ｋ，ｙ＋ｌ）は、重みが決定される近隣画素の強度である。幾何学的距離項ｄ（ｘ＋ｋ，ｙ＋ｌ）は、画素値には依存しない。本発明の実施形態において関数ｒ及びｄは、

である。

重みｗは、２つのパラメータに依存する。即ち、考慮される近隣画素が、現在画素よりどれほど大きい強度を有しなければならないかを制御するσ_ｄと、距離（ｋ，ｌ）が、重み関数にどれほど影響を及ぼすかを制御するσ_ｒと、である。

かかる重みは、現在画素の全ての近隣画素用に計算される。

ステップ２０２において、第１の畳み込みフィルタＣ_０，０（ｘ，ｙ）が、現在画素に関連する重み関数から生成される。

前述の式が、深度マップの座標（ｘ，ｙ）を備えた画素に当てはまる、サイズ［２Ｐ＋１×２Ｐ＋１］画素のローカル畳み込みフィルタＣ_０，０（ｘ，ｙ）には典型的であることに注目する価値がある。畳み込みフィルタの各係数Ｃ_０，０（ｘ，ｙ）［ｉ，ｊ］は、

によって与えられる。

（ｉ，ｊ）∈［０，２Ｐ＋１］^２、及び重み関数ｗ_０，０（ｘ，ｙ，ｋ，ｌ）の全ての重みの和である

を用いる。従って、前述の式は、畳み込み演算子＊を用いて書き直すことができる。
Ｉ_フィルタ（ｘ，ｙ）＝Ｉ＊Ｃ（ｘ，ｙ）

Ｃ_０，０（ｘ，ｙ）は、現在画素（ｘ，ｙ）に関連するローカル畳み込みフィルタである。換言すれば、畳み込みフィルタは、正規化された重み関数（全ての重みが、重み関数の積分で割られる）と等しい。

ステップ２０３において、装置１００のプロセッサ１０１は、現在画素に関連する第２の重み関数の重みｗ_ｎ，ｍを計算する。

考慮される近隣画素に関連する重みｗ_ｎ，ｍ（ｘ＋ｎ，ｙ＋ｍ，ｋ，ｌ）は、次のように計算され、
ｗ（ｘ＋ｎ，ｙ＋ｍ，ｋ，ｌ）＝ｄ（ｘ＋ｋ，ｙ＋ｌ）ｒ（Ｉ（ｘ＋ｎ，ｙ＋ｍ），Ｉ（ｘ＋ｋ，ｙ＋ｌ））
式中、（ｋ，ｌ）は、現在画素間のシフトを示し、（ｎ，ｍ）は、現在画素に隣接する考慮される画素と、座標が（ｘ＋ｋ，ｙ＋ｌ）であり、重みが計算される近隣画素と、の座標である。本発明の実施形態において、９の重み関数を計算するために、（ｎ，ｍ）∈［−１；１］を定義することができる。

重みは、強度項ｒ（Ｉ（ｘ＋ｎ，ｙ＋ｍ），Ｉ（ｘ＋ｋ，ｙ＋ｌ））に依存し、式中、Ｉ（ｘ＋ｎ，ｙ＋ｍ）は、現在画素に隣接する画素の強度であり、Ｉ（ｘ＋ｋ，ｙ＋ｌ）は、重みが決定される近隣画素の強度である。幾何学的距離項ｄ（ｘ＋ｋ，ｙ＋ｌ）は、画素値に依存しない。

本発明の実施形態において、関数ｒ及びｄは、

である。

かかる重みは、現在画素の全ての近隣画素用に計算される。

ステップ２０４において、現在画素に関連する第２の畳み込みフィルタＣ_ｎ，ｍ（ｘ，ｙ）は、ｗ_ｎ，ｍ（ｘ＋ｎ，ｙ＋ｍ，ｋ，ｌ）に基づいて生成される。

本発明の実施形態において、ステップ２０３及び２０４は、現在画素に隣接する各画素用に実行されて、同数の重み関数を生成する。

本発明の別の実施形態において、ステップ２０３及び２０４は、３回実行されて、３つの重み関数を生成する。

この実施形態において、第２の重み関数が生成され、第２の重み関数において、Ｉ（ｘ＋ｎ，ｙ＋ｍ）は、現在画素に隣接する全ての画素の間で最高の強度を有する、現在画素に隣接する画素の強度である。

第３の重み関数が生成され、第３の重み関数において、Ｉ（ｘ＋ｎ，ｙ＋ｍ）は、現在画素に隣接する全ての画素の間で最低の強度を有する、現在画素に隣接する画素の強度である。

第４の重み関数が生成され、第４の重み関数において、Ｉ（ｘ＋ｎ，ｙ＋ｍ）は、現在画素に隣接する画素の強度の中央値である。

ステップ２０５において、現在画素をフィルタリングするために適用される畳み込みフィルタは、ステップ２０１〜２０４中に生成された複数の畳み込みフィルタ間で選択される。

装置１００のプロセッサ１０１は、重み関数の全ての係数ｗ_ｎ，ｍ（ｘ＋ｎ，ｙ＋ｍ，ｋ，ｌ）の和Ｗ_ｎ，ｍ（ｘ，ｙ）を計算する。

選択された重み関数ｗ_ｎ，ｍは、最大値Ｗ_ｎ，ｍ（ｘ，ｙ）を有する重み関数である。従って、選択された畳み込みフィルタＣ_ｎ，ｍ（ｘ，ｙ）は、最大値Ｗ_ｎ，ｍ（ｘ，ｙ）に関連する畳み込みフィルタである。

ステップ２０６において、選択された畳み込みフィルタは、現在画素のフィルタリングされたバージョンである画素Ｉ_{フィルタリングされた}（ｘ，ｙ）を計算するために用いられる。

本発明によれば、現在画素が、擬似画素である場合に、その重み関数ｗ_０，０（ｘ，ｙ）は、他の重み関数と比較して小さな和Ｗ_０，０（ｘ，ｙ）を有する。何故なら、重み関数ｗ_ｎ，ｍ（ｘ，ｙ）が計算されるＰ近隣画素において、擬似画素が、それほど頻繁ではないからである。

本発明の実施形態において、選択された重み関数は、その積分が１．０に等しいように正規化される。

図２に関連して説明された方法は、深度マップの全ての画素に適用されてもよい。場合により方法は、数回繰り返される。本発明の実施形態において、パラメータＰ、σ_ｄ及びσ_ｒは、目での検査に基づいてユーザによって手動で選択される。

本発明の実施形態において、より単純な重みが、

によって定義され、
式中、ｒは、基準値であり、Ｔは、深度マップ画素と基準値ｒとの間の差基準である。この重みは、２つの命令でｗを推定することを可能にする「step」及び「abs」のようなＧＰＵ命令で容易に計算される。

本発明の別の実施形態において、重み関数は、２Ｐ＋１画素で構成された一次元（１Ｄ）重み関数である。１Ｄ重み関数は、深度マップ画像の輪郭に垂直に向けられる。

１Ｄ重み関数の方向の角度αは、局所微分Ｄ_ｘ（ｘ，ｙ）＝Ｉ（ｘ−１，ｙ）−Ｉ（ｘ＋１，ｙ）及びＤ_ｙ（ｘ，ｙ）＝Ｉ（ｘ，ｙ−１）−Ｉ（ｘ，ｙ＋１）を計算することによって得られる。次に、角度αの値は、
−α＝ａｔａｎ（Ｄ_ｙ／Ｄ_ｘ）＋π／２
によって与えられる。

本発明のこの実施形態において、現在画素に適用される畳み込みフィルタは、

である。

式中、Ｃ_ｎ，ｍ（ｘ，ｙ）は、最大値Ｗ_ｎ，ｍ（ｘ，ｙ）を有する重み関数ｗ_ｎ，ｍ（ｘ，ｙ）から計算された畳み込みフィルタである。

この場合に、Ｉ（ｘ＋ｉｃｏｓ（α），ｙ＋ｓｉｎ（α））にアクセスする画素座標は、整数ではない。ＧＰＵ実装形態を備えると、非整数座標へのアクセスは、双一次補間を用いることで容易である。ＧＰＵは、整数座標と同じくらい効率的に非整数にアクセスするように最適化される。

本発明は、特定の実施形態に関連して上記で説明されたが、本発明は、特定の実施形態に限定されず、本発明の範囲内にある修正は、当業者には明らかであろう。

前述の実例となる実施形態を参照することで、多くの更なる修正及び変更が、当業者に示唆されるであろう。前述の実例となる実施形態は、単なる例として与えられており、本発明の範囲を限定するように意図されておらず、本発明の範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合には入れ替えられてもよい。

１００ 機器
１０１ プロセッサ
１０２ 記憶ユニット
１０３ 入力装置
１０４ 出力装置
１０５ インターフェースユニット
１０６ バス

Claims (13)

1. 深度マップにおける画素をフィルタリングするためのコンピュータ実行方法であって、現在画素と呼ばれる前記深度マップの画素用に、
   − 前記現在画素を中心とする前記深度マップの画素グループに属して近隣画素と呼ばれる少なくとも１つの画素用の少なくとも１つの重みを決定することであって、前記重みが、前記現在画素に隣接する画素の強度及び前記少なくとも１つの近隣画素の強度の、且つ同様に前記現在画素と前記少なくとも１つの近隣画素との間の幾何学的距離の関数であることと、
   − 少なくとも１つの隣接画素に対応する重み関数を決定することであって、その重み関数の係数が、前記決定された重みであることと、
   − 重み関数の全ての係数の和を最大限にする重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
   を含む方法。
2. 前記少なくとも隣接画素の前記重みが、
   

   

   
   によって与えられ、
   式中、ｒが、基準値であり、Ｔが、前記深度マップの画素と前記基準値ｒとの間の差基準であり、（ｘ，ｙ）が、前記現在画素の座標であり、（ｋ，ｌ）が、前記現在画素Ｉ（ｘ，ｙ）と前記重みが決定される前記近隣画素との間のシフトを表す、請求項１に記載の方法。
3. 前記重み関数が、一次元フィルタであり、且つ前記深度マップの方向に直交する、請求項１に記載の方法。
4. 前記重み関数の方向が、角度αを計算することによって決定され、前記角度αの値が、第１の変数ｘ間における前記現在画素の強度の局所微分と、第２の変数ｙ間における前記現在画素の強度の局所微分との比率の逆正接である、請求項３に記載の方法。
5. − 第１の重み関数を決定することであって、その第１の重み関数の係数が、前記隣接画素間で最高の強度を有する隣接画素の強度の関数として決定されることと、
   − 第２の重み関数を決定することであって、その第２の重み関数の係数が、前記隣接画素間で最低の強度を有する隣接画素の強度の関数として決定されることと、
   − 第３の重み関数を決定することであって、その第３の重み関数の係数が、前記現在画素の強度の関数として決定されることと、
   − 第４の重み関数を決定することであって、その第４の重み関数の係数が、前記隣接画素の前記強度の中央値である強度の関数として決定されることと、
   − 前記４つの重み関数間で、重み関数の全ての係数の和を最大限にする重み関数に対応する前記畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
   を含む、請求項１〜４のいずれか一項に記載の方法。
6. 深度マップにおける画素をフィルタリングできる装置であって、現在画素と呼ばれる前記深度マップの画素用に、
   − 前記現在画素を中心とする前記深度マップの画素グループに属して近隣画素と呼ばれる少なくとも１つの画素用の少なくとも１つの重みを決定することであって、前記重みが、前記現在画素に隣接する画素の強度及び前記少なくとも１つの近隣画素の強度の、且つ同様に前記現在画素と前記少なくとも１つの近隣画素との間の幾何学的距離の関数であることと、
   − 少なくとも１つの隣接画素に対応する重み関数を決定することであって、その重み関数の係数が、前記決定された重みであることと、
   − 重み関数の全ての係数の和を最大限にする重み関数に対応する畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
   を行うように構成された少なくとも１つのハードウェアプロセッサを含む装置。
7. 前記少なくとも隣接する画素の重みが、
   

   

   
   によって与えられ、
   式中、ｒが、基準値であり、Ｔが、前記深度マップの画素と前記基準値ｒとの間の差基準であり、（ｘ，ｙ）が、前記現在画素の座標であり、（ｋ，ｌ）が、前記現在画素Ｉ（ｘ，ｙ）と前記重みが決定される前記近隣画素との間のシフトを表す、請求項６に記載の装置。
8. 前記重み関数が、一次元フィルタであり、且つ前記深度マップの方向に直交する、請求項６に記載の装置。
9. 重前記み関数の方向が、角度αを計算することによって決定され、前記角度αの値が、第１の変数ｘ間における前記現在画素の強度の局所微分と、第２の変数ｙ間における前記現在画素の強度の局所微分との比率の逆正接である、請求項８に記載の装置。
10. 前記ハードウェアプロセッサが、
    − 第１の重み関数を決定することであって、その第１の重み関数の係数が、前記隣接画素間で最高の強度を有する隣接画素の強度の関数として決定されることと、
    − 第２の重み関数を決定することであって、その第２の重み関数の係数が、前記隣接画素間で最低の強度を有する隣接画素の強度の関数として決定されることと、
    − 第３の重み関数を決定することであって、その第３の重み関数の係数が、前記現在画素の強度の関数として決定されることと、
    − 第４の重み関数を決定することであって、その第４の重み関数の係数が、前記隣接画素の強度の中央値である強度の関数として決定されることと、
    − 前記４つの重み関数間で、重み関数の全ての係数の和を最大限にする重み関数に対応する前記畳み込みフィルタを適用することによって、前記現在画素をフィルタリングすることと
    を行うように更に構成される、請求項６〜９のいずれか一項に記載の装置。
11. コンピュータプログラムであって、前記プログラムが、プロセッサによって実行される場合に、請求項１に記載の方法の実行用のプログラムコード命令を含むことを特徴とするコンピュータプログラム。
12. 請求項１に記載の方法をプロセッサに実行させるための命令を自らに格納したプロセッサ可読媒体。
13. 前記プログラムが、計算装置上で実行される場合に、請求項１に記載の方法を実行するためのプログラムコードの命令を担持する非一時的な記憶媒体。
    

Images