JP2005148988A - パラメータ推定方法とその装置、プログラム及び記録媒体 - Google Patents

Abstract

【課題】メモリに蓄える学習サンプル数を超える段階数の推定を行なうと共に未学習のパラメータ値を精度良く推定し、効率の良いオブジェクト識別を行う。
【解決手段】画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定する。特徴抽出部１０２は入力された画像データに含まれるオブジェクトの特徴を抽出する。部分空間作成部１０３は主成分分析によりオブジェクトの部分空間を作成する。パラメータ推定関数作成部１０６はサポートベクトル回帰によりパラメータを推定するための関数を作成する。部分空間射影部１０９は未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する。パラメータ推定識別部１１０は前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別する。
【選択図】 図１

Description

本発明は、画像中に含まれるオブジェクトの識別およびパラメータを推定する方法とその装置、プログラム及び記録媒体に関するものである。

カメラで撮像したオブジェクトには、どの向きから撮ったものか、どこから照明をあてているか等、様々なパラメータが含まれている。これらのパラメータ情報を画像のみから推定することは、工業部品の分類、移動物体の監視といった幅広い応用が考えられ、工学的価値は高い。これを実現する方法として、「パラメトリック固有空間法」が提案されている（非特許文献１）。

これは、パラメータを様々に変えたときの画像の変化を、特徴空間における画像の固有ベクトルから構成される部分空間上での多様体で表現し、その多様体のうち、入力された画像との距離の最も近い位置を検出することでパラメータを推定する手法である。

しかしながら、この方法では、多様体との距離を求めるために、多様体を代表するサンプリング点を全てメモリに蓄えておく必要があり、パラメータの段階数を細かくしようとするとメモリ空間を圧迫してしまう問題がある。この傾向は、推定したいパラメータの個数が増えるに従って、より顕著となる。
村瀬 洋、ＳｈｒｅｅＫ．ＮＡＹＡＲ「２次元照合による３次元物体認識−パラメトリック固有空間法−」電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７−Ｄ−１１，Ｎｏ．１１，ｐｐ．２１７９−２１８７（１９９４）

本発明は、かかる事情に鑑みなされたもので、その目的は、画像内オブジェクトのパラメータを推定するにあたり、メモリに蓄える学習サンプル数を超える段階数の推定が行えるようにすると共に、未学習のパラメータ値をできるだけ精度良く推定し、さらに、効率の良いオブジェクト識別を行えるパラメータを推定する方法とその装置、プログラム及び記録媒体の提供にある。

そこで、本発明のパラメータ推定方法とその装置は、新たなパラメータ推定方法を導入している。パターン認識問題において近年よく適用されるようになった「サポートベクトルマシン」は、カーネル関数を利用して２クラス問題のための非線形織別関数を構成する方法であるが、これを拡張して回帰推定を行えるようにしたものに「サポートベクトル回帰」がある（Ｖ．Ｖａｐｎｉｋ，Ｓ．Ｅ．Ｇｏｌｏｗｉｃｈ，ａｎｄ Ａ．Ｓｍｏ１ａ，“Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍｅｔｈｏｄ ｆｏｒ ｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ，ｒｅｇｒｅｓｓｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｓｉｇｎａ１ ｐｒｏｃｅｓｓｉｎｇ”，Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，Ｖｏｌ．９，ｐｐ．２８１−２８７（１９９７））。

本発明は、様々なパラメータ値を持つ画像群（例えば図７）を用意し、それらの部分空間を構成した後、サポートベクトル回帰を利用して、部分空間上における入力画像およびパラメータ値を関係付ける関数を算出している。サポートベクトル回帰では、パラメータ推定関数を構成するにあたり、サポートベクトルと呼ばれる小数のサンプルのみをメモリに蓄えておけばよいので、メモリ空間を節約することができる。

また、本発明は、撮影角度などパラメータ値が周期的である場合の対処として、角度値の正弦関数及び余弦関数を新たな中間パラメータとして算出し、これをサポートベクトル回帰で学習させるといった手法をとっている。これにより、部分空問上で、点の近傍におけるパラメータ値の連続性が保証される。さらに、オブジェクトの識別をより精度良く行うために、算出した正弦関数及び余弦関数に基づき演算を行い、この算出値が１に対してどれだけ近いかを識別に反映させる。例えば、正弦関数の自乗値と余弦関数の自乗値の和を算出し、この値が１に対してどれだけ近いかを識別に反映させている。

すなわち、本発明のパラメータ推定装置は、画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するものであって、
入力された画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、
主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、
サポートベクトル回帰によりパラメータを推定するための関数を作成するパラメータ推定関数作成手段と、
未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する部分空間射影手段と、
前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別するパラメータ推定識別手段を備える。

前記パラメータ推定関数作成手段としては、
推定したいパラメータ値が周期的である場合（例えば撮影角度）このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして推定する中問パラメータ推定関数作成手段と、前記中間パラメータに基づき前記パラメータ値を算出するパラメータ変換手段を備えるものがある。

さらに、パラメータ推定識別手段としては、
周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する識別変数計算手段と、前記和の値に基づきオブジェクトを識別する識別変数判定手段を備えるものがある。

前記識別変数判定手段としては、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行っている。

本発明のパラメータ推定方法は、画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するものであって、特徴抽出手段とパラメータ推定関数作成手段と部分空間射影手段とパラメータ推定識別手段とを有し、
特徴抽出手段が入力された画像データに含まれるオブジェクトの特徴を抽出する工程と、部分空間作成手段が主成分分析によりオブジェクトの部分空間を作成する工程と、パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータを算出するための関数を作成する工程と、部分空間射影手段が未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する工程と、パラメータ推定識別手段が前記作成された関数に基づきパラメータを算出し予め学習したオブジェクトのどれに該当するかを識別する工程を有する。

前記パラメータ推定関数作成手段の実行する工程においては、
推定したいパラメータ値が周期的である場合（例えば撮影角度）このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして算出する工程と、前記中間パラメータに基づき前記パラメータ値を算出する工程とを有するものがある。

前記パラメータ推定識別手段の実行する工程においては、
周期的であるパラメータ値に対する正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する工程と、前記和の値に基づきオブジェクトを識別する工程を有するものがある。

前記オブジェクトを識別する工程においては、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うものがある。

本発明のパラメータ推定プログラムは、前記パラメータ推定方法をコンピュータに実行させるためのプログラムである。また、本発明の記録媒体は、前記パラメータ推定方法をコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したものである。前記記録媒体としては、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスク及びＨＤＤ等がある。

以上のパラメータ推定方法とその装置、プログラム及び記録媒体によれば、学習においてサポートベクトル回帰により求められたサポートベクトルのみを保存し、その保存されたベクトルでパラメータ推定関数を構成するため、メモリ空間を圧迫することなく、細かい段階数でパラメータ値を推定することが可能となる。また、周期的なパラメータの場合、正弦関数及び余弦関数からなる中問パラメータを推定することでパラメータ値０〜３６０度間の不連続が連続化されるので、良好なパラメータ推定関数を得ることができる。さらに、副次的作用効果として、正弦関数と余弦関数の自乗値の和が一定値を満たすか否かでオブジェクトを識別することもできる。

したがって、本発明のパラメータ推定方法とその装置、プログラム及び記録媒体によれば、画像中に含まれるオブジェクトに対し、メモリ空間を節約しながら、精度の良いパラメータ推定及び識別ができる。

本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の実施形態例に係るパラメータ推定装置の概略構成図である。図２は、本実施形態による学習処理の手順を示したフローチャート、及び、パラメータ推定、識別処理の手順を示したフローチャートを示したものである。

先ず、学習処理の手順について説明する。

学習画像データ入力部１０１は、デジタルカメラ等で撮像された学習用のオブジェクト画像データおよびその正解パラメータ値を入力し、特徴抽出部１０２に伝送する（Ｓ０１）。

特徴抽出部１０２は、前記入力されたデジタル画像データに含まれるオブジェクトの特徴量を抽出し、部分空間作成部１０３へ伝送する（Ｓ０２）。

特微量は、例えば、フーリエ変換のパワースペクトル、色ヒストグラム特徴（村瀬 洋、Ｖ．Ｖ．Ｖｉｎｏｄ，“局所色情報を用いた高速物体探索−アクティブ探索法−”，電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏ１．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．２０３５−２０４２，１９９８）、局所方向ヒストグラム特徴（若林哲史、鶴岡信治、木村文隆、三宅康二“特徴量の次元数増加による手書き数字認識の高精度化”，電子情報通信学会論文詩Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２０４６−２０５３（１９９４））等がある。また、こういった特徴抽出処理を行わず、画像の輝度値そのものを特徴量としてもよい。

部分空間作成部１０３は、オブジェクトの画像から抽出された特徴ベクトルの集合に基づき、そのオブジェクトの部分空間を作成する（Ｓ０３）。

部分空間は、特徴ベクトルの共分散行列の固有値および固有ベクトルを算出する（主成分分析する）ことにより、求めることができる。これにより、オブジェクトの特徴ベクトルがより低次元に圧縮され、メモリ節約に貢献することとなる。また、部分空間法（石井健一郎、上田修功、前田英作、村瀬洋共著“わかりやすいパターン認識”、オーム社、１９９８）による効果的なオブジェクトの識別が可能となる。

次いで、部分空間記憶部１０５は、部分空間作成部１０３にて作成されたオブジェクトの部分空間をメモリに記憶する（Ｓ０４）。

一方、パラメータ推定関数作成部１０４は、サポートベクトル回帰によりパラメータ推定関数を生成する（Ｓ０５）。

サポートベクトル回帰では、カーネル関数ｋ（ｘ_i，ｘ_j）（ｘは部分空間作成部１０３により低次元圧縮された特徴ベクトル）を用いて、推定式を以下のように表す。

数１式において、ｘ_iは学習用の特徴ベクトル、ｍはその数である。（α_i ^*−α_i）≠０となるｘ_iをサポートベクトルと呼ぶ。この式中のα_i ^*、α_iおよびｂを、以下の最適化問題を解くことにより得ることができる。

数２式において、ｙ_iはｘ_iに対応する正解パラメータ値である。最適化は、例えば凸二次計画法（今野浩、山下立“非線形計画法”，日科技連出版社（１９７８））によって解くことができる、また、カーネル関数は数３式や数４式で示される多項式カーネルやガウシアンカーネル等がある。

ここで、パラメータ値が周期的である場合は、真のパラメータθに対し、ＣＯＳθ（以下、Ａと称する）及びｓｉｎθ（以下、Ｂと称する）を算出する関数を作成する。

図３及び図４は、パラメータ値が周期的である場合の装置構成及び処理手順を示したフローチャートである。

図３に示された中問パラメータ推定関数作成部１１２は、ＡおよびＢの推定関数を上記のサポートベクトル回帰により作成する（Ｓ１１）。次いで、パラメータ変換部１１３は、パラメータ変換式の決定を行い、Ａ及びＢに基づきθに変換する（Ｓ１２）。具体的には以下の変換法が考えられる。

（ａ）推定したＡからθ＝ｃｏｓ^-1Ａの演算によってθを算出する。（可能性として２つの解があらわれるが、Ｂの正負符号によって唯一つの解に限定できる。以下の方法もほぼ同様に限定可能。）
（ｂ）推定したＢからθ＝ｓｉｎ^-1Ｂの演算によってθを算出する。

（ｃ）推定したＡおよびＢから、θ＝（ｃｏｓ^-1Ａ＋ｓｉｎ^-1Ｂ）／２として求める。

（ｄ）推定したＡおよびＢから、θ＝ｔａｎ^-1（Ｂ／Ａ）として求める。

ここでは、ＡおよびＢをｃｏｓθおよびｓｉｎθとしたが、θ＝０度とθ＝３６０度の間の不連続が連続化されるような他の関数を用いてもよい。

そして、パラメータ推定関数記憶部１０６は、パラメータ推定関数作成部１０４にて作成されたオブジェクトのパラメータ推定関数をメモリに記憶する（Ｓ０６）。尚、前述のようにパラメータが周期的である場合は、パラメータ変換式もメモリに記憶する。

次いで、パラメータ推定及び識別処理の手順について説明する。

対象画像データ入力部１０７は、デジタルカメラ等で撮像された識別及びパラメータ推定対象となるオブジェクト画像データを入力し、特徴抽出部１０８に伝送する（Ｓ０７）。

特徴抽出部１０８は、特徴抽出部１０２と同様、オブジェクトの特徴量を抽出し、部分空間射影部１０９へ伝送する（Ｓ０８）。

部分空間射影部１０９は、部分空間記憶部１０５によりメモリに記憶された複数種類オブジェクトの部分空間を読み出し、それぞれの部分空間に対象画像データの特徴ベクトルを射影する（Ｓ０９）。

パラメータ推定識別部１１０では、パラメータ推定関数記憶部１０６によりメモリに記憶された複数種類オブジェクトのパラメータ推定関数およびパラメータ変換式を読み出し、パラメータを推定する（Ｓ１０）。

パラメータは、先ず学習オブジェクト全てにおいて推定値を算出しておく。尚、パラメータが周期的である場合は、そのパラメータθの余弦関数値及び正弦関数値であるＡおよびＢを推定する。

図５及び図６は、パラメータ値が周期的である場合の推定識別部１１０の装置構成及び処理手順を示したフローチャートである。

先ず、識別変数計算部１１４は、前記推定したＡおよびＢから（Ａ²＋Ｂ²）の演算処理を行う（Ｓ１３）。

次いで、識別変数判定部１１５は、以下の条件（１）（２）に従い、オブジェクトを識別する（Ｓ１４）。

（１）１−δ≦Ａ²＋Ｂ²≦１＋δを満たす（δは適当な定数）。

（２）部分空間との距離が最も近いもの。

（１）の場合は周期的であるパラメータ全てにおいて行う。また、（２）の場合は前述した部分空間法による識別方法である。これにより、オブジェクトが一つに限定されるので、この結果を識別結果とし、さらに、そのオブジェクトのパラメータ推定関数より算出された値をパラメータ推定結果とする。

以上の処理により、推定されたパラメータ値および識別されたオブジェクト名を出力部１１１に伝送する。出力部１１１は、パラメータ推定識別部１１０で演算された識別結果を出力する。尚、どのパラメータも周期的でない場合は、（２）のみを使って識別を行う。

本発明のパラメータ推定方法は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム若しくは装置に供給し、このシステム若しくは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記録媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものである。

本発明の実施形態例に係るパラメータ推定装置の概略構成図。 学習処理の手順を示したフローチャート、及び、パラメータ推定、識別処理の手順を示したフローチャート。 パラメータ値が周期的である場合の装置構成を示した概略構成図。 パラメータ値が周期的である場合の演算処理手順を示したフローチャート。 パラメータ値が周期的である場合の推定識別部１１０の装置構成を示した概略構成図。 パラメータ値が周期的である場合の推定識別部１１０による処理手順を示したフローチャート。 様々なパラメータ値を有する画像群の一例。

符号の説明

１０１…学習画像データ入力部、１０２…特徴抽出部、１０３…部分空間生成部、１０４…パラメータ推定関数作成部、１０５…部分空間記憶部、１０６…パラメータ推定関数記憶部、１０７…対象画像データ入力部、１０８…特徴抽出部、１０９…部分空間射影部、１１０…パラメータ推定識別部、１１１…出力部
１１２…中間パラメータ推定関数作成部、１１３…パラメータ変換部
１１４…識別変数計算部、１１５…識別変数判定部

Claims (10)

1. 画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するパラメータ推定装置であって、
   入力された画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、
   主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、
   サポートベクトル回帰によりパラメータを推定するための関数を作成するパラメータ推定関数作成手段と、
   未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する部分空間射影手段と、
   前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別するパラメータ推定識別手段と
   を備えることを特徴とするパラメータ推定装置。
2. 前記パラメータ推定関数作成手段は、
   推定したいパラメータ値が周期的である場合このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして推定する中問パラメータ推定関数作成手段と、
   前記中間パラメータに基づき前記パラメータ値を算出するパラメータ変換手段と
   を備えることを特徴とする請求項１記載のパラメータ推定装置。
3. パラメータ推定識別手段は、
   周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する識別変数計算手段と、
   前記和の値に基づきオブジェクトを識別する識別変数判定手段を
   備える請求項２記載のパラメータ推定装置。
4. 前記識別変数判定手段は、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うこと
   を請求項３記載のパラメータ推定装置。
5. 画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するパラメータ推定方法であって、
   特徴抽出手段と、パラメータ推定関数作成手段と、部分空間射影手段と、パラメータ推定識別手段とを有し、
   特徴抽出手段が入力された画像データに含まれるオブジェクトの特徴を抽出する工程と、
   部分空間作成手段が主成分分析によりオブジェクトの部分空間を作成する工程と、
   パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータを算出するための関数を作成する工程と、
   部分空間射影手段が未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する工程と、
   パラメータ推定識別手段が前記作成された関数に基づきパラメータを算出し予め学習したオブジェクトのどれに該当するかを識別する工程を有すること
   を特徴とするパラメータ推定方法。
6. 前記パラメータ推定関数作成手段の実行する工程においては、
   推定したいパラメータ値が周期的である場合このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして算出する工程と、前記中間パラメータに基づき前記パラメータ値を算出する工程とを有すること
   を特徴とする請求項５記載のパラメータ推定方法。
7. 前記パラメータ推定識別手段の実行する工程においては、
   周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する工程と、前記和の値に基づきオブジェクトを識別する工程を有すること
   を特徴とする請求項６記載のパラメータ推定方法。
8. 前記オブジェクトを識別する工程においては、
   前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うこと
   を請求項７記載のパラメータ推定方法。
9. 請求項５から８いずれか１項に記載のパラメータ推定方法をコンピュータに実行させるためのパラメータ推定プログラム。
10. 請求項５から８のいずれか１項に記載のパラメータ推定方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images