JP2019036030A

JP2019036030A - 物体検出装置、物体検出方法及び物体検出プログラム

Info

Publication number: JP2019036030A
Application number: JP2017155605A
Authority: JP
Inventors: 島村　潤; Jun Shimamura; 潤島村; 徹郎徳永; Tetsuo Tokunaga; 喜秀外村; Yoshihide Tonomura
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2017-08-10
Filing date: 2017-08-10
Publication date: 2019-03-07
Anticipated expiration: 2037-08-10
Also published as: JP6758263B2

Abstract

【課題】画像からの円柱体又は球体の検出精度を改善する。【解決手段】画像から円柱状又は球状の物体を検出する物体検出装置１において、空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換する射影変換部１１と、前記正面画像から前記平面の前に位置する前景領域を抽出する前景抽出部１２と、前記前景領域から指定色に合致する指定色領域を抽出する指定色抽出部１３と、前記指定色領域を取り囲む輪郭を楕円で近似する輪郭検出部１４と、前記楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力する形状検証部１５と、を備える。【選択図】図２

Description

本発明は、画像から円柱状又は球状の物体を検出する技術に関する。

現在、スポーツ競技や監視分野において、カメラで撮影された映像から実空間に存在する物体の位置を特定し、更には当該物体の位置を追跡することが行われている。具体的には、実空間を撮像したカメラから入力された少なくとも１つ以上の画像から、空間内に存在する円柱体又は球体の物体を検出し、当該物体の情報を画面に出力する技術が研究開発されている。

例えば、非特許文献１には、非特許文献２のMean shift法を用いて、底面の法線方向が床平面の法線と平行になるように配置された円柱物体を検出する技術が開示されている。Mean shift法ではテンプレートとなる指定領域内から特徴量を抽出し、これに類する特徴量を有する領域を現在処理中の画像から検出し、当該処理中の画像内からテンプレートに該当する位置を円柱物体として推定する。特徴量には、指定領域内の色情報から作成したヒストグラムが用いられることが多い。但し、背景等に類似色のパターンが存在する場合には誤検出が発生することがある。そこで、非特許文献１では、色情報にエッジ情報も加えて作成したヒストグラムを用いることで、高精度な円柱物体の検出を実現している。

J. Kim、外３名、"Curling Stone Tracking by an Algorithm Using Appearance and Colour Features"、Proceedings of the World Congress on Electrical Engineering and Computer Systems and Science(EECSS 2015)、Paper No. 334、2015年7月 D. Comaniciu、外２名、"Real-time Tracking of Non-rigid Objects Using Mean Shift"、Proceedings of IEEE Conference on Computer Vision and Pattern Recognition、2015年、p.142-p.149

従来の方法では、指定領域内のエッジ情報から作成したヒストグラムを用いて、底面の法線方向が床平面の法線と平行になるように配置された円柱物体を検出している。

しかしながら、背景に検出対象の円柱物体と類似の形状パターンが存在する場合、エッジ情報のみの利用では検出対象を誤検出するといった課題がある。また、ヒストグラム表現には幾何的な情報が失われているため、周囲に存在する円柱形状ではない形状パターンを有する物体から生成されたヒストグラムが、円柱物体から作成したものと類することで、検出対象の誤検出が生じるといった課題もある。

また、別の問題として、現在の画像を撮影したカメラの向きが、テンプレートとなる画像を撮影した時のカメラの向きと異なる場合、円柱物体から抽出されるエッジの向きと強さが両者間で異なるため、円柱物体の検出漏れが生じるといった課題がある。円柱物体を円柱軸の向きとカメラの光軸が合致するように撮影した場合は撮影画像上で真円として観測されるが、斜めから撮影した画像上では楕円形状として観測されてしまい、エッジの大きさが真円よりも大きく異なってしまう。前者をテンプレートとし、後者を入力画像とした場合は、円柱物体の誤検出が生じることになる。

本発明は、上記事情を鑑みてなされたものであり、背景又は周囲に被写体である円柱体又は球体の形状に類似の形状パターンがある場合や、円柱底面の法線方向とカメラの光軸が合致しない方向から撮影した入力画像の場合であっても、被写体を撮影した少なくとも１つ以上の画像から、空間内に存在する底面の法線方向が既知かつ底面と平行な平面上に存在する円柱体又は球体を正確に検出し、その物体の情報を出力することを目的とする。

以上の課題を解決するため、請求項１に係る物体検出装置は、画像から円柱状又は球状の物体を検出する物体検出装置において、空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換する射影変換部と、前記正面画像から前記平面の前に位置する前景領域を抽出する前景抽出部と、前記前景領域から指定色に合致する指定色領域を抽出する指定色抽出部と、前記指定色領域を取り囲む輪郭を楕円で近似する輪郭検出部と、前記楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力する形状検証部と、を備えることを特徴とする。

請求項２に係る物体検出装置は、請求項１に記載の物体検出装置において、前記楕円の位置を射影変換前の座標系の位置に逆変換し、前記楕円を成す円柱体又は球体の前記平面からの高さに基づく所定のオフセット値を加えた後に、射影変換後の座標系の位置に戻す検出位置補正部を更に備えることを特徴とする。

請求項３に係る物体検出方法は、画像から円柱状又は球状の物体を検出する物体検出方法において、コンピュータが、空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換するステップと、前記正面画像から前記平面の前に位置する前景領域を抽出するステップと、前記前景領域から指定色に合致する指定色領域を抽出するステップと、前記指定色領域を取り囲む輪郭を楕円で近似するステップと、前記楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力するステップと、を行うことを特徴とする。

請求項４に係る物体検出プログラムは、請求項１又は２に記載の物体検出装置としてコンピュータを機能させることを特徴とする。

本発明によれば、画像から円柱体又は球体を正確に検出することができる。

各実施形態で用いる実空間と入力画像の例を示す図である。物体検出装置の機能ブロック構成を示す図である。物体検出処理のフローチャートを示す図である。射影変換処理のフローチャートを示す図である。入力画像の例を示す図である。背景画像の例を示す図である。背景幾何変換画像の例を示す図である。入力幾何変換画像の例を示す図である。前景抽出処理のフローチャートを示す図である。前景領域画像の例を示す図である。指定色抽出処理のフローチャートを示す図である。指定色抽出画像の例を示す図である。輪郭検出処理のフローチャートを示す図である。輪郭抽出画像の例を示す図である。楕円近似画像の例を示す図である。形状検証処理のフローチャートを示す図である。円柱物体の高さによる座標系間での中心位置のズレの例を示す図である。物体検出装置の機能ブロック構成（第２の実施形態）を示す図である。射影変換処理のフローチャート（第２の実施形態）を示す図である。検出位置補正処理のフローチャートを示す図である。オフセット値の例を示す図である。射影変換画像座標系から入力画像座標系への位置座標の変換例を示す図である。入力画像座標系から射影変換画像座標系への位置座標の変換例を示す図である。

本発明は、上述した通り、画像からの円柱体又は球体の検出精度を改善することを目的とする。そのため、本発明は、空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換し、当該正面画像から前記平面の前に位置する前景領域を抽出し、当該前景領域から指定色に合致する指定色領域を抽出し、当該指定色領域を取り囲む輪郭を楕円で近似し、当該楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力する。

つまり、本発明では、空間内の平面に対して斜めの角度から撮影された原画像を正面画像に射影変換するので、被写体の形状を本来の形状で把握することができ、検出対象である円柱体又は球体の検出漏れを抑制し、確実に検出することができる。また、本発明では、正面画像から前景領域を抽出し、当該前景領域から色と輪郭情報を用いて物体を検出し、検出された物体の形状が円形であるか否かを検証するので、円柱体又は球体以外の物体が併せて検出されてしまう過剰検出を抑制することができる。その結果、画像からの円柱体又は球体の検出精度を向上することができる。

以下、図面を参照しながら、一実施の形態に係る物体検出装置、物体検出方法及び物体検出プログラムについて説明する。後述する各実施形態では、図１に示すような、ｘ’−ｙ’平面を床面とする（ｘ’，ｙ’，ｚ’）座標系の実空間において、当該実空間を当該実空間のｚ’軸と光軸Ａが合致しないカメラ３で撮影した入力画像から、実空間内での円柱底面の法線方向が床面に対して鉛直上向きなｚ’軸の正方向であって、円柱底面と平行な平面である床面上に存在する円柱物体５ａ，５ｂ，５ｃを対象物体として検出する。

例えば、カーリング競技で用いられる氷上のストーンを検出する場合に用いることができる。円柱物体以外に、ビリヤード競技やゲートボール競技で用いられる球体を対象物体としてもよい。

なお、上記入力画像は、実空間内のｘ’−ｙ’平面に対して斜めの角度から撮影された原画像と言い換えることができる。

＜第１の実施形態＞
図２は、第１の実施形態に係る物体検出装置１の機能ブロック構成を示す図である。当該物体検出装置１は、画像から円柱状又は球状の物体を検出する装置であって、図２に示すように、射影変換部１１と、前景抽出部１２と、指定色抽出部１３と、輪郭検出部１４と、形状検証部１５と、メモリ１６と、を備えて構成される。

射影変換部１１は、少なくとも１つ以上の入力画像を入力し、射影変換行列を算出して、算出した射影変換行列を用いて所定の背景画像を幾何変換して背景幾何変換画像としてメモリ１６に記録するとともに、前記射影変換行列を用いて入力画像を幾何変換して入力幾何変換画像として出力する機能部である。

前景抽出部１２は、入力幾何変換画像と背景幾何変換画像とを入力し、当該入力幾何変換画像と当該背景幾何変換画像とを用いて背景差分処理によりｘ’−ｙ’平面の前に位置する前景領域を抽出し、抽出した前景領域を前景領域画像として出力する機能部である。

指定色抽出部１３は、前景領域画像を入力するとともに、所定の色情報及び色範囲を入力し、当該色範囲内において前記所定の色に類する指定色領域を前景領域画像から抽出して指定色抽出画像として出力する機能部である。

輪郭検出部１４は、指定色抽出画像を入力し、当該指定色抽出画像内に含まれる全ての指定色領域に亘ってそれぞれの指定色領域を取り囲む輪郭を抽出し、抽出した輪郭を楕円で近似して楕円情報として出力する機能部である。

形状検証部１５は、全ての楕円情報を入力するとともに、所定の真円度閾値を入力し、それぞれの楕円情報について真円度閾値処理を行うことで処理中の楕円が円形に近いか否かを判定し、当該処理中の楕円が円形に近い場合、当該楕円の楕円情報を物体情報として出力する機能部である。

次に、図３のフローチャートを用いて、物体検出装置１で行う物体検出処理について説明する。

ステップＳ１０１；
まず、射影変換部１１が起動される。射影変換部１１で行う射影変換処理を図４のフローチャートを用いて説明する。

ステップＳ１０１ａ；
射影変換部１１には、少なくとも１枚以上の画像が入力される。本実施形態では、例えば図５に示す入力画像が入力される。射影変換部１１は、起動が初回の場合、所定の４点の対応点を入力する。本実施形態では、対応点として、例えば、（ｘ_１，ｙ_１）→（ｘ’_１，ｙ’_１）、（ｘ_２，ｙ_２）→（ｘ’_２，ｙ’_２）、（ｘ_３，ｙ_３）→（ｘ’_３，ｙ’_３）、（ｘ_４，ｙ_４）→（ｘ’_４，ｙ’_４）が指定される。記号“→”は、実空間と入力画像との対応を示す。（ｘ’_１，ｙ’_１）、（ｘ’_２，ｙ’_２）、（ｘ’_３，ｙ’_３）、（ｘ’_４，ｙ’_４）は、それぞれ、（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）、（ｘ_４，ｙ_４）に対応する実空間内の点であり、円柱底面と平行な平面上の点である。

ステップＳ１０１ｂ；
次に、射影変換部１１は、射影変換行列Ｈを算出する。射影変換行列はホモグラフィとも呼ばれ、被写体が平面の時に、参照画像から入力画像内の被写体への幾何的な変換を表す行列であり、例えば３×３の行列で表現される。当該射影変換行列は、入力画像内の認識対象と参照画像で、４つ以上の対応する点（同一である点）があれば求められることができる。射影変換部１１では、前述の４つの対応点を用いて射影変換行列Ｈを算出する。

ステップＳ１０１ｃ，Ｓ１０１ｄ；
その後、射影変換部１１は、算出した射影変換行列Ｈを用いて所定の背景画像の幾何変換を行い、背景幾何変換画像としてメモリ１６に記録する。本実施形態では、図６に示す背景画像が予め与えられており、射影変換行列Ｈを用いて図７に示す背景幾何変換画像が得られたものとする。

ステップＳ１０１ｅ，Ｓ１０１ｆ；
最後に、射影変換部１１は、ステップＳ１０１ｃと同様に射影変換行列Ｈを用いて入力画像も幾何変換を行い、入力幾何変換画像としてメモリ１６に記録して処理を終える。本実施形態では、射影変換行列Ｈを用いて図８に示す入力幾何変換画像が得られたものとする。

これにより、円柱物体を円柱底面の法線方向とカメラの光軸が合致しない方向から撮影した入力画像が、円柱底面の法線方向とカメラの光軸が合致する方向から撮影した画像へと射影変換されることになる。言い換えると、空間内のｘ’−ｙ’平面に対して斜めの角度から撮影された原画像が、当該平面に対して垂直な角度から撮影した正面画像に射影変換されることになる。

図３のステップＳ１０２；
次に、前景抽出部１２が起動される。前景抽出部１２で行う前景抽出処理を図９のフローチャートを用いて説明する。

ステップＳ１０２ａ；
前景抽出部１２は、メモリ１６から読み出した背景幾何変換画像と入力幾何変換画像を入力する。本実施形態では、図７に示した背景幾何変換画像と、図８に示した入力幾何変換画像と、が入力される。

ステップＳ１０２ｂ；
次に、前景抽出部１２は、入力した２つの変換画像を用いて背景差分処理を行う。当該背景差分処理は、背景幾何変換画像と入力幾何変換画像とで互いに同一の位置に対応する画素の差分の絶対値を求めることで実現できる。

ステップＳ１０２ｃ；
次に、前景抽出部１２は、背景差分処理によって得られる差分画像は細かなノイズが含まれることが多いため、差分画像に対してスムージング処理を行う。スムージング処理は、例えば、ガウシアンフィルタを差分画像に対して適用することで実現できる。差分画像に含まれるノイズが少ない場合、処理速度を優先してスムージング処理をスキップしてもよい。

ステップＳ１０２ｄ；
次に、前景抽出部１２は、差分画像に対して所定の閾値による二値化処理を行うことで、前景画素の位置を示すマスク画像を得る。

ステップＳ１０２ｅ；
次に、前景抽出部１２は、入力幾何変換画像とマスク画像から前景画素を抽出する。この処理は、例えば、入力幾何変換画像とマスク画像のアンド演算処理によって実現できる。

ステップＳ１０２ｆ；
最後に、前景抽出部１２は、抽出した前景画素から構成される画像を前景領域画像としてメモリ１６に記録して処理を終える。本実施形態では、図１０に示す前景領域画像が得られるものとする。図１０に示すように、ステップＳ１０２によって誤検出の原因となりうる背景パターンがあらかじめ除去される。

図３のステップＳ１０３；
次に、指定色抽出部１３が起動される。指定色抽出部１３で行う指定色抽出処理を図１１のフローチャートを用いて説明する。

ステップＳ１０３ａ；
指定色抽出部１３は、所定の色情報と前景領域画像とを入力する。所定の色情報とは、検出したい物体の色を示す値であり、所定の色毎に、最低値と最高値の２つの値を有する。例えば、検出したい物体が青色の場合、ＲＧＢ表記で最低値（０，０，２００）、最高値（０，０，２５５）となる。赤色の場合は、同じくＲＧＢ表記で最低値（２００，０，０）、最高値（２５５，０，０）となる。説明の簡単化のためＲＧＢ表記で説明したが、ＨＳＶやＨＬＳ、ＬＡＢ等の他の色空間による表現でもよい。その場合、前景領域画像の色空間も併せて変換する。

ステップＳ１０３ｂ；
次に、指定色抽出部１３は、前景領域画像と色情報から指定色に該当の領域を抽出する。この処理は、前景領域画像のある画素に対して、その画素値が前記色情報の最高値と最低値の間に収まる場合は抽出することを、全画素に対して行うことで実現できる。全画素に対して行った結果得られる画像を指定色抽出画像と呼ぶ。

ステップＳ１０３ｃ；
次に、指定色抽出部１３は、画像上での色情報は実環境の照明の影響等により変化することがあり、抽出された画素には欠損や過剰な抽出が行なわれることが多いため、指定色抽出画像に対してスムージング処理を行う。スムージング処理は、例えば、ガウシアンフィルタやメディアンフィルタを適用したり、モフォロジ演算を適用したりすることによって実現できる。ステップＳ１０２ｃと同様に、処理速度を優先してスムージング処理をスキップしてもよい。

ステップＳ１０３ｄ；
最後に、指定色抽出部１３は、指定色抽出画像をメモリ１６に記録して処理を終える。本実施形態では、検出したい物体の色として青と赤の２色があり、その色情報として前述のＲＧＢ値を用いたものとする。これにより、指定色抽出画像として図１２（ａ），（ｂ）に示す画像が得られる。

図３のステップＳ１０４；
次に、輪郭検出部１４が起動される。輪郭検出部１４で行う輪郭検出処理を図１３のフローチャートを用いて説明する。

ステップＳ１０４ａ；
輪郭検出部１４は、指定色抽出画像を入力する。

ステップＳ１０４ｂ；
次に、輪郭検出部１４は、入力した指定色抽出画像をグレースケールに変換し、所定の閾値で二値化する。

ステップＳ１０４ｃ；
次に、輪郭検出部１４は、二値化後の画像内に含まれる全ての指定色領域に亘ってそれぞれの領域を取り囲む輪郭を抽出する。この処理は、例えば、参考文献（Suzuki, S、外１名、“Topological Structural Analysis of Digitized Binary Images by Border Following”、CVGIP 30 1、1985年、p.32- p.46）の方法によって実現できる。本実施形態では、２色の指定色抽出画像それぞれに対して、図１４（ａ），（ｂ）に示す輪郭が得られる。

ステップＳ１０４ｄ；
最後に、輪郭検出部１４は、抽出した全ての輪郭について楕円で近似し、近似した楕円の楕円情報を出力して処理を終える。ここで、楕円情報とは、少なくとも、楕円の中心座標、楕円の長径と短径、楕円の回転角度を含む情報である。輪郭を楕円で近似する処理は、例えば、参考文献（Andrew W、外１名、“A Buyer’s Guide to Conic Fitting”、Proc.5th British Machine Vision Conference、Birmingham、1995年、p.513- p.522）の方法によって実現できる。本実施形態では、２色の指定色抽出画像それぞれに対して、図１５（ａ），（ｂ）に示す楕円が得られる。

図３のステップＳ１０５；
次に、形状検証部１５が起動される。形状検証部１５で行う形状検証処理を図１６のフローチャートを用いて説明する。

ステップＳ１０５ａ；
形状検証部１５は、全ての楕円情報と所定の真円度閾値とを入力する。

ステップＳ１０５ｂ〜Ｓ１０５ｄ；
次に、形状検証部１５は、それぞれの楕円情報について真円度閾値処理を行うことで、処理中の楕円が円形に近いかどうかを判定する。真円度閾値処理は例えば、楕円の長径に対する短径の比が１．０に近いかどうかによって計ることができる。この場合、真円度閾値処理は、短径÷長径＞閾値なら円形に近いと判定する。円形に近いと判定された楕円の全てを物体情報として出力し処理を終える。本実施形態では、図１５（ａ），（ｂ）に示した５ａ，５ｂ，５ｃがそれぞれ円形物体情報としてその中心座標、楕円の長径と短径、楕円の回転角度が出力される。ヒト型を楕円で近似した５ｄは円形に近くないので、その物体情報が出力されることはない。

以上、第１の実施形態について説明した。

本実施形態によれば、円柱物体を円柱底面の法線方向とカメラの光軸が合致しない方向から撮影した入力画像を、円柱底面の法線方向とカメラの光軸が合致する方向から撮影した画像へと射影変換するので、被写体の形状を本来の形状で把握することができ、検出対象である円柱体又は球体の検出漏れを抑制し、確実に検出することができる。

また、本実施形態によれば、射影変換した画像から前景領域を抽出し、当該前景領域から色と輪郭情報を用いて物体を検出し、検出された物体の形状が円形であるかを検証するので、円柱物体以外の物体が併せて検出されてしまう過剰検出を抑制することができる。

その結果、入力画像からの円柱物体の検出精度を向上することができる。球体であっても射影変換後の形状は円柱物体と同様に円形であることから、入力画像内に球体が含まれている場合であっても、当該球体の物体を精度よく検出することができる。

＜第２の実施形態＞
第１の実施形態では、円柱底面の法線方向とカメラの光軸が合致しない方向から撮影した入力画像の場合でも、当該画像を射影変換処理により円柱底面の法線方向とカメラの光軸が合致する方向から撮影した画像へと射影変換し、射影変換した画像から色と輪郭情報を用いて物体を検出し、検出した結果に対して形状検証を行うことで、被写体が円柱物体であっても、その検出を正確に行うことを実現した。

但し、第１の実施形態で用いられる射影変換処理は、被写体が高さのない平面体であることを前提としている。例えば、図５に示した実空間を対象とした場合、（ｘ_１，ｙ_１）と（ｘ_２，ｙ_２）と（ｘ_３，ｙ_３）と（ｘ_４，ｙ_４）で囲われた平面部分については正確な射影変換処理を行うことができるが、当該平面上に存在する円柱物体や人物等は射影変換後の画像で歪みが生じてしまう。

そのため、円柱物体の上面が射影変換行列算出のために指定した４点で構成される床の平面よりも高い場所に存在した場合、検出位置と当該平面上の位置の両者にはズレが生じることになる。

その一方で、例えばカーリング競技でストーンの正確な位置を測定したい場合には、試合フィールドとなる平面上において円柱物体の位置を特定しなければならない場合がある。そこで、本実施形態では、図１７に示すように、円柱物体又は球体の高さによる検出位置のズレを解消し、検出した円柱物体の中心位置から、射影変換処理で対象とする平面上での中心位置を推定する。

図１８は、第２の実施形態に係る物体検出装置１の構成ブロック構成を示す図である。物体検出装置１は、図１８に示すように、第１の実施形態での構成に検出位置補正部１７を加えて構成される。

検出位置補正部１７は、形状検証部１５から出力される物体情報を入力し、検出していた物体の位置の補正を行い、位置補正後の物体情報を出力する機能部である。

次に、物体検出装置１で行う物体検出処理について説明する。本実施形態では、第１の実施形態と異なる処理を行う射影変換部１１と、第２の構成形態で追加した検出位置補正部１７と、の各処理について説明する。

まず、図１９のフローチャートを用いて、射影変換部１１で行う射影変換処理を説明する。

射影変換部１１には、少なくとも１枚以上の画像が入力される。本実施形態では、例えば図５に示した入力画像が入力される。また、本実施形態では、第１の実施形態の処理（図４）に対して、ステップＳ２０５，Ｓ２０６を追加している。以降、第１の実施形態と同様のステップ（ステップＳ２０１〜Ｓ２０４，Ｓ２０７〜Ｓ２０８）についての説明は割愛し、ステップＳ２０５，Ｓ２０６についてのみ説明する。

ステップＳ２０５；
射影変換部１１は、ステップＳ２０２で算出した射影変換行列Ｈから逆行列Ｈ^−１を算出する。逆行列Ｈ^−１は、射影変換された画像から入力画像への幾何変換を表現する行列であり、例えば、Ｈ^−１×（ｘ’_１，ｙ’_１，１）＾Ｔ＝（ｘ_１，ｙ_１，１）となる。

ステップＳ２０６；
次に、射影変換部１１は、算出済みの射影変換行列Ｈと、当該射影変換行列Ｈの逆行列Ｈ^−１をメモリ１６に記録する。

次に、図２０のフローチャートを用いて、検出位置補正部１７で行う処理を説明する。

ステップＳ３０１；
検出位置補正部１７は、形状検証処理を終えた全ての物体情報と、所定のオフセットを入力する。ここで、オフセットとは、図２１に示すように、円柱物体の高さを考慮して、例えば、入力画像上での物体の中心位置から、射影変換処理で対象とする平面上での中心位置までのオフセット値（円柱物体のｘ’−ｙ’平面からの高さに基づく所定のオフセット値）であり、例えば両点を通るベクトルｄとして表現できる。

ステップＳ３０２；
次に、検出位置補正部１７は、或る１つの物体について以降の処理を行う。

ステップＳ３０３；
まず、検出位置補正部１７は、物体の中心位置の座標を、逆行列Ｈ^−１を用いて射影変換前の入力画像座標系の座標に逆変換する。本実施形態では、図２２に示すように、検出された物体の中心位置の座標が（ｃ_ｘ’，ｃ_ｙ’）であり、逆行列Ｈ^−１により（ｃ_ｘ，ｃ_ｙ）に変換されたものとする。

ステップＳ３０４；
次に、検出位置補正部１７は、変換された座標に所定のオフセットを加算する。本実施形態では、オフセットｄとして（ｄ_ｘ，ｄ_ｙ）が予め与えられているものとし、加算後の座標は（ｃ_ｘ＋ｄ_ｘ，ｃ_ｙ＋ｄ_ｙ）となる。

ステップＳ３０５；
次に、検出位置補正部１７は、座標（ｃ_ｘ＋ｄ_ｘ，ｃ_ｙ＋ｄ_ｙ）を射影変換行列Ｈを用いて射影変換画像座標系に再変換する。本実施形態では、図２３に示すように射影変換処理で対象とする平面上での中心位置の推定結果として（（ｃ_ｘ＋ｄ_ｘ）’，（ｃ_ｙ＋ｄ_ｙ）’）が算出されることになる。

ステップＳ３０６；
次に、検出位置補正部１７は、再変換された座標値を処理対象の物体の中心位置の新たな座標として更新し、メモリ１６に記憶する。

ステップＳ３０７；
検出位置補正部１７は、以上の処理を入力された全ての物体に亘って処理を行い、最後にメモリ１６に記憶されている物体情報を全て出力して処理を終える。

以上、第２の実施形態について説明した。

本実施形態によれば、物体の中心位置の座標を入力画像座標系の座標に逆変換し、入力画像上での物体の中心位置から、射影変換処理で対象とする平面上での中心位置までのオフセット値を加算した後に、オフセット値加算後の座標を射影変換画像座標系の座標に戻すので、円柱物体の上面が射影変換行列算出のために指定した４点で構成される平面よりも高い場所に存在した場合であっても、当該平面上での中心位置の推定が可能となり、例えばカーリング競技において、試合フィールドとなる平面上でのストーンの正確な位置を算出することができる。

以上、本発明を実施形態の例に基づき具体的に説明したが、上述の実施形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、又は当該範囲を減縮するように解すべきではない。また、本発明の各手段構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。例えば、図３に示したステップＳ１０２の前景抽出処理を、ステップＳ１０１の射影変換処理の前に行うようにしてもよい。

最後に、各実施形態で説明した物体検出装置１は、上記機能を備えるコンピュータ等で実現可能である。また、物体検出装置１としてコンピュータを機能させるための物体検出プログラム、当該物体検出プログラムの記憶媒体を作成することも可能である。

１…物体検出装置
１１…射影変換部
１２…前景抽出部
１３…指定色抽出部
１４…輪郭検出部
１５…形状検証部
１６…メモリ
１７…検出位置補正部

Claims

画像から円柱状又は球状の物体を検出する物体検出装置において、
空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換する射影変換部と、
前記正面画像から前記平面の前に位置する前景領域を抽出する前景抽出部と、
前記前景領域から指定色に合致する指定色領域を抽出する指定色抽出部と、
前記指定色領域を取り囲む輪郭を楕円で近似する輪郭検出部と、
前記楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力する形状検証部と、
を備えることを特徴とする物体検出装置。
前記楕円の位置を射影変換前の座標系の位置に逆変換し、前記楕円を成す円柱体又は球体の前記平面からの高さに基づく所定のオフセット値を加えた後に、射影変換後の座標系の位置に戻す検出位置補正部を更に備えることを特徴とする請求項１に記載の物体検出装置。
画像から円柱状又は球状の物体を検出する物体検出方法において、
コンピュータが、
空間内の平面に対して斜めの角度から撮影された原画像を、前記平面に対して垂直な角度から撮影した正面画像に射影変換するステップと、
前記正面画像から前記平面の前に位置する前景領域を抽出するステップと、
前記前景領域から指定色に合致する指定色領域を抽出するステップと、
前記指定色領域を取り囲む輪郭を楕円で近似するステップと、
前記楕円が円形であるか否かを判定し、前記楕円が円形の場合、前記楕円を円柱体又は球体の物体として出力するステップと、
を行うことを特徴とする物体検出方法。
請求項１又は２に記載の物体検出装置としてコンピュータを機能させることを特徴とする物体検出プログラム。