JP7373352B2

JP7373352B2 - 位置推定装置、位置学習装置及びプログラム

Info

Publication number: JP7373352B2
Application number: JP2019186619A
Authority: JP
Inventors: 俊枝三須; 秀樹三ツ峰
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2023-11-02
Anticipated expiration: 2039-10-10
Also published as: JP2021064025A

Description

本発明は、入力画像内の物体等の位置を推定する位置推定装置、位置学習装置及びプログラムに関する。

従来、物体の位置を推定する技術として、ビーコン、ＲＦＩＤ（Radio Frequency IDentifier）等のタグまたはリフレクタ（再帰性反射素材等）を物体に装着し、当該物体からの電波、赤外線、可視光線等を受動的または能動的にセンシングするものが知られている（例えば、特許文献１を参照）。

特許文献１には、非可視画像から被写体に付された非可視光マーカを検出する処理と、可視画像から被写体を検出する処理とを併用することで、被写体を追跡する技術が開示されている。

また、入力画像から画像特徴を抽出し、当該画像特徴が所定の条件に符合するか否かを判別することで、物体の位置を推定する技術がある。この技術は、例えば入力画像からHaar-Like特徴なる画像特徴を抽出し、当該画像特徴をブースティング法によって判別することで、人物の顔領域を抽出するものである（例えば、非特許文献１を参照）。この技術は、デジタルカメラの露出、焦点位置の調整等に活用されている。

特開２０１７－２０４７５７号公報

P.Viola and M.Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, Kauai, HI, USA, 2001, pp.I-I

前述の非特許文献１のような画像特徴に基づく物体検出技術では、物体が他の物体に隠蔽された場合、または照明の当たらない影領域に物体が存在する場合に、物体の位置の検出が困難となる。

また、前述の特許文献１の技術は、非可視光による能動的なセンシング及び可視光による受動的なセンシング、さらに、能動的なセンシングの正常動作時のオンライン学習を行うものである。これらの相乗効果により、物体の隠蔽状態の変化及び照明状態の変化に対し、頑健な物体の位置の検出が可能となる。

しかしながら、物体が完全に隠れてしまい、非可視画像から非可視光マーカを観測することができず、また、可視画像から被写体の画像特徴も抽出できない場合には、物体の位置の検出が困難となる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、画像内の物体等の位置を推定する際に、物体等が完全に隠蔽された場合であっても、その位置を推定可能な位置推定装置、位置学習装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の位置推定装置は、入力画像内の所定物の位置を推定する位置推定装置において、前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、前記人物密度マップ演算部により生成された前記人物密度マップを入力データとして、予め設定された学習済み係数を用いたニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、を備え、前記人物密度マップ演算部が、前記人物の存在し得る領域を格子状に分割し、前記人物毎の位置から各格子に存在する人物の数を求めることで、前記領域毎の人物密度を演算するものであって、前記格子が、隣接格子との間で互いに重なり合うように配置されている、ことを特徴とする。

請求項１の位置推定装置によれば、入力画像内の人物との干渉等により所定物が明確に見えていない場合であっても、人物の空間的な分布に基づいて、所定物の存在する場所を精度高く推定することができる。

また、請求項２の位置推定装置は、入力画像内の所定物の位置を推定する位置推定装置において、前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、前記入力画像の画像特徴に基づいて前記人物を検出し、前記人物毎の姿勢を計測する人物姿勢計測部と、前記人物姿勢計測部により計測された前記人物毎の姿勢から、前記所定の座標系におけるそれぞれの座標位置に対して全ての前記人物が注視する度合いを、位置毎の注視度として演算する注視度演算部と、前記人物密度マップ演算部により生成された前記人物密度マップ、及び前記注視度演算部により演算された前記位置毎の注視度を入力データとして、予め設定された学習済み係数を用いたニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、を備えたことを特徴とする。

請求項２の位置推定装置によれば、入力画像内の人物との干渉等により所定物が明確に見えていない場合であっても、人物の空間的な分布と、各人物の姿勢から得られた人物が注目する領域とに基づいて、所定物の存在する場所を精度高く推定することができる。

また、請求項３の位置学習装置は、入力画像と、当該入力画像に対応する所定物の位置の真値を示す位置真値とを学習データとして入力し、当該学習データに基づいてニューラルネットワークの係数を求める位置学習装置において、前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、前記人物密度マップ演算部により生成された前記人物密度マップを入力データとして、前記係数を用いた前記ニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、前記入力画像に対応する前記位置真値と、前記ニューラルネットワーク部により求めた前記位置推定値との間の誤差を演算する誤差演算部と、前記誤差演算部により演算された前記誤差に基づいて、前記ニューラルネットワークの前記係数を更新する係数更新部と、を備え、前記人物密度マップ演算部が、前記人物の存在し得る領域を格子状に分割し、前記人物毎の位置から各格子に存在する人物の数を求めることで、前記領域毎の人物密度を演算するものであって、前記格子は、隣接格子との間で互いに重なり合うように配置されている、ことを特徴とする。

請求項３の位置学習装置によれば、画像及び当該画像に対応する所定物の位置真値を学習データとして、請求項１の位置推定装置にて用いる学習済み係数を求めることができる。

また、請求項４の位置学習装置は、入力画像と、当該入力画像に対応する所定物の位置の真値を示す位置真値とを学習データとして入力し、当該学習データに基づいてニューラルネットワークの係数を求める位置学習装置において、前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、前記入力画像の画像特徴に基づいて前記人物を検出し、前記人物毎の姿勢を計測する人物姿勢計測部と、前記人物姿勢計測部により計測された前記人物毎の姿勢から、前記所定の座標系におけるそれぞれの座標位置に対して全ての前記人物が注視する度合いを、位置毎の注視度として演算する注視度演算部と、前記人物密度マップ演算部により生成された前記人物密度マップ、及び前記注視度演算部により演算された前記位置毎の注視度を入力データとして、前記係数を用いた前記ニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、前記入力画像に対応する前記位置真値と、前記ニューラルネットワーク部により求めた前記位置推定値との間の誤差を演算する誤差演算部と、前記誤差演算部により演算された前記誤差に基づいて、前記ニューラルネットワークの前記係数を更新する係数更新部と、を備えたことを特徴とする。

請求項４の位置学習装置によれば、画像及び当該画像に対応する所定物の位置真値を学習データとして、請求項２の位置推定装置にて用いる学習済み係数を求めることができる。

さらに、請求項５のプログラムは、コンピュータを、請求項１または２に記載の位置推定装置として機能させることを特徴とする。

さらに、請求項６のプログラムは、コンピュータを、請求項３または４に記載の位置学習装置として機能させることを特徴とする。

以上のように、本発明によれば、画像内の物体等の位置を推定する際に、物体等が完全に隠蔽された場合であっても、その位置を推定することが可能となる。

実施例１の位置推定装置の構成を示すブロック図である。実施例１の位置推定装置の処理を示すフローチャートである。実施例１のニューラルネットワーク部を説明する図である。実施例１の位置学習装置の構成を示すブロック図である。実施例１の位置学習装置の処理を示すフローチャートである。実施例２の位置推定装置の構成を示すブロック図である。実施例２の位置推定装置の処理を示すフローチャートである。実施例２のニューラルネットワーク部を説明する図である。実施例２の位置学習装置の構成を示すブロック図である。実施例２の位置学習装置の処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。以下に説明する実施例１の位置推定装置は、画像内の競技等に用いる遊具（サッカーボール、テニスボール、アイスホッケーのパック、バドミントンのシャトル、カーリングのストーン等を含む）の位置を推定する際に、画像内の人物毎の位置を計測し、領域毎の人物密度を演算し、画像内の人物毎の姿勢を計測し、位置毎の（当該位置に対する全人物による）注視度を演算し、領域毎の人物密度及び位置毎の注視度を入力データとしてニューラルネットワークの演算を行い、遊具の位置の推定値（遊具の位置推定値）を出力データとして求める。

実施例２の位置推定装置は、画像内の人物毎の位置を計測し、領域毎の人物密度を演算し、領域毎の人物密度を入力データとしてニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める。

実施例１，２の位置学習装置は、画像及び当該画像に対応する遊具の位置の真値（遊具の位置真値）を学習データとして、対応する位置推定装置に備えたニューラルネットワークにて使用する最適な係数（結合重み及びバイアス値）を求める。

これにより、遊具が人物に隠れている、または照明の当たらない影領域に遊具が存在する等、遊具が完全に隠蔽された場合であっても、遊具の位置を推定することが可能となる。

〔実施例１〕
まず、実施例１について説明する。前述のとおり、実施例１は、画像から、領域毎の人物密度及び位置毎の注視度を演算し、これらのデータを入力データとし、遊具の位置推定値を出力データとしたニューラルネットワークを用いて、遊具の位置を推定するものである。

（位置推定装置／実施例１）
図１は、実施例１の位置推定装置の構成を示すブロック図であり、図２は、その処理を示すフローチャートである。この位置推定装置１－１は、人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２、注視度演算部１３、ニューラルネットワーク部１４－１及びメモリ１５－１を備えている。

位置推定装置１－１は、画像を入力し、この入力画像を処理してニューラルネットワークの演算を行い、遊具の位置推定値を出力する。画像は、例えば、地面上に設定されるコート内において、選手である人物がボール、パック、シャトル、ストーン等の遊具を用いて行うサッカー、ホッケー、バドミントン、カーリング等の球技の画像である。

人物位置計測部１０は、画像を入力し（ステップＳ２０１）、この入力画像の画像特徴に基づいて人物を抽出し、人物毎の位置（座標）を計測する（ステップＳ２０２）。そして、人物位置計測部１０は、人物毎の位置を人物密度マップ演算部１１及び注視度演算部１３に出力する。

人物の数は１人であってもよいし、複数人であってもよい。また、人物の位置は、入力した画像の座標系（以下、「画像座標系」という。）における人物が存在する座標であってもよいし、人物が存在する空間に設定された座標系（以下、「世界座標系」という。）における座標であってもよい。

人物位置計測部１０は、例えば、全球測位衛星システム（ＧＮＮＳ：Global Navigation Satellite System、例えばＧＰＳ（Global Positioning System））の受信機であってもよい。また、人物位置計測部１０は、顔画像認識等の技術を用いて画像から被写体の人物を抽出し、当該画像を撮影したカメラの位置及び姿勢情報に基づいて、人物の位置を推定する方式（ステレオ画像による測位であってもよいし、単眼画像及び拘束条件(例えば、被写体である人物の足元が所定の面に接している等)から測位するものであってもよい）を用いるようにしてもよい。また、無線タグ（ＲＦＩＤ等）を人物に装着して測位するものであってもよい。

人物密度マップ演算部１１は、人物位置計測部１０から人物毎の位置を入力し、人物毎の位置に基づいて、画像座標系または世界座標系における局所的な領域毎に人口密度（人物密度）を演算し、人物密度マップを生成する（ステップＳ２０３）。そして、人物密度マップ演算部１１は、人物密度マップ（領域毎の人物密度）をニューラルネットワーク部１４－１に出力する。

人物密度マップ演算部１１は、例えば、人物の存在し得る領域（例えば、サッカー場、テニスコート等の競技場）を縦横の格子状に分割し、人物毎の位置から各格子に存在する人物の数を求めることで、領域毎の人物密度を演算するようにしてもよい。格子の総数がＬ個の場合、人物密度マップ演算部１１は、各格子に対する人物密度を要素とするＬ次元のベクトルを生成し、これを人物密度マップとしてもよい。

尚、格子は、互いに重ならないように配置してもよいし、例えば１ｍ四方の部分領域を０．５ｍ四方の間隔で設定した格子を配置する等、隣接格子が互いに重なり合うよう配置してもよい。

人物姿勢計測部１２は、画像を入力し、この入力画像の画像特徴に基づいて人物頭部を抽出し、人物頭部から人物毎の姿勢（顔の向き）を計測する（ステップＳ２０４）。そして、人物姿勢計測部１２は、人物毎の姿勢を注視度演算部１３に出力する。人物の姿勢は、画像座標系において計測してもよいし、世界座標系において計測してもよい。

人物姿勢計測部１２は、例えば、画像の色ヒストグラムに基づく識別結果と、色ヒストグラム以外の特徴量（例えば、勾配ヒストグラム）に基づく識別結果とを統合化し、顔の向きを推定する技術を用いるようにしてもよい。この顔の向きを推定する技術は既知であり、例えば特開２０１８－２２４１６号公報を参照されたい。

尚、人物姿勢計測部１２は、姿勢を計測すべき人物の位置を特定するために、人物位置計測部１０から人物毎の位置を入力するようにしてもよい。

注視度演算部１３は、人物位置計測部１０から人物毎の位置を入力すると共に、人物姿勢計測部１２から人物毎の姿勢を入力する。そして、注視度演算部１３は、人物毎の位置及び人物毎の姿勢に基づいて、画像座標系または世界座標系における予め設定されたそれぞれの座標位置に対して全人物が注視する度合い（注視度）、すなわち位置（座標）毎の注視度を演算する（ステップＳ２０５）。注視度演算部１３は、位置毎の注視度をニューラルネットワーク部１４－１に出力する。位置毎の注視度は、画像座標系または世界座標系における位置毎に、当該位置に対する各人物による注視度の合計値である。

人物毎の位置をＸ_kとし、人物毎の姿勢をＰ_kとし、画像座標系または世界座標系における位置をＹとし、位置Ｙの注視度をＧ（Ｙ）とする。ｋは、人物を区別するためのインデックスであり、１以上Ｋ以下の整数とする。Ｋのｋの最大値とする。

ここでは、人物毎の位置Ｘ_kは、世界座標における３次元の位置べクトルとする。また、人物毎の姿勢Ｐ_kは、人物の特定箇所に固定した方向べクトル（例えば、顔面に固定した顔の向きのべクトル、眼球に固定した視線べクトル）とし、単位ベクトルとする。位置Ｙは、世界座標における位置べクトルとする。

この場合、注視度演算部１３は、例えば関数ｆを用いた以下の式にて、位置Ｙ毎の注視度Ｇ（Ｙ）を演算する。

関数ｆは、引数である（Ｙ－Ｘ_k）のベクトル及び人物毎の姿勢Ｐ_kについて、これらの２つのベクトルが同じ方向を向くほど、大きい（または小さくない）スカラー値をとるものとするのが望ましい。また、関数ｆは、（Ｙ－Ｘ_k）のベクトルが短いほど、大きい（または小さくない）スカラー値をとるものとするのが望ましい。

例えば、関数ｆは、以下の式のように、ベクトルの内積（２つのベクトルのなす角θの余弦値（ｃｏｓθ））を演算するものであってもよい。ベクトルＱ_k＝Ｙ－Ｘ_kとする。

また、関数ｆは、以下の式のように演算するものであってもよい。

ニューラルネットワーク部１４－１は、メモリ１５－１から学習済み係数（結合重み及びバイアス値）を読み出す。また、ニューラルネットワーク部１４－１は、人物密度マップ演算部１１から人物密度マップ（領域毎の人物密度）を入力すると共に、注視度演算部１３から位置毎の注視度を入力する。

ニューラルネットワーク部１４－１は、人物密度マップ及び位置毎の注視度を入力データとして、学習済み係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値（遊具の位置を示すベクトル）を出力データとして求める（ステップＳ２０６）。そして、ニューラルネットワーク部１４－１は、遊具の位置推定値を出力する（ステップＳ２０７）。

ニューラルネットワーク部１４－１としては、例えば、多層パーセプトロン、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ポップフィールドネットワーク、それらの組み合わせ等、任意のものを使用することができる。

人物位置計測部１０が出力する人物毎の位置の座標系が画像座標系である場合、ニューラルネットワーク部１４－１が出力する遊具の位置推定値の座標系も、画像座標系とすることが典型的であるが、世界座標系等の他の座標系とするようにしてもよい。逆に、人物位置計測部１０が出力する人物毎の位置の座標系が世界座標系である場合、ニューラルネットワーク部１４－１が出力する遊具の位置推定値の座標系も、世界座標系とすることが典型的であるが、画像座標系等の他の座標系とするようにしてもよい。

領域毎の人物密度である人物密度マップにおける領域の数をＬ（Ｌは２以上の整数）とし、位置毎の注視度における位置の数をＭ（Ｍは０以上の整数）とする。尚、Ｍ＝０は、後述する実施例２の場合に相当するため、ここでは、Ｍは１以上の整数とする。

例えば、ニューラルネットワーク部１４－１が多層パーセプトロンを用いる場合、ニューラルネットワーク部１４－１は、Ｌ個の領域毎の人物密度及びＭ個の位置毎の注視度を入力データとして、多層パーセプトロンの入力層におけるＮ個（Ｎ＝Ｌ＋Ｍ）の素子に入力する。

図３は、実施例１において、多層パーセプトロンを用いたニューラルネットワーク部１４－１を説明する図であり、Ｌ＝４，Ｍ＝４，Ｎ＝８の場合を示している。このニューラルネットワーク部１４－１は、３層パーセプトロンを用いて構成され、入力層の素子数は８、中間層の素子数は３、出力層の素子数は２である。

ニューラルネットワーク部１４－１は、４つの領域のそれぞれについて、人物密度（変数）ｘ₁～ｘ₄を入力層の４個の素子（１～４番目の素子）に入力する。また、ニューラルネットワーク部１４－１は、４つの位置のそれぞれについて、注視度（変数）ｘ₅～ｘ₈を入力層の４個の素子（５～８番目の素子）に入力する。

ニューラルネットワーク部１４－１は、入力層の１～８番目の素子から変数ｘ₁～ｘ₈をそのまま出力し、中間層の９～１１番目の素子（ｑ番目の素子）において、以下の式にて、変数ｘ₁～ｘ₈等を用いて出力値である変数ｘ₉～ｘ₁₁（ｘ_q）を演算する。

ここで、Ｃ_qは、ｑ番目の素子の入力に接続される素子の番号の集合を示し、ｗ_p,qは、ｐ番目の素子の出力とｑ番目の素子の入力との間の結合重みを示す。また、ｂ_qは、ｑ番目の素子の入力として与えるバイアス値を示し、φ_qは、ｑ番目の素子の活性化関数を示す。

ニューラルネットワーク部１４－１は、中間層の９～１１番目の素子から変数ｘ₉～ｘ₁₁を出力し、出力層の１２，１３番目の素子（ｑ番目の素子）において、前記式（４）にて、変数ｘ₉～ｘ₁₁等を用いて出力値である遊具の位置推定値（Ｘ座標、Ｙ座標）（ｘ_q）を演算する。ニューラルネットワーク部１４－１は、出力層の１２，１３番目の素子から、遊具の位置推定値（Ｘ座標、Ｙ座標）を出力する。

図３の例では、Ｃ₉＝Ｃ₁₀＝Ｃ₁₁＝｛１，２，３，４，５，６，７，８｝，Ｃ₁₂＝Ｃ₁₃＝｛９，１０，１１｝であり、活性化関数φ_qは、任意のものを使用することができる。例えば、活性化関数φ_qとして、ReLU関数（Rectified Linear Unit：半波整流関数：φ_q(ｘ)＝max｛0,ｘ｝）、シグモイド関数、双曲線正接関数（φ_q(ｘ)＝tanhｘ）を用いることができる。活性化関数φ_qは、素子毎に異なる関数を混在させてもよいし、全ての素子に同じ関数を用いてもよい。

図１に戻って、メモリ１５－１には、例えば、後述する位置学習装置２－１によりニューラルネットワーク部１４－１を学習することにより求めた最適な学習済み係数（結合重みｗ_p,q及びバイアス値ｂ_q）が格納されている。

メモリ１５－１に格納された学習済み係数は、ニューラルネットワーク部１４－１により読み出され、ニューラルネットワークの入力層の素子から中間層の素子を介して出力層の素子への演算に用いられる。

学習済み係数は、必要に応じて外部からメモリ１５－１に書き込まれるようにしてもよいし、読み取り専用のメモリ１５－１に予め求めておいたデータとして設定しておくようにしてもよい。

以上のように、実施例１の位置推定装置１－１によれば、人物位置計測部１０は、画像から人物毎の位置を計測し、人物密度マップ演算部１１は、人物毎の位置から人物密度マップを演算する。また、人物姿勢計測部１２は、画像から人物毎の姿勢を計測し、注視度演算部１３は、人物毎の位置及び人物毎の姿勢から、所定の座標系における位置毎の注視度を演算する。

ニューラルネットワーク部１４－１は、領域毎の人物密度である人物密度マップ及び位置毎の注視度を入力データとして、学習済み係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める。

これにより、人物の空間的な分布と、各人物の姿勢から得られた位置毎の注視度とを用いて、遊具の存在する場所を、ニューラルネットワークの演算により精度高く推定することができる。つまり、人物との干渉等により遊具が完全に隠蔽され、明確に見えていない場合であっても、その位置を推定することが可能となる。

（位置学習装置／実施例１）
図４は、実施例１の位置学習装置の構成を示すブロック図であり、図５は、その処理を示すフローチャートである。この位置学習装置２－１は、人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２、注視度演算部１３、ニューラルネットワーク部１４－１、メモリ２０－１、誤差演算部２１及び係数更新部２２－１を備えている。

位置学習装置２－１は、画像、及び当該画像に対応する真の遊具の位置である遊具の位置真値を対にして学習データとして１回以上入力する（ステップＳ５０１）。そして、位置学習装置２－１は、例えば誤差逆伝播法によりニューラルネットワークを学習し、最適な学習済み係数（結合重みｗ_p,q及びバイアス値ｂ_q）を求める。

人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２、注視度演算部１３及びニューラルネットワーク部１４－１は、図１に示した構成部と同様であるため、説明を省略する。また、図５に示すステップＳ５０２～Ｓ５０６は、図２に示したステップＳ２０２～Ｓ２０６と同様であるから、説明を省略する。

ここで、ニューラルネットワーク部１４－１は、メモリ２０－１から係数更新部２２－１により更新され格納された係数（結合重みｗ_p,q及びバイアス値ｂ_q）を読み出し、係数を用いて、入力層の素子から中間層の素子を介して出力層の素子へと、ニューラルネットワークの演算を実行する。そして、ニューラルネットワーク部１４－１は、遊具の位置推定値を誤差演算部２１に出力する。

メモリ２０－１は、書き換え可能なメモリ（例えばＲＡＭ（Random Access Memory））であり、ニューラルネットワーク部１４－１にて用いる係数が一時的に格納される。

メモリ２０－１に格納された係数は、ニューラルネットワーク部１４－１により読み出され、ニューラルネットワークの入力層の素子から中間層の素子を介して出力層の素子への演算に用いられる。

位置学習装置２－１の動作開始時点において、メモリ２０－１には、係数の初期値が格納されている。初期値は、予め設定された数値列であってもよいし、乱数（疑似乱数を含む）であってもよい。

誤差演算部２１は、当該位置学習装置２－１が入力する画像と対をなす遊具の位置真値を入力すると共に、ニューラルネットワーク部１４－１から遊具の位置推定値を入力する。そして、誤差演算部２１は、遊具の位置真値と位置推定値との間の誤差を演算し（ステップＳ５０７）、誤差を係数更新部２２－１に出力する。誤差は、例えば、遊具の位置推定値のベクトルと遊具の位置真値のベクトルとの間の差分べクトルである。

係数更新部２２－１は、メモリ２０－１から係数を読み出すと共に、誤差演算部２１から誤差を入力する。そして、係数更新部２２－１は、誤差に基づいて、ニューラルネットワーク部１４－１が使用する係数を更新し（ステップＳ５０８）、更新後の係数を、次時点にニューラルネットワーク部１４－１が使用する係数としてメモリ２０－１に格納する。係数更新部２２－１は、例えば誤差伝播法により、誤差に基づいて係数を変更する。

係数更新部２２－１は、当該位置学習装置２－１が画像及び遊具の位置真値の学習データを入力する毎に、係数を更新することで最適化し、更新した係数をメモリ２０－１に格納する。

位置学習装置２－１は、学習が完了していない場合（ステップＳ５０９：Ｎ）、ステップＳ５０１へ移行して、新たな画像及び遊具の位置真値の学習データを入力し、ステップＳ５０２～Ｓ５０８の処理を繰り返す。

一方、位置学習装置２－１は、学習が完了した場合（ステップＳ５０９：Ｙ）、メモリ２０－１から係数を読み出し、学習済み係数として外部へ出力する（ステップＳ５１０）。位置学習装置２－１から出力された学習済み係数は、図１に示した位置推定装置１－１のメモリ１５－１に格納される。

以上のように、実施例１の位置学習装置２－１によれば、画像及びこれに対応する遊具の位置真値を学習データとして入力し、位置推定装置１－１と同様に、人物位置計測部１０は人物毎の位置を計測し、人物密度マップ演算部１１は人物密度マップを演算する。また、人物姿勢計測部１２は人物毎の姿勢を計測し、注視度演算部１３は位置毎の注視度を演算する。

ニューラルネットワーク部１４－１は、領域毎の人物密度である人物密度マップ及び位置毎の注視度を入力データとして、メモリ２０－１に格納された係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める。

誤差演算部２１は、遊具の位置真値と位置推定値との間の誤差を演算する。係数更新部２２－１は、例えば誤差伝播法により、誤差に基づいて、ニューラルネットワーク部１４－１が使用する係数を更新し、更新後の係数を、次時点にニューラルネットワーク部１４－１が使用する係数としてメモリ２０－１に格納する。

位置学習装置２－１は、係数を更新する学習処理を繰り返して学習が完了した場合、メモリ２０－１から係数を読み出し、学習済み係数として外部へ出力する。

このようにして得られた学習済み係数は、図１に示した位置推定装置１－１のメモリ１５－１に格納され、ニューラルネットワーク部１４－１が遊具の位置推定値を求める際に用いられる。

これにより、位置推定装置１－１が画像内の遊具の位置を推定する際に、人物との干渉等により遊具が完全に隠蔽され、明確に見えていない場合であっても、その位置を推定することが可能となる。

〔実施例２〕
次に、実施例２について説明する。前述のとおり、実施例２は、画像から領域毎の人物密度を演算し、領域毎の人物密度を入力データとし、遊具の位置推定値を出力データとしたニューラルネットワークを用いて、遊具の位置を推定するものである。

（位置推定装置／実施例２）
図６は、実施例２の位置推定装置の構成を示すブロック図であり、図７は、その処理を示すフローチャートである。この位置推定装置１－２は、人物位置計測部１０、人物密度マップ演算部１１、ニューラルネットワーク部１４－２及びメモリ１５－２を備えている。

図１に示した実施例１の位置推定装置１－１とこの位置推定装置１－２とを比較すると、両位置推定装置１－１，１－２は、人物位置計測部１０及び人物密度マップ演算部１１を備えている点で共通する。

一方、位置推定装置１－２は、位置推定装置１－１の人物姿勢計測部１２及び注視度演算部１３を備えておらず、位置推定装置１－１のニューラルネットワーク部１４－１及びメモリ１５－１とは異なるニューラルネットワーク部１４－２及びメモリ１５－２を備えている点で、位置推定装置１－１と相違する。

人物位置計測部１０及び人物密度マップ演算部１１は、図１に示した構成部と同様であるため、説明を省略する。また、図７に示すステップＳ７０１～Ｓ７０３は、図２に示したステップＳ２０１～Ｓ２０３と同様であるため、説明を省略する。ここで、人物密度マップ演算部１１は、人物密度マップ（領域毎の人物密度）をニューラルネットワーク部１４－２に出力する。

ニューラルネットワーク部１４－２は、メモリ１５－２から学習済み係数を読み出す。また、ニューラルネットワーク部１４－２は、人物密度マップ演算部１１から人物密度マップを入力する。

ニューラルネットワーク部１４－２は、領域毎の人物密度である人物密度マップを入力データとして、学習済み係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める（ステップＳ７０４）。そして、ニューラルネットワーク部１４－２は、遊具の位置推定値を出力する（ステップＳ７０５）。

ニューラルネットワーク部１４－２としては、図１に示したニューラルネットワーク部１４－１と同様に、例えば多層パーセプトロン等を使用することができる。

人物位置計測部１０が出力する人物毎の位置の座標系が画像座標系である場合、ニューラルネットワーク部１４－２が出力する遊具の位置推定値の座標系も、画像座標系とすることが典型的であるが、世界座標系等の他の座標系とするようにしてもよい。逆に、人物位置計測部１０が出力する人物毎の位置の座標系が世界座標系である場合、ニューラルネットワーク部１４－２が出力する遊具の位置推定値の座標系も、世界座標系とすることが典型的であるが、画像座標系等の他の座標系とするようにしてもよい。

図８は、実施例２において、多層パーセプトロンを用いたニューラルネットワーク部１４－２を説明する図である。このニューラルネットワーク部１４－２は、３層パーセプトロンを用いて構成され、入力層の素子数は４、中間層の素子数は３、出力層の素子数は２である。

ニューラルネットワーク部１４－２は、４つの領域のそれぞれについて、人物密度（変数）ｘ₁～ｘ₄を入力層の４個の素子（１～４番目の素子）に入力する。

ニューラルネットワーク部１４－２は、入力層の１～４番目の素子から変数ｘ₁～ｘ₄をそのまま出力し、中間層の５～７番目の素子（ｑ番目の素子）において、前記式（４）にて、変数ｘ₁～ｘ₄等を用いて出力値である変数ｘ₅～ｘ₇（ｘ_q）を演算する。

ニューラルネットワーク部１４－２は、中間層の５～７番目の素子から変数ｘ₅～ｘ₇を出力し、出力層の８，９番目の素子（ｑ番目の素子）において、前記式（４）にて、変数ｘ₅～ｘ₇等を用いて出力値である遊具の位置推定値（Ｘ座標、Ｙ座標）（ｘ_q）を演算する。ニューラルネットワーク部１４－２は、出力層の８，９番目の素子から、遊具の位置推定値（Ｘ座標、Ｙ座標）を出力する。図８の例では、Ｃ₅＝Ｃ₆＝Ｃ₇＝｛１，２，３，４｝，Ｃ₈＝Ｃ₉＝｛５，６，７｝である。

図６に戻って、メモリ１５－２には、例えば、後述する位置学習装置２－２によりニューラルネットワーク部１４－２を学習することにより求めた最適な学習済み係数が格納されている。

メモリ１５－２に格納された学習済み係数は、ニューラルネットワーク部１４－２により読み出され、ニューラルネットワークの入力層の素子から中間層の素子を介して出力層の素子への演算に用いられる。

学習済み係数は、必要に応じて外部からメモリ１５－２に書き込まれるようにしてもよいし、読み取り専用のメモリ１５－２に予め求めておいたデータとして設定しておくようにしてもよい。

以上のように、実施例２の位置推定装置１－２によれば、人物位置計測部１０は、画像から人物毎の位置を計測し、人物密度マップ演算部１１は、人物毎の位置から人物密度マップを演算する。

ニューラルネットワーク部１４－２は、領域毎の人物密度である人物密度マップを入力データとして、学習済み係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める。

これにより、人物の空間的な分布を用いて、遊具の存在する場所をニューラルネットワークの演算により精度高く推定することができる。つまり、人物との干渉等により遊具が完全に隠蔽され、明確に見えていない場合であっても、その位置を推定することが可能となる。

（位置学習装置／実施例２）
図９は、実施例２の位置学習装置の構成を示すブロック図であり、図１０は、その処理を示すフローチャートである。この位置学習装置２－２は、人物位置計測部１０、人物密度マップ演算部１１、ニューラルネットワーク部１４－２、メモリ２０－２、誤差演算部２１及び係数更新部２２－２を備えている。

図４に示した実施例１の位置学習装置２－１とこの位置学習装置２－２とを比較すると、両位置学習装置２－１，２－２は、人物位置計測部１０、人物密度マップ演算部１１及び誤差演算部２１を備えている点で共通する。

一方、位置学習装置２－２は、位置学習装置２－１の人物姿勢計測部１２及び注視度演算部１３を備えておらず、位置学習装置２－１のニューラルネットワーク部１４－１、メモリ２０－１及び係数更新部２２－１とは異なるニューラルネットワーク部１４－２、メモリ２０－２及び係数更新部２２－２を備えている点で、位置学習装置２－１と相違する。

人物位置計測部１０、人物密度マップ演算部１１及び誤差演算部２１は、図４に示した構成部と同様であるため、説明を省略する。また、図１０に示すステップＳ１００１～Ｓ１００５は、図５に示したステップＳ５０１～Ｓ５０３、図７に示したステップＳ７０４及び図５に示したステップＳ５０７と同様であるため、説明を省略する。ここで、人物密度マップ演算部１１は、人物密度マップをニューラルネットワーク部１４－２に出力し、誤差演算部２１は、誤差を係数更新部２２－２に出力する。

ここで、ニューラルネットワーク部１４－２は、メモリ２０－２から係数更新部２２－２により更新され格納された係数を読み出し、係数を用いて、入力層の素子から中間層の素子を介して出力層の素子へと、ニューラルネットワークの演算を実行する。そして、ニューラルネットワーク部１４－２は、遊具の位置推定値を誤差演算部２１に出力する。

メモリ２０－２は、図４に示したメモリ２０－１と同様に、書き換え可能なメモリであり、ニューラルネットワーク部１４－２にて用いる係数が一時的に格納される。

メモリ２０－２に格納された係数は、ニューラルネットワーク部１４－２により読み出され、ニューラルネットワークの入力層の素子から中間層の素子を介して出力層の素子への演算に用いられる。

位置学習装置２－２の動作開始時点において、メモリ２０－２には、係数の初期値が格納されている。初期値は、予め設定された数値列であってもよいし、乱数（疑似乱数を含む）であってもよい。

係数更新部２２－２は、メモリ２０－２から係数を読み出すと共に、誤差演算部２１から誤差を入力する。そして、係数更新部２２－２は、誤差に基づいて、ニューラルネットワーク部１４－２が使用する係数を更新し（ステップＳ１００６）、更新後の係数を、次時点にニューラルネットワーク部１４－２が使用する係数としてメモリ２０－２に格納する。係数更新部２２－２は、例えば誤差伝播法により、誤差に基づいて係数を変更する。

係数更新部２２－２は、当該位置学習装置２－２が画像及び遊具の位置真値の学習データを入力する毎に、係数を更新することで最適化し、更新した係数をメモリ２０－２に格納する。

位置学習装置２－２は、学習が完了していない場合（ステップＳ１００７：Ｎ）、ステップＳ１００１へ移行して、新たな画像及び遊具の位置真値の学習データを入力し、ステップＳ１００２～Ｓ１００６の処理を繰り返す。

一方、位置学習装置２－２は、学習が完了した場合（ステップＳ１００７：Ｙ）、メモリ２０－２から係数を読み出し、学習済み係数として外部へ出力する（ステップＳ１００８）。位置学習装置２－２から出力された学習済み係数は、図６に示した位置推定装置１－２のメモリ１５－２に格納される。

以上のように、実施例２の位置学習装置２－２によれば、画像及びこれに対応する遊具の位置真値を学習データとして入力し、位置推定装置１－２と同様に、人物位置計測部１０は人物毎の位置を計測し、人物密度マップ演算部１１は人物密度マップを演算する。

ニューラルネットワーク部１４－２は、領域毎の人物密度である人物密度マップを入力データとして、メモリ２０－２に格納された係数を用いたニューラルネットワークの演算を行い、遊具の位置推定値を出力データとして求める。

誤差演算部２１は、遊具の位置真値と位置推定値との間の誤差を演算する。係数更新部２２－２は、例えば誤差伝播法により、誤差に基づいて、ニューラルネットワーク部１４－２が使用する係数を更新し、更新後の係数を、次時点にニューラルネットワーク部１４－２が使用する係数としてメモリ２０－２に格納する。

位置学習装置２－２は、係数を更新する学習処理を繰り返して学習が完了した場合、メモリ２０－２から係数を読み出し、学習済み係数として外部へ出力する。

このようにして得られた学習済み係数は、図６に示した位置推定装置１－２のメモリ１５－２に格納され、ニューラルネットワーク部１４－２が遊具の位置推定値を求める際に用いられる。

これにより、位置推定装置１－２が画像内の遊具の位置を推定する際に、人物との干渉等により遊具が完全に隠蔽され、明確に見えていない場合であっても、その位置を推定することが可能となる。

以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例１，２では、位置推定装置１－１，１－２は画像内の遊具の位置を推定し、位置学習装置２－１，２－２は画像及び遊具の位置を学習データとして学習処理を行うようにした。

これに対し、本発明は、遊具の位置を推定し、遊具の位置を学習データとすることに限定されるものではなく、遊具以外の物体の位置を推定し、物体の位置を学習データとするようにしてもよい。また、本発明は、物体以外の物、例えば人物の位置を推定し、人物の位置を学習データとするようにしてもよい。

また、前記実施例１の人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２及び注視度演算部１３、並びに前記実施例２の人物位置計測部１０及び人物密度マップ演算部１１は、球技に参加している全ての人物を対象として、人物毎の位置等を求めるようにした。

これに対し、人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２及び注視度演算部１３は、球技に参加しているチーム毎の人物を対象として、チーム毎に、人物毎の位置等を求めるようにしてもよい。この場合、ニューラルネットワーク部１４－１は、チーム毎の人物密度マップ、及びチーム毎かつ位置毎の注視度を入力データとして、学習済み係数を用いたニューラルネットワークの演算を行う。また、ニューラルネットワーク部１４－２は、チーム毎の人物密度マップを入力データとして、学習済み係数を用いたニューラルネットワークの演算を行う。

また、前記実施例１のニューラルネットワーク部１４－１は、人物密度マップ及び位置毎の注視度を入力データとして処理を行うようにし、実施例２のニューラルネットワーク部１４－２は、人物密度マップを入力データとして処理を行うようにした。

これに対し、ニューラルネットワーク部１４－１，１４－２は、人物位置計測部１０により計測された人物の位置、または他の構成部により計測された人物の移動速度、人物の移動方向等を入力データとして処理を行うようにしてもよい。この場合、人物速度計測部は、時系列の画像から人物を検出し、人物毎の移動速度を計測し、人物方向計測部は、時系列の画像から人物を検出し、人物毎の移動方向を計測する。

尚、実施例１，２による位置推定装置１－１，１－２及び位置学習装置２－１，２－２のハードウェア構成としては、通常のコンピュータを使用することができる。位置推定装置１－１，１－２及び位置学習装置２－１，２－２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

位置推定装置１－１に備えた人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２、注視度演算部１３、ニューラルネットワーク部１４－１及びメモリ１５－１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、位置推定装置１－２に備えた人物位置計測部１０、人物密度マップ演算部１１、ニューラルネットワーク部１４－２及びメモリ１５－２の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、位置学習装置２－１に備えた人物位置計測部１０、人物密度マップ演算部１１、人物姿勢計測部１２、注視度演算部１３、ニューラルネットワーク部１４－１、メモリ２０－１、誤差演算部２１及び係数更新部２２－１の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、位置学習装置２－２に備えた人物位置計測部１０、人物密度マップ演算部１１、ニューラルネットワーク部１４－２、メモリ２０－２、誤差演算部２１及び係数更新部２２－２の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１－１，１－２位置推定装置
２－１，２－２位置学習装置
１０人物位置計測部
１１人物密度マップ演算部
１２人物姿勢計測部
１３注視度演算部
１４－１，１４－２ニューラルネットワーク部
１５－１，１５－２，２０－１，２０－２メモリ
２１誤差演算部
２２－１，２２－２係数更新部

Claims

入力画像内の所定物の位置を推定する位置推定装置において、
前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、
前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、
前記人物密度マップ演算部により生成された前記人物密度マップを入力データとして、予め設定された学習済み係数を用いたニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、を備え、
前記人物密度マップ演算部は、前記人物の存在し得る領域を格子状に分割し、前記人物毎の位置から各格子に存在する人物の数を求めることで、前記領域毎の人物密度を演算するものであって、前記格子は、隣接格子との間で互いに重なり合うように配置されている、ことを特徴とする位置推定装置。
入力画像内の所定物の位置を推定する位置推定装置において、
前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、
前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、
前記入力画像の画像特徴に基づいて前記人物を検出し、前記人物毎の姿勢を計測する人物姿勢計測部と、
前記人物姿勢計測部により計測された前記人物毎の姿勢から、前記所定の座標系におけるそれぞれの座標位置に対して全ての前記人物が注視する度合いを、位置毎の注視度として演算する注視度演算部と、
前記人物密度マップ演算部により生成された前記人物密度マップ、及び前記注視度演算部により演算された前記位置毎の注視度を入力データとして、予め設定された学習済み係数を用いたニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、
を備えたことを特徴とする位置推定装置。
入力画像と、当該入力画像に対応する所定物の位置の真値を示す位置真値とを学習データとして入力し、当該学習データに基づいてニューラルネットワークの係数を求める位置学習装置において、
前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、
前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、
前記人物密度マップ演算部により生成された前記人物密度マップを入力データとして、前記係数を用いた前記ニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、
前記入力画像に対応する前記位置真値と、前記ニューラルネットワーク部により求めた前記位置推定値との間の誤差を演算する誤差演算部と、
前記誤差演算部により演算された前記誤差に基づいて、前記ニューラルネットワークの前記係数を更新する係数更新部と、を備え、
前記人物密度マップ演算部は、前記人物の存在し得る領域を格子状に分割し、前記人物毎の位置から各格子に存在する人物の数を求めることで、前記領域毎の人物密度を演算するものであって、前記格子は、隣接格子との間で互いに重なり合うように配置されている、ことを特徴とする位置学習装置。
入力画像と、当該入力画像に対応する所定物の位置の真値を示す位置真値とを学習データとして入力し、当該学習データに基づいてニューラルネットワークの係数を求める位置学習装置において、
前記入力画像の画像特徴に基づいて人物を検出し、所定の座標系における前記人物毎の位置を計測する人物位置計測部と、
前記人物位置計測部により計測された前記人物毎の位置から、前記所定の座標系における領域毎に人物密度を演算し、前記領域毎の人物密度を人物密度マップとして生成する人物密度マップ演算部と、
前記入力画像の画像特徴に基づいて前記人物を検出し、前記人物毎の姿勢を計測する人物姿勢計測部と、
前記人物姿勢計測部により計測された前記人物毎の姿勢から、前記所定の座標系におけるそれぞれの座標位置に対して全ての前記人物が注視する度合いを、位置毎の注視度として演算する注視度演算部と、
前記人物密度マップ演算部により生成された前記人物密度マップ、及び前記注視度演算部により演算された前記位置毎の注視度を入力データとして、前記係数を用いた前記ニューラルネットワークの演算を行い、前記所定物の位置の推定値を示す位置推定値を出力データとして求めるニューラルネットワーク部と、
前記入力画像に対応する前記位置真値と、前記ニューラルネットワーク部により求めた前記位置推定値との間の誤差を演算する誤差演算部と、
前記誤差演算部により演算された前記誤差に基づいて、前記ニューラルネットワークの前記係数を更新する係数更新部と、
を備えたことを特徴とする位置学習装置。
コンピュータを、請求項１または２に記載の位置推定装置として機能させるためのプログラム。
コンピュータを、請求項３または４に記載の位置学習装置として機能させるためのプログラム。