JP2018113660A - 情報処理装置、情報処理方法、システム - Google Patents

Abstract

【課題】 操作者の意図を汲んだ撮像制御を精度良く行うための技術を提供すること。【解決手段】 撮像装置による撮像画像から検出したオブジェクトの領域に基づいて、該撮像装置の制御量を推定する。ユーザ操作に応じて指示された撮像装置の制御量と推定した制御量との差分に基づく評価値をより小さくするように、推定に要するパラメータを更新する。【選択図】 図１

Description

本発明は、撮像装置の制御技術に関するものである。

従来から、撮像レンズのパン、チルト機構やズーム機構を制御信号によって制御することで撮影方向および撮影倍率を変更可能なカメラが開発されている。このようなカメラは監視用途に有用であり、例えば、カメラで撮影した映像に不審者が写った場合に撮影方向や倍率を変更することで不審者を追尾したりズームアップしたりすることができる。

しかしながら、監視者がカメラの映像を見てカメラの制御を行うためには、熟練した操作が必要であり、長時間操作を続けたり、多数のカメラに対して操作したりすることは困難である。このような課題に対応するために、特許文献１では、カメラを電動の雲台と電動のズームレンズによって自動的に制御し、人物を検出して追尾する監視装置が提案されている。一方、特許文献２では、画像パターンと操作者のカメラ制御との関係をニューラルネットワークで学習し、撮像制御を自動化する監視制御装置が提案されている。

特開２００３−２１９２２５号公報 特開２００４−５６４７３号公報

Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2005

しかしながら、特許文献１では、単に検出した人物をズームアップして追尾するだけであり、対象外の人物であっても追尾制御を行ってしまうため、追尾中により重要なイベントが発生した場合に取りこぼしてしまう恐れがある。

また、特許文献２では、映像中の人物の有無に関わらず操作者が行う追尾操作と画像パターンの関係を単純に学習するだけなので、人物が映っていない場合にも間違った撮影制御を行ってしまう恐れがある。

本発明はこのような問題に鑑みてなされたものであり、操作者の意図を汲んだ撮像制御を精度良く行うための技術を提供する。

本発明の一様態は、撮像装置による撮像画像から検出したオブジェクトの領域に基づいて、該撮像装置の制御量を推定する推定手段と、ユーザ操作に応じて指示された前記撮像装置の制御量と前記推定手段が推定した制御量との差分に基づく評価値をより小さくするように、前記推定に要するパラメータを更新する学習手段とを備えることを特徴とする。

本発明の構成により、操作者の意図を汲んだ撮像制御を精度良く行うことができる。

システムの構成例を示すブロック図。 推定パラメータの学習処理のフローチャート。 制御量推定部１４０の構成例を示すブロック図。 深層ニューラルネットワークの構成例を示す図。 自動制御処理のフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、カメラ２００と、該カメラ２００の動作制御を行う情報処理装置１００と、を有する。

先ず、カメラ２００について説明する。カメラ２００は、撮像レンズのパン、チルト機構、ズーム機構を有するものであり、カメラ２００のパン、チルト、ズームは情報処理装置１００から制御することができる。カメラ２００は、情報処理装置１００からの制御に応じて動画像を撮像する。そしてカメラ２００は、撮像した動画像を構成する各フレームの画像（撮像画像）を情報処理装置１００に対して出力する。カメラ２００は、静止画像を撮像するカメラであっても良い。

次に、情報処理装置１００について説明する。

操作部４００は、マウスやキーボード、タッチパネル画面などのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を撮影制御部３００に対して入力することができる。

撮影制御部３００は、操作部４００からの操作指示、若しくは制御量推定部１４０が後述する推定処理によって推定した「パン、チルト、ズーム等の制御量」に従って、カメラ２００のパン、チルト、ズーム等を制御するための制御信号を生成する。以下では、カメラ２００の「パン、チルト、ズーム等の制御量」を単に制御量と呼称する場合がある。そして撮影制御部３００は、該生成した制御信号をカメラ２００に対して出力する。カメラ２００は、この制御信号に従って、撮像レンズのパン、チルト、ズームを制御する。

操作情報取得部１２０は、撮影制御部３００が生成した制御信号から、該制御信号が示す制御量を取得する。画像取得部１１０は、カメラ２００から出力された撮像画像を取得する。

人検出部１３０は、画像取得部１１０が取得した撮像画像から人物が写っている領域（人物領域）を検出する。表示部５００は、ＣＲＴや液晶画面などにより構成されており、画像取得部１１０が取得した撮像画像を表示する。

制御量推定部１４０は、画像取得部１１０が取得した撮像画像、人検出部１３０による該撮像画像からの検出結果、記憶部１６０に格納されている推定パラメータ、を用いて、該撮像画像中の人物領域ごとに、制御量と、該人物領域内の人物に対する注目の度合いを示す値（注目度）と、を推定する。

学習部１５０は、画像取得部１１０が取得した撮像画像中の人物領域ごとに、注目度を取得する。学習部１５０は、画像取得部１１０が取得した撮像画像中の人物領域の位置や、その人物領域の人物へのユーザの操作（ズームアップ）等に基づいて、ユーザがその人物領域をどの程度注目しているのかを推定することにより、その注目度を取得する。そして学習部１５０は、該取得した注目度、操作情報取得部１２０が取得した制御量、制御量推定部１４０が推定した制御量及び注目度、を用いて、記憶部１６０に格納されている推定パラメータを更新（学習）する。

情報処理装置１００が行う、推定パラメータの学習処理について、同処理のフローチャートを示す図２を用いて説明する。

ステップＳ１００では、画像取得部１１０は、カメラ２００から出力された撮像画像を取得する。本実施形態では、撮像画像は、各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の輝度値が８ビットで表されるカラー画像データであるものとする。しかし、撮像画像はカラー画像データに限らず、モノクロ画像データであっても良いし、各画素の色成分の種類やビット数もまた特定の種類、ビット数に限らない。

ステップＳ１１０では、人検出部１３０は、ステップＳ１００で取得した撮像画像から人物領域を検出する。画像から人を検出する方法としては、例えば非特許文献１に記載の方法がある。非特許文献１に記載の方法では、画像から勾配方向ヒストグラム特徴（Histograms of Oriented Gradients）を抽出し、抽出した特徴量をサポートベクターマシンで学習したモデルを用いて人か否かを識別するようにしている。なお、撮像画像から人物領域を検出するための方法は、非特許文献１に開示されている方法に限らない。例えば、抽出する特徴量は勾配方向ヒストグラム特徴に限らず、Haar-like特徴、LBPH特徴（Local Binary Pattern Histogram）等を用いてもよいし、それらを組み合せてもよい。また、人を識別するモデルはサポートベクターマシンに限らず、アダブースト識別器、ランダム分類木（Randomized Tree）等を用いてもよい。なお、人検出部１３０は、撮像画像中に複数人の人が写っている場合には、それぞれの人を検出することになる。

そして人検出部１３０は、人物領域を検出すると、該人物領域の四隅の画像座標と、該人物領域に対する尤度と、を出力する。人物領域に対する尤度とは、該人物領域から抽出した特徴量と人を識別するモデルとを照合した結果であり、モデルとの一致度を表す。

ステップＳ１２０では、制御量推定部１４０は、ステップＳ１００で取得した撮像画像中の人物領域について、制御量と、該人物領域内の人物に対する注目の度合いを示す値（注目度）と、を推定する。ステップＳ１２０における処理は、ステップＳ１００で取得した撮像画像中のそれぞれの人物領域について行われる。そして、ステップＳ１００で取得した撮像画像中のそれぞれの人物領域についてステップＳ１２０の処理が完了すると、処理はステップＳ１７０に進む。ここで、制御量推定部１４０の構成例について、図３のブロック図を用いて説明する。

領域抽出部１４１は、ステップＳ１００で取得した撮像画像から、人検出部１３０が検出した人物領域（人検出部１３０が検出した四隅の画像座標で規定される領域）内の画像を抽出し、該抽出した画像を規定サイズに正規化した正規化画像を生成する。

特徴抽出部１４２及び推定部１４３は、図４に示す深層ニューラルネットワークで構成されている。図４に示す深層ニューラルネットワークでは、縦Ｈ画素×横Ｗ画素を有する入力画像（正規化画像）を入力として５層構成の畳込み型ニューラルネットワークの演算を行い、その演算結果を第６層及び第７層の全結合ニューラルネットワークに入力して出力を得る。ｆ１〜ｆ５はそれぞれ、第１層（Ｃｏｎｖ１）〜第５層（Ｃｏｎｖ５）の畳込み演算のフィルタサイズを表し、ｄ１〜ｄ７はそれぞれ、第１層〜第７層（第６層及び第７層はそれぞれＦｃ６，Ｆｃ７）の出力チャネル数を表す。

第１層〜第５層の畳込み型ニューラルネットワークは特徴抽出部１４２に含まれており、特徴抽出部１４２は、第１層〜第５層の畳込み型ニューラルネットワークによって入力画像から画像特徴量を抽出する。そして特徴抽出部１４２は、該入力画像から抽出した画像特徴量を出力する。

第６層及び第７層の全結合ニューラルネットワークは推定部１４３に含まれている。推定部１４３は、第６層及び第７層の全結合ニューラルネットワークによって、特徴抽出部１４２から出力された人物領域の画像特徴量、人検出部１３０から出力された四隅の画像座標、尤度から該人物領域に対応する制御量及び注目度を求める。

図３に戻って、統合部１４４は、情報処理装置１００が推定パラメータの学習処理を行っている際には動作せず、推定部１４３からの出力（人物領域に対応する制御量及び注目度）をそのまま学習部１５０に対して出力する。情報処理装置１００が推定パラメータの学習処理を行っていないときの統合部１４４の動作については後述する。

以上説明した図３の構成を用いてステップＳ１２０の処理を撮像画像中のそれぞれの人物領域について行うことで、該人物領域に対応する制御量及び注目度を推定することができる。

一方、ステップＳ１００で取得した撮像画像は、ステップＳ１３０において表示部５００に表示される。ここでユーザが操作部４００を操作して、カメラ２００のパン、チルト、ズームなどを操作する指示（操作指示）を入力すると、ステップＳ１４０において撮影制御部３００は、操作部４００からの操作指示を取得する。

ステップＳ１５０では、撮影制御部３００は、ステップＳ１４０で取得した操作指示に従って、カメラ２００のパン、チルト、ズーム等を制御するための制御信号を生成し、該生成した制御信号をカメラ２００に対して出力する。これによりカメラ２００は、撮影制御部３００から出力された制御信号に従って、パン、チルト、ズーム等を変更する。

ステップＳ１６０では、操作情報取得部１２０は、ステップＳ１５０において撮影制御部３００が生成した制御信号から、該制御信号が示す制御量を取得する。

ステップＳ１７０では、学習部１５０は、ステップＳ１２０において制御量推定部１４０がそれぞれの人物領域について推定した制御量及び注目度と、ステップＳ１６０において操作情報取得部１２０が取得した制御量と、を取得する。更に学習部１５０は、人検出部１３０による検出結果と操作情報取得部１２０が取得した制御量とから、撮像画像においてユーザがどの人物に注目したのかを判定して、該撮像画像内のそれぞれの人物領域について注目度を取得する。ユーザが操作部４００を操作して撮像画像の中央に近づけたりズームアップした人物（人物領域）の注目度を「１」、その他の人物（人物領域）の注目度を「０」とする。また、何も操作を行わなかった場合は検出した全ての人物の注目度は「０」となる。

この様に学習部１５０は１フレーム分の撮像画像について「制御量推定部１４０が推定した人物領域ごとの制御量及び注目度、操作情報取得部１２０が取得した制御量、学習部１５０が撮像画像から取得した人物領域ごとの注目度」を学習データとして取得する。

そして、学習部１５０が学習データを規定フレーム数分収集できた場合には、処理はステップＳ１８０に進む。一方、学習データを規定フレーム数分収集できていない場合には、次のフレームについてステップＳ１００以降の処理を繰り返す。

なお、ステップＳ１８０に進むための条件は特定の条件に限らない。例えば、制御量推定部１４０が推定したデータ量が規定量以上になった場合に、ステップＳ１８０に進むようにしても良い。

ステップＳ１８０では、学習部１５０は、記憶部１６０に格納されている推定パラメータ、すなわち、上記の第６層及び第７層の全結合ニューラルネットワークにおけるニューロン間の結合係数を、学習データを用いて更新（学習）する。

ここで、学習データを用いた推定パラメータの更新処理について説明する。制御量推定部１４０が規定フレーム数の撮像画像から収集した制御量及び注目度をそれぞれ、Ｃ＝｛Ｃ１，Ｃ２，…，Ｃｎ｝、ａ＝｛ａ１，ａ２，…，ａｎ｝とする。ｎは２以上の整数である。ｎが大きいほど精度の高い学習が可能であるが、その分だけ学習に時間がかかる。ここで、Ｃｉ、ａｉ（１≦ｉ≦ｎ）はそれぞれ、同フレームにおける撮像画像において同じ人物領域に対して制御量推定部１４０が推定した制御量、注目度である。なお、Ｃｉ＝（Ｐｉ、Ｔｉ、Ｚｉ）であり、Ｐｉはパンの制御量、Ｔｉはチルトの制御量、Ｚｉはズームの制御量を表す。また、Ｃｉを求めた撮像画像について操作情報取得部１２０が取得した制御量をＣ＾ｉとする。Ｃ＾ｉ＝（Ｐ＾ｉ、Ｔ＾ｉ、Ｚ＾ｉ）であり、Ｐ＾ｉはパンの制御量、Ｔ＾ｉはチルトの制御量、Ｚ＾ｉはズームの制御量を表す。また、ａｉを求めた人物領域について学習部１５０が取得した注目度をａ＾ｉとする。

本実施形態では、平均損失の勾配から推定パラメータを求める確率的勾配降下法を用いる。本実施形態では、平均損失として制御量及び注目度の差異（差分）を評価する。損失関数（評価値）は以下に示す（式１）で求める。

Ｌ＝Σ｛w1×（Pi−P＾i）²＋w2×（Ti−T＾i）²＋w3×（Zi−Z＾i）²＋w4×（ａi−ａ＾i）²｝ （式１）
w1、w2、w3、w4は規定の重み係数である。また、Σは全てのｉ（＝１〜ｎ）についての総和を表す。学習に用いるデータは全てを用いてもよいし、ランダムに所定数分選択してもかまわない。

学習部１５０は、上記の第６層及び第７層における結合係数（推定パラメータ）を微小量だけ変化させて得た学習データから（式１）に基づく勾配をそれぞれ求めて、平均損失が小さくなるように推定パラメータを学習する。学習した推定パラメータは、記憶部１６０に格納済みの推定パラメータに上書き保存され、これにより、記憶部１６０に格納されている推定パラメータが更新される。

推定パラメータの学習の終了条件については様々な条件が考えられる。すなわち、損失関数の値の変化量が規定値未満となった場合や、学習回数が規定値に達した場合に、学習を終了させても良い。また、ユーザが操作部４００を操作して学習の終了指示を入力した場合に、学習を終了させても良い。

次に、上記の学習が完了した後、情報処理装置１００が推定パラメータを用いてカメラ２００のパン、チルト、ズームなどを制御する自動制御処理について、同処理のフローチャートを示す図５を用いて説明する。

ここで、ステップＳ２００〜Ｓ２２０の各ステップにおける処理はそれぞれ、次の点を除き、上記のステップＳ１００〜Ｓ１２０と同様である。ステップＳ２２０で動作する上記の第６層及び第７層の全結合ニューラルネットワークの結合係数は、上記の学習によって更新された（更新済みの）推定パラメータである。そして、ステップＳ２００で取得した撮像画像中のそれぞれの人物領域についてステップＳ２２０の処理が完了すると、処理はステップＳ２３０に進む。

ステップＳ２３０では、制御量推定部１４０の統合部１４４は、推定部１４３が人物領域毎に出力した制御量を統合することで、カメラ２００の制御量を決定する。統合する方法には様々な統合方法がある。例えば統合部１４４は、推定部１４３から出力された人物領域ごとの制御量のうち、対応する注目度が最も高い制御量を統合結果として出力する。また統合部１４４は、複数の人物領域から推定した制御量を、対応する注目度を重みとして重み付け平均した結果を統合結果として出力する。

ステップＳ２４０では、撮影制御部３００は、ステップＳ２３０で統合結果として統合部１４４から出力された制御量を表す制御信号を生成し、該生成した制御信号をカメラ２００に対して出力する。これによりカメラ２００は、撮影制御部３００から出力された制御信号に従って動作する。

図５のフローチャートに従った処理は、１フレーム分の撮像画像についての処理であるため、実際には、カメラ２００から入力される撮像画像毎に図５のフローチャートに従った処理が行われる。なお、図５のフローチャートに従った処理の終了条件については特定の終了条件に限らない。例えば、ユーザが操作部４００を操作して図５のフローチャートに従った処理の終了指示を入力した場合に、図５のフローチャートに従った処理を終了させるようにしても良い。なお、上述の説明では、制御量及び注目度の両方を学習（更新）するようにしているが、その一方のみを学習（更新）する態様であっても構わない。

［第２の実施形態］
図１に示した情報処理装置１００を構成する各機能部はハードウェアで構成しても良いし、一部をソフトウェア（コンピュータプログラム）で構成しても良い。後者の場合、撮影制御部３００、操作情報取得部１２０、画像取得部１１０、人検出部１３０、制御量推定部１４０、学習部１５０をソフトウェアで構成しても良い。このような場合、該ソフトウェアを実行可能なプロセッサを有するコンピュータ装置であれば、情報処理装置１００に適用可能である。

情報処理装置１００に適用可能なコンピュータ装置のハードウェア構成例について、図６のブロック図を用いて説明する。なお、情報処理装置１００に適用可能なコンピュータ装置のハードウェア構成例は、図６に示した構成に限らない。また、情報処理装置１００は、１台のコンピュータ装置で構成しても良いし、複数台のコンピュータ装置で構成しても良い。

ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ６０１は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置１００が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ６０２は、ＲＯＭ６０３や外部記憶装置６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）６０７を介して外部（例えばカメラ２００）から受信したデータを格納するためのエリアを有する。更にＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ６０２は、各種のエリアを適宜提供することができる。ＲＯＭ６０３には、書換不要のコンピュータプログラムや設定データなどが格納されている。

操作部６０４は、上記の操作部４００に適用可能なユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ６０１に対して入力することができる。表示部６０５は、上記の表示部５００に適用可能な表示装置であり、ＣＰＵ６０１による処理結果を画像や文字などでもって表示することができる。なお、操作部６０４と表示部６０５とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置６０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。上記の記憶部１６０は、ＲＡＭ６０２や外部記憶装置６０６によって実装することができる。外部記憶装置６０６には、ＯＳ（オペレーティングシステム）や、情報処理装置１００が行うものとして上述した各処理をＣＰＵ６０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置６０６に保存されているコンピュータプログラムには、上記のソフトウェアが含まれている。また、外部記憶装置６０６に保存されているデータには、上記の説明において既知の情報として説明したデータが含まれている。外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理の対象となる。

Ｉ／Ｆ６０７は、情報処理装置１００を外部の機器と接続するためのインターフェースとして機能するものであり、例えば、上記のカメラ２００を情報処理装置１００に接続するためのインターフェースとして機能する。ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、操作部６０４、表示部６０５、外部記憶装置６０６、Ｉ／Ｆ６０７は何れもバス６０８に接続されている。

このように、上記の実施形態では、検出結果から推定した制御量とユーザ操作との差異が小さくなるように学習を行うので、ユーザの意図を汲んだ撮影制御の学習が可能となる。さらに、損失を制御量の差異で評価すると同時に注目度も評価しており、意図しない人物の追尾や人物が映っていない場合の間違った撮影制御を回避することができる。

なお、上記の実施形態では、制御量推定部１４０はニューラルネットワークを含むものとしたが、人検出部１３０も同様にニューラルネットワークを含むようにしても良い。このとき、上記の特徴抽出部１４２を人検出部１３０と共有することが可能である。また、制御量推定部１４０をサポートベクター回帰等の他の機械学習による推定部で構成することも可能である。

また、上記の実施形態では、制御量推定部１４０は人検出部１３０の結果と画像から制御量を推定するようにしたが、人検出部１３０の結果のみを用いても制御量を推定することは可能である。

また、上記の実施形態では、制御量推定部１４０は静止画における人検出部１３０の結果と画像から制御量を推定するようにしたが、時系列画像の複数フレームの人検出部１３０の結果を結合した時空間画像から制御量を推定するようにしてもよい。これにより、ユーザが人のどのような動きに注目して操作したかを学習することができる。

また、上記の実施形態では、制御量推定部１４０は人検出部１３０が出力する人物領域の四隅の画像座標と尤度とを用いて制御量を推定するようにしたが、この推定に用いる情報は、画像中の人の位置を表す情報であればよい。例えば、人の存在確率を表す尤度を二次元の座標位置に対応させた尤度マップのようなものでもよい。

また、上記の実施形態では、学習部１５０は、制御量推定部１４０が推定する画像中の複数の推定結果を別々に学習データとして取得するようにしたが、制御量推定部１４０の統合部１４４で一つの推定結果として統合した後に学習データとするようにしてもよい。あるいは、複数の推定結果をRNN（Recurrent Neural Network）やLSTM（Long short-term memory）等の再帰型のニューラルネットワークを用いて統合して推定するようにしても良い。この場合、学習部１５０でその出力を学習データとして取得する。

また、上記の実施形態では、検出対象として人物（人物領域）を例にとり説明したが、検出対象は人物に限らず、人物以外のオブジェクトを検出対象としても良い。また、図１ではカメラの台数を１としているが、これに限らず、複数台のカメラを制御対象としても良い。また、上記の実施形態では、制御量は、カメラ２００のパン、チルト、ズームの３つを含むものとしたが、これに限らず、パン、チルト、ズームうち少なくとも１つを含むようにしても良い。なお、上記の様々な変形例の一部若しくは全部を適宜組み合わせても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４００：操作部 ３００：撮影制御部 １２０：操作情報取得部 １１０：画像取得部 １３０：人検出部 １４０：制御量推定部 １５０：学習部 １６０：記憶部

Claims (12)

1. 撮像装置による撮像画像から検出したオブジェクトの領域に基づいて、該撮像装置の制御量を推定する推定手段と、
   ユーザ操作に応じて指示された前記撮像装置の制御量と前記推定手段が推定した制御量との差分に基づく評価値をより小さくするように、前記推定に要するパラメータを更新する学習手段と
   を備えることを特徴とする情報処理装置。
2. 前記推定手段は、
   前記領域内の画像特徴量を求める第１の手段と、
   前記画像特徴量と、前記領域の画像座標と、前記領域の尤度と、に基づいて、前記撮像装置の制御量を推定する第２の手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の手段は、全結合ニューラルネットワークを有し、前記パラメータは該全結合ニューラルネットワークにおけるニューロン間の結合係数であることを特徴とする請求項２に記載の情報処理装置。
4. 前記学習手段は、前記評価値をより小さくするように、確率的勾配降下法を用いて前記パラメータを更新することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 更に、
   前記学習手段により更新済みのパラメータを用いて前記推定手段が推定した前記撮像装置の制御量に基づいて、前記撮像装置の制御量を決定し、該決定した制御量に応じて前記撮像装置を制御する制御手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記制御手段は、前記学習手段により更新済みのパラメータを用いて前記推定手段が推定した前記撮像装置の制御量のうち、対応する前記値が最も大きい制御量を、前記撮像装置の制御量として決定することを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記学習手段により更新済みのパラメータを用いて前記推定手段が推定した前記撮像装置の制御量を、対応する前記値を重みとして重み付け平均した結果を、前記撮像装置の制御量として決定することを特徴とする請求項５に記載の情報処理装置。
8. 前記制御量は、前記撮像装置のパン、チルト、ズームのうち少なくとも１つを含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記推定手段は更に、前記オブジェクトの領域に基づいて該オブジェクトに対する注目の度合いを示す値を推定し、
   前記学習手段は、前記撮像画像中における前記ユーザによる前記領域に対する注目の度合いを示す値と前記推定手段が推定した注目の度合いを示す値との差分に基づく前記評価値をより小さくするように、前記推定に要するパラメータを更新することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 撮像装置と、該撮像装置を制御する情報処理装置と、を有するシステムであって、
    前記情報処理装置は、
    前記撮像装置による撮像画像から検出したオブジェクトの領域に基づいて、該撮像装置の制御量を推定する推定手段と、
    ユーザ操作に応じて指示された前記撮像装置の制御量と前記推定手段が推定した制御量との差分に基づく評価値をより小さくするように、前記推定に要するパラメータを更新する学習手段と
    を備えることを特徴とするシステム。
11. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の推定手段が、撮像装置による撮像画像から検出したオブジェクトの領域に基づいて、該撮像装置の制御量を推定する推定工程と、
    前記情報処理装置の学習手段が、ユーザ操作に応じて指示された前記撮像装置の制御量と前記推定工程で推定した制御量との差分に基づく評価値をより小さくするように、前記推定に要するパラメータを更新する学習工程と
    を備えることを特徴とする情報処理方法。
12. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images