JP2018060360A - 人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体 - Google Patents

Abstract

【課題】画像特徴量を用いた人数推定における個別学習の手間及びコストを低減させることができる人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体を提供する。【解決手段】事前設定時に、固定カメラと実空間座標系との幾何学的関係を示すキャリブレーションパラメータを計測し、無人状態で固定カメラにより撮影された画像である背景画像を取得し、キャリブレーションパラメータを参照しながら背景画像上に予め用意された人物画像を配置した画像である人物配置画像を生成し、生成された人物配置画像から画像特徴量を算出し、算出された画像特徴量と配置人数との関係を示す学習用特徴量データを保存する。計測時に、固定カメラにより撮影された撮影画像を入力し、入力された撮影画像から画像特徴量を算出し、算出された画像特徴量、及び保存された学習用特徴量データに基づき、撮影画像に写っている人物の人数を推定する。【選択図】図１

Description

本発明は、セキュリティ用途、安全管理用途、マーケティング用途等への適用を想定し、固定カメラで撮影した画像において、撮影されている場所に存在する人物の人数を推定する人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体に関する。

駅、空港、イベント施設等の人が多く集まる場所において、過剰な混雑は、将棋倒し等の深刻な事故の原因となる。そのため、過剰な混雑が発生しないように事前に対策することに加えて、混雑発生時に適切に誘導する等の現場対応を行う必要がある。そこで、施設内の各要所において混雑状況をモニタリングしたいという安全管理上のニーズが存在している。一方、商業施設、アミューズメント施設等において、お客様の快適性確保及び効果的な販売促進等を目的として施設内の人の人数をデータとして計測し、計測結果を活用したいというマーケティング上のニーズが存在している。人数を計測するセンサには様々なセンサがあるが、計測したい場所が比較的広い場合には、カメラで撮影した画像が有力な計測手段となる。

画像から、画像に写っている人物の人数を計測又は推定する様々な方法が既に提案され、利用されている。これらの方法を大きく分類すると、下記の３つの方式が挙げられる。

（１）画像上の個々の人物を検出する方式（人物検出タイプ）
（２）画像上の個々の移動物体を追跡することで人数を算出する方式（追跡タイプ）
（３）個々の人物を検出しないで、画像上の特徴量、局所的な画像処理の結果等を統合することで人数を推定する方式（特徴量タイプ）

特許４９１４８７０号公報

VelastinA.N. Marana, L.F. Costa, R.A. Lotufo, S.A.Velastin,"On the Efficacy of Texture Analysis for for Crowd Monitoring", Proc. International Symposium on Computer Graphics, Image Processing, Vol.6, pp.3521-3524 (1998).

従来の多くの技術は、上述した方法の何れか、又は上述した方法を組み合わせて実現されている。このうち上記（１）及び（２）の方式では、人が少ない状況においては高い精度を実現するものの、混雑した状況においては誤差が大きくなって処理が破綻するため、混雑した状況への適用が困難となる。前述した利用場面のうち、駅等の公共施設、及びイベント施設における安全管理においては、混雑した状況でも一定の精度が保たれることが必須要件となるため、上記（１）及び（２）の方式を用いることは困難である。

一方、上記（３）の方式は、一般に人が少ない状況での推定精度は高くないものの、混雑した状況においても比較的安定した精度での推定が可能である（例えば、非特許文献１参照）。しかし、実際に上記（３）の方式を利用するためには、個々のカメラに対して学習データを取得し、特徴量と人数との関係を分析するといった学習又は回帰分析が必要となる。ここでの学習データは、実際に人物が写っている多数の画像を取得し、取得した画像に写っている人物の人数を計測し、計測したデータを画像毎に記録したデータである。

これに対し、個別の学習を行わず、カメラキャリブレーションのみで、人数推定を行う方式も提案されている（例えば、特許文献１を参照）。カメラキャリブレーションとは、カメラと、カメラの設置場所の床面等の実空間座標系と、の幾何学的な関係を示すキャリブレーションパラメータを計測する処理である。しかしながら、画像が人物で埋め尽くされているような状況等の、過密に混雑した状況においては、カメラキャリブレーションを用いる方法では人数が推定できない。

つまり、過密に混雑した状況において人数計測又は人数推定を行いたい場合には、個々のカメラに対して学習データを収集し、特徴量もしくは画像そのものと、画像に写っている人の人数との関係を取得するといった個別の学習又は回帰分析が必要である。そのため、学習データを収集するための手間及びコスト、及び、学習又は回帰分析を行うための手間及びコストが妨げとなり、実用化が進まないという問題があった。特に、学習データを収集する手間及びコストが問題となっている。

本発明は、以上のような事情に鑑みてなされたものであり、画像特徴量を用いた人数推定における個別学習の手間及びコストを低減させることができる人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体を提供することを目的とする。

また、上記目的を達成するために、本発明の人数推定方法は、キャリブレーション部、背景画像取得部、人物配置画像生成部、学習用特徴量保存部、画像入力部、画像特徴量算出部、及び人数推定部を含む人数推定装置における人数推定方法であって、事前設定時に、前記キャリブレーション部が、固定カメラと実空間座標系との幾何学的関係を示すキャリブレーションパラメータを計測するカメラキャリブレーションステップと、前記背景画像取得部が、無人状態で前記固定カメラにより撮影された画像である背景画像を取得する背景画像取得ステップと、前記人物配置画像生成部が、前記キャリブレーションパラメータを参照しながら前記背景画像上に予め用意された人物画像を配置した画像である人物配置画像を生成する人物配置画像生成ステップと、前記学習用特徴量保存部が、生成された前記人物配置画像から画像特徴量を算出し、算出された画像特徴量と配置人数との関係を示す学習用特徴量データを保存する学習用特徴量保存ステップと、計測時に、前記画像入力部が、前記固定カメラにより撮影された撮影画像を入力する画像入力ステップと、画像特徴量算出部が、入力された前記撮影画像から前記画像特徴量を算出する画像特徴量算出ステップと、前記人数推定部が、算出された前記画像特徴量、及び前記学習用特徴量保存部により保存された学習用特徴量データに基づき、前記撮影画像に写っている人物の人数を推定する人数推定ステップと、を行う。

また、本発明の人数推定方法は、前記人数推定ステップでは、前記人数推定部が、計測時に算出された画像特徴量について、前記学習用特徴量データの特徴量に対する近傍探索を行い、探索結果に基づいて前記人数を推定するようにしても良い。

また、本発明の人数推定方法は、前記人数推定装置は、学習部を含み、事前設定時に、前記学習部が、前記学習用特徴量データを用いて画像特徴量と前記人数との関係を示す回帰式を学習する学習ステップを更に行い、前記人数推定ステップでは、前記人数推定部が、計測時に算出された画像特徴量を、前記学習部により学習された前記回帰式に入力することにより、前記人数を推定するようにしても良い。

また、本発明の人数推定方法は、前記人物配置画像生成ステップでは、前記人物配置画像生成部が、前記固定カメラにより撮影された場所に現れる人物に関するプロフィールに基づき、配置する前記人物画像を性別、年代、及び服装の少なくとも１つにより選定するようにしても良い。

また、本発明の人数推定装置は、前記人数推定装置は、人物画像検出記録部を含み、前記人物画像検出記録部が、前記固定カメラにより撮影された撮影画像に写っている人物を検出して前記人物画像として記録する人物画像検出記録部を更に行い、前記人物配置画像生成ステップでは、前記人物配置画像生成部が、前記人物画像検出記録部に記録された前記人物画像を前記人物配置画像に配置するようにしても良い。

また、本発明の人数推定装置は、事前設定時に、固定カメラと実空間座標系との幾何学的関係を示すキャリブレーションパラメータを計測するキャリブレーション部と、無人状態で前記固定カメラにより撮影された画像である背景画像を取得する背景画像取得部と、前記キャリブレーションパラメータを参照しながら前記背景画像上に予め用意された人物画像を配置した画像である人物配置画像を生成する人物配置画像生成部と、生成された前記人物配置画像から画像特徴量を算出し、算出された画像特徴量と配置人数との関係を示す学習用特徴量データを保存する学習用特徴量保存部と、計測時に、前記固定カメラにより撮影された撮影画像を入力する画像入力部と、入力された前記撮影画像から前記画像特徴量を算出する画像特徴量算出部と、算出された前記画像特徴量、及び前記学習用特徴量保存部により保存された学習用特徴量データに基づき、前記撮影画像に写っている人物の人数を推定する人数推定部と、を含む。

また、上記目的を達成するために、本発明の人数推定プログラムは、コンピュータに、本発明の人数推定方法の各ステップを実行させるためのプログラムである。

また、上記目的を達成するために、本発明の記録媒体は、コンピュータに、本発明の人数推定方法の各ステップを実行させるための人数推定プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、画像特徴量を用いた人数推定における個別学習の手間及びコストを低減させることが可能となる。

実施形態に係る人数推定装置の基本的な機能構成を示す機能ブロック図である。 実施形態に係る人物推定装置において人物配置画像を生成する生成方法を説明するための模式図である。 実施形態に係る人物推定装置における生成処理及び推定処理の流れを示すフローチャートである。 実施形態に係る人数推定装置の基本的な機能構成の別例を示す機能ブロック図である。

以下、本発明に係る人数推定装置の実施形態について図面を用いて具体的に説明する。

本実施形態では、固定カメラで撮影された画像データ（映像データ）を計算機に入力し、入力した画像データに対して、計算機上で画像処理を実施する場合について説明するが、この実施形態に限定されない。また、本実施形態には、固定カメラから画像データを逐一取得し、逐一画像処理を行うリアルタイム型の処理、及び、固定カメラから取得した画像データを一旦ハードディスク等の記録媒体に記録された画像データを読み出して画像処理を行うオフライン型の処理の何れも適用可能である。

図１は、本実施形態に係る人数推定装置１０の基本的な装置構成を示す機能ブロック図である。

まず、図面を参照しながら、事前設定時の処理を行うための構成について説明する。

本実施形態に係る人数推定装置１０は、図１に示すように、事前設定時の処理を行うための構成として、人物画像記憶部１２、画像入力部１４、背景画像取得部１６、キャリブレーション部１８、人物配置画像生成部２０、画像特徴量算出部２２、学習用特徴量保存部２４、及び学習用特徴量データ記憶部２６を備えている。

人物画像記憶部１２は、人物が描画された複数の人物画像を予め記憶している。ここでの人物画像は、一例として図２に示すように、起立した１人の人物の全身が描画された矩形の画像である。本実施形態では、人物画像記憶部１２は、様々な人物の全身が描画された複数の人物画像４４を記憶している。

画像入力部１４は、事前設定時に、固定カメラ、当該固定カメラにより撮影された動画ファイル、当該固定カメラにより撮影された静止画系列等からフレーム画像を取得する。

背景画像取得部１６は、画像入力部１４で取得されたフレーム画像から、当該固定カメラにより撮影された、人物が写っていない無人状態の画像である背景画像を取得する。人物が映っていない状態で人手で当該固定カメラにより画像を撮影することにより、背景画像５０を最も簡単に取得できる。その他、異なる時刻に当該固定カメラにより撮影された複数のフレーム画像を用いて、画素毎に時間方向の平均値を算出して各画素の画素値とした画像を背景画像５０としても良い。なお、背景画像５０を取得する方法については、既に様々な方法が提案されており、ここではその方法について限定しない。

キャリブレーション部１８は、当該固定カメラの設置後、計測処理の前処理として、固定カメラの幾何学的な配置を記述するキャリブレーションパラメータを取得する。ここでのキャリブレーションパラメータは、床面座標系における固定カメラの位置、撮影方向、焦点距離（拡大率）等を示すパラメータである。このようなカメラキャリブレーションとしては、既知のグリッドパターン、ドットパターン等を床面において撮影した画像を用いる方法が広く知られているが、その他、既知の構造物を置いて撮影した画像を用いる方法等もある（例えば、下記参考文献１を参照）。

［参考文献１］特許第５３３１０４７号公報

なお、カメラキャリブレーション方法としては、様々な方法が用いられているが、ここでは、上述した各パラメータを取得できれば良く、フレーム画像の各画素が実空間でどのような直線に対応するのかを特定できる情報を取得できれば良いものとし、その具体的な方法については限定しない。

人物配置画像生成部２０は、背景画像５０、キャリブレーションパラメータ、及び事前に準備した人物画像４４を用いて、背景画像５０上に人物画像４４を配置した人物配置画像５２を生成する。

なお、以下の説明において、上記キャリブレーションパラメータが既知の前提において、下記（４）及び（５）の２つの幾何計算を適宜実行する必要がある。

（４）実空間座標（Ｘ，Ｙ，Ｚ）（ただし、Ｘ，Ｙは床面上の座標、Ｚは高さ方向の座標）が指定された場合の画像上の対応画素の画像座標（ｘ，ｙ）の算出
（５）画像座標（ｘ，ｙ）及び実空間における床面からの高さＺが指定された場合の床面上座標（Ｘ，Ｙ）の算出

しかし、これらの具体的な計算方法については、上記参考文献１等に示すように既に広く知られているため、ここではその詳細な説明を割愛する。

以下、人物配置画像５２を生成する具体的な方法の一例を示す。

まず、画像の四隅もしくは画像内の処理範囲を指定する矩形の四隅の画像座標（ｘ，ｙ）から、キャリブレーションパラメータを用いて、対応する床面の高さにおける床面座標（Ｘ，Ｙ）を求める。そして、求められた床面上の４点を頂点とする四角形を、床面上において人物を配置する人物配置範囲４０とする。

床面上の所定領域内において無作為な位置に人物を配置する方法としては、例えば、床面上に上述した四角形を包含するような正方形（Ｘ方向の長さＷ、Ｙ方向の長さＷの正方形）の領域を設定し、例えば−１．０から＋１．０までの乱数を２つ発生させ、発生させた乱数の値に応じて正方形内の座標を決めることで、正方形内の位置座標を無作為に発生させることができる。そして、発生させた床面座標が上述した人物配置範囲を示す四角形の中にある場合には、その床面座標を採用し、その四角形の中に含まれない場合には、その床面座標を棄却し、再度乱数を発生させて、人物配置範囲４０を示す四角形の中にある床面座標が発生するまで繰り返せば良い。

このようにして、例えば、３人分の人物画像４４を配置する場合には、人物配置範囲４０を示す四角形に含まれる３つの床面座標を算出する。

次に、発生させた床面座標の位置に、人物のサイズに対応する矩形（例えば、高さ１．６５ｍ、幅０．４ｍ等、人物の実寸サイズに類似したサイズの矩形）４２を実空間上に配置する。この際、図２に示すように、固定カメラ４８に対して正対する角度で矩形４２を配置することが望ましい。そして、人物画像記憶部１２に予め記憶させておいた人物画像４４を、配置された矩形４２にはめ込む。この際、キャリブレーションパラメータを用いて、矩形４２上のＸ，Ｙ，Ｚの三次元座標と人物画像４４の画素との対応付けを行い、それをもとに矩形４２上の人物画像４４を画像上に投影していく。この際、矩形４２上のＸ，Ｙ，Ｚから画像上のｘ，ｙを算出しながら人物画像４４の画素値を背景画像５０上に転写することにより、人物画像を画像上に投影する。これにより、図２に示すように、矩形４２上に人物画像４４が配置された人物配置画像５２を得ることができる。

なお、この際、人物画像４４の背景部（人物以外の部分）については、背景であることが指定されているものとし（例えば、透明化されているものとし）、背景画像５０上に転写されないようにする。また、複数位置に配置された複数の人物画像４４の背景画像５０への転写の順番については、複数の人物画像４４について、固定カメラ４８直下の床面座標からの距離を計算し、その距離が遠いものから描画することで、前後関係が正しい人物配置画像５２を生成することができる。

このようにして、配置する人物の人数、すなわち背景画像５０に配置する人物画像４４の数を０、１、２、３、１０、１００、…というように変化させながら、それぞれ複数枚数の人物配置画像５２を生成する。

なお、上述したように、背景画像５０上の矩形（画像の四隅又は矩形で指定された処理範囲）を床面に投影した範囲を人物を配置する範囲とした場合について説明したが、これに限らない。例えば、実空間における人物の移動範囲が、柱等の構造物等により制限されている場合には、壁、柱等の構造物等に対応する範囲を人物の移動範囲から除外することにより、実空間における人物の移動範囲を人物配置画像５２において正確に反映させるように床面上の人物配置範囲を決定することで、その場所の構造及び特性に合わせた人物配置画像５２を生成することもできる。

このような配置の限定は、背景画像５０上で床と壁や壁の下端が接する場所の端点（柱の角等）を背景画像５０上で指定し、その床面座標を求めることで、床面座標上に柱、壁等の位置を投影することができる。これを用いて、床面上の人物配置範囲を限定すれば良い。

なお、本実施形態では、二次元の人物画像４４を用いて人物配置画像５２を生成する場合について説明したが、これに限らない。例えば、二次元の人物画像４４に代えて、三次元の人物モデル（ＣＧ（computer graphics）用三次元オブジェクト）を配置し、レンダリングにより得られた画像を用いることも可能である。ここでのレンダリングとは、例えば、三次元の人物モデルに予め定めた方向から照明を当てたときに得られる二次元画像を生成することをいう。

次に、画像特徴量算出部２２は、生成された人物配置画像５２の各々に対して所定の画像処理（特徴量算出処理）を行う。ここで画像特徴量としては、人の混雑状況（その場所の総人数、密度）は直接的又は間接的に反映させる数値、もしくは多次元ベクトルであれば良く、これまでにも混雑状況に対応するとされるテクスチャ特徴は様々なものが提案されているが、その具体的な計算方法は特定しない。一例としては、下記参考文献２（及びその関連研究）で提案されている「フラクタル次元数」を画像特徴量としても良い。

［参考文献２］宮川，新井他「映像からの人数推定における遺伝的アルゴリズムを使ったカメラパータの調整」、知能と情報：日本知能情報ファジィ学会誌：journal of Japan Society for Fuzzy Theory and Intelligent Informatics 21(1), pp.41 -55, 2009-2-15.

学習用特徴量保存部２４は、人物配置画像５２に対して算出された画像特徴量と、配置した人数とを対にしたデータ（学習用特徴量データ）をハードディスク、メディア等の学習用特徴量データ記憶部２６に記憶させる。

次に、図面を参照しながら、計測時の処理を行うための構成について説明する。

また、本実施形態に係る人数推定装置１０は、図１に示すように、計測時の処理を行うための構成として、画像入力部２８、画像特徴量算出部３０、及び、人数推定部３２を備えている。

画像入力部２８は、計測時に、固定カメラ、当該固定カメラにより撮影された動画ファイル、当該固定カメラにより撮影された静止画系列等からフレーム画像を取得する。

画像特徴量算出部３０は、上述した画像特徴量算出部２２と同様に、画像入力部２８により取得された画像について、画像特徴量を算出する。

人数推定部３２は、画像特徴量算出部３０により算出された画像特徴量と、学習用特徴量データ記憶部２６に記憶されている、事前設定時に作成しておいた学習用特徴量データの画像特徴量とに基づいて、尤もらしい人数を推定し、推定結果３４を出力する。

本実施形態では、学習用特徴量データとして、画像特徴量と配置人数とが対応付けられたデータが記憶されているため、近傍探索により、計測時の画像の画像特徴量と近い画像特徴量を持つ学習用特徴量データを探索し、探索された近傍データの配置人数を推定人数とする。この際、近傍探索の高速化のために、事前にツリー構造を作成する方法、ハッシングテーブルを作成しておく方法等があるが、これらの処理は適宜利用すれば良い。

なお、本実施形態に係る人数推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、人数推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。

ここで、以上説明した、事前設定時に行われる生成処理と、計測時に行われる推定処理との処理手順を、図３に示すフローチャートを用いて説明する。

なお、本実形態では、生成処理及び推定処理のプログラムは予め記憶部に記憶されているが、これに限らない。例えば、生成処理及び推定処理のプログラムは、外部装置から受信して実行されても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録された生成処理及び推定処理のプログラムがＣＤ−ＲＯＭドライブ等で読み込まれることにより、生成処理及び推定処理が実行されるようにしてもよい。

まず、事前設定時に行われる生成処理について説明する。

本実施形態では、生成処理のプログラムは、生成処理の実行の指示が入力された場合に実行される。

ステップＳ１０１では、画像入力部１４が、撮影画像を入力し、フレーム画像を取得する。

ステップＳ１０３では、キャリブレーション部１８が、固定カメラ４８のキャリブレーションパラメータを取得することにより、カメラキャリブレーションを行う。

ステップＳ１０５では、背景画像取得部１６が、画像入力部１４により入力された撮影画像から、背景画像５０を取得する。

ステップＳ１０７では、人物配置画像生成部２０が、取得された背景画像５０と、人物画像記憶部１２に記憶されている人物画像４４とを用いて、複数枚の人物配置画像５２を生成する。

ステップＳ１０９では、画像特徴量算出部２２が、生成された人物配置画像５２から、画像特徴量を算出する。

ステップＳ１１１では、学習用特徴量保存部２４が、算出された画像特徴量を、人物配置画像５２に配置された人物の人数に対応づけて学習用特徴量データ記憶部２６に記憶させ、本生成処理のプログラムの実行を終了する。

次に、計測時に行われる推定処理について説明する。

本実施形態では、推定処理のプログラムは、推定処理の実行の指示が入力された場合に実行される。

ステップＳ２０１では、画像入力部２８が、固定カメラ４８により撮影された撮影画像を入力し、入力した撮影画像からフレーム画像を取得する。

ステップＳ２０３では、画像特徴量算出部３０が、取得したフレーム画像の画像特徴量を算出する。

ステップＳ２０５では、人数推定部３２が、学習用特徴量データ記憶部２６に記憶されている学習用特徴量データと、算出したフレーム画像の画像特徴量とから、固定カメラ４８により撮影されている場所に現れた人物の人数を推定する。

ステップＳ２０７では、人数推定部３２が、終了条件を満たしているか否かを判定する。ここでの終了条件は、例えば、ステップＳ２０１で取得した全てのフレーム画像に対してステップＳ２０３乃至Ｓ２０５の処理を行ったこととする。ステップＳ２０７で終了条件を満たしていないと判定した場合（Ｓ２０７，Ｎ）はステップＳ２０１に移行する。また、ステップＳ２０７で終了条件を満たしていると判定した場合（Ｓ２０７，Ｙ）は、本推定処理のプログラムの実行を終了する。

このように、本実施形態では、事前設定時に、キャリブレーション部１８により、固定カメラ４８と実空間座標系との幾何学的関係を示すキャリブレーションパラメータが計測される。また、背景画像取得部１６により、無人状態で固定カメラ４８により撮影された画像である背景画像５０が取得される。また、人物配置画像生成部２０により、キャリブレーションパラメータを参照しながら背景画像５０上に予め用意された人物画像４４を配置した画像である人物配置画像５２が生成される。また、画像特徴量算出部２２により、生成された人物配置画像５２から画像特徴量が算出され、学習用特徴量保存部２４により、算出された画像特徴量と配置人数との関係を示す学習用特徴量データが学習用特徴量データ記憶部２６に記憶される。

さらに、本実施形態では、計測時に、画像入力部２８により、固定カメラ４８により撮影された撮影画像が入力される。また、画像特徴量算出部３０により、入力された撮影画像から画像特徴量が算出される。また、人数推定部３２により、算出された画像特徴量、及び学習用特徴量データ記憶部２６に記憶された学習用特徴量データに基づき、前記撮影画像に写っている人物の人数が推定される。

これにより、事前設定時に、個々の固定カメラ４８に対して学習データを取得する必要がなくなるため、事前設定時の手間、及びコストを大幅に削減した形で人数推定処理を実行することが可能となる。特に、学習データして、実際に人物が写っている大量の画像を取得し、その画像に写っている人物の人数を計測して記憶する処理が削減されることにより、大幅に手間及びコストを削減できる。

なお、本実施形態では、人物配置画像５２に対して算出された画像特徴量と、人物配置画像５２に配置した人数とを対にしたデータを学習用特徴量データとして学習用特徴量データ記憶部２６に記憶する場合について説明したが、これに限らない。

例えば、図４に示すように、学習用特徴量保存部２４に学習部３６を設けても良い。学習部３６は、学習用特徴量データを用いて、配置人数と画像特徴量との間の関係を推定して回帰式を生成し、生成した回帰式のパラメータを求める。また、学習用特徴量保存部２４は、学習部により求められたパラメータを適用した回帰式を、学習用特徴量データ記憶部２６に記憶させる。

具体的な回帰式としては、直線、多項式への近似等、様々な方法を用いることができ、ここではその方法については限定しない。

また、学習用特徴量データ記憶部２６に、上述した回帰式が記憶されている場合には、人数推定部３２は、計測時に固定カメラ４８により撮影された撮影画像から算出された画像特徴量を回帰式に入力することで、推定人数を算出すると良い。

また、本実施形態では、人物配置画像５２を生成する際に、予め用意された人物画像４４を用いる場合について説明したが、これに限らない。計測する場所によって、固定カメラ４８により撮影される場所に現れる人物のプロフィールが異なっている場合がある。例えば、オフィス、商業施設等において、男性サラリーマンが多い場所、学生が多い場所、買い物客が多い場所等、現れる人物のプロフィール（性別、年代、服装等）に関して偏りが大きい場所が存在する。また、曜日、季節、時間帯等によって、現れる人物のプロフィールに関して偏りが大きい場所が存在する。

このような場合、場所毎に現れる人物のプロフィールが異なっている場合には、複数種類の人物画像４４を人物画像記憶部１２に記憶しておき、現れる人物のプロフィールに合わせて人物画像４４を選択することで、より高精度な推定が可能となる。例えば、人物画像４４に写っている人物の性別、年代、及び服装の少なくとも１つを示す情報を人物画像４４に付加しておき、現れる人物のプロフィールに合わせて、性別、年代、及び服装の少なくとも１つに基づいて人物画像４４を選定すると良い。また、曜日や季節や時間帯によって現れる人物が異なっている場合には、曜日、季節、及び時間帯毎に学習用特徴量データを切り換えることで対応が可能である。

また、本実施形態に係る人数推定装置１０は、固定カメラ４８により撮影された撮影画像に写っている人物を検出して人物画像４４として人物画像記憶部１２に記憶させる人物画像検出記録部を備えていても良い。人物画像検出記録部は、固定カメラ４８により撮影される場所に現れる人物を撮影した撮影画像を逐次収集し、撮影画像に写っている人物を検出して、人物画像４４として人物画像記憶部１２に記憶させておく。

これにより、当該場所の照明条件に合った人物画像４４であって、かつ当該場所に現れる人物のプロフィールを反映した人物画像４４を用いて、人物配置画像５２を生成することができる。また、これにより、人数推定の精度の向上が期待される。なお、動画中の人物を検出する方法としては、ＨＯＧ（Histograms of Oriented Gradients）特徴量を用いてＳＶＭ（Support Vector Machine）等の識別器を組み合わせたものが一般化してきており、これを用いても良い。また、追跡（トラッキング）技術を組み合わせることでより安定した人物画像の収集が可能となる。

この際、混雑度が高い場合には、周囲の人物が人物画像にノイズとして混入する可能性が高くなるため、上述した人数推定処理、ＨＯＧによる人物検出の結果、画像に写っている人物が少ないと想定される場合にのみ、人物画像の収集を行う等の工夫が必要となる。また、人物画像の収集時に日付、時間帯、曜日の上方と組み合わせて記憶させることで、上述したような時間帯、季節等による変動に適用することができる。

また、本実施形態では、事前設定時の生成処理のための画像入力部１４と計測時の推定処理のための画像入力部２８とを各々別個に設けた場合について説明したが、これに限らない。例えば、事前設定時の生成処理及び計測時の推定処理で共通で用いられる画像入力部を設けても良い。

また、本実施形態では、事前設定時の生成処理のための画像特徴量算出部２２と計測時の推定処理のための画像特徴量算出部３０とを各々別個に設けた場合について説明したが、これに限らない。例えば、事前設定時の生成処理及び計測時の推定処理で共通で用いられる画像特徴量算出部を設けても良い。

以上、本実施形態について図面を参照して詳細に説明したが、具体的な構成は本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

また、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、人数推定装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。

また、構築されたプログラムをハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。

１０ 人数推定装置
１２ 人物画像記憶部
１４、２８ 画像入力部
１６ 背景取得部
１８ キャリブレーション部
２０ 人物配置画像生成部
２２、３０ 画像特徴量算出部
２４ 学習用特徴量保存部
３２ 人数推定部
３４ 推定結果
３６ 学習部

Claims (8)

1. キャリブレーション部、背景画像取得部、人物配置画像生成部、学習用特徴量保存部、画像入力部、画像特徴量算出部、及び人数推定部を含む人数推定装置における人数推定方法であって、
   事前設定時に、前記キャリブレーション部が、固定カメラと実空間座標系との幾何学的関係を示すキャリブレーションパラメータを計測するカメラキャリブレーションステップと、
   前記背景画像取得部が、無人状態で前記固定カメラにより撮影された画像である背景画像を取得する背景画像取得ステップと、
   前記人物配置画像生成部が、前記キャリブレーションパラメータを参照しながら前記背景画像上に予め用意された人物画像を配置した画像である人物配置画像を生成する人物配置画像生成ステップと、
   前記学習用特徴量保存部が、生成された前記人物配置画像から画像特徴量を算出し、算出された画像特徴量と配置人数との関係を示す学習用特徴量データを保存する学習用特徴量保存ステップと、
   計測時に、前記画像入力部が、前記固定カメラにより撮影された撮影画像を入力する画像入力ステップと、
   画像特徴量算出部が、入力された前記撮影画像から前記画像特徴量を算出する画像特徴量算出ステップと、
   前記人数推定部が、算出された前記画像特徴量、及び前記学習用特徴量保存部により保存された学習用特徴量データに基づき、前記撮影画像に写っている人物の人数を推定する人数推定ステップと、
   を行う人数推定方法。
2. 前記人数推定ステップでは、前記人数推定部が、計測時に算出された画像特徴量について、前記学習用特徴量データの特徴量に対する近傍探索を行い、探索結果に基づいて前記人数を推定する
   請求項１記載の人数推定方法。
3. 前記人数推定装置は、学習部を含み、
   事前設定時に、前記学習部が、前記学習用特徴量データを用いて画像特徴量と前記人数との関係を示す回帰式を学習する学習ステップを更に行い、
   前記人数推定ステップでは、前記人数推定部が、計測時に算出された画像特徴量を、前記学習部により学習された前記回帰式に入力することにより、前記人数を推定する
   請求項１又は２記載の人数推定方法。
4. 前記人物配置画像生成ステップでは、前記人物配置画像生成部が、前記固定カメラにより撮影された場所に現れる人物に関するプロフィールに基づき、配置する前記人物画像を性別、年代、及び服装の少なくとも１つにより選定する
   請求項１〜３の何れか１項記載の人数推定方法。
5. 前記人数推定装置は、人物画像検出記録部を含み、
   前記人物画像検出記録部が、前記固定カメラにより撮影された撮影画像に写っている人物を検出して前記人物画像として記録する人物画像検出記録部を更に行い、
   前記人物配置画像生成ステップでは、前記人物配置画像生成部が、前記人物画像検出記録部に記録された前記人物画像を前記人物配置画像に配置する
   請求項１〜４の何れか１項記載の人数推定方法。
6. 事前設定時に、固定カメラと実空間座標系との幾何学的関係を示すキャリブレーションパラメータを計測するキャリブレーション部と、
   無人状態で前記固定カメラにより撮影された画像である背景画像を取得する背景画像取得部と、
   前記キャリブレーションパラメータを参照しながら前記背景画像上に予め用意された人物画像を配置した画像である人物配置画像を生成する人物配置画像生成部と、
   生成された前記人物配置画像から画像特徴量を算出し、算出された画像特徴量と配置人数との関係を示す学習用特徴量データを保存する学習用特徴量保存部と、
   計測時に、前記固定カメラにより撮影された撮影画像を入力する画像入力部と、
   入力された前記撮影画像から前記画像特徴量を算出する画像特徴量算出部と、
   算出された前記画像特徴量、及び前記学習用特徴量保存部により保存された学習用特徴量データに基づき、前記撮影画像に写っている人物の人数を推定する人数推定部と、
   を含む人数推定装置。
7. コンピュータに、請求項１〜６の何れか１項記載の人数推定方法の各ステップを実行させるための人数推定プログラム。
8. コンピュータに、請求項１〜６の何れか１項記載の人数推定方法の各ステップを実行させるための人数推定プログラムを記録した
   コンピュータ読み取り可能な記録媒体。