JP2013172311A - 画像処理装置および画像処理方法並びに画像処理プログラム - Google Patents

Abstract

【課題】撮影装置の輝度補正の自動化を実現可能な画像処理装置および画像処理方法並びに画像処理プログラムを提供する。
【解決手段】撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出する第１抽出部と、第１抽出部で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する検出部とを備える。
【選択図】 図１

Description

本件開示は、撮影装置によって時系列的に取得される複数の画像を処理する画像処理装置および画像処理方法並びに画像処理プログラムに関する。

複数の撮影装置をそれぞれ異なる場所に設置することにより、広い範囲についての監視を実現する監視システムのために、これらの撮影装置間で色補正を行う技術が提案されている(特許文献１参照)。

例えば、特許文献１には、色および輝度が既知のカラーチャートを個々の撮影装置によって撮影することで得られた画像に基づいて色補正パラメータを取得する技法において、日照変動などが色補正パラメータに与える影響を補正する技術が記載されている。

特開２００７−１８３８７２号公報

上述した従来技術は、複数の撮影装置によって得られる画像において輝度の同一性を保証するために、カラーチャートなどのような既知の輝度を持つ対象を撮影する必要がある。しかしながら、多数の撮影装置が互いに離れた場所に設置されている場合に、これらの撮影装置の全てに既知の輝度を持つ対象を撮影させる作業は非常に多くの人手を必要としてしまう。

本件開示は、撮影装置の輝度補正の自動化を実現可能な画像処理装置および画像処理方法並びに画像処理プログラムを提供することを目的とする。

一つの観点による画像処理装置は、撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出する第１抽出部と、前記第１抽出部で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する検出部とを備える。

また、別の観点による画像処理方法は、撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出し、前記抽出で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する。

更に別の観点による画像処理プログラムは、撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出し、前記抽出で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する処理をコンピュータに実行させる。

本件開示の画像処理装置および画像処理方法並びに画像処理プログラムによれば、撮影装置の輝度補正の自動化を実現することができる。

画像処理装置の一実施形態を示す図である。 標本画像の抽出を説明する図である。 画像処理装置の別実施形態を示す図である。 背景参照画像の輝度と標本画像の輝度との相関関係を説明する図である。 画像処理装置の別実施形態を示す図である。 人物を表す画像の範囲と標本画像との関係を示す図である。 背景参照画像を抽出する領域の特定を説明する図である。 画像処理装置のハードウェア構成例を示す図である。 白色基準値を得る処理のフローチャートの一例を示す図である。 白色基準値を得る処理のフローチャートの別例を示す図である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図１は、画像処理装置の一実施形態を示している。図１において、画像処理装置１０は、個々の撮影装置１に対応して配置されている。この画像処理装置１０は、対応する撮影装置１で得られる画像における白色の基準を示す情報を生成し、生成した情報を色補正装置２に渡す。なお、画像処理装置１０は、撮影装置1に対応して設ければよいので、撮影装置1が1台であれば、画像処理装置１０も1つでよい。

図１に例示した画像処理装置１０は、第１抽出部１１と検出部１２とを含んでいる。この第１抽出部１１は、対応する撮影装置１によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像それぞれを当該服装の色を示す標本画像として抽出する。また、検出部１２は、第１抽出部１１で得られた複数の標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像の色を表す情報を、この撮影装置１で得られる画像における白色の基準を示す情報として出力する。

第１抽出部１１は、例えば、撮影装置１によって取得された各撮影画像に含まれる人物を表す画像それぞれから、当該人物の上半身に相当する部分の画像を、標本画像として抽出してもよい。

図２は、標本画像の抽出を説明する図である。なお、図２において、符号Ｐ１，Ｐｊ，Ｐｋは、それぞれ撮影装置１によって時系列的に取得された複数枚の撮影画像に含まれる個々の撮影画像の例を示す。また、図２において符号tを付した矢印は、時間の経過を示している。

図２に例示した撮影画像Ｐ１，Ｐｊ，Ｐｋは、それぞれ人物の像Ｃｉ，Ｃｊ，Ｃｋを含んでいる。図１に例示した第１抽出部１１は、例えば、図２に示した撮影画像Ｐ１，Ｐｊ，Ｐｋからそれぞれに含まれる人物の像Ｃｉ，Ｃｊ，Ｃｋを抽出する。そして、第１抽出部１１は、抽出した人物の像Ｃｉ，Ｃｊ，Ｃｋのうち、人物の上半身に対応する部分を抽出することにより、これらの人物の服装を表す部分に対応する標本画像Ｓｉ，Ｓｊ，Ｓｋをそれぞれ抽出する。

ここで、図１に示した各撮影装置１が、例えば、ショッピングセンターや企業のオフィスなどのように、人の出入りの多い場所に設置されている場合には、多数の人物が各撮影装置１の視野を通過する。そして、各撮影装置１の視野を通過する多数の人物の中には、高い確度で服装の色が白色である人物が含まれている。例えば、数時間から数日に亘る期間を考えれば、各撮影装置１によってこの期間内に取得された撮影画像の中に、服装の色が白色である人物の像が含まれている確率は非常に高い。

したがって、上述したようにして、第１抽出部１１が抽出した多数の標本画像の中で最大輝度を有する標本画像は、服装の色が白色である人物の像から抽出した標本画像である可能性は非常に高い。つまり、検出部１２によって最大輝度を有する標本画像として検出される標本画像の色は、高い確度で白色である。したがって、検出部１２によって最大輝度を有する標本画像として検出された標本画像の色を示す情報により、撮影装置１で得られる撮影画像における白色の基準を示すことができる。例えば、検出部１２によって検出された標本画像の平均輝度値を、撮影装置１で得られる撮影画像における白色の基準を示す白色基準値とすることができる。

このように、本件開示の画像処理装置１０は、対応する撮影装置１で時系列的に取得される撮影画像に服装の色が白色である人物の像が含まれる可能性の高さを利用して、当該撮影装置１で得られる撮影画像における白色の基準を示す白色基準値を取得する。つまり、本件開示の画像処理装置１０は、対応する撮影装置１によってカラーチャートなどの特定の対象を撮影した画像を収集する必要がない。したがって、本件開示の画像処理装置１０は、撮影装置１で得られる撮影画像における白色の基準を示す白色基準値を取得するための画像処理を自動的に行うことができる。同様に、図１に例示した各撮影装置１に対応する画像処理装置１０により、個々の撮影装置１に対応する白色基準値を自動的に得ることができる。

そして、図１に例示した色補正装置２は、このようにして各撮影装置１に対応して得られた白色基準値に基づいて、各撮影装置１からそれぞれ得られる撮影画像の輝度補正を行う。これにより、各撮影装置１によって既知の輝度を持つ対象を撮影した際に得られる撮影画像に基づいて、当該撮影装置１で得られる撮影画像の輝度補正を行った場合と同等の輝度補正を実現することができる。

このように、本件開示の画像処理装置１０によれば、色補正装置２が、個々の撮影装置１で得られた撮影画像に対して適用する輝度補正処理の基準となる白色基準値を取得する処理を自動化することができる。つまり、本件開示の画像処理装置１０によれば、互いに離れた場所に設置された複数の撮影装置１それぞれについての輝度補正の自動化を実現することができる。

各画像処理装置１０によって生成された白色基準値に基づいて、色補正装置２は、以降に、各撮影装置１によって得られる撮影画像についての輝度補正を行い、輝度補正後の撮影画像を画像蓄積装置３に蓄積する。このようにして、画像蓄積装置３に蓄積された撮影画像では、少なくとも、白色は同一の輝度で表される。したがって、異なる撮影装置１から得られた撮影画像にそれぞれ含まれる人物の服装を表す部分の画像の色に基づいて、それぞれの被写体となった人物の服装の色が同一か否かを判定することが可能となる。これにより、例えば、建物の各フロアにそれぞれ設置された複数の撮影装置１によって得られた撮影画像から服装の色が同一である人物の像を抽出することが可能となる。

例えば、建物のフロアを跨いで移動する人物を追跡するシステムなどでは、人物の服装の色は追跡対象の人物を絞り込む上で重要な手がかりとなる。したがって、本件開示の画像処理装置１０は、上述したような画像に基づく追跡システムを実現する上で有用である。

ところで、各撮影装置１の設置場所の明るさは、時間的に変化する可能性がある。そこで、各撮影装置１が設置された設置場所における明るさの変動を考慮しながら、当該撮影装置１に対応する白色基準値を取得する方法について説明する。

図３は、画像処理装置の別実施形態を示している。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図３に例示した検出部１２は、第２抽出部１２１と、正規化部１２２と、特定部１２３とを含んでいる。第２抽出部１２１は、撮影装置１によって時系列的に取得された複数枚の画像から、後述する背景に含まれる領域の画像を背景参照画像としてそれぞれ抽出する。正規化部１２２は、第２抽出部１２１で得られた背景参照画像の平均輝度に基づいて、第１抽出部１１で得られる各標本画像の輝度を正規化することにより、標本画像の輝度に現れる撮影装置１の設置場所の明るさの変動による影響を補正する。特定部１２３は、正規化された各標本画像の輝度の最大値を、撮影装置１で得られる画像において白色を示す最大輝度として特定する。

ここで、撮影装置１によって得られる各撮影画像は、人物などの移動する被写体を含む前景と、壁や天井のように、移動する被写体の像の軌跡が通らないために、移動する被写体の像を含まない領域に対応する背景とを含んでいる。この背景は、撮影装置１の視野において、人物を含む被写体が移動する際に、この被写体の移動に伴う像の軌跡が通らない領域であり、被写体が移動しても画像に変化が現れない領域である。

そして、撮影装置１の設置場所における明るさの変化は、撮影装置１の視野に含まれる前景の明るさにも、背景の明るさにも同様に反映される。つまり、撮影装置１の設置場所における明るさの変化に伴って、前景に含まれる人物などの像から抽出された標本画像の輝度が変化する場合には、上述した第２抽出部１２１によって背景部分から抽出される背景参照画像にも、同等の輝度の変化が現れる。

したがって、第２抽出部１２１によって各撮影画像から抽出される背景参照画像の平均輝度の変動と、撮影装置１の設置場所における明るさの変化による標本画像の輝度の変動との間には強い相関関係がある。

図４は、背景参照画像の輝度と標本画像の輝度との相関関係を説明する図である。なお、図４において、符号Ｐ１，Ｐ２は、同一の撮影装置１によって別の時刻に撮影された撮影画像を示している。

図４(Ａ)に示した撮影画像Ｐ１は、撮影装置１の設置場所の照明が暗い状態となっているときに得られた撮影画像の一例である。この撮影画像Ｐ１は、人物Ｃ１の画像を含んでいる。また、図４(Ａ)に示した符号Ｓ１は、この人物Ｃ１の画像から抽出された標本画像の例である。また、符号Ｂ１は、撮影画像Ｐ１から抽出された背景参照画像の例である。

一方、図４(Ｂ)に示した撮影画像Ｐ２は、撮影装置１の設置場所の照明が明るい状態となっているときに得られた撮影画像の一例である。この撮影画像Ｐ２は、人物Ｃ２の画像を含んでいる。また、図４(Ｂ)に示した符号Ｓ２は、この人物Ｃ２の画像から抽出された標本画像の例である。そして、図４(Ｂ)に示した符号Ｂ２は、この撮影画像Ｐ２から抽出された背景参照画像の例である。

これらの背景参照画像Ｂ１，Ｂ２は、いずれも、対応する撮影画像Ｐ１，Ｐ２の視野内の背景を表す画像領域に含まれる同一の位置および大きさの部分である。例えば、背景参照画像Ｂ１，Ｂ２は、撮影画像Ｐ１，Ｐ２に含まれる天井を表す画像の一部である。

図４(Ａ)に示した標本画像Ｓ１と、図４(Ｂ)に示した標本画像Ｓ２とをそのまま比較すると、標本画像Ｓ２のほうが明るい色として撮影されていることが分かる。しかし、撮影画像Ｐ１および撮影画像Ｐ２にそれぞれ含まれる背景参照画像Ｂ１，Ｂ２の輝度を比べると、撮影画像Ｐ１が取得されたときに比べて、撮影画像Ｐ２が取得されたときの方が、撮影装置１の設置場所の照明が明るいことが分かる。

このような場合に、例えば、撮影画像Ｐ２に含まれる背景参照画像Ｂ２の明るさを基準にして、撮影画像Ｐ１の明るさを正規化することにより、標本画像Ｓ１，Ｓ２の輝度を互いに比較することができる。

図４(Ｃ)は、図４(Ａ)に示した撮影画像Ｐ１の背景参照画像Ｂ１の明るさを、上述した背景参照画像Ｂ２の明るさと一致させるように正規化することで得られた画像Ｐ１’を示している。図４(Ｂ)に示した標本画像Ｓ２と、図４(Ｃ)に示した正規化後の標本画像Ｓ１とを比較すれば、人物Ｃ２の服装よりも、人物Ｃ１の服装のほうが白色に近いことが分かる。つまり、このような正規化を行うことにより、撮影装置１が各撮影画像を取得した際の周囲の明るさにかかわらず、被写体となった人物の服装の色を忠実に示す標本画像を得ることができる。

例えば、図３に例示した正規化部１２２は、まず、第２抽出部１２１が各撮影画像から抽出した背景参照画像についてそれぞれ平均輝度を算出する。次いで、正規化部１２２は、この平均輝度と所定の参照値との比を、撮影装置１の設置場所における明るさの変動を示す係数として算出する。このようにして各撮影画像に対応して算出した係数を、正規化部１２２は、当該撮影画像から第１抽出部１１によって抽出された標本画像に含まれる各画素の輝度値に乗じることにより、標本画像の明るさを正規化することができる。なお、上述した参照値は、例えば、撮影装置１を設置した際などに最初に得られた撮影画像における背景部分の輝度値でもよいし、また、背景部分の明るさの時間的な変動範囲の中央値に相当する輝度値でもよい。

正規化部１２２は、例えば、各撮影画像に対応する背景参照画像の平均輝度に基づいて求めた係数ｋと、当該撮影画像から抽出された個々の標本画像の平均輝度Ｙとを用いて、式(１)のように表される正規化された平均輝度Ｙｎを算出してもよい。
Ｙｎ＝ｋ×Ｙ ・・・(１)
このようにして各標本画像について得られた正規化後の平均輝度は、個々の撮影画像が取得された際の周囲の明るさにかかわらず、被写体となった人物の服装の色を忠実に示している。したがって、特定部１２３により、正規化された標本画像の平均輝度の最大値を特定することにより、撮影装置１によって得られる撮影画像において、白色を示す輝度を特定することができる。

したがって、図３に例示した検出部１２を有する画像処理装置１０によれば、撮影装置１の撮影範囲の明るさに変動がある場合にも、高い精度で、撮影装置１によって取得される撮影画像において白色を示す白色基準値を得ることができる。

図５は、画像処理装置の別実施形態を示している。なお、図５に示した構成要素のうち、図１又は図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５に例示した画像処理装置１０は、後述する領域判別装置３によって得られる情報を、検出部１２の処理に利用する。

図５に例示した第１抽出部１１は、移動体検出部１１１と、領域抽出部１１２とを含んでいる。移動体検出部１１１は、撮影装置１で取得された各撮影画像から人物を表す画像を検出する。領域抽出部１１２は、移動体検出部１１１による検出結果に基づいて、撮影装置１で取得された各撮影画像から、人物の服装を表す部分に相当する標本画像を抽出する。

移動体検出部１１１は、例えば、移動体が含まれない背景画像を予め用意しておき、各撮影画像とこの背景画像との差分を求めることにより、移動する物体を表す部分を検出してもよい。このような背景画像との差分に基づいて移動する物体を検出する手法として、移動体検出部１１１は、例えば、下記の文献１に開示された技法を利用することができる。
文献１：佐藤雄隆, 金子俊一, 丹羽義典, 山本和彦:“Radial Reach Filter(RRF)によるロバストな物体検出”, 信学論(D-II), Vol. J86-D-II No.5,pp 616-624, 2003.
なお、この手法を適用する場合に、移動体検出部１１１は、移動体を表す部分として検出した範囲の大きさおよび形状に基づいて、当該移動体が人物であるか否かを判断することが望ましい。そして、移動体が人物であると判断した場合に、移動体検出部１１１は、当該人物に対応する画像の範囲を示す情報を領域抽出部１１２に渡す処理を行うことが望ましい。

移動体検出部１１１は、各撮影画像から検出した移動体の画像が人物を表すか否かを、人の輪郭が有する特徴に基づいて判断してもよい。移動体検出部１１１は、この判断処理に、例えば、下記の文献２に開示された技法を利用することができる。
文献２：山内悠嗣, 山下隆義, 藤吉弘亘“Boostingに基づく特徴量の共起表現による人検出”, 信学論D, Vol. J92-D, No. 8, pp. 1125-1134, 2009.
また、領域抽出部１１２は、移動体検出部１１１によって検出された人物を表す画像の範囲を示す領域のうち、当該人物の上半身に対応する領域の画像を標本画像として抽出してもよい。標本画像の抽出を行う際に、領域抽出部１１２は、例えば、人物を表す画像の範囲の大きさで示される人物の身長と、当該人物の上半身の位置との関係を利用して、上述した範囲に含まれる標本画像の位置を推定してもよい。

図６は、人物を表す画像の範囲と標本画像との関係を示している。図６において、符号Ｒ１は、上述した移動体検出部１１１が、撮影画像Ｐ１において検出した人物を表す画像の範囲の例である。また、図６において、符号Ｓ１は、この範囲Ｒ１に基づいて、領域特定部１１２が特定した標本画像の範囲の例である。また、図６に示した矢印は、人物を表す画像の範囲Ｒ１の下側の境界を基準とした高さを示している。

図５に例示した領域抽出部１１２は、例えば、図６に示した人物を表す画像の範囲Ｒ１の高さＨに基づいて、この画像において、人物の上半身に対応する画像が分布する範囲の上限を示す高さＨｕと下限を示す高さＨｄとをそれぞれ求める。そして、領域抽出部１１２は、上述した高さＨｕと高さＨｄとの間に含まれる範囲Ｒ１内の画素と同様の特徴を持つ画像の範囲を、上述した人物の服装の色を示す標本画像として抽出してもよい。このようにして領域を抽出する手法として、領域抽出部１１２は、例えば、下記の文献３に開示された技法を利用することができる。
文献３：永橋知行, 藤吉弘亘, 金出武雄“平滑化処理の繰返しによるグラフカットを用いた画像セグメンテーション”,情報処理学会論文誌CVIM, Vol. 1, No. 2, pp. 10-20, 2008.
なお、人物の上半身に相当する画像の範囲の上限を示す高さＨｕおよび下限を示す高さＨｄは、例えば、上述した画像の範囲Ｒ１の撮影画像における位置に基づいて高い精度で推定することができる。撮影画像における位置に基づく３次元における被写体の位置の推定に、領域抽出部１１２は、例えば、下記の文献４に開示された技法を利用することができる。
文献４：早坂光晴,富永英義,小宮一三:“逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡”,PRMU2001-132,pp.133-138,Nov,2001.
例えば、領域抽出部１１２は、上述した技法を用いることにより、撮影画像における上述した範囲Ｒ１の位置に基づいて、被写体となった人物の３次元空間における身長ｈおよび頭頂部の位置などを推定する。この推定結果に基づいて、領域抽出部１１２は、３次元空間におけるこの人物の上半身に相当する範囲に対応する画像上の範囲を推定すればよい。領域抽出部１１２は、このような推定処理を行う際に上半身に相当する範囲として、例えば、頭頂部からｈ×１／８〜ｈ×４／８の範囲などを設定することが望ましい。

このようにして、図５に例示した移動体検出部１１１および領域抽出部１１２を含む第１抽出部１１によれば、各撮影画像に含まれる人物を表す画像それぞれについて、当該人物の服装を表す標本画像を漏れなく、しかも高い精度で抽出することができる。

また、図５に例示した第２抽出部１２１は、抽出処理部１２４と、領域情報保持部１２５とを含んでいる。領域情報保持部１２５は、撮影装置１で得られる撮影画像において、背景参照画像として抽出すべき範囲が占める位置を示す情報を保持している。そして、抽出処理部１２４は、この領域情報保持部１２５に保持された情報に基づいて、各撮影画像から背景参照画像を抽出する。

領域判別装置３は、例えば、画像処理装置１０が白色基準値を得るための処理を開始する前に、次に説明するようにして、撮影装置１の視野において人物を含む被写体の移動の軌跡と重ならない領域を示す情報を生成する。また、この領域判別装置３は、生成した情報を、背景参照領域を示す情報として、上述した領域情報保持部１２５に保持する。

図７は、背景参照画像を抽出する領域の特定を説明する図である。図７において、符号Ｐ１，Ｐ２，…，Ｐｎは、画像処理装置１０が白色基準値を得るための処理を開始する前に、撮影装置１によって時系列的に撮影されたｎ枚の撮影画像を示している。

図７に例示した撮影画像Ｐ１，Ｐ２，…，Ｐｎは、撮影装置１の視野の左端から現れた人物Ｃ１が、撮影装置１の視野の右端まで横切っていく様子を表している。また、撮影画像Ｐ２，…，Ｐｎは、撮影装置１の視野の右端から左端に移動していく別の人物Ｃ２の動きも捉えている。

また、図７において、符号ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎは、上述した撮影画像Ｐ１，Ｐ２，…，Ｐｎと、上述した背景画像との差分としてそれぞれ得られた差分画像を示している。なお、図７に例示した差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎでは、背景画像と一致している部分を網掛けで示し、不一致となった部分を点線で輪郭を囲んだ白抜きの領域として示している。各差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎにおいて、背景画像と不一致となった部分は、上述した撮影画像Ｐ１，Ｐ２，…，Ｐｎに含まれる人物Ｃ１あるいは人物Ｃ２の像に相当している。なお、図７に示した各差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎにおいて、人物Ｃ１の像に対応する差分が検出された領域を符号ＴＲ１で示し、人物Ｃ２の像に対応する差分が検出された領域を符号ＴＲ２で示した。

図５に例示した領域判別装置３は、例えば、まず、撮影装置１から取得した撮影画像Ｐ１，Ｐ２，…，Ｐｎと背景画像とをそれぞれ比較することにより、差分がある画素の画素値を「１」とし、差分が無い画素の画素値を「０」とした差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎを生成する。次いで、領域判別装置３は、これらの差分画像ＳＵＢ１，ＳＵＢ，…、ＳＵＢｎにそれぞれ含まれる画素ごとに画素値の論理和を求めることにより、図７において符号ＣＭＰで示したような合成画像を生成してもよい。

図７に例示した合成画像ＣＭＰにおいて白色で示した部分ＴＲは、上述した差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎの画素値の論理和が「１」となった部分であり、撮影装置１の視野を移動した多数の被写体の像に対応する軌跡を合成した結果を示している。つまり、合成画像ＣＭＰにおいて白色で示した部分ＴＲは、上述した差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎのいずれかにおいて、人物を含む被写体の像の軌跡と重なったために背景画像と不一致となった部分である。一方、合成画像ＣＭＰにおいて網掛けで示した部分ＢＧは、上述した差分画像ＳＵＢ１，ＳＵＢ２，…、ＳＵＢｎの画素値の論理和が「０」となった部分であり、全ての差分画像において背景画像と一致するとされた部分を示している。この部分ＢＧは、撮影画像Ｐ１，Ｐ２，…，Ｐｎのいずれにおいても、撮影装置１の視野内を移動する被写体の像の軌跡が通らなかった部分であり、撮影装置１の視野における被写体の移動に伴う被写体の像の軌跡が全く重ならない背景領域に相当する。

領域判別装置３は、このようにして得られる合成画像に基づいて、全ての差分画像において背景画像と一致するとされた部分ＢＧの内部において、図７において、符号Ｂ１で示すように、背景参照画像として抽出する領域を特定してもよい。領域判別装置３は、背景参照画像として望ましい大きさのテンプレートを用いることにより、背景参照画像Ｂ１の位置を特定してもよい。例えば、領域判別装置３は、上述した合成画像ＣＭＰの中で、上述した部分ＢＧ内の画素がテンプレート内に最も多く含まれるテンプレートの位置を検出し、検出した位置を背景参照画像Ｂ１の位置として特定してもよい。

また、領域判別装置３は、このようにして特定した領域を示す情報を、画像処理装置１０による処理の開始に先立って、領域情報保持部１２５に格納しておけばよい。なお、撮影装置の視野内を移動する被写体の像の軌跡が通らない部分を検出する処理の詳細については、本出願人による特開２０１１−２５９３２４号公報を参照されたい。

このようにして領域情報保持部１２５に保持された情報に基づいて、図５に例示した抽出処理部１２４が抽出処理を行うことにより、撮影装置１の視野内を移動する物体の影響を受けない背景参照画像を高い精度で抽出することができる。これにより、正規化部１２２は、第１抽出部１１によって抽出された標本画像の平均輝度を高い精度で正規化することができる。このようにして正規化された標本画像の平均輝度を比べることにより、特定部１２３は、撮影装置１に対応する白色基準値を高い精度で特定することができる。

以上に説明した本件開示の画像処理装置１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図８は、画像処理装置１０のハードウェア構成の一例を示している。なお、図８に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

コンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ローカルエリアネットワーク(ＬＡＮ：local Area Network)インタフェース２８とを含んでいる。図８に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ＬＡＮインタフェース２８とは、バスを介して互いに接続されている。

上述した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。

コンピュータ装置２０は、ＬＡＮインタフェース２８を介して、ローカルエリアネットワーク(ＬＡＮ)３０に接続されている。また、このＬＡＮ３０には、複数の撮影装置１が接続されている。したがって、コンピュータ装置２０は、ＬＡＮインタフェース２８を介して、これらの撮影装置１によって得られた撮影画像を取得することができる。

図８に例示した入力装置２５は、例えば、キーボードやマウスなどである。画像処理装置１０の操作者は、入力装置２５を操作することにより、画像処理装置１０に対して、例えば、各撮影装置１に対応する白色基準値を得るための画像処理を開始させる旨の指示などを入力することができる。

図８に例示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した白色基準値を得るための画像処理を実行するための画像処理プログラムを格納している。なお、上述した画像処理プログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、画像処理プログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して画像処理プログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。

そして、プロセッサ２１は、メモリ２２およびハードディスク装置２３に格納された画像処理プログラムを実行することにより、図１に例示した第一抽出部１１、検出部１２の機能を果たす。また、プロセッサ２１が、上述した画像処理プログラムを実行する過程で得られた情報は、メモリ２２あるいはハードディスク装置２３内に保持される。つまり、上述したコンピュータ装置２０に含まれるプロセッサ２１と、メモリ２２と、ハードディスク装置２３との協働によって、本件開示の画像処理装置１０を実現することができる。

また、プロセッサ２１は、メモリ２２およびハードディスク装置２３と、ＬＡＮインタフェース２８と協働することにより、ＬＡＮ３０を介して接続された各撮影装置１に対応する画像処理装置１０としての機能を果たすこともできる。

この場合に、図８に例示したように、ハードディスク装置２３は、基準情報テーブル３１を含んでもよい。そして、プロセッサ２１は、各撮影装置１に対応して取得した白色基準値を、例えば、個々の撮影装置１を示す装置ＩＤ(IDentifier)に対応してこの基準情報テーブル３１に保持することにより、これらの白色基準値を出力してもよい。

また、ハードディスク装置２３は、各撮影装置１に対応して背景参照画像の位置を示す情報を保持する領域情報テーブル３２を含んでもよい。このような領域情報テーブル３２をハードディスク装置２３内に設けることは、図５に例示した領域情報保持部１２５を実現する手法の一例である。

上述した画像処理プログラムは、撮影装置１で時系列的に取得される撮影画像から標本画像を抽出する処理をプロセッサ２１に実行させるためのアプリケーションプログラムを含んでいる。また、この画像処理プログラムは、最大の輝度を持つ標本画像を検出する処理をプロセッサ２１に実行させるためのアプリケーションプログラムを含んでいる。したがって、プロセッサ２１が、この画像処理プログラムを実行することにより、本件開示の画像処理方法に従って、各撮影装置１から得られる撮影画像に基づいて、各撮影装置１対応の白色基準値を取得する画像処理を実行することができる。

プロセッサ２１は、標本画像を抽出する処理の完了後に、最大の輝度を持つ標本画像を検出する処理を実行してもよいし、標本画像を抽出する処理を実行する過程で、最大の輝度を持つ標本画像を検出する処理の一部を並行して実行してもよい。

まず、プロセッサ２１が、複数の撮影装置１から選択した処理対象の撮影装置によって得られる撮影画像から標本画像を抽出する処理の完了後に、最大の輝度を持つ標本画像を検出する処理を実行する場合について説明する。

図９は、白色基準値を得る処理のフローチャートの一例を示している。図９に示したステップＳ３００〜ステップＳ３０５の各処理は、画像処理プログラムに含まれる処理の一例である。また、これらのステップＳ３００〜ステップＳ３０５の各処理は、プロセッサ２１によって実行される。

まず、プロセッサ２１は、ＬＡＮインタフェース２８を介して撮影装置１から撮影画像を取得するとともに、取得済みの撮影画像の枚数を示す取得画像数ｎｕｍに数値「１」を加算する(ステップＳ３０１)。プロセッサ２１は、例えば、数十ミリ秒〜数秒程度の所定の時間ごとに撮影装置１で得られる撮影画像を取得してもよい。なお、プロセッサ２１は、白色基準値を得る処理の開始に先立って、取得画像数ｎｕｍに初期値「０」を設定しておくことが望ましい。

次いで、プロセッサ２１は、図６を用いて説明したようにして、取得した撮影画像から標本画像を抽出する(ステップＳ３０２)。撮影画像に複数の人物の像が含まれていた場合に、プロセッサ２１は、このステップＳ３０２の処理において、これらの人物の像それぞれに含まれる服装部分の画像を標本画像として抽出する。

その後、プロセッサ２１は、取得画像数ｎｕｍが所定数Ｎに到達したか否かを判定する(ステップＳ３０３)。この所定数Ｎは、例えば、数時間から数日に亘る期間において、上述したステップＳ３０１で取得する撮影画像の枚数に基づいて予め設定しておくことができる。なお、この所定数Ｎの値は、各撮影装置１の設置場所において、服装の色が白色である人物が現れる確率などに基づいて、撮影装置１それぞれについて予め設定しておいてもよい。例えば、オフィスなどのように、白色の衣服を着た人物が比較的多い場所に設置された撮影装置１に対応する所定数Ｎには、屋外に設置された撮影装置１に対応する所定数Ｎよりも小さい値を設定してもよい。

取得画像数ｎｕｍが所定数Ｎ未満である場合に、プロセッサ２１は、ステップＳ３０３の否定判定ルートに従ってステップＳ３０１の処理に戻り、ステップＳ３０１〜ステップＳ３０３の処理を繰り返す。このように、プロセッサ２１が、ステップＳ３０１〜ステップＳ３０３の処理を繰り返すことにより、図１に例示した第１抽出部１１の機能を果たすことができる。

そして、取得画像数ｎｕｍが所定数Ｎに到達したときに、プロセッサ２１は、ステップＳ３０３の肯定判定ルートに従ってステップＳ３０４の処理に進む。このステップＳ３０４において、プロセッサ２１は、上述したステップＳ３０１〜ステップＳ３０３の処理によって各撮影画像から抽出した標本画像の中から、例えば、最大の輝度を持つ標本画像を検出する。このステップＳ３０４において、プロセッサ２１は、例えば、標本画像それぞれについて平均輝度Ｙを求め、これらの平均輝度Ｙにおける最大値を特定することにより、最大の輝度を持つ標本画像を検出してもよい。

次いで、プロセッサ２１は、ステップＳ３０４で検出した標本画像に基づいて、撮影装置１で得られる撮影画像における白色を示す白色基準値Ｙｓを特定し、この白色基準値Ｙｓを出力する(ステップＳ３０５)。ステップＳ３０５において、プロセッサ２１は、例えば、ステップＳ３０４の処理において、各標本画像について得られた平均輝度Ｙの最大値を、当該撮影装置１に対応する白色基準値Ｙｓとしてもよい。また、プロセッサ２１は、このようにして得られた白色基準値Ｙｓを、ハードディスク装置２３に設けられた基準情報テーブル３１に、撮影装置１を示す装置ＩＤに対応して格納する。このように、プロセッサ２１が、ステップＳ３０４およびステップＳ３０５の処理を実行することにより、図１に例示した検出部１２の機能を実現することができる。

また、プロセッサ２１は、ＬＡＮ３０に接続された各撮影装置１について、上述したステップＳ３０１〜ステップＳ３０５の処理を並行して実行してもよい。そして、各撮影装置１に対応する処理によって得られる白色基準値を、ハードディスク装置２３内の基準情報テーブル３１に格納してもよい。

このようにして基準情報テーブル３１に格納された白色基準値を図１に例示した色補正装置２に渡すことにより、色補正装置２は、各撮影装置１で得られる撮影画像について、それぞれに対応する白色基準値に基づく色補正処理を実行することが可能となる。

次に、プロセッサ２１が、複数の撮影装置１から選択した処理対象の撮影装置によって得られる撮影画像から標本画像を抽出する処理を実行する過程で、最大の輝度を持つ標本画像を検出する処理の一部を並行して実行する手法について説明する。

図１０は、白色基準値を得る処理のフローチャートの別例を示している。なお、図１０に示したステップのうち、図９に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。

図１０に示したステップＳ３００〜ステップＳ３０５およびステップＳ３１１〜ステップＳ３１７の各処理は、画像処理プログラムに含まれる処理の一例である。また、これらの各処理は、プロセッサ２１によって実行される。

プロセッサ２１は、まず、ハードディスク装置２３に設けられた領域情報テーブル３２を参照することにより、処理対象の撮影装置１に対応する背景参照画像の位置を示す情報を取得する(ステップＳ３１１)。また、プロセッサ２１は、このステップＳ３１１の処理において、例えば、白色基準値Ｙｓに初期値「０」を設定してもよい。

次いで、プロセッサ２１は、上述したステップＳ３０１の処理を実行することにより、撮影装置１で得られた撮影画像を取得し、次いで、この撮影画像から背景参照画像を抽出する(ステップＳ３１２)。プロセッサ２１は、例えば、上述したステップＳ３１１で取得した背景参照画像の位置を示す情報に基づいて、撮影画像から上述したテンプレートに相当する大きさを持つ画像を切り出すことにより、各撮影画像に対応する背景参照画像を抽出することができる。このように、プロセッサ２１が、ステップＳ３１２の処理を実行することにより、図３に例示した第２抽出部１２１の機能を実現することができる。ステップＳ３１２で抽出した背景参照画像に含まれる各画素の輝度値に基づいて、プロセッサ２１は、この背景参照画像の平均輝度に基づいて、図４を用いて説明したようにして正規化処理のための係数ｋを算出する(ステップＳ３１３)。

次に、プロセッサ２１は、ステップＳ３０２の処理を実行することにより、撮影画像に含まれる標本画像を抽出する。次いで、プロセッサ２１は、ステップＳ３０２の処理で抽出した標本画像の一つを選択し、選択した標本画像に含まれる各画素の輝度値に基づいて、当該標本画像の平均輝度を算出する(ステップＳ３１４)。例えば、プロセッサ２１は、撮影画像に含まれる人物の像のそれぞれに対応して標本画像を抽出するごとに、抽出した標本画像の平均輝度Ｙを算出してもよい。また、更に、プロセッサ２１は、ステップＳ３１４で算出した標本画像の平均輝度Ｙを、上述した係数ｋを用いて正規化する(ステップＳ３１５)。ステップＳ３１５において、プロセッサ２１は、例えば、上述した式(１)を用いることにより、各標本画像について得られた平均輝度Ｙに対応する正規化された平均輝度Ｙｎを求めてもよい。

このように、プロセッサ２１は、各撮影画像から標本画像を抽出する処理が行われる過程と並行して、ステップＳ３１４およびステップＳ３１５の処理を実行する。これにより、図３に例示した第１抽出部１１による標本画像の抽出処理が行われる過程と並行して、正規化部１２２による個々の標本画像を正規化する機能を実現するための処理を実行することができる。

また、このようにして各標本画像の平均輝度Ｙを正規化するごとに、プロセッサ２１は、正規化した標本画像の平均輝度Ｙｎと白色基準値Ｙｓとの比較を行う(ステップＳ３１６)。 そして、正規化された標本画像の平均輝度Ｙｎが白色基準値Ｙｓよりも大きいと判定した場合に(ステップＳ３１６の肯定判定)、プロセッサ２１は、白色基準値Ｙｓを正規化された標本画像の平均輝度Ｙｎによって更新する(ステップＳ３１７)。一方、正規化された標本画像の平均輝度Ｙｎが白色基準値Ｙｓ以下であると判定した場合に(ステップＳ３１６の否定判定)、プロセッサ２１は、ステップＳ３１７の処理をスキップする。この場合に、白色基準値Ｙｓの値は、それまでに設定された値を維持する。

その後、プロセッサ２１は、ステップＳ３０２において抽出された全ての標本画像について、ステップＳ３１４〜ステップＳ３１７の処理を実行したか否かを判定する（ステップＳ３１８）。未処理の標本画像がある場合に、プロセッサ２１は、ステップＳ３１８のひて判定ルートに従って、ステップＳ３１４の処理に戻る。そして、未処理の標本画像について、ステップＳ３１４〜ステップＳ３１７の処理を繰り返す。

このようにして、ステップＳ３０１で取得した撮影画像から抽出された全ての標本画像についての処理が終了したときに、プロセッサ２１は、ステップＳ３１８の肯定判定ルートに従ってステップＳ３０３の処理に進む。

ステップＳ３０３の否定判定ルートにおいて、プロセッサ２１は、ステップＳ３０１の処理で新たに取得した撮影画像について、ステップＳ３１２〜ステップＳ３１８の処理を繰り返す。そして、取得画像数ｎｕｍが所定数Ｎに到達したときに(ステップＳ３０３の肯定判定)、プロセッサ２１は、ステップＳ３０５の処理に進む。このステップＳ３０５の処理において、プロセッサ２１は、各標本画像についてステップＳ３１４〜ステップＳ３１７の処理を繰り返す過程において得られた白色基準値Ｙｓを、処理対象の撮影装置１に対応する白色基準値として出力する。

このように、プロセッサ２１が、各撮影画像から標本画像を抽出する処理を実行する過程で、ステップＳ３１６およびステップＳ３１７の処理を実行することにより、図３に例示した特定部１２３の機能を実現してもよい。

このようにして、処理対象の撮影装置１からの撮影画像の取得および各撮影画像からの標本画像の抽出処理の完了とほぼ同時に、撮影装置１に対応する白色基準値を特定する処理を完了させることができる。

また、プロセッサ２１は、ＬＡＮ３０に接続された各撮影装置１からそれぞれ得られる撮影画像についての上述した処理を並列に実行してもよい。これにより、多数の撮影装置１がＬＡＮ３０に接続されている場合においても、各撮影装置１に対応する白色基準値を短い時間で取得することができる。

以上に説明した本件開示の画像処理装置１０において、検出部１２は、撮影装置１で得られた各撮影画像から抽出した標本画像の平均輝度以外の指標に基づいて、最大の輝度を持つ標本画像を検出してもよい。例えば、検出部１２は、標本画像に含まれる各画素の輝度値についてのソート結果から輝度値が高い順に所定数を抜き出し、抜き出した輝度値について得た平均値を、標本画像の平均輝度の代わりに用いることができる。つまり、検出部１２は、標本画像によって表される人物の服装の色の明るさを示す指標であれば、いかなる指標であっても、最大の輝度を持つ標本画像を検出する処理に利用してもよい。

１…撮影装置；２…色補正装置；３…領域判別装置；１０…画像処理装置；１１…第１抽出部；１２…検出部；１１１…移動体検出部；１１２…領域抽出部；１２１…第２抽出部；１２２…正規化部；１２３…特定部；１２４…抽出処理部；１２５…領域情報保持部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ローカルエリアネットワーク(ＬＡＮ)インタフェース；３０…ローカルエリアネットワーク(ＬＡＮ)；３１…基準情報テーブル；３２…領域情報テーブル

Claims (4)

1. 撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出する第１抽出部と、
   前記第１抽出部で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する検出部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記検出部は、
   前記複数の画像から、前記撮影装置の視野内を移動する人物を含む被写体の像の軌跡が通らない領域の画像を背景参照画像としてそれぞれ抽出する第２抽出部と、
   前記第２抽出部で得られた背景参照画像の平均輝度に基づいて、前記第１抽出部で得られる各標本画像の輝度を正規化する正規化部と、
   正規化された前記各標本画像の輝度の最大値を、前記撮影装置で得られる画像における白色の輝度を示す白色基準値として特定する特定部とを有する
   ことを特徴とする画像処理装置。
3. 撮影装置によって時系列的に取得された複数枚の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出し、
   前記抽出で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する
   ことを特徴とする画像処理方法。
4. 撮影装置によって時系列的に取得された複数の画像から、各画像に含まれる人物の服装を表す部分の画像を当該服装の色を示す標本画像としてそれぞれ抽出し、
   前記抽出で得られた標本画像の中から最大輝度を有する標本画像を検出し、検出した標本画像で示される色を表す情報を、前記撮影装置で得られる画像における白色の基準を示す情報として出力する
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。