JP2010063033A - 物体抽出装置、物体抽出方法および物体抽出プログラム - Google Patents

Abstract

【課題】精度良く物体を抽出することを課題とする。
【解決手段】物体抽出装置は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に表示出力させる色や模様などの変更指示と、表示出力させるタイミングとを表示装置に対して通知し、当該表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示し、撮像装置により撮影され、入力された入力画像と、比較対象となる背景画像などの比較対象画像との二つの画像の同じ位置の画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定して、比較結果を出力する。
【選択図】 図１−１

Description

本発明は、物体抽出装置、物体抽出方法および物体抽出プログラムに関する。

近年、セキュリティの観点から、不審者や不審物などを発見するために、監視カメラを利用して監視することが重要となっている。そして、監視カメラによって撮影された映像を監視する監視員の負担を軽減するために、コンピュータなどによってカメラの映像を画像処理し、不審者や不審物を発見する様々なシステムが開示されている。

例えば、撮影された画像と予め撮影された過去の背景画像とを比較して物体を抽出する技術（特許文献１参照）や、パターン光を照射し、物体が居るときと居ないときとの画像を比較し、パターンの違いから物体を抽出する技術（特許文献２参照）などが開示されている。

特開平１１−３２３２５号公報 特開２００３−２６９９１５号公報

しかしながら、上述したいずれの従来の技術では、精度良く物体を抽出することができないという課題があった。具体的には、特許文献１では、図１７に示すように、物体全体の色が背景色と非常に類似している場合に、物体を抽出することができない。例えば、図１７では、図面下方にある物体の抽出が困難である。なお、図１７は、抽出する物体の色と背景色とが類似している例を説明するための図である。

また、特許文献２では、パターン光の影の影響によって物体をきれいに抽出することができない。さらに、特許文献２では、影に隠れた物体を抽出することができないため、複数の物体抽出に対応できない。

そこで、本発明は、上述した従来技術の課題を解決するためになされたものであり、精度良く物体を抽出することが可能である物体抽出装置、物体抽出方法および物体抽出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願の開示する物体抽出装置は、発光パターンを変化させて表示出力する表示装置の前記表示出力を指示する表示出力指示手段と、前記表示出力指示手段によって指示されて、前記表示装置が前記発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する撮影指示手段と、前記撮影指示手段によって前記撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する画像比較手段と、を有することを要件とする。

本願の開示する物体抽出装置によれば、精度良く物体を抽出することが可能であるという効果を奏する。

以下に添付図面を参照して、本発明に係る物体抽出装置、物体抽出方法および物体抽出プログラムの実施例を詳細に説明する。

［物体抽出装置の概要］
最初に、図１−１および図１−２を用いて、実施例１に係る物体抽出装置の概要を説明する。図１−１は、実施例１に係る物体抽出装置の概要を示す図であり、図１−２は、実施例１に係る物体の抽出を説明するための図である。

本願の開示する物体抽出装置は、例えば、図１−１に示すように、監視する監視カメラであって、監視範囲内の映像を撮影する一つまたは複数の撮像装置と、制御信号によって表示する色や模様などを変化させながら表示出力する一つまたは複数の表示装置に接続されている。

そして、表示装置は、例えば、液晶ディスプレイやＬＥＤ（Light Emitting Diode）発光パネルなどを有し、床に配置されるだけでなく、壁や天井など用途によって配置場所が変えられる。また、同様に、撮像装置は、例えば、天井に配置されるだけでなく、床や壁など用途によって配置場所が変えられる。なお、以下では、表示装置を床に、撮像装置を天井にそれぞれ配置する場合を説明する。

上述したような構成において、物体抽出装置は、発光パターンを変化させて表示出力する表示装置の表示出力を指示する。そして、物体抽出装置は、指示されて、表示装置が発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する。続いて、物体抽出装置は、撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する。

具体的に説明すると、物体抽出装置は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に対して、色や模様などの発光パターンを変化させて表示出力させる指示を行う。なお、発光パターンは、物体抽出装置において予め設定し、ランダムに表示出力させても良いし、物体抽出装置に接続される外部装置から発光パターンを入力させるようにしても良い。

そして、物体抽出装置は、レンズを有し、カメラによって撮影する撮像装置に対して、当該物体抽出装置により指示されて、表示装置が発光パターンを表示出力するタイミングに合わせて撮影させる指示を行う。要するに、表示装置による発光パターンの表示出力と撮像装置による撮影とは、同期して実施されることとなる。

続いて、物体抽出装置は、撮像装置により撮影され、入力される入力画像と、比較対象となる予め撮影された背景画像との二つの画像の同じ位置の画素値の差を算出し、算出された差が一定値以上である場合に、物体があると判定して出力する。また、物体抽出装置は、算出された差が一定値未満である場合に、物体がないと判定して出力する。その後、物体抽出装置は、上記処理を繰り返し実施することにより物体の抽出を行うこととなる。

なお、予め撮影された背景画像とは、物体や人物などがない状態で撮影された画像である。また、算出される画素値は、画素の明るさ度合いを示す輝度値や画素の色の濃さを示す濃淡値、さらには、輝度値と濃淡値との組み合わせなど、画素の特徴を表す値であれば何であっても良く、当該画素値の差が一定値以上である場合には、当該画素の部分に何らかの物体があることとなる（図１−２参照）。

つまり、物体抽出装置は、発光パターンを変化させて表示出力する表示装置と、撮影する撮像装置とを同期させて、表示装置が表示出力したタイミングで撮像装置に撮影させる指示を行い、撮影された入力画像と、予め撮影された背景画像とを比較して、比較結果を出力することができる結果、精度良く物体を抽出することが可能である。

［実施例１に係る物体抽出装置の構成］
次に、図２を用いて、実施例１に係る物体抽出装置の構成を説明する。図２は、実施例１に係る物体抽出装置の構成例を示す図である。

図２に示すように、物体抽出装置１０は、記憶部２０と、制御部３０とを有し、例えば、監視する監視カメラであって、監視範囲内の映像を撮影する一つまたは複数の撮像装置と、制御信号によって表示する色や模様などを変化させながら表示出力する一つまたは複数の表示装置に接続されている。

記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶するとともに、特に、表示制御信号記憶部２１と、背景画像記憶部２２とを有する。

表示制御信号記憶部２１は、発光パターンの色と模様とに対応付けて、表示装置に表示出力させるための制御信号を記憶する。具体的には、表示制御信号記憶部２１は、図３に示すように、表示装置に表示出力させる発光パターンの「設定色」と「設定模様」とに対応付けて、「表示制御信号」を記憶する。例えば、表示制御信号記憶部２１は、図３に示すように、設定色「赤」と設定模様「パターンＡ」とに対応付けて、表示制御信号「００１Ａ」を記憶する。なお、図３は、表示制御信号記憶部２１に記憶される情報の例を示す図である。

背景画像記憶部２２は、発光パターンの色と模様とに対応付けて、予め撮影された画像を示す背景画像を記憶する。具体的には、背景画像記憶部２２は、図４に示すように、表示装置に表示出力された発光パターンの「設定色」と「設定模様」とに対応付けて、「背景画像ファイル」を記憶する。

例えば、背景画像記憶部２２は、図４に示すように、表示装置において、設定色が「赤」および設定模様が「パターンＡ」である時に撮影された背景画像ファイル「ｒｅｄ＿００１．ｂｍｐ」を記憶する。なお、背景画像とは、物体や人物などがない状態において撮影された画像のことであり、当該画像のファイル形式は、上述したｂｍｐ（Bit MaP）形式だけでなく何であっても良い。

また、背景画像記憶部２２に記憶される背景画像は、表示装置のパラメタを設定した状態で撮影された画像でも良いし、カメラの位置、姿勢および映されている背景の情報などから表示装置に出力させる色を変更したシーンを計算することにより作成された画像であっても良い。なお、図４は、背景画像記憶部２２に記憶される情報の例を示す図である。

制御部３０は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に、表示設定指示部３１と、表示制御部３２と、撮影指示部３３と、背景画像読み出し部３４と、入力画像／背景画像比較部３５とを有し、これらによって種々の処理を実行する。

表示設定指示部３１は、発光パターンを変化させて表示出力する表示装置の表示出力を指示する。具体的に例を挙げると、表示設定指示部３１は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に表示出力させる色「赤」や模様「パターンＡ」などの変更指示と、表示出力させるタイミングとを後述する表示制御部３２に通知する。

また、表示設定指示部３１は、表示装置が発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する。具体的に例を挙げると、表示設定指示部３１は、表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示する旨を後述する撮影指示部３３に通知する。

また、表示設定指示部３１によって変更指示される表示装置の色「赤」や模様「パターンＡ」などの情報は、後述する背景画像読み出し部３４に対しても通知する。なお、変更される色や模様などは、決まった順番で随時変更させても良いし、変更する以前の検出結果を用いて色や模様などを選択して変更させても良い。

表示制御部３２は、表示設定指示部３１によって通知された色や模様などの情報に基づいて、表示制御信号記憶部２１に記憶される表示制御信号を取得し、取得された表示制御信号を表示装置に対して通知する。

上述した例で具体的に例を挙げると、表示制御部３２は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、表示制御信号記憶部２１に記憶される表示制御信号「００１Ａ」を取得する。そして、表示制御部３２は、取得された表示制御信号「００１Ａ」を表示装置に対して通知する。

撮影指示部３３は、表示設定指示部３１によって通知された表示装置に発光パターンを表示出力させるタイミングの情報に合わせて、撮像装置に撮影させるように制御する。上述した例で具体的に例を挙げると、撮影指示部３３は、表示設定指示部３１によって通知された表示装置に発光パターンを表示出力させるタイミング（発光パターンを変更して表示出力させるタイミング）と同期させて、撮像装置に撮影させるように制御する。

つまり、表示制御部３２と撮影指示部３３とによって、表示装置の発光パターンの変更（表示出力）とカメラの撮影とを同期させるため、表示装置の発光時間を短くしても、発光させたときの映像を撮影できる。言い換えると、表示装置に発光させる時間を非常に短くすることで、人間の視覚に全く光っていないように感じさせつつ、物体抽出装置１０による物体の抽出処理を行うことができる。

背景画像読み出し部３４は、表示設定指示部３１によって通知された色や模様などの情報に基づいて、背景画像記憶部２２に記憶される背景画像を取得する。上述した例で具体的に例を挙げると、背景画像読み出し部３４は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、背景画像記憶部２２に記憶される背景画像「ｒｅｄ＿００１．ｂｍｐ」を取得する。

入力画像／背景画像比較部３５は、撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する。上述した例で具体的に例を挙げると、入力画像／背景画像比較部３５は、撮像装置により撮影され、入力された入力画像と、背景画像読み出し部３４によって取得された比較対象となる背景画像との二つの画像の同じ位置の画素値の差を算出する。

そして、入力画像／背景画像比較部３５は、算出された画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定して、比較結果をモニタなどの出力装置や接続されるシステムに出力する。なお、入力画像／背景画像比較部３５によって出力される比較結果は、物体や人物などのある／なし（二値情報）、物体の形状および物体の大きさなどである。また、算出される画素値は、１画素ごとだけでなく数画素まとめて算出しても良い。

その後、物体抽出装置１０は、上記処理を繰り返し実施して物体抽出処理の比較結果を出力する。つまり、表示装置に出力させる色や模様などの発光パターンと、物体の色や模様などが類似している場合であっても、上記処理を短い時間で繰り返し実施することにより、必ず物体を抽出することができる。

言い換えると、物体抽出装置１０は、表示装置によって出力される色が「赤」、模様が「パターンＡ」であり、物体の色が類似している色と模様である場合であっても、非常に短い時間で表示装置に出力させる色を変化させて（例えば、次に表示装置に出力させる色を「青」、模様を「パターンＢ」に変化させる）、比較結果を出力することができる結果、精度良く物体を抽出することが可能である。

［実施例１に係る比較結果出力処理］
次に、図５を用いて、実施例１に係る比較結果出力処理の流れを説明する。図５は、実施例１に係る比較結果出力処理の流れを説明するためのフローチャートである。

図５に示すように、例えば、表示設定指示部３１は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に表示出力させる色「赤」や模様「パターンＡ」などの変更指示と、表示出力させるタイミングとを表示制御部３２に通知する（ステップＳ１０１肯定）。

また、表示設定指示部３１は、表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示する旨を撮影指示部３３に通知する。また、表示設定指示部３１は、変更指示する表示装置の色「赤」や模様「パターンＡ」などの情報を背景画像読み出し部３４に対して通知する。

そして、表示制御部３２は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、表示制御信号記憶部２１に記憶される表示制御信号「００１Ａ」を取得して、取得された表示制御信号「００１Ａ」を表示装置に対して通知する（ステップＳ１０２）。

続いて、撮影指示部３３は、表示設定指示部３１によって通知された表示装置に発光パターンを表示出力させるタイミング（発光パターンを変更して表示出力させるタイミング）と同期させて、撮像装置に撮影させるように制御する（ステップＳ１０３）。

その後、背景画像読み出し部３４は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、背景画像記憶部２２に記憶される背景画像「ｒｅｄ＿００１．ｂｍｐ」を取得する（ステップＳ１０４）。

そして、入力画像／背景画像比較部３５は、撮像装置により撮影され、入力された入力画像と、背景画像読み出し部３４によって取得された比較対象となる背景画像との二つの画像の同じ位置の画素値の差を算出する。続いて、入力画像／背景画像比較部３５は、算出された画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定する（ステップＳ１０５）。

その後、入力画像／背景画像比較部３５は、比較結果をモニタなどの出力装置や接続されるシステムに出力する（ステップＳ１０６）。なお、物体抽出装置１０は、上記処理を非常に短い時間で繰り返し実施する。

［実施例１による効果］
上述したように、物体抽出装置１０は、表示装置に表示出力させる色や模様などを非常に短い時間で変化させつつ、当該表示装置に表示出力させるタイミングで撮像装置に撮影させ、撮影された入力画像と予め撮影された比較対象となる背景画像との画素値を比較し、比較結果を出力するので、精度良く物体を抽出することが可能である。

例えば、物体抽出装置１０は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に表示出力させる色「赤」や模様「パターンＡ」などの変更指示と、表示出力させるタイミングとを表示装置に対して通知する。また、物体抽出装置１０は、表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示する。そして、物体抽出装置１０は、撮像装置により撮影され、入力された入力画像と、比較対象となる予め撮影された色が「赤」、模様が「パターンＡ」である背景画像との二つの画像の同じ位置の画素値の差を算出する。その後、物体抽出装置１０は、算出された画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定して、比較結果をモニタなどの出力装置や接続されるシステムに出力する。なお、物体抽出装置１０は、上記処理を非常に短い時間で繰り返し実施する。この結果、物体抽出装置１０は、精度良く物体を抽出することが可能である。

また、物体抽出装置１０は、表示装置に対する発光パターンの表示出力と、撮像装置に対する撮影とを同期させて、表示装置の発光時間を短くして撮影することができる結果、人間の視覚に全く光っていないように感じさせつつ、物体抽出処理を行うことが可能である。要するに、物体抽出装置１０は、不審者などに気付かれることなく物体抽出処理を行うので、高セキュリティを保つことが可能である。

また、物体抽出装置１０は、表示装置と撮像装置とによる処理を非常に短い時間で同期させるので、表示装置に出力させる色や模様などの発光パターンと、物体の色や模様などが類似している場合であっても、必ず物体を抽出することが可能である。

ところで、上記実施例１では、撮像装置により撮影された入力画像と、予め撮像された背景画像とを比較して、比較結果を出力する場合を説明したが、本発明はこれに限定されるものではなく、撮像装置により撮影された入力画像と、当該入力画像よりも前に撮影された過去画像とを比較して、比較結果を出力することもできる。

そこで、以下の実施例２では、図６〜図９を用いて、実施例２に係る物体抽出装置１０による処理について説明する。なお、実施例２に係る物体抽出装置１０の各構成や一部の機能については、実施例１と同様であるためその説明を省略し、特に、実施例１とは異なる過去画像記憶部２３と、閾値設定記憶部２４と、入力画像／過去画像比較部３６とを説明する。

［実施例２に係る物体抽出装置の構成］
最初に、図６を用いて、実施例２に係る物体抽出装置１０の構成を説明する。図６は、実施例２に係る物体抽出装置１０の構成例を示す図である。

図６に示すように、物体抽出装置１０は、記憶部２０と、制御部３０とを有し、例えば、監視する監視カメラであって、監視範囲内の映像を撮影する一つまたは複数の撮像装置と、制御信号によって表示する色や模様などを変化させながら表示出力する一つまたは複数の表示装置に接続されている。

記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶するとともに、特に、表示制御信号記憶部２１と、過去画像記憶部２３と、閾値設定記憶部２４とを有する。

過去画像記憶部２３は、発光パターンの色、模様および撮影された時刻に対応付けて、撮影された画像を示す過去画像を記憶する。具体的には、過去画像記憶部２３は、図７に示すように、表示装置に表示出力された発光パターンの「設定色」、「設定模様」および撮影された時刻「時刻」に対応付けて、撮影された時刻における画像を示す過去画像「画像ファイル」を記憶する。

例えば、過去画像記憶部２３は、図７に示すように、表示装置において、設定色が「赤」、設定模様が「パターンＡ」および撮影された時刻「００：００：００」に対応付けて、撮影された時刻における画像ファイル「０００００１．ｂｍｐ」を記憶する。また、過去画像とは、物体抽出処理において比較するために物体抽出装置１０に入力される入力画像よりも前に、物体や人物などがある状態において撮像装置によって撮影された画像のことであり、当該ファイルの形式は、上述したｂｍｐ形式だけでなく何であっても良い。なお、図７は、過去画像記憶部２３に記憶される情報の例を示す図である。

閾値設定記憶部２４は、画像の色における輝度差を記憶する。具体的には、閾値設定記憶部２４は、図８に示すように、２枚の画像の表示装置における設定色である「入力画像の表示装置の設定色」と、「過去画像の表示装置の設定色」との明るさの度合いの差を示す輝度差の閾値を記憶する。例えば、閾値設定記憶部２４は、図８に示すように、入力画像の表示装置における設定色「青」と、過去画像の表示装置における設定色「赤」との輝度差の閾値「５０」を記憶する。

画像の輝度は、色合いが「白」に近づくにつれて明るくなるために高く、色合いが「黒」に近づくにつれて暗くなるために低くなる。そのため、色が異なる２枚の画像においては、輝度に差が出てくることとなり、閾値設定記憶部２４は、当該色が異なる２枚の画像における輝度の差の最低値（当該輝度の差未満の値はとらない）を記憶する。なお、図８は、閾値設定記憶部２４に記憶される情報の例を示す図である。

制御部３０は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に、表示設定指示部３１と、表示制御部３２と、撮影指示部３３と、入力画像／過去画像比較部３６とを有し、これらによって種々の処理を実行する。

入力画像／過去画像比較部３６は、入力画像と、撮像装置により入力画像よりも前に撮影された比較対象となる過去画像との表示装置による設定色における輝度差が、第三の所定値以上である場合に物体がないと判定し、第三の所定値未満である場合に物体があると判定して出力する。

具体的に例を挙げると、入力画像／過去画像比較部３６は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、過去画像記憶部２３に記憶される過去画像「０００００５．ｂｍｐ」（設定色「白」）を取得する。

そして、入力画像／過去画像比較部３６は、撮像装置により撮影され、入力された入力画像と、取得された比較対象となる過去画像「０００００５．ｂｍｐ」との二つの画像の輝度差を算出する。続いて、入力画像／過去画像比較部３６は、入力画像の表示装置の設定色「赤」と、過去画像の表示装置の設定色「白」とに対応する閾値「１８０」を閾値設定記憶部２４から取得する。

その後、入力画像／過去画像比較部３６は、算出された輝度差が、閾値「１８０」以上である場合に物体がないと判定し、閾値「１８０」未満である場合に物体があると判定して、比較結果をモニタなどの出力装置や接続されるシステムに出力する。なお、入力画像／過去画像比較部３６によって出力される比較結果は、物体や人物などのある／なし（二値情報）、物体の形状および物体の大きさなどである。

また、入力画像／過去画像比較部３６によって取得される過去画像は、表示設定指示部３１によって通知された色や模様などの情報とは異なる色を有する過去画像であれば何であっても良いが、閾値設定記憶部２４に記憶される閾値が高くなる色の組み合わせの方がより精度良く物体や人物などを抽出することができる。例えば、各設定色に対する閾値が高くなるように、設定色「赤」に対しては「白」、設定色「青」に対しては「白」、設定色「黄」に対しては「黒」、設定色「白」に対しては「黒」の過去画像を取得すれば良い（図８参照）。

そして、入力画像／過去画像比較部３６は、撮像装置により撮影され、入力された入力画像を、設定色、設定模様および撮影された時刻に対応付けて、過去画像記憶部２３に格納する。なお、入力画像／過去画像比較部３６によって利用される過去画像は、複数枚数利用することとしても良い。

なお、入力画像／過去画像比較部３６は、上記の閾値を利用した物体抽出処理ではなく、実施例１と同様に、画素値を利用した物体抽出処理を実施することとしても良い。具体的には、入力画像／過去画像比較部３６は、入力画像と、撮像装置により入力画像よりも前に撮影された比較対象となる過去画像との二つの画像の同じ位置の画素値の差が、第二の所定値以上である場合に物体がないと判定し、第二の所定値未満である場合に物体があると判定して出力する。

［実施例２に係る比較結果出力処理］
次に、図９を用いて、実施例２に係る比較結果出力処理の流れを説明する。図９は、実施例２に係る比較結果出力処理の流れを説明するためのフローチャートである。

図９に示すように、例えば、表示設定指示部３１は、液晶ディスプレイやＬＥＤ発光パネルなどを有する表示装置に表示出力させる色「赤」や模様「パターンＡ」などの変更指示と、表示出力させるタイミングとを表示制御部３２に通知する（ステップＳ２０１肯定）。

また、表示設定指示部３１は、表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示する旨を撮像指示部３３に通知する。また、表示設定指示部３１は、変更指示する表示装置の色「赤」や模様「パターンＡ」などの情報を入力画像／過去画像比較部３６に対して通知する。

そして、表示制御部３２は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、表示制御信号記憶部２１に記憶される表示制御信号「００１Ａ」を取得して、取得された表示制御信号「００１Ａ」を表示装置に対して通知する（ステップＳ２０２）。

続いて、撮影指示部３３は、表示設定指示部３１によって通知された表示装置に発光パターンを表示出力させるタイミング（発光パターンを変更して表示出力させるタイミング）と同期させて、撮像装置に撮影させるように制御する（ステップＳ２０３）。

その後、入力画像／過去画像比較部３６は、表示設定指示部３１によって通知された色「赤」や模様「パターンＡ」などの情報に基づいて、過去画像記憶部２３に記憶される過去画像「０００００５．ｂｍｐ」を取得する（ステップＳ２０４）。

そして、入力画像／過去画像比較部３６は、撮像装置により撮影され、入力された入力画像と、取得された比較対象となる過去画像「０００００５．ｂｍｐ」との二つの画像の輝度差を算出する。続いて、入力画像／過去画像比較部３６は、入力画像の表示装置の設定色「赤」と、過去画像の表示装置の設定色「白」とに対応する閾値「１８０」を閾値設定記憶部２４から取得する。

その後、入力画像／過去画像比較部３６は、算出された輝度差が、閾値「１８０」以上である場合に物体がないと判定し、閾値「１８０」未満である場合に物体があると判定する（ステップＳ２０５）。そして、入力画像／過去画像比較部３６は、比較結果をモニタなどの出力装置や接続されるシステムに出力する（ステップＳ２０６）。

続いて、入力画像／過去画像比較部３６は、撮像装置により撮影され、物体抽出装置１０に入力された入力画像を、設定色、設定模様および撮影された時刻に対応付けて、過去画像記憶部２３に格納する（ステップＳ２０７）。

［実施例２による効果］
上述したように、物体抽出装置１０は、表示装置に表示出力させる色や模様などを非常に短い時間で変化させつつ、当該表示装置に表示出力させるタイミングで撮像装置に撮影させ、撮影された入力画像と当該入力画像よりも前に撮影された比較対象となる過去画像との輝度を比較して、比較結果を出力するので、より精度良く物体を抽出することが可能である。

また、物体抽出装置１０は、入力画像と、輝度差が高くなる過去画像とを比較して、比較結果を出力するので、物体抽出処理にかかる時間をより短縮することが可能であるとともに、当該物体抽出装置１０にかかる処理負荷を軽減することが可能である。

ところで、上記実施例１では、撮像装置により撮影された入力画像と、予め撮影された背景画像とを比較して、比較結果を出力する場合を説明したが、本発明はこれに限定されるものではなく、撮像装置により撮影された入力画像と、当該入力画像に基づいて作成される背景画像とを比較して、比較結果を出力することもできる。

そこで、以下の実施例３では、図１０〜図１５を用いて、実施例３に係る物体抽出装置１０による処理について説明する。なお、実施例３に係る物体抽出装置１０の各構成や一部の機能については、実施例１または実施例２と同様であるためその説明を省略し、特に、実施例１または実施例２とは異なる対応表示番号記憶部２５と、表示設定指示部３１と、背景画像作成部３７と、入力画像／背景画像比較部３５と、物体位置検出／追跡部３８とを説明する。

［実施例３に係る物体抽出装置の構成］
最初に、図１０を用いて、実施例３に係る物体抽出装置１０の構成を説明する。図１０は、実施例３に係る物体抽出装置１０の構成例を示す図である。

図１０に示すように、物体抽出装置１０は、記憶部２０と、制御部３０とを有し、例えば、監視する監視カメラであって、監視範囲内の映像を撮影する一つまたは複数の撮像装置と、制御信号によって表示する色や模様などを変化させながら表示出力する一つまたは複数の表示装置に接続されている。

記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶するとともに、特に、表示制御信号記憶部２１と、対応表示番号記憶部２５とを有する。

対応表示番号記憶部２５は、物体抽出装置１０に入力される入力画像における物体の位置と、当該物体の位置に対応する表示装置における位置番号とを対応付けて記憶する。具体的には、対応表示番号記憶部２５は、図１１に示すように、物体抽出装置１０に入力される入力画像における物体の位置座標「Ｘ座標」および「Ｙ座標」と、当該物体の位置座標に対応する色を変更する表示装置における番号「番号」とを対応付けて記憶する。

例えば、対応表示番号記憶部２５は、図１１に示すように、入力画像における物体のＸ座標「０〜２０」およびＹ座標「０〜２０」と、当該物体の位置座標に対応する色を変更する表示装置（床面）における番号「１１」とを対応付けて記憶する。なお、図１１は、対応表示番号記憶部２５に記憶される情報の例を示す図である。

制御部３０は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に、表示設定指示部３１と、表示制御部３２と、撮影指示部３３と、背景画像作成部３７と、入力画像／背景画像比較部３５と、物体位置検出／追跡部３８とを有し、これらによって種々の処理を実行する。

表示設定指示部３１は、後述する物体位置検出／追跡部３８によって検出された物体の位置と色とに基づいて、表示出力させる発光パターンを表示装置に指示する。具体的に例を挙げると、表示設定指示部３１は、物体位置検出／追跡部３８によって検出された物体の位置と色とに基づいて、表示出力させる表示範囲、色および模様の発光パターンを表示装置に指示する。

表示装置に表示出力させる発光パターンは、例えば、図１３に示すように、物体位置検出／追跡部３８から受け取った物体や人物の足元の位置を中心とした一辺１ｍの四角形内の床の模様を変化させる。なお、図１３は、実施例３に係る四角形内の模様を変更する例を説明するための図である。

また、表示装置に表示出力させる発光パターンは、例えば、図１４に示すように、物体位置検出／追跡部３８から全ての物体や人物の位置を受け取り、隣接する２人（２つ）の中間点までを、当該物体や人物の範囲として、内側全てを変化させる。なお、図１４は、実施例３に係る隣接する物体の中間点を利用する例を説明するための図である。

また、変更する色については、例えば、予めそれぞれの物体や人物に対して、床の色を数種類変更して検出処理を行い、当該物体や人物に対して最も検出が容易となる色を探し出し、以降は探し出された色を利用する。また、変更する色については、例えば、床面の色を変更していないときにある一定範囲内の色を調べ、当該一定範囲内に存在していない色を利用することで必ず当該一定範囲内にある人物や物体などとは異なる色を利用する。

表示制御部３２は、上記実施例１に記載した制御信号による表示指示と組み合わせて、さらに、対応表示番号記憶部２５に従って、物体や人物の位置におけるＸ座標とＹ座標とから発光させる床の番号を求めて、求められた番号に対応する床（図１２参照）の色を変更させる。なお、図１２は、表示装置の対応する番号を説明するための図である。

背景画像作成部３７は、表示設定指示部３１によって通知された発光パターンに基づいて、比較対象となる背景画像を作成する。上述した例で具体的に例を挙げると、背景画像作成部３７は、表示設定指示部３１によって通知された色、模様および変更位置の情報に基づいて、表示装置によって表示出力させた場合を計算して背景画像を作成する。

入力画像／背景画像比較部３５は、入力画像と、背景画像作成部３７によって作成された背景画像とを比較して、比較結果を出力する。上述した例で具体的に例を挙げると、入力画像／背景画像比較部３５は、撮像装置により撮影され、入力された入力画像と、背景画像作成部３７によって作成された背景画像との二つの画像の同じ位置の画素値の差を算出する。

そして、入力画像／背景画像比較部３５は、算出された画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定して、比較結果をモニタなどの出力装置や接続されるシステムに出力する。なお、実施例３に係る背景画像は、実施例１に係る背景画像とは異なり、物体や人物などをより抽出しやすいように色が設定された画像となるため、物体抽出にかかる処理時間を短縮することができる。

物体位置検出／追跡部３８は、入力画像における物体の位置検出と当該物体の追跡とを行う。上述した例で具体的に例を挙げると、物体位置検出／追跡部３８は、現在の入力画像および過去の入力画像などを利用して、人物や物体などの検出処理と追跡処理とを行う。なお、人物や物体などの追跡方法は、例えば、複数のカメラを用いて人物の位置を認識する逆投影法とカルマンフィルタとを用いる（参考文献１）。

参考文献１：（早坂光晴、富永英義、小宮一三、「逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡」、ＰＲＭＵ２００１−１３２、ｐｐ．１３３−１３８、Ｎｏｖ．２００１）

［実施例３に係る比較結果出力処理］
次に、図１５を用いて、実施例３に係る比較結果出力処理の流れを説明する。図１５は、実施例３に係る比較結果出力処理の流れを説明するためのフローチャートである。

図１５に示すように、例えば、表示設定指示部３１は、物体位置検出／追跡部３８によって検出された物体の位置と色とに基づいて、表示出力させる表示範囲、色および模様の発光パターンの変更指示と、表示出力させるタイミングとを表示制御部３２に通知する（ステップＳ３０１肯定）。

また、表示設定指示部３１は、表示装置に発光パターンを表示出力させるタイミングで撮像装置に撮影させることを指示する旨を撮影指示部３３に通知する。また、表示設定指示部３１は、変更指示する表示装置の表示範囲、色および模様などの情報を背景画像作成部３７に対して通知する。

そして、表示制御部３２は、表示設定指示部３１によって通知された表示範囲、色および模様などの情報に基づいて、表示制御信号記憶部２１に記憶される表示制御信号と、対応表示番号記憶部２５に記憶される番号とを表示装置に対して通知する（ステップＳ３０２）。

続いて、撮影指示部３３は、表示設定指示部３１によって通知された表示装置に発光パターンを表示出力させるタイミング（発光パターンを変更して表示出力させるタイミング）と同期させて、撮像装置に撮影させるように制御する（ステップＳ３０３）。

その後、背景画像作成部３７は、表示設定指示部３１によって通知された色、模様および変更位置の情報に基づいて、表示装置によって表示出力させた場合を計算して背景画像を作成する（ステップＳ３０４）。

そして、入力画像／背景画像比較部３５は、撮像装置により撮影され、入力された入力画像と、背景画像作成部３７によって作成された背景画像との二つの画像の同じ位置の画素値の差を算出する。続いて、算出された画素値の差が一定値以上である場合に物体があると判定し、一定値未満である場合に物体がないと判定する（ステップＳ３０５）。

その後、物体位置検出／追跡部３８は、現在の入力画像および過去の入力画像などを利用して、人物や物体などの検出処理と追跡処理とを行う（ステップＳ３０６）。そして、入力画像／背景画像比較部３５と物体位置検出／追跡部３８とは、比較結果および追跡結果などをモニタなどの出力装置や接続されるシステムに出力する（ステップＳ３０７）。

［実施例３による効果］
上述したように、物体抽出装置１０は、物体や人物などの色に合わせて表示装置に表示出力させる色、模様および表示範囲を変更させるので、複数の物体や人物が撮像装置による監視エリアにある状態であっても、全ての物体や人物を一瞬も漏らすことなく検出することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも
種々の異なる形態にて実施されてよいものである。そこで、（１）物体抽出装置の構成、（２）プログラム、において異なる実施例を説明する。

（１）物体抽出装置の構成
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示したような背景画像記憶部２２に記憶される各種データやパラメタを含む情報）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、表示設定指示部３１と、表示制御部３２と、撮影指示部３３とを、表示装置に表示出力させる指示、制御信号および表示出力させるタイミングと、撮像装置に撮影させる指示およびタイミングとを、それぞれ表示装置と撮像装置とに通知する表示／撮影指示部として統合するなど、その全部または一部を、各種の負担や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（２）プログラム
ところで、上記の実施例では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図１６を用いて、上記実施例に示した物体抽出装置１０と同様の機能を有する物体抽出プログラムを実行するコンピュータの一例を説明する。図１６は、物体抽出プログラムを実行するコンピュータを示す図である。

図１６に示すように、物体抽出装置としてのコンピュータ１１０は、バス１８０などで接続され、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０を有する。

ＲＯＭ１５０には、上記実施例１に示した物体抽出装置１０と同様の機能を発揮する物体抽出プログラム、つまり、図１６に示すように表示出力指示プログラム１５０ａと、撮影指示プログラム１５０ｂと、画像比較プログラム１５０ｃとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜プログラム１５０ｃについては、図２に示した物体抽出装置１０の各構成要素と同様、適宜統合または、分散してもよい。

そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｃをＲＯＭ１５０から読み出して実行することで、図１６に示すように、プログラム１５０ａ〜プログラム１５０ｃは、表示出力指示プロセス１４０ａと、撮影指示プロセス１４０ｂと、画像比較プロセス１４０ｃとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｃは、図２に示した、表示設定指示部３１と、表示制御部３２と、撮影指示部３３と、入力画像／背景画像比較部３５とに対応する。

そして、ＣＰＵ１４０はＲＡＭ１６０に記録されたデータに基づいて物体抽出プログラムを実行する。

なお、上記各プログラム１５０ａ〜プログラム１５０ｃについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

実施例１に係る物体抽出装置の概要を示す図である。 実施例１に係る物体の抽出を説明するための図である。 実施例１に係る物体抽出装置の構成例を示す図である。 表示制御信号記憶部に記憶される情報の例を示す図である。 背景画像記憶部に記憶される情報の例を示す図である。 実施例１に係る比較結果出力処理の流れを説明するためのフローチャートである。 実施例２に係る物体抽出装置の構成例を示す図である。 過去画像記憶部に記憶される情報の例を示す図である。 閾値設定記憶部に記憶される情報の例を示す図である。 実施例２に係る比較結果出力処理の流れを説明するためのフローチャートである。 実施例３に係る物体抽出装置の構成例を示す図である。 対応表示番号記憶部に記憶される情報の例を示す図である。 表示装置の対応する番号を説明するための図である。 実施例３に係る四角形内の模様を変更する例を説明するための図である。 実施例３に係る隣接する物体の中間点を利用する例を説明するための図である。 実施例３に係る比較結果出力処理の流れを説明するためのフローチャートである。 物体抽出プログラムを実行するコンピュータを示す図である。 抽出する物体の色と背景色とが類似している例を説明するための図である。

符号の説明

１０ 物体抽出装置
２０ 記憶部
２１ 表示制御信号記憶部
２２ 背景画像記憶部
２３ 過去画像記憶部
２４ 閾値設定記憶部
２５ 対応表示番号記憶部
３０ 制御部
３１ 表示設定指示部
３２ 表示制御部
３３ 撮影指示部
３４ 背景画像読み出し部
３５ 入力画像／背景画像比較部
３６ 入力画像／過去画像比較部
３７ 背景画像作成部
３８ 物体位置検出／追跡部

Claims (10)

1. 発光パターンを変化させて表示出力する表示装置の前記表示出力を指示する表示出力指示手段と、
   前記表示出力指示手段によって指示されて、前記表示装置が前記発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する撮影指示手段と、
   前記撮影指示手段によって前記撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する画像比較手段と、
   を有することを特徴とする物体抽出装置。
2. 前記表示出力指示手段は、表示出力させる色と模様との発光パターンを前記表示装置に指示することを特徴とする請求項１に記載の物体抽出装置。
3. 前記画像比較手段は、前記入力画像と、比較対象となる予め撮影された背景画像との二つの画像の同じ位置の画素値の差が、第一の所定値以上である場合に物体があると判定し、第一の所定値未満である場合に物体がないと判定して出力することを特徴とする請求項１または請求項２に記載の物体抽出装置。
4. 前記画像比較手段は、前記入力画像と、前記撮像装置により前記入力画像よりも前に撮影された比較対象となる過去画像との二つの画像の同じ位置の画素値の差が、第二の所定値以上である場合に物体がないと判定し、第二の所定値未満である場合に物体があると判定して出力することを特徴とする請求項１または請求項２に記載の物体抽出装置。
5. 前記画像比較手段は、前記入力画像と、前記撮像装置により前記入力画像よりも前に撮影された比較対象となる過去画像との前記表示装置による設定色における輝度差が、第三の所定値以上である場合に物体がないと判定し、第三の所定値未満である場合に物体があると判定して出力することを特徴とする請求項１または請求項２に記載の物体抽出装置。
6. 前記表示出力指示手段によって指示された発光パターンに基づいて、比較対象となる背景画像を作成する背景画像作成手段と、
   前記入力画像における物体の位置検出と当該物体の追跡とを行う物体位置検出追跡手段と、をさらに有し、
   前記表示出力指示手段は、前記物体位置検出追跡手段によって検出された物体の位置と色とに基づいて、表示出力させる発光パターンを前記表示装置に指示し、
   前記画像比較手段は、前記入力画像と前記背景画像作成手段によって作成された背景画像とを比較して、比較結果を出力することを特徴とする請求項１に記載の物体抽出装置。
7. 前記表示出力指示手段は、前記物体位置検出追跡手段によって検出された物体の位置と色とに基づいて、表示出力させる表示範囲、色および模様の発光パターンを前記表示装置に指示することを特徴とする請求項６に記載の物体抽出装置。
8. 前記画像比較手段は、前記入力画像と前記背景画像との同じ位置の画素値の差が、第一の所定値以上である場合に物体があると判定し、第一の所定値未満である場合に物体がないと判定して出力することを特徴とする請求項６または請求項７に記載の物体抽出装置。
9. 発光パターンを変化させて表示出力する表示装置の前記表示出力を指示する表示出力指示工程と、
   前記表示出力指示工程によって指示されて、前記表示装置が前記発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する撮影指示工程と、
   前記撮影指示工程によって前記撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する画像比較工程と、
   を含んだことを特徴とする物体抽出方法。
10. 発光パターンを変化させて表示出力する表示装置の前記表示出力を指示する表示出力指示手順と、
    前記表示出力指示手順によって指示されて、前記表示装置が前記発光パターンを表示出力するタイミングで撮像装置に撮影させることを指示する撮影指示手順と、
    前記撮影指示手順によって前記撮像装置により撮影された入力画像と、比較対象となる比較対象画像とを比較して、比較結果を出力する画像比較手順と、
    をコンピュータに実行させることを特徴とする物体抽出プログラム。

Images