JP7399000B2

JP7399000B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP7399000B2
Application number: JP2020055802A
Authority: JP
Inventors: 鮎子太田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2023-12-15
Anticipated expiration: 2040-03-26
Also published as: JP2021157389A

Description

本発明は、撮影エリアに進入した物体により生じた変化領域を撮影エリアを撮影して得た入力画像から抽出することなどを目的として、抽出された変化領域から影領域を検出する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

例えばセキュリティーを含む種々の目的で所定の撮影エリアをカメラで撮影し、撮影エリアに進入した物体の種類を画像処理により認識する物体認識の技術が知られている。

前述した物体認識には背景差分処理が広く用いられている。一般的な背景差分処理では、輝度変化があった領域を変化領域として抽出している。

そして物体認識を確実に行うには、認識しようとする物体についての大きさ情報や形状情報が不可欠である。このような情報を当てはめて判断する必要性から、変化領域において影により生じた部分を除いて物体による部分だけを抽出する必要がある。

画像処理において、背景差分処理で抽出された変化領域が、人などの実体によるものか、影などの明るさの変化によるものかを区別する手法として、輝度値と偏光情報を組み合わせて、実体と影を分離する方法が存在する。例えば、下記特許文献１には、反射光の偏光情報から反射面の法線方向の情報が得られることを利用して、実体部分と影部分を分離する手法が開示されている。

特開２０１９－２１１８９号公報

しかし、文献“Polarimetric Three-View Geometry”, Lixiong Chen, Yinqiang Zheng, Art Subpa-asa, Imari Sato.,ECCV2018.に記載されているように、タイルやフローリングのような平滑面では、反射光の偏光状態は法線方向に依存して変化するのに対し、アスファルトやカーペットのような粗面では、反射光の偏光状態が照射される光源方向に依存して変化してしまうことが知られている。すなわち、上記特許文献１に記載された手法のように、偏光情報から法線方向が得られることを前提した手法では粗面に出来る影を判別することができない。

本発明は、従来の技術における課題に鑑み、入力画像と背景画像の比較により、撮影エリアに進入した物体による変化領域を入力画像から抽出する画像処理装置において、撮影エリアが粗面である場合には撮影された偏光画像の偏光情報から光源方向が分かることを利用し、抽出された変化領域から物体の影による変化領域を除去して物体による変化領域を用いて、物体認識を高精度に行うことができる画像処理装置を提供することを目的としている。

（１）本発明の画像処理装置は、基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理装置であって、前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段と、異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段と、前記入力画像における前記変化領域内の各画素について前記光源位置推定手段が推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定手段が推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出手段と、を備えることを特徴としている。

（２）本発明の画像処理装置は、上記（１）に記載の画像処理装置において、さらに、前記変化領域において、前記背景画像の偏光角度と、前記光源位置推定手段が前記基準面光源位置から光が当たったと仮定して求めた前記背景画像の偏光角度の理論値との差が所定の基準を下回る場合に前記基準面は平滑面よりも平滑度が低い粗面であると判定する粗滑判定手段を有し、前記影領域検出手段は、前記基準面が粗面である場合に前記変化領域における前記影領域を検出することを特徴としている。

（３）本発明の画像処理装置は、上記（２）に記載の画像処理装置において、前記影領域検出手段は、さらに、前記入力画像中の前記影領域において、前記入力画像の偏光角度を用いて推定された光源位置に光源があると仮定した場合の偏光角度の理論値を画素ごとに求め、前記入力画像の偏光角度と当該理論値の差が所定の基準を下回る画素からなる分割小領域と当該差が所定の基準を上回る画素からなる分割小領域とに前記影領域を分割する分割処理を行い、さらに当該差が所定の基準を上回る画素からなる前記分割小領域に対して前記分割処理を必要に応じて１回以上繰り返した後に、前記入力画像中において前記基準面光源位置から遠い前記分割小領域を前記影領域と判定することを特徴としている。

（４）本発明の画像処理装置は、上記（２）又は（３）に記載の画像処理装置において、前記画像処理装置は、さらに、前記基準面の法線を記憶する記憶部を有し、前記粗滑判定手段は、前記基準面の法線から定まる偏光角度と、前記背景画像の偏光角度を画素ごとに比較し、一致度が一定以上の場合に前記基準面は粗面よりも平滑度が高い平滑面と判定し、前記影領域検出手段は、前記粗滑判定手段が前記基準面は粗面ではなく平滑面であると判定すると、前記変化領域における前記背景画像の偏光角度と前記入力画像の偏光角度を画素ごとに比較して一致度が一定以上の場合に当該画素を前記影領域の画素と判定することを特徴としている。

（５）本発明の画像処理装置は、上記（１）乃至（４）の何れか一つに記載の画像処理装置において、前記画像処理装置は、さらに、前記入力画像において、前記変化領域から前記影領域および前記影領域を構成する画素の少なくともいずれか一方を除いた領域に含まれる画像を用いて、当該変化領域に写っている物体の認識処理を行う物体認識部を有することを特徴としている。

（６）本発明の画像処理装置は、基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理装置であって、前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段と、異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段と、前記変化領域において、前記偏光角度を用いて前記基準面は平滑面よりも平滑度が低い粗面であると判定する粗面判定処理と、前記基準面の法線を用いて前記基準面は平滑度が高い平滑面であると判定する平滑面判定処理を行う粗滑判定手段と、前記粗滑判定手段が前記基準面は平滑面ではなく粗面であると判定した場合、光源位置を用いて影領域を検出する第１の処理と、前記粗滑判定手段が前記基準面は粗面ではなく平滑面であると判定した場合、前記偏光角度を用いて影領域を検出する第２の処理を行う影領域検出手段と、を備えることを特徴としている。

（７）本発明の画像処理方法は、基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理方法であって、前記画像の偏光角度を用いて光源位置を推定する光源位置推定工程と、異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出工程と、前記入力画像における前記変化領域内の各画素について前記光源位置推定工程にて推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定工程にて推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出工程と、を備えることを特徴としている。

（８）本発明の画像処理プログラムは、基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理するための画像処理プログラムであって、コンピュータを、前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段、異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段、及び、前記入力画像における前記変化領域内の各画素について前記光源位置推定手段が推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定手段が推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出手段、として機能させることを特徴としている。

なお、本願の特許請求の範囲及び明細書の記載における「背景画像」及び「入力画像」の用語は、「画像」のみを意味するものではなく、撮影装置が一次的に取得した「背景画像」及び「入力画像」の他、これらの画像について求めた情報（例えば偏光情報、平均輝度値等）及び当該情報に基づいて二次的に取得された画像の意味も含めた特定の意味を有している。

本発明の画像処理装置によれば、撮影された偏光画像の偏光情報から光源方向が分かることを利用し、抽出された変化領域から影領域を検出することができる。すなわち、光源位置推定手段は、背景画像における基準面を写した基準面領域について基準面光源位置を推定し、入力画像における変化領域について変化領域光源位置を推定し、さらに基準面光源位置と変化領域光源位置を画素ごとに比較して、基準面光源位置とは異なる変化領域光源位置から光が当たっている画素を、影領域に属するものと判定することができる。従って、変化領域の中の影領域を、変化領域の中の他の部分から区別することができるので、変化領域の全体を物体とするよりも高精度な物体認識を行うことができる。本発明の画像処理方法及び画像処理プログラムについても、本発明の画像処理装置と同様な効果を得ることができる。

実施形態の画像処理装置の機能を備えた物体認識システムの機能ブロック図である。実施形態の物体認識システムにおいて画像の取得から物体の認識結果の出力に至る物体認識手順を示すフロー図である。分図（ａ）は、実施形態の物体認識システムにおいて撮影装置として用いられる偏光カメラの偏光フィルタアレイを示す模式図であり、分図（ｂ）は、実施形態の物体認識システムにおいて偏光カメラによって撮影された画像から偏光情報算出部が取得した偏光フィルタの方向と輝度値の関係を例示するグラフである。実施形態の物体認識システムの撮影装置が撮影した入力画像を２次元座標系で模式的に示した図であって、当該入力画像における画素ｑの偏光角度ρ及び光源位置ｐと、光源位置ｐのときの想定偏光角度ρ_pの関係を示した概念図である。実施形態の物体認識システムにおける影領域の検出処理と分割処理（又は除去処理）を説明するための模式図であり、分図（ａ）は、物体が存在しない床面を示す図であり、分図（ｂ）は、床面の上に物体が存在して影ができている状態を示す図であり、分図（ｃ）は、変化領域が複数のクラスタ領域に分割されていることを示す図であり、分図（ｄ）は、変化領域において影評価領域を特定する手法を説明するための図であり、分図（ｅ）は、変化領域において影領域の検出結果を示すための図であり、分図（ｆ）は、変化領域において影評価値を定義して影判定を行う手法を説明するための図である。

本発明に係る画像処理装置２０を有する物体認識システム１の実施形態について、図１～図５を参照して説明する。
図１に示す物体認識システム１は、撮影装置１０と画像処理装置２０から構成され、画像処理装置２０の処理結果は図示しない外部の装置、例えば画像監視装置の本体やネットワーク越しに警備センターに通知される。なお、画像処理装置２０はコンピュータによって実現することができる。このコンピュータは、必要なプログラムを読み込ませることにより、以下に説明するように、本実施形態において必要な情報の処理を行う各種の機能を実現する手段となる。

撮影装置１０は、光学系、ＣＣＤ素子またはＣＭＯＳ素子、偏光フィルタなどから構成され、監視領域を撮影したデータをＡ／Ｄ変換したデジタル画像を、画像処理装置２０の偏光情報算出部２１０に出力する。偏光フィルタは後述するように、図３（ａ）に示すフィルタアレイが各画素に対応して設けられているとし、３種類以上の偏光方向、本実施の形態では４方向に偏光した画像が取得可能とする。図３（ａ）に示すようにフィルタアレイに含まれる各偏光フィルタは、画素ごとに０deg 、４５deg 、９０deg 、１３５deg の偏光方向の光を最大に透過するよう構成されている。そして以下の処理においては、偏光フィルタの方向が上記４方向の画素を一組として１画素分の偏光度、偏光角度、平均輝度値を求めることとする。

本実施形態では、撮影装置１０の撮影方向と画角は、認識対象となる物体が存在する基準面としての床面のみが写りこむように調整されているものとする。

偏光情報算出部２１０は、撮影装置１０が取得した画像から、偏光情報（偏光度・偏光角度）と平均輝度値を算出する。詳細は後述する。

記憶部２２０には、解像度、レンズ画角、カメラ設置高、カメラ俯角等の撮影条件が予め記憶されるとともに、時間的な変化領域が存在しない場合に撮影装置１０が取得した入力画像を背景画像として、背景画像から偏光情報算出部２１０が算出した偏光情報を画素毎に有する偏光情報画像（これには偏光角度画像と偏光度画像が含まれる。）および背景画像から偏光情報算出部２１０が算出した平均輝度値を画素毎に有する平均輝度値画像が背景画像情報として予め記憶されている。背景画像としては、１枚の画像でも、複数枚の画像から作られた平均画像や分散画像などから構成されるような背景モデル（例えば、混合正規分布, Gaussian Mixture Modelを用いたものなど）でも良い。

なお後述するように撮影装置１０に偏光カメラ（図３（ａ）参照）を用いるが、記憶部２２０は、いずれの画素がどの偏光フィルタの方向について受光するかの情報も記憶し、偏光情報算出部２１０に出力する。さらには、背景画像に写っている物体、本実施形態では床面の法線方向も予め求めてあり、記憶部２２０に記憶されているものとする。

処理部２３０は、光源位置推定手段２３１、変化領域抽出手段２３２、粗滑判定手段２３３、影領域検出手段２３４から構成される。処理部２３０は、偏光画像算出部２１０から入力された入力画像についての偏光情報画像と平均輝度値画像と、記憶部２２０に記憶されている背景画像についての偏光情報画像と平均輝度値画像を処理し、入力画像から抽出された影ではない物体の領域情報を認識部２４０に出力する。

光源位置推定手段２３１は、偏光画像算出部２１０や記憶部２２０から取得した平均輝度値画像において、指定された領域に光を当てている光源の位置を、偏光情報画像に基づいて画像内の２次元座標値として推定する。

変化領域抽出手段２３２は、偏光画像算出部２１０から取得した入力画像についての平均輝度値画像と記憶部２２０から取得した背景画像についての平均輝度値画像に基づいて、画素ごとに平均輝度値の差分を求め、一定以上の差がある画素を抽出する。そして、抽出された画素の８近傍に他の抽出された画素があるとひとまとまりとするラベリング処理を行い、変化領域を抽出する。

粗滑判定手段２３３は、変化領域抽出手段２３２で得られた各変化領域または画像全体に対して、記憶部２２０に保存された撮影条件や偏光情報に基づき、該当する領域の床面が平滑面であるか、粗面であるかを判定する。

影領域検出手段２３４は、変化領域抽出手段２３３で抽出された各変化領域について、実体である領域と影領域に分離し、変化領域から影領域を除去して実体の領域についての情報を認識部２４０に出力する。影領域の判別に際しては、粗滑判定手段２３４での判定結果に基づき、平滑面の場合と粗面である場合で異なる手法を適用する。

認識部２４０は、偏光情報算出部２１０から出力された平均輝度値画像と、処理部２３０から出力された実体の領域の情報から、大きさや形状などの情報により、その領域に写った物体が何かを判定する。

図２を用いて図１に示す物体認識システム１の動作を説明する。
ステップＳ１００において、監視範囲である撮影エリアを撮影装置１０で撮影して画像の取得を行う。画像取得の際は、特定の偏光方向の光のみを透過する偏光フィルタを利用する。本実施形態では、図３（ａ）に示すように画素毎に異なる方向の偏光フィルタをモザイク状に配置した偏光カメラを用いる。本実施形態では４種類の偏光フィルタの方向（０deg, 45deg, 90deg, 135deg)の画像を取得するものとする。

そして取得した画像を入力画像として偏光情報算出部２１０に出力する。

ステップＳ１１０において、偏光情報算出部２１０は、ステップＳ１００で取得した入力画像から、縦横２画素ずつの４種類の偏光方向の画素を一組として１画素とし、各画素の偏光情報（偏光度、偏光角度）と平均輝度値情報を算出する。

一般に偏光した光の輝度値は、偏光フィルタの方向に対して正弦波として変化する。すなわち、基準となる偏光フィルタの角度を０[deg] として、偏光方向ｍ[deg] の光が最大に透過するよう回転角をもつ偏光フィルタを介して撮影した場合の輝度値Imは、
I _m＝Ｍ＋Ａｃｏｓ｛２（ｍ－ρ）｝
と表すことができる。この式が表す偏光フィルタの角度ｍと輝度値I _mの関係をグラフに示すと図３（ｂ）のようになる。ここで、最も高い輝度値を示す偏光フィルタの角度を偏光角度ρと呼び、平均輝度値Ｍに対する正弦波の振幅Ａの比率Ｄを偏光度と呼ぶ。

撮影装置１０によって取得された画像から偏光情報を算出する場合、図３のグラフにおける４種類の偏光フィルタの方向（偏光フィルタの角度が0deg、45deg 、90deg 、135deg) の各輝度値を一組とし、それぞれI₀、 I₄₅、I₉₀、I₁₃₅とすると、その一組から求められる１画素分の偏光角度ρ、平均輝度値Ｍ、振幅Ａ、偏光度Ｄは次のように求めることができる。
ρ＝（１／２）ｔａｎ^-1｛（ I₄₅－I₁₃₅）／（I₀－I₉₀）｝…式（１）
Ｍ＝（I₀＋ I₄₅＋I₉₀＋I₁₃₅）／４ …式（２）
Ａ＝（１／２）｛（I₀－I₉₀）²＋（ I₄₅－I₁₃₅）²｝^1/2…式（３）
Ｄ＝Ａ／Ｍ …式（４）
なお、偏光度Ｄ、偏光角度ρがとり得る値の範囲はそれぞれ、０≦Ｄ≦１、０≦ρ＜１８０[deg] である。以下の説明では、平均輝度値を簡便に「輝度値」と表現する場合もある。

さらに撮影エリアに認識対象となる物体が存在しない状態で撮影した入力画像は背景画像とするが、その背景画像を用いて、偏光情報算出部２１０にて算出した、画素ごとに求めた偏光度と偏光角度を含む偏光情報画像（偏光度画像及び偏光角度画像）と平均輝度値画像を、同時に背景画像情報として記憶部２２０に記憶させる。

ステップＳ１２０にて、光源位置推定手段２３１は、ステップＳ１１０で求めた偏光情報画像を用いて、背景画像についての平均輝度値画像における光源位置である基準面光源位置を推定する。撮影する環境では、点光源が１つ存在していると仮定し、偏光度が高い領域は、点光源からの光の鏡面反射が返ってきているものと考えて、点光源の位置を推定する。鏡面反射光は、入射面（カメラ位置・反射点・光源位置の３点を含む平面）に対して垂直に偏光する。

そのことを利用して、ある光源位置を仮定した場合、その位置から照射された光が当たったと仮定した偏光角度画像の各画素について偏光角度の理論値を求め、実際に観測されている偏光角度と前記理論値との差を最小化することで、光源方向、すなわち基準面光源位置の方向を推定する。すなわち図４に示すように、画素ｑ（座標(x,y) ）での偏光角度をρ(x,y) 、光源位置を示す２次元座標をｐ、光源位置ｐから照射された光が当たったと仮定したときの偏光角度をρ_p(x,y) とすると、最適な光源位置ｐを求めるには、次式を最小化するｐを求めればよい。なお、この推定は、偏光度が一定以上の領域のみを使って推定を行ってもよい。

ステップＳ１３０にて、変化領域抽出手段２２２は、記憶部２２０に記憶されている背景画像についての平均輝度値画像と、撮影装置１０にて取得された最新の入力画像について求められた平均輝度値画像の画像情報との差分が所定の閾値以上となった画素を、変化領域を構成する画素として抽出する。

すなわち、ステップＳ１１０にて求めた平均輝度Ｍを各画素に持つ平均輝度値画像を用い、周知の輝度背景差分処理で抽出し、ラベリング処理にて隣接する抽出画像をひとまとめにして変化領域を抽出する。記憶部２２０に記憶されている偏光度、偏光角度も用いて、平均輝度も含めた３つのうちいずれかにおいて差分が所定以上である画素を抽出してもよい。

また想定している物体の大きさや、撮影装置１０の設置条件などを考慮して、小さすぎる変化領域はノイズと考えて以後の処理対象から外す処理をしてもよい。

ステップＳ１４０にて、粗滑判定手段２２３は、ステップＳ１３０にて求めた変化領域ごとに、記憶部２２０に記憶されている背景画像情報の偏光角度に基づいて床面が粗面であるか否かを画素ごとに判別する。

そのために、ステップＳ１２０において推定した基準面光源位置から光が照射され、撮影装置１０が撮影している床面が粗面であると仮定した場合に観測されるであろう偏光角度の理論値を算出する。これは、粗面では光源からの鏡面反射光が必ず観測され、画素と光源位置を結んだ直線（光源方向）と９０度異なる方向が前記理論値となることを利用したものである。

そして、求めた偏光角度の理論値と、記憶部２２０に記憶されている背景画像情報の偏光角度画像について、同じ座標の画素の偏光角度との差が所定の基準値以下の画素について、その画素に写っている床面は粗面であると判断する。

そして粗滑判定手段２２３は、処理対象となっている変化領域につい偏光角度の理論値と背景画像情報の偏光角度の差が小さい画素が一定以上占めている場合、その変化領域の全体は粗面から抽出されたものと判定する。または、変化領域に含まれている画素について偏光角度の理論値と背景画像情報の偏光角度との差の平均が小さいことを用いて判断してもよい。処理対象となっている変化領域が粗面でないと判定された場合はステップＳ１６０の平滑面判定に進む。

ステップＳ１５０では、変化領域が粗面であることを前提として、光源方向の推定に基づいて変化領域を分割する処理を行う。すなわち影領域検出手段２３４は、床面に対応する部分が粗面であると判定された変化領域について、その変化領域の中で影であると判定された領域を影領域として除去する処理を行う。そのために影領域検出手段２３４は、以下に述べるように光源位置推定手段２３１を繰り返し動作させて影領域を特定していく。その考え方を、図５を参照して説明する。

図５（ａ）は、基準面である床面６００が背景として広がっている様子を示す。このように物体が存在せず床面６００のみが入力画像に写っている場合には、前述のように光源位置推定手段２３１は背景としての床面６００の全体について基準面光源位置を推定することができる。

次に図５（ｂ）に示すように、物体、例えば人６０１が存在する場合は、当然影６０２が床面６００に生じることになる。影が生じていない床面には光源から光が直接当たることになるが、影６０２については人６０１により遮られて暗くなるものの、全く光が当たらないわけではない。例えば近傍に壁６０３が存在している場合には壁６０３から反射した光６０４、空気中で乱反射した光が影６０２に当たることになって、影６０２についてはそれらの光が支配的な強度となる。よって入力画像における変化領域を小領域に分割して（以下、分割小領域と称する）分割小領域ごとに光源位置の推定を行い、図５（ａ）に示す基準面光源位置とは異なる位置に光源があると判定された分割小領域は、影６０２を構成する可能性があると判定する。以下の説明では、変化領域の分割小領域ごとに推定された光源の位置を変化領域光源位置と称する。

ａ．まず画素ごとにステップＳ１１０にて求めた入力画像の偏光角度と、ステップＳ１４０にて求めた背景が粗面であるとした場合の偏光角度の理論値の差を求めて、差が所定の基準を下回る画素は背景と同じ方向から光が当たっていると考え、人６０１の日なた部分を構成するとして１つの分割小領域とする（図５（ｃ）の符号６０６の領域）。

ｂ．次にａにおいて差が一定以上であった画素の集合は、図５（ａ）に示す光源からの光が当たっていない領域と考えられる。図５（ｃ）において、変化領域６０５全体のうち日なたの分割小領域６０６を除いた部分について、入力画像の偏光角度を用いて光源位置推定手段２３１が変化領域光源位置の推定を行う。

ｃ．ｂで求めた変化領域光源位置から光が照射されたと仮定した場合、変化領域６０５から日なたの分割小領域６０６を除いた領域に含まれる各画素を用いて、粗面が写っていると仮定した場合の偏光角度の理論値を求める。

ｄ．ｃで求めた偏光角度の理論値と入力画像の偏光角度との差を各画素について求め、差が小さい画素についてはｂで求めた変化領域光源方向からの光が支配的であるとして１つの分割小領域とする。

ｅ．ｄで求めた差が大きい画素の領域を対象に、ｂ～ｄの処理を差分が閾値より大きい領域が無くなるまで、または未処理の画素が変化領域６０５の大きさと比較すると遥かに少ないと判定されるまで繰り返す。

ａ～ｅの処理を行った結果を図５（ｃ）に示す。同図からわかるように変化領域６０５は、人６０１（図５（ｂ）参照）の日なた部分に対応した分割小領域６０６、日陰部分に対応した分割小領域６０７、床面６００に生じた影に対応した分割小領域６０８に分割されている。

図２に戻り、ステップＳ１６０にて、粗滑判定手段２３３は、ステップＳ１３０で得られた変化領域ごとに、そこに含まれる各画素に対して当該画素が平滑面を写しているか否かを判定する。

本実施形態では、記憶部２２０に記憶された撮影条件などに基づき、予め背景の法線を算出して、記憶部２２０に記憶させておく。本実施形態では、背景として床面のみが撮影装置１０が撮影する範囲に含まれていると仮定しているので、床面の法線を記憶する。なお撮影装置１０が撮影する範囲に床面以外の物体、例えば壁や什器なども含まれている場合には、それらの表面の法線が求められて記憶されていれば、以下に述べる処理は同様に行うことができる。

平滑面での拡散反射光は入射面と平行に偏光するため、平滑面を仮定した場合の偏光角度( 背景の法線方向) と、背景画像の偏光角度の差分を取り、差分が閾値以下の画素が変化領域に一定以上占める場合には、その変化領域は平滑面を写していると判定する。

ステップＳ１７０にて影領域検出手段２３４は、ステップＳ１１０にて入力画像から求められた偏光角度および記憶部２２０に記憶されている背景画像の偏光角度を用いて、変化領域内部の各画素が実体によるものか、又は影によるものかを判定する。平滑面である場合、反射光の偏光角度は面の法線方向に依存して変化する。影である領域は入力画像と背景画像で法線方向が変化しないため、入力画像と背景画像の偏光角度の差が閾値以下であるとの条件を満たした画素は影領域を構成し得ると判定する。

なお、影は背景よりも輝度値が下がるため、入力画像と背景画像の偏光角度差が閾値以下かつ背景画像よりも平均輝度値が下がる場合を影と判定してもよい。また、法線方向が変化しなくても、鏡面反射光と拡散反射光で偏光角度が９０deg 変化することから、「入力画像と背景画像の偏光角度差が閾値以下または９０deg に近い」かつ「背景画像よりも入力画像の輝度値が低い」の条件を満たす場合を影と判定してもよい。なお、ステップＳ１７０までの処理は変化領域ごとに行っても、画面全体で行ってもよい。

またステップＳ１４０の粗面判定処理とステップＳ１６０の平滑面判定処理は独立に行われるため、粗面とも平滑面とも判定されない画素・領域も存在しうる。そのような画素・領域については実体・影分離不能であるとして、一律に実体である、もしくは、影であると考えて処理を行ってもよいし、異なる原理の実体・影分離処理を適用してもよい。

ステップＳ１８０にて影領域検出手段２３４は、ステップＳ１５０にて得られた各分割小領域について、人６０１の影により生じた影領域か否かを判定して、変化領域６０５からその影領域を除去する処理を行う。又、影領域検出手段２３４は、ステップＳ１７０にて得られた影領域を構成する画素を変化領域６０５から除去する処理を行なう。

まずステップＳ１５０にて得られた分割小領域についての処理を説明する。
以下では、図５（ｃ）に示す分割小領域６０７と６０８を用いて説明する。影領域検出手段２３４は、図５（ｄ）に示すように、変化領域６０５の重心６０９を求め、重心６０９を通り光源方向６１０と直交する分割線６１１を求める。そして影領域検出手段２３４は、変化領域６０５を分割線６１１にて２つに分割し、光源から遠い部分を影評価領域６１２として特定する。

次に影領域検出手段２３４は、求めた影評価領域６１２と仮影領域（図５（ｃ）に示す分割小領域６０７と６０８）との重複度を評価する。重複度とは、分割小領域の面積（画素数）に対する影評価領域６１２と重なっている領域の面積（画素数）の比率とする。この重複度が大きいことは、その分割小領域は光源から遠いことを意味している。ここで、光源と物体と影の位置関係を鑑みるに、影は光源からみて物体の反対側に生じる。つまり変化領域中、光源から遠い部分に生じることになるので、上述の影評価領域との重複度を測るのが好適である。

分割小領域６０７と影評価領域６１２との重なりが面積比で４０％、分割小領域６０８と影評価領域６１２との重なりが同じく１００％であるとする。影領域判定の閾値を実験的に６０％として設定すると、分割小領域６０７は条件を満たさないので、実体としての人６０１の一部分であると判定される。一方で、分割小領域６０８は条件を満たすので、分割小領域６０８は床面６００に生じた影と判定される。

そして影領域検出手段２３４は、図５（ｅ）に示すように、変化領域６０５（図５（ｃ）参照）から影領域と判定された分割小領域６０８を除去する。そして影領域検出手段２３４は、ステップ１７０にて影領域を構成する画素を変化領域６０５から除去する。処理部２３０は、剰余領域６１３の領域情報を認識部２４０に出力する。

図５（ｃ）に示す分割小領域６０６、６０７、６０８に関する影らしさの評価は、図５（ｄ）を参照して説明した手法に限られない。影は物体を介して光源から遠い位置に発生することを踏まえて、光源から遠いほど影らしい画素であると推測されるという考えに基づき、重みづけをして影らしさを評価してもよい。

すなわち図５（ｆ）に示すように、変化領域６０５の各画素に光源からの距離が遠くなるほど大きな値を取るような影評価値を定義し、分割小領域毎に求めた影評価値の平均値に基づいて、影判定を行う。

図５（ｆ）では、右側ほど光源から離れることになるので、大きな影評価値を定義することになる。そのために、ステップＳ１２０で求めた光源位置と変化領域６０５内の画素（ｘ，ｙ) の間の距離をｄ（ｘ，ｙ）とし、変化領域６０５内のｄ（ｘ，ｙ）の最大値ｄｍｉｎと最小値ｄｍａｘをそれぞれ求める。そして各画素の影評価値を（ｄ（ｘ，ｙ）－ｄｍｉｎ）／（ｄｍａｘ－ｄｍｉｎ）とし、各分割小領域内の影評価値の平均値を求め、この平均値が所定の閾値以上である分割小領域を影と判定する。図５（ｃ）と図５（ｆ）を比較すると、分割小領域６０８の方が値が大きく、閾値を超えるので、分割小領域６０８を影領域と判定できる。

または、分割小領域６０６は日なたであるとみなすこととして、分割小領域６０７と分割小領域６０８について上記の処理を行ってもよい。さらには影評価領域６１２を求めて、その内部で上記のような影評価値を求めることとしてもよい。その場合、変化領域６０５の他の部分は影評価値を０とする。

ステップＳ１９０にて、認識部２４０は、偏光情報算出部２１０から出力された入力画像と、処理部２３０から出力された実体についての領域情報から、その領域内に写っている物体が何であるかの認識処理を行う。

偏光情報算出部２１０から出力される情報としては、典型的には平均輝度値を画素値に持ついわゆる輝度画像であるが、それに加えて各画素についての偏光度や偏光角度も合わせて出力して認識処理に用いてもよい。

認識部２４０は、変化領域の大きさや形状、含まれるテクスチャなどに基づいて周知の閾値処理を行ったり、識別器などの学習型アルゴリズムを用いることもできる。あるいは人が映っていると判断された場合は細線化処理などを併用して姿勢推定を行ってもよい。

ステップ２００にて、画像処理装置２０は認識部２４０における認識結果を図示しない外部の機器などに出力する。例えば前記認識結果を別途画像監視装置の本体に出力して、人が存在すると判定された状況が一定時間連続した場合に警報を出力するよう警備システムを構成することができる。あるいは直接警備センターに、認識結果とその時の入力画像（目視確認の容易性から平均輝度による輝度画像が好適である）を送信してモニタ表示し、警備員の目視確認に活用してもよい。

以上説明したように、本実施形態の物体認識システム１によれば、物体が撮影エリアに進入したことによって入力画像に生じた変化領域を、粗面の偏光情報からわかる光源位置の情報を利用して実体に属する領域と影領域とに分離し、これによって物体認識の精度を高めることができる。さらに、光源方向を用いて算出した偏光角度の理論値と実測値の差の大小に基づいて影領域を分割する処理を必要に応じて繰り返すことにより、変化領域において実体に属する領域から影領域を切り分ける処理を一層精密に行うことができる。

また、背景が平滑面か粗面かを判定し、その判定結果に適した処理を組み合わせることもできる。すなわち、基準面が平滑面ではなく粗面であると判定した場合には、光源方向を用いて影領域を検出することができ、また基準面が粗面でなく平滑面であると判定した場合には、偏光角度を用いて物体の影領域を検出することができる。これによって、背景の面の状態にかかわらず、実体に属する領域と影領域の高精度な分離が可能となり、最終的には物体認識の精度を高めることができる。

これまで述べてきた実施の形態では、撮影装置の視野に進入した物体により生じた影を対象にしていたが、これに限られない。例えば撮影装置の視野外に存在する物体、例えば什器やわずかに視野に外れる位置に立つ人により撮影装置の視野に生じた影についても同様に処理できる。この場合、抽出された変化領域について影領域の検出処理を行うと、おおよそ変化領域と影領域が一致することになり、変化領域が得られたからといって直ちに外部に通報することを防ぐことが可能となり、不要な通報（誤報）を削減できる効果を奏する。

１…物体認識システム
１０…撮影装置
２０…画像処理装置
２１０…偏光情報算出部
２２０…記憶部
２３０…処理部
２３１…光源位置推定手段
２３２…変化領域抽出手段
２３３…粗滑判定手段
２３４…影領域検出手段

Claims

基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理装置であって、
前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段と、
異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段と、
前記入力画像における前記変化領域内の各画素について前記光源位置推定手段が推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定手段が推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出手段と、
を備えることを特徴とした画像処理装置。
前記画像処理装置は、さらに、
前記変化領域において、前記背景画像の偏光角度と、前記光源位置推定手段が前記基準面光源位置から光が当たったと仮定して求めた前記背景画像の偏光角度の理論値との差が所定の基準を下回る場合に前記基準面は平滑面よりも平滑度が低い粗面であると判定する粗滑判定手段を有し、
前記影領域検出手段は、前記基準面が粗面である場合に前記変化領域における前記影領域を検出することを特徴とした請求項１に記載の画像処理装置。
前記影領域検出手段は、さらに、
前記入力画像中の前記影領域において、前記入力画像の偏光角度を用いて推定された光源位置に光源があると仮定した場合の偏光角度の理論値を画素ごとに求め、前記入力画像の偏光角度と当該理論値の差が所定の基準を下回る画素からなる分割小領域と当該差が所定の基準を上回る画素からなる分割小領域とに前記影領域を分割する分割処理を行い、さらに当該差が所定の基準を上回る画素からなる前記分割小領域に対して前記分割処理を必要に応じて１回以上繰り返した後に、前記入力画像中において前記基準面光源位置から遠い前記分割小領域を前記影領域と判定することを特徴とした請求項２に記載の画像処理装置。
前記画像処理装置は、さらに、前記基準面の法線を記憶する記憶部を有し、
前記粗滑判定手段は、前記基準面の法線から定まる偏光角度と、前記背景画像の偏光角度を画素ごとに比較し、一致度が一定以上の場合に前記基準面は粗面よりも平滑度が高い平滑面と判定し、
前記影領域検出手段は、前記粗滑判定手段が前記基準面は粗面ではなく平滑面であると判定すると、前記変化領域における前記背景画像の偏光角度と前記入力画像の偏光角度を画素ごとに比較して一致度が一定以上の場合に当該画素を前記影領域の画素と判定することを特徴とした請求項２または３に記載の画像処理装置。
前記画像処理装置は、さらに、前記入力画像において、前記変化領域から前記影領域および前記影領域を構成する画素の少なくともいずれか一方を除いた領域に含まれる画像を用いて、当該変化領域に写っている物体の認識処理を行う物体認識部を有することを特徴とした請求項１から４のいずれか１項に記載の画像処理装置。
基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理装置であって、
前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段と、
異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段と、
前記変化領域において、前記偏光角度を用いて前記基準面は平滑面よりも平滑度が低い粗面であると判定する粗面判定処理と、前記基準面の法線を用いて前記基準面は平滑度が高い平滑面であると判定する平滑面判定処理を行う粗滑判定手段と、
前記粗滑判定手段が前記基準面は平滑面ではなく粗面であると判定した場合、光源位置を用いて影領域を検出する第１の処理と、前記粗滑判定手段が前記基準面は粗面ではなく平滑面であると判定した場合、前記偏光角度を用いて影領域を検出する第２の処理を行う影領域検出手段と、
を備えることを特徴とした画像処理装置。
基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理する画像処理方法であって、
前記画像の偏光角度を用いて光源位置を推定する光源位置推定工程と、
異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出工程と、
前記入力画像における前記変化領域内の各画素について前記光源位置推定工程にて推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定工程にて推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出工程と、
を備えることを特徴とした画像処理方法。
基準面が撮影された画像であり、少なくとも偏光度の情報を含んだ前記画像を処理するための画像処理プログラムであって、コンピュータを、
前記画像の偏光角度を用いて光源位置を推定する光源位置推定手段、
異なる時刻に撮影された前記画像である入力画像と背景画像を比較して前記入力画像において生じた変化領域を抽出する変化領域抽出手段、及び、
前記入力画像における前記変化領域内の各画素について前記光源位置推定手段が推定した変化領域光源位置を、前記背景画像における前記基準面を写した基準面領域について前記光源位置推定手段が推定した基準面光源位置と比較し、前記基準面光源位置とは異なる変化領域光源位置から光が当たっていると推定された画素を影領域に属するものと判定する影領域検出手段、
として機能させることを特徴とした画像処理プログラム。