JP2002191044A - 顔画像監視システム - Google Patents
顔画像監視システムInfo
- Publication number
- JP2002191044A JP2002191044A JP2001316922A JP2001316922A JP2002191044A JP 2002191044 A JP2002191044 A JP 2002191044A JP 2001316922 A JP2001316922 A JP 2001316922A JP 2001316922 A JP2001316922 A JP 2001316922A JP 2002191044 A JP2002191044 A JP 2002191044A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- image information
- face
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 撮影画像から監視に必要な画像だけを抽出す
ることでより効率的な顔画像の監視処理を実現する顔画
像監視システムの提供を目的とする。 【解決手段】 監視対象の複数の画像情報を外部から連
続的に受け、画像情報中の移動物体を検出する移動物体
検出機能Ｓ５と、前記移動物体を人物画像であると判断
し、前記移動物体の前記顔領域を、所定の手法で評価し
て評価値を出力し、この評価値に基づいて、前記移動物
体が含まれる前記複数の画像情報から所定数の前記画像
情報を選択し出力する画像情報選択機能Ｓ６、Ｓ７とを
有することを特徴とする顔画像監視システム。これによ
り、監視に有効な画像のみを選択出力することが可能と
なる。
ることでより効率的な顔画像の監視処理を実現する顔画
像監視システムの提供を目的とする。 【解決手段】 監視対象の複数の画像情報を外部から連
続的に受け、画像情報中の移動物体を検出する移動物体
検出機能Ｓ５と、前記移動物体を人物画像であると判断
し、前記移動物体の前記顔領域を、所定の手法で評価し
て評価値を出力し、この評価値に基づいて、前記移動物
体が含まれる前記複数の画像情報から所定数の前記画像
情報を選択し出力する画像情報選択機能Ｓ６、Ｓ７とを
有することを特徴とする顔画像監視システム。これによ
り、監視に有効な画像のみを選択出力することが可能と
なる。
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理装置で
あって、特にカメラ等からの画像情報を用いる顔画像監
視システムに関するものである。
あって、特にカメラ等からの画像情報を用いる顔画像監
視システムに関するものである。
【０００２】
【従来の技術】最近、例えばコンビニエンスストア等の
店舗においては、店内に設置されたＩＴＶカメラ等から
の監視映像に基づく監視システムが非常に普及してい
る。この監視システムには色々な形態があり、例えば以
下の３種類が代表的に挙げられる。一つは、店内に設置
されたＩＴＶカメラが撮影した監視映像を監視センタに
伝送し、監視員がモニタできるようにする監視システム
がある。
店舗においては、店内に設置されたＩＴＶカメラ等から
の監視映像に基づく監視システムが非常に普及してい
る。この監視システムには色々な形態があり、例えば以
下の３種類が代表的に挙げられる。一つは、店内に設置
されたＩＴＶカメラが撮影した監視映像を監視センタに
伝送し、監視員がモニタできるようにする監視システム
がある。
【０００３】又、同様にＩＴＶカメラが撮影した監視映
像を、タイムラプスＶＴＲに一定間隔ごとに録画する監
視システムがある。このシステムでは、監視員が常にモ
ニタしている必要はなく、後に必要に応じて録画された
画像を参照することができる。更に、同様にＩＴＶカメ
ラが撮影した監視映像から画像の変化に基づいて人物を
検出し、ＶＴＲへの録画やディスクへの保存を行なう監
視システムがある。このシステムでは、監視の対象とな
るべき画像変化があったときのみ画像を保存するので、
少ない記憶容量でより効率的な監視画像の収集を行うこ
とができる。
像を、タイムラプスＶＴＲに一定間隔ごとに録画する監
視システムがある。このシステムでは、監視員が常にモ
ニタしている必要はなく、後に必要に応じて録画された
画像を参照することができる。更に、同様にＩＴＶカメ
ラが撮影した監視映像から画像の変化に基づいて人物を
検出し、ＶＴＲへの録画やディスクへの保存を行なう監
視システムがある。このシステムでは、監視の対象とな
るべき画像変化があったときのみ画像を保存するので、
少ない記憶容量でより効率的な監視画像の収集を行うこ
とができる。
【０００４】
【発明が解決しようとする課題】しかしながら上記した
各々の監視システムでは、以下のようにそれぞれ問題を
有している。つまり、第１の監視システムでは、監視員
が常時この監視画像をモニタしていなければならなら
ず、人件費がシステムのコストとして非常に負担となる
という問題がある。第２の監視システムでは、一定時間
ごとに録画されるだけなので、人物のいない無意味な画
像が多く記録されるため、記憶容量の不足や、必要画像
の検索の困難性などが問題としてある。又更に第３の監
視システムでは、人物のいる画像のみが得られるが、そ
れが必ずしも後からの監視画像の確認に適切な画像だけ
ではないという問題がある。本発明は、ＩＴＶカメラ等
からの撮影画像から監視に必要な画像だけを抽出し格納
することで、より効率的な監視処理を実現する顔画像監
視システムを提供することを目的とする。
各々の監視システムでは、以下のようにそれぞれ問題を
有している。つまり、第１の監視システムでは、監視員
が常時この監視画像をモニタしていなければならなら
ず、人件費がシステムのコストとして非常に負担となる
という問題がある。第２の監視システムでは、一定時間
ごとに録画されるだけなので、人物のいない無意味な画
像が多く記録されるため、記憶容量の不足や、必要画像
の検索の困難性などが問題としてある。又更に第３の監
視システムでは、人物のいる画像のみが得られるが、そ
れが必ずしも後からの監視画像の確認に適切な画像だけ
ではないという問題がある。本発明は、ＩＴＶカメラ等
からの撮影画像から監視に必要な画像だけを抽出し格納
することで、より効率的な監視処理を実現する顔画像監
視システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明は、監視対象の複
数の画像情報を外部から連続的に受け、前記画像情報中
の移動物体を検出する移動物体検出手段と、前記移動物
体検出手段が前記移動物体を検出したとき、その移動物
体画像情報から顔領域が検出されればこの移動物体を人
物画像であると判断する人物画像判断手段と、前記人物
画像判断手段が人物画像であると判断した前記移動物体
の前記顔領域を、所定の手法で評価して評価値を出力す
る顔領域評価手段と、前記顔領域評価手段により出力さ
れた評価値に基づいて、前記移動物体が含まれる前記複
数の画像情報から所定数の前記画像情報を選択し出力す
る画像情報選択手段とを有することを特徴とする顔画像
監視システムである。本発明は上記した構成により、従
来のように全ての移動物体を監視対象とするのではな
く、移動物体から顔領域を検出し顔領域を色々な方法で
評価しこの評価結果に基づいて、監視対象として選択し
出力するものである。これにより、人物判定に重要な人
間の顔を非常に効率よく監視することが可能となる。
数の画像情報を外部から連続的に受け、前記画像情報中
の移動物体を検出する移動物体検出手段と、前記移動物
体検出手段が前記移動物体を検出したとき、その移動物
体画像情報から顔領域が検出されればこの移動物体を人
物画像であると判断する人物画像判断手段と、前記人物
画像判断手段が人物画像であると判断した前記移動物体
の前記顔領域を、所定の手法で評価して評価値を出力す
る顔領域評価手段と、前記顔領域評価手段により出力さ
れた評価値に基づいて、前記移動物体が含まれる前記複
数の画像情報から所定数の前記画像情報を選択し出力す
る画像情報選択手段とを有することを特徴とする顔画像
監視システムである。本発明は上記した構成により、従
来のように全ての移動物体を監視対象とするのではな
く、移動物体から顔領域を検出し顔領域を色々な方法で
評価しこの評価結果に基づいて、監視対象として選択し
出力するものである。これにより、人物判定に重要な人
間の顔を非常に効率よく監視することが可能となる。
【０００６】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて人物の顔の方向を検出し、この顔方向に基づき評
価値を出力する顔方向評価手段と、前記顔方向評価手段
により出力された評価値に基づいて、前記移動物体が含
まれる前記複数の画像情報から所定数の前記画像情報を
選択し出力する画像情報選択手段と、を有することを特
徴とする顔画像監視システムである。本発明は上記した
構成により、全ての顔画像を選択出力するのではなく、
顔の方向を検出し、例えば人物判定により有効な正面の
顔画像を中心に選択出力することで、顔画像監視に非常
に有効な顔画像を自動検出することが可能となる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて人物の顔の方向を検出し、この顔方向に基づき評
価値を出力する顔方向評価手段と、前記顔方向評価手段
により出力された評価値に基づいて、前記移動物体が含
まれる前記複数の画像情報から所定数の前記画像情報を
選択し出力する画像情報選択手段と、を有することを特
徴とする顔画像監視システムである。本発明は上記した
構成により、全ての顔画像を選択出力するのではなく、
顔の方向を検出し、例えば人物判定により有効な正面の
顔画像を中心に選択出力することで、顔画像監視に非常
に有効な顔画像を自動検出することが可能となる。
【０００７】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔の面積を検出し、この顔面積に基づき評価値を
出力する顔面積評価手段と、前記顔面積評価手段により
出力された評価値に基づいて、前記移動物体が含まれる
前記複数の画像情報から所定数の前記画像情報を選択し
出力する画像情報選択手段と、を有することを特徴とす
る顔画像監視システムである。本発明は上記構成によ
り、全ての顔画像を抽出するのではなく、例えば顔面積
が比較的大きい、顔画像監視に有効な画像のみを選択出
力することにより、より効率的な顔監視処理を実現する
ことができる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔の面積を検出し、この顔面積に基づき評価値を
出力する顔面積評価手段と、前記顔面積評価手段により
出力された評価値に基づいて、前記移動物体が含まれる
前記複数の画像情報から所定数の前記画像情報を選択し
出力する画像情報選択手段と、を有することを特徴とす
る顔画像監視システムである。本発明は上記構成によ
り、全ての顔画像を抽出するのではなく、例えば顔面積
が比較的大きい、顔画像監視に有効な画像のみを選択出
力することにより、より効率的な顔監視処理を実現する
ことができる。
【０００８】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像のコントラストを検出し、この顔画像コン
トラストに基づき評価値を出力する顔画像コントラスト
評価手段と、前記顔画像コントラスト評価手段により出
力された評価値に基づいて、前記移動物体が含まれる前
記複数の画像情報から所定数の前記画像情報を選択し出
力する画像情報選択手段と、を有することを特徴とする
顔画像監視システムである。本発明は上記した構成によ
り、全ての顔画像を選択出力するわけではなく、顔監視
に有効なコントラストの高い顔画像を優先的に選択出力
することにより、より効率的な顔監視処理を実現するこ
とができる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像のコントラストを検出し、この顔画像コン
トラストに基づき評価値を出力する顔画像コントラスト
評価手段と、前記顔画像コントラスト評価手段により出
力された評価値に基づいて、前記移動物体が含まれる前
記複数の画像情報から所定数の前記画像情報を選択し出
力する画像情報選択手段と、を有することを特徴とする
顔画像監視システムである。本発明は上記した構成によ
り、全ての顔画像を選択出力するわけではなく、顔監視
に有効なコントラストの高い顔画像を優先的に選択出力
することにより、より効率的な顔監視処理を実現するこ
とができる。
【０００９】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像の肌色の鮮明度を検出し、この顔画像肌色
鮮明度に基づき評価値を出力する顔画像肌色鮮明度評価
手段と、前記顔画像肌色鮮明度評価手段により出力され
た評価値に基づいて、前記移動物体が含まれる前記複数
の画像情報から所定数の前記画像情報を選択し出力する
画像情報選択手段と、を有することを特徴とする顔画像
監視システムである。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像の肌色の鮮明度を検出し、この顔画像肌色
鮮明度に基づき評価値を出力する顔画像肌色鮮明度評価
手段と、前記顔画像肌色鮮明度評価手段により出力され
た評価値に基づいて、前記移動物体が含まれる前記複数
の画像情報から所定数の前記画像情報を選択し出力する
画像情報選択手段と、を有することを特徴とする顔画像
監視システムである。
【００１０】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像の表情を検出し、この顔画像表情に基づき
評価値を出力する顔画像表情評価手段と、前記顔画像表
情評価手段により出力された評価値に基づいて、前記移
動物体が含まれる前記複数の画像情報から所定数の前記
画像情報を選択し出力する画像情報選択手段とを有する
ことを特徴とする顔画像監視システムである。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて顔画像の表情を検出し、この顔画像表情に基づき
評価値を出力する顔画像表情評価手段と、前記顔画像表
情評価手段により出力された評価値に基づいて、前記移
動物体が含まれる前記複数の画像情報から所定数の前記
画像情報を選択し出力する画像情報選択手段とを有する
ことを特徴とする顔画像監視システムである。
【００１１】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断したとき、人物画像として判断さ
れた移動物体が画像中に幾つあるかに基づいて、前記移
動物体を含む前記画像情報の評価値を出力する人数評価
手段と、前記人数評価手段により出力された評価値に基
づいて、前記移動物体が含まれる前記複数の画像情報か
ら所定数の前記画像情報を選択し出力する画像情報選択
手段とを有することを特徴とする顔画像監視システムで
ある。本発明は上記した構成により、移動物体の個体数
を検出することにより、例えば、一人の人物の画像を優
先的に選択出力したり、又複数人物の画像を優先的に選
択出力したりすることが可能となる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断したとき、人物画像として判断さ
れた移動物体が画像中に幾つあるかに基づいて、前記移
動物体を含む前記画像情報の評価値を出力する人数評価
手段と、前記人数評価手段により出力された評価値に基
づいて、前記移動物体が含まれる前記複数の画像情報か
ら所定数の前記画像情報を選択し出力する画像情報選択
手段とを有することを特徴とする顔画像監視システムで
ある。本発明は上記した構成により、移動物体の個体数
を検出することにより、例えば、一人の人物の画像を優
先的に選択出力したり、又複数人物の画像を優先的に選
択出力したりすることが可能となる。
【００１２】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体中の人物画像の
全身が示されている割合に基づいて、評価値を出力する
全身性評価手段と、前記全身性評価手段により出力され
た評価値に基づいて、前記移動物体が含まれる前記複数
の画像情報から所定数の前記画像情報を選択し出力する
画像情報選択手段とを有することを特徴とする顔画像監
視システムである。本発明は上記した構成により、顔画
像と全身画像との比率等を考慮することにより、人物の
顔だけでなく人物の全身を含めた画像を優先的に選択出
力することが可能となる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体中の人物画像の
全身が示されている割合に基づいて、評価値を出力する
全身性評価手段と、前記全身性評価手段により出力され
た評価値に基づいて、前記移動物体が含まれる前記複数
の画像情報から所定数の前記画像情報を選択し出力する
画像情報選択手段とを有することを特徴とする顔画像監
視システムである。本発明は上記した構成により、顔画
像と全身画像との比率等を考慮することにより、人物の
顔だけでなく人物の全身を含めた画像を優先的に選択出
力することが可能となる。
【００１３】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した移動物体が、選択される画像
中の監視領域内のできるだけ多い位置に存在するよう
に、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
とを有することを特徴とする顔画像監視システムであ
る。本発明は上記した構成により、選択された画像の色
々な場所に人物画像がくるように、人物の位置の多様性
に評価を与え、この評価値に応じて画像を選択出力する
ものである。このような位置の多様性のある画像を選択
出力することにより、監視対象の人物の行動範囲を把握
するのに都合の良いが増を収集することが可能となる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した移動物体が、選択される画像
中の監視領域内のできるだけ多い位置に存在するよう
に、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
とを有することを特徴とする顔画像監視システムであ
る。本発明は上記した構成により、選択された画像の色
々な場所に人物画像がくるように、人物の位置の多様性
に評価を与え、この評価値に応じて画像を選択出力する
ものである。このような位置の多様性のある画像を選択
出力することにより、監視対象の人物の行動範囲を把握
するのに都合の良いが増を収集することが可能となる。
【００１４】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて人物の顔の方向を検出し、選択される所定数の画
像情報ができるだけ多様な顔方向のものとなるべく、前
記移動物体が含まれる前記複数の画像情報から所定数の
前記画像情報を選択し出力する画像情報選択手段と、を
有することを特徴とする顔画像監視システムである。本
発明は上記した構成により、選択された画像の顔方向が
単調とならないように顔の方向の多様性を評価値として
設け、これにより色々な方向の顔画像を選択出力するも
のである。これにより、監視対象の人物の人相につい
て、より詳細な情報を収集することが可能となる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域に
ついて人物の顔の方向を検出し、選択される所定数の画
像情報ができるだけ多様な顔方向のものとなるべく、前
記移動物体が含まれる前記複数の画像情報から所定数の
前記画像情報を選択し出力する画像情報選択手段と、を
有することを特徴とする顔画像監視システムである。本
発明は上記した構成により、選択された画像の顔方向が
単調とならないように顔の方向の多様性を評価値として
設け、これにより色々な方向の顔画像を選択出力するも
のである。これにより、監視対象の人物の人相につい
て、より詳細な情報を収集することが可能となる。
【００１５】又本発明は、監視対象の複数の画像情報を
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域
を、所定の手法で評価して評価値を出力する顔領域評価
手段と、前記顔領域評価手段により出力された評価値に
基づいて、前記移動物体が含まれる前記複数の画像情報
から所定数の前記画像情報を選択し出力する画像情報選
択手段と、前記画像情報選択手段が選択した前記所定数
の画像情報を記憶領域に格納する画像情報格納手段とを
有することを特徴とする顔画像監視システムである。本
発明は上記した構成により、顔領域に基づいて選択検出
した画像情報を、記憶領域に自動的に格納する監視シス
テムを提供するものであり、その後の検索処理等を容易
にすることができる。
外部から連続的に受け、前記画像情報中の移動物体を検
出する移動物体検出手段と、前記移動物体検出手段が前
記移動物体を検出したとき、その移動物体画像情報から
顔領域が検出されればこの移動物体を人物画像であると
判断する人物画像判断手段と、前記人物画像判断手段が
人物画像であると判断した前記移動物体の前記顔領域
を、所定の手法で評価して評価値を出力する顔領域評価
手段と、前記顔領域評価手段により出力された評価値に
基づいて、前記移動物体が含まれる前記複数の画像情報
から所定数の前記画像情報を選択し出力する画像情報選
択手段と、前記画像情報選択手段が選択した前記所定数
の画像情報を記憶領域に格納する画像情報格納手段とを
有することを特徴とする顔画像監視システムである。本
発明は上記した構成により、顔領域に基づいて選択検出
した画像情報を、記憶領域に自動的に格納する監視シス
テムを提供するものであり、その後の検索処理等を容易
にすることができる。
【００１６】
【発明の実施の形態】この発明の各々の実施形態につい
て、図面を参照して以下に詳細に説明する。 （第１実施形態）まず初めに第１実施形態について、図
面を用いて説明する。図１は、第１乃至第４実施形態の
全体構成を示すブロックダイアグラムである。
て、図面を参照して以下に詳細に説明する。 （第１実施形態）まず初めに第１実施形態について、図
面を用いて説明する。図１は、第１乃至第４実施形態の
全体構成を示すブロックダイアグラムである。
【００１７】図１において、この顔画像監視システムの
全体は、画像入力部１、Ａ／Ｄ変換部２、画像バッファ
（画像メモリ）３、画像処理部４（処理プロセッサ）か
らなる。画像入力部１によって撮像された画像はＡ／Ｄ
変換部２によってディジタル信号に変換され、画像メモ
リ３に格納される。処理プロセッサ４はその画像データ
を読み込んでディジタル画像処理を行なう。画像入力部
１は例えば通常のＣＣＤカメラであってよい。
全体は、画像入力部１、Ａ／Ｄ変換部２、画像バッファ
（画像メモリ）３、画像処理部４（処理プロセッサ）か
らなる。画像入力部１によって撮像された画像はＡ／Ｄ
変換部２によってディジタル信号に変換され、画像メモ
リ３に格納される。処理プロセッサ４はその画像データ
を読み込んでディジタル画像処理を行なう。画像入力部
１は例えば通常のＣＣＤカメラであってよい。
【００１８】以下に、処理プロセッサ４での処理内容に
ついて詳細に説明する。図２は、第１実施形態の処理プ
ロセッサ部の処理の流れを示すフローチャートである。
図２において、処理プロセッサ４で行なわれる処理の流
れを示す。処理手順は、同一人物が存在するＮ枚の連続
画像系列を切り出す処理（Ｓ５）と、選択画像枚数Ｐを
決定する処理（Ｓ６）と、Ｎ枚の画像系列からＰ枚を選
択する処理（Ｓ７）からなる。
ついて詳細に説明する。図２は、第１実施形態の処理プ
ロセッサ部の処理の流れを示すフローチャートである。
図２において、処理プロセッサ４で行なわれる処理の流
れを示す。処理手順は、同一人物が存在するＮ枚の連続
画像系列を切り出す処理（Ｓ５）と、選択画像枚数Ｐを
決定する処理（Ｓ６）と、Ｎ枚の画像系列からＰ枚を選
択する処理（Ｓ７）からなる。
【００１９】図３は、シーン抽出の様子を示す説明図で
あり、上記したＮ枚の連続画像系列の切り出し処理（Ｓ
５）は、画像メモリ３から読み出された画像と、基準と
なる背景画像とを比較し、それらの違いから侵入した人
物候補領域を検出し、人物が検出されている連続画像系
列をシーンとして抽出するものである。
あり、上記したＮ枚の連続画像系列の切り出し処理（Ｓ
５）は、画像メモリ３から読み出された画像と、基準と
なる背景画像とを比較し、それらの違いから侵入した人
物候補領域を検出し、人物が検出されている連続画像系
列をシーンとして抽出するものである。
【００２０】人物領域検出は、例えば、連続する画像に
対して差分処理を行ない、ノイズの影響を抑えるために
平滑化処理を行なった後ある一定しきい値で２値化し、
４連結または８連結の意味で空間的に連結する領域とし
て統合・ラベリングを行ない、その領域の大きさ・形状
から人物としての尤度の高いものを選択すればよい。こ
のとき、２値化のしきい値は、あらかじめ与えた値であ
ってもよいし、頻度分布の分散比を最大化する値とする
手法［１］で決定してもよい。
対して差分処理を行ない、ノイズの影響を抑えるために
平滑化処理を行なった後ある一定しきい値で２値化し、
４連結または８連結の意味で空間的に連結する領域とし
て統合・ラベリングを行ない、その領域の大きさ・形状
から人物としての尤度の高いものを選択すればよい。こ
のとき、２値化のしきい値は、あらかじめ与えた値であ
ってもよいし、頻度分布の分散比を最大化する値とする
手法［１］で決定してもよい。
【００２１】別手法として、事後確率にもとづく手法
［２］を用いてもよい。事象θ０を背景、事象θ１を人
物として、ある画像内の画素の輝度を観測する前のθ
０，θ１の事前確率をそれぞれｗ０，ｗ１（ただし、ｗ
０＋ｗ１＝１）とし、事象θｋのもとでの画像輝度Ｉの
条件付き確率をＰ（Ｉ｜θｋ）とすれば、ベイズの定理
により、Ｉが観測された後の事後確率ｗ１′はｗ１′＝
ｗ１* Ｐ（Ｉ｜θ１）／｛ｗ０* Ｐ（Ｉ｜θ０）＋ｗ１
* Ｐ（Ｉ｜θ０）｝で求められる。このｗ１′があるし
きい値よりも大きい画素を人物に属する画素とし、この
領域がある一定のものを人物として検出すればよい。
［２］を用いてもよい。事象θ０を背景、事象θ１を人
物として、ある画像内の画素の輝度を観測する前のθ
０，θ１の事前確率をそれぞれｗ０，ｗ１（ただし、ｗ
０＋ｗ１＝１）とし、事象θｋのもとでの画像輝度Ｉの
条件付き確率をＰ（Ｉ｜θｋ）とすれば、ベイズの定理
により、Ｉが観測された後の事後確率ｗ１′はｗ１′＝
ｗ１* Ｐ（Ｉ｜θ１）／｛ｗ０* Ｐ（Ｉ｜θ０）＋ｗ１
* Ｐ（Ｉ｜θ０）｝で求められる。このｗ１′があるし
きい値よりも大きい画素を人物に属する画素とし、この
領域がある一定のものを人物として検出すればよい。
【００２２】次に、同一人物が検出されている連続画像
系列を一つのシーンとして切り出すための手順の一例を
説明する。最初の画像（第１フレーム）の決定は、例え
ば監視画面の一方の端に初めて人物候補領域が検出され
た時（人物侵入時）とする。また、最後の画像（最終フ
レーム）の決定は、例えば監視画面の一方の端に人物候
補領域が検出された後に人物候補領域が検出されなくな
った時（人物退出時）とする。この結果、切り出された
画像枚数をＮとする。
系列を一つのシーンとして切り出すための手順の一例を
説明する。最初の画像（第１フレーム）の決定は、例え
ば監視画面の一方の端に初めて人物候補領域が検出され
た時（人物侵入時）とする。また、最後の画像（最終フ
レーム）の決定は、例えば監視画面の一方の端に人物候
補領域が検出された後に人物候補領域が検出されなくな
った時（人物退出時）とする。この結果、切り出された
画像枚数をＮとする。
【００２３】同一人物が含まれる連続画像の切り出し
は、上記に限定されるものではなく、例えば、画面内検
知位置によってあらかじめ定めておいたゾーンごとに分
割して切り出してもよい。また、その位置・大きさ・移
動速度・色情報の類似度などにより画像間で人物の対応
づけを行ないながら追跡処理を行なうことにより、人物
の動きとみなされない場合は、その人物候補領域を候補
より除くなどの処理を行ない、人物判定の信頼性を高め
ることも可能である。
は、上記に限定されるものではなく、例えば、画面内検
知位置によってあらかじめ定めておいたゾーンごとに分
割して切り出してもよい。また、その位置・大きさ・移
動速度・色情報の類似度などにより画像間で人物の対応
づけを行ないながら追跡処理を行なうことにより、人物
の動きとみなされない場合は、その人物候補領域を候補
より除くなどの処理を行ない、人物判定の信頼性を高め
ることも可能である。
【００２４】また、人物は一人に限定されるものではな
く、複数人物が含まれる場合でもこれらの追跡を行なう
ことにより各自が存在する連続画像をそれぞれ切り出す
ことが可能である（この場合、画像は重複して切り出さ
れる）。あるいは、複数人物が存在している連続画像を
一まとまりとして切り出してもよい。
く、複数人物が含まれる場合でもこれらの追跡を行なう
ことにより各自が存在する連続画像をそれぞれ切り出す
ことが可能である（この場合、画像は重複して切り出さ
れる）。あるいは、複数人物が存在している連続画像を
一まとまりとして切り出してもよい。
【００２５】最後に、選択画像枚数Ｐの決定方法を説明
する。ここでは、選択画像枚数Ｐを、選択率αをもとに
Ｐ＝［α* Ｎを越えない最大整数］とする。選択率αは
あらかじめユーザが与えておいたものでもよいし、画像
伝送部５：の混雑具合いにしたがって動的に変更しても
よい。そして、Ｎ枚の中から均等に間引いてＰ枚を選択
するものとする。
する。ここでは、選択画像枚数Ｐを、選択率αをもとに
Ｐ＝［α* Ｎを越えない最大整数］とする。選択率αは
あらかじめユーザが与えておいたものでもよいし、画像
伝送部５：の混雑具合いにしたがって動的に変更しても
よい。そして、Ｎ枚の中から均等に間引いてＰ枚を選択
するものとする。
【００２６】以上の第１実施形態として示した手順によ
り、従来のように移動物体が示された画像の全て（Ｎ
枚）を選択出力するのではなく、これを一定の手法で選
択することにより代表となるＰ枚を選択するものであ
る。こうすることにより、画像の保存をする際にも非常
に記憶容量の節約を行うことができ、更に後に照合検索
等を行う場合も効率的な処理を行うことができる。
り、従来のように移動物体が示された画像の全て（Ｎ
枚）を選択出力するのではなく、これを一定の手法で選
択することにより代表となるＰ枚を選択するものであ
る。こうすることにより、画像の保存をする際にも非常
に記憶容量の節約を行うことができ、更に後に照合検索
等を行う場合も効率的な処理を行うことができる。
【００２７】（第２実施形態）次に本発明の第２実施形
態について図面を用いて説明する。本発明の実施形態の
全体構成は、図１に示した第１実施形態と同じである。
以下に、処理プロセッサ４での処理内容について詳細に
説明する。
態について図面を用いて説明する。本発明の実施形態の
全体構成は、図１に示した第１実施形態と同じである。
以下に、処理プロセッサ４での処理内容について詳細に
説明する。
【００２８】図４は、第２実施形態の処理プロセッサ部
の処理の流れを示すフローチャートであり、処理プロセ
ッサ４で行なわれる処理を示す。図４において処理手順
は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ
８）と、その連続画像系列の各画像に対して顔認識を行
なって選択優先度を計算する処理（Ｓ９）と、その選択
優先度に基づいて画像を選択する処理（Ｓ１０）とから
なる。
の処理の流れを示すフローチャートであり、処理プロセ
ッサ４で行なわれる処理を示す。図４において処理手順
は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ
８）と、その連続画像系列の各画像に対して顔認識を行
なって選択優先度を計算する処理（Ｓ９）と、その選択
優先度に基づいて画像を選択する処理（Ｓ１０）とから
なる。
【００２９】処理Ｓ８は、単純に一定時間ごとにＮ枚を
バッファリングしてもよいし、第１実施形態と同様に動
き検知を行ない、人物が存在するＮ枚の連続画像を切り
出してもよい。パラメータＰの値は、あらかじめ固定値
として与えておいてもよいし（ＰがＮ以上の時は、選択
を行なわない）、第１実施形態のように選択率αをもと
にＰ＝［α* Ｎを越えない最大整数］としても良い。次
に、与えられた連続画像系列の各画像に対して顔認識を
行なって選択優先度を計算する方法について図５を用い
て具体的に説明する。図５は、画像選択部における処理
の具体例を示す説明図である。
バッファリングしてもよいし、第１実施形態と同様に動
き検知を行ない、人物が存在するＮ枚の連続画像を切り
出してもよい。パラメータＰの値は、あらかじめ固定値
として与えておいてもよいし（ＰがＮ以上の時は、選択
を行なわない）、第１実施形態のように選択率αをもと
にＰ＝［α* Ｎを越えない最大整数］としても良い。次
に、与えられた連続画像系列の各画像に対して顔認識を
行なって選択優先度を計算する方法について図５を用い
て具体的に説明する。図５は、画像選択部における処理
の具体例を示す説明図である。
【００３０】２−１．人物の顔方向評価値 例えば、人物の顔が正面向きで写っている画像は、より
人物検証に適した画像であると考えられる。そこでユー
ザの求める顔方向（例えば正面顔）に近い画像に高い評
価値を与え、優先的に選択する。
人物検証に適した画像であると考えられる。そこでユー
ザの求める顔方向（例えば正面顔）に近い画像に高い評
価値を与え、優先的に選択する。
【００３１】人物の顔方向は、例えば正準判別分析
［３］により求めることができる。これは、正面顔、左
向き顔、右向き顔などのクラスに分類された学習用顔画
像を用意して、以下のような正準判別分析による識別を
行なうことで実現できる。 （ａ）Ａ×Ｂドットの顔領域の画素値をＡ×Ｂ次元のベ
クトルと考え、クラス内分散Ｓｂ、クラス間分散Ｓｗを
計算する。 （ｂ）ｉｎｖ（Ｓｗ）Ｓｂ ｖ＝λｖなる固有値問題を
解く（ｉｎｖ（Ｓｗ）はＳｗの逆行列）。 （ｃ）Ｖ＝固有ベクトルｖｉを列ベクトルとする射影行
列を求める。 （ｄ）各クラス画像の平均ベクトルをＶに射影し、各ク
ラスの平均射影ベクトルを計算する。 （ｅ）認識時に入力画像領域をＶに射影し、その結果を
（ｄ）における平均射影ベクトルと比較し、最も距離の
近いクラスが入力画像の属するクラスだとするこの識別
処理を、Ｎ枚の画像選択処理で検出された人物候補領域
に対して行なうことで、顔の検知と顔方向の識別を行な
うことができる。
［３］により求めることができる。これは、正面顔、左
向き顔、右向き顔などのクラスに分類された学習用顔画
像を用意して、以下のような正準判別分析による識別を
行なうことで実現できる。 （ａ）Ａ×Ｂドットの顔領域の画素値をＡ×Ｂ次元のベ
クトルと考え、クラス内分散Ｓｂ、クラス間分散Ｓｗを
計算する。 （ｂ）ｉｎｖ（Ｓｗ）Ｓｂ ｖ＝λｖなる固有値問題を
解く（ｉｎｖ（Ｓｗ）はＳｗの逆行列）。 （ｃ）Ｖ＝固有ベクトルｖｉを列ベクトルとする射影行
列を求める。 （ｄ）各クラス画像の平均ベクトルをＶに射影し、各ク
ラスの平均射影ベクトルを計算する。 （ｅ）認識時に入力画像領域をＶに射影し、その結果を
（ｄ）における平均射影ベクトルと比較し、最も距離の
近いクラスが入力画像の属するクラスだとするこの識別
処理を、Ｎ枚の画像選択処理で検出された人物候補領域
に対して行なうことで、顔の検知と顔方向の識別を行な
うことができる。
【００３２】図６は、顔方向識別処理の概念を示す説明
図であり、上記の説明を補うものである。この手法の他
に、目・鼻・口などの標準パターンを用意し、そのパタ
ーンと人物領域とのマッチングをとり、パターンの位置
関係から顔の向きを認識してもよい。
図であり、上記の説明を補うものである。この手法の他
に、目・鼻・口などの標準パターンを用意し、そのパタ
ーンと人物領域とのマッチングをとり、パターンの位置
関係から顔の向きを認識してもよい。
【００３３】このようにして得られた顔方向に対して、
ユーザが与えた評価値 ｛正面顔＝１００、左斜め顔＝７０、右斜め顔＝７０、
右顔＝４０、左顔＝４０、後ろ側＝１０、…｝ を適用することで、人物の顔方向評価値Ｅ１が決定でき
る。
ユーザが与えた評価値 ｛正面顔＝１００、左斜め顔＝７０、右斜め顔＝７０、
右顔＝４０、左顔＝４０、後ろ側＝１０、…｝ を適用することで、人物の顔方向評価値Ｅ１が決定でき
る。
【００３４】２−２．人物の顔面積評価値 人物の顔が大きく写っている画像は、より人物検証に適
した画像であると考えられる。そこで人物の顔面積が大
きい画像に高い評価値を与え、優先的に選択する。顔領
域の面積Ｓは、例えば連結した肌色領域の面積を求める
ことで得ることができる。よって、この値を人物の顔面
積評価値とすればよい。 Ｅ２＝Ｓ ２−３．人物の顔コントラスト評価値 顔のコントラストが高い画像は、より人物検証に適した
画像であると考えられる。そこでこのコントラストが高
い画像に高い評価値を与え、優先的に選択する。顔コン
トラストは、顔領域の輝度の分散値μをもとに計算でき
る。分散が大きいほど輝度の違いが大きくコントラスト
が高いといえるので、これを評価値とすればよい。よっ
て、 Ｅ３＝μ とすることができる。
した画像であると考えられる。そこで人物の顔面積が大
きい画像に高い評価値を与え、優先的に選択する。顔領
域の面積Ｓは、例えば連結した肌色領域の面積を求める
ことで得ることができる。よって、この値を人物の顔面
積評価値とすればよい。 Ｅ２＝Ｓ ２−３．人物の顔コントラスト評価値 顔のコントラストが高い画像は、より人物検証に適した
画像であると考えられる。そこでこのコントラストが高
い画像に高い評価値を与え、優先的に選択する。顔コン
トラストは、顔領域の輝度の分散値μをもとに計算でき
る。分散が大きいほど輝度の違いが大きくコントラスト
が高いといえるので、これを評価値とすればよい。よっ
て、 Ｅ３＝μ とすることができる。
【００３５】２−４．人物の肌色鮮明度評価値 肌色の鮮明度が高い画像は、より人物検証に適した画像
であると考えられる。そこでこの鮮明度が高い画像に評
価値を与え、優先的に選択する。肌色鮮明度は、ＲＧＢ
画像をＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌ
ｕｅ）空間に変換する式［３］にもとづいて、顔領域の
平均彩度（Ｓａｔｕｒａｔｉｏｎ）をみることで評価す
ることができる。
であると考えられる。そこでこの鮮明度が高い画像に評
価値を与え、優先的に選択する。肌色鮮明度は、ＲＧＢ
画像をＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌ
ｕｅ）空間に変換する式［３］にもとづいて、顔領域の
平均彩度（Ｓａｔｕｒａｔｉｏｎ）をみることで評価す
ることができる。
【００３６】例えば彩度Ｓは、 Ｓ＝（Ｉ−ｉ）／Ｉ ただしＩ＝ｍａｘ（Ｒ、Ｇ，Ｂ），ｉ＝ｍｉｎ（Ｒ，
Ｇ，Ｂ） または Ｓ＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／
３ で求めることができる。よって肌色鮮明度評価値は、 Ｅ４＝Ｓ とすることができる。
Ｇ，Ｂ） または Ｓ＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／
３ で求めることができる。よって肌色鮮明度評価値は、 Ｅ４＝Ｓ とすることができる。
【００３７】２−５．人物の顔表情評価値 顔の表情がニュートラル（目つぶりなどをしていない）
な画像は、より人物検証に適した画像であると考えられ
る。そこでこの表情に優先度を与えて評価値を計算す
る。顔表情評価値は、例えば、普通の表情、目つぶり
顔、口開き顔などのクラスに分類された学習用顔画像を
用意して、前述した顔方向識別と同様の正準判別分析に
よる識別を行ない、各クラスにユーザが与えた評価値 ｛普通の表情＝１００、目つぶり顔＝７０、口開き顔＝
６０、…｝ をもとにＥ５を決定すればよい。また他の方法として、
開いた目、閉じた目、開いた口、閉じた口などの標準パ
ターンを用意し、そのパターンと顔領域とのマッチング
をとり、パターンの組合せから表情を識別する方法で行
なってもよい。
な画像は、より人物検証に適した画像であると考えられ
る。そこでこの表情に優先度を与えて評価値を計算す
る。顔表情評価値は、例えば、普通の表情、目つぶり
顔、口開き顔などのクラスに分類された学習用顔画像を
用意して、前述した顔方向識別と同様の正準判別分析に
よる識別を行ない、各クラスにユーザが与えた評価値 ｛普通の表情＝１００、目つぶり顔＝７０、口開き顔＝
６０、…｝ をもとにＥ５を決定すればよい。また他の方法として、
開いた目、閉じた目、開いた口、閉じた口などの標準パ
ターンを用意し、そのパターンと顔領域とのマッチング
をとり、パターンの組合せから表情を識別する方法で行
なってもよい。
【００３８】実施形態は、上記に限定されるものではな
く、シーン中に複数の人物が存在する場合は、例えば各
人物に対する評価値を加算するなどすればよい。また、
上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ１，Ｅ２，…，Ｅｘ（ｘは５以下）に対して重み
付け係数ｗ１，ｗ２，…，ｗｘをあらかじめ定義してお
き、重み付け加算すればよい。
く、シーン中に複数の人物が存在する場合は、例えば各
人物に対する評価値を加算するなどすればよい。また、
上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ１，Ｅ２，…，Ｅｘ（ｘは５以下）に対して重み
付け係数ｗ１，ｗ２，…，ｗｘをあらかじめ定義してお
き、重み付け加算すればよい。
【００３９】 Ｅ６＝ｗ１* Ｅ１＋ｗ２* Ｅ２＋…＋ｗｘ* Ｅｘ また、評価尺度自身に優先順を定義し、Ｅ１で優先度順
位をつけて同位の場合はＥ２で優先度順位をつけ、Ｅ２
でも同位の場合はＥ３で優先度順位をつけていくという
処理を行なってもよい。
位をつけて同位の場合はＥ２で優先度順位をつけ、Ｅ２
でも同位の場合はＥ３で優先度順位をつけていくという
処理を行なってもよい。
【００４０】次に、その選択優先度に基づいて画像を選
択する処理について説明する。ここでは、Ｎ枚の画像系
列から、選択優先度の大きい順番にＰ枚の画像を選択す
る（ＰはＮ以下の整数で、適当にシステムより与えられ
るものとする）。選択された画像は、ネットワーク画像
伝送したり、磁気ディスクやＶＴＲなどの適当な画像記
憶装置に保存する目的に使用することができ、選択され
た適切な画像のみを伝送・保存すればよいので伝送容量
と保存容量が少なくて済む。
択する処理について説明する。ここでは、Ｎ枚の画像系
列から、選択優先度の大きい順番にＰ枚の画像を選択す
る（ＰはＮ以下の整数で、適当にシステムより与えられ
るものとする）。選択された画像は、ネットワーク画像
伝送したり、磁気ディスクやＶＴＲなどの適当な画像記
憶装置に保存する目的に使用することができ、選択され
た適切な画像のみを伝送・保存すればよいので伝送容量
と保存容量が少なくて済む。
【００４１】処理形態については、ここではＮ枚からＰ
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
以上第２実施形態に示す方法で移動画像を選別し出力す
ることで、様々な顔画像の諸条件に応じて、より効率的
な顔画像の監視処理を実現することが可能となる。
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
以上第２実施形態に示す方法で移動画像を選別し出力す
ることで、様々な顔画像の諸条件に応じて、より効率的
な顔画像の監視処理を実現することが可能となる。
【００４２】（第３実施形態）次に本発明の第３実施形
態について図面を用いて説明する。本発明の実施形態の
全体構成は、図１で示した第１実施形態と同じである。
以下に、処理プロセッサ４での処理内容について詳細に
説明する。図７は、第３実施形態の処理プロセッサ部の
処理の流れを示すフローチャートであり、処理プロセッ
サ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚
の連続画像系列をバッファリングする処理（Ｓ１１）
と、その連続画像系列の各画像に対して人物の全身認識
を行なって選択優先度を計算する処理（Ｓ１２）と、そ
の選択優先度に基づいて画像を選択する処理（Ｓ１３）
とからなる。処理（Ｓ１１）に関しては、第２実施形態
と同様であってよい。
態について図面を用いて説明する。本発明の実施形態の
全体構成は、図１で示した第１実施形態と同じである。
以下に、処理プロセッサ４での処理内容について詳細に
説明する。図７は、第３実施形態の処理プロセッサ部の
処理の流れを示すフローチャートであり、処理プロセッ
サ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚
の連続画像系列をバッファリングする処理（Ｓ１１）
と、その連続画像系列の各画像に対して人物の全身認識
を行なって選択優先度を計算する処理（Ｓ１２）と、そ
の選択優先度に基づいて画像を選択する処理（Ｓ１３）
とからなる。処理（Ｓ１１）に関しては、第２実施形態
と同様であってよい。
【００４３】次に、与えられた連続画像系列の各画像に
対して人物の全体認識を行なって選択優先度を計算する
方法（処理Ｓ１２）について具体的に説明する。図８
は、人物の計数、移動、全身性の認識処理を示す説明図
であり、第３実施形態を説明するものである。
対して人物の全体認識を行なって選択優先度を計算する
方法（処理Ｓ１２）について具体的に説明する。図８
は、人物の計数、移動、全身性の認識処理を示す説明図
であり、第３実施形態を説明するものである。
【００４４】３−１．人物の人数評価値 人物数が多い画像は、監視領域の様子をよりよくとらえ
ているとして、これらを適切な画像として選択すること
が考えられる。逆に、人物数が少ないシーンは、監視領
域での不正行為が行なわれている可能性が高いとして、
これらを適切な画像として選択することも考えられる。
よって、画像中の人物数にもとづいて優先度の評価値を
求めることができる。最初に第１実施形態と同様な方法
で人物領域を抽出し、それらの領域数から画面中に含ま
れている人物数Ｎｈを求める。よって人数評価値は、 Ｅ７＝ Ｎｈ （人数が多いものを優先する場合） または Ｅ７＝１／Ｎｈ（人数が少ないものを優先する場合） とすることができる。
ているとして、これらを適切な画像として選択すること
が考えられる。逆に、人物数が少ないシーンは、監視領
域での不正行為が行なわれている可能性が高いとして、
これらを適切な画像として選択することも考えられる。
よって、画像中の人物数にもとづいて優先度の評価値を
求めることができる。最初に第１実施形態と同様な方法
で人物領域を抽出し、それらの領域数から画面中に含ま
れている人物数Ｎｈを求める。よって人数評価値は、 Ｅ７＝ Ｎｈ （人数が多いものを優先する場合） または Ｅ７＝１／Ｎｈ（人数が少ないものを優先する場合） とすることができる。
【００４５】３−２．人物の全身性評価値 人物の全体像をとらえている画像は、身長の高さ・服の
色柄などが分かるため後からの人物検証に役立つので、
このような画像に高い評価値を与え、優先的に選択す
る。最初に、第１実施形態と同様な方法で各画像ごとの
人物領域の面積を計算する、次に、第２実施形態と同様
な方法で顔領域面積を計算する。すなわち、人物領域の
面積をＳ０、顔領域の面積をＳ１とすると、 Ｅ８＝Ｓ０／Ｓ１ は全体像をどれだけとらえているかの評価値となる。例
えば人物面積Ｓ０に対して顔面積Ｓ１が小さいというこ
とは、体部分までの全体像をよくとらえているというこ
とを意味し、その時Ｓ０／Ｓ１は大きな値をもつ。
色柄などが分かるため後からの人物検証に役立つので、
このような画像に高い評価値を与え、優先的に選択す
る。最初に、第１実施形態と同様な方法で各画像ごとの
人物領域の面積を計算する、次に、第２実施形態と同様
な方法で顔領域面積を計算する。すなわち、人物領域の
面積をＳ０、顔領域の面積をＳ１とすると、 Ｅ８＝Ｓ０／Ｓ１ は全体像をどれだけとらえているかの評価値となる。例
えば人物面積Ｓ０に対して顔面積Ｓ１が小さいというこ
とは、体部分までの全体像をよくとらえているというこ
とを意味し、その時Ｓ０／Ｓ１は大きな値をもつ。
【００４６】実施形態は、上記に限定されるものではな
く、シーン中に複数の人物が存在する場合は、例えば各
人物に対する評価値を加算するなどすればよい。また、
上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ７，Ｅ８に対して重み付け係数ｗ７，ｗ８をあら
かじめ定義しておき、重み付け加算すればよい。
く、シーン中に複数の人物が存在する場合は、例えば各
人物に対する評価値を加算するなどすればよい。また、
上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ７，Ｅ８に対して重み付け係数ｗ７，ｗ８をあら
かじめ定義しておき、重み付け加算すればよい。
【００４７】Ｅ９＝ｗ７* Ｅ７＋ｗ８* Ｅ８ また、評価尺度自身に優先順を定義し、Ｅ７で優先度順
位をつけて同位の場合はＥ８で優先度順位をつけるとい
う階層的な処理を行なってもよい。
位をつけて同位の場合はＥ８で優先度順位をつけるとい
う階層的な処理を行なってもよい。
【００４８】次に、その選択優先度に基づいて画像を選
択する処理（Ｓ１３）について説明する。ここでは、第
２実施形態と同様に、Ｎ枚の画像系列から、選択優先度
の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整
数で、適当にシステムより与えられるものとする）。選
択された画像は、ネットワーク画像伝送したり、磁気デ
ィスクやＶＴＲなどの適当な画像記憶装置に保存する目
的に使用することができ、選択された適切な画像のみを
伝送・保存すればよいので伝送容量と保存容量が少なく
て済む。
択する処理（Ｓ１３）について説明する。ここでは、第
２実施形態と同様に、Ｎ枚の画像系列から、選択優先度
の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整
数で、適当にシステムより与えられるものとする）。選
択された画像は、ネットワーク画像伝送したり、磁気デ
ィスクやＶＴＲなどの適当な画像記憶装置に保存する目
的に使用することができ、選択された適切な画像のみを
伝送・保存すればよいので伝送容量と保存容量が少なく
て済む。
【００４９】処理形態については、ここではＮ枚からＰ
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
第３実施形態においても、人物の人数、人物の全身性等
の条件を設けることで、より効率的な人物の監視処理を
実現することができる。
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
第３実施形態においても、人物の人数、人物の全身性等
の条件を設けることで、より効率的な人物の監視処理を
実現することができる。
【００５０】（第４実施形態）本発明の実施形態の全体
構成は、図１に示す第１実施形態と同じである。以下
に、処理プロセッサ４での処理内容について詳細に説明
する。図９は、第４実施形態の処理プロセッサ部の処理
の流れを示すフローチャートであり、処理プロセッサ４
で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連
続画像系列をバッファリングする処理（Ｓ１４）と、与
えられたＮ枚の連続画像系列のある画像Ｉｉに対し、Ｉ
ｉ自身と過去のｋ枚の画像の情報をもとに選択優先度を
求める関数Ｅ（ｆｉ）＝ｆ（Ｉｉ−ｋ，Ｉｉ−ｋ＋１，
…，Ｉｉ）を定義し（Ｉｉ− ｋは、「ｉ−ｋ番目の画像
Ｉ」を表す）、この関数にもとづいて選択優先度を計算
する処理（Ｓ１５）と、その選択優先度に基づいて画像
を選択する処理（Ｓ１６）とからなる。処理（Ｓ１４）
については、第２実施形態と同様でよい。次に、関数に
もとづいて、選択優先度を計算する処理（Ｓ１５）につ
いて説明する。図８は、人物の計数、移動、全身性の認
識処理を示す説明図である。
構成は、図１に示す第１実施形態と同じである。以下
に、処理プロセッサ４での処理内容について詳細に説明
する。図９は、第４実施形態の処理プロセッサ部の処理
の流れを示すフローチャートであり、処理プロセッサ４
で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連
続画像系列をバッファリングする処理（Ｓ１４）と、与
えられたＮ枚の連続画像系列のある画像Ｉｉに対し、Ｉ
ｉ自身と過去のｋ枚の画像の情報をもとに選択優先度を
求める関数Ｅ（ｆｉ）＝ｆ（Ｉｉ−ｋ，Ｉｉ−ｋ＋１，
…，Ｉｉ）を定義し（Ｉｉ− ｋは、「ｉ−ｋ番目の画像
Ｉ」を表す）、この関数にもとづいて選択優先度を計算
する処理（Ｓ１５）と、その選択優先度に基づいて画像
を選択する処理（Ｓ１６）とからなる。処理（Ｓ１４）
については、第２実施形態と同様でよい。次に、関数に
もとづいて、選択優先度を計算する処理（Ｓ１５）につ
いて説明する。図８は、人物の計数、移動、全身性の認
識処理を示す説明図である。
【００５１】４−１．人物の移動速度評価値 移動速度が小さいシーンは人物が安定して静止してお
り、より人物検証のしやすい適切な画像であると考えら
れる。よって、より移動速度が小さいシーンに高い評価
値を与え、優先的に選択する。
り、より人物検証のしやすい適切な画像であると考えら
れる。よって、より移動速度が小さいシーンに高い評価
値を与え、優先的に選択する。
【００５２】画像Ｉｉ−１とＩｉに含まれる人物領域の
情報に対して、位置・大きさ・色の類似性などをもとに
人物領域の対応関係を求め（人物追跡）、それらの位置
の変化から移動ベクトル（移動速度）Ｖが求まる。よっ
て人物の移動速度評価値は Ｅ１０＝１／（ｃ＋Ｖ） （ｃは、Ｖ＝０の時にゼロ除
算を避けるための定数） とすることができる。
情報に対して、位置・大きさ・色の類似性などをもとに
人物領域の対応関係を求め（人物追跡）、それらの位置
の変化から移動ベクトル（移動速度）Ｖが求まる。よっ
て人物の移動速度評価値は Ｅ１０＝１／（ｃ＋Ｖ） （ｃは、Ｖ＝０の時にゼロ除
算を避けるための定数） とすることができる。
【００５３】４−２．人物の非定常性評価値 人物が通常とは異なる動作を行なったシーンは、なんら
かの特殊なイベントが発生している可能性が高く、検証
において重要である。よってこれらの非定常性に対して
高い評価値を与え、優先的に選択する。
かの特殊なイベントが発生している可能性が高く、検証
において重要である。よってこれらの非定常性に対して
高い評価値を与え、優先的に選択する。
【００５４】あらかじめ、定常的な動作・非定常的な動
作に対する人物領域の特徴量（例えば移動ベクトル、位
置、大きさ、形状）の変化系列の標準パターンを学習し
ておく。入力画像系列Ｉｉ−ｋ，Ｉｉ−ｋ＋１，…，Ｉ
ｉに対しても同様に人物領域の特徴量の変化系列を求
め、これらをＤＰマッチングやＨＭＭモデルによるマッ
チングなどを行なって標準パターンとのマッチングを行
なう。
作に対する人物領域の特徴量（例えば移動ベクトル、位
置、大きさ、形状）の変化系列の標準パターンを学習し
ておく。入力画像系列Ｉｉ−ｋ，Ｉｉ−ｋ＋１，…，Ｉ
ｉに対しても同様に人物領域の特徴量の変化系列を求
め、これらをＤＰマッチングやＨＭＭモデルによるマッ
チングなどを行なって標準パターンとのマッチングを行
なう。
【００５５】このときの定常的な動作としては、例えば
コンビニエンスストア内での顔画像監視システムであれ
ば、一般の客が立ち入るはずのないレジカウンタ内への
侵入等が考えられる。画像内のレジカウンタ領域を設定
しておくことで、移動物体がこの画像領域に侵入するこ
とを特殊イベントと判断する場合などである。
コンビニエンスストア内での顔画像監視システムであれ
ば、一般の客が立ち入るはずのないレジカウンタ内への
侵入等が考えられる。画像内のレジカウンタ領域を設定
しておくことで、移動物体がこの画像領域に侵入するこ
とを特殊イベントと判断する場合などである。
【００５６】ここで、入力画像系列に対して、定常動作
の特徴量変化パターン群ではＡｍと最もマッチングスコ
アＳｃｏｒｅ（Ａｍ）が高く、非定常動作の特徴量変化
パターン群ではＢｎと最もマッチングスコアＳｃｏｒｅ
（Ｂｎ）が高かったとすれば、非定常性を表す評価値は ＥＥ＝（非定常との類似度）−（定常との類似度）＝Sc
ore(Bn)−Score(Am) で求めることができる。複数の特徴量系列に対する評価
値ＥＥ１，ＥＥ２，…，ＥＥｘを用いる場合は、重み付
け係数ｗｗ１，ｗｗ２，…，ｗｗｘにより重み付け加算
すればよい。
の特徴量変化パターン群ではＡｍと最もマッチングスコ
アＳｃｏｒｅ（Ａｍ）が高く、非定常動作の特徴量変化
パターン群ではＢｎと最もマッチングスコアＳｃｏｒｅ
（Ｂｎ）が高かったとすれば、非定常性を表す評価値は ＥＥ＝（非定常との類似度）−（定常との類似度）＝Sc
ore(Bn)−Score(Am) で求めることができる。複数の特徴量系列に対する評価
値ＥＥ１，ＥＥ２，…，ＥＥｘを用いる場合は、重み付
け係数ｗｗ１，ｗｗ２，…，ｗｗｘにより重み付け加算
すればよい。
【００５７】Ｅ１１＝ｗｗ１* ＥＥ１＋ｗｗ２* ＥＥ２
＋…＋ｗｗｘ* ＥＥｘ 上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ１０，Ｅ１１に対して重み付け係数ｗ１０，ｗ１
１をあらかじめ定義しておき、重み付け加算すればよ
い。
＋…＋ｗｗｘ* ＥＥｘ 上記は、別々の独立した評価値としたが、これらを組み
合わせて一つの評価値としてもよい。例えば、複数の評
価値Ｅ１０，Ｅ１１に対して重み付け係数ｗ１０，ｗ１
１をあらかじめ定義しておき、重み付け加算すればよ
い。
【００５８】Ｅ１２＝ｗ１０* Ｅ１０＋ｗ１１* Ｅ１１ また、評価尺度自身に優先順を定義し、Ｅ１０で優先度
順位をつけて同位の場合はＥ１１で優先度順位をつける
という階層的な処理を行なってもよい。次に、その選択
優先度に基づいて画像を選択する処理（Ｓ１１）につい
て説明する。ここでは、第２実施形態と同様に、Ｎ枚の
画像系列から、選択優先度の大きい順番にＰ枚の画像を
選択する（ＰはＮ以下の整数で、適当にシステムより与
えられるものとする）。選択された画像は、ネットワー
ク画像伝送したり、磁気ディスクやＶＴＲなどの適当な
画像記憶装置に保存する目的に使用することができ、選
択された適切な画像のみを伝送・保存すればよいので伝
送容量と保存容量が少なくて済む。
順位をつけて同位の場合はＥ１１で優先度順位をつける
という階層的な処理を行なってもよい。次に、その選択
優先度に基づいて画像を選択する処理（Ｓ１１）につい
て説明する。ここでは、第２実施形態と同様に、Ｎ枚の
画像系列から、選択優先度の大きい順番にＰ枚の画像を
選択する（ＰはＮ以下の整数で、適当にシステムより与
えられるものとする）。選択された画像は、ネットワー
ク画像伝送したり、磁気ディスクやＶＴＲなどの適当な
画像記憶装置に保存する目的に使用することができ、選
択された適切な画像のみを伝送・保存すればよいので伝
送容量と保存容量が少なくて済む。
【００５９】処理形態については、ここではＮ枚からＰ
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
第４実施形態においても、人物の移動速度や、所定領域
内への侵入の検出等を参考にして画像を選別すること
で、より効率的な画像監視処理を実現することができ
る。
枚を選択するとしているが、画像が１枚入力されるごと
にその優先度Ｅｉを計算し、優先度があるしきい値以上
の時に選択画像とするような逐次処理であってもよい。
第４実施形態においても、人物の移動速度や、所定領域
内への侵入の検出等を参考にして画像を選別すること
で、より効率的な画像監視処理を実現することができ
る。
【００６０】（第５実施形態）本発明の実施形態の全体
構成は、図１に示された第１実施形態と同じである。以
下に、処理プロセッサ４での処理内容について詳細に説
明する。図１０は、第５実施形態の処理プロセッサ部の
処理の流れを示すフローチャートであり、処理プロセッ
サ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚
の連続画像系列をバッファリングする処理（Ｓ１７）
と、シーンに含まれる全画像Ｎ枚（Ｉ０からＩＮ）から
Ｐ枚を選ぶ「組み合せ」ｎＣｐ通りに対して評価関数ｇ
（ ）を定義し、この関数にもとづいて選択優先度を計
算する処理（Ｓ１８）と、その選択優先度に基づいて画
像を選択する処理（Ｓ１９）とからなる。処理（Ｓ１
７）については、第２実施形態と同様でよい。次に、関
数に基づいて選択優先度を計算する処理１４について図
１１を参照して説明する。図１１は、Ｐ枚の組み合わせ
に基づく画像選択部における処理の具体例を示す説明図
である。
構成は、図１に示された第１実施形態と同じである。以
下に、処理プロセッサ４での処理内容について詳細に説
明する。図１０は、第５実施形態の処理プロセッサ部の
処理の流れを示すフローチャートであり、処理プロセッ
サ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚
の連続画像系列をバッファリングする処理（Ｓ１７）
と、シーンに含まれる全画像Ｎ枚（Ｉ０からＩＮ）から
Ｐ枚を選ぶ「組み合せ」ｎＣｐ通りに対して評価関数ｇ
（ ）を定義し、この関数にもとづいて選択優先度を計
算する処理（Ｓ１８）と、その選択優先度に基づいて画
像を選択する処理（Ｓ１９）とからなる。処理（Ｓ１
７）については、第２実施形態と同様でよい。次に、関
数に基づいて選択優先度を計算する処理１４について図
１１を参照して説明する。図１１は、Ｐ枚の組み合わせ
に基づく画像選択部における処理の具体例を示す説明図
である。
【００６１】５−１．人物位置の多様性 ある人物が侵入してから退出するまでに移動した軌跡を
できるだけ等間隔にサンプルする画像を選択すれば、そ
れは人物の行動の全体をより適切に要約していると考え
られる。よってこのような画像をＰ枚選択する。（画像
枚数にもとづいた単純な等間隔サンプリングでは、立ち
止まり状態ばかりが選択されてしまう場合がある） 画像Ｉｉにおける人物の座標（Ｘ（Ｉｉ），Ｙ
（Ｉｉ））は、Ｎ枚の画像系列の選択部８：において人
物候補領域として求まっている。またＩｉからＩｊへの
移動ベクトルは、Ｉｉにおける座標とＩｊにおける座標
の差として求められる。よって、Ｎ枚の画像からＰ枚を
選び出した｛Ｉ′ｉ，…，Ｉ′Ｐ｝の画像の組（ｎＣｐ
通り）に対して、移動ベクトルの平均Ｖａｖｅと移動ベ
クトルの分散Ｖｄ ｉｓｐを求め、Ｖａｖｅが最大、Ｖ
ｄｉｓｐが最小となるようなＰ枚の組を選択すればよ
い。つまり、Ｖａｖｅが大きいということは画像間での
移動が大きくなるよう適切に選択されていることを示し
ており、またＶｄｉｓｐが小さいということはより等間
隔に近いサンプリングが行なえていることを示してい
る。図１２は、人物位置の多様性に基づく選択の例を示
す図である。
できるだけ等間隔にサンプルする画像を選択すれば、そ
れは人物の行動の全体をより適切に要約していると考え
られる。よってこのような画像をＰ枚選択する。（画像
枚数にもとづいた単純な等間隔サンプリングでは、立ち
止まり状態ばかりが選択されてしまう場合がある） 画像Ｉｉにおける人物の座標（Ｘ（Ｉｉ），Ｙ
（Ｉｉ））は、Ｎ枚の画像系列の選択部８：において人
物候補領域として求まっている。またＩｉからＩｊへの
移動ベクトルは、Ｉｉにおける座標とＩｊにおける座標
の差として求められる。よって、Ｎ枚の画像からＰ枚を
選び出した｛Ｉ′ｉ，…，Ｉ′Ｐ｝の画像の組（ｎＣｐ
通り）に対して、移動ベクトルの平均Ｖａｖｅと移動ベ
クトルの分散Ｖｄ ｉｓｐを求め、Ｖａｖｅが最大、Ｖ
ｄｉｓｐが最小となるようなＰ枚の組を選択すればよ
い。つまり、Ｖａｖｅが大きいということは画像間での
移動が大きくなるよう適切に選択されていることを示し
ており、またＶｄｉｓｐが小さいということはより等間
隔に近いサンプリングが行なえていることを示してい
る。図１２は、人物位置の多様性に基づく選択の例を示
す図である。
【００６２】５−２．人物顔の多様性 ある人物がより様々な方向を向いた画像を選択すれば、
それは人物の特徴をより多くとらえており、検証に役立
つと考えられる。よってこのような画像をＰ枚選択す
る。まず顔の方向とその尤度は、前述した正準判別分析
による顔方向識別によって求められる。この時にシーン
に含まれる顔方向クラスの種類数をＣとする。より多様
な顔方向の画像を得るには、Ｎ枚からＰ枚選ぶ組み合せ
の中から、顔方向の分散の大きい組を選択すればよい。
例えば、顔方向クラスに１，２，…，Ｃのクラス番号を
つけ、Ｐ枚の画像のクラス番号値の分散が最大になるよ
うに選択する。（どのクラスもまんべんなく選択される
と、クラス番号値の分散は大きくなる）またこのとき、
各画像の顔尤度の高さを重み付けしてもよい。以上の処
理により、より様々な方向を向いた顔画像を選択するこ
とができる。
それは人物の特徴をより多くとらえており、検証に役立
つと考えられる。よってこのような画像をＰ枚選択す
る。まず顔の方向とその尤度は、前述した正準判別分析
による顔方向識別によって求められる。この時にシーン
に含まれる顔方向クラスの種類数をＣとする。より多様
な顔方向の画像を得るには、Ｎ枚からＰ枚選ぶ組み合せ
の中から、顔方向の分散の大きい組を選択すればよい。
例えば、顔方向クラスに１，２，…，Ｃのクラス番号を
つけ、Ｐ枚の画像のクラス番号値の分散が最大になるよ
うに選択する。（どのクラスもまんべんなく選択される
と、クラス番号値の分散は大きくなる）またこのとき、
各画像の顔尤度の高さを重み付けしてもよい。以上の処
理により、より様々な方向を向いた顔画像を選択するこ
とができる。
【００６３】上記の第１実施形態から第５実施形態は、
リアルタイムで行なってもよいし、いったん画像を蓄積
しておいて、後でバッチ型で処理してもよい。以上第５
実施形態においても、人物位置の多様性や人物顔の多様
性を考慮した画像が選択出力されることにより、効率的
な監視処理を実現できるものである。
リアルタイムで行なってもよいし、いったん画像を蓄積
しておいて、後でバッチ型で処理してもよい。以上第５
実施形態においても、人物位置の多様性や人物顔の多様
性を考慮した画像が選択出力されることにより、効率的
な監視処理を実現できるものである。
【００６４】（第６実施形態）最後に本発明の実施形態
の全体構成を図１３に示す。図１３において、この顔画
像監視システムは、画像入力部２０と、Ａ／Ｄ変換部２
１と、画像バッファ（画像メモリ）２２と、画像処理部
２３（処理プロセッサ）と、画像蓄積部２４とからな
る。
の全体構成を図１３に示す。図１３において、この顔画
像監視システムは、画像入力部２０と、Ａ／Ｄ変換部２
１と、画像バッファ（画像メモリ）２２と、画像処理部
２３（処理プロセッサ）と、画像蓄積部２４とからな
る。
【００６５】画像入力部２０によって撮像された画像は
Ａ／Ｄ変換部２１によってディジタル信号に変換され、
画像メモリ２２に格納される。処理プロセッサ２３はそ
の画像データを読み込んでディジタル画像処理を行な
う。画像入力部２０は例えば通常のＣＣＤカメラであっ
てよく、画像蓄積部２４は通常の磁気ディスクであって
よい。
Ａ／Ｄ変換部２１によってディジタル信号に変換され、
画像メモリ２２に格納される。処理プロセッサ２３はそ
の画像データを読み込んでディジタル画像処理を行な
う。画像入力部２０は例えば通常のＣＣＤカメラであっ
てよく、画像蓄積部２４は通常の磁気ディスクであって
よい。
【００６６】以下に、処理プロセッサ２３での処理内容
について詳細に説明する。図１４に、処理プロセッサ２
３で行なわれる処理の流を示す。処理手順は、同一人物
が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２
５）と、各画像に対して人物及び顔画像認識を行なって
Ｎ枚の画像系列からＰ枚を選択する処理（Ｓ２６）と、
Ｐ枚の画像を画像蓄積部に登録する処理（Ｓ２７）と、
画像蓄積部から画像を検索表示する処理（Ｓ２８）とか
らなる。
について詳細に説明する。図１４に、処理プロセッサ２
３で行なわれる処理の流を示す。処理手順は、同一人物
が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２
５）と、各画像に対して人物及び顔画像認識を行なって
Ｎ枚の画像系列からＰ枚を選択する処理（Ｓ２６）と、
Ｐ枚の画像を画像蓄積部に登録する処理（Ｓ２７）と、
画像蓄積部から画像を検索表示する処理（Ｓ２８）とか
らなる。
【００６７】同一人物が存在するＮ枚の連続画像系列を
切り出す処理（Ｓ２５）は、第１実施形態と同じであ
る。また、各画像に対して人物及び顔画像認識を行なっ
てＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）
は、第２乃至第５実施形態と同様である。Ｐ枚の画像を
画像蓄積部に登録する処理に関しては、その画像が撮影
されたカメラＩＤ、時刻などの画像に関する付属情報と
ともにデータベース登録を行なう。データベースのデー
タ構造に関する定義はあらかじめ、例えば、リレーショ
ナルテーブル形式により行なっておくものとする。ここ
では、画像を検索表示する方法を具体的に説明する。図
１５は、本発明に係る画像検索、照合の概念を示す説明
図である。
切り出す処理（Ｓ２５）は、第１実施形態と同じであ
る。また、各画像に対して人物及び顔画像認識を行なっ
てＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）
は、第２乃至第５実施形態と同様である。Ｐ枚の画像を
画像蓄積部に登録する処理に関しては、その画像が撮影
されたカメラＩＤ、時刻などの画像に関する付属情報と
ともにデータベース登録を行なう。データベースのデー
タ構造に関する定義はあらかじめ、例えば、リレーショ
ナルテーブル形式により行なっておくものとする。ここ
では、画像を検索表示する方法を具体的に説明する。図
１５は、本発明に係る画像検索、照合の概念を示す説明
図である。
【００６８】画像選択された画像をサムネイル表示（代
表画像表示）することで、ユーザが容易に監視画像を検
証することができる。さらに、ユーザが提示した顔写真
（例えば指名手配犯）を、これらの画像と自動的に照合
を行なって類似度の高い顔画像または画像系列を表示さ
せることが可能である。また、ユーザが指定するのは画
像ではなく画像系列であってもよい。
表画像表示）することで、ユーザが容易に監視画像を検
証することができる。さらに、ユーザが提示した顔写真
（例えば指名手配犯）を、これらの画像と自動的に照合
を行なって類似度の高い顔画像または画像系列を表示さ
せることが可能である。また、ユーザが指定するのは画
像ではなく画像系列であってもよい。
【００６９】人物の照合は、指定された人物の画像／画
像系列とその他の人物の顔画像群をもとに、主成分分析
や正準判別分析により、指定された人物と類似したパタ
ーンを検索する［４］［５］。また検索には、色情報の
類似度を用いたり、第４実施形態で示したような特徴量
系列の類似度を用いたりしてもよい。これらにより、監
視画像系列から、例えばある人物を検索したり、ある挙
動（例えばレジへの侵入）のみを取り出したりといった
ことが可能になる。
像系列とその他の人物の顔画像群をもとに、主成分分析
や正準判別分析により、指定された人物と類似したパタ
ーンを検索する［４］［５］。また検索には、色情報の
類似度を用いたり、第４実施形態で示したような特徴量
系列の類似度を用いたりしてもよい。これらにより、監
視画像系列から、例えばある人物を検索したり、ある挙
動（例えばレジへの侵入）のみを取り出したりといった
ことが可能になる。
【００７０】以上第６実施形態によって、顔画像監視シ
ステムに画像蓄積部を設けたことにより、所定条件に応
じて選択出力された画像を自動的に順次格納することが
可能となる。更にこれらの格納画像について、一定条件
に応じた代表画像をサムネイル表示させることにより、
より直感的な監視状況の把握を可能とするものである。
ステムに画像蓄積部を設けたことにより、所定条件に応
じて選択出力された画像を自動的に順次格納することが
可能となる。更にこれらの格納画像について、一定条件
に応じた代表画像をサムネイル表示させることにより、
より直感的な監視状況の把握を可能とするものである。
【００７１】なお、参考文献を以下に列記する。 ［１］大津：“判別および最小二乗基準に基づく自動し
きい値選定法”，信学論，Vol.J63-D, No.4, pp.349-35
6,1980. ［２］中井：“事後確率を用いた移動物体検出手法”，
情処研報，94-CV-90,pp.1-8,1994. ［３］高木，下田：“画像解析ハンドブック”，東京大
学出版会，1991. ［４］ W Zhao, R.Chellappa他：“Discriminant Analy
sis of Principal Components for Face Recognitio
n”，International Conference on Automatic Face &
Gesture Recognition, Nara, Japan, April 1998. ［５］B.Moghaddam, A.Pentland他：“Beyond Eigenfac
es: Probabilistic Matching for Face Recognitio
n”，International Conference on Automatic Face &
Gesture Recognition, Nara, Japan, April 1998.
きい値選定法”，信学論，Vol.J63-D, No.4, pp.349-35
6,1980. ［２］中井：“事後確率を用いた移動物体検出手法”，
情処研報，94-CV-90,pp.1-8,1994. ［３］高木，下田：“画像解析ハンドブック”，東京大
学出版会，1991. ［４］ W Zhao, R.Chellappa他：“Discriminant Analy
sis of Principal Components for Face Recognitio
n”，International Conference on Automatic Face &
Gesture Recognition, Nara, Japan, April 1998. ［５］B.Moghaddam, A.Pentland他：“Beyond Eigenfac
es: Probabilistic Matching for Face Recognitio
n”，International Conference on Automatic Face &
Gesture Recognition, Nara, Japan, April 1998.
【００７２】
【発明の効果】以上詳述したようにこの発明によれば、
監視画像の人物の移動・顔の向きなど認識することで、
より監視画像として適切な画像のみを選択して伝送・蓄
積することができ、伝送容量・蓄積容量の削減と効率化
を図ることができる。又更に、監視画像の系列を適切な
画像のみを選択してユーザに提示し、また例示画像系列
による検索を行なうことにより、後から容易に監視画像
を検索・検証が可能となる。
監視画像の人物の移動・顔の向きなど認識することで、
より監視画像として適切な画像のみを選択して伝送・蓄
積することができ、伝送容量・蓄積容量の削減と効率化
を図ることができる。又更に、監視画像の系列を適切な
画像のみを選択してユーザに提示し、また例示画像系列
による検索を行なうことにより、後から容易に監視画像
を検索・検証が可能となる。
【図１】図１は、第１乃至第４実施形態の全体構成を示
すブロックダイアグラム。
すブロックダイアグラム。
【図２】図２は、第１実施形態の処理プロセッサ部の処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
【図３】図３は、シーン抽出の様子を示す説明図。
【図４】図４は、第２実施形態の処理プロセッサ部の処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
【図５】図５は、画像選択部における処理の具体例を示
す説明図。
す説明図。
【図６】図６は、顔方向識別処理の概念を示す説明図。
【図７】図７は、第３実施形態の処理プロセッサ部の処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
【図８】図８は、人物の計数、移動、全身性の認識処理
を示す説明図。
を示す説明図。
【図９】図９は、第４実施形態の処理プロセッサ部の処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
【図１０】図１０は、第５実施形態の処理プロセッサ部
の処理の流れを示すフローチャート。
の処理の流れを示すフローチャート。
【図１１】図１１は、Ｐ枚の組み合わせに基づく画像選
択部における処理の具体例を示す説明図。
択部における処理の具体例を示す説明図。
【図１２】図１２は、人物位置の多様性に基づく選択の
例を示す図。
例を示す図。
【図１３】図１３は、第６実施形態の全体構成を示すブ
ロックダイアグラム。
ロックダイアグラム。
【図１４】図１４は、第６実施形態の処理プロセッサ部
の処理の流れを示すフローチャート。
の処理の流れを示すフローチャート。
【図１５】図１５は、本発明に係る画像検索、照合の概
念を示す説明図。
念を示す説明図。
１ … 画像入力部 ２ … Ａ／Ｄ変換部 ３ … 画像メモリ ４ … 処理プロセッサ ２４ … 画像蓄積部
フロントページの続き Ｆターム(参考） 5B057 AA19 BA02 CA12 CA16 DC01 DC25 DC32 5C054 AA01 CC05 CG06 CH01 EA01 EA05 EE00 EF06 FB03 FC01 FC04 FC08 FC13 FE09 FF02 GB02 HA18 5L096 AA02 BA02 CA02 FA01 FA15 HA03 JA11
Claims (11)
- 【請求項１】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域を、所定の手法で評価して評価値
を出力する顔領域評価手段と、 前記顔領域評価手段により出力された評価値に基づい
て、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
と、を有することを特徴とする顔画像監視システム。 - 【請求項２】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について人物の顔の方向を検出
し、この顔方向に基づき評価値を出力する顔方向評価手
段と、 前記顔方向評価手段により出力された評価値に基づい
て、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
と、を有することを特徴とする顔画像監視システム。 - 【請求項３】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について顔の面積を検出し、この
顔面積に基づき評価値を出力する顔面積評価手段と、 前記顔面積評価手段により出力された評価値に基づい
て、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
と、を有することを特徴とする顔画像監視システム。 - 【請求項４】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について顔画像のコントラストを
検出し、この顔画像コントラストに基づき評価値を出力
する顔画像コントラスト評価手段と、 前記顔画像コントラスト評価手段により出力された評価
値に基づいて、前記移動物体が含まれる前記複数の画像
情報から所定数の前記画像情報を選択し出力する画像情
報選択手段と、を有することを特徴とする顔画像監視シ
ステム。 - 【請求項５】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について顔画像の肌色の鮮明度を
検出し、この顔画像肌色鮮明度に基づき評価値を出力す
る顔画像肌色鮮明度評価手段と、 前記顔画像肌色鮮明度評価手段により出力された評価値
に基づいて、前記移動物体が含まれる前記複数の画像情
報から所定数の前記画像情報を選択し出力する画像情報
選択手段と、を有することを特徴とする顔画像監視シス
テム。 - 【請求項６】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について顔画像の表情を検出し、
この顔画像表情に基づき評価値を出力する顔画像表情評
価手段と、 前記顔画像表情評価手段により出力された評価値に基づ
いて、前記移動物体が含まれる前記複数の画像情報から
所定数の前記画像情報を選択し出力する画像情報選択手
段と、を有することを特徴とする顔画像監視システム。 - 【請求項７】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断したと
き、人物画像として判断された移動物体が画像中に幾つ
あるかに基づいて、前記移動物体を含む前記画像情報の
評価値を出力する人数評価手段と、 前記人数評価手段により出力された評価値に基づいて、
前記移動物体が含まれる前記複数の画像情報から所定数
の前記画像情報を選択し出力する画像情報選択手段と、
を有することを特徴とする顔画像監視システム。 - 【請求項８】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体中の人物画像の全身が示されている割合に基づ
いて、評価値を出力する全身性評価手段と、 前記全身性評価手段により出力された評価値に基づい
て、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
と、を有することを特徴とする顔画像監視システム。 - 【請求項９】 監視対象の複数の画像情報を外部から
連続的に受け、前記画像情報中の移動物体を検出する移
動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した移動
物体が、選択される画像中の監視領域内のできるだけ多
い位置に存在するように、前記移動物体が含まれる前記
複数の画像情報から所定数の前記画像情報を選択し出力
する画像情報選択手段と、を有することを特徴とする顔
画像監視システム。 - 【請求項１０】 監視対象の複数の画像情報を外部か
ら連続的に受け、前記画像情報中の移動物体を検出する
移動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域について人物の顔の方向を検出
し、選択される所定数の画像情報ができるだけ多様な顔
方向のものとなるべく、前記移動物体が含まれる前記複
数の画像情報から所定数の前記画像情報を選択し出力す
る画像情報選択手段と、 を有することを特徴とする顔画像監視システム。 - 【請求項１１】 監視対象の複数の画像情報を外部か
ら連続的に受け、前記画像情報中の移動物体を検出する
移動物体検出手段と、 前記移動物体検出手段が前記移動物体を検出したとき、
その移動物体画像情報から顔領域が検出されればこの移
動物体を人物画像であると判断する人物画像判断手段
と、 前記人物画像判断手段が人物画像であると判断した前記
移動物体の前記顔領域を、所定の手法で評価して評価値
を出力する顔領域評価手段と、 前記顔領域評価手段により出力された評価値に基づい
て、前記移動物体が含まれる前記複数の画像情報から所
定数の前記画像情報を選択し出力する画像情報選択手段
と、 前記画像情報選択手段が選択した前記所定数の画像情報
を記憶領域に格納する画像情報格納手段と、 を有することを特徴とする顔画像監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001316922A JP4208450B2 (ja) | 2001-10-15 | 2001-10-15 | 顔画像監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001316922A JP4208450B2 (ja) | 2001-10-15 | 2001-10-15 | 顔画像監視システム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03105799A Division JP3727798B2 (ja) | 1999-02-09 | 1999-02-09 | 画像監視システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002191044A true JP2002191044A (ja) | 2002-07-05 |
| JP2002191044A5 JP2002191044A5 (ja) | 2006-03-30 |
| JP4208450B2 JP4208450B2 (ja) | 2009-01-14 |
Family
ID=19134863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001316922A Expired - Lifetime JP4208450B2 (ja) | 2001-10-15 | 2001-10-15 | 顔画像監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4208450B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151812A (ja) * | 2002-10-29 | 2004-05-27 | Yokogawa Electric Corp | 顔画像処理装置 |
| JP2006148208A (ja) * | 2004-11-16 | 2006-06-08 | Sony Corp | 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置 |
| JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
| JP2008002817A (ja) * | 2006-06-20 | 2008-01-10 | Alpine Electronics Inc | 物体識別システム |
| JP2008015814A (ja) * | 2006-07-06 | 2008-01-24 | Megachips System Solutions Inc | 画像解析装置および対象物認識方法 |
| JP2008199549A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Ltd | 監視画像処理方法、監視システム及び監視画像処理プログラム |
| JP2009199232A (ja) * | 2008-02-20 | 2009-09-03 | Seiko Epson Corp | 画像処理装置 |
| JP2009205467A (ja) * | 2008-02-28 | 2009-09-10 | Seiko Epson Corp | 画像出力方法、画像出力装置および画像出力プログラム |
| US7693413B2 (en) | 2005-07-21 | 2010-04-06 | Sony Corporation | Camera system, information processing device, information processing method, and computer program |
| JP2010140425A (ja) * | 2008-12-15 | 2010-06-24 | Hitachi Kokusai Electric Inc | 画像処理システム |
| JP2012160212A (ja) * | 2012-05-18 | 2012-08-23 | Canon Inc | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 |
| JP2014022970A (ja) * | 2012-07-19 | 2014-02-03 | Panasonic Corp | 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置 |
| JP2014044503A (ja) * | 2012-08-24 | 2014-03-13 | Toshiba Corp | 画像認識装置、方法、及びプログラム |
| US9147106B2 (en) | 2003-04-15 | 2015-09-29 | Nikon Corporation | Digital camera system |
| KR20160103562A (ko) * | 2010-08-13 | 2016-09-02 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 |
| JP2018077683A (ja) * | 2016-11-09 | 2018-05-17 | コニカミノルタ株式会社 | 画像処理装置、認証方法および認証プログラム |
-
2001
- 2001-10-15 JP JP2001316922A patent/JP4208450B2/ja not_active Expired - Lifetime
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151812A (ja) * | 2002-10-29 | 2004-05-27 | Yokogawa Electric Corp | 顔画像処理装置 |
| US9147106B2 (en) | 2003-04-15 | 2015-09-29 | Nikon Corporation | Digital camera system |
| JP2006148208A (ja) * | 2004-11-16 | 2006-06-08 | Sony Corp | 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置 |
| US8174571B2 (en) | 2004-11-16 | 2012-05-08 | Sony Corporation | Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images |
| US7693413B2 (en) | 2005-07-21 | 2010-04-06 | Sony Corporation | Camera system, information processing device, information processing method, and computer program |
| JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
| JP2008002817A (ja) * | 2006-06-20 | 2008-01-10 | Alpine Electronics Inc | 物体識別システム |
| JP2008015814A (ja) * | 2006-07-06 | 2008-01-24 | Megachips System Solutions Inc | 画像解析装置および対象物認識方法 |
| JP2008199549A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Ltd | 監視画像処理方法、監視システム及び監視画像処理プログラム |
| JP2009199232A (ja) * | 2008-02-20 | 2009-09-03 | Seiko Epson Corp | 画像処理装置 |
| US8170299B2 (en) | 2008-02-28 | 2012-05-01 | Seiko Epson Corporation | Image output method, image output device, and image output program |
| JP2009205467A (ja) * | 2008-02-28 | 2009-09-10 | Seiko Epson Corp | 画像出力方法、画像出力装置および画像出力プログラム |
| JP2010140425A (ja) * | 2008-12-15 | 2010-06-24 | Hitachi Kokusai Electric Inc | 画像処理システム |
| KR20160103562A (ko) * | 2010-08-13 | 2016-09-02 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 |
| KR101883258B1 (ko) | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
| JP2012160212A (ja) * | 2012-05-18 | 2012-08-23 | Canon Inc | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 |
| JP2014022970A (ja) * | 2012-07-19 | 2014-02-03 | Panasonic Corp | 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置 |
| US9842409B2 (en) | 2012-07-19 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device |
| JP2014044503A (ja) * | 2012-08-24 | 2014-03-13 | Toshiba Corp | 画像認識装置、方法、及びプログラム |
| JP2018077683A (ja) * | 2016-11-09 | 2018-05-17 | コニカミノルタ株式会社 | 画像処理装置、認証方法および認証プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4208450B2 (ja) | 2009-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3727798B2 (ja) | 画像監視システム | |
| JP4208450B2 (ja) | 顔画像監視システム | |
| JP6013241B2 (ja) | 人物認識装置、及び方法 | |
| US8351662B2 (en) | System and method for face verification using video sequence | |
| US8526742B2 (en) | Image processing apparatus, method, and program that classifies data of images | |
| JP5390322B2 (ja) | 画像処理装置、及び画像処理方法 | |
| EP2490171B1 (en) | Person image search starting from clothing query text. | |
| JP4021873B2 (ja) | 顔画像監視システム | |
| US20150339516A1 (en) | Collation apparatus and method for the same, and image searching apparatus and method for the same | |
| US9996554B2 (en) | Search apparatus, search method, and storage medium | |
| JP2001216515A (ja) | 人物の顔の検出方法およびその装置 | |
| WO2007105768A1 (ja) | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 | |
| CN102999918A (zh) | 全景视频序列图像的多目标对象跟踪系统 | |
| JP2012088787A (ja) | 画像処理装置、画像処理方法 | |
| JP2015187759A (ja) | 画像検索装置、画像検索方法 | |
| JP7694738B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| JP2014016968A (ja) | 人物検索装置及びデータ収集装置 | |
| JPH10269358A (ja) | 物体認識装置 | |
| KR100602576B1 (ko) | 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법 | |
| KR101344851B1 (ko) | 영상처리장치 및 영상처리방법 | |
| CN111126102A (zh) | 人员搜索方法、装置及图像处理设备 | |
| KR100545559B1 (ko) | 하 라이크 피춰/선형 판별 분석을 이용한 얼굴 인식 장치및 방법 | |
| JPH10222678A (ja) | 物体検出装置および物体検出方法 | |
| JP2019185205A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JPH0991432A (ja) | 不審人物抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |