JP3200663B2 - 移動体検出方法,移動体検出装置,及び移動体計数装置 - Google Patents
移動体検出方法,移動体検出装置,及び移動体計数装置Info
- Publication number
- JP3200663B2 JP3200663B2 JP07616096A JP7616096A JP3200663B2 JP 3200663 B2 JP3200663 B2 JP 3200663B2 JP 07616096 A JP07616096 A JP 07616096A JP 7616096 A JP7616096 A JP 7616096A JP 3200663 B2 JP3200663 B2 JP 3200663B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial phase
- moving object
- output
- image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
びこれを実施する装置、特に、ビデオカメラから得られ
る画像信号を処理することにより、通路や建物の出入り
口の通行者等を検出する方法等に関するものである。
移動体検出装置を具備する移動体計数装置の概念図を示
している。ビデオカメラ(11)は、通路や建物の出入り口
の天井等に於いて通行者(20)等の移動体が通過する監視
領域を見下ろす態様で設置されている。
D変換器(12)によりデジタル化され、このデジタル化さ
れた画像が、順次、短時間周期で現在画像メモリ(13)に
格納し直され、該現在画像メモリ(13)には最新の画像が
記憶される。前記現在画像メモリ(13)の出力は直前画像
メモリ(14)で記憶されるように成っており、該直前画像
メモリ(14)は、前記現在画像メモリ(13)から送られてく
る画像よりも1フレーム前の画像を移動判定部(15)に送
信する。
記憶されている現在の画像と、該画像より1フレーム前
の画像である直前画像メモリ(14)の出力を処理して移動
体の有無を判断し、この移動判定部(15)から出力される
移動体検出信号が計数手段(16)で計数されてその計数値
が出力装置(17)によって出力される。上記従来の移動体
計数装置に於いて移動体の有無を判定する手法を更に詳
述する。
画像を表した図であって、(92)は現在画像メモリ(13)に
記憶されている現在画像を表し、(91)は前記現在画像(9
2)より1フレーム前の画像即ち直前画像メモリ(14)に記
憶されている直前画像を表したものであり、通行者像(8
1)の近傍にはその移動量を識別容易ならしめる為に静止
像(82)を示してある。(93)は移動判定部(15)の出力であ
って、前記現在画像(92)と直前画像(91)の各画素毎の輝
度の差を取った画像(以下、「差分画像」と言う。)、
即ち、前記現在画像(92)と直前画像(91)で輝度が変化し
ている差分領域(94)(斜線を施した部分)を具備する画
像である。尚、説明の簡略化の為に、図18では現在画
像(92)と直前画像(91)の通行者像(81)が重なっていない
領域を差分領域(94)として示してある。そして、前記差
分画像(93)に於ける差分領域(94)(斜線を施した部分)
の面積が所定の閾値以上である場合は通行者(20)が存在
すると移動判定部(15)で判定される。従って、図18の
ものでは、ビデオカメラ(11),A/D変換器(12),現在
画像メモリ(13),直前画像メモリ(14)及び移動判定手段
(15)の集合が移動体検出装置として機能する。次に前記
閾値以上の面積を有する差分領域(94)が監視領域(96)中
に設定された計数ライン(95)を通過すると、その時に計
数手段(16)が計数動作を実行し、更にその計数結果が出
力装置(17)で出力される。
ものでは、現在画像(92)と直前画像(91)の輝度の差を取
って求めた差分画像(93)に基づいて通行者(20)の有無を
検出する為、ビデオカメラ(11)の撮影場所の照明強度の
変化や、該ビデオカメラ(11)の自動露光調節機能によっ
てその感度が変化するようなことがあると、通行者像(8
1)が存在しないにも関わらず、監視領域(96)中に輝度変
化する領域が発生し、誤って通行者(20)の検出信号を出
力することがある。従って、かかる場合は、計数手段(1
6)が出力する計数結果が実態に合致しない不都合が生じ
る。
り1フレーム前の画像を記憶する現在画像メモリ(13)及
び直前画像メモリ(14)の2つの画像メモリが必要とな
り、コスト的に不利となる。更に、複数の移動体(20)が
接近してすれ違う場合には、すれ違う瞬間の各通行者(2
0)を個人別に分離認識することが困難となり、かかる点
も計数精度の低下原因となる。
0)とした場合を例示的に説明したが、道路を走行する自
動車等の移動体を検出する場合も上記と同様の問題があ
ることは言うまでもない。本願は、上記の点に鑑みて成
されたもので、ビデオカメラ(11)による監視場所の照明
強度の変化やビデオカメラ(11)の自動露光調節機能に基
づく検出精度の低下を防止すると共に、高価な画像メモ
リの必要数を少なくし、しかも、接近してすれ違うよう
な複雑に動く移動体も各別に分離認識できるようにする
ことを課題とする。
ために、請求項1の発明は、『移動体の画像データを処
理することによって前記移動体を検出する移動体検出方
法であって、前記画像データを構成する画素のデータに
基づいて前記画素の集合群で得られた画像信号を前記移
動体の移動方向と非直角な方向に空間フーリエ変換する
場合のフーリエ余弦変換をACとし、フーリエ正弦変換
をASとした場合、tan-1(AS/AC)又はcot
-1(AC/AS)の演算式で得られる空間位相を時系列
的に算出する工程と、前記算出された空間位相の変化に
基づいて移動体を検出する工程とを備えた』ことを特徴
とするものである。
画素の集合群で得られる画像信号の空間位相が変化する
ため、前記空間位相を時系列的に算出し、この算出され
た空間位相の変化を監視することによって、移動体の存
否、及びその移動方向を検出することが可能となる。請
求項1の発明において、『前記画素の集合群は、前記画
像データを複数の格子状に分割して出来る各ブロックで
ある』請求項2の発明では、各ブロック毎に於ける画像
信号の空間位相変化を調べることによって、前記空間位
相の変化方向が異なるブロックの存否を調べ、これによ
って、すれ違う移動体を検出することができる。
は、具体的には請求項3のように『輝度信号』が採用で
きるほか、色信号を採用することもできる。前述した課
題を解決する為に、請求項4の発明は、『移動体の画像
データを処理することによって前記移動体を検出する移
動体検出装置であって、前記画像データを構成する画素
のデータに基づいて前記画素の集合群で得られた画像信
号を前記移動体の移動方向と非直角な方向に空間フーリ
エ変換する場合のフーリエ余弦変換をACとし、フーリ
エ正弦変換をASとした場合、tan-1(AS/AC)
又はcot-1(AC/AS)の演算式で得られる空間位
相を演算する空間位相演算手段と、前記空間位相演算手
段の出力を所定時間周期で順次記憶し直す空間位相記憶
手段と、前記空間位相演算手段の出力と、該出力より以
前の出力を記憶している前記空間位相記憶手段の出力と
を比較する空間位相比較手段と、前記空間位相比較手段
の出力によって前記非直角な方向への移動体の存否を判
断する移動判定手段とを具備する』ことを特徴とするも
のであり、この発明によれば、前述した請求項1〜請求
項3の発明を実施する移動体検出装置が提供できる。
3の発明は、移動体の検出の為に画像信号をフーリエ変
換した結果の位相、即ち、空間位相の変化を利用するも
のであるから、ビデオカメラ(11)による監視場所の照明
強度の変化や、該ビデオカメラ(11)の自動露光調節機能
によってその感度が変化しても、これらの影響を受ける
ことがない。
変化方向が異なるブロックの存否を調べるだけで、すれ
違う移動体を検出することができるから、前記空間位相
の変化方向の違いだけに注目するだけですれ違う移動体
を確実に分離検出することができる。請求項4の発明で
は、ビデオカメラ(11)による監視場所の照明強度の変化
等の影響を受けない移動体検出装置を提供することがで
きる。又、空間位相記憶手段は、画像集合群毎の画像信
号の空間位相を記憶するだけであるから、画像メモリの
ように大容量化せず、既述従来のものに比べ、高価な画
像メモリの必要数が少なくなってコスト的に有利とな
る。
動体計数装置の概念図を示している。ビデオカメラ(11)
は、図1及び図2に示すように、建物等の通路(21)の上
方に於いて通行者(20)を見下ろす態様で設置されてい
る。上記ビデオカメラ(11)のアナログ出力はA/D変換
器(12)でA/D変換され、その出力は画像メモリ(23)に
記憶されるようになっている。画像メモリ(23)の出力は
空間位相演算手段(24)に印加されており、該空間位相演
算手段(24)は前記画像メモリ(23)に記憶された画像を、
数百の格子状のブロックに分割すると共に各ブロックを
構成する画素群から得られる画像信号たる輝度信号(色
信号であっても良い。)を空間フーリエ変換してその変
換結果の位相(本明細書では「空間位相」と言う)を算
出する機能を有する。
相記憶手段(25)と空間位相比較手段(26)に各別に印加さ
れており、空間位相記憶手段(25)は、空間位相演算手段
(24)から順次出力される信号が示す空間位相であって画
像メモリ(23)が記憶している現在の画像よりも1フレー
ム前の画像に対応する空間位相を記憶しており、これら
空間位相演算手段(24)と空間位相記憶手段(25)が出力す
る各ブロック毎の空間位相の変化が空間位相比較手段(2
6)で演算される。
空間位相の変化に基づいて通行者(20)の存否を判断する
移動判定手段(27)が設けられており、該移動判定手段(2
7)が出力する移動体検出信号は移動体の中心座標等を決
定する位置決定手段(271) を介して計数手段(28)で計数
され、その出力が出力装置(29)で出力される。図1に示
された計数装置の各構成部分の詳細を更に説明する。
信号は、既述したように順次A/D変換器(12)で変換さ
れて画像メモリ(23)に格納される。 [空間位相演算手段(24)について]上記画像メモリ(23)
に記憶された画像は空間位相演算手段(24)で処理され
る。空間位相演算手段(24)は、画像メモリ(23)に記憶さ
れた上記画像を、図3に示すように、横方向のX軸方向
にL等分し、これと直行するY軸方向にM等分し、合計
L×M個の格子状に配置されたブロック(31)(31)に分割
する。尚、この実施の形態では画像全体を数百のブロッ
ク(31)(31)に分割している。又、この実施の形態では、
前記Y軸方向が通行者(20)の像の移動する方向と仮定し
ている。
きさが数〜数十ブロックに映し出されるような値に設定
するのが好ましい。上記空間位相演算手段(24)は、この
ようにして出来た多数のブロック(31)の夫々に於ける輝
度信号の空間位相と振幅を更に算出するが、この算出
は、図4のフローチャートに従ってコンピュータで実行
される。次に、上記空間位相等の算出手法の詳細を説明
する。
平均輝度YA を求める。即ち、図5に示すように、各ブ
ロック(31)内に於いてX軸方向にI列,Y軸方向にJ列
の画素が並んでいると仮定した場合、X軸方向にi番目
でY軸方向にj番目に位置する画素の輝度(画素毎に輝
度データが得られるようになっている)をYijとする
と、平均輝度YA は次の式で求められる。
=1〜Jまでの和を意味する) 従って、コンピュータは図4のステップ(ST1) に於いて
前記の演算式を実行する。
対輝度Zijを求める。即ち、各画素の輝度Yijから平均
輝度YA を減算して、各画素の輝度Yijの平均に対する
変化分だけ有効化し、更に、当該変化分に対して窓関数
を掛けることにより、ブロック(31)内に於ける各画素の
位置を考慮した重み付けを行い、相対輝度Zijを求める
のである。この相対輝度Zijを数式で表すと、次のよう
になる。
信号の信頼性が低いことを考慮してその影響を軽減する
為に導入された関数であり、例えばY軸方向についての
み図示すると図5の左端に示すように、ブロック(31)の
中央部に近い程値が大きく周縁部に近い程値が小さくな
る関数である。具体的には、次式で与えられる関数を用
いることができる。
タで計算させるのではなく、予めすべてのijについて
計算した窓関数Wijの計算結果をテーブルとしてコンピ
ュータのメモリー内に格納しておき、そのテーブルに格
納された各値を用いると、式の計算が高速化できる。
相対輝度Zijをステップ(ST3) に於いて空間フーリエ変
換する。図5に示したY軸の正方向又は負方向に通行者
(20)が移動していると仮定すると、空間位相の変化はY
軸方向に生じる為、Y軸方向に空間フーリエ変換を行え
ば良い。
分、即ち、空間フーリエ正弦変換をAsとし、空間フー
リエ変換の基本波のcos波成分、即ち、空間フーリエ
余弦変換をAcとする。尚、空間フーリエ変換の基本波
とは1周期の長さが丁度上記Jとなるsin波及びco
s波のことを意味している。すると、As及びAcは次
の式で求められる。
を意味し、Σj はj=1〜Jまでの和を意味する。
る際に右辺の分子を平均輝度YA で割っているのは、ビ
デオカメラ(11)による監視場所の照明強度の変化や、該
ビデオカメラ(11)の自動露光調節機能によってその感度
が変化するようなことがあっても、かかる環境条件に影
響されることなくAs及Acが求められるようにするた
めである。尚、式及び式のsin関数及びcos関
数は、予めすべてのijについて計算したsin関数及
びcos関数の計算結果をテーブルとしてコンピュータ
のメモリー内に格納しておき、そのテーブルに格納され
た値を用いると、計算の高速化が図れる。
前記式及び式のAsとAcを用いて、相対輝度Zij
を全てのiについて加えたものの信号の空間位相θと振
幅ATを次式により求める。 θ=tan-1(As/Ac) (但し、Ac>0の場合) ・・・−A θ=tan-1((As/Ac)+π) (但し、Ac<0,As≧0の場合) ・・・−B θ=tan-1((As/Ac)−π) (但し、Ac<0,As<0の場合) ・・・−C 尚、上記−A〜Cで輝度信号の空間位相が求められる
理論は例えば画像処理応用技術(田中弘 編著 株式会
社 工業調査会 発行)内の記載から理解できる。即
ち、同書籍の第64頁の下から6行目〜下から5行目に
は「画像fに対して(a,b)だけ平行移動すると、F
(フーリエ変換)はexp{−2πi((au/M)+
(bu/N))}だけ位相が変化する・・・」と記載さ
れており、係る既述に於ける「位相」即ち、空間位相が
前記フーリエ余弦変換とフーリエ正弦変換の比のtan
-1によって求めたθとなることが理解できる。又、この
ことから、前記空間位相は、通行者の像を映し出してい
る画素のブロック(31)内に於ける位置と相関関係がある
ことが理解できる。
を利用して空間位相を求めることも可能である。 振幅AT=(As2 +Ac2 )1/2 ・・・ このようにして、各ブロック(31)に映し出された画像か
ら抽出した輝度信号の空間位相θと振幅ATが全てのブ
ロック(31)について空間位相演算手段(24)(図1参照)
で求められる。 [空間位相記憶手段(25)について]次に、上記空間位相
演算手段(24)で求められた全てのブロック(31)について
の空間位相θと振幅ATは、短時間周期で順次空間位相
記憶手段(25)と空間位相比較手段(26)に送信されて該部
分で処理がされるが、空間位相記憶手段(25)は画像メモ
リ(23)が現在出力している画像より1フレーム前の画像
に対して既述演算処理を施して得た全てのブロック(31)
の空間位相θ及び振幅AT(空間位相演算手段(24)の出
力)を記憶する。即ち、空間位相記憶手段(25)は、分割
された数百のブロック(31)毎の空間位相θ及び振幅AT
を記憶できる容量があれば足り、大容量故に高価な画像
メモリ(23)のようなものは必要ない。従って、上記のも
のによれば、単一の画像メモリ(23)を必要とするだけで
あるから、画像メモリが2個必要であった既述従来のも
のに比べて安価に製作できる。 [空間位相比較手段(26)について]空間位相比較手段(2
6)は、空間位相演算手段(24)が出力する空間位相θとこ
れより1フレーム前の画像から得られた空間位相θたる
空間位相記憶手段(25)の出力を各ブロック(31)毎に比較
し、各ブロック(31)毎の空間位相θの経時的変化量と変
化方向を求め、これにより、通行者(20)を撮影した結果
の像が各ブロック(31)内に於いてどのように移動してい
るかを判断する。尚、前記判断に際しては、判断の精度
向上の為に振幅ATの情報も利用される。
位相演算手段(24)が出力する現在の現在空間位相θc と
空間位相記憶手段(25)が出力する1フレーム前の直前空
間位相θp を用いて、図6の(イ)に示すフローチャー
トに従って空間位相比較手段(26)で算出されるが、図6
のフローチャートでは、位相差Δθの絶対値がπrad
(180°)以内に収まるように処理している。即ち、
図6の(ロ)に示すように、前記位相差Δθがπより大
きな値である第1位相差(74)であることがステップ(ST1
1)で確認されると、これから2πだけ減算した第2位相
差(75)を位相差Δθとして記憶し直す(ステップ(ST1
2))。又、位相差Δθが−πより小さな値である第3位
相差(76)であることがステップ(ST11)(ST13)で確認され
ると、これに2πを加算した第4位相差(77)を位相差Δ
θとして記憶し直す(ステップ(ST14))。
(20)の像が動いているか否かは前記空間位相演算手段(2
4)と空間位相記憶手段(25)が出力している出力差として
の位相差Δθと、空間位相演算手段(24)が現在出力して
いる振幅AT(以下、「現在振幅ATC」という。)およ
びこれに対応する画像の1フレーム前の画像から求めら
れ空間位相記憶手段(25)に記憶されている振幅AT(以
下、「直前振幅ATP」という。)とに基づいて空間位相
比較手段(26)が判断する。
すフローチャートに従って各ブロック(31)に映った像の
動きを判断するが、当該像の状態毎に場合分けして処理
動作を説明する。尚、図7に於いては、移動体検出の精
度を向上させる為に判断される現在振幅ATC及び直前振
幅ATPが小さいときは、ステップ(ST31)(ST32)(ST33)と
進んで象が静止していると判断するようにしている。即
ち、前記両振幅ATC,ATPが小さい場合は、ブロック(3
1)内の輝度が略均一であることを意味しており係る状態
は床面である可能性が高いことから、像が静止している
と判断して移動検出信号は出力しないのである。又、現
在振幅ATCは小さくないが直前振幅ATPが小さい場合は
ステップ(ST31)(ST34)(ST35)と進んで、像の移動方向が
判定不能と判断する。但し、この場合に於いても像が移
動している事実は認識し係る情報を後述の移動判定手段
(27)に送る。そして、この情報に対応するブロック(31)
と該ブロック(31)に隣接する他のブロック(31)であって
像の移動方向が確認されているものとを一緒(共通のグ
ループとして)に後述のブロック化を行う。 (ア).ブロック(31)内の像が静止している場合。
で像が静止していると判断し、このように判断したこと
を示す信号を出力する。 (イ).ブロック(31)内の像がY軸の正の方向(図3に
於いて上方向)に移動している場合。この場合は、ステ
ップ(ST36)(ST37)(ST38)と進んで上記移動方向に移動し
ていることを示す信号を出力する。 (ウ).ブロック(331) 内の像がY軸の負の方向(図3
に於いて下方向)に移動している場合。
と進んで上記移動方向に移動していることを示す信号を
出力する。上記ステップ(ST31)〜(ST39)の処理を全ての
ブロック(31)について実行し、各ブロック(31)について
上記(ア)〜(ウ)等の信号を後述の移動判定手段(27)
に送信する。
る判断を、ファジールールを用いて行うと、判断の精度
向上が図れる。 [移動判定手段(27)について]空間位相比較手段(26)に
より各ブロック(31)に映っている像の移動方向が各ブロ
ック(31)毎に決定されると、移動判定手段(27)は、前記
像の移動方向について共通性を有し且つ接近しているブ
ロック(31)(31)をグループ化することにより、通行者像
を作り、更に、この通行者像の中心座標や移動方向等を
調べる。
は三人の通行者像(20a) (20b) (20c) が示されており、
通行者像(20a)(20b) はY軸の正・負の方向にすれ違
い、該すれ違い部から若干離れた位置をY軸の正の方向
に通行者像(20c) が移動している。各ブロック(31)(31)
内に示している矢印は、そのブロック(31)に映っている
通行者像(20a) (20b) (20c) の移動方向を示している。
従って、通行者像(20a) (20c) を映し出している各ブロ
ック(31)(31)内に示した矢印の向きは、当該部分につい
て調べた位相差Δθが正であることを示しており、通行
者像(20b) を映し出している各ブロック(31)(31)内に示
した矢印は位相差Δθが負であることを示している。
動きを示す接近した一群のブロック(31)(31)を単一の通
行者像(20a) 等として認識し、これにより、通行者像(2
0a)の存在を検出する。図9の通行者像(20a) (20b)
は、互いに接近しているにも関わらず、移動方向たる位
相差Δθの正・負に着目することによって、個人別に分
離検出することができるのが判る。従って、図8のよう
に接近してすれ違う通行(201) (202) を個人別に分離検
出することができ、既述従来のものに比べてかかる場合
の検出精度が向上する。
一方向に移動する場合は、位相差Δθの正・負が生じな
いので上記手法ではこれを分離検出することができない
が、この場合は通行者像(20a) (20b) の像の面積(一人
の通行者を映し出すのに必要なブロック(31)の数)やX
軸方向の幅(X軸方向のブロック数)等が予め分かって
いることから、該面積等の大きさを判断することによっ
て同一方向に移動する複数の通行者を個人別に分離検出
することが可能となる。
ラ(11),A/D変換器(12),画像メモリ(23),空間位相
演算手段(24),空間位相記憶手段(25),空間位相比較手
段(26)及び移動判定手段(27)の集合が移動体検出装置と
なる。[位置決定手段(271) について]上記移動判定手
段(27)で通行者(20)が検出されると、該信号は位置決定
手段(271) に送られる。
を映し出しているブロック(31)(31)群の中心座標G(通
行者像の中心座標)や、移動方向(既述した位相差Δθ
の正・負)、及び移動速度(位相差Δθの大きさ)等か
ら構成される空間位相の変化度合いや、前記像の面積、
更には幅等を決定する。尚、前記中心座標Gは、例えば
次の手法で求められる。即ち、図9の通行者像(20a) に
属するブロック(31)(31)に於いて、Y軸方向の最も前方
に位置するブロック(31a) の原点からの配列順位をY1
とし、最も後方に位置するブロック(31b) の配列順位を
Y2 とした場合、Y軸方向に於ける中心座標YG は、例
えば「Y G =((Y1 +Y2 )/2)」で求められる。
又、X軸方向の最も前方に位置するブロック(31c) の原
点からの配列順位をX1 とし、最も後方に位置するブロ
ック(31b) の配列順位をX2 とした場合、X軸方向に於
ける中心座標XG は、例えば「XG =((X1 +X2 )
/2)」で求められる。従って、前記通行者像(20a) の
中心座標Gは(XG ,YG )となる。
ることもできる。即ち、通行者(20)の像を映し出してい
るブロック(31)(31)がA個あると仮定し、第a番目のブ
ロク(31)の座標が(Xa ,Ya )すると、前記中心座標
G=(XG ,YG )は、XG =(1/A)Σa Xa ,Y
G =(1/A)Σa Ya で求められる。但し、Σ a はa
=1〜Aまでの和を意味する。この演算式で中心座標G
を求めると、先の演算式を用いる場合に比べて演算結果
の精度が一層向上する。
座標G等の情報は計数手段(28)に送信される。 [計数手段(28)について]計数手段(28)は、前記移動判
定手段(27)から送られて来た情報に基づいて、各通行者
(20)を追跡し、前記中心座標Gが、画像全体中に予め設
定されている計数ライン(C) を示す画素群(請求項5の
発明特定事項として記載した「基準画素群」に対応す
る。)(図9参照)と一致した時点でこれを計数する。
即ち、前記計数ライン(C) に対応する画素群のY軸方向
の原点からの配列順位Cと上記中心座標Gが一致したと
きに計数動作を実行するのである。又、前記中心座標が
前記計数ライン(C) を越えたときに計数動作を実行して
もよい。 [出力装置(29)について]計数手段(28)が出力する計数
値は出力装置(29)に送られ、該計数値はディスプレーに
表示されたり、電気的インターフェースを介して他の機
器に情報を送る等の方法によって、出力装置(29)で外部
に出力される。
移動体の移動を検出する実験を行ったところ、上記処理
の結果と移動体の実際の移動方向や移動速度が高い精度
で一致していることが確認できた。即ち、上記のように
高調波(複数周期の長さが丁度上記Jとなるsin波及
びcos波)成分を用いずとも、基本波のみの位相の変
化を用いて移動体の検出が行える事が、実験的に確認さ
れたのである。
軸方向に移動するとの仮定の下に、該通行者(20)の像か
ら得られる輝度に関する情報(Σ相対輝度Zij)をY軸
方向に空間フーリエ変換したが、図10に示すように、
通行者(20)がY軸方向と60°の角度を成す方向に移動
する場合でも、Y軸方向への空間位相の変化たる位相差
Δθが検出されることが実験的に確認された。
ック(31)(31)相互が重ならないようにこれらブロック(3
1)(31)の領域を設定しているが、実際には図11に示す
様に、隣接するブロック(31)(31)に重なる領域を設け、
この重なり領域を含めて前記フーリエ変換する方が高い
精度で計数できる。又、図12に示す様に、画像中に設
定した計数ライン(C) の近傍にのみ処理対象とするブロ
ック(31)(31)を設定することによって、処理量の軽減を
図ってもよく、場合によっては、X軸方向に並んだ一列
のブロック(31)(31)のみを処理対象としても良い。
態様について説明する。例えば、駅のコンコースや広場
等、通行者(20)が複雑に動く状況下に於いて流量調査を
する場合、図13のように複数のビデオカメラ(11a) 〜
(11f) を天井等に縦横に設置する。各ビデオカメラ(11
a) 〜(11f) を用いて流動調査をする場合の概念図を図
14に示している。
ついての説明と本質的に同じであり、各ビデオカメラ(1
1a) 〜(11f) 毎にA/D変換器(12a) 〜(12f) ,画像メ
モリ(23a) 〜(23f) 及び空間位相演算手段(24a) 〜(24
f) を用意し、各ビデオカメラ(11a) 〜(11f) からの画
像を分割して得た全ブロック(31)を対象として空間位相
演算手段(24a) 〜(24f) で既述空間フーリエ変換を行
う。この場合、通行者(20)の移動方向が不規則である
為、図15に示すように、各ブロック(31)に於いて直行
するX軸及びY軸の2方向に空間フーリエ変換を実行
し、これにより、前記二方向の空間位相の変化たる位相
差横成分Δθx及び位相差縦成分Δθyを求め、これに
より、通行者(20)の移動方向(S) 等を判断する。そし
て、各空間位相演算手段(24a) 〜(24f) から得られた空
間位相の変化等の情報(51a) (51b) (51c) を図16のよ
うに繋ぎ合わせて全体情報を完成させ、それを、共通の
空間位相記憶手段(25)や空間位相比較手段(26)に送る。
すると、各空間位相演算手段(24a) 〜(24f) で演算され
た現在の空間位相より1フレーム前の空間位相等の情報
が共通の空間位相記憶手段(25)に記憶され、該空間位相
記憶手段(25)の出力と前記空間位相演算手段(24a) 〜(2
4f) の出力が空間位相比較手段(26)で処理される。以後
は、既述した単一のビデオカメラ(11)を設置した場合と
同様に処理され、この処理情報を適宜加工することによ
り、監視対象たる広場等の全体に於ける通行者(20)の流
動調査が行える。
メラ(11a) 〜(11f) を用いているが、監視場所が比較的
狭い場合には単一のビデオカメラ(11)を設置し、これに
よって得られる画像信号のX軸及びY軸方向の空間位相
差Δθx,Δθxを演算する様にしてもよい。尚、フー
リエ変換を用いた計算を行う場合、積和演算を利用する
ことによって演算を高速かすることが可能であり、実用
上は係る積和演算を利用する手法が採用される。
・・,aI とb1 ,b2 ,・・・,bI が与えられる
時、Σi ai bi (但し、Σi は、i=1〜Iまでの和
を意味する。)を求める演算の事で、係る積和演算は、
フィルタリングと称される信号処理に用いられる。近
年、フィルタリングを高速で行う事が工業的に要求され
るようになり、積和演算を高速で実行できるDSP(Di
gital Signal Processor)と呼ばれる演算器が開発され
ている。そして、フーリエ変換によるオプティカルフロ
ー(移動体の像の画面上での動きベクトル)の算出は、
このDSPを用いる事により高速に行える。
ローの算出が積和演算を基本に計算される事について説
明する。フーリエ変換のsin波成分Asと、cos波
成分Acは、既述で示した次の式で求まる。 Zij=Wij(Yij−YA ) ・・・ As=Σj {(Σi Zij)・sin(2π・(j−1)/J)}/YA ・・・ Ac=Σj {(Σi Zij)・cos(2π・(j−1)/J)}/YA ・・・ 上記式を変形することによって、 Dj =Σi Zij=Σi Wij(Yij−YA )=Σi Wij・ΔYij (但し、ΔYij=Yij−YA ) ・・・−A とDj を定義すると、AsとAcは次のように表せる。
差であり、算出に殆ど時間がかからない。また、Sj 及
びCj は予め数値テーブルに値を用意すれば良いので、
計算する必要はない。
の積和演算で求まる事が判り、また式−B〜Cを見る
と、AsとAcはそれぞれ、Dj とSj 、Dj とCj の
積和演算をYA で割ったもので求まる事が判る。この様
にフーリエ変換は、積和演算及び実質的に積和演算の形
式を有する上記−A〜Cの3種類の式を用いて行え
る。そして、積和演算の形で表現できる上記式−A〜
Cを用いてフーリエ変換を行えば、既述DSPを利用し
た高速演算を行うことが可能となり、実用に適した移動
体検出装置が得られる。
面図
像を分割したブロック(31)(31)の配列態様の説明図
を求める演算順序を説明するフローチャート
概念説明図
の位相差Δθを求める手法を説明するフローチャート
ク(31)に映った像の動きを判断する場合の手法を説明す
るフローチャート
b) がすれ違う状態を示す平面図
示す説明図
する方向に移動する状態を示す平面図
た状態を示すの説明図
れる画像中の計数ライン近傍に処理対象のブロック(31)
(31)を設定した状態の説明図
メラ(11a) (11b) の配設態様説明図
合の概念図
変換することによって得られる移動方向ベクトルの説明
図
ラ(11a) (11b) から得られる画像を継ぎ合わせた状態の
全体画像図
明する図
Claims (5)
- 【請求項1】 移動体の画像データを処理することによ
って前記移動体を検出する移動体検出方法であって、 前記画像データを構成する画素のデータに基づいて前記
画素の集合群で得られた画像信号を前記移動体の移動方
向と非直角な方向に空間フーリエ変換する場合のフーリ
エ余弦変換をACとし、フーリエ正弦変換をASとした
場合、tan-1(AS/AC)又はcot-1(AC/A
S)の演算式で得られる空間位相を時系列的に算出する
工程と、 前記算出された空間位相の変化に基づいて移動体を検出
する工程とを備えた移動体検出方法。 - 【請求項2】 前記画素の集合群は、前記画像データを
複数の格子状に分割して出来る各ブロックである請求項
1に記載の移動体検出方法。 - 【請求項3】 前記画像信号は、輝度信号である請求項
1又は請求項2に記載の移動体検出方法。 - 【請求項4】 移動体の画像データを処理することによ
って前記移動体を検出する移動体検出装置であって、 前記画像データを構成する画素のデータに基づいて前記
画素の集合群で得られた画像信号を前記移動体の移動方
向と非直角な方向に空間フーリエ変換する場合のフーリ
エ余弦変換をACとし、フーリエ正弦変換をASとした
場合、tan-1(AS/AC)又はcot-1(AC/A
S)の演算式で得られる空間位相を演算する空間位相演
算手段と、 前記空間位相演算手段の出力を所定時間周期で順次記憶
し直す空間位相記憶手段と、 前記空間位相演算手段の出力と、該出力より以前の出力
を記憶している前記空間位相記憶手段の出力とを比較す
る空間位相比較手段と、 前記空間位相比較手段の出力によって前記非直角な方向
への移動体の存否を判断する移動判定手段とを具備する
移動体検出装置。 - 【請求項5】 移動体の画像データを処理することに
よって前記移動体を計数する移動体計数装置であって、 前記画像データを構成する画素のデータに基づいて前記
画素の集合群で得られた画像信号を前記移動体の移動方
向と非直角な方向に空間フーリエ変換する場合のフーリ
エ余弦変換をACとし、フーリエ正弦変換をASとした
場合、tan-1(AS/AC)又はcot-1(AC/A
S)の演算式で得られる空間位相を演算する空間位相演
算手段と、 前記空間位相演算手段の出力を所定時間周期で順次記憶
し直す空間位相記憶手段と、 前記空間位相演算手段の出力と、該出力より以前の出力
を記憶している前記空間位相記憶手段の出力とを比較す
る空間位相比較手段と、 前記空間位相比較手段の出力によって前記非直角な方向
への移動体の存否を判断する移動判定手段と、 前記移動判定手段によって移動体と判定された画素集合
群に基づいて、前記移動体を含む背景の背景データ中に
於ける前記移動体の位置に対応する画素集合群を決定す
る位置決定手段と、 前記背景データ中に設定された計数基準位置を示す基準
画素群と前記決定された画素集合群とが一致したときに
計数動作を実行する計数手段を具備する移動体計数装
置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07616096A JP3200663B2 (ja) | 1996-03-29 | 1996-03-29 | 移動体検出方法,移動体検出装置,及び移動体計数装置 |
| US08/936,985 US6307951B1 (en) | 1996-03-29 | 1997-09-25 | Moving body detection method and apparatus and moving body counting apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07616096A JP3200663B2 (ja) | 1996-03-29 | 1996-03-29 | 移動体検出方法,移動体検出装置,及び移動体計数装置 |
| US08/936,985 US6307951B1 (en) | 1996-03-29 | 1997-09-25 | Moving body detection method and apparatus and moving body counting apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09265539A JPH09265539A (ja) | 1997-10-07 |
| JP3200663B2 true JP3200663B2 (ja) | 2001-08-20 |
Family
ID=26417311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07616096A Expired - Lifetime JP3200663B2 (ja) | 1996-03-29 | 1996-03-29 | 移動体検出方法,移動体検出装置,及び移動体計数装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6307951B1 (ja) |
| JP (1) | JP3200663B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6813377B1 (en) * | 1999-08-06 | 2004-11-02 | Cognex Corporation | Methods and apparatuses for generating a model of an object from an image of the object |
| US6898333B1 (en) | 1999-08-06 | 2005-05-24 | Cognex Corporation | Methods and apparatus for determining the orientation of an object in an image |
| US7612796B2 (en) * | 2000-01-13 | 2009-11-03 | Countwise, Llc | Video-based system and method for counting persons traversing areas being monitored |
| US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| US6696945B1 (en) * | 2001-10-09 | 2004-02-24 | Diamondback Vision, Inc. | Video tripwire |
| US6650273B1 (en) * | 2002-05-06 | 2003-11-18 | Lockheed Martin Corporation | Change subtraction of synthetic aperture radar data |
| US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
| US7920718B2 (en) * | 2002-09-05 | 2011-04-05 | Cognex Corporation | Multi-zone passageway monitoring system and method |
| US7400744B2 (en) * | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
| US7433494B2 (en) * | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| US7319782B2 (en) * | 2003-06-18 | 2008-01-15 | Hogan Josh N | Real-time imaging and analysis system |
| US7623674B2 (en) * | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
| US8326084B1 (en) * | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| WO2006025185A1 (ja) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 監視記録装置およびその方法 |
| US20070047837A1 (en) * | 2005-08-29 | 2007-03-01 | John Schwab | Method and apparatus for detecting non-people objects in revolving doors |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| US8126260B2 (en) * | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| WO2009016614A2 (en) * | 2007-08-02 | 2009-02-05 | Emza Visual Sense Ltd. | Universal counting and measurement system |
| TWI405149B (zh) * | 2008-12-08 | 2013-08-11 | Ind Tech Res Inst | 物體端點定位方法及應用其之系統 |
| CN103077381A (zh) * | 2013-01-08 | 2013-05-01 | 郑州威科姆科技股份有限公司 | 一种基于分数阶傅里叶变换的单目动态手势识别方法 |
| US10037477B2 (en) | 2015-08-31 | 2018-07-31 | Massachusetts Institute Of Technology | Combined intensity and coherent change detection in images |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3700801A (en) * | 1966-10-03 | 1972-10-24 | Trw Inc | Image analysis and correlation system and method |
| JPS5927842B2 (ja) * | 1978-08-24 | 1984-07-09 | 工業技術院長 | タ−ゲット・マ−クの変位測定方法 |
| US5341435A (en) * | 1992-03-17 | 1994-08-23 | Corbett Technology Company, Inc. | System for detection and recognition of an object by video imaging means |
-
1996
- 1996-03-29 JP JP07616096A patent/JP3200663B2/ja not_active Expired - Lifetime
-
1997
- 1997-09-25 US US08/936,985 patent/US6307951B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6307951B1 (en) | 2001-10-23 |
| JPH09265539A (ja) | 1997-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3200663B2 (ja) | 移動体検出方法,移動体検出装置,及び移動体計数装置 | |
| CN104108392B (zh) | 车道估计装置和方法 | |
| CN110889351B (zh) | 视频检测方法、装置、终端设备及可读存储介质 | |
| JP3522317B2 (ja) | 車輌用走行案内装置 | |
| EP2815383B1 (en) | Time to collision using a camera | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| CN109703460B (zh) | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 | |
| US20200380864A1 (en) | Roadside parking management method, device, and system based on multiple cameras | |
| US9798936B2 (en) | System and method for detecting obstacles using a single camera | |
| CN110738150A (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
| JPH09226490A (ja) | 横断物の検出装置 | |
| JPH08329393A (ja) | 先行車検出装置 | |
| US8538205B2 (en) | Multi-function summing machine | |
| CN106559647A (zh) | 开门关门检测装置和方法、人流检测系统和交通工具 | |
| Lin et al. | Real-time active tampering detection of surveillance camera and implementation on digital signal processor | |
| JP3100471B2 (ja) | 危険交通事象検出方法 | |
| CN119904774A (zh) | 车斗载人的识别方法、设备及存储介质 | |
| JP2002092751A (ja) | 監視システム | |
| JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
| Ventroux et al. | Stereovision-based 3D obstacle detection for automotive safety driving assistance | |
| Par et al. | Real-time traffic sign recognition with map fusion on multicore/many-core architectures | |
| JP2853367B2 (ja) | 車両動態計測装置 | |
| CN111781585B (zh) | 一种确定烟花燃放位置的方法及图像采集设备 | |
| CN109379524A (zh) | 基于工业相机和工业镜头的全景数据采集装置 | |
| CN110442127B (zh) | 智能巡检方法、设备和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090622 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090622 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140622 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |