JP2001209694A

JP2001209694A - 作業分析支援システム

Info

Publication number: JP2001209694A
Application number: JP2000016398A
Authority: JP
Inventors: Hirotsugu Araki; 宏嗣荒木
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2000-01-26
Filing date: 2000-01-26
Publication date: 2001-08-03

Abstract

(57)【要約】【課題】複雑な操作を必要とせず容易に作業分析の支援
を行うことができる作業分析支援システムを提供する。【解決手段】識別マーカ２２が貼付された作業者２２の
作業はビデオカメラ１で撮像される。コンピュータ５
は、ビデオ再生装置３で再生されたビデオ画像信号が入
力され、画像表示装置４の画面４ａで識別マーカ２３お
よび指定エリアが指定され、画面４ａ上の作業分析釦４
ｄがマウス７でクリックされると自動的に作業分析が開
始され、終了釦４ｅがクリックされると作業分析を終了
する。コンピュータ５が、識別マーカ２３を検出する画
像処理手段と、画像処理手段の出力に基づいて１画面毎
に指定エリア内の識別マーカ２３の存否を判定する判定
手段と、判定手段の出力に基づいて識別マーカ２３が指
定エリア内にある時間と当該指定エリア外にある時間と
をそれぞれ個別に積算する積算手段とを構成している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＩＥ（生産工学）
などの分野において人間や機械（例えば、ロボット）が
行う作業の作業分析の支援を行う作業分析支援システム
に関するものである。

【０００２】

【従来の技術】従来より、工場などにおいて人間や機械
（例えば、ロボット）が反復して行う作業（動作）をビ
デオカメラにより撮影し、コンピュータを利用して作業
分析を行うとともに統計解析を行い、データベースに蓄
積できるようにした作業解析装置が特開平６−２３１１
３７号公報に提案されている。

【０００３】この作業解析装置は、図１３に示すような
構成を有しており、作業を行っている対象たる作業者２
および作業者２２の作業領域を含む範囲をあらかじめ撮
像手段たるビデオカメラ１により撮影してビデオテープ
２に記録し、ビデオテープ２に記録された作業者２２の
作業の映像をビデオ再生装置３により再生してＣＲＴよ
りなる画像表示装置４に表示させてコンピュータ５によ
り作業分析を行うようになっている。コンピュータ５
は、ビデオ再生装置３による再生画像をインターフェー
ス６を介して取り込んで分析者によるマウス７の操作に
応じて作業者２２の作業の作業分析を行うものであり、
作業分析の結果得られた情報をデータベースに記憶する
ようになっている。ここにおいて、画像表示装置４の画
面４ａにはビデオカメラ１により撮像された画像の他に
メニュー釦、作業項目釦などの釦が表示されるようにな
っており、分析者は、画像表示装置４の画面４ａに表示
される画像を見ながら、画面４ａ上の釦をマウス７でク
リックしながら作業分析を進めていくことができる。要
するに、一つ一つの作業でその都度マウス７をクリック
することで作業分析を進行させることができる。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
作業解析装置を利用する分析者は、画像表示装置４の画
面４ａを見ながらマウス７の操作を繰り返しながら作業
分析を進める必要があり、手間がかかるという不具合が
あった。また、分析者がマウス７をクリックしたタイミ
ングで作業に要した時間が決まるので、当該作業に要し
た時間を正確に計測することができないこともあった。

【０００５】本発明は上記事由に鑑みて為されたもので
あり、その目的は、複雑な操作を必要とせず容易に作業
分析の支援を行うことができる作業分析支援システムを
提供することにある。

【０００６】

【課題を解決するための手段】請求項１の発明は、上記
目的を達成するために、作業を行っている対象を撮像す
る撮像手段と、撮像手段の撮影領域内で指定された指定
エリア内であらかじめ決められた識別マーカを検出する
画像処理手段と、画像処理手段の出力に基づいて１画面
毎に指定エリア内の識別マーカの存否を判定する判定手
段と、判定手段の出力に基づいて識別マーカが指定エリ
ア内にある時間と当該指定エリア外にある時間とをそれ
ぞれ個別に積算する積算手段とを備えることを特徴とす
るものであり、撮像手段の撮影領域内で指定された指定
エリア内であらかじめ決められた識別マーカが画像処理
手段により検出され、判定手段が画像処理手段の出力に
基づいて１画面毎に指定エリア内の識別マーカの存否を
判定し、積算手段が判定手段の出力に基づいて識別マー
カが指定エリア内にある時間と当該指定エリア外にある
時間とをそれぞれ個別に積算するから、分析者が画面に
表示された対象の作業を見ながら一つ一つの作業でその
都度マウスを操作することなく、指定エリア内と当該指
定エリア外それぞれでの作業の正確な積算時間が得られ
るので、複雑な操作を必要とせず容易に作業分析の支援
を行うことができる。

【０００７】請求項２の発明は、請求項１の発明におい
て、前記識別マーカは、特定形状からなり、前記画像処
理手段は、特定形状を検出するマッチング手段からなる
ので、前記画像処理手段は、白黒の２値化画像で特定形
状を検出することが可能になる。

【０００８】請求項３の発明は、請求項１の発明におい
て、前記識別マーカは、特定色を有するので、撮像雰囲
気の明るさに影響されることなく識別マーカを確実に検
出することが可能となる。

【０００９】請求項４の発明は、請求項１の発明におい
て、前記指定エリアとして、前記撮像手段により撮像し
て得られた画像内における前記対象の主作業領域に対し
て主作業エリアが指定されているので、主作業エリアに
おける対象の作業時間を取得することが可能になる。

【００１０】請求項５の発明は、請求項４の発明におい
て、前記指定エリアとして、前記撮像手段により撮像し
て得られた画像内における前記主作業領域に付随した作
業領域に対して付随作業エリアが指定されているので、
主作業エリアおよび付随作業エリアそれぞれにおける対
象の各作業時間を取得することが可能になる。

【００１１】請求項６の発明は、請求項１の発明におい
て、撮像手段により撮像して得られた画像に対して前記
指定エリアを指定する指定エリア指定手段と、撮像手段
により撮像して得られた画像の一部を選択的に拡大させ
る拡大手段とを有するので、指定エリアを分析者が指定
エリア指定手段により適宜指定することができ、しか
も、撮像手段により撮像して得られた画像の一部を拡大
手段により選択的に拡大できるから、指定エリアの指定
が容易になる。

【００１２】請求項７の発明は、請求項１の発明におい
て、撮像手段により撮像して得られた画像に対して前記
識別マーカを指定する識別マーカ指定手段と、撮像手段
により撮像して得られた画像に対して前記指定エリアを
指定する指定エリア設定手段とを有し、識別マーカ指定
手段は、識別マーカの形状を入力することにより当該形
状の相似形状が識別マーカとして指定され、指定エリア
設定手段は、エリアの形状を入力することにより当該形
状の相似形状が指定エリアとして指定されるので、識別
マーカの形状を入力することにより識別マーカが指定さ
れ、また、エリアの形状を入力することにより指定エリ
アが指定されることにより、識別マーカおよび指定エリ
アの指定が容易になる。

【００１３】請求項８の発明は、請求項１の発明におい
て、前記撮像手段による撮像時に画像を表示する表示装
置を備え、該表示装置が、識別マーカを指定する識別マ
ーカ指定手段および指定エリアを指定する指定エリア指
定手段に兼用されるので、撮像時に識別マーカおよび指
定エリアを指定でき、その後の作業分析の自動化を図る
ことができる。

【００１４】

【発明の実施の形態】（実施形態１）本実施形態の作業
分析支援システムは、図１に示すように、作業を行って
いる対象（例えば人間やロボット）を撮像する撮像手段
たるビデオカメラ１と、ビデオカメラ１により撮影した
映像を記録する媒体たるビデオテープ２と、ビデオテー
プ２に記録された対象の作業の映像を再生するビデオ再
生装置３と、ビデオ再生装置３により再生された画像に
基づいて対象の行っている作業の作業分析を行うコンピ
ュータ５とを備えている。

【００１５】ここにおいて、ビデオ再生装置３は、ビデ
オケーブル１８を介してコンピュータ５に接続されてい
る。したがって、ビデオ再生装置３からコンピュータ５
へビデオ画像信号が送られるようになっている。なお、
コンピュータ５には、ビデオケーブル１８が接続される
インターフェース６が設けられるとともに、ビデオ画像
信号をアナログデジタル変換するＡ／Ｄ変換器（図示せ
ず）が内蔵されている。

【００１６】また、コンピュータ５には、ビデオ再生装
置３から受け取ったビデオ画像信号に基づいた画像を表
示させるＣＲＴよりなる画像表示装置４、作業分析の分
析結果などの各種データを保存するためのメモリよりな
る記憶装置９、作業分析の分析結果を印刷するためのプ
リンタ１０、ポインティングデバイスたるマウス７、キ
ーボード８などが接続されている。なお、コンピュータ
５には、上述のＡ／Ｄ変換器によりデジタル化されたビ
デオ画像信号をデジタルアナログ変換するＤ／Ａ変換器
（図示せず）が内蔵されており、ビデオ画像はＤ／Ａ変
換器を通して画像表示装置４の画面４ａに表示される。

【００１７】いま、作業台２１で作業を行う作業者２２
を対象として、作業者２２の適宜箇所（例えば、右手）
に識別マーカ２３を貼付し、ビデオカメラ１で作業者２
２および作業台２１を含む範囲を撮影しビデオテープ２
に記憶するものとする。ここにおいて、作業台２１の上
面は、主作業領域２４、部品Ａ収納領域２５、部品Ｂ収
納領域２６、部品Ｃ収納領域２７が区分され、各収納領
域２５，２６，２７には、それぞれ部品Ａ，Ｂ，Ｃが複
数個ずつ用意されている。作業者２２は、各収納領域２
５，２６，２７からそれぞれ部品Ａ，Ｂ，Ｃを右手でハ
ンドリングして主作業領域２４で部品Ａ，Ｂ，Ｃを組み
付ける作業を繰り返し行うようになっているものとす
る。

【００１８】なお、ビデオカメラ１としては、例えば３
０フレーム／秒の記憶能力を持つものを使用している。
また、識別マーカ２３としては、特定形状（例えば星
形）のものを貼付している。

【００１９】ところで、コンピュータ５は、図２に示す
ように画像表示装置４の画面４ａへ、ビデオカメラ１に
より撮像された画像４ｂを表示させるとともに、画面４
ａにおける画像４ｂの下方に後述の指定釦４ｃ、作業分
析釦４ｄ、終了釦４ｅを表示させるようになっており、
分析者が指定釦４ｃをマウス７によりクリックすること
によって画面４ａに表示された画像４ｂ上で識別マーカ
２３および指定エリアの指定を行えるようになってい
る。ここにおいて、指定エリアは、分析者が作業分析を
行うために識別マーカ２３の出入りを管理する必要のあ
るエリアとして適宜指定するエリアであって、指定エリ
アとしては、例えば、上述の主作業領域２４、部品Ａ収
納領域２５、部品Ｂ収納領域２６、部品Ｃ収納領域２７
それぞれを指定すればよい。

【００２０】以下、識別マーカおよび指定エリアそれぞ
れの指定方法について図３を参照しながら説明する。

【００２１】画像表示装置４の画面４ａの下部へ指定釦
４ｃ、作業分析釦４ｄ、終了釦４ｅが表示された状態で
指定釦４ｃをマウス７でクリックすると、画像４ｂとし
て静止画像（以下、この静止画像を基準画像と称す）が
表示される（Ｓ１）。識別マーカ２３の指定は、分析者
が画面４ａで識別マーカ２３を囲む範囲（図２では識別
マーカ２３を囲む円形領域）をマウス７で範囲指定する
ことにより行う（Ｓ２）。識別マーカ２３の指定が終了
すると、図２のように画面４ａにおける指定釦４ｃの左
横に「エリア数：」という項目４ｆの表示がなされ指定
エリア数ｎの入力が求められるので、分析者は、所望の
指定エリア数ｎをマウス７若しくはキーボード８を利用
して入力すればよい（Ｓ３）。なお、マウス７で指定エ
リア数ｎを入力する場合には、マウス７のクリック回数
がカウントされることでカウント数が指定エリア数ｎと
して設定される。図２は指定エリア数ｎとして４が設定
された状態を示している。

【００２２】指定エリア数ｎを決定した後は、指定エリ
ア数ｎだけ、分析者による指定エリアの指定（Ｓ４）、
コンピュータ５による当該指定された指定エリアの端点
の絶対座標の取得（Ｓ５）が繰り返される。すなわち、
分析者は、まず図２の基準画像４ｂ内の主作業領域２４
に対してマウス７を用いて図４に示す矩形領域よりなる
指定エリア２４ａの範囲を指定すればよい。ここにおい
て、指定エリア２４ａを指定するには、基準画像４ｂ上
の主作業領域２４の端点１００でマウス７をクリックし
端点２００までドラッグ（矩形領域を拡大縮小）すれば
よい。同様に、マウス７を用いて、部品Ａ収納領域２５
に対して指定エリア２５ａを、部品Ｂ収納領域２６に対
して指定エリア２６ａを、部品Ｃ収納領域２７に対して
指定エリア２７ａをそれぞれ指定すればよい。なお、本
実施形態では、コンピュータ５は、１番目に指定された
指定エリア２４ａが主作業エリアとして登録され、２〜
４番目に指定された各指定エリア２５ａ〜２７ａがそれ
ぞれ付随作業エリアＥ１〜Ｅ３として登録されるが、複
数の主作業エリアが指定できるようにしてもよい。

【００２３】以上説明したようにして画像表示装置４の
画面４ａ上で識別マーカ２３および各指定エリア２４ａ
〜２７ａそれぞれの指定が終了した後、コンピュータ５
による作業分析が可能となる。

【００２４】コンピュータ５による作業分析は、分析者
が画像表示装置４の画面４ａ上の作業分析釦４ｄをマウ
ス７によってクリックすることにより開始される。な
お、分析者は、終了釦４ｅをマウス７でクリックするこ
とにより、作業分析を終了させることができるようにな
っている。

【００２５】以下、コンピュータ５による作業分析の流
れについて図５を参照しながら説明する。

【００２６】まず、作業分析釦４ｄがマウス７によって
クリックされると、コンピュータ５は、ビデオ画像信号
に基づいてフレームレートｔを設定する（Ｓ１１）。そ
の後、指定エリア（主作業エリア）２４ａ内に識別マー
カ２３が存在する時間（つまり、主作業エリア内での作
業者２２の作業時間）を表す変数Ｔｍの初期値として０
を設定するとともに、指定エリア２５ａ〜２７ａそれぞ
れに識別マーカ２３が存在する時間（つまり、各指定エ
リア２５ａ〜２７ａそれぞれでの作業者２２の作業時
間）を表す各変数Ｔａ₁〜Ｔａ₃の各初期値として０を設
定する（Ｓ１２）。

【００２７】その後、コンピュータ５は、画像表示装置
４の画面４ａに表示される画像４ｂを動画像としてＳ１
３〜Ｓ２３で分析を行う。ここにおいて、画面４ａに表
示される動画像を構成する１画像１画像をそれぞれ分析
画像とする。

【００２８】コンピュータ５は、分析画像入力があるか
否かを判断し（Ｓ１３）、分析画像がある場合には当該
分析画像に対して適宜の画像処理を行い識別マーカ２３
を検出し（Ｓ１４）、検出した識別マーカ２３の画像４
ｂ上での絶対座標を取得する（Ｓ１５）。そして、取得
した識別マーカ２３の絶対座標と指定エリア（主作業エ
リア）２４ａの絶対座標とを比較して主作業エリア内の
識別マーカ２３の存否を判定し（Ｓ１６）、主作業エリ
ア内に識別マーカ２３が存在しない場合には、取得した
識別マーカ２３の絶対座標と指定エリア２５ａ（付随作
業エリアＥ１）の絶対座標とを比較して付随作業エリア
Ｅ１内の識別マーカ２３の存否を判定し（Ｓ１８）、付
随作業エリアＥ１内に識別マーカ２３が存在しない場合
には、取得した識別マーカ２３の絶対座標と指定エリア
２６ａ（付随作業エリアＥ２）の絶対座標とを比較して
付随作業エリアＥ２内の識別マーカ２３の存否を判定し
（Ｓ２０）、付随作業エリアＥ２内に識別マーカ２３が
存在しない場合には、取得した識別マーカ２３の絶対座
標と指定エリア２７ａ（付随作業エリアＥ３）の絶対座
標とを比較して付随作業エリアＥ３内の識別マーカ２３
の存否を判定し（Ｓ２２）、付随作業エリアＥ３内に識
別マーカ２３が存在しない場合にはＳ１３に戻る。な
お、主作業エリアにおける識別マーカ２３の存否の判定
は、図４の指定エリア２４ａの端点１００の絶対座標を
（ａ１，ｂ１）、端点２００の絶対座標を（ａ２，ｂ
２）、取得した識別マーカ２３の絶対座標を（ｘ１，ｙ
１）とした場合、ａ１＜ｘ１＜ａ２、且つ、ｂ１＜ｙ１
＜ｂ２の条件を満たすときのみ識別マーカ２３が指定エ
リア（主作業エリア）２４ａ内に存在すると判定され
る。その他の各指定エリア２５ａ〜２７ａ（付随作業エ
リアＥ１〜Ｅ３）についても同様である。なお、図６
（ａ）に識別マーカ２３が指定エリア２４ａ内に存在す
る画像４ｂの例を示し、図６（ｂ）に識別マーカ２３が
指定エリア２４ａ内に存在しない画像４ｂの例を示す。

【００２９】Ｓ１６において主作業エリア内に識別マー
カ２３が存在すると判定された場合には、上述のフレー
ムレートｔを利用してＴｍ＝Ｔｍ＋（１／ｔ）の計算を
行いＳ１３に戻る。また、Ｓ１８において付随作業エリ
アＥ１内に識別マーカ２３が存在すると判定された場合
には、Ｔａ₁＝Ｔａ₁＋（１／ｔ）の計算を行いＳ１３に
戻る。また、Ｓ２０において付随作業エリアＥ２内に識
別マーカ２３が存在すると判定された場合には、Ｔａ₂
＝Ｔａ₂＋（１／ｔ）の計算を行いＳ１３に戻る。ま
た、Ｓ２０において付随作業エリアＥ３内に識別マーカ
２３が存在すると判定された場合には、Ｔａ₃＝Ｔａ₃＋
（１／ｔ）の計算を行いＳ１３に戻る。

【００３０】要するに、Ｔｍ，Ｔａ₁，Ｔａ₂，Ｔａ₃の
いずれも（１／ｔ）×（指定エリア内での識別マーカ２
３の存在回数）で求められることになる。つまり、コン
ピュータ５は、各指定エリア２４ａ〜２７ａ内それぞれ
に識別マーカ２３が存在する時間を積算するようになっ
ている（したがって、トータルの作業時間から各指定エ
リア２４ａ〜２７ａに存在する時間の和を減算すること
でいずれの指定エリア２４ａ〜２７ａにも存在しない時
間も求めることができる）。例えば、上述のように３０
フレーム／秒の記憶能力を持つビデオカメラ１を用いて
いる場合、フレームレートｔは３０に設定されるから、
（１／ｔ）＝０．０３秒となり、識別マーカ２３が主作
業エリア内に２００回存在したとすると、Ｔｍ＝０．０
３×２００＝６．０秒となる。

【００３１】図７は分析結果例を示し、この分析結果は
プリンタ１０にて印字することができる。なお、図７の
分析結果は、主作業領域２４での主作業時間（Ｔｍ）が
６秒、部品Ａのハンドリング時間（Ｔａ₁）が５秒、部
品Ｂのハンドリング時間（Ｔａ₂）が４秒、部品Ｃのハ
ンドリング時間（Ｔａ₃）が５秒であることを示してい
る。

【００３２】要するに、本実施形態では、コンピュータ
５が、撮像手段たるビデオカメラ１の撮影領域内で指定
された指定エリア内であらかじめ決められた識別マーカ
２３を検出する画像処理手段と、画像処理手段の出力に
基づいて１画面毎に指定エリア内の識別マーカ２３の存
否を判定する判定手段と、判定手段の出力に基づいて識
別マーカ２３が指定エリア内にある時間と当該指定エリ
ア外にある時間とをそれぞれ個別に積算する積算手段と
を構成している。

【００３３】しかして、本実施形態では、ビデオカメラ
１の撮影領域内で指定された指定エリア内であらかじめ
決められた識別マーカ２３が画像処理手段により検出さ
れ、判定手段が画像処理手段の出力に基づいて１画面毎
に指定エリア内の識別マーカ２３の存否を判定し、積算
手段が判定手段の出力に基づいて識別マーカ２３が各指
定エリア２４ａ〜２７ａにある時間をそれぞれ個別に積
算するから、分析者が画像表示装置４の画面４ａに表示
された対象たる人間２２の作業を見ながら一つ一つの作
業でその都度にマウス７を操作することなく、各指定エ
リア２４ａ〜２７ａそれぞれでの作業の正確な積算時間
が得られるので、複雑な操作を必要とせず容易に作業分
析の支援を行うことができる。しかも、複数の指定エリ
ア２４ａ〜２７ａを指定していることで、細かく分類さ
れた領域（指定エリア２４ａ〜２７ａ）での作業時間を
個別に取得することができる。したがって、これらの各
作業時間を用いて適宜に作業分析を行うことができる。

【００３４】なお、本実施形態では、識別マーカ２３が
特定形状を有しているので、上記画像処理手段は、特定
形状をテンプレートを利用して検出するマッチング手段
からなり、白黒の２値化画像で識別マーカ２３を検出す
ることが可能になるが、識別マーカ２３としては特定色
を有する識別マーカ２３を用いてもよく、この場合に
は、撮像雰囲気の明るさに影響されることなく識別マー
カ２３を確実に検出することが可能となる。

【００３５】（実施形態２）本実施形態の作業分析支援
システムの基本構成は実施形態１と略同じであって、コ
ンピュータ５が、図８（ａ）に示すように画像表示装置
４の画面４ａへ画像４ｂ、指定釦４ｃ、作業分析釦４
ｄ、終了釦４ｅの他にズーム釦４ｇを表示させており、
分析者がズーム釦４ｇをマウス７によってクリックする
ことにより画像４ｂの一部分を図８（ｂ）に示すように
ズームアップさせることができるようになっている点に
特徴がある。なお、その他の構成は実施形態１と同じな
ので図示および説明を省略する。

【００３６】本実施形態では、ズーム釦４ｇが、撮像手
段たるビデオカメラ１により撮像して得られた画像４ｂ
の一部を選択的に拡大させる拡大手段を構成している。

【００３７】しかして、本実施形態では、ビデオカメラ
１により撮像して得られた画像４ｂの一部を選択的に拡
大させる拡大手段を有するので、ポインティングデバイ
スであるマウス７による指定エリアの指定を容易に行う
ことができる。つまり、画像４ｂを部分的に拡大できる
ので、実施形態１で説明した指定エリア２４ａ〜２７ａ
それぞれの各端点（例えば、端点１００，２００）の指
定が容易になる。

【００３８】（実施形態３）本実施形態の作業分析支援
システムの基本構成は実施形態１と略同じであって、コ
ンピュータ５が、図９に示すように画像表示装置４の画
面４ａへ画像４ｂ、指定釦４ｃ、作業分析釦４ｄ、終了
釦４ｅの他にエリア形状釦４ｈを表示させており、分析
者がエリア形状釦４ｈをマウス７でクリックして画面４
ａの左上にエリア形状入力用のウィンドウ４ｉを表示さ
せて指定エリアの形状を入力することにより、コンピュ
ータ５が当該形状の相似形状を指定エリアとして自動的
に指定する点に特徴がある。ここにおいて、エリア形状
を入力する方法としては、画面４ａ上のウィンドウ４ｉ
に複数種類の図形を表示して、主作業領域２４や部品Ａ
収納領域２５、部品Ｂ収納領２６、部品Ｃ収納領域２７
などの作業領域の形状に合わせてそれらの図形から指定
エリアに適した図形を選択するようにしてもよい。な
お、その他の構成は実施形態１と同じなので図示および
説明を省略する。

【００３９】以下、本実施形態における識別マーカ２３
および指定エリアの指定方法について図１０を参照しな
がら説明する。

【００４０】画像表示装置４の画面４ａに画像４ｂ（こ
の画像４ｂは動画像である）および指定釦４ｃ、作業分
析釦４ｄ、終了釦４ｅ、エリア形状釦４ｈが表示された
状態で分析者が指定釦４ｃをマウス７でクリックする
と、画像４ｂとして静止画像（以下、基準画像と称す）
が表示される（Ｓ３１）。識別マーカ２３の指定は、分
析者が画面４ａで識別マーカ２３を囲む範囲をマウス７
で指定することにより行う（Ｓ３２）。識別マーカ２３
の指定が終了した後、分析者がエリア形状釦４ｈをマウ
ス７でクリックしてエリア形状を入力する（Ｓ３３）。
そしてエリア形状が決定された後、コンピュータ５は、
画像４ｂ内でエリア形状の相似形状の探索を行い（Ｓ３
４）、相似形状があるか否かの判定を行い（Ｓ３５）、
相似形状がある場合には当該相似形状の領域を指定エリ
アとして指定し当該指定エリアの端点の絶対座標を取得
し（Ｓ３６）、Ｓ３４に戻る。一方、Ｓ３５において相
似形状がないと判定された場合には指定エリアの探索を
終了する。

【００４１】しかして、本実施形態では、実施形態１の
ように指定エリア２４ａ〜２７ａごとにマウス７をドラ
ッグしたりする操作が不要となり、複数の指定エリア２
４ａ〜２７ａを自動的に指定することができ、指定エリ
ア２４ａ〜２７ａの指定が容易になる。

【００４２】また、本実施形態では、分析者が指定エリ
アのエリア形状を入力することにより、コンピュータ５
が当該形状の相似形状を指定エリアとして指定するよう
になっているが、分析者が識別マーカ２３の形状を入力
することにより、コンピュータ５が当該形状の相似形状
を識別マーカ２３として指定するようすれば、識別マー
カの指定も容易になる。

【００４３】（実施形態４）本実施形態の作業分析支援
システムの基本構成は実施形態１と略同じであって、撮
像手段たるビデオカメラ１が、図１１に示すようにタッ
チパネル式の液晶モニタ２９を備えており、ビデオカメ
ラ１による撮影時に、撮影者（例えば、分析者）が液晶
モニタ２９にて識別マーカ２３あるいはエリア指定を指
定できるようにした点に特徴がある。本実施形態では、
液晶モニタ２９が、ビデオカメラ１による撮像時に画像
を表示する表示装置を構成しており、液晶モニタ２９
が、識別マーカ２３を指定する識別マーカ指定手段およ
び指定エリアを指定する指定エリア指定手段に兼用され
る。なお、その他の構成は実施形態１と同じなので図示
および説明を省略する。

【００４４】以下、本実施形態における識別マーカ２３
および指定エリアの指定方法について図１２を参照しな
がら説明する。

【００４５】画像表示装置４の画面４ａに画像４ｂ（こ
の画像４ｂは動画像である）および指定釦４ｃ、作業分
析釦４ｄ、終了釦４ｅが表示された状態で指定釦４ｃを
マウス７でクリックすると、画像４ｂとして静止画像
（以下、基準画像と称す）が表示される（Ｓ４１）。そ
して、コンピュータ５は、液晶モニタ２９にて指定され
た識別マーカ２３を探索する（Ｓ４２）。その後、コン
ピュータ５は、液晶モニタ２９にて指定された指定エリ
アの検索を行い（Ｓ４３）、指定エリアがあるか否かの
判定を行い（Ｓ４４）、指定エリアが有った場合には当
該指定エリアの端点の絶対座標を取得し（Ｓ４５）、Ｓ
４３に戻る。一方、Ｓ４４において指定エリアがないと
判定された場合には指定エリアの探索を終了する。

【００４６】本実施形態においては、液晶モニタ２９
が、撮像手段たるビデオカメラ１による撮像時に指定エ
リア２４ａ〜２７ａを指定可能な指定エリア指定手段
と、撮像手段たるビデオカメラ１による撮像時に識別マ
ーカ２３を指定可能な識別マーカ指定手段とを構成して
いる。

【００４７】しかして、本実施形態では、ビデオカメラ
１による撮像時に識別マーカ２３および指定エリア２４
ａ〜２７ａを指定することができるので、撮影終了後に
行う作業分析の自動化を図ることができる。要するに、
ビデオカメラ１による撮影が終了した後に分析者により
識別マーカ２３や指定エリア２４ａ〜２７ａを指定する
操作が不要となるので、作業分析の自動化を図ることが
できる。

【００４８】なお、上記各実施形態では、ポインティン
グデバイスとしてマウス７を用いているが、トラック・
ボール、ライトペン、ジョイスティックなどを用いても
よいことは勿論である。

【００４９】

【発明の効果】請求項１の発明は、作業を行っている対
象を撮像する撮像手段と、撮像手段の撮影領域内で指定
された指定エリア内であらかじめ決められた識別マーカ
を検出する画像処理手段と、画像処理手段の出力に基づ
いて１画面毎に指定エリア内の識別マーカの存否を判定
する判定手段と、判定手段の出力に基づいて識別マーカ
が指定エリア内にある時間と当該指定エリア外にある時
間とをそれぞれ個別に積算する積算手段とを備えるもの
であり、撮像手段の撮影領域内で指定された指定エリア
内であらかじめ決められた識別マーカが画像処理手段に
より検出され、判定手段が画像処理手段の出力に基づい
て１画面毎に指定エリア内の識別マーカの存否を判定
し、積算手段が判定手段の出力に基づいて識別マーカが
指定エリア内にある時間と当該指定エリア外にある時間
とをそれぞれ個別に積算するから、分析者が画面に表示
された対象の作業を見ながら一つ一つの作業でその都度
マウスを操作することなく、指定エリア内と当該指定エ
リア外それぞれでの作業の正確な積算時間が得られるの
で、複雑な操作を必要とせず容易に作業分析の支援を行
うことができるという効果がある。

【００５０】請求項２の発明は、請求項１の発明におい
て、前記識別マーカは、特定形状からなり、前記画像処
理手段は、特定形状を検出するマッチング手段からなる
ので、前記画像処理手段は、白黒の２値化画像で特定形
状を検出することが可能になるという効果がある。

【００５１】請求項３の発明は、請求項１の発明におい
て、前記識別マーカは、特定色を有するので、撮像雰囲
気の明るさに影響されることなく識別マーカを確実に検
出することが可能となるという効果がある。

【００５２】請求項４の発明は、請求項１の発明におい
て、前記指定エリアとして、前記撮像手段により撮像し
て得られた画像内における前記対象の主作業領域に対し
て主作業エリアが指定されているので、主作業エリアに
おける対象の作業時間を取得することが可能になるとい
う効果がある。

【００５３】請求項５の発明は、請求項４の発明におい
て、前記指定エリアとして、前記撮像手段により撮像し
て得られた画像内における前記主作業領域に付随した作
業領域に対して付随作業エリアが指定されているので、
主作業エリアおよび付随作業エリアそれぞれにおける対
象の各作業時間を取得することが可能になるという効果
がある。

【００５４】請求項６の発明は、請求項１の発明におい
て、撮像手段により撮像して得られた画像に対して前記
指定エリアを指定する指定エリア指定手段と、撮像手段
により撮像して得られた画像の一部を選択的に拡大させ
る拡大手段とを有するので、指定エリアを分析者が指定
エリア指定手段により適宜指定することができ、しか
も、撮像手段により撮像して得られた画像の一部を拡大
手段により選択的に拡大できるから、指定エリアの指定
が容易になるという効果がある。

【００５５】請求項７の発明は、請求項１の発明におい
て、撮像手段により撮像して得られた画像に対して前記
識別マーカを指定する識別マーカ指定手段と、撮像手段
により撮像して得られた画像に対して前記指定エリアを
指定する指定エリア設定手段とを有し、識別マーカ指定
手段は、識別マーカの形状を入力することにより当該形
状の相似形状が識別マーカとして指定され、指定エリア
設定手段は、エリアの形状を入力することにより当該形
状の相似形状が指定エリアとして指定されるので、識別
マーカの形状を入力することにより識別マーカが指定さ
れ、また、エリアの形状を入力することにより指定エリ
アが指定されることにより、識別マーカおよび指定エリ
アの指定が容易になるという効果がある。

【００５６】請求項８の発明は、請求項１の発明におい
て、前記撮像手段による撮像時に画像を表示する表示装
置を備え、該表示装置が、識別マーカを指定する識別マ
ーカ指定手段および指定エリアを指定する指定エリア指
定手段に兼用されるので、撮像時に識別マーカおよび指
定エリアを指定でき、その後の作業分析の自動化を図る
ことができるという効果がある。

【図面の簡単な説明】

【図１】実施形態１を示す概略構成図である。

【図２】同上における識別マーカの指定方法の説明図で
ある。

【図３】同上における識別マーカおよび指定エリアの指
定方法を説明するフローチャートである。

【図４】同上における指定エリアの指定方法の説明図で
ある。

【図５】同上における作業分析のフローチャートであ
る。

【図６】同上の説明図である。

【図７】同上における分析結果例図である。

【図８】実施形態２の動作説明図である。

【図９】実施形態３におけるエリア形状の入力方法の説
明図である。

【図１０】同上における指定方法を説明するフローチャ
ートである。

【図１１】実施形態４の要部概略構成図である。

【図１２】同上の動作説明図である。

【図１３】従来例を示す概略構成図である。

【符号の説明】

１ビデオカメラ２ビデオテープ３ビデオ再生装置４画像表示装置５コンピュータ６インターフェース７マウス２１作業台２２作業者２３識別マーカ２４主作業領域２５部品Ａ収納領域２６部品Ｂ収納領域２７部品Ｃ収納領域

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F076 BA01 BB01 BD04 BE03 BE04 BE05 BE10 BE13 BE16 5B049 AA01 AA06 BB07 CC03 CC21 CC31 DD00 DD01 DD05 EE02 EE05 EE07 FF03 FF04 FF09 5C054 AA02 CC02 CH02 EA05 FC12 FC13 HA05

Claims

【特許請求の範囲】

【請求項１】作業を行っている対象を撮像する撮像手
段と、撮像手段の撮影領域内で指定された指定エリア内
であらかじめ決められた識別マーカを検出する画像処理
手段と、画像処理手段の出力に基づいて１画面毎に指定
エリア内の識別マーカの存否を判定する判定手段と、判
定手段の出力に基づいて識別マーカが指定エリア内にあ
る時間と当該指定エリア外にある時間とをそれぞれ個別
に積算する積算手段とを備えることを特徴とする作業分
析支援システム。
【請求項２】前記識別マーカは、特定形状からなり、
前記画像処理手段は、特定形状を検出するマッチング手
段からなることを特徴とする請求項１記載の作業分析支
援システム。
【請求項３】前記識別マーカは、特定色を有すること
を特徴とする請求項１記載の作業分析支援システム。
【請求項４】前記指定エリアとして、前記撮像手段に
より撮像して得られた画像内における前記対象の主作業
領域に対して主作業エリアが指定されてなることを特徴
とする請求項１記載の作業分析支援システム。
【請求項５】前記指定エリアとして、前記撮像手段に
より撮像して得られた画像内における前記主作業領域に
付随した作業領域に対して付随作業エリアが指定されて
なることを特徴とする請求項４記載の作業分析支援シス
テム。
【請求項６】撮像手段により撮像して得られた画像に
対して前記指定エリアを指定する指定エリア指定手段
と、撮像手段により撮像して得られた画像の一部を選択
的に拡大させる拡大手段とを有することを特徴とする請
求項１記載の作業分析支援システム。
【請求項７】撮像手段により撮像して得られた画像に
対して前記識別マーカを指定する識別マーカ指定手段
と、撮像手段により撮像して得られた画像に対して前記
指定エリアを指定する指定エリア指定手段とを有し、識
別マーカ指定手段は、識別マーカの形状を入力すること
により当該形状の相似形状が識別マーカとして指定さ
れ、指定エリア設定手段は、エリアの形状を入力するこ
とにより当該形状の相似形状が指定エリアとして指定さ
れることを特徴とする請求項１記載の作業分析支援シス
テム。
【請求項８】前記撮像手段による撮像時に画像を表示
する表示装置を備え、該表示装置が、識別マーカを指定
する識別マーカ指定手段および指定エリアを指定する指
定エリア指定手段に兼用されることを特徴とする請求項
１記載の作業分析支援システム。