JP2019191117A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 人手で組み立て作業を行っている場合には、各作業の所要時間が一定ではないため、それぞれの部品の取り付けを検査する適切なタイミングが一定にならず、作業中の画像検査の実施が難しい。【解決手段】 組み立て作業現場を撮影した映像を用いて、作業の実施判定をおこない、その作業判定結果に基づいて、組み立て品の画像検査をおこなう。作業判定処理で推定された作業実施区間を基準に、検査対象候補となるフレーム群を選択する。【選択図】 図２

Description

本発明は、撮影映像を用いて検査を行う技術に関する。

工場における人手での製品の組み立ては、多数の工程や作業から成り、取り付け部品の抜けやミスといった不備が発生することがある。このような不備は製品の不良につながるため、不備があった場合には取り付け作業を再実施する必要がある。

製品の不備をチェックする技術としては、組み立てが完了した後の製品に対して画像解析を用いた検査を行う、画像検査と呼ばれる仕組みが実用化されている。画像検査では、部品が正しく取り付けられた状態の正解画像を事前に用意し、検査対象の組み立て品を撮影した画像と照合することで、検査を実現することができる。

組み立て作業の不備を判定するアプローチとして、近年、作業者の動きを分析することにより、リアルタイムに作業不備判定をおこなう技術が開発されている。しかし、作業者の動きの分析のみでは、正しく組み立てが完了したことを保証することは困難である。作業者がある作業を実施済みであっても、その作業で取り付ける部品の漏れや位置のずれなどのミスが生じている可能性が残る。

特許文献１では、基盤の上の回路パターンの不備を検出する画像検査システムが開示されている。基盤を回転・移動させながら、検査内容の異なる複数の検査タスクを順次実行している。各検査タスクは、検査対象領域の座標、セル比較等の検査内容、検査パラメータなどが異なっている。複数の検査内容を、事前に定められた複数の検査領域や検査タイミングに対して行っている。検査対象物の状態に応じて、複数の検査内容を異なるタイミングで実施している。検査可能なタイミングは装置によって制御されている。

特許文献２では、作業員のヘルメットに取り付けたカメラを用いて、製品の検査をおこなう技術が開示されている。作業員は検査とは関係のない他の組立作業をおこないながら、対象品の検査をおこなうことができる。検査対象物に複数の種類があるため、対象物の種類を識別する識別情報（バーコード）を読み取り、種類に応じた撮影・検査を実施することができる。

特開２０１３−１４８３８０号公報 特開２０１６−２０５８３６号公報

例えば、複合機のように多数の部品を連続して取り付ける製造品では、部品取り付け後に、次の作業でカバーをかぶせてしまう場合なども多く、組み立て完了前に検査を実施しないと正しく取り付けられたか検査できない。また、すべての部品の取り付け完了時に検査をして不備が発見されても、分解などの手戻りが多い。そのため、なるべく各部品の取り付け後、早期に検査をおこなうことが望ましい。しかし、人手で組み立て作業を行っている場合には、各作業の所要時間が一定ではないため、それぞれの部品の取り付けを検査する適切なタイミングが一定にならず、組立完了前の作業中に、画像検査を行うことが難しい。

特許文献１では、人手での組み立て作業などに対しては、事前に適切な検査可能なタイミングを規定できない。
特許文献２では、製品の検査内容は、作業員がおこなっている組立作業に非依存であり、作業員の作業内容に適したタイミングで検査を実施することはできない。

本発明は、このような課題に鑑みてなされたものであり、組み立て製品の各部品に応じた検査を、個々の部品の取り付け作業に対して適切なタイミングで実施する仕組みを提供するものである。

本発明に係る画像処理装置は以下の構成を備える。組み立て部品に対する検査を、組み立て作業を撮影した映像を用いて行う画像処理装置であって、前記映像から、組み立て作業単位の開始フレーム、終了フレームのいずれか１つ以上を判定する作業判定手段と、前記作業判定手段の判定結果に基づいて、前記映像から検査対象となるフレーム群を選択する選択手段と、前記選択手段が選択したフレーム群に対して、検査する検査手段と、を備えることを特徴とする画像処理装置。

本発明によれば、組み立て製品における部品の取り付け検査を、適切なタイミングで行うことができる。

本実施形態のシステム構成例 本実施形態のシステムの利用場面例および作業実施と画像検査の関係例 本実施形態におけるデータ形式例 第１の実施形態における全体の処理の流れを示すフローチャート 本実施形態における検査対象候補のフレーム選択処理の流れを示すフローチャート 本実施形態における検査対象候補領域の選択処理の流れを示すフローチャート 本実施形態における最終検査対象の選択処理の流れを示すフローチャート 本実施形態における領域内の遮蔽発生を説明する図 第２の実施形態における全体の処理の流れを示すフローチャート その他の実施形態における全体の処理の流れを示すフローチャート

以下、本発明を適用した好適な実施形態を、図面を参照しながら詳細に説明する。

（第１の実施形態）
本実施形態で説明する画像検査システムは、１つ以上の撮影デバイスと、撮影デバイスから送信されたデータを処理する解析サーバから構成される。以下、解析サーバを画像処理装置とも記載する。

図１（Ａ）は、本実施形態における解析サーバ（画像処理装置）のハードウェア構成図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、制御をおこなう。ＲＡＭ１０３は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＣＰＵ１０１が実行可能な状態にする。

記憶部１０４は、本実施形態の処理対象となるデータを格納するものであり、撮影デバイスから取得したデータや、その解析結果を格納する。記憶部１０４の媒体としては、フラッシュメモリ、ＨＤＤ、ＤＶＤ−ＲＡＭなどを用いることができる。入力部１０５は、操作ボタン、タッチパネル等で構成され、作業者からの指示を受け付ける。出力部１０６は、音声スピーカー、液晶パネル等で構成され、本実施形態の処理対象となるデータや処理結果を出力することができる。また、本画像処理装置は通信部１０７を介して、監視カメラ等の撮影デバイスと通信し、撮影映像を受信することができる。

なお、１つの解析サーバは１台あるいは複数台の撮影デバイスのデータを解析するよう構成できる。また、解析サーバと撮影デバイスは、一体の構成であってもよい。

図１（Ｂ）は、本システムのソフトウェア構成図である。映像管理部１０８は撮影デバイスが撮影した撮影画像１０９を、一時的にバッファリングする機能や、記憶部１０４に記録する機能を備える。作業判定部１１０は、複数の撮影画像１０９を解析し、各作業の開始・終了タイミングを判定し、作業判定結果１１１として記憶部１０４に記録する。検査対象選択部１１２は、事前に定義された検査内容定義情報１１３と作業判定結果１１１に基づいて、画像検査を実施する画像や領域を選択し、その結果を検査対象選択結果１１４として記憶部１０４に記録する。検査対象選択部１１２は、撮影画像１０９から検査対象の候補となるものを抽出する検査対象候補選択部と、その中から最終的な画像検査対象を選択する最終検査対象選択部から成る。

画像検査部１１５は、検査対象選択結果１１４として選択された画像に対して画像検査を実施し、その結果を画像検査結果１１６として記憶部１０４に記録する。通知制御部１１７は、画像検査結果１１６に基づいて、作業者への通知をおこなう。

なお、本実施形態で記述するフローチャートの各ステップに対応する処理は、ＣＰＵを用いてソフトウェアで実現しても良いし、電子回路などのハードウェアで実現するようにしても良い。

図２（Ａ）は、本実施形態におけるシステムの利用場面を示す図である。ここでは、作業者２０１が作業台２０３の上で、作業対象物２０４に対して組み立て作業をおこなっている。作業台２０３の上方に、撮影デバイス２０２が設置されており、作業者２０１の動きや作業対象物２０４を撮影している。

システムは、撮影デバイス２０２が撮影した映像を解析することによって、作業対象物が正しく組み立てられたかを確認し、組み立て不備があると判定された場合には、作業者への通知がおこなわれる。例えば、組み立て内容を示す文章として「ビス締めに不備がありました。作業をやり直して下さい。」という音声をスピーカーから流すことで作業者へ通知することができる。

工場で製品を組み立てる際には、１つの製品に対して複数の組み立て作業が順次行われるものであり、本システムでは、各作業の実施有無判定や実施時間の計測をおこなう仕組みを提供する。具体的には、フレームに映っている人の動きを解析することによって、各作業がどのフレーム区間で実施されたかを判定する。その上で、各組み立て作業に対応する画像検査を実施する。

図２（Ｂ）は、本システムにおける作業判定と画像検査の関係を説明するものである。本図では、撮影デバイス２０２が撮影した映像のフレーム群を撮影時刻順に並べて図示している。この例では、フレーム群２０５の区間において、ビス締めの作業をおこなっていたと判定されている。本実施形態では、ビス締め作業の終了時にビスが所定の位置できちんと締まっているかを確認するために、画像検査を実施する。具体的には、ビス締め作業が終了した前後のフレーム群２０６を対象に、ビスが所定の位置で締まっているかを検査する。

図２（Ｃ）のフレーム２０７は、フレーム群２０６の中の１つのフレームを取り出したものである。このフレーム内から、さらに検査対象領域２０８を選択する。この検査対象領域２０８の画像を解析することで正しく組み立てがおこなわれたか否かを判定する。

図２（Ｄ）は、画像検査時に参照する正解画像２０９である。正解画像２０９は、検査内容に対応するものであり、一例としては、ビスが正しく締められた状態の画像である。画像検査においては、検査対象領域２０８と正解画像２０９を比較することで、正しく組み立てが行われたか否かを判定することが出来る。

図２（Ｅ）は検査対象領域２０８のバリエーションを示すものである。検査対象領域２１０は、正しくビスが締められた状態の画像であり、検査対象領域２１１は２つのビスの内一方が正しく締まっていない状態である。検査対象領域２１１の画像が検査された場合には、正しく締まっていないと判定され、作業者に警告が通知される。画像検査の内容としては、取り付け有無の判定の他、取り付け位置のずれや傾きなどを検査してもよい。

図３は、本システムにおいて扱うデータの形式に関する説明図である。図３（Ａ）は、作業内容と検査内容の関連付けを定義する検査内容定義情報１１３であり、事前に工場の管理者等によって作成される。

作業名称３０１は、組み立て工程内の作業を特定する情報であり、検査内容３０２は作業に対応付く、検査内容を特定するものである。例えば、ビス締めの作業に対して、ビスが締まっているかの検査を対応付けることができる。すべての作業に対して検査が対応付く必要はなく、また１つの作業に対して複数の検査が対応付いてもよい。

検査フレーム定義３０３は、検査内容に応じた検査対象となるフレームを特定する定義情報である。本例では、ビス締め作業の終了前後の４フレームを、ビス締めの検査対象のフレームとして定義している。

基準物体３０４および検査領域定義３０５は、フレーム内の検査対象領域を特定するための情報である。組み立て作業を行う場合には、作業対象物の位置が動くことがあるため、特定の基準物体からの相対位置で検査対象領域を定義している。基準物体３０４は、基準となる物体を特定する情報であり、検査領域定義３０５は、基準物体３０４からの相対位置で検査対象領域の位置を定義している。正解画像３０６は、検査対象の部品が正しく組み立てられた状態の画像である。

図３（Ｂ）は、作業判定結果１１１であり、システムが解析によって生成する作業実施判定結果である。作業名称３０１ごとに、作業を開始したと判定された開始フレーム３０７と、作業を終了したと判定された終了フレーム３０８が記録されており、各作業単位の実施フレーム区間を特定することができる。各作業者は、複数の作業のセットを繰り返し実施しているため、１セット終了した時点で本判定結果は更新されるものである。

図３（Ｃ）は、検査対象選択結果１１４であり、検査対象候補フレーム３０９およびフレーム内の検査対象候補領域３１０を撮影映像から判定した結果である。また、各検査対象候補領域３１０が検査画像として適しているかを判定した結果として、検査画像適性判定結果３１１が格納されている。

図３（Ｄ）は、画像検査結果１１６であり、検査内容ごとに検査結果（合格・不合格）を記録したものである。

これらの映像解析結果は、必要に応じて別途記憶装置に永続化してもよい。この他、撮影画像１０９そのものが、１フレームごとにフレーム番号が割り振られた状態で格納されている。

上述の動作を、フローチャートに従って説明する。

図４は、本システムの画像処理装置が実行する全体の処理フローの概要を示している。まず、ステップＳ４０１では、撮影デバイスが撮影し、システム内のバッファに蓄積されているフレーム画像群から最も古い画像を１つ取得する。ステップＳ４０２では、作業種別の判定を実施する。各作業が初めて判定されたタイミングで、その作業に対応する開始フレーム３０７が記録される。作業種別の判定には、機械学習などの手法を用いることが出来る。例えば、事前にフレームごとにどの作業の実施中であるかをラベル付けしたデータを用意して、それらのデータで学習した作業分類器を構築しておき、この分類器を用いて１フレームごとに作業種別を判定することができる。分類器の構築手法としては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やニューラルネットワーク等を利用することが出来る。

ステップＳ４０３では、１つの作業が終了したか否かを判定する。例えば、直前のフレームの作業判定結果と比較し、異なる作業判定結果であれば、作業が終了したと判定することが出来る。１つの作業が終了したと判定されたタイミングで作業判定結果１１１に現作業の終了フレーム３０８が記録される。１つの作業が終了したと判定された場合には、ステップＳ４０４へ進み、検査内容定義情報１１３を参照して、その作業に対応する検査があるかを判定する。

ステップＳ４０３およびステップＳ４０４において、作業が終了していない、または、作業に対応する検査がないと判定された場合には、ステップＳ４０１へ戻り、作業種別判定の処理を繰り返す。

一方、ステップＳ４０４において、作業に対応する検査があると判定された場合は、ステップＳ４０５へ進む。ステップＳ４０５では、検査対象候補フレーム群を選択し、続いて、ステップＳ４０６で検査対象候補フレームの中から検査対象候補領域を選択する。

ステップＳ４０７では、ステップＳ４０６で選択した領域群が検査に適しているかの判定をおこない、最終検査対象を選択する。ステップＳ４０８では、最終検査対象に対して画像検査をおこない、ステップＳ４０９において、該当の組み立て作業が正しく終了したかを判定する。組み立て作業が正しく終了していないと判定された場合には、ステップＳ４１０で作業者への通知を行い、作業の再実施を促す。ステップＳ４０５、ステップＳ４０６、ステップＳ４０７の詳細については後述する。

なお、本フローはソフトウェアの実行中は繰り返し実施され、ソフトウェアの終了時にフローを終えるものとする。

図５は、ステップＳ４０５の検査対象候補フレーム選択処理のフローチャートである。まず、ステップＳ５０１で、作業判定結果１１１を参照し、対象の作業の終了フレーム番号を取得する。

次に、ステップＳ５０２で、撮影映像の中から検査対象となるフレーム群を選択する。ここでは、ステップＳ５０１で取得したフレーム番号を基準として、検査内容定義情報１１３での定義内容に基づいて、検査対象候補となるフレーム区間を特定し、区間に対応するフレーム群を取得する。

なお、本実施形態における検査対象候補のフレーム区間の特定方法は、これに限定されるものではない。次の作業が開始されるまでのフレーム区間としてもよいし、対象の作業の実施区間の中の一定の割合の区間でもよい。

図６は、検査対象候補領域選択処理のフローチャートである。本フローでは、前述の検査対象候補フレーム選択処理にて選択した検査対象候補フレーム群から、検査対象となる領域を抽出する。

まず、ステップＳ６０１で、検査対象候補フレーム群の中から１フレーム取得する。次に、ステップＳ６０２で、ステップＳ６０１で選択したフレームの解析をおこない、検査内容定義情報１１３で規定されている基準物体の認識をおこなう。本ステップでは、事前に定義された基準物体認識用のテンプレート特徴量を参照し、テンプレートマッチングによって作業対象物の位置を判定することができる。テンプレートマッチングはテンプレート画像を入力画像に対して走査させ、入力画像上の各位置における類似度を算出し、最大（又はしきい値以上）の類似度をとる位置を検知する手法である。なお、本実施形態における物体認識方法は、これに限定するものではなく、機械学習などの手法も利用可能である。

ステップＳ６０３は、ステップＳ６０２で認識した基準物体の位置を元に、フレーム内の検査領域画像を抽出する。本ステップでは、事前に定義された基準物体からの相対位置に基づいて、検査対象領域を抽出する。

ステップＳ６０４で、全ての検査対象候補フレームの処理を終了したか判定する。全フレームの処理が終了した場合には、本フローを終了し、そうでない場合には、ステップＳ６０１から処理を繰り返す。

図７は、ステップＳ４０７の最終検査対象選択の処理を示すフローチャートである。本フローでは、図６のフローで選択された検査対象候補が検査画像として適しているか否かを判定し、検査画像として適している画像を最終検査対象として選択する。

ステップＳ７０１では、複数のフレーム群から選択された検査対象候補領域の集合の中から１つの領域を取得する。ステップＳ７０２では、ステップＳ７０１で選択した領域が検査画像として適しているか否かを判定するために、検査対象箇所の遮蔽有無を判定する。本実施形態では、組立て現場を撮影しているため、作業者の頭部や腕等で検査対象箇所が遮蔽されており、フレームによっては、検査対象箇所が映っていない可能性がある。このため、各フレームの検査対象領域の遮蔽有無を判定し、遮蔽のない検査対象領域を選択する。

ステップＳ７０２で遮蔽がないと判定された場合は、ステップＳ７０３で、現在選択されている領域を最終検査対象として記録する。ステップＳ７０４で、すべての検査対象候補領域に対する判定が終了したかをチェックし、全ての判定が終了した場合は本フローを終了する。未判定の検査対象候補領域がある場合には、ステップＳ７０１から処理を繰り返す。

図８は、検査対象候補領域の遮蔽に関する説明図である。検査対象候補フレーム８０１〜８０４があり、それぞれに検査対象候補領域８０５〜８０８が設定されている。この内、検査対象候補領域８０５、８０６および８０８は、作業者の腕で検査対象候補領域内の作業対象物が遮蔽されている。このような遮蔽が生じていると検査対象物の状態を正しく認識できないため、組立てが正しく完了したか検査ができない。従って、この例においては、検査対象候補領域８０７が最も検査画像に適しており、最終検査対象として選択される。

遮蔽の判定方法としては、公知の技術を用いることができる。例えば、検査対象候補領域と正解画像の色合いの統計量を比較し、２つの統計量に所定以上の差がある場合には遮蔽が生じていると判定してもよい。

また、他の方法としては、距離画像を利用することもできる。撮像装置として、撮影物との距離を取得可能な距離センサーをさらに設置することによって、撮影装置からの距離を計測した距離画像を取得することができる。作業対象物の設置位置を基準に予め所定の距離を定めておき、その距離以上に撮影装置との距離が短い物体がある場合には、遮蔽が生じていると判定できる。

あるいは、検査対象候補領域と正解画像内の物体の輪郭線を抽出し、正解画像に存在する輪郭線に検査対象候補領域において欠けが生じていた場合には遮蔽が生じていると判定してもよい。

なお、本実施形態における最終検査対象選択処理は、遮蔽有無の判定に限定されるものではない。撮影領域のボケやブレの有無などを考慮して、最終検査対象を選択してもよい。

図７のフローで最終検査対象を選択した後、ステップＳ４０８において画像検査を実施する。画像検査では、最終検査対象の領域と、正しく部品が取り付けられた状態の正解画像を比較し、検査対象において正しく取り付けが行われたかを判定する。画像検査の方法としては公知の技術を用いることができる。一例としては、正解画像との差分を取り、差分が一定以内であれば合格、一定より大きければ不合格と判定することができる。

複数の最終検査対象が存在する場合には、それぞれの検査結果の多数決を取っても良いし、１つ以上の合格画像があれば合格としてもよい。

なお、本実施形態における画像検査内容および方式はこれに限定されるものではない。検査内容としては、部品の取り付け有無の判定の他、取り付けの傾きや色合いなどが正しいかを判定してもよい。

また、最終検査対象選択処理において、検査に適した検査対象候補領域が１つもない場合には、作業者に通知をおこない、遮蔽物を除外するように指示することもできる。この場合には、遮蔽物除外後に撮影した映像に対して、ステップＳ４０５〜ステップＳ４１０の処理を実施することで、検査を完了できる。

本実施形態によって、工場における組み立ての作業に応じて、組立品の検査タイミングや検査対象領域を適切に判定することができる。組み立て製品の検査のためだけに作業を中断する必要がなくなる。また、作業が完了してから検査までの時間が短いため、不備があった場合の手戻りを少なくすることが出来る。また、組み立ての作業をおこなっている過程での検査を実行できるため、全ての組立ての完了後では検査できない、製品内部の状態の検査が可能である。

なお、本実施形態における作業に相当する単位は、工場の管理者によって自由に定めることができる。１部品を取り付ける単位でもよいし、複数の部品の取り付け動作をまとめて１作業としてもよい。

（第２の実施形態）
以下、第２の実施形態を説明する。なお、第１の実施形態と同一構成部分についてはその説明を省略する。

第１の実施形態は、常に同一のフレームレートで撮影をおこなうものであった。しかし、組み立て工程における作業は非常に高速であり、常に一定のフレームレートでの撮影では、検査を実施すべきタイミングでの遮蔽のない画像を撮影できない可能性がある。一方で、常に高いフレームレートで撮影すると、システムの負荷が高くなってしまう。本実施形態は、撮像装置のフレームレートを変更する手段を備え、検査タイミングが近づいてきた場合にのみフレームレートを上昇させるものである。

図９は、第２の実施形態における本システムの画像処理装置が実行する全体の処理フロー概要を示すものである。ステップＳ９０１〜ステップＳ９０３およびステップＳ９０８〜ステップＳ９１３は、それぞれ第１の実施形態の図４のステップＳ４０１〜ステップＳ４０３、およびステップＳ４０５〜ステップＳ４１０と同一の処理である。まず、ステップＳ９０１では、撮影デバイスが撮影し、システム内のバッファに蓄積されているフレーム画像群から最も古い画像を１つ取得する。ステップＳ９０２では、作業種別の判定を実施する。ステップＳ９０３では、１つの作業が終了したか否かを判定する。

１つの作業が終了したと判定された場合には、ステップＳ９０４へ進み、「終了した作業の次の作業」に対応する検査があるかを判定する。ステップＳ９０４で、次の作業に対応する検査があると判定された場合には、ステップＳ９０５へ進み、撮像装置に対してフレームレートを上昇させる指示を出す。一方、ステップＳ９０４で、次の作業に対応する検査がないと判定された場合には、ステップＳ９０６へ進み、フレームレートは通常値のままに設定する。

次に、ステップＳ９０７へ進み、ステップＳ９０３で終了判定した作業に対応する検査があるかを判定する。ステップＳ９０７で対応する作業があると判定された場合には、ステップＳ９０８へと進み、検査対象候補フレーム群を選択する処理をおこなう。ステップＳ９０８以降の処理は、第１の実施形態と同様である。

本フローを繰り返すことで、次の作業に対応する検査がある場合には、通常時よりもフレームレートを上昇させ、そうでない場合には通常時のフレームレートに戻すような撮像制御をおこなうことで、検査タイミング近辺のみフレームレートを上げることができる。

また、本実施形態では、作業実施終了後すぐに画像検査を実施するよう構成したが、これに限定されるものではなく、システムの計算負荷を考慮して、検査タイミングを遅延させてもよい。

例えば、ビス締め作業の５作業後にカバー取り付けを行う際には、それまでにビス締めの判定がおこなえれば、カバーを取り外すという手戻りなくビス締め作業を再実施できる。このように工場の管理者によって、予め検査実施タイミングを規定しておき、規定タイミングまでに検査をおこなうよう制御してもよい。例えば、本実施形態において撮影のフレームレートを上げている間は処理負荷が高いため、それ以外の区間に画像検査を実施するようにすることで、システムの負荷を平滑化することができる。

（その他の実施形態）
以下、その他の実施形態を説明する。なお、第１の実施形態と同一構成部分についてはその説明を省略する。

第１および第２の実施形態における作業実施判定方法は、１フレームごとに作業種別を順次判定するものであったが、本実施形態における作業実施判定方法は、これに限定されるものではない。例えば、１工程の中で複数の作業が終了した区切りを検出し、複数の作業の作業実施判定をまとめておこなうよう構成することもできる。

本実施形態では、作業実施判定をおこなうための複数の作業のまとまりを「フェーズ」と定義する。システムがフェーズの区切りを認識するために、フェーズの区切りは、物体の位置変化が起きる位置にする。例えば、作業１〜９から成る工程において、作業４と５の間および作業６と７の間に、それぞれ作業対象物２０４を裏返し、回転にする動きがあることが分かっている場合には、作業１〜４、作業５〜６、作業７〜９の３つのフェーズとして定義できる。

フェーズの区切りにおいて、それまでのフェーズ内の作業の実施判定および画像検査をおこない、不備が検知された場合に通知をおこなう。前述の例であれば、１つ目のフェーズから２つ目のフェーズに移行する際に、作業１〜４についての判定・検査をおこなう。

図１０は、フェーズごとに作業実施判定をおこなう際の本システムの画像処理装置が実行する全体の処理フロー概要を示すものである。ステップＳ１００７〜ステップＳ１０１２は、第１の実施形態の図４のステップＳ４０５〜ステップＳ４１０と同一である。

まず、ステップＳ１００１では、撮影デバイスが撮影し、システム内のバッファに蓄積されているフレーム画像群から最も古い画像を１つ取得する。ステップＳ１００２では、１つのフェーズが終了したか否かを判定する。本ステップでは、事前に定義されたフェーズ切り替え時のテンプレート特徴量を参照し、テンプレートマッチングによって作業対象物の位置変化有無を判定することができる。なお、本実施形態におけるフェーズ開始判定方法は、これに限定するものではなく、機械学習などの手法も利用可能である。フェーズが終了したと判定されるまでの間、ステップＳ１００１およびステップＳ１００２を繰り返し実行する。

ステップＳ１００３では、フェーズ内の作業の実施判定をおこなう。例えば、フェーズ内のフレームごとの特徴量の時間変化や、フレーム内に映っている作業者の手の通過位置の変化などを解析し、どのフレームでどの作業を実施したかを判定することができる。本ステップでは、フェーズ内の複数の作業について、作業の開始フレーム３０７および終了フレーム３０８が判定され、記録される。

ステップＳ１００４〜ステップＳ１０１３は、フェーズ内の作業ごとに処理を繰り返す。まず、ステップＳ１００５では、フェーズ内の作業の内の１つを選択し、ステップＳ１００６で選択した作業に対応する検査があるかを判定する。対応する検査がない場合には、ステップＳ１００５へと戻り、処理を繰り返す。

ステップＳ１００７〜ステップＳ１０１２では、図４のステップＳ４０５〜ステップＳ４１０と同様に、検査対象候補フレーム、検査対象候補領域、最終検査対象を選択して、画像検査を実施、不備の通知をおこなう。以上の処理をフェーズ内の作業数分繰り返し、ステップＳ１０１３で、フェーズ内の全作業の検査が終了したと判定された場合は、ステップＳ１００１へと戻る。

このように、フェーズ内のフレームをまとめて作業判定することによって、作業の前後の関係性や、作業者の動きの時間変化を考慮した作業実施判定をおこなうことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 記憶部
１０５ 入力部
１０６ 出力部
１０７ 通信部
１０８ 映像管理部
１０９ 撮影画像
１１０ 作業判定部
１１１ 作業判定結果
１１２ 検査対象選択部
１１３ 検査内容定義情報
１１４ 検査対象選択結果
１１５ 画像検査部
１１６ 画像検査結果
１１７ 通知制御部

Claims (8)

1. 組み立て部品に対する検査を、組み立て作業を撮影した映像を用いて行う画像処理装置であって、
   前記映像から、組み立て作業単位の開始フレーム、終了フレームのいずれか１つ以上を判定する作業判定手段と、
   前記作業判定手段の判定結果に基づいて、前記映像から検査対象となるフレーム群を選択する選択手段と、
   前記選択手段が選択したフレーム群に対して、検査する検査手段と、を備えることを特徴とする画像処理装置。
2. 前記選択手段では、前記選択した各フレーム内から検査対象となる領域をそれぞれ選択し、検査対象の候補領域を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記作業判定手段は、作業種別ごとに開始フレーム、終了フレームのいずれか１つ以上を判定し、
   前記選択手段は、前記作業判定手段が判定した作業種別ごとに、検査対象を選択するものであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段によって複数の検査対象候補フレームからそれぞれ選択された検査対象の候補領域ごとに検査画像としての適性を判定し、適性の高い領域を検査対象として選択することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記選択手段は、各検査対象の候補領域の遮蔽有無を判定し、遮蔽の少ない領域画像を最終的な検査対象として選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段は、検査対象として選択する画像がなかった場合に、通知をおこなう通知手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記作業判定手段の判定結果に応じて、
   フレームレートを変更するよう撮像装置に指示を出す撮像制御手段
   をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 組み立て部品に対する検査を、組み立て作業を撮影した映像を用いて行う画像処理方法であって、
   前記映像から、組み立て作業単位の開始フレーム、終了フレームのいずれか１つ以上を判定する作業判定工程と、
   前記作業判定工程での判定結果に基づいて、前記映像から検査対象となるフレーム群を選択する選択工程と、
   前記選択工程で選択したフレーム群に対して、検査する検査工程と、を備えることを特徴とする画像処理方法。

Images