WO2023234061A1 - データ取得装置、データ取得方法、及びデータ取得台 - Google Patents

Abstract

データ取得装置は、発光パネルを制御可能に構成され、かつ発光パネルの発光面を撮影した少なくとも１つの撮影画像を取得可能に構成される制御部を備える。制御部は、少なくとも１つの撮影画像のうち、発光パネルを発光させた状態で発光パネル及び発光パネルの前に位置する対象物を撮影した撮影画像に基づいて対象物のマスクデータを生成する。

Description

データ取得装置、データ取得方法、及びデータ取得台 関連出願へのクロスリファレンス

　本出願は、日本国特許出願２０２２－８８６９０号（２０２２年５月３１日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

　本開示は、データ取得装置、データ取得方法、及びデータ取得台に関する。

　従来、セマンティックセグメンテーション等において学習に用いる学習データを生成するシステムが知られている（例えば特許文献１参照）。

特開２０２０－１０２０４１号公報

　本開示の一実施形態に係るデータ取得装置は、発光パネルを制御可能に構成され、前記発光パネルと前記発光パネルの前に位置する対象物とを撮影した撮影画像を取得可能に構成される制御部を備える。前記制御部は、前記発光パネルを発光させ、前記撮影画像に基づいて前記対象物のマスクデータを生成する。

　本開示の一実施形態に係るデータ取得方法は、発光パネルを発光させることと、前記発光パネルの前に位置する対象物と前記発光パネルとを撮影した撮影画像に基づいて前記対象物のマスクデータを生成することとを含む。

　本開示の一実施形態に係るデータ取得台は、所定の色で発光する発光パネルと、前記発光パネルの前に配置する対象物と前記発光パネルとの間に位置する光透過部材とを備える。

一実施形態に係るデータ取得システムの構成例を示すブロック図である。 データ取得システムの構成例を示す平面図である。 図２のＡ－Ａ断面図である。 対象物の撮影画像の各画素の輝度の一例を示す図である。 図４Ａの撮影画像に基づいて生成したマスク画像の一例を示す図である。 発光パネルの上に位置する対象物の一例を示す平面図である。 発光している状態の発光パネルの撮影画像の一例を示す図である。 発光している状態の発光パネルの上に位置する対象物の撮影画像の一例を示す図である。 図６Ａの撮影画像と図６Ｂの撮影画像との差分に基づいて生成されたマスク画像の一例を示す図である。 消灯している状態の発光パネルの上に位置する対象物の撮影画像の一例を示す図である。 図６Ｃと同じマスク画像の一例を示す図である。 図７Ａの撮影画像に図７Ｂのマスク画像を適用して対象物の画像を抽出した抽出画像の一例を示す図である。 図７Ｃの抽出画像を背景画像に重ねて生成した教師データの一例を示す図である。 データ取得方法の手順例を示すフローチャートである。 発光パネルの上に位置する、側面を有する対象物の一例を示す平面図である。 発光パネルの発光色と対象物の側面の色とが同じ場合の例を示す平面図である。 発光パネルの発光色と対象物の側面の色とが異なる場合の例を示す平面図である。 発光パネルの発光色と対象物の側面の色とが同じ場合に生成されたマスク画像の例を示す図である。 発光パネルの発光色と対象物の側面の色とが異なる場合に生成されたマスク画像の例を示す図である。 図１２Ａの各画素と図１２Ｂの各画素との論理和を計算することによって生成されたマスク画像の例を示す図である。 発光パネルを少なくとも２色で発光させる手順を含むデータ取得方法の手順例を示すフローチャートである。 ロボット制御システムの構成例を示す模式図である。

（データ取得システム１の構成例）
　本開示の一実施形態に係るデータ取得システム１は、入力情報に含まれる認識対象の認識結果を出力する学習済みモデルを生成するための教師データを取得する。学習済みモデルは、複数の層を有するＣＮＮ（Convolution Neural Network）を含んで構成されてよい。学習済みモデルに入力された情報に対して、ＣＮＮの各層において所定の重みづけ係数に基づく畳み込みが実行される。学習済みモデルの学習において、重みづけ係数が更新される。学習済みモデルは、全結合層を含んで構成されてよい。学習済みモデルは、ＶＧＧ１６又はＲｅｓＮｅｔ５０によって構成されてもよい。学習済みモデルは、トランスフォーマとして構成されてもよい。学習済みモデルは、これらの例に限られず、他の種々のモデルとして構成されてもよい。

　図１、図２及び図３に示されるように、本開示の一実施形態に係るデータ取得システム１は、データ取得装置１０と、発光パネル２０と、撮影装置３０とを備える。発光パネル２０は、発光面を有し、教師データを取得する対象物５０を発光面の上に載置可能に構成される。撮影装置３０は、発光パネル２０の上に載置された対象物５０と発光パネル２０とを撮影するように構成される。撮影装置３０は、発光パネル２０の上に対象物５０が載置されていない状態で発光パネル２０を撮影してもよい。データ取得装置１０は、発光パネル２０による発光状態を制御する。データ取得装置１０は、撮影装置３０から対象物５０を撮影した画像を取得する。発光パネル２０及び対象物５０を撮影した画像、又は、発光パネル２０を撮影した画像は、撮影画像とも称される。データ取得装置１０は、撮影画像を取得可能に構成される。データ取得装置１０は、例えば、撮影画像に基づいて対象物５０を認識可能なデータを生成できる。データ取得装置１０は、例えば、撮影画像に基づいて対象物５０の教師データを生成し、教師データを取得できる。

＜データ取得装置１０＞
　データ取得装置１０は、制御部１２と、記憶部１４と、インタフェース１６とを備える。

　制御部１２は、発光パネル２０を制御可能に構成され、かつ、発光パネル２０の発光面を撮影した少なくとも１つの撮影画像を取得可能に構成される。制御部１２は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御部１２の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

　記憶部１４は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部１４は、各種情報を格納する。記憶部１４は、制御部１２で実行されるプログラム等を格納する。記憶部１４は、非一時的な読み取り可能媒体として構成されてもよい。記憶部１４は、制御部１２のワークメモリとして機能してよい。記憶部１４の少なくとも一部は、制御部１２とは別体として構成されてもよい。

　インタフェース１６は、発光パネル２０及び撮影装置３０との間で互いに情報又はデータを入出力するように構成される。インタフェース１６は、有線又は無線で通信可能に構成される通信デバイスを含んで構成されてよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。インタフェース１６は、既知の通信技術により構成することができる。

　インタフェース１６は、表示デバイスを含んで構成されてよい。表示デバイスは、例えば液晶ディスプレイ等の種々のディスプレイを含んでよい。インタフェース１６は、スピーカ等の音声出力デバイスを含んで構成されてよい。インタフェース１６は、これらに限られず、他の種々の出力デバイスを含んで構成されてよい。

　インタフェース１６は、ユーザからの入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、キーボード又は物理キーを含んでよいし、タッチパネル若しくはタッチセンサ又はマウス等のポインティングデバイスを含んでよい。入力デバイスは、これらの例に限られず、他の種々のデバイスを含んで構成されてよい。

＜発光パネル２０＞
　発光パネル２０は、発光面を有する。発光パネル２０は、光源から射出される光を分散して面状に射出する拡散板として構成されてよい。発光パネル２０は、自発光するパネルとして構成されてよい。発光パネル２０は、所定の色のうち一色を発光するように構成されてよい。発光パネル２０は、例えば白色等の単色を発光色として発光するように構成されてよい。発光パネル２０は、白色に限られず種々の色で発光するように構成されてよい。発光パネル２０は、所定の色で発光するように構成されてよい。発光パネル２０は、少なくとも２色を発光色として発光するように構成されてよい。発光パネル２０は、例えばＲＧＢ（Red Green Blue）の各色の輝度値の組み合わせによって発光色のスペクトルを制御するように構成されてよい。

　発光パネル２０は、複数の画素を有してもよい。発光パネル２０は、各画素の状態を点灯状態又は消灯状態に制御可能に構成されてよい。発光パネル２０は、各画素に発光させる色を制御可能に構成されてよい。発光パネル２０は、各画素の状態又は発光色の組み合わせによって発光パネル２０全体としての発光色又は発光パターンを制御するように構成されてよい。

＜撮影装置３０及び照明装置４０＞
　撮影装置３０は、種々の撮像素子又はカメラ等を含んで構成されてよい。撮影装置３０は、発光パネル２０の発光面又は発光面の上に載置された対象物５０を撮影可能に配置される。つまり、撮影装置３０は、撮影装置３０から見て発光パネル２０の前に位置する対象物５０を発光パネル２０とともに撮影可能に構成される。撮影装置３０は、発光パネル２０の発光面を種々の方向から撮影するように構成されてもよい。撮影装置３０は、発光パネル２０の発光面の法線方向と撮影装置３０の光軸とが一致するように配置されてよい。

　データ取得システム１は、発光パネル２０及び撮影装置３０を収容する暗室を更に備えてもよい。発光パネル２０及び撮影装置３０が暗室に収容されている場合、対象物５０のうち撮影装置３０に対向する側は環境光で照らされない。対象物５０のうち撮影装置３０に対向する側が環境光で照らされない場合、撮影装置３０は、発光パネル２０から射出される光を背景として対象物５０を撮影することによって、撮影画像として対象物５０のシルエットの画像を取得する。

　データ取得システム１は、必須ではないが照明装置４０を更に備える。図３に示されるように、照明装置４０は、対象物５０を照らす照明光４２を射出するように構成される。照明装置４０は、照明光４２を種々の色の光として射出できるように構成されてよい。データ取得システム１が照明装置４０を備える場合、撮影装置３０は、対象物５０が照明光４２及び環境光で照らされている状態で対象物５０を撮影してよい。データ取得システム１が照明装置４０及び暗室を備える場合、撮影装置３０は、対象物５０が照明光４２で照らされている状態で対象物５０を撮影してよい。

　データ取得システム１が照明装置４０を備えない場合、撮影装置３０は、対象物５０が環境光で照らされている状態で対象物５０を撮影してよい。

（データ取得システム１の動作例）
　データ取得システム１において、データ取得装置１０は、対象物５０を撮影した画像から対象物５０を認識する学習済みモデルを生成するための学習で用いる教師データを取得する。対象物５０を撮影した画像は、対象物５０の背景を含む。データ取得装置１０の制御部１２は、例えば図４Ａに示されるように、５×５個で配列する２５個の画素を有する撮影画像６０から教師データを取得してよい。撮影画像６０の各画素に対応するセルに記載されている数値は、各画素の色をグレースケールで表したときの各画素の輝度に対応する。数値は、０から２５５までの２５６段階で輝度を表すとする。数値が大きいほどその画素が白色に近いとする。数値が０である場合、そのセルに対応する画素の色は黒色であるとする。数値が２５５である場合、そのセルに対応する画素の色は白色であるとする。

　図４Ａにおいて、数値が２５５である１２個のセルに対応する画素は、背景であるとする。数値が１９０、１６０、１２０又は１００である１３個のセルに対応する画素は、対象物５０を写した画素であるとする。制御部１２は、撮影画像６０から対象物５０の画像を抽出するために、図４Ｂに例示されるようにマスク画像７０を生成してよい。マスク画像７０の各セルに記載されている数値は、マスク部及び透過部の区別を表す。数値が１になっているセルに対応する画素は、透過部に対応する。透過部は、マスク画像７０を撮影画像６０に重畳したときに、撮影画像６０から対象物５０の画像として抽出される画素に対応する。数値が０になっているセルに対応する画素は、マスク部に対応する。マスク部は、マスク画像７０を撮影画像６０に重畳したときに、撮影画像６０から抽出されない画素に対応する。

　比較例として、撮影画像の各画素が対象物を写した画素であるか背景を写した画素であるかが各画素の輝度に基づいて判定されるとする。この場合、撮影画像の各画素のうち輝度が閾値以上である場合にその画素が背景を写した画素と判定される。また、撮影画像の各画素のうち輝度が閾値未満である場合にその画素が対象物を写した画素と判定される。比較例において、背景が黒色に近い場合、対象物が写っている画素と背景が写っている画素とを分けることが難しい。仮に各画素の輝度が低い場合にその画素が背景であると判定する場合であっても、背景を写した画素の輝度と対象物を写した画素の輝度とが近い場合に、対象物が写っている画素と背景が写っている画素とを分けることが難しい。その結果、マスク画像の透過部が対象物の画像の形状と一致しにくい。つまり、対象物の画像が抽出される精度が低くなる。

　そこで、本実施形態に係るデータ取得システム１は、発光パネル２０から射出される光が対象物５０の背景となるように撮影装置３０で撮影させる。このようにすることで、背景と対象物５０とが分けられやすくなる。その結果、対象物５０の画像を抽出するために用いるマスク画像７０の透過部が対象物５０の画像の形状と一致しやすくなる。つまり、対象物５０の画像が抽出される精度が高くなる。

　以下、データ取得システム１の具体的な動作例が説明される。

　データ取得装置１０の制御部１２は、図５に示されるように発光パネル２０の上に載置された対象物５０を認識する学習済みモデルを生成するための教師データを取得する。図５に例示される対象物５０は、ボルト状の部品である。対象物５０は、ボルトに限られず他の種々の部品であってよいし、部品に限られず他の種々の物品であってよい。

　制御部１２は、発光パネル２０が点灯した状態、かつ、発光パネル２０の上に対象物５０が載置されていない状態を撮影した、図６Ａに例示される撮影画像６０を取得する。図６Ａの撮影画像６０は、発光パネル２０が点灯した状態を撮影した点灯画像２４を含む。制御部１２は、発光パネル２０が点灯した状態、かつ、発光パネル２０の上に対象物５０が載置されている状態を撮影した、図６Ｂに例示される撮影画像６０を取得する。図６Ｂの撮影画像６０は、対象物５０を撮影した対象物画像６２を前景として含み、発光パネル２０が点灯した状態を撮影した点灯画像２４を背景として含む。

　制御部１２は、図６Ａの対象物画像６２を含まない撮影画像６０と、図６Ｂの対象物画像６２を含む撮影画像６０との差分をとることによって、図６Ｃに示されるようにマスク画像７０を生成する。マスク画像７０は、マスクデータとも称される。言い換えれば、制御部１２は、少なくとも１つの撮影画像６０を取得した場合、少なくとも１つの撮影画像６０のうち、発光パネル２０を発光させた状態で発光パネル２０及び発光パネル２０の前に位置する対象物５０を撮影した撮影画像６０、及び、対象物５０が発光パネル２０の前に位置していない状態で発光パネル２０を撮影した撮影画像６０に基づいて対象物５０のマスクデータを生成してよい。

　図６Ａの対象物画像６２を含まない撮影画像６０は、背景画像とも称される。背景画像は、発光パネル２０のみを撮影した撮影画像６０であってよいし、発光パネル２０と何らかのインディケータとをあわせて撮影した撮影画像６０であってもよい。図６Ｂの対象物画像６２を含む画像は、前景画像とも称される。この場合、制御部１２は、前景画像及び背景画像に基づいてマスクデータを生成できる。

　マスク画像７０は、マスク部７２と、透過部７４とを含む。発光した状態の発光パネル２０と対象物５０とのコントラストが高められることによって、マスク画像７０におけるマスク部７２の形状の精度が高められ得る。制御部１２は、発光した状態の発光パネル２０と対象物５０とのコントラストを高めるように、発光パネル２０を制御してよい。制御部１２は、対象物５０の色に基づいて発光パネル２０の発光色を決定してよい。

　発光した状態の発光パネル２０と対象物５０とのコントラストを高めるように、発光パネル２０及び撮影装置３０が暗室に収容されてもよい。発光パネル２０及び撮影装置３０が暗室に収容されることによって、制御部１２は、対象物５０及び発光パネル２０に環境光が当たらない状態での撮影画像６０を取得できる。

　発光した状態の発光パネル２０と対象物５０とのコントラストを高めるように、制御部１２は、照明装置４０の照明光４２を制御してもよい。例えば、制御部１２は、発光パネル２０の発光輝度を、撮影画像６０において発光パネル２０を写した画素の輝度が対象物５０を写した画素の輝度よりも大きくなるように設定してよい。

　撮影装置３０は、発光パネル２０の上に対象物５０を置き、かつ、発光パネル２０を消灯した状態で、消灯時画像を撮影してよい。撮影装置３０は、発光パネル２０の上に対象物５０を置き、かつ、発光パネル２０を点灯した状態で、点灯時画像を撮影してよい。制御部１２は、消灯時画像と点灯時画像との差分に基づいて、マスク画像７０をマスクデータとして生成してよい。言い換えれば、制御部１２は、発光パネル２０が発光しているときの撮影画像６０と発光パネル２０が発光していないときの撮影画像６０との差分画像に更に基づいて、対象物５０のマスクデータを生成してよい。

　制御部１２は、前景画像だけに基づいてマスクデータを生成してもよい。例えば、制御部１２は、前景画像において発光パネル２０が写っている部分と対象物５０が写っている部分とを判別することによって、対象物５０のマスクデータを生成してよい。つまり、制御部１２は、少なくとも１つの撮影画像を取得した場合、少なくとも１つの撮影画像のうち、発光パネル２０を発光させた状態で発光パネル２０及び発光パネル２０の前に位置する対象物５０を撮影した撮影画像６０に基づいて対象物５０のマスクデータを生成してよい。

　制御部１２は、生成したマスク画像７０を用いて、撮影画像６０から対象物画像６２を抽出し、抽出画像６４（図７Ｃ参照）を生成する。具体的に、制御部１２は、発光パネル２０が消灯した状態、かつ、発光パネル２０の上に対象物５０が載置されている状態を撮影した、図７Ａに例示される撮影画像６０を取得する。図７Ａの撮影画像６０は、対象物５０を撮影した対象物画像６２を前景として含み、発光パネル２０が消灯した状態を撮影した消灯画像２２を背景として含む。

　制御部１２は、マスクデータを生成するために用いた撮影画像６０から対象物５０の画像データを抽出して抽出画像６４を生成してよい。制御部１２は、対象物５０のマスクデータに基づいて、撮影画像６０を撮影したときと同じ位置の対象物５０を撮影した画像から対象物５０の画像データを抽出して抽出画像６４を生成してよい。

　制御部１２は、図７Ｂとして示すマスク画像７０を図７Ａの撮影画像６０に適用して対象物画像６２を抽出することによって、図７Ｃに示される抽出画像６４を生成する。抽出画像６４は、対象物５０を写した画素で構成される前景と、透明画素で構成される背景とを含む。

　制御部１２は、抽出画像６４を用いて教師データを生成してよい。具体的に、制御部１２は、図８に例示されるように抽出画像６４と任意の背景画像８２とを組み合わせた画像を合成画像８０として生成してよい。制御部１２は、合成画像８０を教師データとして出力してよい。

　なお、抽出画像６４を生成する際、対象物５０を撮影した画像は、環境光が対象物５０に当たっている状態の画像でもよい。また、抽出画像６４を生成する際、対象物５０を撮影した画像は、発光パネル２０とは異なる場所に対象物５０が配置された状態の画像でもよい。

　また、抽出画像６４を生成する際、制御部１２は、照明装置４０を制御しつつ、対象物５０を撮影してもよい。すなわち、教師データの多様性を高めるために、照明光４２の位置又は輝度が制御された照明環境下で対象物５０が撮影されてもよい。また、対象物５０は、複数の照明環境下で撮影されてもよい。

＜データ取得方法の手順例＞
　データ取得装置１０は、図９に例示されるフローチャートの手順を含むデータ取得方法を実行してもよい。データ取得方法は、データ取得装置１０の制御部１２を構成するプロセッサに実行させるデータ取得プログラムとして実現されてもよい。データ取得プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

　制御部１２は、撮影装置３０によって、発光パネル２０を撮影する（ステップＳ１）。具体的に、制御部１２は、発光パネル２０を点灯して発光させ、かつ、発光パネル２０の上に対象物５０が載置されていない状態で、撮影装置３０によって発光パネル２０を撮影してよい。制御部１２は、点灯して発光している発光パネル２０を撮影した画像を取得してよい。

　制御部１２は、発光パネル２０の上に対象物５０を載置した状態で、かつ、発光パネル２０が点灯して発光している状態で、撮影装置３０によって発光パネル２０を撮影する（ステップＳ２）。制御部１２は、撮影装置３０が撮影した画像を取得してよい。制御部１２は、対象物５０が載置されていない状態で発光パネル２０を撮影した画像と対象物５０が載置された状態で発光パネル２０を撮影した画像との差分に基づいて、マスクデータを生成する（ステップＳ３）。具体的に、制御部１２は、マスクデータとしてマスク画像７０を生成してよい。

　制御部１２は、マスクデータによって撮影画像６０から対象物５０の画像を抽出して抽出画像６４を生成する（ステップＳ４）。制御部１２は、抽出画像６４を用いた教師データを生成する（ステップＳ５）。制御部１２は、ステップＳ５の手順の実行後、図９のフローチャートの手順の実行を終了する。

＜小括＞
　以上述べてきたように、本実施形態に係るデータ取得システム１、データ取得装置１０及びデータ取得方法によれば、対象物５０の撮影画像６０において、対象物５０と背景とのコントラストが高められ得る。コントラストが高められることによって、対象物５０を抽出するためのマスクデータが高精度で生成され得る。マスクデータが高精度で生成されることによって、対象物５０の画像に対して手動で修正する必要が無くなり得る。その結果、アノテーションが簡易化され得る。

（他の実施形態）
　以下、他の実施形態が説明される。

＜対象物５０の側面５４の影響＞
　対象物５０は、図１０に例示されるように上面５２と側面５４とを備えることがある。発光パネル２０が点灯して発光する場合、発光パネル２０から射出される光は、側面５４で反射して撮影装置３０に入射し得る。側面５４で反射した光が撮影装置３０に入射した場合、撮影画像６０において対象物５０の側面５４が発光しているように見えることがある。

　具体的に、図１１Ａに例示されるように、発光パネル２０の発光色と対象物５０の側面５４の色とが同一又は類似である場合、撮影画像６０において、発光パネル２０と対象物５０の側面５４とが区別されにくくなる。この場合、マスク画像７０において、対象物５０の上面５２だけが透過部７４に設定され、側面５４がマスク部７２に設定されることが起こり得る。

　一方で、図１１Ｂに例示されるように、発光パネル２０の発光色と対象物５０の側面５４の色とが大きく異なる場合、撮影画像６０において、発光パネル２０と対象物５０の側面５４とが区別されやすくなる。例えば、発光パネル２０の発光色と対象物５０の側面５４の色とが互いに補色の関係にある場合、撮影画像６０において、発光パネル２０と対象物５０の側面５４とが区別されやすくなる。この場合、マスク画像７０において、対象物５０の上面５２及び側面５４が透過部７４に設定され得る。

　以上のことから、発光パネル２０を少なくとも２色で発光させ、各色についてマスクデータを生成することによって、側面５４における反射光の影響が低減され得る。

　制御部１２は、例えば、対象物５０の側面５４と同じ色を第１の色として発光パネル２０に発光させ、側面５４と異なる色を第２の色として発光パネル２０に発光させてよい。図１１Ａに例示される発光パネル２０は、第１の色で発光しているとする。図１１Ａに例示される発光パネル２０を撮影した画像に基づいて生成されたマスクデータの画像が図１２Ａとして例示される。図１２Ａに例示されるマスクデータの画像は、発光パネル２０を第１の色で発光させているときの画像であり、第１マスク画像７０Ａと称されるとする。図１１Ｂに例示される発光パネル２０は、第２の色で発光しているとする。図１１Ｂに例示される発光パネル２０を撮影した画像に基づいて生成されたマスクデータの画像が図１２Ｂとして例示される。図１２Ｂに例示されるマスクデータの画像は、発光パネル２０を第２の色で発光させているときの画像であり、第２マスク画像７０Ｂと称されるとする。

　図１２Ａの第１マスク画像７０Ａ及び図１２Ｂの第２マスク画像７０Ｂにおいて、他のセルよりも太い枠で囲われているセルは、対象物５０の側面５４に対応する画素を表す。図１２Ａの第１マスク画像７０Ａにおいて側面５４に対応する画素は、マスク部７２になっている。図１２Ｂの第２マスク画像７０Ｂにおいて側面５４に対応する画素は、透過部７４になっている。つまり、発光パネル２０が第１の色で発光しているか第２の色で発光しているかによって、側面５４に対応する画素がマスク部７２になったり透過部７４になったりする。

　ここで、制御部１２は、図１２Ａの第１マスク画像７０Ａと図１２Ｂの第２マスク画像７０Ｂとの論理和を計算してマスク画像７０を生成してよい。具体的に、制御部１２は、第１マスク画像７０Ａの各画素と第２マスク画像７０Ｂの各画素との論理和を計算することによって、図１２Ｃに例示されるマスク画像７０を生成できる。言い換えれば、制御部１２は、発光パネル２０が各発光色で発光しているときの撮影画像６０に基づく各発光色に対応する複数のマスクデータによって、対象物５０のマスクデータを生成してよい。図１２Ｃのマスク画像７０において、対象物５０の側面５４に対応する画素が透過部７４になっている。仮に第１マスク画像７０Ａだけが生成された場合、対象物５０の側面５４に対応するマスクデータが誤ったデータになる。発光パネル２０に少なくとも２つの異なる色を発光させてそれぞれの色でマスクデータを生成することによって、対象物５０の側面５４におけるマスクデータの誤りが生じにくくなる。

　データ取得装置１０は、図１３のフローチャートに示されるように複数の色で発光パネル２０を点灯させる手順を含むデータ取得方法を実行してもよい。データ取得方法は、データ取得装置１０の制御部１２を構成するプロセッサに実行させるデータ取得プログラムとして実現されてもよい。データ取得プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

　制御部１２は、撮影装置３０によって、発光パネル２０を撮影する（ステップＳ１１）。具体的に、制御部１２は、発光パネル２０を点灯して第１の色及び第２の色それぞれを発光させ、かつ、発光パネル２０の上に対象物５０が載置されていない状態で、撮影装置３０によって発光パネル２０を撮影してよい。制御部１２は、第１の色及び第２の色それぞれで発光するように点灯している発光パネル２０を撮影した画像を取得してよい。

　制御部１２は、発光パネル２０の上に対象物５０を載置した状態で、かつ、発光パネル２０が点灯して第１の色を発光している状態で、撮影装置３０によって発光パネル２０を撮影する（ステップＳ１２）。制御部１２は、撮影装置３０が撮影した画像を第１点灯画像として取得してよい。制御部１２は、第１点灯画像に基づいて第１マスク画像７０Ａを生成する（ステップＳ１３）。

　制御部１２は、発光パネル２０の上に対象物５０を載置した状態で、かつ、発光パネル２０が点灯して第２の色を発光している状態で、撮影装置３０によって発光パネル２０を撮影する（ステップＳ１４）。制御部１２は、撮影装置３０が撮影した画像を第２点灯画像として取得してよい。制御部１２は、第２点灯画像に基づいて第２マスク画像７０Ｂを生成する（ステップＳ１５）。

　制御部１２は、第１マスク画像７０Ａと第２マスク画像７０Ｂとの論理和を計算し、マスク画像７０を生成する（ステップＳ１６）。具体的に、制御部１２は、第１マスク画像７０Ａの各画素と第２マスク画像７０Ｂの各画素との論理和を計算し、各画素の計算結果を並べた画像をマスク画像７０として生成してよい。制御部１２は、ステップＳ１６の手順の実行後、図１３のフローチャートの手順の実行を終了する。

＜データ取得台＞
　データ取得システム１は、データを取得するためのデータ取得台を備えてよい。データ取得台は、発光パネル２０と、発光パネル２０の発光面の上に対象物５０を載置するための板とを備えてよい。対象物５０を載置するための板は、発光パネル２０から射出される光を透過するように構成され、光透過部材とも称される。光透過部材は、対象物５０が発光面に直接触れないように構成されてよい。光透過部材は、発光面と間隔を空けて配置されてよいし、発光面に接触するように配置されてもよい。

　データ取得台は、発光パネル２０及び光透過部材を収容する暗室を更に備えてもよい。また、データ取得台は、対象物５０を照明可能に構成される照明装置４０を更に備えてもよい。

（ロボット制御システム１００の構成例）
　図１４に示されるように、一実施形態に係るロボット制御システム１００は、ロボット２と、ロボット制御装置１１０とを備える。本実施形態において、ロボット２は、作業対象物８を作業開始地点６から作業目標地点７へ移動させるとする。つまり、ロボット制御装置１１０は、作業対象物８が作業開始地点６から作業目標地点７へ移動するようにロボット２を制御する。作業対象物８は、作業対象とも称される。ロボット制御装置１１０は、ロボット２が作業を実施する空間に関する情報に基づいて、ロボット２を制御する。空間に関する情報は、空間情報とも称される。

＜ロボット制御装置１１０＞
　ロボット制御装置１１０は、データ取得装置１０で生成された教師データを用いた学習に基づく学習済みモデルを取得する。ロボット制御装置１１０は、カメラ４で撮影した画像と学習済みモデルとに基づいて、ロボット２が作業を実施する空間に存在する、作業対象物８、又は作業開始地点６若しくは作業目標地点７等を認識する。言い換えれば、ロボット制御装置１１０は、カメラ４で撮影した画像に基づいて作業対象物８等を認識するために生成された学習済みモデルを取得する。

　ロボット制御装置１１０は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。ロボット制御装置１１０の各構成部は、少なくとも１つのプロセッサを含んで構成されてもよい。ロボット制御装置１１０の各構成部のうち複数の構成部が１つのプロセッサで実現されてもよい。ロボット制御装置１１０の全体が１つのプロセッサで実現されてもよい。プロセッサは、ロボット制御装置１１０の種々の機能を実現するプログラムを実行しうる。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

　ロボット制御装置１１０は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報及びロボット制御装置１１０で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、ロボット制御装置１１０のワークメモリとして機能してよい。記憶部の少なくとも一部は、ロボット制御装置１１０とは別体として構成されてもよい。

＜ロボット２＞
　ロボット２は、アーム２Ａと、エンドエフェクタ２Ｂとを備える。アーム２Ａは、例えば、６軸又は７軸の垂直多関節ロボットとして構成されてよい。アーム２Ａは、３軸又は４軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム２Ａは、２軸又は３軸の直交ロボットとして構成されてもよい。アーム２Ａは、パラレルリンクロボット等として構成されてもよい。アーム２Ａを構成する軸の数は、例示したものに限られない。言い換えれば、ロボット２は、複数の関節で接続されるアーム２Ａを有し、関節の駆動によって動作する。

　エンドエフェクタ２Ｂは、例えば、作業対象物８を把持できるように構成される把持ハンドを含んでよい。把持ハンドは、複数の指を有してよい。把持ハンドの指の数は、２つ以上であってよい。把持ハンドの指は、１つ以上の関節を有してよい。エンドエフェクタ２Ｂは、作業対象物８を吸着できるように構成される吸着ハンドを含んでもよい。エンドエフェクタ２Ｂは、作業対象物８を掬うことができるように構成される掬いハンドを含んでもよい。エンドエフェクタ２Ｂは、ドリル等の工具を含み、作業対象物８に穴を開ける作業等の種々の加工を実施できるように構成されてもよい。エンドエフェクタ２Ｂは、これらの例に限られず、他の種々の動作ができるように構成されてよい。図１４に例示される構成において、エンドエフェクタ２Ｂは、把持ハンドを含むとする。

　ロボット制御装置１１０は、ロボット２のアーム２Ａを動作させることによって、エンドエフェクタ２Ｂの位置を制御できる。エンドエフェクタ２Ｂは、作業対象物８に対して作用する方向の基準となる軸を有してもよい。エンドエフェクタ２Ｂが軸を有する場合、ロボット制御装置１１０は、ロボット２のアーム２Ａを動作させることによって、エンドエフェクタ２Ｂの軸の方向を制御できる。ロボット制御装置１１０は、エンドエフェクタ２Ｂが作業対象物８に作用する動作の開始及び終了を制御する。ロボット制御装置１１０は、エンドエフェクタ２Ｂの位置、又は、エンドエフェクタ２Ｂの軸の方向を制御しつつ、エンドエフェクタ２Ｂの動作を制御することによって、作業対象物８を動かしたり加工したりすることができる。図１４に例示される構成において、ロボット制御装置１１０は、作業開始地点６でエンドエフェクタ２Ｂに作業対象物８を把持させ、エンドエフェクタ２Ｂを作業目標地点７へ移動させる。ロボット制御装置１１０は、作業目標地点７でエンドエフェクタ２Ｂに作業対象物８を解放させる。このようにすることで、ロボット制御装置１１０は、ロボット２によって作業対象物８を作業開始地点６から作業目標地点７へ移動させることができる。

＜センサ３＞
　図１４に示されるように、ロボット制御システム１００は、更にセンサ３を備える。センサ３は、ロボット２の物理情報を検出する。ロボット２の物理情報は、ロボット２の各構成部の現実の位置若しくは姿勢、又は、ロボット２の各構成部の速度若しくは加速度に関する情報を含んでよい。ロボット２の物理情報は、ロボット２の各構成部に作用する力に関する情報を含んでよい。ロボット２の物理情報は、ロボット２の各構成部を駆動するモータに流れる電流又はモータのトルクに関する情報を含んでよい。ロボット２の物理情報は、ロボット２の実際の動作の結果を表す。つまり、ロボット制御システム１００は、ロボット２の物理情報を取得することによって、ロボット２の実際の動作の結果を把握することができる。

　センサ３は、ロボット２の物理情報として、ロボット２に作用する力、分布圧、若しくはすべり等を検出する力覚センサ又は触覚センサを含んでよい。センサ３は、ロボット２の物理情報として、ロボット２の位置若しくは姿勢、又は、速度若しくは加速度を検出するモーションセンサを含んでよい。センサ３は、ロボット２の物理情報として、ロボット２を駆動するモータに流れる電流を検出する電流センサを含んでよい。センサ３は、ロボット２の物理情報として、ロボット２を駆動するモータのトルクを検出するトルクセンサを含んでよい。

　センサ３は、ロボット２の関節、又は、関節を駆動する関節駆動部に設置されてよい。センサ３は、ロボット２のアーム２Ａ又はエンドエフェクタ２Ｂに設置されてもよい。

　センサ３は、検出したロボット２の物理情報をロボット制御装置１１０に出力する。センサ３は、所定のタイミングでロボット２の物理情報を検出して出力する。センサ３は、ロボット２の物理情報を時系列データとして出力する。

＜カメラ４＞
　図１４に示される構成例において、ロボット制御システム１００は、２台のカメラ４を備えるとする。カメラ４は、ロボット２の動作に影響を及ぼす可能性がある影響範囲５に位置する物品又は人間等を撮影する。カメラ４が撮影する画像は、モノクロの輝度情報を含んでもよいし、ＲＧＢ等で表される各色の輝度情報を含んでもよい。影響範囲５は、ロボット２の動作範囲を含む。影響範囲５は、ロボット２の動作範囲を更に外側に広げた範囲であるとする。影響範囲５は、ロボット２の動作範囲の外側から動作範囲の内側へ向かって移動する人間等がロボット２の動作範囲の内側に入るまでにロボット２を停止できるように設定されてよい。影響範囲５は、例えば、ロボット２の動作範囲の境界から所定距離だけ外側まで拡張された範囲に設定されてもよい。カメラ４は、ロボット２の影響範囲５若しくは動作範囲又はこれらの周辺の領域を俯瞰的に撮影できるように設置されてもよい。カメラ４の数は、２つに限られず、１つであってもよいし、３つ以上であってもよい。

（ロボット制御システム１００の動作例）
　ロボット制御装置１１０は、学習済みモデルをあらかじめ取得する。ロボット制御装置１１０は、学習済みモデルを記憶部に格納してよい。ロボット制御装置１１０は、カメラ４から作業対象物８を撮影した画像を取得する。ロボット制御装置１１０は、作業対象物８を撮影した画像を入力情報として学習済みモデルに入力する。ロボット制御装置１１０は、学習済みモデルから入力情報の入力に応じて出力される出力情報を取得する。ロボット制御装置１１０は、出力情報に基づいて作業対象物８を認識し、作業対象物８を把持したり移動したりする作業を実行する。

＜小括＞
　以上述べてきたように、ロボット制御システム１００は、データ取得システム１で生成された教師データを用いた学習に基づく学習済みモデルを取得し、学習済みモデルによって作業対象物８を認識できる。

　以上、データ取得システム１及びロボット制御システム１００の実施形態を説明してきたが、本開示の実施形態としては、システム又は装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１マスク画像７０Ａは、第２マスク画像７０Ｂと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

　一実施形態において、（１）データ取得装置は、発光パネルを制御可能に構成され、かつ前記発光パネルの発光面を撮影した少なくとも１つの撮影画像を取得可能に構成される制御部を備える。前記制御部は、前記少なくとも１つの撮影画像のうち、前記発光パネルを発光させた状態で前記発光パネル及び前記発光パネルの前に位置する対象物を撮影した撮影画像に基づいて前記対象物のマスクデータを生成する。

　（２）上記（１）のデータ取得装置において、前記制御部は、前記対象物の色に基づいて前記発光パネルの発光色を決定してよい。

　（３）上記（１）又は（２）のデータ取得装置において、前記制御部は、前記発光パネルを複数の発光色で発光させ、前記発光パネルが各発光色で発光しているときの撮影画像に基づく前記各発光色に対応する複数のマスクデータによって、前記対象物のマスクデータを生成してよい。

　（４）上記（１）から（３）までのいずれか１つのデータ取得装置において、前記制御部は、前記少なくとも１つの撮影画像のうち、前記対象物が位置していない状態で前記発光パネルを撮影した撮影画像に基づいて、前記対象物のマスクデータを生成してよい。

　（５）上記（１）から（４）までのいずれか１つのデータ取得装置において、前記制御部は、前記発光パネルが発光しているときの撮影画像と前記発光パネルが発光していないときの撮影画像との差分画像に基づいて、前記対象物のマスクデータを生成してよい。

　（６）上記（１）から（５）までのいずれか１つのデータ取得装置において、前記制御部は、前記対象物及び前記発光パネルに環境光が当たらない状態での撮影画像を取得してよい。

　（７）上記（１）から（６）までのいずれか１つのデータ取得装置において、前記制御部は、前記発光パネルの発光輝度を、前記撮影画像において前記発光パネルの輝度が前記対象物の輝度よりも大きくなるように設定してよい。

　（８）上記（１）から（７）までのいずれか１つのデータ取得装置において、前記制御部は、前記対象物のマスクデータに基づいて、前記撮影画像を撮影したときと同じ位置の前記対象物を撮影した画像から前記対象物の画像データを抽出してよい。

　（９）上記（８）のデータ取得装置において、前記制御部は、前記対象物を照らす照明光を制御してよい。

　一実施形態において、（１０）データ取得方法は、発光パネルを発光させることと、前記発光パネルの前に位置する対象物と前記発光パネルとを撮影した撮影画像に基づいて前記対象物のマスクデータを生成することとを含む。

　（１１）上記（１０）のデータ取得方法は、前記対象物のマスクデータに基づいて、前記撮影画像を撮影したときと同じ位置の前記対象物を撮影した画像から前記対象物の画像データを抽出することを更に含んでよい。

　一実施形態において、（１２）データ取得台は、所定の色で発光する発光パネルと、前記発光パネルの前に配置する対象物及び前記発光パネルの間に位置する光透過部材と、を備える。

　（１３）上記（１２）のデータ取得台は、前記発光パネル及び前記光透過部材を収容する暗室を更に備えてよい。

　（１４）上記（１２）又は（１３）のデータ取得台は、前記対象物を照明可能に構成される照明装置を更に備えてよい。

　（１５）上記（１２）から（１４）までのいずれか１つのデータ取得台において、前記発光パネルは、所定の色のうち一色に発光してよい。

　１　データ取得システム
　１０　データ取得装置（１２：制御部、１４：記憶部、１６：インタフェース）
　２０　発光パネル（２２：消灯画像、２４：点灯画像）
　３０　撮影装置
　４０　照明装置（４２：照明光）
　５０　対象物（５２：上面、５４：側面）
　６０　撮影画像（６２：対象物の画像、６４：対象物の抽出画像）
　７０　マスク画像（７０Ａ：第１マスク画像、７０Ｂ：第２マスク画像、７２：マスク部、７４：透過部）
　８０　合成画像（８２：背景画像）
　１００　ロボット制御システム（２：ロボット、２Ａ：アーム、２Ｂ：エンドエフェクタ、３：センサ、４：カメラ、５：影響範囲、６：作業開始地点、７：作業目標地点、８：作業対象物、１１０：ロボット制御装置）

Claims (15)

1. 　発光パネルを制御可能に構成され、かつ前記発光パネルの発光面を撮影した少なくとも１つの撮影画像を取得可能に構成される制御部を備え、
   　前記制御部は、前記少なくとも１つの撮影画像のうち、前記発光パネルを発光させた状態で前記発光パネル及び前記発光パネルの前に位置する対象物を撮影した撮影画像に基づいて前記対象物のマスクデータを生成する、データ取得装置。
2. 　前記制御部は、前記対象物の色に基づいて前記発光パネルの発光色を決定する、請求項１に記載のデータ取得装置。
3. 　前記制御部は、
   　前記発光パネルを複数の発光色で発光させ、
   　前記発光パネルが各発光色で発光しているときの撮影画像に基づく前記各発光色に対応する複数のマスクデータによって、前記対象物のマスクデータを生成する、請求項１又は２に記載のデータ取得装置。
4. 　前記制御部は、
   　前記少なくとも１つの撮影画像のうち、前記対象物が位置していない状態で前記発光パネルを撮影した撮影画像に基づいて、前記対象物のマスクデータを生成する、請求項１に記載のデータ取得装置。
5. 　前記制御部は、前記発光パネルが発光しているときの撮影画像と前記発光パネルが発光していないときの撮影画像との差分画像に基づいて、前記対象物のマスクデータを生成する、請求項１又は２に記載のデータ取得装置
6. 　前記制御部は、前記対象物及び前記発光パネルに環境光が当たらない状態での撮影画像を取得する、請求項１又は２に記載のデータ取得装置。
7. 　前記制御部は、前記発光パネルの発光輝度を、前記撮影画像において前記発光パネルの輝度が前記対象物の輝度よりも大きくなるように設定する、請求項１又は２に記載のデータ取得装置。
8. 　前記制御部は、前記対象物のマスクデータに基づいて、前記撮影画像を撮影したときと同じ位置の前記対象物を撮影した画像から前記対象物の画像データを抽出する、請求項１又は２に記載のデータ取得装置。
9. 　前記制御部は、前記対象物を照らす照明光を制御する、請求項８に記載のデータ取得装置。
10. 　発光パネルを発光させることと、
    　前記発光パネルの前に位置する対象物と前記発光パネルとを撮影した撮影画像に基づいて前記対象物のマスクデータを生成することと
    を含む、データ取得方法。
11. 　前記対象物のマスクデータに基づいて、前記撮影画像を撮影したときと同じ位置の前記対象物を撮影した画像から前記対象物の画像データを抽出することを更に含む、請求項１０に記載のデータ取得方法。
12. 　所定の色で発光する発光パネルと、
    　前記発光パネルの前に配置する対象物及び前記発光パネルの間に位置する光透過部材と、
    を備える、データ取得台。
13. 　前記発光パネル及び前記光透過部材を収容する暗室を更に備える、請求項１２に記載のデータ取得台。
14. 　前記対象物を照明可能に構成される照明装置を更に備える、請求項１２又は１３に記載のデータ取得台。
15. 　前記発光パネルは、所定の色のうち一色に発光する、請求項１２に記載のデータ取得台。

Images