JP2016110215A

JP2016110215A - マーカ認識装置、マーカ認識方法及び認識プログラム

Info

Publication number: JP2016110215A
Application number: JP2014244312A
Authority: JP
Inventors: 訓成小堀; Kuninari Kobori
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2014-12-02
Filing date: 2014-12-02
Publication date: 2016-06-20
Also published as: US20160155013A1; EP3029605A3; CN105654016A; EP3029605A2; KR20160066511A

Abstract

【課題】マーカの見え方に依存せず、マーカを高精度に認識すること。【解決手段】マーカ認識装置は、所定の特徴量を含むマーカが含まれる画像を取得する画像取得手段と、画像取得手段により取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、所定の特徴量を検出することにより、マーカが含まれる画像におけるキーポイントを検出する検出手段と、検出手段により検出されたキーポイントに基づいて、マーカの位置を認識する認識手段と、を備える。【選択図】図１

Description

本発明は、アイテムなどに付けられたマーカを認識するマーカ認識装置、マーカ認識方法及び認識プログラムに関するものである。

ＱＲコード（登録商標）などの二次元コードを読み取る二次元コード読取装置が知られている（例えば、特許文献１参照）。

特開２００９−２９５１４５号公報

上記二次元コード読取装置においては、二次元コードの読取方向によって、その二次元コードの見え方が変化する。例えば、マーカなどの認識を行う場合、その見え方によって、その認識精度が低下する虞がある。

本発明は、このような問題点を解決するためになされたものであり、マーカの見え方に依存せず、マーカを高精度に認識できるマーカ認識装置、マーカ認識方法及び認識プログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、所定の特徴量を含むマーカが含まれる画像を取得する画像取得手段と、前記画像取得手段により取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出する検出手段と、前記検出手段により検出されたキーポイントに基づいて、前記マーカの位置を認識する認識手段と、を備えることを特徴とするマーカ認識装置である。
この一態様において、前記認識手段は、前記検出手段により検出されたキーポイントに対応するスケールに基づいて、前記マーカのサイズを認識してもよい。
この一態様において、前記マーカは、円形状を含んでいてもよい。
この一態様において、前記円形状の線は、第１の色で形成されており、コード情報を含むコード画像は、前記第１の色とは異なる色で形成されており、前記円形状を含むマーカ画像に前記コード画像が重畳されていてもよい。
この一態様において、前記円形状は、同心円形状であってもよい。
この一態様において、前記検出手段は、複数の前記キーポイントを検出し、前記認識手段は、前記検出手段により検出された各キーポイントの位置にマーカが存在するか否かを前記各キーポイントのスケールに従って判断し、該判断したマーカが存在するキーポイントの位置と、該キーポイントのスケールと、に基づいて前記マーカの位置及びサイズを認識してもよい。
この一態様において、前記マーカは、円形状を含み、前記認識手段は、前記検出手段により検出された各キーポイントの周辺で前記スケールに従って探索を行い、前記円形状の線幅の比の相関値を算出し、該相関値が所定値以上となる位置に前記マーカが存在すると判断し、該判断したマーカが存在するキーポイントの位置と、該キーポイントのスケールと、に基づいてマーカの位置及びサイズを認識してもよい。
上記目的を達成するための本発明の一態様は、所定の特徴量を含むマーカが含まれる画像を取得するステップと、前記取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出するステップと、前記検出されたキーポイントに基づいて、前記マーカの位置を認識するステップと、を含むことを特徴とするマーカ認識方法であってもよい。
上記目的を達成するための本発明の一態様は、所定の特徴量を含むマーカが含まれる画像を取得する処理と、前記取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出する処理と、前記検出されたキーポイントに基づいて、前記マーカの位置を認識する処理と、をコンピュータに実行させることを特徴とする認識プログラムであってもよい。

本発明によれば、マーカの見え方に依存せず、マーカを高精度に認識できるマーカ認識装置、マーカ認識方法及び認識プログラムを提供することができる。

実施形態１に係るマーカ認識装置の概略的なシステム構成を示すブロック図である。平滑画像群及び差分画像群の一例を示す図である。キーポイントとなる画素の一例を示す図である。マーカの２重円形状の一例を示す図である。実施形態１に係るマーカ認識方法の処理フローを示すフローチャートである。マーカの円形状の例を示す図である。各スケールに対する円形状の例を示す図である。１ｍの距離で撮影を行ったときのマーカ検出結果を示す図である。２ｍの距離で撮影を行ったときのマーカ検出結果を示す図である。１ｍ及び２ｍの距離でキーポイントの出現状態の例を示す図である。２重円形状のマーカ画像に対しコード画像を重畳して重畳画像を生成する方法を説明するための図である。

実施形態１
以下、図面を参照して本発明の実施の形態について説明する。
本発明の実施形態１に係るマーカ認識装置は、例えば、ロボットなどに搭載され、マーカはそのロボットが操作を行うアイテムに付けられる。マーカ認識装置はマーカの位置を認識することで、そのアイテムの位置、姿勢、距離などを認識することができる。特に、人型ロボットなどは、複雑な動作を行い異なる方向から及び距離でアイテムのマーカを見るため、そのマーカの見え方も大きく異なる。本実施形態１に係るマーカ認識装置は、そのような見え方の異なるマーカでも、常時高精度に認識できるものである。

マーカは、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を含むように設計されている。マーカは、例えば、その中心にＳＩＦＴ特徴量を含むように設計されている。ＳＩＦＴ特徴量は、並進、回転、スケールの拡縮、照明変化、などの外乱にロバストな所定の特徴量である。

なお、マーカは、ＳＩＦＴ特徴量を含むように設計されているが、これに限定されない。マーカは、例えば、ＳＵＲＦ（Speed-Up Robust Features）特徴量を含むように設計されていてもよく、並進、回転、スケールの拡縮、照明変化などにロバストな、任意の特徴量を含んでいてもよい。

図１は、本発明の実施形態１に係るマーカ認識装置の概略的なシステム構成を示すブロック図である。本実施形態１に係るマーカ認識装置１は、マーカの画像（マーカ画像）を取得する画像取得部２と、マーカ画像に基づいて処理を行うスケールスペース処理部３と、マーカを認識するマーカ認識部４と、を有している。

マーカ認識装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

画像取得部２は、画像取得手段の一具体例であり、例えば、カメラ２１を用いて、アイテムなどに付けられたマーカを撮影し、そのマーカ画像を取得する。画像取得部２は、取得したマーカ画像をスケールスペース処理部３に出力する。

スケールスペース処理部３は、検出手段の一具体例であり、画像取得部２から出力されるマーカ画像に対して、以下に述べるスケールスペース処理を行って、ＳＩＦＴのキーポイントを検出（SIFT-Localization）する。なお、キーポイントは、例えば、マーカ画像が並進、回転、スケールの拡縮、照明変化などしても、同一位置に出現し易い性質を有している。

スケールスペース処理部３は、まず、マーカ画像にスケールの異なるガウス関数を乗算して複数の平滑画像群（スケールスペース画像群）を生成する。スケールスペース処理部３は、生成した平滑画像群間の差分を示す差分画像群（ＤｏＧ（Difference-of-Gaussian）画像）を生成する。

例えば、スケールスペース処理部３は、図２に示す如く、各マーカ画像に対して、スケールの異なるガウス関数（σ_０、ｋσ_０、ｋ^２σ_０、ｋ^３σ_０、ｋ^４σ_０）を夫々乗算して複数の平滑画像群を生成する。スケールスペース処理部３は、生成した平滑画像群間の差分を示す差分画像群（Ｄ（σ_０）、Ｄ（ｋσ_０）、Ｄ（ｋ^２σ_０）、Ｄ（ｋ^３σ_０））を夫々生成する。

なお、スケールスペース処理部３は、マーカ画像にスケールの異なるガウス関数を乗算して（ガウイアンぼかしを与えて）、複数の平滑画像群を生成しているが、これに限定されない。スケールスペース処理部３は、マーカ画像にガウシアンぼかし以外の他の外乱（例えば、ガウス関数を近似したような変化ならよく、色調を変化させてもよい）を与えて、複数の平滑画像群を生成してもよい。

スケールスペース処理部３は、生成した差分画像群の中で、極値（極小あるいは極大）を示す位置をキーポイントとし、そのＳＩＦＴの中心点として検出する。例えば、スケールスペース処理部３は、図３に示す如く、連続してスケールが異なる差分画像を３つ選択する。そして、スケールスペース処理部３は、その選択した差分画像において、注目画素の周辺の２６つの近傍画素を比較して、極値となる画素をキーポイントとして検出する。スケールスペース処理部３は、検出したキーポイントの位置をマーカ認識部４に出力する。

マーカ認識部４は、認識手段の一具体例であり、スケールスペース処理部３から出力されるキーポイントの位置に基づいて、マーカの位置を認識する。マーカ画像のキーポイントは、マーカが並進、回転、スケールの拡縮、照明変化などしても、変化し難い。したがって、マーカ画像のキーポイントの位置に基づいて、マーカの位置を認識することで、マーカの配置（向き、スケール）に依存することなく、正確にマーカの位置を認識できる。すなわち、マーカの見え方に依存せず、マーカを高精度に認識できる。

マーカ認識部４は、スケールスペース処理部３から出力されるキーポイントの位置をマーカの位置とする。ここで、マーカは、上記の如くＳＩＦＴ特徴量を含む。このため、スケールスペース処理部３は、実際にマーカの存在する位置でキーポイントを検出するが、そのマーカの位置以外の位置でもキーポイントを検出することがある。

これに対し、マーカ認識部４は、スケールスペース処理部３から出力される各キーポイントの位置にマーカが存在するかを判断する。例えば、マーカが２重円形状の特徴量を含む場合を想定する（図４）。マーカ認識部４は、各キーポイントの位置でその各キーポイントのスケールに従って、マーカの２重円が存在するか否かを判断する。より具体的には、マーカ認識部４は、２重円形状の線幅の比（例えば、Ａ：Ｂ：Ｃ：Ｄ：Ｃ：Ｂ：Ａ）の相関値を算出する。この２重円形状の線幅の比は、例えば、マーカが傾くことによってその２重円形状が楕円になった場合でも変化しない。したがって、マーカ認識部４は、各キーポイント周辺でスケールに従って探索を行い２重円形状の線幅の比の相関値が高くなる（相関値が所定値以上となる）位置にマーカの２重円形状が存在すると判断する。そして、マーカ認識部４は、上記判断したマーカが存在するキーポイントの位置と、そのキーポイントのスケールと、に基づいてマーカの位置を認識する。

さらに、キーポイントに対応するスケール（ガウス関数）によって、その画像サイズが決まる。したがって、マーカ認識部４は、スケールスペース処理部３により検出されたキーポイントに対応するスケールに基づいて、マーカのサイズを認識することができる。例えば、マーカ認識部４は、上記判断したマーカ内に存在するキーポイントのスケールをマーカのサイズとして認識する。このように、マーカ画像のキーポイントを認識することで、マーカの位置だけでなく、マーカのサイズも同時に認識することができる。

図５は、本実施形態１に係るマーカ認識方法の処理フローを示すフローチャートである。画像取得部２は、カメラ２１を用いて、アイテムなどに付けられたマーカを撮影し、そのマーカ画像を取得する（ステップＳ１０１）。画像取得部２は、取得したマーカ画像をスケールスペース処理部３に出力する。

スケールスペース処理部３は、画像取得部２から出力されたマーカ画像にスケールの異なるガウス関数を乗算して平滑画像群を生成する（ステップＳ１０２）。スケールスペース処理部３は、生成した平滑画像群間の差分を示す差分画像群を生成する（ステップＳ１０３）。スケールスペース処理部３は、生成した差分画像群の中で、極値を示す位置をキーポイントとして検出する（ステップＳ１０４）。スケールスペース処理部３は、検出したキーポイントの位置をマーカ認識部４に出力する。

マーカ認識部４は、スケールスペース処理部３から出力されるキーポイントの位置及びスケールに基づいて、マーカの位置を認識する（ステップＳ１０５）。さらに、マーカ認識部４は、スケールスペース処理部３から出力されるキーポイントのスケールに基づいて、マーカのサイズを認識する（ステップＳ１０６）。

以上、本実施形態１に係るマーカ認識装置１は、マーカの画像に対して外乱を与えることで複数のスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、マーカ画像の特徴点となるキーポイントを検出する。そして、マーカ認識装置１は、検出したキーポイントに基づいて、マーカの位置を認識する。マーカは、外乱（見え方）に対してロバストな所定の特徴量を含むことから、マーカには外乱にロバストなキーポイントが出現する。このキーポイントの位置を認識することで、マーカの位置を高精度に認識できる。すなわち、マーカの見え方に依存せず、マーカを高精度に認識できる。

実施形態２
本発明の実施形態２において、マーカのパターン形状は、円形状を含むように設計されていることを特徴とする。例えば、マーカのパターン形状は、図６に示す如く、周囲よりも輝度の低い部分（輝度の窪み）からなる１重円形状や２重円形状などの円形状を含む。より具体的には、マーカのパターン形状が円形状の場合、円形状を形成する線部分の輝度が低く窪んだグレースケール画像となる。

円形状は、回転や傾きなどに対しロバストである。また、円形状が同心円形状の場合、スケール変化において複数回キーポイントが出現する。例えば、２重円の場合は、スケール変化において２度キーポイントが出現する（図７）。このため、回転や傾きなどに対しよりロバストである。スケールスペース処理部は、画像取得部から出力されるマーカ画像に対して、スケールスペース処理を行って、ＳＩＦＴ特徴量のキーポイントを検出する。このとき、マーカの円形状は、上記の如く、回転や傾きなどに対しロバストである。したがって、スケールスペース処理部は、この円形状をキーポイントとして検出する。

マーカのパターン形状は、円形状を含むように設計されているが、これに限定されない。マーカのパターン形状は、四角形などの多角形であってよく、線対象形あるいは点対称形であってもよい。この場合でも、回転や傾きなどに対しよりロバストである。なお、円形状が、回転や傾きなどに対し最もロバストであるため、上記マーカのパターン形状に設計するのにより好ましい。

次に、本実施形態２に係るマーカの認識を行った際の実験結果を説明する。例えば、市販プリンタを用いてシール印刷を行うことで１７×２３ｍｍ体格のマーカ（円形上状の輝度の窪みを含む）を作成し、壁に配置した。マーカは、マーカ認識装置のカメラから１ｍ及び２ｍの距離に配置されている。１ｍの位置でカメラの焦点距離を合わせ、２ｍの位置ではカメラの焦点距離を変えずに撮影を行った。図８は、１ｍの距離で撮影を行ったときのマーカ検出結果を示す図である。図９は、２ｍの距離で撮影を行ったときのマーカ検出結果を示す図である。

図８に示す如く、１ｍの距離ではσｋ^５のスケールにおいて、マーカのキーポイントを検出できることが分かる。図９に示す如く、２ｍの距離ではσｋのスケールにおいて、マーカのキーポイントを検出できることが分かる。

ここで、カメラ画像のサイズは、ＶＧＡ（６４０×４８０）である。したがって、１ｍの距離のときのマーカサイズの面積占有率は、１．１％となった。２ｍの距離のときのマーカサイズの面積占有率は、０．３１％となった。一方で、従来のカメレオンコードを用いて同様のマーカ検出を行った場合、そのマーカサイズの面積占有率は、０．６％となるこのように、本実施形態に係るマーカ認識装置１は、従来と比較しても、より小さい面積占有率のマーカを認識でき、認識性能が高いことが分かる。

図８及び９に示す如く、キーポイントは、マーカの位置以外の位置でも出現することが分かる。また、スケールによってキーポイントの出現する位置が異なることが分かる。図１０において、マーカの円形状は、スケールそのものの大きさを表現している。図１０に示す如くスケールが小さい（σｋ）場合、壁のテクスチャにキーポイントが出現することが分かる。図１０に示す如くスケールが大きい（σｋ^９）場合、カレンダーの文字にキーポイントが出現することが分かる。２ｍの距離で、検出したキーポイントの数は、１オクターブ目で３６８０点、２オクターブ目で８６６点、３オクターブ目で４５７点で、合計５００３点となった。ＶＧＡの画素数は３０７２００点であるため、探索点数は、１／６になることが分かる。

上述したマーカは、ロボットが操作を行うアイテムなどに取り付けられ、認識される。ロボットは、様々なアイテムを操作するため、そのマーカの配置、距離、焦点距離の自由度が求められる。さらに、ロボットがそのような自由度の高い環境で作業する際、事前にアイテムがどこに存在するかを知ることは難しい。このような環境下では、マーカの情報量の多さでだけでなく、特に、マーカの認識のし易さやマーカの体格の小ささが重要となる。

本実施形態２に係る２重円形状を含むマーカによれば、上記実験結果が示すように、マーカサイズの面積占有率が０．３１％でも認識可能であり、小さな体格のマーカでも正確かつ容易に認識できることが分かる。

実施形態３
本発明の実施形態３において、上記実施形態２に係るマーカ画像の円形状に対して、コード情報を含むコード画像を重畳し重畳画像を生成する。これにより、マーカの位置及びサイズの認識だけでなく、コード情報の認識も同時に行うことができる。

ここで、単にマーカ画像の円形状にコード画像を重畳しただけの場合、重畳したコード画像によって円形状の輝度の窪みが損失する虞がある。

これに対し、本実施形態３に係る重畳画像において、例えば、ＲＧＢ（赤緑青）成分のうち１成分によってマーカ画像の円形状を生成し、その他の成分によってコード画像を生成する。

より具体的には、図１１に示す如く、マーカ画像の円形状が２重円形状の場合、２重円形状を形成する線部分をＧ（緑）成分で形成し、コード画像をＲ（赤）及びＢ（青）成分で形成する。そして、Ｇ成分の２重円形状のマーカ画像に対し、ＲＢ成分のコード画像を重畳し、重畳画像を生成する。これにより、マーカ画像の円形状の輝度の窪みを損失することなく、コード画像を重畳することができる。なお、グレースケールによって形成したマーカ画像の円形状に、ＲＧＢのいずれかの成分によってコード画像を重畳させることで重畳画像を生成してもよい。例えば、グレースケールによって輝度勾配を調整しマーカ画像の円形状を形成する。そして、そのマーカ画像の円形状の中に、Ｒ成分でコード画像を形成する。円形状は、色相環などを用いて輝度が一定となるように明度を調整する。さらに、円内にＧ成分を加えて輝度が均一となるように調整する。これにより、コード画像によって円内に輝度のムラが生じるのを防止できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

また、本発明は、例えば、図６に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１マーカ認識装置、２画像取得部、３スケールスペース処理部、４マーカ認識部

Claims

所定の特徴量を含むマーカが含まれる画像を取得する画像取得手段と、
前記画像取得手段により取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出する検出手段と、
前記検出手段により検出されたキーポイントに基づいて、前記マーカの位置を認識する認識手段と、を備えることを特徴とするマーカ認識装置。
請求項１記載のマーカ認識装置であって、
前記認識手段は、前記検出手段により検出されたキーポイントに対応するスケールに基づいて、前記マーカのサイズを認識する、ことを特徴とするマーカ認識装置。
請求項１又は２記載のマーカ認識装置であって、
前記マーカは、円形状を含む、ことを特徴とするマーカ認識装置。
請求項３記載のマーカ認識装置であって、
前記円形状の線は、第１の色で形成されており、
コード情報を含むコード画像は、前記第１の色とは異なる色で形成されており、
前記円形状を含むマーカ画像に前記コード画像が重畳されている、ことを特徴とするマーカ認識装置。
請求項３又は４記載のマーカ認識装置であって、
前記円形状は、同心円形状である、ことを特徴とするマーカ認識装置。
請求項１乃至５のうちいずれか１項記載のマーカ認識装置であって、
前記検出手段は、複数の前記キーポイントを検出し、
前記認識手段は、前記検出手段により検出された各キーポイントの位置にマーカが存在するか否かを前記各キーポイントのスケールに従って判断し、該判断したマーカが存在するキーポイントの位置と、該キーポイントのスケールと、に基づいて前記マーカの位置及びサイズを認識する、ことを特徴とするマーカ認識装置。
請求項６記載のマーカ認識装置であって、
前記マーカは、円形状を含み、
前記認識手段は、前記検出手段により検出された各キーポイントの周辺で前記スケールに従って探索を行い、前記円形状の線幅の比の相関値を算出し、該相関値が所定値以上となる位置に前記マーカが存在すると判断し、該判断したマーカが存在するキーポイントの位置と、該キーポイントのスケールと、に基づいてマーカの位置及びサイズを認識する、ことを特徴とするマーカ認識装置。
所定の特徴量を含むマーカが含まれる画像を取得するステップと、
前記取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出するステップと、
前記検出されたキーポイントに基づいて、前記マーカの位置を認識するステップと、を含むことを特徴とするマーカ認識方法。
所定の特徴量を含むマーカが含まれる画像を取得する処理と、
前記取得されたマーカが含まれる画像に対して外乱を与えることでスケールスペース画像群を生成し、該生成したスケールスペース画像群間の差分に基づいて、前記所定の特徴量を検出することにより、前記マーカが含まれる画像におけるキーポイントを検出する処理と、
前記検出されたキーポイントに基づいて、前記マーカの位置を認識する処理と、をコンピュータに実行させることを特徴とする認識プログラム。