JP2015088084A - 物品識別システムとそのプログラム - Google Patents

Abstract

【課題】画像識別による物品の識別率を向上させる。
【解決手段】物品識別システムは、撮像装置によりサンプルのカラー画像と距離画像を入力する（Ｓ１）。RGB画像からHSV画像へ変換する（Ｓ２）。距離画像をトレイの上面基準の距離画像等に変換する（Ｓ３）。カラー画像等から求めた輪郭により、個品を切り出す（Ｓ１１）。ＡＡＤ６でのｋ個（例えば６個）のクラスタからの距離の列を特徴量として求める（Ｓ１２）。物品のカラー、形状、テクスチャー等の特徴量空間での特徴量を求める（Ｓ１３）。Ｓ１２，Ｓ１３で求めた特徴量から、マイナー成分に含まれるものを用いて、物品を識別する（Ｓ１４）。
【選択図】図４

Description

この発明は物品の識別に関し、特に画像識別により物品の種類を識別するシステムとそのプログラムとに関する。

発明者らは、カラー画像と距離画像とを用いて、パン等の物品を識別することを提案した（非特許文献１：動的画像処理実用化ワークショップ2013 講演概要集 125-126，2013，非特許文献２：平成24年電気関係学会関西連合大会 講演論文集 G13，9am-T-24，2012）。カラー画像に対してはマイナー成分分析を適用し、距離画像に対しては距離の平均、分散、体積等を特徴量とする。カラー画像と距離画像とから、物品の輪郭等の形状を表す特徴量が得られ、物品の明度、彩度、色相、テクスチャー等を表す特徴量も得られる。この明細書では同種の物品の集まりをクラスと呼び、これらの特徴量には同じクラス内での分散が大きなものと小さなものとがあり、分散が小さなものを識別に用いる。この手法をマイナー成分分析と呼ぶ。

非特許文献１，２では、距離画像から距離の同時生起行列を抽出して、特徴量とする。同時生起行列は、例えば所定の距離だけ離れた２点間での、高さの差のヒストグラムを表す行列である。

動的画像処理実用化ワークショップ2013 講演概要集 125-126，2013 平成24年電気関係学会関西連合大会 講演論文集 G13，9am-T-24，2012

この発明の課題は、画像識別による物品の識別率を向上させることにある。

この発明の物品識別システムは、物品のカラー画像と距離画像とを取得する撮像装置と、前記カラー画像と前記距離画像とから物品の種類を識別する識別装置、とを備えている物品識別システムにおいて、
前記識別装置は、物品表面の２点間での表面の向きの違い、例えば２点の法線ベクトルの内積と、２点間の距離との対から成るデータの、物品表面でのヒストグラムを用いて、物品を識別するように構成されていることを特徴とする。

またこの発明の物品識別システムのためのプログラムは、物品のカラー画像と距離画像とを取得する撮像装置と、
撮像装置からのカラー画像と距離画像とを処理し、物品の種類を識別するコンピュータ、とから成る物品識別システムのためのプログラムであって、
前記コンピュータを、物品表面の２点間での表面の向きの違い、例えば２点の法線ベクトルの内積と、２点間の距離との対から成るデータの、物品表面でのヒストグラムを用いて、物品を識別する識別部として機能させる。

このヒストグラムは物品の表面の向きが距離に応じてどのように変化するかを示し、距離をパラメータとして、物品表面の向きの相関を表している。そしてこのヒストグラムを、他の特徴量と併用することにより、物品を識別できる。このヒストグラムは、実際の情報量に比べて見掛けの次元数が高過ぎるので、複数のクラスタへクラスタリングし、クラスタの個数へ、次元の数を減らしても良い。なおこの明細書において、識別システムに関する記載はそのまま識別プログラムにも当てはまる。

好ましくは、前記ヒストグラムは距離の区分×向きの違いの区分の次元を持ち、
前記識別装置は、
前記次元よりも少ない数のクラスタへ、ヒストグラムをクラスタリングするクラスタリング手段と、
前記クラスタと、識別対象の物品のヒストグラムとの距離の列を求める手段とを備えている。

識別データ（学習済みのデータ）のヒストグラム自体ではなく、ヒストグラムから抽出したクラスタと、識別対象の物品のヒストグラムとの距離の列を求めると、図１１〜図１４に示すように、識別率を向上させることができる。例えばクラスタの数をｋとすると、ｋ個の距離から成る列が求まり、これらを特徴量に含めて識別する。

好ましくは、クラスタリング手段は、ｋmeans法により、ヒストグラムをクラスタへクラスタリングする。このようにすると、自動的にヒストグラムをクラスタリングすることができる。

また好ましくは、識別装置は、カラー画像、あるいはカラー画像と距離画像とから、抽出した特徴量中の、同種の物品間での分散が少ないマイナー成分を、前記ヒストグラムと共に、物品の識別に用いる。マイナー成分分析と、この発明のヒストグラムとを組み合わせることにより、野菜、パン等の識別の難しい物品を識別できる。

実施例の物品識別システムの使用環境を示す図 実施例の物品識別システムのブロック図 実施例の学習アルゴリズムを示すフローチャート 実施例の物品識別アルゴリズムを示すフローチャート 実施例のマイナー成分分析を模式的に示す図 実施例で用いたサンプルの写真 カラー特徴のみを用いた際の、相違度の比を示す特性図 キューリと青リンゴの画像及びそれらのAAD64データを示す図 AAD64での、２点間の距離と内積とを示す図 kmeans法でのクラスタリングを示す図 カラー特徴と距離特徴とを用いた際の、相違度の比を示す特性図 AAD64で誤識別したキューリとズッキーニとの光学画像と距離画像を示す図 AAD６での、６つのクラスタ中心と各最近傍の20サンプルとを示す図 AADでの、キューリとズッキーニとの特徴量の分布を示す図 光学画像での、２点間の距離と画像の勾配との内積を示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１において、２は識別装置で、パーソナルコンピュータ等から成り、例えばテーブル４に収容され、アーム５に取り付けられた撮像装置６と共に、物品識別システムを構成する。８はカラーカメラで、RGB画像を撮像する。９はIR（赤外線）プロジェクタ、１０はIR（赤外線）カメラで、プロジェクタ９から、トレイ１１とパン１２に投影された格子点を、IRカメラ１０で撮像し、カメラ１０からの距離を求める。撮像装置６は、トレイ１１上の物品１２の距離画像とRGB画像等のカラー画像とを出力する。トレイ１１を用いずに、物品１２を手で撮像装置６に近づけて撮像しても良く、またテーブル４上に物品１２を置いて、あるいはベルトコンベヤ等により物品１２を搬送しながら、撮像しても良い。物品１２は例えばパン、野菜、果物、魚類、肉類、薬品の錠剤等で、店舗で提供する商品である。テーブル１６にはPOS装置１８が設けられ、識別装置２からの個品の識別データに基づき、会計処理を行う。なお識別装置２からのデータの出力先は任意である。また１４は記憶媒体で、図３及び図４のアルゴリズムを、識別装置２に実行させ、図２のように機能させるための物品識別プログラムを記憶している。

図２はコンピュータから成る識別装置２のアーキテクチャを示し、２０はバスで、入力部２１はRGB画像等のカラー画像と距離画像とを入力され、入力がRGB画像の場合、HSV変換部２２でHSV画像等へ変換する。座標変換部２３は、距離画像をトレイ１１の上面を基準とする画像等に変換する。輪郭抽出部２４は、カラー画像、あるいはカラー画像と距離画像とから、物品の輪郭を抽出する。

特徴量抽出部２６はカラー画像、あるいはカラー画像と距離画像とから、物品の形状、カラー、テクスチャー等に関する特徴量を抽出し、特徴量抽出部２６自体は非特許文献１，２等により公知である。AADデータ抽出部２７は、物品表面の距離画像からAAD（mutual Absolute-Angle Distance histogram）を抽出し、その次元数は任意である。実施例では、距離が８区分、内積が８区分の６４区分とし、８行８列の行列で表されるヒストグラムをAAD64と呼ぶ。クラスタリング部２８は、AAD64を例えばｋmeans法により例えば６個のクラスタへクラスタリングする。クラスタリングしたデータをAAD6と呼ぶ。

マイナー成分抽出部２９は、特徴量抽出部２６からの特徴量と、AAD6から成る特徴量もしくはAAD64から成る特徴量に対し、マイナー成分を抽出して、他の成分を捨てる。複数の特徴量から成る空間で、物品の種類（クラス）毎に主成分分析を行うと、同種の物品内での分散の広い特徴量と狭い特徴量とがある。そして分散が狭い特徴量を識別に用いる。マイナー成分抽出部２９には、特徴量の削減率（discarding rate）が入力され、削減率分の特徴量を捨てて、マイナー成分から成る特徴量を残す。特徴量記憶部３０は、マイナー成分から成る特徴量を識別データとして記憶する。物品識別部３１は、識別対象の物品のカラー画像と距離画像とから、識別データに対応する特徴量（カラー、形状、テクスチャー、及びAAD6等から、マイナー成分として抽出したもの）を取得し、識別データと比較して、物品を識別する。３２はメモリである。

図３は識別用データの学習アルゴリズムを示し、ステップ１でサンプルのカラー画像と距離画像を入力し、ステップ２でRGB画像からHSV画像へ変換し、ステップ３で距離画像をトレイの上面基準の距離画像等に変換する。ステップ４で、HSV画像から、あるいはHSV画像と距離画像とから、物品の形状、カラー、テクスチャー等の特徴量を抽出する。

ステップ５で距離画像からAADデータ（例えばAAD64）を作成し、ステップ６でAADデータをｋ個のクラスタへクラスタリングし、AAD6等のデータを抽出する。そしてステップ７で、物品の形状、カラー、テクスチャー等の特徴量と、AAD6等のデータから成る特徴量の全体に対し、同一クラス内での分散が少ない特徴量を抽出し、抽出した特徴量を記憶する。

図４は物品の識別アルゴリズムを示し、図３と同様にステップS1〜S3を実行し、物品が互いに接触している場合には、カラー画像等から求めた輪郭により、個品を切り出す（ステップ１１）。次にAAD６でのｋ個（例えば６個）のクラスタからの距離の列を特徴量として求め（ステップ１２）、物品のカラー、形状、テクスチャー等の特徴量空間での特徴量８を求め（ステップ１３）、ステップ１２，１３で求めた特徴量から、マイナー成分に含まれるものを用いて、物品を識別する（ステップ１４）。

図５に、マイナー成分分析での各クラスからの距離を示す。AAD6等の特徴量以外に、カラー、形状、テクスチャー等の特徴量を例えば86次元分求め、これらの全特徴量に対し例えば20〜40%程度削減して、50〜70次元程度のマイナー成分から成る特徴量空間とする。なおマイナー成分から成る特徴量空間は、物品のクラス毎に、含まれる特徴量の種類が異なる。図５はクラスＡ，Ｂに対する学習データと、識別対象の物品のデータ（入力データ）とを示し、入力ベクトルから各クラスのクラスターへの射影ベクトルの長さ（MSM距離：minor Subspace Method 距離）を、各クラスからの距離とする。なお各クラスからの距離は、各クラスで入力ベクトルから最も近接した点への距離（NN距離：Nearest Neighbor 距離）等としても良く、距離の定義は任意である。

図６は識別対象の野菜の写真で、20種類のクラスに対し各96枚の画像データを取得して、識別データを作成し、画像識別を行った。図７は、距離特徴を用いない場合の相違度の比を示し、相違度は入力ベクトルからクラス内の各点までの距離の和の平方根である。次に相違度の比は、入力ベクトルが属する物品のクラスとの距離を1とした際の、他のクラスとの距離を表し、相違度の比の最小値が１未満であることは、識別に失敗したことを意味する。距離特徴を用いないと、正確な識別は困難であった。

図８は、キューリと青リンゴとの画像と、これらの距離画像に基づくAAD64のヒストグラムとを示す。ヒストグラムの横軸は物品表面の２点間の距離で、縦軸はこれらの２点での物品表面の法線ベクトルの内積である。なお内積は０以上１以下の範囲で求めたが、より広い範囲で求めても良い。

図９は２点間の距離と内積の意味を示し、物品表面の２点P0,P1での法線ベクトルをn1,n2とする。点P0の周囲の点の３次元空間での位置を求めることにより、点P0での物品の接平面が求まり、これから法線ベクトルn0が求まる。法線ベクトルn1も同様である。距離dは３次元空間での距離でも、トレイの上面に射影した距離等でも良く、距離dと内積cosθとの対のデータが得られる。これを８次元×８次元のヒストグラムとすると、AAD64が得られ、次元の数は任意である。AADは距離と表面の向きとのヒストグラムで、距離画像での同時生起行列は距離と高さの差等のヒストグラムであり、AADは距離により物品表面の向きがどのように変化するかを表している。

AAD6は、AAD64を例えば６個のクラスタに集約し、次元数を64次元から例えば６次元へ削減したものである。クラスタへの分割を模式的に図１０に示し、例えばｋmeans法により分割する。ｘはヒストグラムの各点（各サンプルのヒストグラム）で、この場合64次元空間のデータである。この64次元空間に例えば６個のクラスタ中心の初期点をセットし、どの初期点に最も近いかにより、データを６個のクラスタに分割（クラスタリング）する。分割したクラスタの重心等を新たなクラスタ中心として、データを再分割し、クラスタ中心が動かなくなるまで、これらの処理を繰り返す。以上のようにして、例えば1920個のヒストグラムを６個のクラスタに分割する。

クラスタリングはｋmeans法等により自動的に行うことが好ましい。ｋmeans法以外でも、例えば1920個のヒストグラムの各々を初期的なクラスタとして、近接したクラスタを併合する階層的クラスタリング等でも良い。

図１１は、AAD6とAAD64とをカラー画像からの特徴量に追加した際の、相違度の比の最小値を示し、AAD6ではAAD64よりも誤識別が少ない。このことは、AAD64が64次元分の情報量を持たないため、64次元を割り当てると、識別が逆に困難になることを示している。

図１２〜図１４は、AAD64とAAD６との相違を示し、AAD64＋カラー画像の特徴量による識別が、キューリをズッキーニと誤識別した例を示している。図１２はキューリとズッキーニの光学画像と距離画像とを示し、AAD6ではキューリが相違度2.08、ズッキーニが4.50で識別でき、AAD64ではキューリが相違度6.56、ズッキーニが6.46で誤識別した。

図１３は、６個のクラスタに含まれる物品の種類および距離と内積のヒストグラムを示し、下線はクラスタの中心に有った物品を示している。１個のクラスタは必ずしも１種の物品に対応するのではなく、６個のクラスタとの距離が６次元の特徴量で、カラー画像からの特徴量と合わさって、物品を識別する。

図１４は、６個のクラスターと入力データとの距離と、クラスター内の各点に対する距離の分布を示し、図の左側がキューリ、右側がズッキーニである。また○は誤識別したキューリを示し、クラスター１からの距離の分布がキューリとズッキーニとで重ならないため、識別に成功したことが分かる。

図１５はAAD6をカラー画像に応用する例を示し、図は色相H、彩度S、明度V等を模式的に表し、これらの値が等しくなる線（等高線）も示している。等高線への法線は、H，S，V等の値の勾配方向を表し、等高線の間隔は勾配の強さに反比例する。そこで勾配の方向と強さで勾配ベクトルを定め、距離dと勾配ベクトルの内積の対を用いると、AAD64と類似のヒストグラムが得られる。このヒストグラムを適宜にクラスタリングすると、AAD6と類似の特徴量となる。

２ 識別装置
４ テーブル
５ アーム
６ 撮像装置
８ カラーカメラ
９ IRプロジェクタ
１０ IRカメラ
１１ トレイ
１２ 物品
１４ 記憶媒体
１６ テーブル
１８ POS装置
２０ バス
２１ 入力部
２２ HSV変換部
２３ 座標変換部
２４ 輪郭抽出部
２６ 特徴量抽出部
２７ AADデータ抽出部
２８ クラスタリング部
２９ マイナー成分抽出部
３０ 特徴量記憶部
３１ 物品識別部
３２ メモリ

Claims (5)

1. 物品のカラー画像と距離画像とを取得する撮像装置と、前記カラー画像と前記距離画像とから物品の種類を識別する識別装置、とを備えている物品識別システムにおいて、
   前記識別装置は、物品表面の２点間での表面の向きの違いと、２点間の距離との対から成るデータの、物品表面でのヒストグラムを用いて、物品を識別するように構成されていることを特徴とする、物品識別システム。
2. 前記ヒストグラムは距離の区分×向きの違いの区分の次元を持ち、
   前記識別装置は、
   前記次元よりも少ない数のクラスタへ、ヒストグラムをクラスタリングするクラスタリング手段と、
   前記クラスタと、識別対象の物品のヒストグラムとの距離の列を求める手段とを備えていることを特徴とする、請求項１の物品識別システム。
3. クラスタリング手段は、ｋmeans法により、ヒストグラムをクラスタへクラスタリングするように構成されていることを特徴とする、請求項２の物品識別システム。
4. 識別装置は、少なくともカラー画像から抽出した特徴量中の、同種の物品間での分散が少ないマイナー成分を、前記ヒストグラムと共に、物品の識別に用いるように構成されていることを特徴とする、請求項１〜３のいずれかの物品識別システム。
5. 物品のカラー画像と距離画像とを取得する撮像装置と、
   撮像装置からのカラー画像と距離画像とを処理し、物品の種類を識別するコンピュータ、とから成る物品識別システムのためのプログラムであって、
   前記コンピュータを、物品表面の２点間での表面の向きの違いと、２点間の距離との対から成るデータの、物品表面でのヒストグラムを用いて、物品を識別する識別部として機能させる、物品識別システムのためのプログラム。