JP2018142288A - 商品判別装置、商品判別プログラム及び商品の判別方法 - Google Patents

Abstract

【課題】 商品陳列棚に陳列された商品を判別するための処理を効率化する商品判別装置等を提供する。【解決手段】 通常の小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、はじめに商品陳列棚を撮影した画像から、商品カテゴリー毎の代表商品のみを検索対象として商品画像を照合し、判別された代表商品から商品陳列棚に並べられている商品カテゴリーを推認する。次に、その商品カテゴリーの商品のみを対象に商品画像を照合する検索処理を実行して、商品を判別する。判別できなかった商品については、その後に検索対象を他の商品カテゴリーに拡大して商品画像を照合し、全ての商品画像に対応する商品を判別する。【選択図】 図３

Description

本発明は、商品陳列棚に陳列された商品を判別する商品判別装置、商品判別プログラム及び商品の判別方法に関するものである。

コンビニエンスストアやドラッグストア、スーパーマーケット等の総合小売業の店舗には、数千〜数万種類の商品が陳列されているが、陳列された商品や在庫の補充等を行うために、商品陳列棚における商品の陳列状況を随時確認することが求められている。

こうした課題に対応して、商品陳列棚にある商品を判別して、陳列状況を速やかに把握するために、商品陳列棚に陳列される各商品を識別する商品識別情報を付した商品ラベルを商品棚に取り付ける方法や（特許文献１参照）、商品陳列棚の商品載置面にその場所に配置する商品を識別できるマークを表示して、商品陳列棚を撮影した画像にそのマークが表れるか否かから、商品の陳列状況を把握する方法（特許文献２参照）等が開示されている。

これらの方法を実施するためには、小売店が商品陳列棚に商品ラベルや商品の識別マークを付さなければならないが、そうした小売店側の作業を要することなく商品の陳列状況を把握できる手段として、商品陳列棚を撮影し、撮影した画像に含まれる商品の画像を登録されている商品の画像情報と照合して、商品陳列棚にある商品を判別する発明が開示されている（例えば、特許文献３、４参照）。

特開２０１６−１９４８３３号公報 特開２０１６−４２３０７号公報 特開２０１５−２１０６５１号公報 特開２００９−１８７４８２号公報

商品陳列棚における商品の陳列状況の把握は、陳列する商品や在庫の適切な管理が求められる小売店を運営する小売業者のみでなく、自社の商品が小売店の棚のどのような位置に置かれているか、どのような競合商品と並べて販売されているか、といった情報を把握したい、小売店に商品を納品しているメーカーにとっての課題でもある。そのため、こうしたメーカーではラウンダーと呼ばれる小売店を巡回する担当者を配置して、小売店の商品陳列棚における自社商品の陳列状況の把握に努めている。

ラウンダーが商品陳列棚の状況を把握する際には、特許文献１や特許文献２に示したような小売店側での作業を必要とする商品ラベルや商品の識別マークを用いた方法に依存することができないので、特許文献３や特許文献４に示したような商品陳列棚の画像を撮影して商品を判別する方法が採用されやすく、近時は画像認識技術を用いた様々なシステムが提供されるようになっている。

ところが、こうした画像認識技術を用いた商品判別システムにおいて問題になるのが、コンビニエンスストアやドラッグストア、スーパーマーケット等の総合小売業の店舗では、扱われる商品の種類が膨大な数に及ぶため、撮影した画像から識別される商品画像と、商品毎にあらかじめ登録された商品画像を照合するデータ処理が非常に重くなるとともに、照合の対象が膨大な数になるとマッチングの精度も低下しやすい、ということである。

例えば、コンビニエンスストアの標準的な店舗であれば、一店舗あたり約３，０００ＳＫＵ（ＳＫＵは商品を管理する最小単位のこと、コンビニエンスストアチェーン全体では年間約１０，０００ＳＫＵ）、ドラッグストアの標準的な店舗であれば、一店舗あたり約１５，０００ＳＫＵ（ドラッグストアチェーン全体では年間約５０，０００ＳＫＵ）、総合スーパーマーケットの標準的な店舗であれば、一店舗あたり約５０，０００ＳＫＵ（総合スーパーマーケットチェーン全体では年間約８０，０００ＳＫＵ）の商品を扱っているものと推測され、これら全てを照合の対象とすると、照合のデータ処理にかかる負担やマッチングの精度の低下が深刻な問題となりやすい。膨大な種類の商品を対象にしながらも、商品を判別するための処理を効率化する仕組みが求められるところである。

本発明は、このような課題に対応するためになされたものであり、商品陳列棚に陳列された商品を判別するための処理を効率化する、商品判別装置、商品判別プログラム及び商品の判別方法を提供することを目的とするものである。

このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段と、を備えることを特徴とする商品判別装置である。

本発明では、通常の小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、はじめに商品陳列棚を撮影した画像から、商品カテゴリー毎の代表商品のみを検索対象として商品画像を照合し、判別された代表商品から商品陳列棚に並べられている商品カテゴリーを推認する。次に、その商品カテゴリーの商品のみを対象に商品画像を照合する検索処理を実行して、商品を判別する構成とした。判別できなかった商品については、その後に検索対象を他の商品カテゴリーに拡大して商品画像を照合し、全ての商品画像に対応する商品を判別する。

このように構成することによって、商品画像を照合する処理の対象となる商品を大幅に絞り込んで、照合のデータ処理にかかる負担を著しく軽減することが可能になる。代表商品に着目することで、商品陳列棚の実態にあわせて検索対象を適切に絞り込むことができるため、マッチングの精度も向上することが期待できる。

また、本発明は、前記商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。

さらに、本発明は、前記商品カテゴリー決定手段において、選択された商品画像が判別された代表商品が属する商品カテゴリーのうち、優先的に検索対象とする商品カテゴリーに決定されなかった一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を特徴としてもよい。

以上のように構成すると、代表商品から決定される商品カテゴリーによって判別できない商品画像の照合についても、決定された商品カテゴリーに関連する商品カテゴリー、あるいは、先に決定された商品カテゴリー以外の代表商品から決定される他の商品カテゴリーを優先的に検索対象とすることによって、効率的な商品画像の照合による商品の判別が実現される。

本発明は、本発明に係る商品判別装置において動作する、商品判別プログラムとして特定することもできる。

本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。

また、本発明に係る商品判別プログラムは、先に説明した商品判別装置の各々の構成に対応する商品判別プログラムとして特定することもできる。

本発明は、本発明に係る商品判別装置によって実行される、商品の判別方法として特定することもできる。

本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、前記商品判別装置が、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、を有することを特徴とする商品の判別方法である。

また、本発明に係る商品の判別方法は、先に説明した商品判別装置の各々の構成に対応する商品の判別方法として特定することもできる。

本発明によると、商品陳列棚を撮影して、撮影した商品画像から陳列された商品を判別する処理が、マッチングの精度を低下させることなく、著しく効率化される。本発明は特に、商品陳列棚が設置された小売店に商品を納入するメーカーのラウンダーが、小売店における商品の陳列状況を確認する作業の効率化、高度化に資するものであり、こうしたメーカーにおける商品の販売戦略への好影響が期待できるものである。

本発明の実施形態の概要を示す図である。 本発明に係る商品判別装置の構成の一例を示すブロック図である。 本発明に係る商品判別プログラムの処理フローの一例を示すフローチャートである。 本発明における商品マスタの一例を示す図である。 本発明において商品陳列棚を撮影した画像から代表商品を判別する例を示す図である。 本発明におけるカテゴリーマスタの一例を示す図である。

本発明を実施するための形態について、図面を用いて以下に詳細に説明する。尚、以下の説明では、スマートフォン等の携帯端末で撮影した商品陳列棚の画像をインターネット経由でサーバに送信して商品を判別する例について説明するが、以下に示した例は本発明の実施形態の一例を示したものであって、本発明はかかる実施形態に限定されるものではない。

図１は、本発明の実施形態の概要を示している。図１において、本発明に係る商品判別装置は商品情報管理サーバに包含されており、ラウンダー等の利用者が、スマートフォン等の携帯端末を用いて小売店に設置された商品陳列棚を撮影した画像を商品情報管理サーバに送信すると、商品情報管理サーバでは商品陳列棚の画像に含まれる各々の商品を判別して、小売店の商品陳列棚における商品の陳列状況に関する情報をデータベースに保存して、商品陳列情報として管理する。商品陳列棚の画像を送信した携帯端末に、商品陳列棚に陳列された商品に関する情報を返信することとしてもよい。

ここで本発明においては、商品情報管理サーバで商品陳列棚の画像に含まれる各々の商品を判別する際に、商品情報管理サーバのデータベースに商品画像が登録されている全ての商品を対象にして商品画像の照合を実行するのではなく、はじめに商品陳列棚を撮影した画像から、商品カテゴリー毎の代表商品に指定された商品のみに対象を絞り込んで商品画像を照合する。本発明では、小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、代表商品に絞り込んで検索すれば、通常はいずれかの商品を判別することが可能であり、判別された商品の商品カテゴリーに検索対象を絞り込めば、マッチングの精度が高く、効率的な商品画像の照合を実現できると考えられるためである。

代表商品が判別されると、判別された代表商品の商品カテゴリーから、商品陳列棚に陳列されている可能性が高い商品カテゴリーを決定して、決定した商品カテゴリーのみを対象に絞り込んで、商品画像の照合によって商品を判別する処理を実行する。判別できなかった商品の商品画像については、先に決定した商品カテゴリーとの関連が強い商品カテゴリー等に検索対象を拡大して、さらに商品画像の照合によって商品を判別する処理を実行する。

尚、図１では、商品画像を照合して商品を判別する処理を、商品陳列棚の画像を撮影した携帯端末とインターネットを介して接続可能な商品情報管理サーバにおいて実行する実施形態の例を示したが、商品情報管理サーバと通信することなく、こうした処理をスマートフォン等の携帯端末で実行する構成としてもよく、その場合は、ラウンダー等が所持する携帯端末が、本発明に係る商品判別装置に該当することになる。また、携帯端末の種類も特に限定されるものではなく、タブレット型コンピュータやパーソナルコンピュータを用いて、これらの携帯端末で商品画像を照合して商品を判別する処理を実行することとしてもよい。

図２は、本発明に係る商品判別装置の構成の一例を示している。図２では、商品情報管理サーバ１０に備えられる機能の一部が、本発明に係る商品判別装置を構成することとなる。

本発明に係る商品判別装置に対応する機能を備えた商品情報管理サーバ１０は、ＣＰＵ、メインメモリ、ＨＤＤ等の補助記憶装置が備えられ、ネットワークに接続されてサーバとして機能するコンピュータであって、補助記憶装置に格納されたプログラムがメインメモリに読み出され、ＣＰＵで演算処理を実行することによって、所定の機能が実現される。

商品情報管理サーバ１０を構成するコンピュータの物理的な構成は特に限定されるものではなく、本発明における商品陳列棚の画像に含まれる商品を判別する機能の他の機能が同一のコンピュータに備えられるものであってもよい。本発明に必要な各々の機能は、物理的に一台のコンピュータによって実現されるものであってもよいし、複数のコンピュータを用いて実現されるものであってもよい。

商品情報管理サーバ１０の画像受信部１１、商品判別部１２、代表商品検索部１２１、カテゴリー決定部１２２、商品検索部１２３、商品陳列情報送信部１３は、いずれも機能的に特定されるものであって、ＨＤＤ等の補助記憶装置に格納された各部の機能に対応するプログラムがメインメモリに読み出され、ＣＰＵで演算処理を実行することによって、各部に対応する機能が実現される。

商品情報管理サーバ１０の商品情報格納部１４（商品マスタ１４１、カテゴリーマスタ１４２等が格納される）、商品陳列情報格納部１５には、それぞれＨＤＤ等の補助記憶装置の所定の記憶領域が割り当てられる。これらの記憶領域は物理的に一台のコンピュータに設けられることを要件とするものではなく、データベースサーバを構成するコンピュータ等を含む複数のコンピュータに設けられるものであってもよい。

携帯端末２０には、スマートフォンやタブレット型コンピュータ等の携帯型のネットワーク端末が用いられる。画像撮影部２１、画像送信部２２、商品陳列情報受信部２３は、いずれも機能的に特定されるものであって、携帯端末２０のメインメモリにＳＳＤ等の補助記憶装置から対応するプログラムを呼び出して、ＣＰＵで演算処理を実行することによって、各部に対応する機能が実現される。

管理者端末３０は、商品情報管理サーバ１０の商品情報格納部１４や商品陳列情報格納部１５への情報の入出力が可能なコンピュータであり、その構成は特に限定されるものではなく、パーソナルコンピュータ等を用いることとしてもよい。管理者端末３０は、インターネットを介して商品情報管理サーバ１０と接続されるものであってもよい。

以上の構成を前提にして、図３のフローチャートに沿って、本発明に係る商品判別プログラムの処理フローについて説明する。

小売店を巡回する携帯端末２０を所持するメーカーのラウンダー等は、携帯端末２０の画像撮影部２１を起動して、小売店の店内において、陳列されている商品を判別したい商品陳列棚を撮影する。撮影された商品陳列棚の画像（イメージファイル）は、画像送信部２２からインターネット経由で商品情報管理サーバ１０に送信される。

商品情報管理サーバ１０では画像受信部１１が起動されて、携帯端末２０から送信された商品陳列棚の画像を受信する（Ｓ１）。受信した商品陳列棚の画像の画像認識を実行して、商品陳列棚の画像に含まれている各々の商品画像を識別する（Ｓ２）。尚、この画像認識において採用される技術は特に限定されるものではなく、例えば輪郭の形状や大きさ、色彩のパターン等から、商品陳列棚に陳列されている商品に該当する部分を認識することとすればよい。

続いて、商品判別部１２が起動されて、商品陳列棚の画像の中で商品と識別された各々の商品画像を、商品情報格納部１４に格納された商品のＳＫＵ（商品を管理する最小単位）毎に登録されている商品画像と照合して、識別された各々の商品画像がどの商品に該当するかを検索するが、本発明では、ここで商品情報格納部１４に商品情報が登録されている全ての商品の商品画像を対象にして照合処理を行うのではなく、代表商品検索部１２１によって、商品カテゴリー毎に代表商品に設定されている商品の商品画像のみを対象に照合して、検索処理を実行する（Ｓ３）。

図４は、商品情報格納部１４に格納される商品マスタ１４１の一例を示したものであるが、商品コードによって識別される商品のＳＫＵ毎に設けられたレコードには、照合に用いられる商品画像や、その商品が属する商品カテゴリーに関する情報が格納され、各々の商品カテゴリーの中でも多くの小売店で扱われている代表商品と認められる商品には、代表商品であることを示すフラグ（この例では「代表商品」のフィールドの「１」が代表商品であることを示すフラグとする）が立てられている。尚、代表商品のフラグが立てられる商品は、商品カテゴリー毎に１つの商品（ＳＫＵ）に限定されるものではなく、複数の商品（ＳＫＵ）が代表商品に選定されるものであってもよい。

次に、カテゴリー決定部１２２において、Ｓ３で代表商品と判別された商品画像に関する情報から、撮影された商品陳列棚に最も多く陳列されていることが推測される商品カテゴリーが決定される（Ｓ４）。尚、ここで決定される商品カテゴリーは、複数の商品カテゴリーであってもよい。

図５に示した例で説明すると、図５では、代表商品検索部１２１による検索が行われて、商品陳列棚の画像の中で商品と識別された各々の商品画像のうち、一部が代表商品と判別された例を示しているが、６個の商品画像が代表商品と判別されており、判別された各々の代表商品の商品カテゴリー毎に集計すると、Ａカテゴリーの代表商品が３個、Ｂカテゴリーの代表商品が２個、Ｃカテゴリーの代表商品が１個、それぞれ判別されていることが確認できる。

本発明は、通常の小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、まずは商品陳列棚を撮影した画像に含まれる代表商品を判別して、代表商品が属する商品カテゴリーをその商品陳列棚に陳列されている可能性が高い商品の商品カテゴリーと推認して、商品画像を照合する検索対象を絞り込むこととしている。図５の例では、Ａカテゴリーの代表商品の数が最も多いことから、この商品陳列棚にはＡカテゴリーの商品が多く陳列されていることが推認され、Ａカテゴリーの商品に絞り込んで残りの商品画像の判別を行うのが効率的と判断することができる。尚、上位２件のＡカテゴリーとＢカテゴリーのように、複数の商品カテゴリーを検索対象の商品カテゴリーに決定することとしてもよい。

以上のようにして、代表商品と判別された商品以外の商品画像を検索する商品カテゴリーが決定されると、商品検索部１２３によって、代表商品と判別された商品以外の商品画像を、決定された商品カテゴリーに属する商品の商品画像のみを対象に照合して、商品を判別するための検索処理を実行する（Ｓ５）。

Ｓ５の検索処理によって、商品陳列棚の画像から識別された全ての商品画像について商品が判別されれば（Ｓ６がＹｅｓ）、商品陳列情報送信部１３を起動して、商品陳列棚に陳列されている各々の商品が判別された商品陳列情報を携帯端末２０に送信するとともに（Ｓ７）、送信した商品陳列情報を商品陳列情報格納部１５に保存する（Ｓ８）。携帯端末２０に送信した商品陳列情報は、商品陳列情報受信部２３で受信され、携帯端末２０の画面に所定の形式で出力される。

商品陳列情報格納部１５に格納された商品陳列情報は、管理者端末３０から確認することが可能なので、メーカーの販売担当者等は、この情報を用いて商品の販売戦略を検討することができる。どの小売店の商品陳列棚に関する情報かを明らかにするためには、例えば、携帯端末２０から商品陳列棚の画像を送信する際に、携帯端末２０のＧＰＳ機能によって特定される位置情報をあわせて送信し、この位置情報から特定される小売店の店舗コード等を、商品陳列情報に含めることとすればよい。

Ｓ５の検索処理によって、商品陳列棚の画像から識別された全ての商品画像について商品が判別されない場合は（Ｓ６がＮｏ）、カテゴリー決定部１２２に戻って、次に検索する商品カテゴリーを決定する（Ｓ４）。

次に検索対象とする商品カテゴリーをどのように決定するか、２回目以降のカテゴリーの決定方法は特に限定されるものではないが、例えば、商品情報格納部１４のカテゴリーマスタ１４２に、図６に例示したような各々の商品カテゴリーとの関連が強い商品カテゴリーを関連カテゴリーとして関連づけたカテゴリーマスタを格納しておき、ここに初めに検索対象とした商品カテゴリーと関連づけられている関連カテゴリーを、次に検索する商品カテゴリーに決定することとすればよい。

例えば「衣料用洗剤」という商品カテゴリーに属する商品に対しては、「衣料用柔軟剤」「衣料用漂白剤」といった商品カテゴリーに属する商品が同じ商品陳列棚に並べて陳列されることが多いので、こうした商品カテゴリーを関連カテゴリーとして関連づけ、カテゴリーマスタ１４２に設定しておくこととすればよい。

このようにして決定された商品カテゴリーを対象にして、商品検索部１２３で再度検索処理を行っても（Ｓ５）、商品陳列棚の画像から識別された全ての商品画像について商品が判別されない場合は（Ｓ６がＮｏ）、さらにカテゴリー決定部１２２に戻って、その次に検索する商品カテゴリーを決定する（Ｓ４）。

その次に検索する商品カテゴリーの決定方法も特に限定されるものではないが、関連カテゴリーが複数存在する場合には、残りの関連カテゴリーを順に検索することとすればよい。その他にも、代表商品から商品カテゴリーを決定する際に、商品陳列棚を撮影した画像に異なる商品カテゴリーに属する複数の代表商品が判別された場合は、先に検索対象に決定された商品カテゴリー以外の他の商品カテゴリー（図５の例では、最も商品数が多いＡカテゴリーを最初の検索対象に決定したが、その次には二番目に商品数が多いＢカテゴリー、さらにその次にはＣカテゴリー）を検索対象に決定することとしてもよい。

１０ 商品情報管理サーバ
１１ 画像受信部
１２ 商品判別部
１２１ 代表商品検索部
１２２ カテゴリー決定部
１２３ 商品検索部
１３ 商品陳列情報送信部
１４ 商品情報格納部
１４１ 商品マスタ
１４２ カテゴリーマスタ
１５ 商品陳列情報格納部
２０ 携帯端末
２１ 画像撮影部
２２ 画像送信部
２３ 商品陳列情報受信部
３０ 管理者端末

このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。

また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。

さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。

本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品画像識別ステップ識別された商品画像を、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。

本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。

このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。

また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。

さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。

本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品画像識別ステップで識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。

本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。

このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記第１の商品カテゴリー決定手段によって優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。

また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。

さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。

本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記第１の商品カテゴリー決定ステップで優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別ステップで識別された各々の商品画像のうち、前記第１の商品カテゴリー決定ステップで代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。

本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記第１の商品カテゴリー決定ステップで優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別ステップで識別された各々の商品画像のうち、前記第１の商品カテゴリー決定ステップで代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。

Claims (5)

1. 商品陳列棚に陳列された商品を判別する商品判別装置であって、
   商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、
   前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定手段と、
   前記商品画像識別手段によって識別された商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、
   前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段と、
   を備えることを特徴とする商品判別装置。
2. 前記商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、
   前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別すること
   を特徴とする請求項１記載の商品判別装置。
3. 前記商品カテゴリー決定手段において、選択された商品画像が判別された代表商品が属する商品カテゴリーのうち、優先的に検索対象とする商品カテゴリーに決定されなかった一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、
   前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、
   を備えることを特徴とする請求項２記載の商品判別装置。
4. 商品陳列棚に陳列された商品を判別する商品判別装置に、
   商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、
   前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、
   前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、
   前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、
   を実行させることを特徴とする商品判別プログラム。
5. 商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、
   前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、
   前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、
   前記商品判別装置が、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、
   を有することを特徴とする商品の判別方法。