JP6734961B1 - プログラム、情報処理方法、及び情報処理装置 - Google Patents

Abstract

【課題】店内のレイアウトを自動で生成するプログラム、情報処理方法、及び情報処理装置を提供する。【解決手段】複数の撮像装置と、情報処理装置が、ネットワークを介して接続された管理システムにおいて、情報処理装置のストレージに記憶されたプログラムは、情報処理装置に、ゴンドラが配置された店舗内を俯瞰して撮像可能な１又は複数の撮像装置から、撮像装置により撮像された画像と、撮像装置の識別情報を示す撮像装置識別情報とを取得するステップと、画像内のゴンドラを認識するステップと、認識されたゴンドラの位置情報と、撮像装置識別情報により特定される撮像装置の位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行させる。【選択図】図１３

Description

本開示は、プログラム、情報処理方法、及び情報処理装置に関する。

近年、商品画像を用いて商品の棚割を管理するシステムの開発が行われている。例えば、特許文献１には、商品棚における商品の配置状況に変化が生じると推定される画像を取得し、この画像に写る商品の種別及び配置状況が所定の商品種別及び配置状況と一致しているかを判定し、判定結果に基づいて商品配置検査を実行することが開示されている。

再公表２０１６−１１７６００号

しかしながら、従来の棚管理システムにおいて、店内のレイアウトが変更された場合、人手を介して店内のレイアウト情報を変更する処理や、変更後のレイアウト情報において陳列される商品情報を対応づける処理をしなければならず、非常に煩雑な処理が必要であった。

本開示は、以上説明した事情を鑑みてなされたものであり、店内のレイアウトを自動で生成することが可能なプログラム、情報処理方法、及び情報処理装置を提供することを目的の一つとする。

本開示の一実施形態に係るプログラムは、情報処理装置に、ゴンドラが配置された店舗内を俯瞰して撮像可能な１又は複数の第１撮像装置から、当該第１撮像装置により撮像された画像と、当該第１撮像装置の識別情報を示す第１撮像装置識別情報とを取得するステップと、前記画像内のゴンドラを認識するステップと、認識されたゴンドラの位置情報と、前記第１撮像装置識別情報により特定される第１撮像装置の位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行させる。

開示の技術によれば、店内のレイアウトを自動で生成することが可能となる。

第１実施形態に係る管理システム１の概略構成を示す図である。 第１実施形態に係る情報処理装置１０４のハードウェア構成の一例を示す図である。 第１実施形態に係る撮像装置１０２の機能構成の一例を示す図である。 撮像装置１０２と各ゴンドラとの関係の一例を示す図である。 第１実施形態に係る情報処理装置１０４の機能構成の一例を示す図である。 第１撮像装置ＩＤとゴンドラＩＤとを関連付ける第１関連情報の一例を示す図である。 ゴンドラ情報の一例を示す図である。 第２撮像装置ＩＤとゴンドラＩＤと棚ＩＤとを関連付ける第２関連情報の一例を示す図である。 商品情報の一例を示す図である。 レイアウト情報Ａの一例を示す図である。 レイアウト情報Ｂの一例を示す図である。 ディープラーニングを用いる認識部４０８の機能構成の一例を示す図である。 第１実施形態における管理システムのレイアウト作成処理の一例を示すフローチャートである。 第１実施形態における管理システムのレイアウト更新処理の一例を示すフローチャートである。 レイアウト変更後のゴンドラの位置を示す図である。 レイアウト変更後のレイアウト情報の一例を示す図である。 第２撮像装置１０２の設置例を示す図である。

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

Ａ．第１実施形態
第１実施形態では、大型量販店やスーパーマーケットなどにおいて、商品が陳列された棚の集合体であるゴンドラの位置を把握するシステムを想定するが、商品を販売するあらゆる店舗（コンビニエンスストアや専門店など）にも適用可能である。また、棚に陳列されるものは商品に限らず、撮像画像に含まれる物体を棚に配置する場合にも適用可能である。以下、物体は、商品を例にして説明するが、これに限られるものではない。

（１）構成
＜システム構成＞
図１は、第１実施形態に係る管理システム１の概略構成を示す図である。図１に示すように、管理システム１は、撮像装置１０２Ａと、撮像装置１０２Ｂと、撮像装置１０２Ｃと、情報処理装置１０４とを有する。また、上述した装置の全部又は一部は、通信ネットワークを介して相互通信可能に接続されている。通信ネットワークは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。なお、撮像装置（例えばカメラ）や情報処理装置（例えばサーバ）の数は上記例に限られず、システムの規模に応じて適宜必要な数の撮像装置や情報処理装置が設けられれば良い。以下、撮像装置１０２Ａ、１０２Ｂ、１０２Ｃを個別に区別せず、まとめて表現する場合は、単に「撮像装置１０２」と表記する。なお、天井に設置される撮像装置を第１撮像装置と称し、ゴンドラに設置される撮像装置を第２撮像装置と称する。第１撮像装置１０２Ａ、１０２Ｂを個別に区別せず、まとめて表現する場合は、単に「第１撮像装置１０２」と表記する。

第１撮像装置１０２は、店舗内の天井に設置され、店舗内の所定エリアを俯瞰して撮像可能である。第１撮像装置１０２は、所定のタイミングで店内を撮像（撮影を含む）する。所定のタイミングとは、例えば、定期的にでもよいし、管理者により指示されたときなどである。また、第１撮像装置１０２は、撮像した画像（以下、「第１画像」とも称す。）を情報処理装置１０４に送信する際、自身の識別情報（第１撮像装置ＩＤ）とともに送信する。第１撮像装置１０２は、撮像されるゴンドラが重複しないように設置されるとよい。

また、第２撮像装置１０２は、店舗内の所定の棚を撮像できる位置に設置され、棚に陳列された商品を含む棚を撮像する。第２撮像装置１０２は、所定のタイミングで棚を撮像する。所定のタイミングとは、例えば、定期的にでもよいし、管理者により指示されたときなどである。また、第２撮像装置１０２は、撮像した画像（以下、「第２画像」とも称す。）を情報処理装置１０４に送信する際、自身の識別情報（第２撮像装置ＩＤ）とともに送信する。第２撮像装置１０２は、撮像される棚が重複しないように設置されるとよい。

情報処理装置１０４は、例えば店舗内のサーバや、店舗外のクラウドサーバであり、各第１撮像装置１０２から画像を受信し、画像内のゴンドラ（棚の集合体）を認識し、認識したゴンドラの画像内での位置を特定する。情報処理装置１０４は、各第１撮像装置の店舗内の位置を記憶しておくことで、各第１撮像装置の位置と、各第１撮像装置により撮像された画像内のゴンドラの位置とに基づいて、店舗内におけるゴンドラの位置を示すレイアウト情報を作成する。

また、情報処理装置１０４は、各第２撮像装置１０２から画像を受信し、画像内の棚や商品を認識し、認識した各棚や商品の位置情報を特定する。情報処理装置１０４は、各第２撮像装置１２０が設置されたゴンドラを管理しているため、撮像された棚がどのゴンドラの棚であるかを識別することが可能である。よって、情報処理装置１０４は、認識された各ゴンドラに対し、棚に陳列された商品を特定して、商品情報を含むレイアウト情報を作成することも可能である。

＜ハードウェア構成＞
図２は、第１実施形態に係る情報処理装置１０４のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１０４は、プロセッサ２０２と、メモリ２０４と、ストレージ２０６と、入出力インタフェース（入出力Ｉ／Ｆ）２０８と、通信インタフェース（通信Ｉ／Ｆ）２１０とを含む。情報処理装置１０４のＨＷの各構成要素は、例えばバスＢを介して相互に接続される。

情報処理装置２０は、プロセッサ２０２と、メモリ２０４と、ストレージ２０６と、入出力Ｉ／Ｆ２０８と、通信Ｉ／Ｆ２１０との協働により、第１実施形態に記載される機能、及び／又は方法を実現する。

プロセッサ２０２は、ストレージ２０６に記憶されるプログラムに含まれるコードまたは命令によって実現する機能、および／または、方法を実行する。プロセッサ２０２は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含む。

メモリ２０４は、ストレージ２０６からロードしたプログラムを一時的に記憶し、プロセッサ２０２に対して作業領域を提供する。メモリ２０４には、プロセッサ２０２がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ２０４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。

ストレージ２０６は、プロセッサ２０２により実行されるプログラム等を記憶する。ストレージ２０６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、 フラッシュメモリなどを含む。

入出力Ｉ／Ｆ２０８は、情報処理装置１０４に対する各種操作を入力する入力装置、および、情報処理装置１０４で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ２０８は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよいし、情報処理装置１０４外の入力装置及び出力装置に接続されていてもよい。

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ２０２に伝達できる全ての種類の装置のいずれか、または、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。

出力装置は、プロセッサ２０２で処理された処理結果を出力することができる全ての種類の装置のいずれか、または、その組み合わせにより実現される。当該処理結果を映像、および／または、動画像として出力する場合、出力装置は、フレームバッファに書き込まれた表示データに従って、当該表示データを表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力装置は、例えば、タッチパネル、タッチディスプレイ、モニタ（例えば、液晶ディスプレイ、ＯＥＬＤ（Organic Electroluminescence Display）など）などに画像やテキスト情報等を表示可能な装置、スピーカ（音声出力）などを含む。

通信Ｉ／Ｆ２１０は、ネットワークを介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ２１０は、ネットワークを介して、他の情報処理装置との通信を実行する機能を有する。通信Ｉ／Ｆ２１０は、各種データをプロセッサ２０２からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ２１０は、他の情報処理装置から送信された各種データを受信し、プロセッサ２０２に伝達する。

第１実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムやコンピュータプログラムを含む。

情報処理装置１０４における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されてもよい。情報処理装置１０４における処理の少なくとも一部を、他の情報処理装置により行う構成としてもよい。この場合、プロセッサ２０２により実現される各機能部の処理のうち少なくとも一部の処理を、他の情報処理装置で行う構成としてもよい。

＜撮像装置の機能構成＞
図３は、第１実施形態に係る撮像装置１０２の機能構成の一例を示す図である。図３に示す例では、撮像装置１０２は、撮像部３０２と、送信部３０４とを有する。第１撮像装置１０２の撮像部３０２は、例えば、店舗内の所定エリアに設定されるゴンドラを、天井の位置から撮像する。また、第２撮像装置１０２の撮像部３０２は、例えば、複数の商品が陳列された棚を撮像する。第２撮像装置１０２の撮像部３０２は、複数の商品を含む棚全体が写るようにして撮像する。撮像部３０２は、撮像した画像を送信部３０４に出力する。ここで、撮像装置とゴンドラ等との関係について説明する。

（撮像装置とゴンドラ等の関係）
図４は、撮像装置１０２と各ゴンドラとの関係の一例を示す図である。図４に示す例では、撮像装置１０２は、第１撮像装置が天井に２個、第２撮像装置が各ゴンドラに向かい合う面に１つずつ、合計６個設置される。また、図４に示す店舗の斜視図は、例えば１階（１Ｆ）のフロアのレイアウトを示しており、各ゴンドラに識別情報（以下、「ゴンドラＩＤ」とも称す。）が割り当てられている。例えば、ゴンドラＩＤは、「Ｂ１１１」などである。また、店舗内の第１撮像装置には、第１撮像装置ＩＤ「Ａ１１１」、「Ａ１１２」などが割り当てられている。ここで、第１撮像装置ＩＤごとに、撮像範囲内に設置される１又は複数のゴンドラのゴンドラＩＤが関連付けられる。例えば、第１撮像装置ＩＤ「Ａ１１１」には、ゴンドラＩＤ「Ｂ１１１」、「Ｂ１１２」、及び「Ｂ１１３」が関連付けられる。

また、ゴンドラに設置される第２撮像装置には、第２撮像装置ＩＤ「Ａ２１１」、「Ａ２１２」などが割り当てられている。また、各ゴンドラ内の各棚には、棚識別情報（以下、「棚ＩＤ」とも称す。）が割り当てられる。また、各棚ＩＤには、自身の棚を撮像する第２撮像装置の第２撮像装置ＩＤが割り当てられる。

図３に戻り、送信部３０４は、撮像部３０２により生成された撮像画像を、情報処理装置１０４に送信する。例えば、送信部３０４は、撮像画像とともに、自身の撮像装置ＩＤ（第１撮像装置ＩＤ又は第２撮像装置ＩＤ）を情報処理装置１０４に送信する。これにより、情報処理装置１０４は、撮像装置ＩＤに基づき、どの撮像装置から画像を取得したかを特定することができる。

＜情報処理装置の機能構成＞
図５は、第１実施形態に係る情報処理装置１０４の機能構成の一例を示す図である。図５に示す例では、情報処理装置１０４は、通信部４０２と、記憶部４０４と、取得部４０６と、認識部４０８と、特定部４１０と、作成部４１２と、管理部４１４とを有する。

通信部４０２は、例えば通信Ｉ／Ｆ２１０を介してプロセッサ２０２により実現され、記憶部４０４は、例えばストレージ２０６により実現されうる。取得部４０６、認識部４０８、特定部４１０、作成部４１２、及び管理部４１４は、例えばプロセッサ２０２及び作業領域としてのメモリ２０４などにより実現されうる。

通信部４０２は、第１又は第２撮像装置１０２から画像及び第１又は第２撮像装置ＩＤを受信する受信部や、情報処理装置１０４内で処理された結果を他の装置に送信する送信部として機能する。処理された結果は、後述するレイアウト情報を含む。

記憶部４０４は、第１撮像装置ＩＤとゴンドラＩＤとを関連付ける第１関連情報と、ゴンドラに関する情報を含むゴンドラ情報と、第２撮像装置ＩＤと棚ＩＤとを関連付ける第２関連情報と、商品に関する情報を含む商品情報と、店舗のレイアウト情報とを記憶する。各情報について、図６から図１１を用いて説明する。

（第１関連情報）
図６は、第１撮像装置ＩＤとゴンドラＩＤとを関連付ける第１関連情報の一例を示す図である。図６に示す例では、第１関連情報は、第１撮像装置ＩＤに対し、第１撮像装置の位置情報、及び撮像範囲内にあるゴンドラのゴンドラＩＤが間連付けられる。例えば、第１撮像装置ＩＤ「Ａ１１１」には、位置情報「１Ｆ（Ｘ１１，Ｙ１１）」、ゴンドラＩＤ「Ｂ１１１」、「Ｂ１１２」、「Ｂ１１３」が関連付けられる。位置情報は、店舗レイアウトの所定位置を原点としたＸ，Ｙ座標における第１撮像装置の座標を示す。１Ｆは、一階を示し、複数のフロアがある場合は階数を特定できるようにする。

（ゴンドラ情報）
図７は、ゴンドラ情報の一例を示す図である。図７に示す例では、ゴンドラ情報は、ゴンドラＩＤに対し、ゴンドラのサイズ情報、及び位置情報が関連付けられる。例えば、ゴンドラＩＤ「Ｂ１１１」には、ゴンドラのサイズ情報「（縦、横、奥行き）＝（Ａ１，Ｂ１，Ｃ１）」、位置情報「（Ｘ２１，Ｙ２１）」が関連付けられる。ゴンドラの位置情報は、第１撮像装置により撮像された画像により認識されたゴンドラの位置（画像内における位置）と、第１撮像装置の位置とから求めることが可能である。事前に、撮像画像内の所定距離と、店舗内の所定距離との比が求められ、画像中心が第１撮像装置の位置とされ、画像中心からゴンドラまでの位置が求められることで、ゴンドラの凡その店舗内の位置を特定することが可能である。

（第２関連情報）
図８は、第２撮像装置ＩＤとゴンドラＩＤと棚ＩＤとを関連付ける第２関連情報の一例を示す図である。図８に示す例では、第２関連情報は、第２撮像装置ＩＤに対し、第２撮像装置が設置されるゴンドラのゴンドラＩＤ、及び第２撮像装置が撮像した画像に含まれる各棚（棚板）の棚ＩＤが関連付けられる。例えば、第２撮像装置ＩＤ「Ａ２１２」には、ゴンドラＩＤ「Ｂ１１２―Ａ」、棚ＩＤ「Ｃ２１１」、「Ｃ２１２」が関連付けられる。ゴンドラＩＤ「Ｂ１１２―Ａ」のＡは、ゴンドラの両面に商品が陳列される場合の一方の面を特定するための識別子である。

（商品情報）
図９は、商品情報の一例を示す図である。図９に示す例では、商品情報は、商品ＩＤに対し、棚ＩＤ、在庫情報が関連付けられる。例えば、商品ＩＤ「Ｐ１１１」には、棚ＩＤ「Ｃ１１１」、在庫「３０」が関連付けられている。なお、商品情報には、商品の消費期限などが関連付けられてもよい。

これにより、第１撮像装置により撮像された第１画像、及び第２撮像装置により撮像された第２画像から、商品が配置された位置情報を取得することが可能になる。なお、上述した棚の特定方法は、あくまでも一例であって、棚のどの位置に商品が配置されているかを特定できるのであれば、その方法を用いることで、第１実施形態は実現されうる。例えば、棚の所定位置にユニークなマークやＩＤを示すシールを付与することで、画像に含まれるマークを画像認識することにより、棚の位置が特定されてもよい。

在庫情報は、商品ＩＤに対応する商品の在庫状況を示す情報である。これにより、棚に陳列された商品の欠品時に、発注が必要であるか否かを店員に知らせたりすることができる。また、第２撮像装置１０２により撮像された画像から、何個商品が補充されたかを認識部４０８等により認識することで、在庫情報の数を自動で増減することも可能である。

なお、商品情報は、上述した情報以外にも、商品名や商品のカテゴリなどを関連付けておくようにしてもよい。これにより、店舗のレイアウト情報を作成する際、棚に陳列された商品のカテゴリを含めることが可能になる。

（レイアウト情報Ａ）
図１０は、レイアウト情報Ａの一例を示す図である。図１０に示す例では、レイアウト情報Ａは、予め設定された店舗の平面視のレイアウト情報と、第１撮像装置１０２により撮像された第１画像から認識されたゴンドラの位置と、第１撮像装置ＩＤにより特定される第１撮像装置の位置とに基づいて、レイアウト情報Ａが生成される。レイアウト情報には、ゴンドラのサイズ情報が用いられて、より詳細なレイアウト情報が生成されてもよい。

（レイアウト情報Ｂ）
図１１は、レイアウト情報Ｂの一例を示す図である。図１１に示す例では、図１０に示すゴンドラ内の棚についてカテゴリが設定されている。これは、第２撮像装置により撮像された第２画像に基づいて商品認識が実行されることで、レイアウト情報に商品のカテゴリ等を設定することが可能になる。

図５に戻り、取得部４０６は、通信部４０２により受信された、１又は複数のゴンドラにより撮像された第１画像、及び／又は、複数の商品が陳列された各棚が撮像された第２画像を取得する。

認識部４０８は、第１撮像装置により撮像された第１画像に基づいて、ゴンドラを認識する。例えば、認識部４０８は、画像内から矩形形状を抽出することで、ゴンドラを特定してもよい。なお、認識部４０８は、ゴンドラの特定方法としていずれの方法を用いてもよい。例えば、認識部４０８は、第１撮像装置によって撮像可能なゴンドラの位置（例えばゴンドラの頂部）に付与された二次元コード（例えばＱＲコード（登録商標）など）を画像認識により読み取り、読み取った識別情報等によりゴンドラを特定し、エッジ検出等の技術を用いてゴンドラの形状を抽出してもよい。また、ＱＲコード（登録商標）の代わりに、ゴンドラを示す所定の目印（記号や数字や文字やその組み合わせなど）が付与されてもよい。

また、認識部４０８は、第２撮像装置により撮像された第２画像に基づいて、ゴンドラ内の棚や商品を認識する。認識部４０８は、例えば水平方向の線分を棚（棚板）として認識してもよく、また、認識された棚の上にある商品ごとに、商品を認識する。商品の認識の方法としては様々な方法があるが、簡易な方法としては、商品ごとに複数の商品画像を保持しておき、パターンマッチングを用いて、一番類似する商品を認識する方法である。

また、店舗が大量の商品を扱う場合に、商品を適切に認識する方法が望まれている。このとき、様々な角度から撮像した大量の商品画像を用いてディープラーニング（深層学習）を行い、商品認識のためのモデルを作成しておくことが考えられる。これにより、認識対象の商品画像が取得されたとき、このモデルを用いて商品を適切に認識することが可能になる。

（認識部の構成の一例）（画像識別システムと同様の記載です）
図１２は、ディープラーニングを用いる認識部４０８の機能構成の一例を示す図である。図１２に示す例では、認識部４０８は、第１制御部５０２と、第１認識処理部５０４と、第２認識処理部５０６とを有する。

第１制御部５０２は、画像取得部５１２と、第１取得部５１４と、判定部５１６と、第２取得部５１８と、出力部５２０とを有する。画像取得部５１２は、第２撮像装置１０８から認識対象の第１商品画像を取得する。画像取得部５１２は、取得した第１商品画像を第１認識処理部５０４に出力する。

第１認識処理部５０４は、各商品の商品ＩＤがラベル付けされた複数の商品画像を複数用いる学習によって生成された商品認識のための第１モデルと、複数の類似商品を含むグループのグループＩＤとに基づき、商品の認識処理を行う認識部を複数有する。各認識部は、ＧＰＵとＣＰＵとの組み合わせにより実現されてもよい。

なお、各認識部は、取得した画像から特定した第１商品画像に対し、自身が保持する第１モデルを用いて認識処理（一次認識処理）を行う。各認識部は、認識結果として、第１商品画像に一番近い商品の商品ＩＤと、その類似度とを取得する。このとき、商品ＩＤが類似商品リストに含まれる場合、商品ＩＤを含むグループのグループＩＤが認識結果に含まれる。類似度は、例えば画像同士の二乗誤差などの公知の類似度が用いられればよい。第１認識処理部５０４は、類似度が一番大きい商品ＩＤ又はグループＩＤを第１取得部５１４に出力する。類似商品リストは、学習装置（不図示）により、商品画像同士の類似度などを用いて類似商品を判別し、類似商品をグループ化し、グループにグループＩＤを付与することで生成可能である。

第１取得部５１４は、第１認識処理部５０４から、認識された商品が類似商品であれば、類似商品のグループＩＤを取得し、認識された商品が類似商品でなければ、認識された商品の商品ＩＤを取得する。例えば、第１取得部５１４は、各認識部により出力された認識結果内で、類似度が一番大きい商品ＩＤ又はグループＩＤを第１認識処理部５０４から取得する。

判定部５１６は、第１取得部５１４により取得されたＩＤは、商品ＩＤであるかグループＩＤであるかを判定する。判定部５１６は、判定結果が商品ＩＤであれば、出力部５２０に商品ＩＤを出力する。また、判定部５１６は、判定結果がグループＩＤであれば、商品画像を第２認識処理部５０６に出力する。

第２認識処理部５０６は、複数の類似商品の商品画像を用いる学習によって生成された類似商品認識のための第２モデルに基づき、類似商品の認識処理（二次認識処理）を行う第２認識部５３４（認識部Ｘ１，Ｘ２，・・・）を１又は複数有する。また、第２認識処理部５０６は、類似商品用の認識部を制御する第２制御部５３２を有する。

第２制御部５３２は、各認識部から認識結果を取得する。認識結果は、商品ＩＤや類似度を含む。例えば、第２制御部５３２は、取得した各認識結果に含まれる類似度が一番高い商品ＩＤを特定し、特定した商品ＩＤを第２取得部５１８に出力する。

第２取得部５１８は、第２認識処理部５０６から、類似商品の認識結果を取得する。認識結果には、商品ＩＤが含まれる。第２取得部５１８は、商品ＩＤを出力部５２０に出力する。

出力部５２０は、第１取得部５１４、又は第２取得部５１８により取得された商品ＩＤを特定部４１０に出力する。

図５に戻り、特定部４１０は、第１画像に含まれるゴンドラごとに、ゴンドラの画像内の位置を特定する。第１画像には、第１撮像装置ＩＤが付与されており、第１撮像装置ＩＤには、ゴンドラＩＤが関連付けられて、例えば、記憶部４０４に記憶される。また、特定部４１０は、第２画像に含まれる棚や商品ごとに、棚や商品の配置位置を特定する。前提として、第２画像には、第２撮像装置ＩＤが付与されている。また、第２撮像装置ＩＤには、棚ＩＤが関連付けられて、例えば記憶部４０４に記憶される。

さらに、特定部４１０は、画像から棚板を特定して、例えば上から順番に棚板の識別情報（棚ＩＤ）を割り当ててもよい。また、特定部４１０は、例えば画像の左から棚の鉛直方向の区切り単位で番号を付与してもよい。特定部４１０は、認識部４０８により認識された商品の商品ＩＤと商品の位置情報とを対応づけるよう管理部４１４に出力する。

作成部４１２は、認識部４０８により認識されたゴンドラの位置情報と、第１撮像装置ＩＤにより特定される第１撮像装置の位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成する（例えば図１０参照）。

これにより、天井に設置された第１撮像装置１０２の位置情報と、第１画像内におけるゴンドラの位置情報とを用いて、店舗内における凡そのゴンドラの位置を示すレイアウト情報を作成することができる。

また、作成部４１２は、何も設置されていない状態の店舗のレイアウトを示す初期レイアウト情報を保持しておいてもよい。作成部４１２は、この初期レイアウト情報に、認識されたゴンドラを配置していくことで、より適切なレイアウト情報を作成することができる。

管理部４１４は、各第１撮像装置ＩＤと、各第１撮像装置ＩＤが示す第１撮像装置により撮像された第１画像内に含まれるゴンドラＩＤとを関連付ける第１関連情報を管理する（例えば図６参照）。これにより、一度レイアウト情報が作成された後、管理部４１４は、第１関連情報を参照することで、第１撮像装置ＩＤにより撮像された第１画像に含まれるゴンドラを容易に特定することが可能になる。

また、管理部４１４は、ゴンドラＩＤと、ゴンドラのサイズを示すサイズ情報と、ゴンドラの店舗内の位置情報とを関連付けて管理してもよい（例えば図７参照）。この場合、作成部４１２は、認識部４０８により認識されたゴンドラのサイズ情報にさらに基づいて、レイアウト情報を作成してもよい。これにより、より適切なゴンドラのサイズを用いてレイアウト情報が作成可能になる。

また、取得部４０６は、ゴンドラ内の棚を撮像する第２撮像装置から第２画像を取得する場合、認識部４０８は、第２画像に含まれるゴンドラの棚を認識してもよい。管理部４１４は、認識部４０８により認識された棚の棚ＩＤと、第２撮像装置の第２撮像装置ＩＤとを関連付ける第２関連情報を管理してもよい（例えば図８参照）。これにより、ゴンドラ内の棚を容易に特定することが可能になる。

認識部４０８は、第２撮像装置から取得された第２画像を用いて、各棚に陳列された各商品を認識してもよい。この場合、作成部４１２は、各棚において認識された各商品の商品情報にさらに基づいて、レイアウト情報を作成してもよい（例えば図１１参照）。これにより、商品情報を含むレイアウト情報を作成することが可能になる。

１又は複数の第１撮像装置は、第１ゴンドラの移動を撮像する場合がある。このとき、第１ゴンドラが所定の第１撮像装置の撮影範囲内から、他の第１撮像装置の撮像範囲内に移動したとする。すなわち、店舗内のゴンドラの位置が大きく移動し、レイアウト変更の必要性が生じることを想定している。

この場合、管理部４１４は、各第１画像から、第１ゴンドラの移動を追跡する。第１ゴンドラの移動が完了すると、管理部４１４は、第１ゴンドラのゴンドラＩＤに対応付けられる第１撮像装置ＩＤを、所定の第１撮像装置から、他の第１撮影装置に更新する。これにより、実店舗においてレイアウト変更が行われた場合でも、第１撮像装置ＩＤに関連付けられるゴンドラＩＤを更新することで、対応関係について整合性を保ちつつ、新たなレイアウト情報を作成することができる。

（２）動作説明
次に、第１実施形態に係る管理システム１の動作について説明する。図１３は、第１実施形態における管理システムのレイアウト作成処理の一例を示すフローチャートである。図１３に示す例では、ステップＳ１０２で、第１撮像装置１０２は、１又は複数のゴンドラを撮像する。第１撮像装置１０２は、店舗内のゴンドラを俯瞰できるよう上部に設置される。

ステップＳ１０４で、第１撮像装置１０２は、撮像した第１画像を情報処理装置１０４に送信する。情報処理装置１０４は、店舗内のサーバ等であり、第１撮像装置１０２とはネットワークを介して接続される。

ステップＳ１０６で、情報処理装置１０４の取得部４０６は、第１撮像装置１０２からの第１画像を取得する。

ステップＳ１０８で、情報処理装置１０４の認識部４０８は、第１画像から形状認識やパターンマッチングなどを行って、ゴンドラを認識する。

ステップＳ１１０で、情報処理装置１０４の特定部４１０は、第１撮像装置１０２により撮像された第１画像を用いて認識されたゴンドラの位置を特定し、作成部４１２は、特定されたゴンドラの位置情報と、第１撮像装置１０２の位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成する。

ステップＳ１１２で、管理部４１４は、各第１撮像装置ＩＤと、各第１撮像装置ＩＤが示す第１撮像装置により撮像された画像内に含まれるゴンドラのゴンドラＩＤとを関連付ける第１関連情報を管理する。

以上の処理が実行されることで、店舗のレイアウト情報を自動で作成することが可能になる。また、第２撮像装置の第２撮像装置ＩＤと、この第２撮像装置の撮像範囲内のゴンドラのゴンドラＩＤとを関連付けておくことで、どの第１撮像装置は、どのゴンドラを撮像するかを容易に特定することができる。さらに、第１関連情報に、ゴンドラの位置情報も管理することで、ゴンドラがどの位置にあるかを容易に特定することも可能になる。

さらに、取得部４０６は、第２撮像装置から第２画像を取得することで、上述したとおり、認識部４０８は、ゴンドラ内の棚や商品を認識することが可能になる。これにより、作成部４１２は、認識された商品情報を用いて、より詳細なレイアウト情報を作成することが可能になる。

図１４は、第１実施形態における管理システムのレイアウト更新処理の一例を示すフローチャートである。図１４に示す例において、ステップＳ２０２で、取得部４０６は、第１撮像装置１０２から、１又は複数のゴンドラを撮像した第１画像を取得する。

ステップＳ２０４で、管理部４１４は、所定のゴンドラ（ここでは第１ゴンドラとする）が移動されているか否かを判定する。第１ゴンドラの移動が検知されれば（ステップＳ２０４−ＹＥＳ）、処理はステップＳ２０６に進み、第１ゴンドラの移動が検知されなければ（ステップＳ２０４−ＮＯ）、処理はステップＳ２０２に戻る。なお、管理部４１４は、第１ゴンドラの移動距離が大きい場合、第１ゴンドラの移動を追跡することで、所定の第１撮像装置の撮像範囲から、他の第１撮像装置の撮影範囲に移動したことを検知可能である。

ステップＳ２０６で、管理部４１４は、第１ゴンドラのゴンドラＩＤに対応付けられる第１撮像装置ＩＤを、所定の第１撮像装置から、他の第１撮影装置に更新する。これにより、第２関連情報が自動で更新される。

ステップＳ２０８で、図１３に示すステップＳ１０８及びステップＳ１１０と同様の処理が行われることで、レイアウト情報を更新することが可能になる。

図１５は、レイアウト変更後のゴンドラの位置を示す図である。図１５に示すレイアウトは、図４に示すレイアウトから変更されたとする。このとき、ゴンドラＢ１１５は、向きが１８０度回転され、第２撮像装置Ａ２１６（不図示）は、ゴンドラＢ１１１に対向する面に設置される。同様に、ゴンドラＢ１１１は、向きが１８０度回転され、第２撮像装置Ａ２１１は、ゴンドラＢ１１５に対向する面に設置される。

作成部４１２は、第１撮像装置１０２のゴンドラの移動の追跡により、レイアウト変更後の第１画像に基づいて、レイアウト変更後のレイアウト情報を作成することができる。

図１６は、レイアウト変更後のレイアウト情報の一例を示す図である。図１６に示す例では、図１５に示すレイアウトと凡そ同じゴンドラの位置を示すレイアウト情報が作成される。

このとき、管理部４１４は、レイアウト変更に伴って、各種データを更新する。例えば、管理部４１４は、第１画像及び第２画像に基づいて、図６に示す第１関連情報における第１撮像装置ＩＤとゴンドラＩＤとの対応関係、図７に示すゴンドラの位置情報、図８に示す第２関連情報における第２撮像装置ＩＤと棚ＩＤとの対応関係を更新する。

以上、第１実施形態によれば、第１撮像装置の位置情報と、第１撮像装置により撮像された第１画像内のゴンドラの位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を自動で作成することが可能になる。また、ゴンドラにＩＤを付与して、第１撮像装置ＩＤとの対応関係を管理しておき、ゴンドラの移動を追跡することで、実店舗のレイアウト変更を検知し、自動でレイアウト情報を更新することも可能になる。また、第２撮像装置により撮像された第２画像を用いることで、ゴンドラ内の棚や商品を認識し、商品情報を含むレイアウト情報を作成することも可能になる。

図１７は、第２撮像装置１０２の設置例を示す図である。図１７に示す例では、第２撮像装置１０２Ｃの位置をゴンドラの或る面内の中央付近に設置する。第２撮像装置１０２は、正面のゴンドラの棚全体を撮像するようにする。正面の棚に設置された第２撮像装置１０２は、向かい合うゴンドラの棚全体を撮像する。

Ｂ．その他
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

また、上述した実施形態では、情報処理装置１０４は、店舗内の管理装置であることを例にしたが、情報処理装置１０４をクラウドサーバ側に設置し、クライアント側では、撮像装置１０２を棚全体が撮像できる位置に配置しても上述した処理を実行することができる。また、上述した例では、ゴンドラは、棚の集合体であると説明したが、１つの棚を含んでもよい。また、この場合、棚は棚板を含んでもよい。つまり、第１撮像装置は、ゴンドラや棚を撮像し、第２撮像装置は、棚内の棚板を撮像する場合でも、上述した実施形態を適用可能である。また、レイアウト情報が作成される際、棚板が複数認識され、商品のカテゴリも複数認識された場合は、作成部４１２は、商品数が多いカテゴリをレイアウト情報に反映するようにしてもよい。

次に、レイアウト作成における他の例について説明する。認識部４０８は、画像取得部４０６により取得された複数の画像を取得する。このとき、複数の画像のうちの任意の一枚の画像は、他の画像と一部が重複するように撮像されているとよい。認識部４０８は、重複された一部の画像を重ね合わせることで、画像を結合していく。その結果、認識部４０８は、店舗内を撮像した一枚の結合画像を生成する。画像結合の仕方は、様々な方法を用いることができ、例えば、画像同士で重複する部分を重ね合わせることで結合することが可能である。このとき、重ね合わせる重複部分のサイズが一致しない場合、認識部４０８は、一方の画像のサイズを変更し、他方の画像の重複部分のサイズに合わせてから、この重複部分を重ね合わせるようにして画像を結合する。

次に、特定部４１０は、結合された一枚の店舗内画像から、上述したように、矩形形状や付与された二次元コードや所定のマークなどを用いてゴンドラの位置を特定する。

次に、作成部４１２は、結合された店舗内画像、及び特定されたゴンドラの位置情報に基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成する。例えば、作成部４１２は、店舗内画像に対し、特定されたゴンドラの位置を強調して表示することでレイアウト情報を作成してもよいし、店舗内画像を無地の画像にしてから、特定されたゴンドラ部分にゴンドラ形状を配置することでレイアウト情報を作成してもよい。

また、管理部４１４は、ＱＲコード（登録商標）などで認識されたゴンドラを識別する情報をゴンドラＩＤとして管理してもよい。これにより、ゴンドラの移動に伴うゴンドラの追跡に、このゴンドラＩＤを用いることができる。

１…管理システム、１０２…撮像装置、１０４…情報処理装置、２０２…プロセッサ、２０４…メモリ、２０６…ストレージ、２０８…入出力Ｉ／Ｆ、２１０…通信Ｉ／Ｆ、３０２…撮像部、３０４…送信部、４０２…通信部、４０４…記憶部、４０６…取得部、４０８…認識部、４１０…特定部、４１２…作成部、４１４…管理部、５０２…第１制御部、５０４…第１認識処理部、５０６…第２認識処理部、５１２…画像取得部、５１４…第１取得部、５１６…判定部、５１８…第２取得部、５２０…出力部、５３２…第２制御部、５３４…第２認識部

Claims (10)

1. 情報処理装置に、
   ゴンドラが配置された店舗内を俯瞰して撮像可能な１又は複数の第１撮像装置から、当該第１撮像装置により撮像された画像と、当該第１撮像装置の識別情報を示す第１撮像装置識別情報とを取得するステップと、
   前記画像内のゴンドラを認識するステップと、
   認識されたゴンドラの位置情報と、前記第１撮像装置識別情報により特定される第１撮像装置の位置情報とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行させるプログラム。
2. 前記情報処理装置に、
   各第１撮像装置識別情報と、各第１撮像装置識別情報が示す第１撮像装置により撮像された画像内に含まれるゴンドラの識別情報を示すゴンドラ識別情報とを関連付ける第１関連情報を管理するステップをさらに実行させる、請求項１に記載のプログラム。
3. 前記情報処理装置に、
   前記ゴンドラ識別情報と、前記ゴンドラのサイズを示すサイズ情報とを関連付けて管理するステップをさらに実行させ、
   前記作成するステップは、
   前記認識されたゴンドラのサイズ情報にさらに基づいて、前記レイアウト情報を作成する、請求項２に記載のプログラム。
4. 前記情報処理装置に、
   前記ゴンドラ内の棚を撮像する第２撮像装置から画像を取得するステップと、
   前記画像に含まれるゴンドラの棚を認識するステップと、
   認識された棚の識別情報を示す棚識別情報と、前記第２撮像装置の識別情報を示す第２撮像装置識別情報とを関連付ける第２関連情報を管理するステップと、をさらに実行させる、請求項１乃至３のいずれか一項に記載のプログラム。
5. 前記情報処理装置に、
   前記第２撮像装置から取得された画像を用いて、各棚に陳列された各商品を認識するステップをさらに実行させ、
   前記作成するステップは、
   各棚において認識された各商品の商品情報にさらに基づいて、前記レイアウト情報を作成する、請求項４に記載のプログラム。
6. 前記１又は複数の第１撮像装置は、第１ゴンドラの移動を撮像し、当該第１ゴンドラが所定の第１撮像装置の撮影範囲内から、他の第１撮像装置の撮像範囲内に移動する場合、
   前記第１関連情報を管理するステップは、
   前記第１ゴンドラのゴンドラ識別情報に対応付けられる第１撮像装置識別情報を、前記所定の第１撮像装置から、前記他の第１撮影装置に更新するステップを含む、
   請求項２又は３に記載のプログラム。
7. 情報処理装置が、
   ゴンドラが配置された店舗内を俯瞰して撮像可能な１又は複数の第１撮像装置から、当該第１撮像装置により撮像された画像と、当該第１撮像装置の識別情報を示す第１撮像識別情報とを取得するステップと、
   前記画像内のゴンドラを認識するステップと、
   認識されたゴンドラの位置と、前記第１撮像識別情報により特定される第１撮像装置の位置とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行する情報処理方法。
8. ゴンドラが配置された店舗内を俯瞰して撮像可能な１又は複数の第１撮像装置から、当該第１撮像装置により撮像された画像と、当該第１撮像装置の識別情報を示す第１撮像識別情報とを取得する取得部と、
   前記画像内のゴンドラを認識する認識部と、
   認識されたゴンドラの位置と、前記第１撮像識別情報により特定される第１撮像装置の位置とに基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成する作成部と、を備える情報処理装置。
9. 情報処理装置に、
   ゴンドラが配置された店舗内を俯瞰して撮像可能な複数の第１撮像装置から、当該複数の第１撮像装置により撮像された各画像を取得するステップと、
   前記各画像を１つの画像に結合し、結合された画像から所定の方法に基づいてゴンドラを認識するステップと、
   認識されたゴンドラの位置情報に基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行させるプログラム。
10. 情報処理装置が、
    ゴンドラが配置された店舗内を俯瞰して撮像可能な複数の第１撮像装置から、当該複数の第１撮像装置により撮像された各画像を取得するステップと、
    前記各画像を１つの画像に結合し、結合された画像から所定の方法に基づいてゴンドラを認識するステップと、
    認識されたゴンドラの位置情報に基づいて、店舗内のゴンドラの位置を示すレイアウト情報を作成するステップと、を実行する情報処理方法。