JP2022093039A - 情報処理装置、情報処理方法及び情報処理システム - Google Patents

Abstract

【課題】店舗において商品の位置が変更されても、店舗で撮影された画像が表示された情報端末のユーザが、店舗で撮影された画像に基づいて適切に商品を指定できるようにする。
【解決手段】情報処理装置１ｂは、商品棚における複数の登録位置と、複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けた商品棚データベース１２２を記憶する記憶部１２と、撮像画像データに含まれている商品棚Ｔの画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、商品の商品棚Ｔにおける位置を特定する位置特定部１３６と、店舗商品画像データと複数の登録商品画像データとを比較することにより特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、位置特定部１３６が特定した商品の位置に登録位置を更新する位置管理部１３７と、を有する。
【選択図】図１３

Description

本発明は、情報処理装置、情報処理方法及び情報処理システムに関する。

インターネット上で商品の売買をすることができるシステムが知られている。特許文献１には、商品の購入者の情報端末に仮想店舗と商品の画像を表示させ、購入者が情報端末を操作することにより商品を購入するためのシステムが開示されている。

特開２０１５－１１４７９７号公報

従来のシステムにおいて情報端末に表示される商品の画像は、実際の店舗で販売されている商品ではないので、システムの管理者が操作をしない限りは、商品が表示される位置と商品との関係が変化することがなかった。しかしながら、実際の店舗で撮影して作成された商品の画像を情報端末に表示させる場合、店舗で商品の位置を変更することにより、情報端末において商品が表示される位置と商品との関係が変化する場合があった。その結果、情報端末のユーザが、商品の画像を選択することにより商品を注文した場合に、過去にその位置に表示されていた商品が誤って注文されてしまう場合があるという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、店舗において商品の位置が変更されても、店舗で撮影された画像が表示された情報端末のユーザが、店舗で撮影された画像に基づいて適切に商品を指定できるようにするための情報処理装置、情報処理方法及び情報処理システムを提供することを目的とする。

本発明の第１の態様の情報処理装置は、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、を有する。

前記位置特定部は、前記撮像画像データから、前記複数の登録位置に対応する領域の画像を切り出すことにより複数の前記店舗商品画像データを作成してもよい。

前記位置特定部は、前記撮像画像データにおける前記登録位置に対応する領域に、同一の形状の複数の画像が含まれている場合、当該複数の画像のうち１つの画像を切り出すことにより前記店舗商品画像データを作成してもよい。

前記画像取得部は、それぞれ異なる位置から前記商品棚及び前記商品が撮影された複数の前記撮像画像データを取得し、前記位置管理部は、前記複数の撮像画像データそれぞれに含まれている前記店舗商品画像データと前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定してもよい。

前記位置管理部は、前記複数の撮像画像データに含まれている複数の前記店舗商品画像データのうち、前記複数の登録商品画像データのいずれかに最も類似する店舗商品画像データに基づいて、当該店舗商品画像データが示す商品に対応する前記登録商品画像データを特定してもよい。

前記位置管理部は、前記撮像画像データにおける前記登録位置に商品の画像が含まれていない場合、前記登録位置に関連付けられた前記登録商品画像データを前記データベースから削除してもよい。

前記位置管理部は、前記データベースにおける前記登録位置に前記登録商品画像データが関連付けられていない場合、前記撮像画像データにおける前記登録位置に含まれている前記店舗商品画像データを、前記登録位置に関連付けて前記登録商品画像データとして前記データベースに登録してもよい。
前記位置管理部は、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、前記店舗で使用される店舗内装置に所定の通知を送信してもよい。

前記位置特定部は、前記撮像画像データに人が写っていることを検出した後に所定の条件が満たされた場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。

前記撮像画像データを情報端末に送信する画像送信部と、前記情報端末から、前記情報端末に表示された前記撮像画像データにおいて所定の操作が行われたことを示す操作情報を取得する情報取得部と、をさらに有し、前記位置特定部は、前記情報取得部が前記操作情報を取得した場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。

本発明の第２の態様の情報処理方法は、コンピュータが実行する、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得するステップと、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定するステップと、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定するステップと、特定した前記登録商品画像データに関連付けられた前記登録位置が、特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新するステップと、を有する。

本発明の第３の態様の情報処理システムは、情報端末と、前記情報端末に商品に関する情報を提供する情報処理装置と、を備え、前記情報処理装置は、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、前記店舗商品画像データを前記情報端末に送信する画像送信部と、を有し、前記情報端末は、前記店舗商品画像データを表示する表示部を有する。

本発明によれば、店舗において商品の位置が変更されても、店舗で撮影された画像が表示された情報端末のユーザが、店舗で撮影された画像に基づいて適切に商品を指定できるという効果を奏する。

情報処理システムＳの構成を示す図である。 情報端末２に表示される購入処理用画面の一例を示す図である。 情報処理装置１及び情報端末２の構成を示す図である 商品データベース１２１の一例を示す図である。 商品棚データベース１２２の一例を示す図である。 商品棚データベース１２２に対応する商品棚Ｔの状態を示す図である。 情報処理システムＳにおける処理の流れを示すシーケンス図である。 第１変形例に係る店舗Ｍの状態の一例を示す図である。 第１変形例に係る情報処理装置１ａの構成を示す図である。 情報処理装置１ａにおける処理の流れを示す図である。 情報処理装置１ａの商品棚データベース１２２の一例を示す図である。 画像送信部１３２が情報端末２に送信する選択商品画像データを含む購入処理用画面の一例を示す図である。 第２変形例に係る情報処理装置１ｂの構成を示す図である。

［情報処理システムＳの概要］
図１は、本実施の形態に係る情報処理システムＳの構成を示す図である。情報処理システムＳは、店舗Ｍから離れた場所にいるユーザＵが、店舗Ｍで販売される商品を購入することを可能にするためのシステムである。情報処理システムＳは、情報処理装置１と、情報端末２と、を備える。情報処理装置１は、例えばコンピュータ又はサーバであり、情報端末２は、例えばスマートフォン、タブレット又はコンピュータである。情報処理装置１及び情報端末２はネットワークＮに接続されており、ネットワークＮを介して互いにデータを送受信することができる。ネットワークＮは、例えばインターネット及び携帯電話網を含む。

店舗Ｍには商品棚Ｔが設置されており、商品棚Ｔには各種の商品が載置されている。店舗Ｍは、例えばコンビニエンスストア又はスーパーマーケットであるが、これらに限らず任意の商品を販売する店舗でよい。

店舗Ｍには、商品棚Ｔ及び商品棚Ｔに置かれた商品を撮影するためのカメラＣが設置されている。カメラＣは、例えば商品棚Ｔの前方から商品を撮影し、商品の撮像画像データを作成する。カメラＣは、ネットワークＮに接続されており、ネットワークＮを介して、作成した撮像画像データを情報処理装置１に送信する（図１における（１））。

情報処理装置１は、カメラＣから受信した撮像画像データに基づいて、ユーザＵが使用する情報端末２に、ユーザＵが商品を購入するための画面を表示させる。具体的には、情報処理装置１は、撮像画像データを含む購入処理用画面データを作成し、ユーザＵが情報端末２において所定の操作をしたことに応じて、購入処理用画面データを情報端末２に送信することにより、購入処理用画面を情報端末２に表示させる（図１における（２））。

ユーザＵが行う所定の操作は、例えば、店舗Ｍで販売している商品を購入するためのアプリケーションソフトウェアを起動する操作である。一例として、情報処理装置１は、複数の店舗Ｍから送信される複数の撮像画像データに基づいて、複数の店舗Ｍのそれぞれに対応する購入処理用画面データを作成する。ユーザＵは、複数の店舗Ｍから所望の店舗Ｍを選択する操作をすることにより、選択した店舗Ｍの商品棚Ｔが写った購入処理用画面を情報端末２に表示させることができる。

図２は、情報端末２に表示される購入処理用画面の一例を示す図である。図２（ａ）は、商品棚Ｔの画像と、商品棚Ｔに置かれた複数の商品の画像とを含む購入処理用画面を示している。図２（ａ）におけるＡ－１～Ａ－５の記号は、商品が置かれている棚板の位置を特定するための記号である。Ａ－１の棚板にはおにぎり、Ａ－２の棚板にはサンドイッチ、Ａ－３の棚板には弁当、Ａ－４の棚板にはカップ麺、Ａ－５の棚板には缶飲料が置かれている。

図２（ａ）における黒丸（●）は、ユーザＵが購入することができる商品の位置を示している。ユーザＵが、指Ｙにより黒丸又は商品画像を選択する操作（例えばタッチ操作）を行うと、情報端末２は、図２（ｂ）に示す画面に遷移し、選択された商品の詳細情報を表示する。

図２（ｂ）においては、商品名と商品の価格が表示されている。また、ユーザＵが購入した商品は、予め指定された場所まで配達されることが想定されており、商品を購入した場合に指定場所に届くまでに要する時間も表示されている。ユーザＵがこれらの情報を確認して購入個数を入力して「購入する」を押すことにより、情報端末２は、選択された商品をユーザＵが購入したことを示す購入情報を情報処理装置１に送信する（図１における（３））。

情報処理装置１は、購入情報を受信すると、店舗Ｍに対して、購入情報が示す商品をユーザＵが購入したことを示す通知を送信する。情報処理装置１は、例えば、店舗Ｍの店員が使用するコンピュータ、店舗Ｍの管理者が使用するコンピュータ、又は店舗Ｍに設けられたロボットに当該通知を送信する。店舗Ｍに設けられたロボットは、例えば、ユーザＵが購入した商品を商品棚Ｔから取り出して、ユーザＵに運搬される箱に入れたり、取り出した商品をユーザＵが指定した場所まで運搬したりする。

情報処理システムＳが以上のように動作することにより、ユーザＵは、店舗Ｍで撮影された画像に表示された商品を見て商品を注文することができるので、実際の店舗に行って買物をする場合に近い感覚で、情報端末を用いて買物をできるようになる。
以下、情報処理装置１及び情報端末２の構成及び動作について詳細に説明する。

［情報処理装置１及び情報端末２の構成］
図３は、情報処理装置１及び情報端末２の構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、画像取得部１３１と、画像送信部１３２と、情報取得部１３３と、購入処理部１３４と、を有する。情報処理装置１の各部の詳細については後述する。

情報端末２は、通信部２１と、表示部２２と、操作部２３と、記憶部２４と、制御部２５と、を有する。通信部２１は、ネットワークＮを介して情報処理装置１との間でデータを送受信するための通信インターフェースを有する。通信部２１は、例えば携帯電話網にアクセスするための無線通信コントローラを有する。

表示部２２は、各種の情報を表示するディスプレイである。表示部２２は、例えば情報処理装置１から送信された撮像画像を含む購入処理用画面を表示する。
操作部２３は、ユーザＵの操作を受け付けるためのデバイスである。操作部２３は、例えば表示部２２に重ねて設けられたタッチパネルである。

記憶部２４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部２４は、制御部２５が実行するプログラムを記憶する。また、記憶部２４は、情報処理装置１から受信したデータを記憶する。

制御部２５は、ＣＰＵ（Central Processing Unit）を有する。制御部２５は、記憶部２４に記憶されたプログラムを実行することにより、情報処理装置１から受信した購入処理用画面を表示部２２に表示させる。また、制御部２５は、操作部２３を介してユーザＵが行った操作に基づいて、購入情報を情報処理装置１に送信するように通信部２１を制御する。

続いて情報処理装置１の詳細について説明する。通信部１１は、ネットワークＮを介して情報端末２との間でデータを送受信するための通信インターフェースを有する。通信部１１は、例えば情報処理装置１が接続されたルータを介してインターネットに接続するための通信コントローラを有する。

記憶部１２は、ＲＯＭ、ＲＡＭ及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、情報端末２に送信する購入処理用画面を作成するために用いられる商品データベース１２１及び商品棚データベース１２２を記憶する。商品データベース１２１は、商品を識別するための商品識別情報（以下、「商品ＩＤ」という）と商品名とが関連付けられたデータベースである。商品棚データベース１２２は、商品棚Ｔにおける複数の登録位置と、複数の登録位置それぞれに置かれた商品を識別するための商品ＩＤとが関連付けられたデータベースである。登録位置は、例えば店舗Ｍの店員により指定された位置である。

図４は、商品データベース１２１の一例を示す図である。図４に示す商品データベース１２１においては、商品を識別するための商品ＩＤと、商品名と、商品の画像とが関連付けられている。商品データベース１２１においては、商品ＩＤに関連付けて、商品の価格、及び在庫数といった他の情報がさらに関連付けられていてもよい。

図５は、商品棚データベース１２２の一例を示す図である。図５に示す商品棚データベース１２２においては、商品棚Ｔにおける登録位置を示す商品位置ＩＤと、商品ＩＤとが関連付けられており、商品棚Ｔにおけるどの登録位置にどの商品が載置されているかが示されている。商品位置ＩＤの欄に示されている記号は、商品棚Ｔにおいて商品が置かれる可能性がある場所に対応している。

記憶部１２は、商品棚Ｔの特徴点の位置と複数の登録位置それぞれとの関係である複数の登録位置関係をさらに記憶してもよい。商品棚Ｔの特徴点の位置は、商品棚Ｔにおける位置を規定する基準となる位置であり、例えば商品棚Ｔの左上の角の位置である。特徴点の位置と複数の登録位置それぞれとの関係は、例えば、特徴点の位置に対する登録位置の方向、及び特徴点の位置と登録位置との距離により表される。商品棚Ｔの特徴点が、商品棚Ｔが有する複数の棚板それぞれの端部であり、登録位置関係が、当該端部からの距離であってもよい。登録位置関係は、購入処理部１３４が、ユーザＵが商品棚Ｔの画像上で操作した位置が、どの登録位置に対応するかを特定するために使用される。

記憶部１２は、撮像画像データにおける複数の登録位置それぞれに対応する登録位置座標を記憶してもよい。登録位置座標は、商品棚Ｔの特徴点の位置を原点として、原点に対する水平方向の距離に対応する水平方向座標、及び原点に対する垂直方向の距離に対応する垂直方向座標により表される。記憶部１２は、例えば、店舗Ｍの店員が使用する端末（例えばコンピュータ又はタブレット）に商品棚Ｔの画像を表示した状態で店員により指定された位置の座標を、登録位置座標として記憶する。記憶部１２は、店員により入力された商品位置ＩＤを登録位置座標に関連付けて記憶してもよく、登録位置座標に基づいて制御部１３が自動的に決定した商品位置ＩＤを記憶してもよい。

ところで、店舗においては、店員が商品の位置を変更する場合がある。このような場合には、例えば店舗のコンピュータにおいて店員が入力したデータに基づいて、商品棚データベース１２２のデータが更新される。図５（ａ）は、第１時点（例えば図１に示した商品棚Ｔが撮影された時点）における商品棚データベース１２２を示しており、図５（ｂ）は、第１時点と異なる第２時点における商品棚データベース１２２を示している。

図６は、商品棚データベース１２２に対応する商品棚Ｔの状態を示す図である。図６には、商品棚Ｔとして複数の商品棚（商品棚Ｔ１及び商品棚Ｔ２）が示されている。商品棚Ｔ１及び商品棚Ｔ２のそれぞれに商品位置ＩＤが示されている。図６（ａ）の状態は、図５（ａ）に示した商品棚データベース１２２の状態に対応している。図６（ｂ）の状態は、図６（ａ）において商品位置ＩＤがＡ－１１、Ａ－１２、Ａ－１３に置かれていた商品（おにぎり）が、商品棚Ｔ２における商品位置ＩＤがＢ－１１、Ｂ－１２、Ｂ－１３に移動された状態であり、図５（ｂ）に示した商品棚データベース１２２の状態に対応している。

記憶部１２は、関連性がある複数の商品を関連付けて記憶してもよい。記憶部１２は、例えば、複数の商品のうち第１の商品と、第１の商品と一緒に購入することが推奨される第２の商品とを関連付けて記憶する。記憶部１２は、第１の商品に対して、複数の商品を関連付けて記憶してもよい。店舗Ｍにおいて、サンドイッチを買った人がコーヒーを購入することが多いという傾向がある場合、記憶部１２は、例えば店舗の店員の操作によって、サンドイッチと缶コーヒーとを関連推奨商品として記憶する。この情報は、例えば、第１の商品を購入したユーザＵに対して、情報処理装置１が第２の商品を推奨する場合に使用される。

図３に戻り、制御部１３の構成を詳細に説明する。制御部１３は、例えばＣＰＵを有しており、記憶部１２に記憶されたプログラムを実行することにより、画像取得部１３１、画像送信部１３２、情報取得部１３３及び購入処理部１３４として機能する。

画像取得部１３１は、ネットワークＮを介して、店舗Ｍの商品棚Ｔと、商品棚Ｔに置かれた複数の商品とを撮影することによりカメラＣが作成した撮像画像データを取得する。画像取得部１３１は、取得した撮像画像データを画像送信部１３２に入力する。

画像送信部１３２は、画像取得部１３１から入力された撮像画像データを含む購入処理用画面を作成し、作成した購入処理用画面を情報端末２に送信する。画像送信部１３２は、例えば、マークアップ言語を用いて、図２（ａ）に示したように、撮像画像データに他の情報を重ねた購入処理用画面のデータを作成する。画像送信部１３２は、例えば、商品位置を示す画像（例えば図２に示した黒丸画像）、及び商品の名称又は価格の少なくともいずれかのテキスト情報を撮像画像に重ねた購入処理用画面のデータを作成する。

画像送信部１３２が、撮像画像データに他の情報を重ねる位置を設定する方法は任意である。画像送信部１３２は、商品位置を登録するモードにおいて、例えば、店舗Ｍの店員が使用可能な端末に商品棚Ｔの画像を表示させ、表示させた画像において指定された位置の座標を上述した登録位置座標として記憶部１２に記憶させてもよい。画像送信部１３２は、購入処理用画面データを作成する際に、記憶部１２に記憶された座標を読み出し、読み出した座標の位置に商品位置を示す画像を重ねる。画像送信部１３２は、撮像画像データにおいて商品の画像の輪郭線を検出することにより商品の位置を特定し、特定した位置に商品位置を示す画像を重ねてもよい。

画像送信部１３２は、購入処理用画面の画像データとともに、少なくとも一部の画素の座標を送信してもよい。画像送信部１３２は、例えば、購入処理用画面の画像データの画素に関連付けて登録位置座標を送信する。画像送信部１３２がこのような情報を情報端末２に送信することで、情報端末２は、ユーザＵが操作した位置に対応する登録位置座標を情報処理装置１に送信することができる。

画像送信部１３２は、購入処理用画面においてユーザＵが選択した商品の位置の座標を示す操作位置情報を情報取得部１３３から取得し、取得した操作位置情報に基づいて、ユーザＵが操作をした位置を特定する。画像送信部１３２は、商品棚データベース１２２を参照することにより、特定した位置に最も近い登録位置座標に対応する商品を選択商品として特定する。そして、画像送信部１３２は、商品データベース１２１を参照することにより、特定した選択商品に対応する商品画像のデータを記憶部１２から取得する。

具体的には、画像送信部１３２は、図２（ｂ）に示したように、選択商品を示す商品画像データと選択商品の価格とを含む購入処理用画面を情報端末２に送信してもよい。画像送信部１３２は、例えば、商品の登録画像と商品ＩＤとが関連付けられた商品データベース１２１において、選択商品の商品ＩＤに関連付けられた登録画像データを、選択商品を示す商品画像データとして情報端末２に送信する。画像送信部１３２がこのような商品画像データを送信することで、情報端末２には、予め登録された鮮明な商品画像が表示される。したがって、購入処理用画面に含まれている商品の画像が不鮮明な場合であっても、ユーザＵが、選択した商品の内容を正しく把握することができる。

ところで、カメラＣが撮影する範囲によっては、画像送信部１３２が撮像画像データをそのまま送信すると、情報端末２に表示される商品の画像が小さ過ぎて、ユーザＵが、商品を選択しづらいという場合がある。そこで、画像送信部１３２は、情報取得部１３３を介して、店舗Ｍの中の領域のうち情報端末２に表示させる領域を示す表示領域情報を情報端末２から取得し、画像取得部１３１が取得した撮像画像データのうち、表示領域情報が示す領域の画像を情報端末２に送信してもよい。画像送信部１３２は、例えば、情報端末２において画像を拡大する操作が行われた場合、又は表示範囲を変更する操作が行われた場合、操作の内容に応じた領域の画像を情報端末２に送信する。

また、画像送信部１３２は、情報端末２において、表示する商品棚Ｔの位置を変更する操作が行われた場合、操作の内容に応じて、購入処理用画面に含める商品棚Ｔの範囲を変更してもよい。画像送信部１３２は、例えば、情報端末２において右側にスワイプする操作が行われると、情報端末２が表示している領域よりも左側の領域の画像を情報端末２に送信する。画像送信部１３２がこのように動作することで、ユーザＵは、自身が店舗Ｍに実際にいる場合と同様に、いろいろな商品を見ることができる。

また、画像送信部１３２は、選択商品に関連付けて記憶部１２に記憶された他の商品が写った撮像画像データを含む他の購入処理用画面を情報端末２に送信してもよい。画像送信部１３２は、例えば、選択商品がサンドイッチであり、サンドイッチに関連付けて缶コーヒーが記憶部１２に記憶されている場合、缶コーヒーが写っている撮像画像データを含む購入処理用画面を情報端末２に表示させる。

図６に示す例において、サンドイッチが商品棚Ｔ１のＡ－２１～Ａ－２３の位置に置かれており、缶コーヒーが商品棚Ｔ２のＢ－５１～Ｂ－５４の位置に置かれているとする。商品棚Ｔ１が写った撮像画像データを含む購入処理用画面において、ユーザＵがサンドイッチを購入する操作を行った場合、商品棚データベース１２２は、商品棚Ｔ２が写った撮像画像データを含む購入処理用画面を情報端末２に送信する。

その際、ユーザＵが、お勧め商品を把握しやすくするために、画像送信部１３２は、推奨する他の商品がどれであるかを示す情報を重ねて表示した他の購入処理用画面を情報端末２に送信してもよい。上記の例の場合、商品棚データベース１２２は、例えば、商品棚Ｔ２のＢ－５１～Ｂ－５４の位置を囲む線を含む画像情報を表示したり、Ｂ－５１～Ｂ－５４の位置の付近に、「サンドイッチもいかがですか？」といったテキスト情報を表示したりする。商品棚データベース１２２がこのような情報を表示することで、ユーザＵにとっては、選択した商品と一緒に購入する方が良い商品を探す手間が省けるという利点がある。また、店舗Ｍにとっては、ユーザＵが他の商品を購入する蓋然性が高まるので、収益につながるという利点がある。

情報取得部１３３は、情報端末２から送信される情報を取得する。情報取得部１３３は、例えば、店舗Ｍ内の領域のうち情報端末２に表示させる領域を示す表示領域情報をさらに取得する。また、情報取得部１３３は、情報端末２から、情報端末２に表示された購入処理用画面において所定の操作が行われた位置を示す操作位置情報を取得する。操作位置情報は、例えば、ユーザＵが操作した位置の座標を示す情報である。操作位置情報は、ユーザＵが操作した位置に最も近い登録位置座標であってもよい。情報取得部１３３は、取得した操作位置情報を、画像送信部１３２及び購入処理部１３４に通知する。

購入処理部１３４は、ユーザＵが情報端末２において購入する操作をした商品をユーザＵに届けるために必要な処理である購入処理を実行する。購入処理部１３４は、例えば、操作位置情報が示す位置に対応する登録位置を特定し、特定した登録位置に記憶部１２に記憶された商品棚データベース１２２において関連付けられた商品ＩＤに対応する選択商品を情報端末２のユーザＵが購入するための購入処理を実行する。購入処理は、例えば、店舗Ｍが選択商品をユーザＵに配達することを可能にするための処理であり、選択商品を購入する操作をユーザＵが行ったということを、店舗Ｍで使用される店舗内装置に送信する処理である。店舗内装置は、店舗Ｍの店員が使用可能なコンピュータ、又は選択商品を商品棚Ｔから取り出すことができるロボットである。

具体的には、購入処理部１３４は、購入処理用画面において購入操作が行われた場合に、購入処理として、ユーザを識別するためのユーザ識別情報（以下、「ユーザＩＤ」という）と、購入処理用画面において購入操作が行われた位置に対応する選択商品の商品ＩＤとを関連付けて、店舗Ｍで使用される店舗内装置に送信する。購入処理部１３４は、商品棚データベース１２２を参照することにより、商品ＩＤに関連付けられた商品位置ＩＤを店舗内装置に送信してもよい。

ユーザＩＤと選択商品の商品ＩＤとが、店舗Ｍの店員が使用可能なコンピュータに送信され、当該コンピュータがユーザＩＤに対応するユーザＵの情報（例えば氏名と住所）と商品ＩＤに対応する商品名を表示すると、店舗Ｍの店員は、商品ＩＤに対応する選択商品を商品棚Ｔから取り出して、当該商品の配達又は発送をすることができる。また、ユーザＩＤと選択商品の商品ＩＤとが店舗Ｍのロボットに送信された場合、ロボットは、商品ＩＤ又は商品位置ＩＤに対応する選択商品を商品棚Ｔから取り出して、配送用の箱に入れたり、ロボット自身が選択商品をユーザＵまで配送したりしてもよい。

購入処理部１３４は、例えば、操作位置情報が示す位置の座標に最も近い登録位置座標を特定することにより、操作位置情報が示す位置に対応する登録位置を特定する。購入処理部１３４は、撮像画像データに含まれる商品棚Ｔの特徴点の位置と、操作位置情報が示す位置との関係が最も近い登録位置関係に対応する登録位置を特定してもよい。購入処理部１３４がこのように動作することにより、ユーザＵが登録位置座標から少しずれた位置に触った場合であっても、購入処理部１３４は選択商品を特定することができるので、ユーザＵの操作性が向上する。

図７は、情報処理システムＳにおける処理の流れを示すシーケンス図である。図７に示すシーケンス図は、ユーザＵが情報端末２において店舗Ｍで販売している商品を購入するためのアプリケーションを起動した時点から開始している。

画像送信部１３２は、画像取得部１３１が取得した商品棚Ｔの撮像画像データを含む購入処理用画面を情報端末２に送信する。情報端末２の制御部２５は、通信部２１が受信した購入処理用画面を表示部２２に表示する（Ｓ１１）。その状態で、制御部２５は、ユーザＵにより商品を選択する操作が操作部２３において行われたか否かを監視する（Ｓ１２）。制御部２５は、ユーザＵが商品を選択する操作を行ったことを検出すると（Ｓ１２においてＹＥＳ）、通信部２１に、ユーザＵが操作をした位置を示す座標情報を情報処理装置１に送信させる。

購入処理部１３４は、受信した座標情報に基づいて、ユーザＵが選択した商品を特定する（Ｓ１３）。具体的には、購入処理部１３４は、商品棚データベース１２２に記憶された登録位置の座標を参照することにより、ユーザＵが選択した登録位置を特定し、登録位置に対応する商品ＩＤを特定する。購入処理部１３４が商品ＩＤを特定すると、画像送信部１３２は、商品データベース１２１を参照することにより商品ＩＤに対応する商品画像を記憶部１２から取得し、取得した商品画像を情報端末２に送信する。

情報端末２は、商品画像を受信すると、図２（ｂ）に示したような画面を表示する（Ｓ１４）。制御部２５は、この状態で、ユーザＵが購入処理の操作を行うかどうかを監視する（Ｓ１５）。制御部２５は、ユーザＵが購入処理の操作を行ったと判定すると（Ｓ１５においてＹＥＳ）、購入処理の操作が行われたことを示す購入情報を情報処理装置１に送信する。購入処理部１３４は、購入情報を受信すると購入処理を実行する（Ｓ１６）。

［複数の撮像画像データの利用（第１変形例）］
以上の説明においては、店舗Ｍに設置された１台のカメラＣが１つの方向で撮影することにより撮像画像データが生成される場合を例示した。ところが、店舗Ｍで販売される商品にはいろいろな種類があり、１つの方向で複数の商品を撮影した場合、商品の内容を識別しやすい画像が生成される商品もあれば、商品の内容を識別しやすい画像が生成されない商品もある。

例えば、商品棚Ｔの前方から商品が撮影されて撮像画像データが生成された場合、おにぎりやサンドイッチの画像を見たユーザＵは、当該画像によって、おにぎりやサンドイッチの種類を識別しやすい。一方、弁当の画像を見たユーザＵは、当該画像を見ても、どのような弁当であるかを識別することが難しい。

そこで、情報処理装置１の画像送信部１３２は、店舗Ｍに設置された複数のカメラＣ、又は異なる方向で撮影が可能な１台のカメラＣにより、複数の異なる位置から撮影することにより生成された複数の撮像画像データから切り出された複数の店舗商品画像データから、商品に適した選択商品画像データを選択し、選択商品画像データを情報端末２に送信してもよい。画像送信部１３２は、例えばユーザＵによる店舗商品画像データに対応する商品の特定しやすさに基づいて、選択商品画像データを選択する。

図８は、第１変形例に係る店舗Ｍの状態の一例を示す図である。図８に示す例においては、カメラＣ１、カメラＣ２及びカメラＣ３が店舗Ｍに設置されている。カメラＣ１は、商品棚Ｔの上方から商品棚Ｔに置かれた商品を撮影する。カメラＣ２は、商品棚Ｔの前方から商品棚Ｔに置かれた商品を撮影する。カメラＣ３は、商品棚Ｔの後方から商品棚Ｔに置かれた商品を撮影する。

図９は、第１変形例に係る情報処理装置１ａの構成を示す図である。図９に示す情報処理装置１ａは、画像作成部１３５をさらに有するという点で、図３に示した情報処理装置１と異なる。図１０は、情報処理装置１ａにおける処理の流れを示す図である。図１１は、情報処理装置１ａの商品棚データベース１２２の一例を示す図である。以下、既述の情報処理装置１の構成及び動作と異なる点を中心に、情報処理装置１ａの構成及び動作を説明する。

図１１に示すように、情報処理装置１ａの商品棚データベース１２２においては、商品棚における位置と商品の属性とが関連付けられている。商品の属性は、ユーザＵが商品を購入する際に参照する情報が示される撮影方向に対応する特徴である。言い換えると、商品の属性は、商品棚Ｔに置かれた状態で、ユーザＵが商品の内容を認識しやすい撮影方向に対応する特徴である。

ユーザＵが商品を購入する際に参照する情報は、商品に付されている商品の名称や価格等を示すテキスト情報、又は商品に固有のデザインである。これらの情報は、ユーザＵが購買するか否かを判断する際に使用される購入判断情報であり、ユーザＵが情報端末２において購入判断情報を視認することができると、ユーザＵが適切な商品を選択しやすい。そこで、画像送信部１３２は、購入判断情報が商品に付されている位置を商品の属性として利用して、選択商品画像データを選択してもよい。商品の属性は、商品の種別又は商品の形状であってもよい。

画像取得部１３１は、店舗の商品棚Ｔと、商品棚Ｔに置かれた商品とを複数の異なる位置から撮影することにより作成された複数の撮像画像データを取得する。画像取得部１３１は、例えば、カメラＣ１、カメラＣ２及びカメラＣ３が撮影して作成した複数の撮像画像データを取得する。すなわち、画像取得部１３１は、例えば商品棚Ｔの上方から商品を撮影することにより作成された上方撮像画像データと、商品棚Ｔの前方から商品を撮影することにより作成された前方撮像画像データと、商品棚Ｔの後方から商品を撮影することにより作成された後方撮像画像データとを、複数の撮像画像データとして取得する。画像取得部１３１は、取得した複数の撮像画像データを画像作成部１３５に入力する。

画像作成部１３５は、複数の撮像画像データそれぞれに含まれる複数の商品の画像を切り出すことにより、１つの商品に対応する複数の店舗商品画像を作成する。図１０に示すように、画像作成部１３５は、複数の撮像画像データに基づいて、各商品位置に置かれた商品を上方から撮影して生成された店舗商品画像データ（例えばＡ－１１上方画像データ）、前方から撮影して生成された店舗商品画像データ（例えばＡ－１１前方画像データ）、及び後方から撮影して生成された店舗商品画像データ（例えばＡ－１１後方画像データ）を作成する。画像作成部１３５は、作成したこれらの店舗商品画像データを画像送信部１３２に入力する。

画像送信部１３２は、画像作成部１３５から入力された複数の店舗商品画像データのうち、ユーザＵが商品の内容を特定するのに適した店舗商品画像データを選択する。画像送信部１３２は、画像作成部１３５から入力された複数の店舗商品画像データから選択した店舗商品画像データである選択商品画像データを情報端末２に送信する。画像送信部１３２は、前方撮像画像データに商品の特徴が表れることを属性が示している場合（例えば、購入判断情報が示されている場合）に、前方撮像画像データを情報端末２に提供し、上方撮像画像データに商品の特徴が表れることを属性が示している場合に、上方撮像画像データを情報端末２に提供する。

一例として、画像送信部１３２は、複数の店舗商品画像データそれぞれに対応する商品の商品棚Ｔにおける位置を特定する。そして、画像送信部１３２は、商品棚データベース１２２において、特定した位置に関連付けられた商品の属性に基づいて選択商品画像データを選択する。図１１に示す例の場合、画像送信部１３２は、複数の撮像画像データから切り出された複数の店舗商品画像データが商品位置Ａ－１１に対応することを特定した場合、商品の属性が「前方」であると認識する。この場合、画像送信部１３２は、複数の店舗商品画像データのうち、前方から撮影して生成されたＡ－１１前方画像データを選択する。

商品データベース１２１が、商品の属性と商品の画像とが関連付けられたデータベースであり、画像送信部１３２は、商品データベース１２１において店舗商品画像データに最も類似する画像に関連付けられた商品の属性に基づいて選択商品画像データを選択してもよい。

図１２は、画像送信部１３２が情報端末２に送信する選択商品画像データを含む購入処理用画面の一例を示す図である。図２（ａ）に示した購入処理用画面と比較すると、Ａ－３及びＡ－４の棚板に置かれている弁当とカップ麺が、上方から撮影された画像になっている点で異なっている。画像送信部１３２は、このように、属性が飲料、サンドイッチ又はおにぎりであることを示している場合に、前方撮像画像データを情報端末２に提供し、属性が弁当であることを示している場合に、上方撮像画像データを情報端末２に提供する。画像送信部１３２が、商品棚Ｔにおける複数の位置に関連付けて複数の店舗商品画像データを含む表示用画像を情報端末２に送信し、情報端末２が、Ｕが商品の内容を認識しやすい方向から撮影された画像を組み合わせて表示することで、ユーザＵが適切に商品を選択しやすくなる。

なお、図１２においては、商品棚Ｔにおける全ての位置に選択商品画像データが表示されているが、一部の位置に商品が置かれていないような場合もある。このようなときに、商品が置かれていないということをユーザＵが認識しやすいように、画像送信部１３２は、複数の位置のうち、店舗商品画像データが関連付けられていない位置を所定の態様にした表示用画像を情報端末２に送信してもよい。所定の態様は、透明加工した画像又はグレーアウトした画像のように、欠品であることをユーザＵが認識できるように、他の位置と色又は模様が異なる態様である。

画像送信部１３２は、ある商品位置に対応する複数の店舗商品画像データから１つの選択商品画像データを選択する際に、上記の属性に代えて又は上記の属性とともに、他の情報を用いてもよい。一例として、画像送信部１３２は、商品棚Ｔにおける同一の位置に対応する複数の店舗商品画像データのうち、商品を示す領域の面積が最も大きい店舗商品画像データを選択商品画像データとして選択してもよい。画像送信部１３２は、商品が例えばおにぎりである場合、前方画像データにおける商品の面積が、上方画像データにおける商品の面積よりも大きいと判定し、前方画像データを選択商品画像データとして選択する。面積が大きい画像の方が、ユーザＵが商品の内容を認識しやすいので、画像送信部１３２がこのように動作することで、ユーザＵが商品の内容をより認識しやすくなる。

画像送信部１３２は、商品棚における同一の位置に対応する複数の店舗商品画像データのうち、商品を示す領域の輝度が最も高い店舗商品画像データを選択商品画像データとして選択してもよい。前方画像データにおいては商品が暗く写っていて文字を認識することが困難であり、上方画像データにおいては商品が明るく写っていてるような場合、ユーザＵが商品の内容を認識するには上方画像データの方が適しているという場合がある。そこで、画像送信部１３２が、商品を示す領域の輝度に基づいて選択商品画像データを選択することで、商品の内容の認識に適していない店舗商品画像データが情報端末２に表示されることを防げる。

また、画像送信部１３２は、選択商品画像データに関連付けて、選択商品画像データに対応する商品の名称又は価格を示す購入判断情報を情報端末２に送信してもよい。画像送信部１３２は、選択商品画像データに購入判断情報が含まれていない場合、選択商品画像データに購入判断情報を合成した画像を作成し、当該画像を情報端末２に送信してもよい。画像送信部１３２は、選択商品画像と購入判断情報を重ねてもよく、選択商品画像の近傍に購入判断情報を配置した購入処理用画面を作成してもよい。

また、情報取得部１３３が、情報端末２に表示させる店舗商品画像データの大きさを示す操作情報を情報端末２から取得し、画像送信部１３２は、操作情報が示す店舗商品画像データを表示させる大きさに基づいて、処理を変えてもよい。具体的には、画像送信部１３２は、第１の大きさで店舗商品画像データを情報端末２に表示させることを操作情報が示している場合には、同一の位置からの撮影により作成された１つの撮像画像データに含まれる複数の店舗商品画像データを情報端末２に送信する。また、画像送信部１３２は、第１の大きさよりも大きい第２の大きさで店舗商品画像データを情報端末２に表示させることを操作情報が示している場合には、選択商品画像データを情報端末２に送信する。

画像送信部１３２がこのように動作することで、ユーザＵが、商品棚Ｔの全体を見たいという場合には、図２（ａ）に示したように、前方から撮影された画像が情報端末２に表示されるので、ユーザＵは店舗Ｍの臨場感を味わうことができる。そして、ユーザＵが商品を選択するために商品の詳細を見たいという場合に、商品の属性に適した方向から撮影された選択商品画像データが情報端末２に表示されるので、ユーザＵは適切な商品を購入しやすくなる。

［商品位置変更の検出（第２変形例）］
以上のとおり、情報処理装置１は、商品棚における複数の登録位置と、複数の登録位置それぞれに置かれた商品の商品ＩＤとが関連付けられた商品棚データベース１２２を参照することにより、店舗Ｍの商品棚Ｔの撮像画像データを表示する情報端末２においてユーザＵが操作を行った位置に基づいて、操作された位置に対応する商品を特定する。店舗においては、商品の位置が変更になる場合がある。商品の位置が変更になったにもかかわらず、商品棚データベース１２２に登録されているデータが更新されていないと、情報処理装置１は、ユーザＵが操作を行った位置に対応する商品を誤って特定してしまう。そこで、情報処理装置１は、商品の位置が変更されたことを検出し、商品の位置が変更されたにもかかわらず、商品棚データベース１２２のデータが更新されていない場合に、警告を出力したり、商品棚データベース１２２のデータを更新したりしてもよい。

図１３は、第２変形例に係る情報処理装置１ｂの構成を示す図である。図１３に示す情報処理装置１ｂは、位置特定部１３６及び位置管理部１３７をさらに有するという点で、図９に示した情報処理装置１ａと異なり、他の点で同じである。情報処理装置１ｂは、画像作成部１３５を有していなくてもよい。

位置特定部１３６は、撮像画像データに含まれている商品棚Ｔの画像の位置と、商品の画像（店舗商品画像）の位置との関係に基づいて、商品の商品棚Ｔにおける位置を特定する。位置特定部１３６は、例えば、撮像画像データから、複数の登録位置に対応する領域の画像を切り出すことにより複数の店舗商品画像データを作成し、作成した店舗商品画像データの位置と、商品棚Ｔの画像における基準となる位置（例えば特徴点の位置）との関係に基づいて、店舗商品画像データが示す商品の位置を特定する。位置特定部１３６は、店舗商品画像データに関連付けて、特定した位置を位置管理部１３７に通知する。

位置特定部１３６は、撮像画像データにおける登録位置に対応する領域に、同一の形状の複数の画像が含まれている場合、当該複数の画像のうち１つの画像を切り出すことにより店舗商品画像データを作成してもよい。一例として、図２（ａ）の上から３段目に置かれている弁当のように、商品棚に積み重ねることができる商品の場合、商品棚Ｔにおける一つの登録位置に複数の商品が置かれている場合がある。このような場合、位置特定部１３６は、複数の同じ商品の画像のうち１つの画像を選択することで、切り出した店舗商品画像データが、商品データベース１２１に登録された登録商品画像データと同等の画像になる。

位置特定部１３６は、撮像画像データに人が写っていることを検出した後に所定の条件が満たされた場合に、商品棚Ｔの画像の位置（例えば、商品棚Ｔの基準位置）と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。所定の条件は、例えば、商品の手前から人がいなくなり、撮像画像データに基づいて商品を識別できる状態になったことである。

撮像画像データに人が写っている場合、その人が商品の位置を変更するという可能性がある。そこで、位置特定部１３６が、上記のタイミングで商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定することで、人が商品の位置を変更した場合に、後述する位置管理部１３７が速やかに商品棚データベース１２２を更新することが可能になる。また、位置特定部１３６が、商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定する処理を常時行う必要がなくなるので、制御部１３の処理負荷が軽くなる。

また、位置特定部１３６は、情報取得部１３３が操作情報を取得した場合に、商品棚Ｔの画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。位置特定部１３６がこのようなタイミングで商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定することで、ユーザＵが商品を購入する操作をする時点で、購入処理用画面に示されている商品の位置と商品棚データベース１２２に登録されている商品の位置とが一致するため、ユーザＵが意図した商品と異なる商品が購入されてしまうことを防げる。また、この場合にも、また、位置特定部１３６が、商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定する処理を常時行う必要がなくなるので、制御部１３の処理負荷が軽くなる。

位置管理部１３７は、撮像画像データに含まれている商品の画像である店舗商品画像データと、商品データベース１２１内の複数の登録商品画像データとを比較することにより、店舗商品画像データが示す商品に対応する登録商品画像データを特定する。そして、位置管理部１３７は、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、特定した登録商品画像データに関連付けられた登録位置を、位置特定部１３６が特定した商品の位置に更新する。位置管理部１３７は、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、店舗内装置に警告情報を送信し、店舗内装置から所定の指示を受信したことを条件として、登録位置を更新してもよい。

商品の位置が変更されたかどうかを判定する精度を高めるために、情報処理装置１は、複数の方向から撮影された複数の店舗商品画像データを利用してもよい。この場合、画像取得部１３１は、それぞれ異なる位置から商品棚Ｔ及び商品が撮影された複数の撮像画像データを取得する。位置管理部１３７は、複数の撮像画像データそれぞれに含まれている店舗商品画像データと複数の登録商品画像データとを比較することにより、店舗商品画像データが示す商品に対応する登録商品画像データを特定する。

位置管理部１３７は、例えば、複数の撮像画像データに含まれている複数の店舗商品画像データのうち、複数の登録商品画像データのいずれかに最も類似する店舗商品画像データに基づいて、当該店舗商品画像データが示す商品に対応する登録商品画像データを特定する。位置管理部１３７は、複数の店舗商品画像データのいずれかと登録商品画像データとの類似度が閾値以上である場合、店舗商品画像データと登録商品画像データとが一致していると判定してもよい。このように、位置管理部１３７が複数の方向から撮影された複数の店舗商品画像データを利用することで、商品が置かれた向きが、登録商品画像データにおける商品の向きと異なっている場合であっても、誤判定をしづらくなる。

位置管理部１３７は、撮像画像データにおける登録位置に商品の画像が含まれていない場合、登録位置に関連付けられた登録商品画像データを商品データベース１２１から削除してもよい。位置管理部１３７がこのように動作することで、特定の位置に商品が置かれない状態になった場合に、その状態が速やかに商品データベース１２１に反映されるので、ユーザＵが購入処理用画面における当該位置に誤って触れた場合に、実際には存在しない商品が特定されてしまうことを防げる。

また、位置管理部１３７は、商品データベース１２１において登録位置に商品画像が登録されていない場合、撮像画像データから切り出した商品画像を登録してもよい。すなわち、位置管理部１３７は、商品データベース１２１における登録位置に登録商品画像データが関連付けられていない場合、撮像画像データにおける登録位置に含まれている店舗商品画像データを、登録位置に関連付けて登録商品画像データとして商品データベース１２１に登録する。位置管理部１３７がこのように動作することで、商品データベース１２１に登録されていない新しい商品を販売する際に、店舗Ｍの店員が商品データベース１２１を登録する処理をすることなく、商品棚Ｔの状態が速やかに商品データベース１２１に反映されるので、店員による登録作業が不要になり店員の業務効率が向上する。

位置管理部１３７は、自動的に商品データベース１２１を更新する代わりに、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、店舗Ｍで使用される店舗内装置（例えばコンピュータ）に所定の通知を送信してもよい。店舗内装置が、送信された通知の内容を表示することで、店員が、商品データベース１２１の状態が商品の位置と合っていないということを認識できるので、店員は、商品の位置を変更したり、実際の商品の位置に合わせて商品データベース１２１を更新する処理をしたりすることができる。位置管理部１３７がこのように動作することで、店員が商品を置く位置を間違えている場合に商品データベース１２１を更新してしまうことなく、店員が正しい位置に商品を移動させることが可能になる。

［情報処理システムＳによる効果］
以上説明したように、情報処理装置１は、店舗Ｍで撮影されることにより作成された撮像画像データを含む購入処理用画面を情報端末２に送信し、情報端末２から、購入処理用画面において所定の操作が行われた位置を示す操作位置情報を取得する。そして、購入処理部１３４は、操作位置情報が示す位置に対応する商品棚Ｔの位置（登録位置）を特定し、特定した位置に商品データベース１２１において関連付けられた商品ＩＤに対応する商品をユーザＵが購入するための購入処理を実行する。情報処理装置１がこのように構成されていることで、ユーザＵは、実際の店舗Ｍに行って買物をする場合に近い感覚で、情報端末２を用いて買物をできるようになる。

また、画像取得部１３１は、商品棚Ｔに置かれた商品を複数の異なる位置から撮影することにより作成された複数の撮像画像データを取得する。そして、画像作成部１３５は、複数の撮像画像データそれぞれに含まれる複数の商品の画像を切り出すことにより、１つの商品に対応する複数の店舗商品画像データを作成し、画像送信部１３２は、複数の店舗商品画像データから選択した店舗商品画像データを情報端末２に送信する。画像送信部１３２は、例えば、ユーザＵが購入する際の判断に用いる購入判断情報が見える方向から撮影された店舗商品画像データを情報端末２に送信する。情報処理装置１がこのように構成されていることで、商品が置かれた向きや商品の形状によらず、ユーザＵが、店舗Ｍにおいて撮影された商品の画像に基づいて、商品の内容を把握することができるようになる。

また、位置特定部１３６は、撮像画像データに含まれている商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、商品の商品棚Ｔにおける位置を特定する。そして、位置管理部１３７は、撮像画像データに含まれている店舗商品画像データに対応する登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、特定した登録商品画像データに関連付けられた登録位置を、位置特定部１３６が特定した商品の位置に更新する。位置特定部１３６及び位置管理部１３７がこのように動作することで、店舗Ｍにおいて商品が置かれる位置が変わった場合に、店舗Ｍにおける商品の位置と商品データベース１２１に登録された商品の位置とが一致した状態が維持される。その結果、店舗において商品の位置が変更されても、ユーザＵが、店舗Ｍで撮影された画像に基づいて適切に商品を指定できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
２１ 通信部
２２ 表示部
２３ 操作部
２４ 記憶部
２５ 制御部
１２１ 商品データベース
１２２ 商品棚データベース
１３１ 画像取得部
１３２ 画像送信部
１３３ 情報取得部
１３４ 購入処理部
１３５ 画像作成部
１３６ 位置特定部
１３７ 位置管理部

Claims (12)

1. 店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、
   前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、
   前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、
   前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、
   を有する情報処理装置。
2. 前記位置特定部は、前記撮像画像データから、前記複数の登録位置に対応する領域の画像を切り出すことにより複数の前記店舗商品画像データを作成する、
   請求項１に記載の情報処理装置。
3. 前記位置特定部は、前記撮像画像データにおける前記登録位置に対応する領域に、同一の形状の複数の画像が含まれている場合、当該複数の画像のうち１つの画像を切り出すことにより前記店舗商品画像データを作成する、
   請求項２に記載の情報処理装置。
4. 前記画像取得部は、それぞれ異なる位置から前記商品棚及び前記商品が撮影された複数の前記撮像画像データを取得し、
   前記位置管理部は、前記複数の撮像画像データそれぞれに含まれている前記店舗商品画像データと前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定する、
   請求項２又は３に記載の情報処理装置。
5. 前記位置管理部は、前記複数の撮像画像データに含まれている複数の前記店舗商品画像データのうち、前記複数の登録商品画像データのいずれかに最も類似する店舗商品画像データに基づいて、当該店舗商品画像データが示す商品に対応する前記登録商品画像データを特定する、
   請求項４に記載の情報処理装置。
6. 前記位置管理部は、前記撮像画像データにおける前記登録位置に商品の画像が含まれていない場合、前記登録位置に関連付けられた前記登録商品画像データを前記データベースから削除する、
   請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記位置管理部は、前記データベースにおける前記登録位置に前記登録商品画像データが関連付けられていない場合、前記撮像画像データにおける前記登録位置に含まれている前記店舗商品画像データを、前記登録位置に関連付けて前記登録商品画像データとして前記データベースに登録する、
   請求項１から６のいずれか一項に記載の情報処理装置。
8. 前記位置管理部は、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、前記店舗で使用される店舗内装置に所定の通知を送信する、
   請求項１から７のいずれか一項に記載の情報処理装置。
9. 前記位置特定部は、前記撮像画像データに人が写っていることを検出した後に所定の条件が満たされた場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定する、
   請求項１から８のいずれか一項に記載の情報処理装置。
10. 前記撮像画像データを情報端末に送信する画像送信部と、
    前記情報端末から、前記情報端末に表示された前記撮像画像データにおいて所定の操作が行われたことを示す操作情報を取得する情報取得部と、
    をさらに有し、
    前記位置特定部は、前記情報取得部が前記操作情報を取得した場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定する、
    請求項１から９のいずれか一項に記載の情報処理装置。
11. コンピュータが実行する、
    店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得するステップと、
    前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定するステップと、
    前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定するステップと、
    特定した前記登録商品画像データに関連付けられた前記登録位置が、特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新するステップと、
    を有する情報処理方法。
12. 情報端末と、前記情報端末に商品に関する情報を提供する情報処理装置と、を備え、
    前記情報処理装置は、
    店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、
    前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、
    前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、
    前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、
    前記店舗商品画像データを前記情報端末に送信する画像送信部と、
    を有し、
    前記情報端末は、前記店舗商品画像データを表示する表示部を有する、
    情報処理システム。
    
    

Images