JP2014021795A - 電子機器および方法 - Google Patents

Abstract

【課題】ユーザが手に取った商品および視線を留めた商品の情報を、ユーザが購入した商品およびユーザ属性と関連付けて取得する。
【解決手段】ユーザが第１商品に手を伸ばしたことを示す情報を入力する第１入力部と、ユーザの属性を推定する推定部と、ユーザが第１商品を購入しなかった場合に、ユーザの属性に対応付けて第１商品に手を伸ばしたことを記憶する記憶部と、を備え、ユーザが第１商品と同一カテゴリの第２商品を購入した場合に、記憶部は、第２商品の情報を記憶する。
【選択図】図１

Description

本発明は、電子機器および方法に関する。

特許文献１には、買物客が手にとった商品の情報を人体通信を使って取得して、販売管理及び促進に用いる販売促進システムが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−２７７２５６号公報

しかし、この販売促進システムでは、買物客が手に取った商品の情報は取得できるが、詳細な販売動向および買物客の興味の傾向等を解析するまでには至っていなかった。

本発明の第１の態様においては、ユーザが第１商品に手を伸ばしたことを示す情報を入力する第１入力部と、前記ユーザの属性を推定する推定部と、前記ユーザが前記第１商品を購入しなかった場合に、前記ユーザの属性に対応付けて前記第１商品に手を伸ばしたことを記憶する記憶部と、を備える電子機器、および、このような電子機器による処理を実行する方法を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る情報処理システム１の構成を示すブロック図である。 本実施形態に係る情報処理システム１の概要を示す図である。 図３はユーザの購入プロセスを記録した情報を示すテーブルであり、図３（ａ）が商品購入前までの情報を示すテーブルである、図３（ｂ）がユーザの購入動作結果を示すテーブルである。 図３（ａ）のカテゴリラベルＧ３の商品Ｂ，商品Ｃの人体通信のタイミングを示す図である。 商品の配置を示す配列情報の一例を示す。 サーバ７０の情報処理部７３の処理の一例を示すフローチャートである。 サーバ７０の情報処理部７３の処理の一例を示すフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る情報処理システム１の構成を示し、図２は、情報処理システム１の使用例を示す。

情報処理システム１は、商品を販売する店舗等において用いられ、人体通信およびカメラ等を利用して、ユーザ（買物客）が興味を示した商品（手に取った商品または視線を向けた商品等）に関する情報を購入結果とともに収集する。

（情報処理システム１の構成）
情報処理システム１は、図１及び図２に示すように、商品の表面や包装等に取り付けられた商品情報部１０と、ユーザにより持ち運ばれるカゴ、カート等の収納部２０と、商品の陳列棚に設けられた棚タグ３０と、店舗の天井等に設けられた天井カメラ部４０と、商品の会計をするためのレジスターに設けられたレジ部５０と、会計をしているユーザを撮像するレジカメラ部６０と、天井カメラ部４０、レジ部５０及びレジカメラ部６０に接続されたサーバ７０と、を備える。

（商品情報部１０）
商品情報部１０は、各商品の表面に設けられたり、付加されたり、又は陳列棚におけるユーザが商品に手を伸ばした際に触れやすい位置に設けられ、ユーザが商品を手に取ったことに応じて商品情報を人体通信により送信する。商品情報部１０は、商品情報記憶部１１と、電極１２と、人体通信部１３と、を有する。なお、図２では一例として、各商品に付帯している商品タグを示している。

商品情報記憶部１１は、不揮発性のメモリであってよく、商品を識別するための商品情報を記憶している。商品情報は、商品のカテゴリを表すカテゴリラベル、および、カテゴリ内において商品を識別する商品ラベルを含む情報である。店舗内の全ての商品は、カテゴリラベルと商品ラベルとの組み合わせで特定される。

電極１２は、信号電極とグランド電極とを有し、収納部２０との間でユーザを介した人体通信により信号を授受する。電極１２は、ユーザが商品を手にとった場合において手に触れやすい位置に設けられている。

人体通信部１３は、商品情報記憶部１１及び電極１２に接続され、バンドパスフィルタを有した電気回路から構成される送信部を有し、送信するデータを変調して送信信号を生成する。なお、人体通信部１３は、データを受信する機能を有していてもよい。人体通信部１３は、商品情報記憶部１１に記憶された商品情報をユーザの体を介して収納部２０に対して送信する。

人体通信の方式としては、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式、および人体の表面に誘起する電力電界を変調して情報を伝達する電界方式等がある。本実施形態においては、電流方式及び電界方式の何れのタイプを用いることも可能である。電界方式を採った場合には、人体通信部１３は、ユーザが素手である場合（即ち、ユーザの手と電極１２とが接触している場合）はもちろん、ユーザが手袋をしている場合（即ち、ユーザの手と電極１２とが対向している場合）であっても使用可能であり、また、ユーザが電極１２に触れなくても手を近づけたことを検知することもできる。

（収納部２０）
収納部２０は、各ユーザが買い物中に商品を運ぶためのカゴ等であってよく、ユーザが手を伸ばした商品の商品情報を人体通信により収集する機能を有する。収納部２０は、電極２１と、人体通信部２２と、買物情報記憶部２３と、制御部２４と、無線通信部２５と、近接通信部２６と、を有する。

電極２１は、信号電極とグランド電極とを有し、商品情報部１０との間でユーザを介した人体通信により信号を授受する。電極２１は、ユーザがカゴを持ち運んでいる場合において、手や腕に触れる位置又はユーザの体の近傍となる位置に設けられている。

人体通信部２２は、電極２１に接続され、バンドパスフィルタを有した電気回路から構成される受信部を有し、入力した受信信号を復調して受信データを生成する。なお、人体通信部２２は、データを送信する機能を有していてもよい。人体通信部２２は、ユーザが商品情報部１０に手を伸ばしたときに（即ち、ユーザの手が商品情報部１０に人体通信ができる距離まで近づいたとき）、商品情報部１０からユーザの体を介して商品情報を受信する。人体通信部２２の人体通信の方式は、商品情報部１０において用いられている人体通信の方式と同一である。

買物情報記憶部２３は、不揮発性のメモリまたは揮発性のメモリであってよく、ユーザが手を伸ばした商品及び購入した商品を識別するための購入プロセス情報、および、カゴを識別するための識別情報を記憶している。

図３はユーザの購入プロセスを記録した情報を示すテーブルであり、図３（ａ）が商品購入前までの情報を示すテーブルであり、図３（ｂ）がユーザの購入動作結果を示すテーブルである。なお、図３（ｂ）は、サーバ７０の記憶装置に記憶されるデータ（買物情報記憶部２３には記憶されていないデータ）であり、その詳細については後述する。購入プロセス情報は、図３（ａ）に示すように、縦方向（行）が商品のカテゴリ（カテゴリラベルＧ１，Ｇ２，Ｇ３，…）、横方向（列）が商品のそのカテゴリ内における種別（商品ラベルＡ，Ｂ，Ｃ，…）を表しており、ユーザが手を伸ばしていないことを示す情報（×）、ユーザが手を伸ばしたことを示す情報（△）またはユーザが購入したことを示す情報（○）の何れかが記憶されている。また、△や○の数はユーザがその商品を手にした数や、購入した数を示している。

図４は、図３（ａ）のカテゴリラベルＧ３の商品Ｂ，商品Ｃの人体通信のタイミングを示す図であり、以下図３（ａ）と図４を用いてカテゴリラベルＧ３の商品Ｂ，商品Ｃの購入プロセスについて説明を続ける。

図３（ａ）に示すように、ユーザは、カテゴリラベルＧ３の商品Ｂを２個（以下、商品G3B1，商品G3B2という）手に取り、商品Ｃを１個（以下、商品G3Cという）手に取っている。

図４（ａ）に示すように、ユーザはある時間ｔ１で商品G3B1を手にして、時間ｔ２で手から離している。このため、人体通信が期間Ｔ１のあいだ成立している。人体通信部１３、２２の人体通信の結果だけでは、ユーザが手にした商品G3B1を収納部２０に入れたかどうかは不明であるが、天井カメラ部４０の撮像結果や、レジ部５０での会計結果からユーザの行動を特定することが可能となる。

また、図４（ｂ）に示すように、ユーザはある時間ｔ３で商品G3B2を手にして、時間ｔ４で手から離している。この場合、商品G3B1、商品G3B2は同じ商品でありユーザはこの商品Ｃを確認済みのため人体通信期間Ｔ２は、人体通信期間Ｔ１より短くなっている。これらの人体通信結果から、ユーザは商品G3B1を確認して興味を持ったため、商品G3B2を手にしたといえる。また、図４（ａ），（ｂ）からユーザが商品G3B1、商品G3B2をほぼ同時に手にしたのではなく、少し時間間隔おいて連続的に手にしたことを特定できる。

次に図４（ｃ）に示すように、ユーザはある時間ｔ5で商品G3Cを手にして、時間ｔ６で手から離している。商品G3Cを手にした期間（人体通信期間）Ｔ３は、人体通信期間Ｔ１よりは短く、人体通信期間Ｔ２よりは長くなっている。これは、同じカテゴリの異なる商品であることが起因している。

ユーザは、この後、図４（ｂ）に示すように、時間ｔ７で再び商品G3B2を手にして、時間ｔ８で手から離している。説明を簡単にするため、人体通信期間は前回商品G3B2を手にした時間と同じとする。このユーザの行動は、商品G3Cを手にしたため、収納部２０に収納した商品G3B2を商品棚に戻したか、収納部２０の中で位置をずらしたかを示している。

このように、人体通信部１３、２２の通信時間や通信回数によりユーザの行動を検出することができる。この検出したユーザ行動を特定するために、本実施形態では、図３（ａ），（ｂ）を比較して（詳細後述）、ユーザが商品G3B1を購入し、商品G3B2を購入しなかった（商品棚に戻した）ことを特定するとともに、商品G3Cを１個購入したことを特定する。また、ユーザが最初に商品G3B1を手に取り（興味を持ち）、その後に商品G3Cを手にしたことを特定できるようになっている。

図１に戻って、制御部２４は、ＣＰＵ（Central Processing Unit）を有し、人体通信部２２、買物情報記憶部２３、無線通信部２５及び近接通信部２６に接続されて収納部２０の全体を制御する。図３に示すように、制御部２４は、上述したように、商品情報部１０から人体通信により商品情報を受け取り、購入プロセス情報における当該商品情報（カテゴリラベルおよび商品ラベル）により特定されるセルに、手を伸ばしたことを示す情報（△）を書き込む。

無線通信部２５は、買物情報記憶部２３に接続され、無線ＬＡＮ（Local Aria Network）、ＢｌｕｅＴｏｏｔｈ（登録商標）又は赤外線通信等の無線通信により、天井カメラ部４０やサーバ７０と通信を行う。無線通信部２５は、ユーザが立ち止まったときに買物情報記憶部２３に記憶された識別情報を天井カメラ部４０に送信したり、サーバ７０からの指令を受信したりする。

近接通信部２６は、ＦｅｌｉＣａ（登録商標）等の非接触通信、トランスファージェット（登録商標）等の近接無線転送技術または近距離無線通信（ＮＦＣ）等の近接通信によりレジ部５０と通信を行ない、レジ部５０に購入プロセス情報を送信する。これに代えて、近接通信部２６は、電気的に電極を接触させる有線の通信方式によりレジ部５０と通信を行ってもよい。近接通信部２６は、会計時において、買物情報記憶部２３に記憶されている識別情報及び購入プロセス情報をレジ部５０に送信する。なお、近接通信部２６がレジ部５０と通信するタイミングは、通信が可能となった時点や、天井カメラ部４０によりユーザがレジ部５０に近づいた時点（すなわち、買物が終了したと推定される時点）などである。なお、天井カメラ部４０により、ユーザがレジ部５０に近づいたことを認識する場合には、近接通信部２６を省略し、無線通信部２５を用いてレジ部５０との通信を行うようにしてもよく、サーバ７０に識別情報や購入プロセス情報を送信してもよい。

計時部２７は、各種時間を計時するものであり、ユーザが来店して収納部２０を持ってからレジ部５０に行くまでの買物（滞在）時間や、興味のある商品の前で足を止めていた時間や、商品を手にしていた時間などを計時するものであり、この計時結果は買物情報記憶部２３に記憶される。

（棚タグ３０）
棚タグ３０は、図２に示すように、商品の陳列棚に設けられ、この陳列棚を識別する情報やこの陳列棚に設けられている商品の情報（以下、棚ラベルという）を天井カメラ部４０に送信するものである。棚タグ３０は、棚情報記憶部３１と、無線通信部３２と、を有する。

棚情報記憶部３１は、不揮発性のメモリであってよく、棚ラベルを記憶している。無線通信部３２は、棚情報記憶部３１に接続され、無線通信により天井カメラ部４０と通信を行う。無線通信部３２は、棚情報記憶部３１に記憶された棚ラベルを天井カメラ部４０に送信する。

（天井カメラ部４０）
天井カメラ部４０は、店舗の天井や壁等に複数設けられ、ネットワークを介してサーバ７０と接続されている。天井カメラ部４０は、撮像部４１と、第１無線通信部４２と、第２無線通信部４３と、解析部４４と、制御部４６と、を有する。なお、天井カメラ部４０を構成する各ユニットは必ずしも一体的に設ける必要はなく、分離して設けるようにしてもよい。

撮像部４１は、レンズ群と、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とを有しており、被写体を撮像して動画または静止画を出力する。撮像部４１は、売り場及びユーザを天井方向から撮像する。

第１無線通信部４２は、無線通信により棚タグ３０と通信を行う回路である。第１無線通信部４２は、撮像部４１の撮像可能範囲内に設置された陳列棚を特定するために、設置時等に棚タグ３０と通信を行い、棚ラベルを受信する。なお、撮像部４１の撮像結果により陳列棚が特定できる場合には、第１無線通信部４２を省略してもよい。

第２無線通信部４３は、無線通信により収納部２０やサーバ７０と通信を行う回路である。第２無線通信部４３は、撮像部４１の撮像可能範囲内に存在するユーザを特定するために、ユーザが撮像部４１の撮像可能範囲にユーザが入った場合にそのユーザが保持している収納部２０と通信を行い、識別情報を受信する。また、後述する解析部４４の解析結果を収納部２０やサーバ７０に送信する。この場合、収納部２０は、この解析結果を買物情報記憶部２３に記憶し、その一部（例えば視線情報）を図３（ａ）のテーブルに加えるようにしてもよい。

なお、第１無線通信部４２と第２無線通信部４３とを１つの通信部としてもよい。

解析部４４は、ＡＳＩＣ（Application Specific Integrated Circuit）等により構成され、撮像部４１が出力する画像データから、ユーザの移動速度（複数の画像データの差分から算出）、ユーザが手にした商品を収納部２０に入れたか、陳列棚に戻したかどうかの解析、ユーザの視線の先の位置（陳列棚及び棚の中の位置）を表す情報を解析する。解析部４４は、パターン認識部４７と、形状判定部４８と、視線判定部４９と、を有する。パターン認識部４７は、撮像部４１と接続され、撮像部４１により撮像された撮像画像を解析して、撮像画像に映っているユーザの頭の輪郭および体の輪郭、手の輪郭等のパターンを認識する。

形状判定部４８は、パターン認識部４７と接続され、パターン認識部４７により検出されたパターンから当該パターンの大きさの変化（例えば頭の大きさまたは肩の幅の変化）およびパターンの動きを解析する。そして、形状判定部４８は、パターンの大きさの変化およびパターンの動きの解析結果から、ユーザの姿勢の変化（例えば立っている又はしゃがんでいる等の動き、体の向き、顔の方向、顔の上下方向の角度、および、顔の高さ等）を判定する。なお、ユーザの姿勢の変化の検出については、本願出願人が先に出願した特開２０１１−１４１７３０号公報に記載されている。

視線判定部４９は、形状判定部４８と接続され、形状判定部４８により判定されたユーザの姿勢の変化から、ユーザの視線が向いている位置を推定する。そして、視線判定部４９は、ユーザの視線が一定時間以上一箇所に留まった場合に、留まった視線の位置を示す視線情報を生成する。視線情報は、ユーザの視線の先の陳列棚を表す棚ラベル（第１無線通信部４２により受信していた情報）、および、陳列棚内における何れの位置に視線を向いているかを示す情報（陳列棚内における高さ位置および横位置）を含む情報である。

制御部４６は、ＣＰＵを有し、撮像部４１、第１無線通信部４２、第２無線通信部４３及び解析部４４と接続されて天井カメラ部４０の全体を制御する。具体的には、制御部４６は、撮像部４１を制御して、買い物をしているユーザを撮像し、解析部４４による解析を制御する。

（レジ部５０）
レジ部５０は、ユーザが商品の会計をするためのレジスターに設けられ、ネットワークを介してサーバ７０と接続されている。レジ部５０は、会計時に収納部２０から購入プロセス情報等を取得してサーバ７０に転送する。レジ部５０は、近接通信部５１と、制御部５２と、無線通信部５３と、を有する。

近接通信部５１は、会計前や会計時において収納部２０と通信を行う回路であり、収納部２０の近接通信部２６と同一の通信方式で通信を行う。近接通信部５１は、収納部２０から識別情報及び購入プロセス情報を受信する。

制御部５２は、ＣＰＵを有し、近接通信部５１及び無線通信部５３に接続されてレジ部５０の全体を制御する。具体的には、制御部５２は、ユーザが購入した商品の商品情報（カテゴリラベルおよび商品ラベル）を不図示のメモリから取得する。そして、図４に示すように、制御部５２は、購入プロセス情報における購入商品の商品情報（カテゴリラベルおよび商品ラベル）により特定されるセルに、ユーザが購入したことを示す情報（○）を書き込む。これにより、購入プロセス情報の各セルには、ユーザが手を伸ばしていないことを示す情報（×）、ユーザが手を伸ばしたことを示す情報（△）、または、ユーザが購入したことを示す情報（○）の何れかが書き込まれた状態となる。

無線通信部５３は、ネットワークを介してサーバ７０と通信する。無線通信部５３は、制御部５２により購入した商品に関する情報が反映された後の購入プロセス情報、及び、識別情報をサーバ７０に送信する。なお、無線通信部５３を有線による通信としてもよい。なお、サーバ７０をレジ部５０の近傍に設けることができる場合にはレジ部５０を省略し、サーバ７０によりレジ部５０の処理を行なうようにしてもよい。

（レジカメラ部６０）
レジカメラ部６０は、ユーザの属性を検出するために用いるユーザの画像を撮像する。レジカメラ部６０は、会計時のユーザの顔または半身等を撮像できる位置に設けられ、ネットワークを介してサーバ７０と接続されている。レジカメラ部６０は、撮像部６１と、無線通信部６２と、制御部６３と、を有する。

撮像部６１は、レンズ群と、ＣＣＤイメージセンサ又はＣＭＯＳセンサ等の撮像素子とを有しており、被写体を撮像して動画または静止画を出力する。撮像部６１は、会計時においてユーザの顔を撮像する。

無線通信部６２は、ネットワークを介してサーバ７０と通信する。無線通信部６２は、撮像部６１により撮像されたユーザの顔の画像データをサーバ７０に送信する。

制御部６３は、ＣＰＵを有し、撮像部６１及び無線通信部６２と接続されてレジカメラ部６０の全体を制御する。例えば、制御部６３は、ユーザの顔が撮像可能範囲に適切に含まれるように撮像部６１の撮像位置および倍率を調整し、ユーザの顔を適切なタイミングで撮像することができるように撮像タイミングを制御する。

（サーバ７０）
サーバ７０は、天井カメラ部４０、レジ部５０およびレジカメラ部６０とネットワークを介して接続されるコンピュータ装置であり、本実施形態においては、情報処理システム１全体を制御するものとする。このサーバ７０は、無線通信部７１と、記憶装置７２と、情報処理部７３と、表示部７５と、を有する。

無線通信部７１は、ネットワークを介して天井カメラ部４０、レジ部５０およびレジカメラ部６０と通信する。無線通信部７１は、天井カメラ部４０から視線情報を受信し、レジ部５０から購入プロセス情報および識別情報を受信し、レジカメラ部６０からユーザの顔の画像データを受信する。なお、無線通信部７１の一部を有線による通信としてもよい。

記憶装置７２は、ハードディスク等の不揮発性の容量記憶装置である。記憶装置７２は、情報処理部７３により処理される各種の情報及びサーバ７０の動作に用いられるプログラム及びデータ等を記憶している。

具体的には、記憶装置７２は、各商品がどの陳列棚のどの位置に配置されているかを示す配列情報を記憶する。図５に示すように、配列情報は、陳列棚毎に、当該陳列棚に配置されている商品のカテゴリを示すカテゴリラベル（Ｇ１，Ｇ２，Ｇ３，…）、および、当該陳列棚に配置されている各商品（商品ラベルＡ，Ｂ，Ｃ，Ｄ，…）の陳列棚内の位置（高さ位置および横位置）を含む情報である。

情報処理部７３は、ＣＰＵ及び入出力インターフェイス等を有し、無線通信部７１、記憶装置７２、及び表示部７５に接続されて演算処理およびサーバ７０に加え、情報処理システム１全体を制御する。具体的には、情報処理部７３は、ネットワークを介して各ユニットを制御したり、無線通信部７１が天井カメラ部４０から位置情報を受信したことに応じて、図５に示した配列情報を検索して、視線情報に示された位置に配置された商品の商品情報（識別情報及び商品ラベル）を検出する。

また、情報処理部７３は、会計時において無線通信部７１がレジカメラ部６０から受信したユーザの顔の画像を解析して、ユーザの属性（例えば性別及び年齢）を検出する。なお、画像を用いた性別判定や年齢判定は、例えば日本特許第４２７３３５９号公報（米国特許出願公開２０１０/０２１７７４３号明細書）に開示された方法を使用することができる。

（情報処理システム１の処理）
つぎに、本実施形態の情報処理システム１における処理について、フローチャートに沿って説明する。図６は、サーバ７０の情報処理部７３の処理の一例を示すフローチャートであり、本実施形態においては、ユーザが収納部２０を保持して、天井カメラ部４０により撮像された時点でスタートするものとする。なお、ユーザが収納部２０を保持した時点から計時部２７によりユーザの滞在時間の計測が始まるものとする。

情報処理部７３は、ステップＳ１１において、解析部４４の解析に基づき、ユーザの移動速度が所定値以下になったかどうかを判断する。具体的には、情報処理部７３は、ユーザが立ち止まっていることを検出するため、移動速度がほとんどゼロまたは時速１Ｋｍ以下かどうかを判断する。情報処理部７３は、ユーザが立ち止まるまでステップＳ１１を繰り返す。

情報処理部７３は、実質的にユーザが立ち止まるとステップＳ１２において、収納部２０の計時部２７によりユーザが立ち止まっている第１売り場での滞在時間の計測を開始する。

情報処理部７３は、ステップＳ１３において、ユーザが立ち止まった位置に対応する天井カメラ部４０に対して識別情報を送信するように収納部２０を制御する。

情報処理部７３は、ステップＳ１４において、商品情報部１０と、収納部２０との間で人体通信が開始したか（成立したか）を検出する。ここでは、ユーザが商品に手を伸ばそうとはしなかったため、その判断をＮｏとしてステップＳ１５に進むものとする。

情報処理部７３は、ステップＳ１５において、視線判定部４９によりユーザの視線を推定し、ユーザが商品を手にしなかったものの注視していた棚の位置から商品のカテゴリラベルや商品ラベルを推定する。

情報処理部７３は、ステップＳ１６において、移動速度が所定値以下の状態が継続しているかどうかを解析部４４を用いて判定する。ここでは、ユーザが移動を開始して移動速度が所定速度を超えたとし、ステップＳ１７に進むものとする。

情報処理部７３は、ステップＳ１７において、ユーザが第１売り場にいた時間の計測を終了し、第１売り場にいた時間を買物情報記憶部２３に記憶する。

情報処理部７３は、ステップＳ１８において、ユーザがレジに並んだかどうかを判定する。ここではレジに並ばなかったものとしてステップＳ１１に戻り、第２売り場に立ち止まるものとする（ステップＳ１１からステップＳ１３を繰り返す）。

情報処理部７３は、ステップＳ１４において、商品情報部１０と、収納部２０との間で人体通信が開始したか（成立したか）を検出し、ここでは図４（ａ）の時間ｔ１で商品G3B1との人体通信が成立したものとして、ステップＳ１９に進む。

情報処理部７３は、ステップＳ１９において、計時部２７を用いて人体通信が成立した時間ｔ１からの人体通信時間を計測する。

また、情報処理部７３は、ステップＳ１９とほぼ並行してステップＳ２０において、ユーザが手にしている商品に関する情報を商品情報記憶部１１から取得する。なお、本実施の形態においては、商品情報記憶部１１から取得した情報は、買物情報記憶部２３に記憶されるものとする。

情報処理部７３は、ステップＳ２１において、商品G3B1との人体通信が終了したかどうかを検出する。ここでは、時間ｔ２で人体通信が終了したものとしてステップＳ２２に進む。なお、情報処理部７３は人体通信が成立している間はステップＳ２１を繰り返す。

情報処理部７３は、ステップＳ２２において、計時部２７による人体通信時間の計時を終了して、計測した人体通信期間Ｔ１を商品情報記憶部１１から取得した情報と紐つけて買物情報記憶部２３に記憶する。

情報処理部７３は、ステップＳ２３において、ユーザの移動速度が所定値以下かどうかを判定し、ユーザが第２売り場に留まっているのか、移動したのかを検出する。図４（ｂ），（ｃ）からも判るようにユーザは第２売り場に留まっているので、情報処理部７３は商品G3B2、商品G3Cとの間の人体通信期間Ｔ２、Ｔ３を取得するまで、ステップＳ１４からステップＳ２３を繰り返す。

ユーザが第２売り場から移動すると、情報処理部７３は、ステップＳ１７において、計時を終了してユーザが第２売り場にいた時間を買物情報記憶部２３に記憶する。

ユーザがレジに並ぶと、情報処理部７３は、ステップＳ１８の判断をYesとして本フローチャートを終了し、引続き、図７のフローチャートを開始する。なお、図６、７のフローチャ−トは、フローチャートを簡略化するために分けているに過ぎず、例えば、図６のフローチャートにおいてユーザがレジに並んだ時点で買物情報記憶部２３に記憶された情報をレジ部５０に送信するようにしてもよい。

以下、図７のフローチャートに沿って、情報処理部７３による処理の説明を続ける。
情報処理部７３は、ステップＳ３１において、近接通信部２６、５１により買物情報記憶部２３に記憶された購入プロセス情報と識別情報とをレジ部５０の不図示のメモリに記憶させる。なお、情報処理部７３は、購入プロセス情報と識別情報とを無線通信部２５、７１を用いてサーバ７０の記憶装置７２に記憶させるようにしてもよい。

情報処理部７３は、ステップＳ３２において、レジ部５０の制御部５２を用いて、ユーザが購入した商品の情報である購入品情報をレジ部５０の不図示のメモリに記憶させる。

情報処理部７３は、ステップＳ３３において、レジカメラ部６０の撮像部６１によりユーザの撮像を行ない、この画像データを無線通信部６２、７１を介してサーバ７０に送信するタイミングで不図示のメモリに記憶された各種情報を無線通信部５３、７１を用いてサーバ７０に送付する。これにより、サーバ７０は、ユーザの画像データと、レジ部５０から送信された各種情報を紐つけて記憶装置７２に記憶することができる。

情報処理部７３は、ステップＳ３４において、ユーザの購入動作分析を行なう。具体的には、ユーザの画像データからユーザの属性を検出し、購入プロセス情報と購入品情報とを比較して購入動作結果（図３（ｂ）のテーブル）を作成する。なお、情報処理部７３は、ユーザの属性を検出した後に記憶装置７２に記憶された画像データを削除することにより、ユーザのプライバシーを保護することができる。

ここで、図３（ａ），（ｂ）及び図４を参照して、情報処理部７３によるユーザの購入動作分析について説明を行う。なお、図３（ｂ）の△の数はユーザがその商品を手にした数であり、○は手にした商品のうち購入に至った数を表している。また、図３（ａ），（ｂ）のテーブルからユーザが手を伸ばしていない商品情報を省略しても構わない。

商品G3B1については、ユーザが比較的長い時間手にして（検討して）、収納部２０に収納して購入したことがわかる。ついでユーザは少しの時間間隔をおいて連続的に同じ商品G3B2を手にして収納部２０に一度は収納したものの、商品G3B1を手にして収納部２０に収納した後に、商品G3B2を棚に戻して購入しなかったことがわかる。このように、このユーザは、同じカテゴリの同じ商品を２個購入するのではなく、同じカテゴリの異なる商品を２個購入したことがわかる。また、情報処理部７３により、ユーザが同じ商品を複数手にした場合に、ほぼ同時に手にしたか、連続的に手にしたか、その他の商品を一度手にした後に不連続に手にしたかを検出することができる。更に、ユーザの滞在時間、第２売り場での滞在時間、商品を手にした時間などから、ユーザが購入する商品を事前に決めていたかどうかもわかる。また、第２売り場に立ち止まってから商品に手を伸ばすまでの時間が長かったような場合には、ユーザがその商品を見つけにくかったことなども検出でき、商品棚のレイアウト変更の要否判断にも上述の実施形態を用いることができる。また、ユーザが同じカテゴリの異なる商品を数多く手にした場合には、ユーザが事前にはどの商品を購入するかまでは決めずに来店したことを検出することもできる。購入されなかった商品についてもユーザが手を伸ばしたのか、視線は向けたのか、見向きもしなかったかなどの情報を収集することができ、これらの情報を各メーカにフィードバックしてもよく（自社商品がどの他社商品と競合し、購入されているか購入されていないか）、更に、店舗や、地域や、ユーザの属性毎の情報を加えたデータとしてマーケティングに用いてもよい。

以上のように、本実施形態に係る情報処理システム１によれば、ユーザが手に取った商品の情報およびユーザが視線を留めた商品の情報を、最終的に購入した商品及びユーザの属性との関連付けをして記憶することができる。これにより、本実施形態に係る情報処理システム１によれば、詳細な販売動向およびユーザの興味の傾向等を解析することができる。

例えば、情報処理システム１は、商品である衣服を試着してから、商品を購入するような店舗において適用することもできる。この場合、情報処理システム１では、購入した商品と手にとった（試着をしたが）が購入しなかった商品とを比較したときに、サイズが異なっており同一のデザインおよび色であれば、ユーザが手にとったが購入しなかった理由が、例えばサイズが異なるためであることと解析することができる。また、情報処理システム１では、試着をしたが購入した商品が、購入した商品と比較してデザインまたは色が異なる場合には、ユーザが購入しなかった理由が、デザインまたは色の好みの問題であることと解析することができる。

また、情報処理システム１が食品を販売する店舗に適用することもできる。この場合、情報処理システム１では、購入した商品と手にとったが購入しなかった商品とを比較したときに、量が異なり同一商品であれば、ユーザが手にとったが購入しなかった理由が、量が異なるためであることと解析することができる。また、情報処理システム１では、手にとったが購入しなかった商品が、購入した商品と比較して、同一のサイズおよび品質であるがメーカが異なる場合には、ユーザが購入しなかった理由が、メーカの好みの問題であることと解析することができる。

なお、天井カメラ部４０の撮像部４１の撮像可能範囲に複数のユーザが含まれる場合がある。このような場合、天井カメラ部４０の制御部４６は、複数のユーザのそれぞれの識別情報と、撮像部４１に撮像されている各ユーザとの対応付けを行う。例えば、制御部４６は、撮像部４１にカゴの拡大像を撮像させ、カゴに表示された情報を画像から読み取ることにより識別情報を検出して、撮像画像に含まれているユーザと識別情報との対応付けをする。

また、棚タグ３０は、棚ラベルを無線通信により天井カメラ部４０に送信するのではなく、バーコード等の２次元コードであってもよい。この場合、天井カメラ部４０は、撮像部４１により陳列棚に設けられた２次元コードを撮像して陳列棚の配置を特定する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ 情報処理システム、１０ 商品情報部、１１ 商品情報記憶部、１２ 電極、１３ 人体通信部、２０ 収納部、２１ 電極、２２ 人体通信部、２３ 買物情報記憶部、２４ 制御部、２５ 無線通信部、２６ 近接通信部、２７ 計時部、３０ 棚タグ、３１ 棚情報記憶部、３２ 無線通信部、４０ 天井カメラ部、４１ 撮像部、４２ 第１無線通信部、４３ 第２無線通信部、４４ 解析部、４６ 制御部、５０ レジ部、５１ 近接通信部、５２ 制御部、５３ 無線通信部、６０ レジカメラ部、６１ 撮像部、６２ 無線通信部、６３ 制御部、７０ サーバ、７１ 無線通信部、７２ 記憶装置、７３ 情報処理部、７５ 表示部

Claims (16)

1. ユーザが第１商品に手を伸ばしたことを示す情報を入力する第１入力部と、
   前記ユーザの属性を推定する推定部と、
   前記ユーザが前記第１商品を購入しなかった場合に、前記ユーザの属性に対応付けて前記第１商品に手を伸ばしたことを記憶する記憶部と、を備える電子機器。
2. 前記ユーザが前記第１商品と同一カテゴリの第２商品を購入した場合に、
   前記記憶部は、前記第２商品の情報を記憶する請求項１に記載の電子機器。
3. 前記記憶部は、前記ユーザが手を伸ばさなかった前記同一カテゴリの第３商品の情報を記憶する請求項２に記載の電子機器。
4. 前記第１入力部は、少なくとも前記第１商品を載置する棚に設けられた電極と、前記ユーザに保持され前記第１商品を収容可能な収納部に設けられた電極とを用いた人体通信により前記ユーザが前記第１商品に手を伸ばしたことを示す情報を入力する請求項２または３に記載の電子機器。
5. 前記第１入力部は、前記第１商品に設けられた電極と、前記ユーザに保持され前記第１商品を収容可能な収納部に設けられた電極とを用いた人体通信により前記ユーザが前記第１商品を手にした情報を入力するとともに、前記人体通信が行われていた時間を入力する請求項２から４のいずれか一項に記載の電子機器。
6. 前記推定部は、前記ユーザを撮像可能な第１撮像部の撮像結果に基づいて前記ユーザの属性を推定する請求項２から５のいずれか一項に記載の電子機器。
7. 前記推定部は、前記第１撮像部による会計中の前記ユーザの撮像に基づいて前記ユーザの属性を推定する請求項６記載の電子機器。
8. 前記ユーザを上方より撮像可能な第２撮像部の撮像結果に基づいて、前記第１入力部が入力する情報とは異なる情報を入力する第２入力部を備えた請求項１から７のいずれか一項に記載の電子機器。
9. 前記第２入力部は、前記第２撮像部の撮像結果に基づいて、前記ユーザの視線に関する情報を入力する請求項８記載の電子機器。
10. 前記第２入力部は、前記第２撮像部の撮像結果に基づいて、前記ユーザの姿勢の変化を入力する請求項８または９に記載の電子機器。
11. ユーザと第１商品との人体通信時間および人体通信回数を入力する入力部と、
    前記入力部の入力結果に基づいて、前記ユーザの前記第１商品の購買動作もしくは不購買動作を検出する検出部と、を備えた電子機器。
12. 前記検出部は、複数個の前記第１商品を前記ユーザがほぼ同時に手にしたかどうかを検出する請求項１１記載の電子機器。
13. 前記検出部は、複数個の前記第１商品を前記ユーザが連続して手にしたかどうかを検出する請求項１１記載の電子機器。
14. 前記入力部は、前記ユーザが前記第１商品との人体通信が成立するまでの時間を入力し、
    前記検出部は、前記人体通信が成立するまでの時間に基づいて前記ユーザの前記第１商品の購買動作もしくは不購買動作を検出する請求項１１または１２記載の電子機器。
15. ユーザが第１商品に手を伸ばしたことを示す情報を入力する第１入力ステップと、
    前記ユーザの属性を推定する推定ステップと、
    前記ユーザが前記第１商品を購入しなかった場合に、前記ユーザの属性に対応付けて前記第１商品に手を伸ばしたことを記憶する記憶ステップと
    を含む方法。
16. ユーザと第１商品との人体通信時間および人体通信回数を入力する入力ステップと、
    前記入力結果に基づいて、前記ユーザの前記第１商品の購買動作もしくは不購買動作を検出するステップと、を含む方法。

Images