JP2019032778A - 購買支援システム - Google Patents

Abstract

【課題】ユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、人型ロボットによる購買支援を行う。【解決手段】商品陳列棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚の商品に対する消費者の動きを取得する第２センサ機器とを含むセンシングユニットを備える商品陳列棚システムと、消費者への接客に関する発話及び／又は動作を行う接客ロボットと、センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別する管理装置と、を有する。管理装置は、顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、商品に対する消費者の動きに基づいて棚前行動パターンを特定し、これら各パターンに対応する消費者の購買意欲パターンを判別する。【選択図】図３

Description

本発明は、商品陳列棚に対する消費者の購買意欲を総合的に分析し、人型ロボットによる接客サービスを提供する購買支援技術に関する。

特許文献に１，２に記載のように、消費者に対して広告情報などを表示して購買意欲を促進させる技術が提案されている。

特開２０１５−８８１６６号公報 特開２０１５−１５６２１１号公報

しかしながら、特許文献１，２に記載のような従来の技術は、商品を手に取る動作や視線を検出するなどして、消費者の行動に応じた商品表示を行っているものの、その行動の一部分しか検出していないため、消費者の心理や購買意欲を総合的に把握するものではなく、消費者の心理や行動に適した情報の提供を行うことができなかった。

さらに、特許文献１，２に記載のような技術では、消費者は、商品陳列棚を通じて購買意欲を高める商品表示や演出を受けることはできるが、接客サービスを受けるには、実際に店員に問い合わせる必要があった。この場合、消費者は、近くに店員がいないときは店員を探さなければならない。また、店員によっては接客サービスの内容が変わることがあり、消費者の心理や購買意欲に応じた接客サービスを受けられない場合が生じていた。

そこで、本発明の目的は、商品陳列棚に対するユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、人型ロボットによる接客サービスを提供する購買支援システムを提供することにある。

（１）本発明の購買支援システムは、商品陳列棚と、棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットと、を備える商品陳列棚システムと、消費者への接客に関する発話及び／又は動作を行う接客ロボットと、ネットワークを介して前記商品陳列棚システムと接続され、前記センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別する管理装置と、を有する。

前記管理装置は、前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、かつ商品に対する消費者の動きに基づいて棚前行動パターンを特定し、特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する分析制御部と、複数の前記購買意欲パターン毎に前記接客ロボットに行わせる前記接客に関する発話及び／又は動作を規定した接客制御情報をそれぞれ記憶する記憶部と、判別された前記購買意欲パターンに応じた前記接客制御情報を選択し、選択された前記接客制御情報を提供するコンテンツ制御部と、を有する。

（２）上記（１）において、前記記憶部は、消費者の前記棚前心理パターン及び／又は前記棚前行動パターンごとの前記各接客制御情報をそれぞれ記憶しており、前記コンテンツ制御部は、特定された前記棚前心理パターンに応じた前記接客制御情報及び／又は特定された前記棚前行動パターンに応じた前記接客制御情報を選択し、前記棚前心理パターン及び／又は前記棚前行動パターンに応じた前記接客制御情報を提供するように構成することができる。

（３）上記（１）又は（２）において、前記接客制御情報は、複数の言語別の発話情報を含むことができ、前記管理装置は、前記接客ロボット又は前記商品陳列棚システムを介して収集された消費者の発話音声に基づいて消費者の使用言語を判別し、前記コンテンツ制御部は、判別された前記使用言語に応じた前記発話情報を含む前記接客制御情報を選択して提供するように構成することができる。

（４）上記（１）から（３）において、前記分析制御部は、前記顔画像から消費者の性別、年齢層を含む消費者属性を所定の顔認識処理に基づいて抽出し、前記顔画像及び前記消費者属性が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、商品陳列棚が設置された店舗への来店履歴と、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴とを、特定された前記ユーザプロファイル情報に関連付けて記憶することができる。そして、前記コンテンツ制御部は、前記ユーザプロファイル情報に基づく消費者の前記性別、前記年齢層、前記来店履歴及び前記購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、前記接客制御情報を選択し、選択された前記接客制御情報を提供するように構成することができる。

（５）上記（１）から（３）において、前記分析制御部は、前記顔画像が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴を前記ユーザプロファイル情報に関連付けて記憶することができる。そして、前記人型ロボットを制御させるための前記接客制御情報の送信処理の結果と前記購買履歴とに基づいて、商品の購買に繋がった前記送信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価する学習制御部をさらに備えるように構成することができる。

（６）上記（５）において、前記学習制御部は、前記接客ロボット又は前記商品陳列棚システムを介して収集された消費者の発話音声に基づく使用言語別に、商品の購買に繋がった前記送信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価するように構成することができる。

（７）上記（１）から（５）において、前記センシングユニットは、商品陳列棚に陳列された商品の移動を検出する第３センサ機器をさらに備えることができ、前記分析制御部は、前記第２センサ機器及び前記第３センサ機器のセンサ検出情報を組み合わせて消費者が特定の商品を手に取ったか否かを前記棚前行動パターンとして特定するように構成することができる。

（８）上記（１）から（７）において、前記接客ロボットは、前記第１センサ機器に相当する第４センサ機器と、前記第２センサ機器に相当する第５センサ機器と、をさらに備えることができ、前記管理装置は、前記センシングユニットで取得された各センサ検出情報に代わり、前記第４センサ機器及び前記第５センサ機器で取得された各センサ検出情報を前記接客ロボットから直接に、または前記接客ロボットと接続される前記商品陳列棚システムを経由して受信し、消費者の前記購買意欲を判別するように構成することができる。

本発明によれば、商品陳列棚に対するユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、人型ロボットによる接客サービスを伴う購買支援を行うことができる。

第１実施形態の人型ロボットによる接客サービスを提供する購買支援システムの構成図である。 第１実施形態の購買支援システムを構成する商品陳列棚システム、人型ロボット及び管理装置の構成ブロック図である。 第１実施形態の購買支援方法に含まれるセンシングユニット機能、アナリティクスユニット機能、出力ユニット機能及び人型ロボットの接客機能を説明するための図である。 第１実施形態のユーザプロファイルの一例を示す図である。 第１実施形態のユーザ行動（消費者行動）に基づく配信コンテンツ及び人型ロボットの発話／動作の制御例を示す図である。 第１実施形態の棚前心理分析及び棚前行動分析の一例を示す図である。 第１実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対する配信コンテンツパターンの一例を示す図である。 第１実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対する発話／動作パターンの一例を示す図である。 第１実施形態の第１フェーズにおけるマッチングによる人型ロボットの制御の一例を示す図である。 第１実施形態の第２フェーズにおけるマッチングによる人型ロボットの制御の一例を示す図である。 第１実施形態の第３フェーズにおけるマッチングによる人型ロボットの制御の一例を示す図である。 第１実施形態の商品陳列棚システムと管理装置の処理フローを示す図である。 第１実施形態の第１，２フェーズにおける購買支援システム全体の処理フローを示す図である。 第１実施形態の第３フェーズにおける購買支援システム全体の処理フローを示す図である。

以下、実施形態につき、図面を参照して説明する。

（第１実施形態）
図１から図１３は、第１実施形態を示す図である。図１は、本実施形態の商品陳列棚を介した人型ロボットによる購買支援システム（以下、購買支援システムと称する）の構成図である。購買支援システムは、商品陳列棚システム１００と人型ロボット（接客ロボットに相当する）２００と管理装置（購買支援管理装置に相当する）３００とを含んで構成される。商品陳列棚システム１００と人型ロボット２００とは、有線又は無線で接続される。商品陳列棚システム１００と管理装置３００とは、ＩＰ網などのネットワークを介して、有線又は無線で接続される。

図１に示すように、商品陳列棚システム１００は、高さ（Ｚ方向）に延びる棚本体部１と、棚本体部１から前方に延設された商品陳列部２Ａ，２Ｂ，２Ｃとで構成される商品陳列棚をベースとしている。複数の商品陳列部２Ａ，２Ｂ，２Ｃは、所定の間隔で高さ方向に離間して配置されている。商品陳列部２Ａ，２Ｂ，２Ｃは、所定の横幅（Ｘ方向）及び奥行き（Ｙ方向）を有し、棚本体部１からＹ方向に突出している。なお、商品陳列部２Ａ，２Ｂ，２Ｃは、商品陳列部２Ａ，２Ｂ，２Ｃの上面が高さ方向に対して下方に傾くように設けることもできる。図１に示す商品陳列棚は一例であり、少なくとも所定の横幅及び奥行きを有する商品陳列エリアが形成された棚であればよい。

商品陳列棚システム１００は、図１に例示するように、カメラ１１０Ａ（第１センサ機器に相当する），モーションセンサ１１０Ｂ（第２センサ機器に相当する）、静電容量センサ１１０Ｃ（第３センサ機器に相当する）などのセンシングユニット１１０と、ディスプレイ装置１２０Ａ，モニタユニット１２０Ｂ、スピーカ１２０Ｃ、香発生装置１２０Ｄなどの出力ユニット１２０と、コントロールユニット１３０と、が設けられている。

カメラ１１０Ａは、棚前のユーザ（消費者）を撮影する撮影装置であり、ユーザの静止画や動画を撮影する。モーションセンサ１１０Ｂは、赤外線やレーザーを利用した距離画像センサを備えた非接触型のモーションセンサであり、画像内の物体までの距離を検出することができる。距離画像センサとしては、「Light Coding（パターン照射方式）」方式や「TOF（Time of Flight）」方式などがあり、赤外線やレーザーを照射してその反射を読み取ることで距離を測定する。距離画像センサとは別に物体の位置を検出するカメラと組み合わせて、例えば、位置及び距離に基づいて、人物の動きを検出する。

カメラ１１０Ａ及びモーションセンサ１１０Ｂは、少なくとも棚前に位置するユーザの上半身を撮影するために、商品陳列棚の上部に設けられている。一方、静電容量センサ１１０Ｃは、商品陳列部２Ａ，２Ｂ，２Ｃにおいて商品が載置される上面に設けられる。静電容量センサ１１０Ｃは、静電容量形近接センサであり、静電容量センサ１１０Ｃ上に商品が置かれる。ユーザが置かれた商品を手に取ると、静電容量が変化するので、商品陳列棚に置かれた商品の有無を検知することができる。

本実施形態では、モーションセンサ１１０Ｂと静電容量センサ１１０Ｃとの組み合わせにより、棚前行動として、ユーザが商品を手に取ったことを精度良く把握することができる。なお、カメラ１１０Ａ、モーションセンサ１１０Ｂ、又は静電容量センサ１１０Ｃのいずれか１つを利用して、ユーザが商品を手に取ったことを把握することも可能である。例えば、カメラ１１０Ａで撮影されたユーザの画像において手に取った商品を検出したり、モーションセンサ１１０Ｂで物体として商品を検出しつつ、商品がユーザと共に移動するアクションを検出したり、静電容量センサ１１０Ｃで商品の有無を検出したりして、棚前においてユーザが商品を手に取ったことを把握することができる。また、センシングユニット１１０のセンサ検出情報を任意に組み合わせてユーザが商品を手に取ったことを把握することも可能である。

次に、ディスプレイ装置１２０Ａは、商品陳列棚の上部に設けられ、管理装置３００から配信（送信）されるコンテンツを表示する。一方、モニタユニット１２０Ｂは、例えば、複数の小型ディスプレイ装置を横並びに並べてユニット化したものである。モニタユニット１２０Ｂは、図１に示すように、商品陳列部２Ａ，２Ｂ，２Ｃの端面に設けられ、棚前に位置するユーザに面して配置されている。

スピーカ１２０Ｃは、再生された音声データ（音楽、ＢＧＭ、効果音など）を出力する。音声データは、ディスプレイ装置１２０Ａやモニタユニット１２０Ｂに表示されるコンテンツ（映像、画像、文字情報、広告情報）に付随する音声やコンテンツとは関係のない音声が含まれる。香発生装置１２０Ｄは、化粧品や香水などの香りや食品の香りなどを出力する。例えば、香りのもととなる香料（原料）を設置すると共に、ファン等の送風装置で香りを送り出すように構成することができる。複数の香料（原料）を予め設置して、例えば、後述するユーザの棚前心理や棚前行動、購買意欲の分析結果に対して、複数の香りを切り替えて送出するようにしてもよい。

コントロールユニット１３０は、管理装置３００とネットワークを介して接続し、センシングユニット１１０のセンサ検出情報を管理装置３００に伝送し、管理装置３００から提供されるコンテンツ（出力制御情報を含む）を受信する。

人型ロボット２００は、頭部２０１と、右腕部２０２Ａ及び左腕部２０２Ｂを含む上半身部２０２と、下半身部２０３とを有し、それぞれ、人間の身体の各部に対応する。例えば、右腕部２０２Ａと左腕部２０２Ｂは、それぞれ、右手部又は左手部を備え、物を指し示したり、掴んだりすることができる。また、下半身部２０３は、例えば走行機構や歩行機構を備え、人型ロボット２００本体を移動させることができる。

表示入力装置２７４は、例えばタッチパネルディスプレイであり、ユーザに対し各種情報を表示したり、ユーザによる情報入力を受け付けたりすることができる。表示入力装置２７４は、上半身部２０２に据え付けることができる。また、右腕部２０２Ａや左腕部２０２Ｂで、表示入力装置２７４を人型ロボット２００に持たせることもできる。

人型ロボット２００は、発話することができる。例えば、発話により、ユーザの購買意欲を高めるための商品紹介を行うことができる。また、人型ロボット２００は、各部を動作させることにより、人間のような身振り手振りを行うことができる。人型ロボット２００は、発話及び／又は動作による販促活動（接客行動）を店頭で行うことができる。販促活動は、例えば、商品の説明やガイダンス、顧客の呼び込み等である。

以下、発話及び／又は動作によって消費者に対する接客を行うことを「接客行動」として記載する場合がある。また、発話及び／又は動作による接客行動は、接客制御情報に規定されている。接客制御情報は、発話音声を規定した発話情報と、動作内容を規定した動作情報とを関連付けたものである。人型ロボット２００は、接客制御情報に基づいて接客行動を行う。なお、接客行動を「発話／動作」として記載する場合があるが、人型ロボット２００が発話と動作の両方を行う場合と、少なくとも一方を行う場合とが含まれるものとする。

人型ロボット２００は、商品陳列棚システム１００のコントロールユニット１３０と有線又は無線で接続される。これにより、人型ロボット２００は、商品陳列棚１００を介して管理装置３００と接続される。人型ロボット２００は、後述するユーザ言語情報を、商品陳列棚１００を介して管理装置３００に伝送する。人型ロボット２００は、商品陳列棚１００を介して接客制御情報を受信する。

言い換えると、コントロールユニット１３０は、人型ロボット２００からユーザ言語情報を受信し、管理装置３００に伝送する。また、コントロールユニット１３０は、管理装置３００から提供される接客制御情報を受信し、接客制御情報を人型ロボット２００に伝送する。

図２は、購買支援システムを構成する商品陳列棚システム１００、人型ロボット２００及び管理装置３００の構成ブロック図である。なお、本実施形態の管理装置３００は、ネットワークを介して１つ又は複数の商品陳列棚システム１００と接続可能である。

商品陳列棚システム１００は、上述のようにセンシングユニット１１０、出力ユニット１２０及びコントロールユニット１３０を含んで構成され、コントロールユニット１３０は、制御装置１３１、通信装置１３２、記憶装置１３３を備えている。通信装置１３２は、管理装置３００との間の通信制御を行うとともに、人型ロボット２００との間の通信制御を行う。記憶装置１３３は、コントロールユニット１３０での制御に必要な情報や人型ロボット２００から伝送される各種情報、管理装置３００から伝送される各種情報を記憶する。

制御装置１３１のセンサ制御部１３１Ａは、センシングユニット１１０の各センサ機器を制御し、センサ機器それぞれから出力されるセンサ検出情報を収集する。センサ検出情報は、通信装置１３２を介して管理装置３００に送信される。

出力制御部１３１Ｂは、管理装置３００から送信されるコンテンツ及び出力制御情報を受信し、出力ユニット１２０の各出力機器に対する出力制御を行う。また、出力制御部１３１Ｂは、ロボット連携部１３１Ｃを備える。ロボット連携部１３１Ｃは、管理装置３００から提供される接客制御情報を受信し、人型ロボット２００に出力するための出力制御を行う。

人型ロボット２００は、ロボットシステム２２０を備える。ロボットシステム２２０は、制御装置２３０、通信装置２４０、記憶装置２５０、センサ装置（第５センサ機器に相当する）２６０、入出力ユニット２７０を含んで構成される。通信装置２４０は、有線又は無線の通信手段により、商品陳列棚システム１００との間の通信制御を行う。

記憶装置２５０は、制御装置２３０での制御に必要な情報、商品陳列棚システム１００から伝送される各種情報、商品陳列棚システム１００を介して管理装置３００から提供される各種情報を記憶する。また、記憶装置２５０は、例えば、人型ロボット２００の発話において出力する音声（発話情報）を、使用言語毎に格納した言語データベース（後述）を記憶する。

センサ装置２６０は、例えばモーションセンサ１１０Ｂと同様の機能を備え、人型ロボット２００に対するユーザの位置や動きを検出する。これにより、人型ロボット２００はユーザの位置や動きを把握して接客を行うことができる。また、センサ装置２６０をモーションセンサ１１０Ｂと同様に用いて商品陳列棚に対するユーザの位置や動きを検出することができる。

入出力ユニット２７０は、スピーカ２７１、マイク２７２、カメラ２７３（第４センサ機器に相当する）及び表示入力装置２７４を備える。スピーカ２７１は、人型ロボット２００の発話において音声を出力する。マイク２７２は、ユーザの発話による音声を収集する。カメラ２７３は、人型ロボット２００の前のユーザを撮影する撮影装置であり、カメラ１１０Ａと同様の機能を備える。

制御装置２３０のセンサ制御部２３１は、カメラ２７３、センサ装置２６０を制御し、それぞれから出力されるセンサ検出情報を収集する。センサ検出情報は、通信装置２４０から商品陳列棚システム１００を介して管理装置３００に送信される。

制御装置２３０のロボット制御部２３２は、商品陳列棚システム１００を介して管理装置３００から提供される接客制御情報に基づいて、人型ロボット２００の接客行動を制御する。また、ロボット制御部２３２は、マイク２７２で収集されたユーザの音声に基づいて、ユーザの使用言語を特定する音声認識処理を実行する。ユーザの使用言語が特定されると、ユーザの使用言語を示す情報であるユーザ言語情報が通信装置２４０から商品陳列棚システム１００を介して管理装置３００に送信される。これにより、後述するように、特定されたユーザの使用言語に対応する音声を含む接客制御情報が管理装置３００から提供される。ロボット制御部２３２は、接客制御情報に基づいて、ユーザの使用言語に対応する音声を出力して人型ロボット２００の発話を制御するとともに、出力音声に対応する人型ロボット２００の動作を制御する。

管理装置３００は、通信装置３１０、制御装置３２０及び記憶装置３３０を備えている。通信装置３１０は、商品陳列棚システム１００との間の通信制御を行う。記憶装置３３０は、制御装置３２０での制御に必要な情報や商品陳列棚システム１００から伝送される各種情報、商品陳列棚システム１００を介して人型ロボット２００から伝送される各種情報を記憶する。

制御装置３２０は、分析制御部３２１、コンテンツ制御部３２２、及び学習制御部３２３を含んで構成されている。図３は、本実施形態の購買支援方法に含まれるセンシングユニット機能、アナリティクスユニット機能、出力ユニット機能及び接客機能（発話／動作機能）を説明するための図である。センシングユニット機能及び出力ユニット機能は、商品陳列棚システム１００によって実現され、アナリティクスユニット機能は、管理装置３００で実現される。接客機能は、人型ロボット２００で実現される。

図３に示すように、分析制御部３２１は、ユーザ特定処理、棚前心理分析処理、棚前行動分析処理、購買意欲分析処理の各処理を行う。

ユーザ特定処理は、ユーザプロファイル登録・更新処理であり、カメラ１１０Ａで撮影されたユーザの画像データを用いて顔認識処理を行い、ユーザを特定（登録）する。例えば、ユーザの性別や年齢層を顔認識技術で分析し、ユーザプロファイルとして登録することができる。このとき、既に登録されたユーザプロファイルの顔画像とパターンマッチングを行い、新規ユーザかリピーターかを判別することができる。リピーターの場合、来店回数など来店履歴が、ユーザプロファイルとして登録・更新される。

また、ユーザ特定処理では、顔画像データ以外にも、例えばユーザの全身を撮影したり、複数のユーザを撮影したりした画像データを用いて、服装、体型、身長、眼鏡の着用の有無、グループ構成などの外見的特徴を分析し、ユーザプロファイルとして登録・更新することができる。さらに、ユーザ特定処理では、マイク２７２で収集されたユーザの音声に基づいて音声認識処理を行い、ユーザの使用言語を特定することができる。

音声認識処理は、例えば、人型ロボット２００の記憶装置２５０に予め記憶させた、接客制御情報に含まれる音声（発話情報）を使用言語別に格納した言語データベースに基づいて、言語データベースに含まれる音声とユーザの音声をマッチングすることにより、ユーザの使用言語を特定（判別）することができる。例えば、言語データベースには「こんにちは」、「Ｈｅｌｌｏ（ハロー）」、「（にんべんに「尓」）好（ニーハオ）」など、同じ意味で使用言語が異なる複数の音声（又は、音声を基にしたテキスト情報）が用意されており、その中からユーザの音声をマッチングし、ユーザの音声により近い音声を選択することで使用言語を特定する。特定されたユーザの使用言語（ユーザ言語情報）は、ユーザプロファイルとして登録することができる。

また、音声認識処理によって使用言語を特定することにより、後述するように、特定された使用言語に応じた出力音声（発話情報）を含む接客制御情報を選択し、使用言語に応じた接客制御を行うことができる。

図４は、ユーザプロファイルの一例を示す図である。ユーザプロファイルは、ユーザの顔画像データ、性別、年齢層、言語（ユーザ言語情報）、外見的特徴、表情、視線、商品手に取り情報、滞在時間、来店回数、購買履歴などを含んでいる。分析制御部３２１は、顔認識技術でユーザの性別、年齢層、表情、視線を把握し、ユーザプロファイルに登録する。また、分析制御部３２１は、上述のように、特定されたユーザの使用言語を把握し、ユーザプロファイルに登録することができる。さらに、後述する棚前行動分析に基づく商品手に取り情報、センシングユニット１１０を人感センサとして利用して検出した棚前滞在時間、上述した来店回数を登録することができる。

分析制御部３２１で実行される顔認識技術は、既知の手法を適用することができる。例えば、特徴点やパターンを用いて顔画像を解析して性別、年齢層、表情などを検出することができる。また、可視カメラや赤外線カメラで撮影されたユーザの顔画像の目（虹彩、角膜、瞳孔）の位置を検出し、検出された目の位置に基づいて、商品陳列部２Ａ，２Ｂ，２Ｃに陳列されたユーザが見ている特定の商品を把握することができる。なお、商品陳列部２Ａ，２Ｂ，２Ｃに陳列された各商品及びその商品の位置情報は、予め記憶装置３３０に格納しておくことができる。

購買履歴は、販売管理システム（ＰＯＳシステム）から取得することができる。例えば、レジ清算時にユーザの顔画像を取得し、販売管理システムは、レジ清算結果（購買した商品を識別する情報）とユーザの顔画像をセットにして、商品陳列棚システム１００を介してまたは直接に、管理装置３００に送信することができる。なお、ユーザの顔画像は、販売管理システムとは別に管理装置３００に送信してもよい。例えば、レジ清算時にレジから販売管理システムにＰＯＳ情報が送信されるタイミングに同期させて、レジにてユーザの顔画像を撮影し、管理装置３００に送信することができる。管理装置３００は、販売管理システムから取得したＰＯＳ情報のタイムスタンプと、取得されたユーザの顔画像のタイムスタンプとに基づいて両者を紐付けることができる。

分析制御部３２１は、レジ清算結果（ＰＯＳ情報）に付随するユーザの顔画像を用いてユーザプロファイルを検索し、該当するユーザプロファイルに、購買した商品を購買履歴として記憶することができる。

棚前心理分析処理は、上述した顔認識処理によって特定されたユーザの表情や視線の動きに基づいて商品陳列棚システム１００の商品に対するユーザの棚前心理を分析する。

棚前行動分析処理は、モーションセンサ１１０Ｂで検出されたユーザ行動と、静電容量センサ１１０Ｃで検出された商品の移動とを組み合わせて、ユーザが商品を手に取ったこと（商品手に取り情報）を分析する。商品手に取り情報は、棚前行動として把握される。また、上述のように、商品陳列棚システム１００に置かれた商品の位置情報は、予め記憶装置３３０に記憶しておくことができ、静電容量センサ１１０Ｃで検出される商品の位置情報も予め記憶されている。このため、実際に手に取られた商品がどの商品なのかを特定することができる。ユーザプロファイルに登録される商品手に取り情報としては、例えば、「商品Ａを手に取った」など、特定商品に対する手に取り行動を把握することができる。

購買意欲分析処理は、棚前心理分析処理による棚前心理分析結果と、棚前行動分析処理による棚前行動分析結果とを用いて、ユーザの購買意欲を分析する処理である。なお、棚前心理、棚前行動及び購買意欲の各分析処理の詳細については、後述する。

図５は、ユーザ行動（消費者行動）に基づくコンテンツの配信制御及び人型ロボット２００の接客制御の例を示す図である。コンテンツの配信制御及び人型ロボット２００の接客制御は、第１〜第３フェーズの段階で制御が進行する。第１フェーズは、棚前に来たユーザを特定し、ユーザ特定結果（ユーザ特性）に基づく制御を行う段階である。第２フェーズは、ユーザの棚前心理及び棚前行動を分析し、棚前心理分析結果及び棚前行動分析結果に基づく制御を行う段階である。第３フェーズは、購買意欲分析結果に基づく制御を行う段階である。

コンテンツ制御部３２２は、ユーザ特性、棚前心理分析結果、棚前行動分析結果、購買意欲分析結果を複合的に用いて、商品陳列棚システム１００に提供するコンテンツ及び出力制御情報と、人型ロボット２００に提供する接客制御情報とを抽出して送信する。

図５に示すように、ユーザが商品陳列棚システム１００の前（棚前）に来ると、モーションセンサ１１０Ｂのセンサ検出情報に基づいて、ユーザが棚前に存在していることを把握する。このとき、カメラ１１０Ａでユーザの顔画像を撮影し、顔認識情報を用いてユーザを特定しつつ、ユーザの表情及び視線を把握する。また、上述したようにカメラ１１０Ａによる撮影でユーザの外見的特徴を把握する。一方、人型ロボット２００は、発話促進アクション（後述）により、ユーザの発話を促進し、発話したユーザの使用言語を音声認識処理で把握する。

第１フェーズでは、ユーザの顔画像に基づくマッチングによりユーザプロファイルを特定する。ユーザプロファイルが存在する場合、既知のユーザとして、ユーザプロファイルの購買履歴を用いて商品候補を抽出し、抽出された商品候補に関係するコンテンツ（商品情報）と接客制御情報を選択する。コンテンツは、商品陳列棚システム１００に送信され、接客制御情報は商品陳列棚システム１００を介して人型ロボット２００に送信される。

一方、ユーザプロファイルが存在しない場合、新規ユーザであるとして、撮影画像（ユーザの顔画像、全身画像を含む）から把握される性別、年齢層、外見的特徴、人型ロボット２００によって把握されるユーザの使用言語に適した商品候補を抽出し、抽出された商品候補に関係するコンテンツと接客制御情報を選択する。上記と同様に、コンテンツは、商品陳列棚システム１００に送信され、接客制御情報は商品陳列棚システム１００を介して人型ロボット２００に送信される。

このように、特定されたユーザプロファイルに基づくコンテンツ及び接客制御情報の送信は、ユーザプロファイルに基づく消費者（ユーザ）の性別、年齢層、外見的特徴、言語、来店履歴及び購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、コンテンツと接客制御情報を選択し、コンテンツを出力ユニットに表示させたり、人型ロボット２００の接客行動を制御したりするための送信処理を行うように構成することができる。例えば、来店回数が５回以上の女性リピーターの場合、来店回数が５回未満の女性リピーターや男性ユーザよりも、限定商品の優先予約情報を提供したり、高い割引が受けられるお得情報を提供したりすることができる。

また、管理装置３００の記憶部３３０には、商品陳列棚システム１００に提供する情報及び人型ロボット２００に提供する情報が格納されており、それぞれ、コンテンツ及び接客制御情報として提供される。例えば、購買履歴に商品に対して候補の商品を予め選定しておいたり、性別、年齢層、外見的特徴、言語毎に候補商品を予め選定しておいたりして、コンテンツと接客制御情報を蓄積しておくことができる。

第２フェーズでは、ユーザの視線情報に基づいて、例えば、商品Ｂを見ていると把握することができる。そこで、視線情報に基づいてユーザが見ている商品を特定し、特定された商品Ｂの商品説明情報や広告情報を抽出して商品陳列棚システム１００に送信することができる。このとき、実際にユーザが見ている商品Ｂに関連する商品説明情報や広告情報の表示において、エフェクト（強調や装飾）表示を行うように、出力（表示）制御情報を商品陳列棚システム１００に送信することができる。

また、第２フェーズでは、棚前のユーザ行動として、商品を手に取ったかを把握することができる。商品手に取り情報に基づいて、手に取った商品Ａに関連するコンテンツを抽出して商品陳列棚システム１００に送信したり、手に取った商品Ａに関連するお得情報を抽出して商品陳列棚システム１００に送信したりすることができる。お得情報とは、例えば、商品Ａと同時購入するとお得な（割引適用を受けることができたり、組み合わせ効果が高い）商品Ｃを推薦する情報である。

第３フェーズでは、表情及び視線による棚前心理及び商品手に取り情報による棚前行動に基づいて、ユーザの購買意欲を分析し、分析された購買意欲に関連するコンテンツを抽出して商品陳列棚システム１００に送信する。ユーザの購買意欲に基づくコンテンツ配信及び表示制御は、例えば表示中のコンテンツを、購買意欲を後押しするようなコンテンツに切り替えたり、表示中のコンテンツをエフェクト処理して表示したり、音楽や音声を流したり、お得情報の追加表示したりなどが含まれる。

このように本実施形態では、商品陳列棚システム１００の棚前ユーザアクションに基づいて、単に広告やお得情報を表示するだけではなく、ユーザの棚前心理及び棚前行動を把握して、ユーザの購買意欲に適したきめ細やかなコンテンツ配信及び表示制御を行う。

ユーザの棚前心理や購買意欲を総合的に把握するためには、１つのセンサ機器では不十分であり、本実施形態の商品陳列棚システム１００は、複数のセンサ機器を含むセンシングユニット１１０を備えており、ユーザの棚前心理や購買意欲を総合的に把握している。

本実施形態の購買支援システムは、１つのセンサ機器に依存せずに、複数のセンサ機器を備えるセンシングユニット１１０で、消費者の属性（プロファイル）、棚前心理（心理状況）及び棚前行動を把握して管理装置３００に送信し、管理装置３００のアナリティクスユニットで、商品陳列棚システム１００の棚前のユーザの心理状況及び行動を分析してユーザの購買意欲を総合的に抽出する。そして、ユーザの心理状況や行動から総合的に把握された購買意欲に対して購買を促すコンテンツを、商品陳列棚システム１００の出力ユニット１２０を介して提供し、ユーザの購買行動を促進させることができる。

一方、ロボット制御部２３２は、商品陳列棚システム１００を介して管理装置３００から提供される接客制御情報に基づいて、人型ロボット２００を制御する。接客制御情報は、ユーザ特性、棚前心理分析結果、棚前行動分析結果、購買意欲分析結果のそれぞれに対応する人型ロボット２００の発話／動作を制御するための情報であり、管理装置３００の記憶装置３３０に格納された接客制御情報データベースから抽出される。

第１フェーズでは、ユーザが棚前に存在していることが把握されると、人型ロボット２００は、ユーザに発話させるための発話促進アクションを行う。発話促進アクションでは、例えば、人型ロボット２００がユーザに対し「喋って下さい」等と発話し、ユーザの発話を待機する。

ユーザが発話すると、人型ロボット２００は、音声認識処理により、ユーザの使用言語を特定し、ユーザの使用言語に対応する音声で発話を行う。また、音声認識処理以外の方法でユーザの使用言語を特定してもよい。例えば、表示入力装置２７４に使用言語一覧を表示させ、ユーザに選択させることによってユーザの使用言語を特定してもよい。

人型ロボット２００は、ユーザ言語情報を、商品陳列棚システム１００を介して管理装置３００に提供する。これにより、管理装置３００がユーザの性別、年齢層、外見的特徴に加え、言語を把握し、上述のように抽出された接客制御情報を人型ロボット２００に提供する。これにより、人型ロボット２００は、ユーザ特性に対応する発話／動作を行うことができる。

なお、接客制御情報に含まれる動作の内容は、使用言語ごとに設定することもできる。例えば、特定された言語が日本語である場合、人型ロボット２００がユーザを誘導する際の動作を、手の甲を上に向けて手首を動かす動作に設定し、一方、特定された言語が英語である場合は、手の平を上に向けて手首を動かす動作に設定することができる。このように、特定された言語により、同じ意味を表す動作でも違う動作を設定することができ、ユーザに応じた動作を行うことができる。

第２フェーズでは、人型ロボット２００は、ユーザの表情及び視線情報による棚前心理分析結果に対応する発話／動作を行う。例えば、上述のように視線情報に基づいて特定された商品Ｂの商品説明情報や広告情報とともに、人型ロボット２００による商品Ｂの説明のための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット２００に提供することができる。このようにして、棚前心理分析結果に基づいて、商品陳列棚１００で商品Ｂの商品説明情報が強調表示されるのと連動して、人型ロボット２００は、棚前心理分析結果に対応する発話／動作で商品Ｂの商品紹介を行う。

また、第２フェーズでは、人型ロボット２００は、ユーザの商品手に取り情報による棚前行動分析結果に対応する発話／動作を行う。例えば、上述のようにユーザが手に取った商品Ａに関連するコンテンツや手に取った商品Ａに関連するお得情報の抽出とともに、人型ロボット２００によって商品Ａの説明を行ったり、商品Ａに関連するお得情報を伝えたりするための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット２００に提供することができる。このようにして、棚前行動分析結果に基づいて、商品陳列棚１００で商品Ａのコンテンツが表示されたり、手に取った商品Ａに関連するお得情報が表示されたりするのと連動して、人型ロボット２００は、棚前行動分析結果に対応する発話／動作で商品Ａの商品紹介やお得情報の宣伝を行う。

第３フェーズでは、人型ロボット２００は、表情及び視線情報による棚前心理及び商品手に取り情報による棚前行動に基づく購買意欲分析結果に対応する発話／動作を行う。例えば、上述のように分析された購買意欲に関連するコンテンツの抽出とともに、人型ロボット２００が、購買を後押しする割引情報や、他店舗で売り切れが続出している旨を発話／動作で伝えるための接客制御情報を抽出し、抽出された接客制御情報を人型ロボット２００に提供することができる。このようにして、購買意欲分析結果に基づいて、商品陳列棚でユーザの購買意欲を後押しするコンテンツが表示されるのと連動して、人型ロボット２００は、購買意欲分析結果に対応する発話／動作でユーザの購買を後押しする。

このように、本実施形態では、ユーザの棚前心理、棚前行動及び購買意欲に応じた接客制御情報に基づいて接客制御を行うことにより、人型ロボットによる接客サービスを提供し、ユーザの購買行動を促進させることができる。

図６は、本実施形態の棚前心理分析及び棚前行動分析の一例を示す図である。棚前心理分析は、撮影画像を用いてユーザの表情解析及び視線解析を行い、ユーザの表情と視線の両者から、ユーザの棚前心理を分析する。表情解析は、例えば、明るい、迷い、無表情といった表情の特徴点を予めパターン化しておき、ユーザの表情が「明るい」、「迷い」、「無表情」であるかを判別する。この他に「喜び」、「驚き」、「怒り」、「悲しみ」など、多様な表情解析も行うこともできる。

視線解析は、上述したように検出されるユーザの顔画像の目（虹彩、角膜、瞳孔）の位置が、所定の時間、所定範囲内に位置していれば、視線が一点に集中していると判別したり、所定の時間、所定範囲から外れて位置が上下左右に変動していれば、分散していると判別したりすることができる。

棚前心理は、表情解析結果と視線解析結果の組み合わせにより、予めパターン化されており、図６（ａ）に示すように、棚前心理パターンＡ〜Ｅが、予め記憶装置３３０に記憶されている。分析制御部３２１は、表情解析結果及び視線解析結果を用いて、予め設定された棚前心理パターンを抽出し、ユーザの棚前心理を特定する。

棚前行動分析は、上述したように、モーションセンサ１１０Ｂで検出されたユーザ行動と、静電容量センサ１１０Ｃで検出された商品の移動とを組み合わせて、ユーザの商品手に取り行動（棚前行動パターン）を特定する。例えば、商品を手に取っていない、特定の商品を手に取った、手に取った特定の商品を棚に戻した、などを特定することができる。

図７Ａは、本実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対応する配信コンテンツパターンの一例を示す図である。図７Ａに示すように、購買意欲は、特定された棚前心理パターン及び棚前行動パターンの組み合わせにより、予めパターン化されており、パターン化された各分析結果が予め記憶装置３３０に記憶されている。分析制御部３２１は、棚前心理パターン及び棚前行動パターンを用いて、予め設定された購買意欲分析結果パターンを抽出し、ユーザの購買意欲を特定する。

コンテンツ制御部３２２は、分析制御部３２１で特定されたユーザの購買意欲に対応するコンテンツをコンテンツ群から抽出して、商品陳列棚システム１００に伝送する。記憶装置３３０には、購買意欲分析結果と配信するコンテンツとが紐付けられた配信コンテンツパターン（購買支援情報）が予め記憶されており、コンテンツ制御部３２２は、購買意欲分析結果を用いて配信コンテンツパターンを特定し、該当するコンテンツを記憶装置３３０に記憶されているコンテンツ群から抽出して商品陳列棚システム１００に送信する。

なお、コンテンツ群に含まれる各コンテンツは、例えば、商品毎にコンテンツ１を複数用意することができ、分析結果１に対応する配信コンテンツパターンは、各商品に個別に設定することができる。したがって、コンテンツ制御部３２２は、例えば、分析結果１に対応するコンテンツ１を抽出するが、分析制御部３２１で特定されるユーザが手に取った特定の商品に対応するコンテンツ１をコンテンツ群から抽出して商品陳列棚システム１００に送信することができる。

図７Ｂは、棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対応する発話／動作パターンの一例を示す図であり、図７Ａと対応している。したがって、商品陳列棚システム１００で配信するコンテンツと、接客制御情報に基づいて実行される人型ロボット２００の発話／動作は、後述するように連動して行うことができる。

コンテンツ制御部３２２は、分析制御部３２１で特定されたユーザの購買意欲に対応する接客制御情報（発話／動作）を接客制御情報データベースから抽出して、商品陳列棚システム１００を介して人型ロボット２００に伝送する。記憶装置３３０には、購買意欲分析結果と人型ロボット２００の発話／動作とが紐付けられた発話／動作パターンが予め記憶されており、コンテンツ制御部３２２は、購買意欲分析結果を用いて発話／動作パターンを特定し、該当する接客制御情報を記憶装置３３０に記憶されている接客制御情報データベースから抽出して人型ロボット２００に送信する。

なお、接客制御情報データベースに含まれる各接客制御情報（発話／動作）は、コンテンツ群に含まれる各コンテンツ同様に、例えば商品ごとに発話／動作１（接客制御情報１）を複数で用意することができ、分析結果１に対応する発話／動作パターンは、各商品に個別に設定することができる。すなわち、コンテンツ制御部３２２は、例えば、分析結果１に対応する発話／動作１を抽出するが、分析制御部３２１で特定されるユーザが手に取った特定の商品に対応する発話／動作１をコンテンツ群から抽出して商品陳列棚システムを介して人型ロボット２００に送信することができる。

図８〜図１０は、第１〜３フェーズにおける人型ロボット２００の接客制御及び配信コンテンツの制御の例を示す図である。

図８は、第１フェーズにおけるユーザ特性に基づく人型ロボット２００の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部３２１は、性別、年齢層、言語及び外見的特徴の情報を用いて、予め設定されたユーザ特性パターンの中から、ユーザ特性を特定する。

コンテンツ制御部３２２は、分析制御部３２１で特定されたユーザ特性にマッチングする接客制御情報を抽出する。人型ロボット２００は、抽出された接客制御情報に基づいて発話／動作を行い、ユーザに対し、商品の興味を喚起する。

例えば、特定されたユーザ特性の性別が男性、年齢層が２５〜２９歳、言語が日本語、外見的特徴がスーツである場合、人型ロボット２００は、ユーザ特性パターンを「仕事帰りの男性」パターンとして、対応する発話／動作を行う。このとき、人型ロボット２００による発話／動作は、管理装置３００の記憶装置３３０に予め使用言語別に用意された接客制御情報から抽出・送信された、ユーザの使用言語に対応する接客制御情報に基づいて行われる。例えば、特定されたユーザの使用言語が日本語である場合は、日本語に対応する接客制御情報に基づいて発話／動作が行われる。

また、分析制御部３２１は、上述したように、棚前のユーザについて、既存のユーザプロファイルを参照するか、新規のユーザプロファイルを作成する。コンテンツ制御部３２２は、ユーザプロファイルに含まれる情報にマッチングする配信コンテンツを抽出する。商品陳列棚１００は、抽出された配信コンテンツにより購買促進を行う。

図９は、第２フェーズにおける棚前心理及び棚前行動に基づく人型ロボット２００の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部３２１は、図６に示すように、予め設定された棚前心理パターンの中から、ユーザの棚前心理を特定する。同様に、分析制御部３２１は、予め設定された棚前行動パターンの中から、ユーザの棚前行動を特定する。

コンテンツ制御部３２２は、分析制御部３２１で特定された棚前心理にマッチングする接客制御情報を抽出する。同様に、コンテンツ制御部３２２は、特定された棚前行動にマッチングする接客制御情報を抽出する。人型ロボット２００は、それぞれ抽出された接客制御情報に基づいて発話／動作を行い、ユーザに対し、商品の興味を喚起する。

例えば、ユーザの視線が特定商品に集中しており、ユーザの表情が迷っている表情のとき、視線解析結果は「集中」、表情解析結果は「迷い」であるとき、棚前心理パターンＢが特定され（図６（ａ）参照）、棚前心理パターンＢに対応する接客制御情報が抽出される。これにより、人型ロボット２００は、棚前心理パターンＢに対応する発話／動作を行う。

例えば、ユーザの棚前行動（商品手に取り行動）が「商品を手に取った」と判断された場合は、棚前行動パターンＹが特定され（図６（ｂ）参照）、棚前行動パターンＹに対応する接客制御情報が抽出される。これにより、人型ロボット２００は、棚前行動パターンＹに対応する発話／動作を行う。

また、コンテンツ制御部３２２は、特定された棚前心理にマッチングする配信コンテンツを抽出し、商品陳列棚１００は、抽出された配信コンテンツにより購買促進を行う。同様に、コンテンツ制御部３２２は、特定された棚前行動にマッチングする配信コンテンツを抽出し、商品陳列棚１００は、抽出された配信コンテンツにより購買促進を行う。

図１０は、第３フェーズにおける購買意欲に基づく人型ロボット２００の接客制御及び配信コンテンツの制御の例を示す図である。分析制御部３２１は、図７Ａ及び図７Ｂに示すように、予め設定された購買意欲パターンの中から、ユーザの購買意欲を特定する。

コンテンツ制御部３２２は、分析制御部３２１で特定された購買意欲にマッチングする接客制御情報を抽出する。人型ロボット２００は、抽出された接客制御情報に基づいて発話／動作を行い、ユーザに対し、商品の興味を喚起する。

例えば、棚前心理パターンＡ及び棚前行動パターンＺに基づく購買意欲分析が行われると、ユーザの購買意欲は分析結果３として特定され（図７Ｂ参照）、分析結果３に対応する接客制御情報（発話／動作４）が抽出される。これにより、人型ロボット２００は、分析結果３に対応する発話／動作を行うことができる。

同様に、コンテンツ制御部３２２は、特定された購買意欲にマッチングする配信コンテンツを抽出する。商品陳列棚１００は、抽出された配信コンテンツにより購買促進を行う。

なお、図８に示すように、第１フェーズでは、特定されたユーザの使用言語に応じた発話／動作を行っているが、図９，図１０の第２フェーズ及び第３フェーズでも同様に、使用言語別に用意された接客制御情報ユーザの使用言語に応じた接客を行うことができる。言い換えると、特定されたユーザの棚前心理、棚前行動、購買意欲のそれぞれについて、特定された使用言語に応じて、接客を行うことができる。

接客制御情報を使用言語別に用意することにより、上述したように、ユーザの使用言語に応じた接客を行うことができる。また、使用言語毎に用意した接客制御情報では、それぞれ、出力する音声と対応する動作の内容を設定することができる。このような設定を可能にすることにより、上述したように、特定されたユーザの使用言語が日本語であったり英語であったりする場合に、特定された言語に応じて、人型ロボット２００の動作の内容を様々に設定することができる。

図１１は、本実施形態の商品陳列棚システム１００と管理装置３００の処理フローを示す図である。図１１に示すように、商品陳列棚システム１００は、センシングユニット１１０の動作制御を行い、センサ検出結果をリアルタイムに収集（取得）し（Ｓ１０１）、センシング情報（センサ検出情報）として管理装置３００に送信する（Ｓ１０２）。

なお、商品陳列棚システム１００（コントロールユニット１３０）は、商品陳列棚システム１００に近づいてきたユーザが所定範囲内に入ったことを検出し、棚前にユーザがいることが検知されたことをトリガーに、センシングユニット１１０の動作制御や人型ロボット２００及び／又は管理装置３００へのセンシング情報の送信制御を行うように構成することもできる。

管理装置３００は、商品陳列棚システム１００から受信したユーザの撮影画像を用いて、既に記憶（登録）されているユーザプロファイルの顔画像とマッチングして（Ｓ３０１）、ユーザプロファイルの登録有無を判別する（Ｓ３０２）。ユーザプロファイルが存在しない場合（Ｓ３０２のＮＯ）、管理装置３００は、新規ユーザであるとして、ユーザの顔画像から性別、年齢層を算出し（Ｓ３０３）、プロファイルを新規登録する（Ｓ３０４）。また、ステップＳ３０３で顔画像以外にもユーザの全身画像を用いて外見的特徴を算出し、ステップＳ３０４で外見的特徴をプロファイルとして登録することもできる。また、後述するように、人型ロボット２００から提供されたユーザ言語情報をプロファイルとして登録することもできる。

既にユーザプロファイルが存在するとき（Ｓ３０２のＹＥＳ）及びユーザプロファイルが新規に登録されたとき、管理装置３００は、ユーザプロファイル（ユーザ特性）に基づいてコンテンツ及び接客制御情報を抽出する（Ｓ３１１）。

次に、ステップＳ３０５において上述したユーザの棚前心理を特定し、特定された棚前心理に対応するコンテンツ及び接客制御情報を抽出する（Ｓ３０６）。棚前心理が特定された後に又は棚前心理の特定と共に棚前行動が検知されたとき（Ｓ３０７のＹＥＳ）、ユーザの棚前行動を特定する（Ｓ３０８）。その後、特定された棚前心理及び棚前行動に基づくユーザの購買意欲を判別し（Ｓ３０９）、判別された購買意欲に基づくコンテンツ及び接客制御情報を抽出する（Ｓ３１０）。このとき、上述したように、ステップＳ３０８において特定された棚前行動のみに関連するコンテンツ及び接客制御情報を抽出することもできる。

管理装置３００は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出された各コンテンツ及び各接客制御情報の送信処理（配信処理）を行う（Ｓ３１２）。例えば、抽出されたコンテンツを単一で、又は複数のディスプレイに表示させるための送信処理を行う。また、抽出された接客制御情報に基づいて人型ロボット２００に発話／動作を実行させるための送信処理を行う。このとき、接客制御情報は商品陳列棚システム１００を介して人型ロボット２００に送信される。

具体的には、モニタユニット１２０Ｂの各小型ディスプレイ装置に、各コンテンツを個別に表示したり、図５で説明したように、時系列にユーザプロファイル、棚前心理、棚前行動、及び購買意欲の順に、各コンテンツを切り替えて表示したりすることができる。また、ディスプレイ装置１２０Ａとモニタユニット１２０Ｂのそれぞれに、異なるコンテンツを表示することもでき、さらには、モニタユニット１２０Ｂを構成する複数の小型ディスプレイ装置それぞれに、異なるコンテンツを表示したり、複数の小型ディスプレイ装置を１つの表示部として、コンテンツを各小型ディスプレイ装置に区画して表示したりすることもできる。

また、モニタユニット１２０Ｂは、複数の小型ディスプレイ装置が横並びに配置されているので、各小型ディスプレイ装置に物語性のある複数のコンテンツを表示したりすることもできる。

商品陳列棚システム１００は、管理装置３００から受信したコンテンツを出力ユニット１２０に表示したり、スピーカ１２０Ｃから音楽、音声、効果音などの音を出力させたり、香発生装置１２０Ｄから香りを出力させたりする制御（ユーザフェイシング処理）を行う（Ｓ１０３）。これらの表示及び出力制御の制御情報は、管理装置３００から送信されるコンテンツと共に又は単独で受信することができる。

管理装置３００は、ステップＳ３１２における送信処理後、商品陳列棚システム１００から受信するセンシング情報に基づいて、商品陳列棚前のユーザが所定の棚前エリアから離脱しているか否かを判別し（Ｓ３１３）、離脱していない場合（Ｓ３１３のＮＯ）、ステップＳ３０５に戻り、リアルタイムで変化するセンシング情報に基づいて、棚前心理、棚前行動及び購買意欲に基づくコンテンツ及び接客制御情報の抽出と送信処理を繰り返し行う。なお、モーションセンサ１１０Ｂを人感センサとして用いているが、これに限らず別途の赤外線センサ等の人感センサを備えるように構成してもよい。

一方、商品陳列棚前のユーザが所定の棚前エリアから離脱していると判別された場合（Ｓ３１３のＹＥＳ）、ステップＳ３０１で特定されたユーザのユーザプロファイルを更新する。例えば、ステップＳ３０５で特定された棚前心理、ステップＳ３０８で特定された棚前行動をユーザプロファイルに登録する（Ｓ３１４）。また、販売管理システムから取得された商品購入情報に基づいて、ユーザプロファイルの購買履歴に購入した商品を登録する（Ｓ３１５）。そして、ユーザプロファイルの登録・更新後に、センシング情報に基づいて棚前エリアでユーザ（消費者）が検出されるまで待機する（Ｓ３１６）。なお、棚前エリアは、上述したように、棚前にユーザがいることが検知可能な範囲である。

また、ステップＳ３１４，Ｓ３１５におけるユーザプロファイルの更新処理では、実際に商品陳列棚システム１００に送信されたコンテンツや出力制御情報（コンテンツ配信結果）、人型ロボット２００に送信された接客制御情報（人型ロボットによる接客結果）を、ユーザプロファイルに関連付けて記憶装置３３０に記憶することができる。この処理は、コンテンツ制御部３２２が行うことができる。

図１２及び図１３を参照して、本実施形態の商品陳列棚及び人型ロボットを介した購買支援システム全体の処理フローについて説明する。以下、商品陳列棚システム１００は、上述の通り、センサ検出及びセンシング情報の送信（Ｓ１０１，Ｓ１０２）をリアルタイムで行っているものとして説明する。図１１と同一のステップ番号を付したものについては上記説明に代えるが、必要に応じて説明を補う。なお、ステップＳ１０３Ａ〜Ｄは、図１１のＳ１０３に対応している。また、ステップＳ３１２Ａ〜Ｄは、図１１のＳ３１２に対応している。

図１２は、本実施形態の購買支援システムの第１フェーズ及び第２フェーズにおける処理フローを示す図である。第１フェーズでは、商品陳列棚システム１００は、商品陳列棚システム１００に近づいてきたユーザが所定範囲内に入ったことを検知し、センシング情報として管理装置３００及び人型ロボット２００に送信する。

人型ロボット２００は、ユーザが所定範囲内に入ったことを示すセンシング情報を受信すると、発話促進アクションを実行する（Ｓ２０１）。ユーザの発話により、マイク２７２にユーザの音声が入力されると、人型ロボット２００は、音声認識処理を行い、ユーザの使用言語を特定する（Ｓ２０２）。人型ロボット２００は、使用言語の特定結果をユーザ言語情報として商品陳列棚システム１００を介して管理装置３００に送信する。なお、上述したように、表示入力装置２７４でユーザに使用言語を特定させてもよい。

管理装置３００は、人型ロボット２００から提供された言語情報をユーザプロファイルに登録・更新することができる（Ｓ３０４）。なお、言語情報は、新規のユーザプロファイルでも、既存のユーザプロファイルでも登録・更新することができる。

ユーザの使用言語の特定により、以降のステップでは特定された使用言語に応じた接客制御情報が抽出され（Ｓ３１１，Ｓ３０６，Ｓ３０９，Ｓ３１０）、人型ロボット２００に送信される（Ｓ３１２Ａ〜Ｄ）。これにより、人型ロボット２００は特定した使用言語に対応する音声を出力して発話するとともに、出力音声に対応する動作を行うことができる。

送信処理（Ｓ３１２Ａ）により、商品陳列棚システム１００はコンテンツを受信する。これにより、商品陳列棚システム１００は、ユーザプロファイル（ユーザ特性）に基づくユーザフェイシング処理を行う（Ｓ１０３Ａ）。一方、人型ロボット２００は接客制御情報を受信する。これにより、人型ロボット２００は、ユーザ特性に基づく発話／動作で接客を行う（Ｓ２０３Ａ）。その後、本実施形態の購買支援システムは第２フェーズに移行する。

なお、ユーザによる発話がない場合は、ステップＳ２０２を省略して、言語情報をユーザプロファイルとして登録しなくてもよい。また、ステップＳ２０１を省略してステップＳ２０２を実行してユーザの発話を待機したり、ステップＳ２０１とともにステップＳ２０２を省略し、送信処理（Ｓ３１２Ａ）を待機したりすることもできる。

第２フェーズでは、商品陳列棚システム１００は、商品を見ているユーザの表情及び視線を検出し、センシング情報として管理装置３００に送信する。その後、送信処理（Ｓ３１２Ｂ）により、上記と同様に、商品陳列棚システム１００はコンテンツを、人型ロボット２００は接客制御情報を受信する。これにより、商品陳列棚システム１００は、ユーザの棚前心理に基づくユーザフェイシング処理を行う（Ｓ１０３Ｂ）。また、人型ロボット２００はユーザの棚前心理に基づく発話／動作で接客を行う（Ｓ２０３Ｂ）。

さらに、第２フェーズでは、商品陳列棚システム１００は、ユーザの商品手に取り行動（棚前行動）を検出し（Ｓ３０７のＹＥＳ）、センシング情報として管理装置３００に送信する。その後、送信処理（Ｓ３１２Ｃ）により、上記と同様に、商品陳列棚システム１００はコンテンツを、人型ロボット２００は接客制御情報を受信する。これにより、商品陳列棚システム１００は、ユーザの棚前行動に基づくユーザフェイシング処理を行う（Ｓ１０３Ｃ）。また、人型ロボット２００はユーザの棚前行動に基づく発話／動作で接客を行う（Ｓ２０３Ｃ）。

ユーザの棚前心理及び棚前行動が特定されると、本実施形態の購買支援システムは、第３フェーズに移行する。

図１３は、本実施形態の購買支援システムの第３フェーズにおける処理フローを示す図である。第３フェーズでは、第２フェーズに引き続き、管理装置３００が特定したユーザの棚前心理及び棚前行動に基づいて、ユーザの購買意欲の判別を行い（Ｓ３１０）、更に、判別された購買意欲に基づく抽出処理を行う（Ｓ３１１）。

その後、送信処理（Ｓ３１２Ｄ）により、上記と同様に、商品陳列棚システム１００はコンテンツを、人型ロボット２００は接客制御情報を受信する。これにより、商品陳列棚システム１００は、ユーザの購買意欲に基づくユーザフェイシング処理を行う（Ｓ１０３Ｄ）。また、人型ロボット２００はユーザの購買意欲に基づく発話／動作で接客を行う（Ｓ２０３Ｄ）。

商品陳列棚システム１００は、ユーザが所定範囲から離脱したり、所定範囲から離脱して一定時間が経過したりするのを検出する。これにより、商品陳列棚システム１００は、ユーザが棚前から離脱したと判断し（Ｓ３１３のＹＥＳ）、ユーザが所定範囲から離脱したことを示すセンシング情報を管理装置３００及び人型ロボット２００に送信する。その後、商品陳列棚システム１００は棚前エリア内（所定範囲内）でユーザが検知されるまで待機する（Ｓ３１６）。

人型ロボット２００は、ユーザが所定範囲から離脱したことを示すセンシング情報を受信すると、棚前エリア内（所定範囲内）でユーザが検知されるまで待機する（Ｓ３１６）。管理装置３００は、ユーザが所定範囲から離脱したことを示すセンシング情報を受信すると、ステップＳ３１４及びＳ３１５の処理を行い、同様に待機する（Ｓ３１６）。商品陳列棚システム１００により、所定範囲内にユーザが入ったことが検知されると、本実施形態の購買支援システムは、第１フェーズに移行する。

また、第３フェーズにおいて、ユーザが所定範囲内から離脱しない場合（Ｓ３１３−ＮＯ）は、第２フェーズに戻り、上記と同様の処理を続ける。

なお、図１１〜１３ではコンテンツとともに接客制御情報を抽出し、それぞれ商品陳列棚システム１００と、人型ロボット２００とに送信しているが、必要に応じていずれか一方のみを抽出して送信してもよい。また、人型ロボット２００の各発話／動作処理（Ｓ２０３Ａ〜Ｄ）と商品陳列棚システム１００の各ユーザフェイシング処理（Ｓ１０３Ａ〜Ｄ）は、連動して行うことができるが、必ずしも同時に行う必要はない。例えば、必要に応じて人型ロボット２００の発話／動作処理のみを行ったり、商品陳列棚システム１００のユーザフェイシング処理のみを行ったりすることもできる。

次に、図４に戻り、本実施形態の機械学習機能について説明する。学習制御部３２３は、記憶装置３３０に蓄積されたユーザプロファイルの購買履歴、コンテンツ配信結果、人型ロボットによる接客結果を用いて、商品の購買に繋がったコンテンツパターンや商品の購買に繋がったユーザの行動パターン、商品の購買に繋がった人型ロボットの接客パターン、商品の購買につながったコンテンツパターンと人型ロボット２００の接客パターンの組み合わせなどを抽出することができる。

例えば、商品Ａを見ていたユーザに対して提供したコンテンツＡと、商品Ａの購買数を比較し、購買数が所定数以上である場合に、コンテンツＡは購買促進に効果があると判別することができる。一方、購買数が所定数未満である場合、コンテンツＡは購買促進に効果がないと判別（評価）することができる。

同様に、商品Ａを見ていたユーザに対する人型ロボット２００の接客行動を制御するために送信した接客制御情報Ａと、商品Ａの購買数を比較し、購買数が所定数以上である場合に、接客制御情報Ａによる人型ロボット２００の接客行動は、購買促進に効果があると判別することができる。一方、購買数が所定数未満である場合、接客制御情報Ａによる人型ロボット２００の接客行動は購買促進に効果がないと判別（評価）することができる。

さらに、コンテンツの提供と人型ロボット２００の接客行動を連動して行った場合には、提供したコンテンツＡと接客制御情報Ａの組み合わせを、商品Ａの購買数と比較し、上記と同様に購買数が所定数以上であるか所定数未満であるか分析し、購買促進への効果の有無を判別（評価）することができる。

また、学習制御部３２３は、音声認識処理で特定された消費者の使用言語別に、上記と同様に、商品の購買に繋がった各パターンや、パターンの組み合わせを抽出することができる。さらに、学習制御部３２３は上記と同様にして、使用言語ごとに、各コンテンツや各接客制御情報、コンテンツと接客制御情報の各組み合わせが、購買促進に効果があるか否かを判別することができる。

また、表情や視線、商品手に取り情報、性別、年齢層、外見的特徴、言語、滞在時間と組み合わせて、各コンテンツの効果及び各接客行動（各接客制御情報）を細かく分析し、学習制御部３２３は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出される各コンテンツの組み合わせや、各接客制御情報の組み合わせや、コンテンツと接客制御情報の各組み合わせを変更するなどの機械学習を行うことができる。また、購買意欲分析結果を更新・削除したり、新たな購買分析結果を生成して追加したりすることができる。

以上、実施形態について説明したが、商品陳列棚システム１００のコントロールユニット１３０は、有線又は無線でセンシングユニット１１０及び出力ユニット１２０と接続して、商品陳列棚に対して物理的に外部に設けることも可能である。

また、管理装置３００が、ネットワークを介して商品陳列棚システム１００にコンテンツを送信しているが、これに限らず、例えば、所定のタイミングで管理装置３００から商品陳列棚システム１００にコンテンツデータを一括して送信し、コントロールユニット１３０側にコンテンツを予め記憶しておくことができる。この場合、管理装置３００は、コンテンツデータ（画像、映像、文字情報等の実データ）は送信せずに、各コンテンツの出力制御情報を生成・抽出して商品陳列棚システム１００に送信することができる。コントロールユニット１３０は、受信した出力制御情報に基づいて記憶装置１３３に予め記憶されたコンテンツを抽出して出力ユニット１２０の出力制御を行うことができる。

また、管理装置３００は、ハードウェア構成として上述以外にも、液晶ディスプレイなどの表示装置、装置全体（各部）の制御を司るＣＰＵ、メモリ（主記憶装置）、マウス、キーボード、タッチパネル、スキャナー等の操作入力手段、プリンタ、スピーカなどの出力手段、補助記憶装置（ハードディスク等）等を備えることができる。

また、上記実施形態では人型ロボット２００による接客を例に説明したが、例えば他にも犬などの動物を模したロボットによる接客を行ってもよい。その他、何らかの身振り手振りによる接客を行うことができるロボットであればよい。

また、上記実施形態では人型ロボット２００は、商品陳列棚システム１００を介して管理装置３００と接続しているが、有線又は無線により管理装置３００と直接接続して各種情報の送受信を行うこともできる。

また、制御装置２３０は、有線又は無線で通信装置２４０、記憶装置２５０、センサ装置２６０及び入出力ユニット２７０と接続して人型ロボット２００に対して物理的に外部に設けることもできる。例えば、制御装置２３０は商品陳列棚に設けてもよい。同様に、マイク２７２を商品陳列棚に設けてもよい。また、商品陳列棚システム１００のロボット連携部１３１Ｃの機能をロボット制御部２３２の機能に含めることで、ロボット連携部１３１Ｃを省略してもよい。すなわち、ロボット制御部２３２のみで接客制御情報を受信して、人型ロボット２００の接客行動を制御することもできる。

また、人型ロボット２００の記憶装置２５０が記憶する言語データベースを、商品陳列棚システム１００の記憶装置１３３や、管理装置３００の記憶装置３３０が記憶していてもよい。これにより、例えば商品陳列棚システム１００にマイクを設け、商品陳列棚システム１００側で音声認識処理を行ったり、商品陳列棚システム１００や人型ロボット２００で収集した音声を音声データとして管理装置３００に受信させ、管理装置３００側で音声認識処理を行ったりすることもできる。

また、商品陳列棚システム１００のカメラ１１０Ａの代わりに人型ロボット２００のカメラ２７３を利用したり、モーションセンサ１１０Ｂの代わりに型ロボット２００のセンサ装置２６０を利用したりしてもよい。言い換えると、カメラ２７３及びセンサ装置２６０により、ユーザに関連する情報を検出することもできる（センサ検出情報）。人型ロボット２００でのセンサ検出情報は、コントロールユニット１３０に伝送したり、管理装置３００に直接提供したりすることができる。このとき、管理装置３００は、センシングユニット１１０による各センサ検出情報の代わりに、カメラ２７３及びセンサ装置２６０による各センサ検出情報に基づいてユーザの購買意欲を判別することができる。

また、所定のタイミングで管理装置３００から人型ロボット２００に接客制御情報を一括して送信し、記憶装置２５０に接客制御情報を予め記憶しておくことができる。この場合、管理装置３００は、接客制御情報（実際にどのような発話、動作を行うかを定義した実データ）を送信せずに、どの接客制御情報に基づいて接客行動を実行するかを指示するための接客指示情報を生成・抽出して人型ロボット２００に送信することができる。ロボット制御部２３２は、受信した接客指示情報に基づいて記憶装置２５０に予め記憶されたコンテンツを抽出して人型ロボット２００の接客制御を行うことができる。

また、店舗内に複数の商品陳列棚システム１００及び人型ロボット２００を設置し、これらをネットワークを介して一つの管理装置３００に接続して購買支援システムを構成することも可能である。これにより、店舗内で離れた位置に設置された商品陳列棚間での連携ができる。例えば、商品陳列棚Ａにおいてユーザが探している商品がない場合、ネットワークを介してユーザが探している商品が配置されている商品陳列棚Ｂを特定することができる。このとき、人型ロボット２００による発話／動作や商品陳列棚システム１００のディスプレイ１２０Ａ及びディスプレイ１２０Ｂで商品陳列棚Ｂにユーザを案内したり、誘導したりすることができる。また、管理装置を複数設置し、ネットワークを介して互いに接続することも可能である。

また、管理装置３００は、ネットワークを介して他店舗の商品陳列棚システム１００や人型ロボット２００と接続し、店舗間で連携することもできる。これにより、購買支援に必要な情報を店舗間で共有することができる。例えば、ユーザプロファイルを店舗間で共有することにより、他店舗でも同様に、ユーザに応じた購買促進を行うことができる。

また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、コンピュータ装置に本発明の各部の機能を動作させることができる。他方、本発明の各機能は、各々個別の制御装置で構成することができ、複数の制御装置を直接に又はネットワークを介して接続して構成することもできる。

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。

１：棚本体部
２Ａ，２Ｂ，２Ｃ：商品陳列部
１００：商品陳列棚システム
１１０：センシングユニット
１１０Ａ：カメラ
１１０Ｂ：モーションセンサ
１１０Ｃ：静電容量センサ
１２０：出力ユニット
１２０Ａ：ディスプレイ装置
１２０Ｂ：モニタユニット
１２０Ｃ：スピーカ
１２０Ｄ：香発生装置
１３０：コントロールユニット
１３１：制御装置
１３１Ａ：センサ制御部
１３１Ｂ：出力制御部
１３２：通信装置
１３３：記憶装置
２００：人型ロボット
２２０：ロボットシステム
２３０：制御装置
２３１：センサ制御部
２３２：ロボット制御部
２４０：通信装置
２５０：記憶装置
２６０：センサ装置
２７０：入出力ユニット
２７１：スピーカ
２７２：マイク
２７３：カメラ
２７４：表示入力装置
３００：管理装置
３１０：通信装置
３２０：制御装置
３２１：分析制御部
３２２：コンテンツ制御部
３２３：学習制御部
３３０：記憶装置

Claims (10)

1. 商品陳列棚と、
   棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットと、を備える商品陳列棚システムと、
   消費者への接客に関する発話及び／又は動作を行う接客ロボットと、
   ネットワークを介して前記商品陳列棚システムと接続され、前記センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別する管理装置と、を有し、
   前記管理装置は、
   前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、かつ商品に対する消費者の動きに基づいて棚前行動パターンを特定し、特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する分析制御部と、
   複数の前記購買意欲パターン毎に前記接客ロボットに行わせる前記接客に関する発話及び／又は動作を規定した接客制御情報をそれぞれ記憶する記憶部と、
   判別された前記購買意欲パターンに応じた前記接客制御情報を選択し、選択された前記接客制御情報を提供するコンテンツ制御部と、
   を有することを特徴とする購買支援システム。
2. 前記記憶部は、消費者の前記棚前心理パターン及び／又は前記棚前行動パターンごとの前記各接客制御情報をそれぞれ記憶しており、
   前記コンテンツ制御部は、特定された前記棚前心理パターンに応じた前記接客制御情報及び／又は特定された前記棚前行動パターンに応じた前記接客制御情報を選択し、前記棚前心理パターン及び／又は前記棚前行動パターンに応じた前記接客制御情報を提供することを特徴とする請求項１に記載の購買支援システム。
3. 前記接客制御情報は、複数の言語別の発話情報を含んでおり、
   前記管理装置は、前記接客ロボット又は前記商品陳列棚システムを介して収集された消費者の発話音声に基づいて消費者の使用言語を判別し、
   前記コンテンツ制御部は、判別された前記使用言語に応じた前記発話情報を含む前記接客制御情報を選択して提供することを特徴とする請求項１又は２に記載の購買支援システム。
4. 前記分析制御部は、前記顔画像から消費者の性別、年齢層を含む消費者属性を所定の顔認識処理に基づいて抽出し、前記顔画像及び前記消費者属性が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、商品陳列棚が設置された店舗への来店履歴と、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴とを、特定された前記ユーザプロファイル情報に関連付けて記憶し、
   前記コンテンツ制御部は、前記ユーザプロファイル情報に基づく消費者の前記性別、前記年齢層、前記来店履歴及び前記購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、前記接客制御情報を選択し、選択された前記接客制御情報を提供することを特徴とする請求項１から３のいずれか１つに記載の購買支援システム。
5. 前記分析制御部は、前記顔画像が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴を前記ユーザプロファイル情報に関連付けて記憶し、
   前記接客ロボットを制御させるための前記接客制御情報の送信処理の結果と前記購買履歴とに基づいて、商品の購買に繋がった前記送信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価する学習制御部をさらに備えることを特徴とする請求項１から３のいずれか１つに記載の購買支援システム。
6. 前記学習制御部は、前記接客ロボット又は前記商品陳列棚システムを介して収集された消費者の発話音声に基づく使用言語別に、商品の購買に繋がった前記送信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価することを特徴とする請求項５に記載の購買支援システム。
7. 前記センシングユニットは、商品陳列棚に陳列された商品の移動を検出する第３センサ機器をさらに備え、
   前記分析制御部は、前記第２センサ機器及び前記第３センサ機器のセンサ検出情報を組み合わせて消費者が特定の商品を手に取ったか否かを前記棚前行動パターンとして特定することを特徴とする請求項１から５のいずれか１つに記載の購買支援システム。
8. 前記接客ロボットは、前記第１センサ機器に相当する第４センサ機器と、前記第２センサ機器に相当する第５センサ機器と、をさらに備え、
   前記管理装置は、前記センシングユニットで取得された各センサ検出情報に代わり、前記第４センサ機器及び前記第５センサ機器で取得された各センサ検出情報を前記接客ロボットから直接に、または前記接客ロボットと接続される前記商品陳列棚システムを経由して受信し、消費者の前記購買意欲を判別することを特徴とする請求項１から７のいずれか１つに記載の購買支援システム。
9. 商品陳列棚の棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットを備える商品陳列棚システムと、
   消費者への接客に関する発話及び／又は動作行う接客ロボットと、連携し、所定の前記接客に関する発話及び／又は動作を前記接客ロボットに行わせるための接客制御情報を提供するコンピュータで実行されるプログラムであって、
   前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定する第１処理と、
   商品に対する消費者の動きに基づいて棚前行動パターンを特定する第２処理と、
   特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する第３処理と、
   複数の前記購買意欲パターン毎に関連付けられた前記接客制御情報のそれぞれに基づいて、判別された前記購買意欲パターンに関連付けられた前記接客制御情報を選択する第４処理と、
   選択された前記接客制御情報を提供する第５処理と、
   を行うことを特徴とする購買支援プログラム。
10. 商品陳列棚の棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットを備える商品陳列棚システムと、
    消費者への接客に関する発話及び／又は動作行う接客ロボットと、連携し、所定の前記接客に関する発話及び／又は動作を前記接客ロボットに行わせるための接客制御情報を提供する購買支援管理装置であって、
    前記購買支援管理装置は、
    前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、かつ商品に対する消費者の動きに基づいて棚前行動パターンを特定し、特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する分析制御部と、
    複数の前記購買意欲パターン毎に前記接客ロボットに行わせる前記接客に関する発話及び／又は動作を規定した接客制御情報をそれぞれ記憶する記憶部と、
    判別された前記購買意欲パターンに応じた前記接客制御情報を選択し、選択された前記接客制御情報を提供するコンテンツ制御部と、
    を有することを特徴とする購買支援管理装置。