JP2015090579A - 行動分析システム - Google Patents

Abstract

【課題】店舗内の顧客行動を分析・収集し顧客行動の指標を集計する。
【解決手段】複数の撮影装置と、複数の撮影装置からデータを取得する認識集計装置とを備える行動分析システムであって、認識集計装置は、前記複数の撮影装置が撮影した顔画像を格納する顔情報データベースと、複数の撮影装置が設置された位置を示す撮像装置情報データベースとを有し、認識集計装置は、撮影装置が撮影した画像から顔領域を検出する顔領域検出部と、検出された顔領域の画像特徴量を抽出し、前記特徴量を顔情報データベースに登録する特徴量抽出部と、画像特徴量に基づいて、顔情報データベースに登録された顔情報が同一人のものであるかを判定し、判定の結果に基づいて同一人である情報を顔情報データベースに登録する照合部と、同一人である情報が付与された顔情報を撮影した時刻及び場所のデータを用いて、来店者の行動指標を集計する集計部と、を有する。
【選択図】図１

Description

本発明は、行動分析システムに関し、特に、店舗において顧客の行動を分析するのに好適なシステムに関する。

小売店店舗では、店舗内の顧客行動を分析して、売り上げ増につながる店舗改善施策を導き出すことが行われている。従来では、調査員による入店数カウントによる調査が行われたが、最近、カメラなどの撮影装置からの映像から顔検出技術を用い顧客の性別・年齢を判定するシステムが開発されており、調査員を用いずに顧客の性別・年齢別カウントを測定する方法が普及しつつある。また、別の技術として、画像の特徴点を数値化して（画像特徴量）それを比較することによって、画像の類似性で画像を検索できる類似画像検索技術が開発されている。

このような顔認識結果を販売に生かすために技術として特許文献１に記載された技術がある。特許文献１には、ディジタルサイネージ装置、自販機装置、防犯監視装置に設置したカメラ機能を用いて所定の間隔で映像を撮影し、撮影した映像の顔属性情報を抽出し、事前にＩＤを付加して記憶していた顔属性情報とＩＤで比較し、比較結果が不一致ならそれぞれの顔情報に対応したＩＤを新規に設定し、新規に設定したＩＤと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したＩＤと今回の検出結果で検出環境属性を更新したのち記憶し、記憶されたＩＤ、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行う方法が記載されている。

特開２０１３−００３８１７号公報

ところで、店舗内の顧客行動を分析するためには、性別・年齢別の入店数だけでは不十分であり、来店者・購入者の店舗滞在時間やリピータ率など店舗改善施策に有効な指標が多く存在する。従来のシステムは時間的観点での測定ができないことから、これらの指標の測定が困難である。例えば、レジにシステムを設置すれば購入者の人数はカウントできるが、購入者の店舗滞在時間は分からない。また、過去に購入したことのある人物かも判断できない。

また、特許文献１に記載された技術では、認識された顔情報に応じて、お勧め商品の表示切り替えるなど機器を制御するが、撮影装置は１箇所に設置されるのみで、複数箇所に設置された撮影装置からの情報に基づいて顧客動向を分析するものではない。このため、店舗内における顧客の行動を把握することができなかった。

本発明の目的は、複数の固定型撮影装置が取得する映像によって、店舗内の顧客行動を分析・収集し店舗滞在時間などの顧客行動の指標を集計することにある。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、複数の撮影装置と、前記複数の撮影装置からデータを取得する認識集計装置とを備える行動分析システムであって、前記認識集計装置は、前記複数の撮影装置が撮影した顔画像を格納する顔情報データベースと、前記複数の撮影装置が設置された位置を示す撮影装置情報データベースとを有し、前記認識集計装置は、前記撮影装置が撮影した画像から顔領域を検出する顔領域検出部と、前記検出された顔領域の画像特徴量を抽出し、前記特徴量を顔情報データベースに登録する特徴量抽出部と、前記画像特徴量に基づいて、前記顔情報データベースに登録された顔情報が同一人のものであるかを判定し、前記判定の結果に基づいて同一人である情報を顔情報データベースに登録する照合部と、前記同一人である情報が付与された顔情報を撮影した時刻及び場所のデータを用いて、来店者の行動指標を集計する集計部と、を有する。

本発明の代表的な実施の形態によれば、店舗内の顧客行動の指標を集計することができる。

本発明の実施形態の一例を示すシステム構成図である。 本実施形態の顔情報データベース１０に格納されるデータの構成を説明する図である。 本実施形態の同一人照合部処理のフローチャートである。 本実施形態の撮影装置情報データベース１１に格納される撮影装置情報の構成を説明する図である。 本実施形態の集計処理のフローチャートである。 本実施形態の出力リストの出力内容を説明する図である。 本実施形態の出力リストの出力内容を説明する図である。 本実施形態の出力リストの出力内容を説明する図である。 本実施形態の出力リストの出力内容を説明する図である。

以下、本発明を適用した顧客動向時間集計システムの一実施形態について説明する。

図１は、本発明の実施形態の一例を示すシステム構成図である。

本実施形態の顧客動向時間集計システムは、店舗内の映像を撮影する複数の撮影装置１ａ、１ｂ、…、１ｎと、認識集計装置３とを有する。撮影装置１ａ、１ｂ、…、１ｎは、動画を撮影するものでも、静止画を繰り返し撮影するものでもよい。撮影装置１ａ、１ｂ、…、１ｎは、無線回線（又は、有線回線）によってネットワーク２と接続され、ネットワーク２に認識集計装置３が接続される。従って、撮影装置１ａ、１ｂ、…、１ｎと認識集計装置３とは、ネットワーク２を通じてデータを転送することができる。

認識集計装置３は、ネットワーク２を介して端末装置２０と接続されている。端末装置２０は、認識集計装置３に指示を送ったり、認識集計装置３による計算結果を表示する。

また、認識集計装置３は、ネットワーク２を介してＰＯＳシステムと接続されている。ＰＯＳシステムは、ＰＯＳサーバ３０、ＰＯＳ端末３１及びカードリーダ３２を有する。ＰＯＳサーバ３０は、ＰＯＳ端末３１に入力された販売データを集計する。ＰＯＳ端末３１は、会計場所に設置され販売データが入力される。カードリーダ３２はＰＯＳ端末３１に接続され、記憶媒体（例えば、会員カード、ポイントカードなど）を読み取る。認識集計装置３は、ＰＯＳシステムから取得したデータによって、購入者を確実に特定することができる。

また、撮影装置１ａ、１ｂ、…、１ｎの少なくとも一つは会計場所（望ましくは、レジのレーン毎）に設けて、レジを通過した来店者の画像を撮影するとよい。

認識集計装置３は、プログラムを実行するプロセッサ、メモリ、記憶装置及び通信インターフェースを有する計算機である。

メモリは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、記憶装置に格納されたプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。記憶装置、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行される。

通信インターフェース、所定のプロトコルに従って、ネットワーク２を介して接続された他の装置との通信を制御するネットワークインターフェース装置である。

プロセッサによって実行されるプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して各サーバに提供され、非一時的記憶媒体である不揮発性記憶装置に格納される。このため、計算機システムは、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

認識集計装置３は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で複数のスレッドで動作しても、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

認識集計装置３は、顔情報データベース１０、撮影装置情報データベース１１及び集計結果格納部１２を記憶装置に格納する。

顔情報データベース１０は、顔画像特徴量データ、顔領域座標及び撮影日時等の顔取得情報を格納する。顔情報データベース１０の詳細は、図２を用いて後述する。撮影装置情報データベース１１は、接続されている撮影装置１ａ、１ｂ、…、１ｎによる撮影場所等の各撮影装置の情報を格納する。撮影装置情報データベース１１の詳細は、図４を用いて後述する。集計結果格納部１２は、集計部９が集計した顧客行動の指標を格納する。

認識集計装置３は、画像取得部４、顔領域検出部５、顔画像特徴量抽出部６、顔情報データベース登録部７、同一人照合部８及び集計部９を有する。これらの各部は、プロセッサが所定のプログラムを実行することによって実装される。

画像取得部４は、接続している撮影装置１ａ、１ｂ、…、１ｎから画像を取得する。顔領域検出部５は、取得した画像から顔領域を検出する。顔画像特徴量抽出部６は、取得した画像の顔領域部分の画像特徴量を数値化する。顔情報データベース登録部７は、顔画像特徴量と顔取得情報を顔情報データベース１０に登録する。同一人照合部８は、顔情報が蓄積された顔情報データベース１０から同一人のデータを照合して同一人情報を顔情報データベース１０に付与する。集計部９は、同一人情報が付与された顔情報データベース１０から、同じ人が撮影された時間と撮影された撮影装置ＩＤを取得し、撮影装置情報データベース１１から撮影装置の設置場所を取得し、取得した情報から顧客行動の指標を集計する。

図２は、本実施形態の顔情報データベース１０に格納されるデータの構成を説明する図である。

顔情報データベース１０は、顔画像特徴量データ及び顔取得情報を格納するデータベースで、図２（Ａ）に示すように、顔画像特徴量２１、撮影日時２２、顔領域座標２３、人物ＩＤ２４及び撮影装置ＩＤ２５のデータが登録される。

顔画像特徴量２１は、顔画像特徴量抽出部６において数値化されたデータを登録する。撮影日時２２は、撮影画像の撮影日時を登録する。顔領域座標２３は、図２（Ｂ）に示すように、撮影画像２６の左上を原点とした座標を用いて、顔領域検出部５で検出された顔領域の座標が登録される。

また、人物ＩＤ２４は、顔情報データベース１０への登録時には、その値は登録されず、同一人照合部８が登録する。また、撮影装置ＩＤ２５は、この顔が検出された画像を撮影した撮影装置の識別子が格納され、撮影装置情報データベース１１に登録されている撮影装置ＩＤ４１と同じものを用いる。これらの情報が纏められて１レコードを構成し、一つの顔情報を表す。

図３は、本実施形態の同一人照合部処理のフローチャートである。図３に示す同一人照合処理は、認識集計装置３によって実行される。

まず、顔情報データベース登録部７は、新しい人物ＩＤを０に設定する（ステップ３０１）。画像取得部４が撮影装置１から新しい撮影画像を取得すると（ステップ３０２）、顔領域検出部５は、顔領域を検出する。このとき、顔領域が検出できなかった場合（ステップ３０３でＮ）、ステップ３０２に戻り、次の撮影画像を取得する。顔領域が検出できた場合（ステップ３０３でＹ）、顔画像特徴量抽出部６は、数値化した顔画像特徴量を顔画像から抽出し（ステップ３０４）、顔情報データベース登録部７は、顔画像特徴量２１、撮影日時２２、顔領域座標２３及び撮影装置ＩＤ２５を顔情報データベース１０に登録する（ステップ３０５）。

その後、同一人照合部８は、ステップ３０５で登録した顔画像特徴量に類似する顔画像特徴量を有する顔情報レコードを顔情報データベース１０から検索する（ステップ３０６）。類似する顔画像特徴量を有する顔情報レコードが見つからなかった場合（ステップ３０７のＮ）、今回登録した顔情報レコードの人物ＩＤ２４を新しい人物ＩＤで更新し（ステップ３１０）、新しい人物ＩＤを１増やし（ステップ３１１）、ステップ３０２に戻り、次の撮影画像を取得する。一方、類似する顔画像特徴量を有する顔情報レコードが見つかった場合（ステップ３０７でＹ）、今回登録した顔情報レコードと、検索結果の顔情報レコードとが同一人であると判定し（ステップ３０８）、検索結果の顔情報レコードの人物ＩＤを用いて今回登録した顔情報レコードの人物ＩＤ２４を更新する（ステップ３０９）。上記の処理を、撮影画像を取得する度に繰り返す。

図４は、本実施形態の撮影装置情報データベース１１に格納される撮影装置情報の構成を説明する図である。

撮影装置情報データベース１１は、撮影装置ＩＤ４１及び撮影場所４２を含み、撮影装置ＩＤ４１毎に撮影場所４２が登録される。例えば、図４に示す撮影装置情報では、撮影装置ＩＤ４１が０の撮影装置が入口を映すように設置されていることを示す。

図５は、本実施形態の集計処理のフローチャートである。図５に示す集計処理は、認識集計装置３の集計部９が実行する。

まず、集計部９は、検索人物ＩＤを０に設定する（ステップ５０１）。そして、顔情報データベース１０から人物ＩＤが検索人物ＩＤと一致する顔情報を検索する（ステップ５０２）。検索人物ＩＤと人物ＩＤとが一致する顔情報が見つからなかった場合（ステップ５０３でＮ）検索人物ＩＤを１増やし（ステップ５０８）、ステップ５０２に戻り、次の検索人物ＩＤで顔情報データベース１０を検索する。

一方、検索人物ＩＤと人物ＩＤとが一致する顔情報が見つかった場合（ステップ５０３でＹ）、当該顔情報レコードの撮影日時２２を顔情報データベース１０から取得し、見つかった顔情報の撮影日時を特定する（ステップ５０４）。また、当該顔情報レコードの撮影装置ＩＤ２５を顔情報データベース１０から取得し、取得した撮影装置ＩＤで撮影装置情報データベース１１を参照し撮影場所４２を取得し、見つかった顔情報の撮影場所を特定する（ステップ５０５）。

そして、取得した撮影日時及び撮影場所から検索人物ＩＤの人物の撮影場所間の移動時間を算出する（ステップ５０６）。例えば、出口で撮影された時刻から入口で撮影された時刻を減じることによって、店舗滞在時間を計算することができる。具体的には、取得した撮影日時と撮影場所との組が（2013/07/25 10:00:00 ，入口）、（2013/07/25 10:28:00 ，レジ）、（2013/07/25 10:30:00 ，出口）である場合、この人物は商品を購入しており、入店から出店までの店舗滞在時間は３０分であり店舗滞在時間が分かる。また、例えば、取得した撮影日時と撮影場所との組が（2013/07/25 10:00:00 ，入口）、（2013/07/25 10:30:00 ，出口）である場合、この人物は何も購入しておらず、入店から出店までの店舗滞在時間は３０分であり店舗滞在時間が分かる。

そして、算出した情報をリストとして出力し、集計結果格納部１２に格納する（ステップ５０７）、検索人物ＩＤを１増やし（ステップ５０８）、ステップ５０２に戻り、次の検索人物ＩＤで顔情報データベース１０を検索する。上記の処理を、全ての人物ＩＤで繰り返すことによって、顔情報データベース１０に蓄積されている顔情報から、全ての来店者の小売店舗顧客動向時間情報を取得できる。

図６は、本実施形態の出力リストの出力内容を説明する図である。

店舗滞在時間は、出口で撮影された時刻から入口で撮影された時刻を減じることによって計算する。図６に例示したデータでは、４人が来店して、商品を購入した者が２人、来店者の店舗滞在時間の平均は１７．２５分、購入者の店舗滞在時間の平均は１２分である。

なお、１回の入口での撮影に対し、出口で複数回撮影されている場合、最も遅い出口撮影時刻を用いて、店舗滞在時間を計算すればよい。

また、レジ撮影時刻に会計をした来店者が会員カードやポイントカードを使用していれば、読み取ったカードの識別子（会員番号など）によって、来店者を確実に特定することができる。

前述の実施例では、顧客店内滞在時間を取得する例を挙げたが、撮影装置の設置場所を変えることで様々な顧客行動指標を測定することができる。

以下にその他の実施例を挙げる。

図７に示すように、撮影場所を入口として、検索人物ＩＤごとに所定の期間内の撮影日時を出力リストにリストアップしてもよい。複数回に撮影されている人物はリピータ客である。当該人物が撮影された回数を集計して、来店者がリピータかを表す来店者リピータ率、及び購買者がリピータかを表す購買者リピータ率を算出する。図７に例示したデータでは、４人が来店して、商品を購入した者が１人、来店リピータ率（リピート来店者数／全来店者数）は０．５、購入リピータ率（リピート来店者数／全購入者数）は１．０である。

なお、検索人物ＩＤごとの撮影回数を集計する場所は任意の場所でよい。このような集計によって、特定の場所のリピータ率を算出することができる。また、撮影回数を集計する期間を変化することによって、特定の期間（例えば、セール中）の来店者のリピータ率を算出することができる。

図８に示すように、撮影場所を入口と、レジと、重点商品棚とし、検索人物ＩＤごとに３箇所の撮影日時をリストアップしてもよい。この場合、特定の商品棚の中に撮影装置を設置し、商品棚に対面した来店者を撮影する。重点商品棚で撮影された者は重点商品に興味を持ったと推定される。このため、集計した来店者又は購入者のうち、重点商品に注目する来店者を表す重点商品集客率を算出する。これによって、顧客が重点商品に注目しているかの指標が得られる。図８に例示したデータでは、４人が来店して、商品を購入した者が２人、来店者のうちの重点商品集客率は０．５、購入者のうちの重点商品集客率は０．０である。

また、レジ撮影時刻及びＰＯＳデータと重点商品棚撮影時刻とを組み合わせることによって、来店者が当該商品を購入したかを知ることができる。すなわち、レジ撮影時刻における会計に重点商品が含まれていれば、重点商品棚に立ち寄った者が重点商品を購入したことが分かる。この場合、重点商品棚に立ち寄った来店者が当該重点商品を購入したかが分かるように、重点商品棚で撮影された結果と前記重点商品の購入データとを対比した結果を出力リストに出力する。

図９に示すように、撮影場所を入口と、レジと、重点通路とし、検索人物ＩＤごとに３箇所の撮影日時をリストアップしてもよい。この場合、重点通路の両側から（又は、重点通路の入口及び出口を）撮影するように撮影装置を設置し、重点通路を通過した来店者を撮影する。重点通路で撮影された、すなわち重点通路を通過した者を集計し、集計した来店者又は購入者のうち、重点通路を通過した来店者を表す重点通路顧客通過率を算出する。これによって、顧客が重点通路を通過しているかの指標が得られる。図９に例示したデータでは、４人が来店して、商品を購入した者が２人、来店者のうちの重点通路顧客通過率は０．７５、購入者のうちの重点通路顧客通過率は１．０である。

なお、重点通路の両側から（又は、重点通路の入口及び出口を）撮影するように撮影装置を設置し、重点通路を通過した来店者を撮影する。重点通路の２箇所で撮影された時刻の順序によって、重点通路を通過した方向を知ることができる。

以上に説明したように、本発明の実施形態では、来店者・購入者の店舗滞在時間を容易に測定することができる。また、来店者のうちリピータか表す来店者リピータ率と、購買者のうちリピータかを表す購買者リピータ率を容易に算出できる。また、来店者又は購入者が重点商品に注目するかを表す重点商品集客率を容易に計算できる。さらに、来店者又は購入者が重点通路を通過しているかを表す重点通路顧客通過率を容易に計算できる。

また、レジ撮影時刻及びＰＯＳデータを併用することによって、来店者が当該商品を購入したかを知ることができる。すなわち、顧客の店舗内の回遊行動と購買行動とを関連付けて分析することができる。

さらに、会員カードやポイントカードから取得したデータを併用することによって、来店者を確実に特定することができる。

１ａ、１ｂ、１ｎ 撮影装置
２ ネットワーク
３ 認識集計装置
４ 画像取得部
５ 顔領域検出部
６ 顔画像特徴量抽出部
７ 顔情報データベース登録部
８ 同一人照合部
９ 集計部
１０ 顔情報データベース
１１ 撮影装置情報データベース

Claims (5)

1. 複数の撮影装置と、前記複数の撮影装置からデータを取得する認識集計装置とを備える行動分析システムであって、
   前記認識集計装置は、前記複数の撮影装置が撮影した顔画像を格納する顔情報データベースと、前記複数の撮影装置が撮影する場所を示す撮影装置情報データベースとを有し、
   前記認識集計装置は、
   前記撮影装置が撮影した画像から顔領域を検出する顔領域検出部と、
   前記検出された顔領域の画像特徴量を抽出し、前記画像特徴量を前記顔情報データベースに登録する特徴量抽出部と、
   前記画像特徴量に基づいて、前記顔情報データベースに登録された顔情報が同一人のものであるかを判定し、前記判定の結果に基づいて同一人である情報を前記顔情報データベースに登録する照合部と、
   前記同一人である情報が付与された顔情報を撮影した時刻及び撮影場所のデータを用いて、来店者の行動指標を集計する集計部と、を有することを特徴とする行動分析システム。
2. 請求項１に記載の行動分析システムであって、
   前記複数の撮影装置は、店舗の入口を撮影する第１のカメラと、店舗の出口を撮影する第２のカメラと、店舗の会計場所を撮影する第３のカメラと、を含み、
   前記認識集計装置は、
   前記第２のカメラで顔画像が撮影された時刻と、前記第１のカメラで顔画像が撮影された時刻との差によって、滞在時間を計算し、
   前記計算された滞在時間と、前記第３のカメラで顔画像が撮影された時刻とを出力することを特徴とする行動分析システム。
3. 請求項１に記載の行動分析システムであって、
   前記複数の撮影装置は、店舗の入口を撮影する第１のカメラと、店舗の会計場所を撮影する第３のカメラと、を含み、
   前記認識集計装置は、
   所定の期間内に前記第１のカメラで同一人の顔画像が撮影された回数を計数し、
   前記所定の期間内に前記第３のカメラで同一人の顔画像が撮影された回数を計数し、
   前記計数された撮影回数を出力することを特徴とする行動分析システム。
4. 請求項１に記載の行動分析システムであって、
   前記複数の撮影装置は、店舗の会計場所を撮影する第３のカメラと、店舗内の特定の場所を撮影する第４のカメラと、を含み、
   前記行動分析システムは、前記会計場所に設置されるＰＯＳ端末を含むＰＯＳシステムと接続されており、
   前記認識集計装置は、
   ある来店者の顔画像が前記第４のカメラで撮影されたかを判定し、
   ある来店者の顔画像が前記第３のカメラで撮影された時刻を取得し、
   前記取得された時刻において前記ＰＯＳ端末に入力された会計データから、前記特定の場所で販売される商品の購入データを取得し、
   前記第４のカメラにより撮影された顔画像の判定結果と、前記取得した購入データとを対比した結果を出力することを特徴とする行動分析システム。
5. 請求項１に記載の行動分析システムであって、
   前記複数の撮影装置は、店舗の会計場所を撮影する第３のカメラを含み、
   前記会計場所にＰＯＳ端末が設置されるＰＯＳシステムと接続されており、
   前記ＰＯＳ端末は、来店者を特定する識別情報を読み取るための読取装置を有し、
   前記認識集計装置は、ある来店者の顔画像が前記第３のカメラで撮影された時刻又はその近傍の時刻に、前記読取装置が読み取った識別情報によって、前記第３のカメラが撮影した顔画像の人物を特定することを特徴とする行動分析システム。

Images