JP2014164594A - 携帯端末、情報システム、情報収集方法、及びプログラム - Google Patents

Abstract

【課題】ユーザ負担が少ない情報収集を可能とすること
【解決手段】カメラ部１１０は、撮像機能を有し、各種広告媒体を撮像する。辞書データベース１３０は、各商品の画像特徴量と、商品名と、を関連付けたデータ列を管理している。画像解析部１２０は、カメラ部１１０が撮影した画像と、辞書データベース１３０に格納された各商品の特徴量を比較し、どのような商品が撮影されたかを認識する。そして画像解析部１２０は、認識した商品名を辞書データベース１３０から取得し、取得したデータと撮像対象となった広告媒体を関連付けて一時的に記憶する。データ入力部１４０は、一時的に記憶したデータを顧客情報データベース２１０に送信する。
【選択図】図４

Description

本発明は携帯端末、情報システム、情報収集方法、及びプログラムに関する。

ユーザは、新聞、雑誌、ちらし、外看板、テレビコマーシャル等の様々な媒体を介して情報を取得している。ここでユーザが各媒体を参照したうえでどのような購買を行ったか等のニーズを把握するためにはヒアリングやアンケート（ウェブでのアンケートや紙媒体を用いたアンケート）が行われることが一般的であった。

しかしながらヒアリングやアンケートによる手法では、リアルタイム性に欠け、情報が陳腐化してしまう場合がある。さらにユーザから多くの情報を取得したい場合、質問内容が多量かつ複雑となってしまう。そのため、ユーザの負担が増えてしまうといった問題やアンケートの回収率が下がってしまうことによる情報精度の低下といった問題が生じていた。

なお、特許文献１には、ユーザがある商品を気になってから購入するまでの手順を連続化することができる情報検索システムが開示されている。この情報検索システムは、ユーザが撮影した商品を解析し、当該商品に応じたデータをユーザ端末に送信する機能を有する。しかしながら特許文献１には、ユーザの検索処理からのユーザニーズの解析については何ら言及していない。

特開２００５−２１５９２２号公報

画像認識サービスＧＡＺＩＲＵ、[平成２５年２月１４日検索]、インターネット＜URL：http://jpn.nec.com/solution/cloud/gazou/＞

上述のように現状のユーザニーズの解析手法では、アンケートに対する回答などのユーザ負担が大きいという問題があった。

そこで本発明は上述の問題に鑑みてなされたものであって、ユーザ負担が少ない情報収集を可能とする携帯端末、情報システム、情報収集方法、及びプログラムを提供することを主たる目的とする。

本発明にかかる携帯端末の一態様は、
撮像機能を有し、各種広告媒体を撮像するカメラ部と、
商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
前記カメラ部が取得した画像と、前記辞書データベースに格納された前記特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名及び前記カメラ部が撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析部と、
前記撮影商品データ列を顧客情報データベースに格納するデータ入力部と、
を有する、ものである。

本発明にかかる情報システムの一態様は、
サーバと携帯端末を有する情報システムであって、
前記サーバは、
顧客情報データベースを有し、
前記携帯端末は、
撮像機能を有し、各種広告媒体を撮像するカメラ部と、
商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
前記カメラ部が取得した画像と、前記辞書データベースに格納された前記特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名及び前記カメラ部が撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析部と、
前記撮影商品データ列を顧客情報データベースに格納するデータ入力部と、を有する、ものである。

本発明にかかる情報収集方法の一態様は、
撮像機能を有し、各種広告媒体を撮像する撮像ステップと、
商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
前記撮像ステップにて取得した画像と、あらかじめ記録された商品画像の特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名をデータベースから取得するとともに、撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析ステップと、
前記撮影商品データ列を、顧客情報データベースを有するサーバに送信する送信ステップと、を有するものである。

本発明にかかるプログラムの一態様は、
コンピュータに、
撮像機能を有し、各種広告媒体を撮像する撮像ステップと、
商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
前記撮像ステップにて取得した画像と、あらかじめ記録された商品画像の特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名をデータベースから取得するとともに、撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析ステップと、
前記撮影商品データ列を、顧客情報データベースを有するサーバに送信する送信ステップと、
を実行させる、ものである。

本発明では、ユーザ負担が少ない情報収集を可能とする携帯端末、情報システム、情報収集方法、及びプログラムを提供することができる。

実施の形態１にかかる情報システム１の構成を示すブロック図である。 実施の形態１にかかる携帯端末１０の動作を示すフローチャートである。 実施の形態１にかかる情報システム１の動作概念を示す図である。 本発明にかかる情報システム１の構成を示すブロック図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。はじめに図１を参照して本実施の形態にかかる情報システムの構成例について説明する。情報システム１は、携帯端末１０及びサーバ２０から構成される。なお、図１には一つの携帯端末１０のみを表示しているが、実際には複数の携帯端末１０が存在している。

携帯端末１０は、例えばスマートフォンやタブレット端末等のユーザの把持に適した通信端末であるものとする。携帯端末１０はインターネット接続による通信機能を有している。

携帯端末１０は、カメラ部１１０、画像解析部１２０、辞書データベース１３０、データ入力部１４０、及びブラウザ１５０を有する構成である。サーバ２０は、顧客情報データベース２１０を有する構成である。携帯端末１０とサーバ２０は、インターネットにより接続され、相互通信が可能な構成である。

カメラ部１１０は、レンズ方向にある被写体を画像として取得する。カメラ部１１０は、レンズ等のハードウェア及び当該ハードウェアを制御するソフトウェアにより構成される。

辞書データベース１３０とは、ちらし等の広告媒体に掲載され得る各種商品の形状や色を特徴量として格納したデータベースである。また辞書データベース１３０には、各商品の名前等の情報も関連付けて保持している。さらにまた辞書データベース１３０は、各商品と当該商品の情報を表示するためのＵＲＬ（Uniform Resource Locator）を関連付けて保持する。すなわち辞書データベース１３０は、各商品名と、各商品の画像的な特徴量と、各商品のＵＲＬと、が関連付けられたデータ列を管理する。辞書データベース１３０には、任意のタイミングでデータを追加することが可能であり、またインターネットを介してダウンロードしたデータを反映することも可能である。

画像解析部１２０は、カメラ部１１０が撮像した画像から抽出した特徴量情報と、辞書データベース１３０内の各種商品の特徴量情報と、を比較する。ここで特徴量の比較には、例えば各画素のＲＧＢ値の比較等の処理が含まれる。画像解析部１２０は、当該比較によりカメラ部１１０が撮像した商品が何であるかを認識する。なお、画像解析部１２０による比較処理は、一般的な画像処理装置において用いられる手法であれば良く、また非特許文献１に記載のシステムにおいて用いられる手法と同様の手法であれば良い。なお、以下の説明では画像解析部１２０が、カメラ部１１０が撮像した被写体が辞書データベース１３０内にある特定商品と一致すると判定することを「画像認識」と呼称する。

画像解析部１２０は、一定間隔毎にカメラ部１１０が撮像した被写体と辞書データベース１３０内にある各商品との比較を行い、画像認識した場合には「商品名」と「商品が記載されている広告媒体」を関連付ける。なお画像解析部１２０は、「商品が記載されている広告媒体」を画像解析により取得してもよく、ユーザ入力に応じて取得してもよい。例えば所定時間内に画像解析部１２０が商品Ａを１回、商品Ｂを２回、商品Ｃを１回だけ画像認識した場合、（商品Ａ、ちらし）、（商品Ｂ、ちらし）、（商品Ｂ、ちらし）、（商品Ｃ、ちらし）というデータを取得する。

画像解析部１２０は、画像認識する毎に、画像認識にかかる商品のＵＲＬを辞書データベース１３０から取得し、携帯端末１０のディスプレイ上等にリンク形式で表示する。ユーザは、リンクをタップすることによりブラウザ１５０を起動し、ブラウザ１５０の画面上で商品の参照ページ（または購入ページ）を表示することができる。

データ入力部１４０は、画像解析部１２０が画像認識により取得したデータ列（例えば（商品Ａ、ちらし）、（商品Ｂ、ちらし）、（商品Ｂ、ちらし）、（商品Ｃ、ちらし））を、ユーザを識別する情報（例えばユーザの名前、年齢、性別等を示す情報である。以下でのユーザ情報と記載する。）と関連付けて顧客情報データベース２１０に入力するために送信する。ここでデータ入力部１４０は、ブラウザ１５０により商品に関するウェブページが閲覧されたタイミングでデータ送信を行うことが望ましいが、これに限られず一定時間毎にデータ列を送信してもよい。

なお、顧客情報データベース２１０に入力されるデータ列（商品名、商品が掲載された広告媒体、及びユーザ情報、が含まれるデータ列）を撮影商品データ列とも呼称する。ユーザ情報は、例えば情報システム１を利用する際の入力認証情報等から取得すればよい。データ入力部１４０は、データ列の送信後に、送信したデータ列を携帯端末１０内部から削除する。

サーバ２０は、インターネット環境に配置される一般的なサーバ装置である。サーバ２は、顧客情報データベース２１０を有する。顧客情報データベース２１０には、各種の携帯端末１０からデータ列が入力される。すなわち様々なユーザの商品の閲覧記録が顧客情報データベース２１０に入力される。

顧客情報データベース２１０に格納された各データ列は、ユーザニーズの調査のために適宜使用される。上述のように顧客情報データベース２１０に格納されるデータ列は、「商品名」、「商品が記載されている広告媒体」、及び「ユーザ情報」に関するデータが含まれている。これらのデータは、任意の解析手法によって年齢別の商品閲覧状況や各ユーザの購買ページへの移動状況、すなわちユーザニーズの解析を行うことに用いられる。

なおデータ入力部１４０は、商品特性に応じて画像解析部１２０が画像認識により取得したデータ（商品名、及び商品が掲載された広告媒体）のみを送信してもよいが、ユーザ情報と関連付けて送信したほうが顧客データベース２１０を用いた詳細なニーズ解析が可能となる。

続いて図２を参照して、本実施の形態にかかる携帯端末１０の動作について説明する。図２は、携帯端末１０の動作を示すフローチャートである。はじめに携帯端末１０は、アプリケーション起動によりカメラ部１１０の撮像動作を開始する（Ｓ１）。

カメラ部１１０は、一定間隔毎にカメラレンズの方向にある被写体を撮像する。そして画像解析部１２０は、カメラ部１１０が撮像した画像から算出される特徴量と、辞書データベース１３０に格納された各商品の特徴量と、を比較する（Ｓ２）。そして画像認識が行われた場合（Ｓ３：Ｙｅｓ）、画像解析部１２０は辞書データベース１３０から対応する商品名及び広告媒体の種類を取得して、取得したデータを関連付けて（商品名のデータと広告媒体の種類のデータを１つのセットとして）一時的に記憶する（Ｓ４）。そして画像解析部１２０は、取得した商品と関連付けられたＵＲＬを辞書データベース１３０から取得して携帯端末１０のディスプレイに表示する（Ｓ５）。

表示したＵＲＬがタップされるなどして選択された場合（Ｓ６：Ｙｅｓ）、ブラウザ１５０は当該ＵＲＬの示すウェブページをディスプレイ上に表示する（Ｓ７）。そしてデータ入力部１４０は、ウェブページの表示後にＳ４において一時的に記憶したデータをユーザ情報と関連付けて顧客データベース２１０に対して送信する（Ｓ８）。その後にデータ入力部１４０は、携帯端末１０内部からＳ４において一時的に記憶したデータ列を全て削除する（Ｓ９）。

上述の処理（Ｓ２〜Ｓ８）は、起動元のアプリケーションが終了するまで継続して実行される（Ｓ１０）。アプリケーションが終了した後に（Ｓ１０：Ｙｅｓ）、Ｓ４において一時的に記憶したデータが残っていた場合には当該データ列が携帯端末１０上から削除される（Ｓ１１）。

続いて図３を参照して本実施の形態にかかる情報システム１の動作例を説明する。図３は、本実施の形態にかかる携帯端末１０の動作を概念的に示す図である。以下の説明では、Ｘ社のチラシを人物Ｙの携帯端末１０を用いて画像認識する例について説明する。

携帯端末１０内のカメラ部１１０は、一定時間毎に撮像を行う。画像解析部１２０は、撮像された画像と辞書データベース１３０との比較による画像認識処理を行う。本例では、Ｘ社のちらしに表示された商品Ａ、商品Ｂ、商品Ｃとの比較処理を行う。

画像解析部１２０は、画像認識が行われるたびに商品名（商品Ａ〜Ｃのいずれか）と商品が掲載された広告媒体（Ｘ社ちらし）を関連付けて一時的に記憶する。例えば商品Ａを１回、商品Ｂを２回、商品Ｃを１回画像認識した場合、画像解析部１２０は（商品Ａ、ちらし）、（商品Ｂ、ちらし）、（商品Ｂ、ちらし）、（商品Ｃ、ちらし）というデータを一時的に記憶する。

また画像解析部１２０は、画像認識を行う毎に当該商品のＵＲＬを辞書データベース１３０から取得して携帯端末１０のディスプレイ上等に表示する。このＵＲＬをユーザがタップした場合、ブラウザ１５０がこのＵＲＬにかかるウェブページを表示する。たとえば商品Ａの購入サイトが表示される。

ウェブページの表示後にデータ入力部１４０は、一時的に記憶したデータ列（（商品Ｃ、ちらし）、（商品Ｂ、ちらし）、（商品Ｂ、ちらし）、（商品Ａ、ちらし））とユーザＹのユーザ情報を関連付けて顧客情報データベース２１０に入力する。これにより、顧客情報データベース２１０には、ユーザＹがどの広告媒体を参照して商品情報を取得したかが分かるデータ列が入力される。また顧客情報データベース２１０に格納されたデータにより各商品を何回撮影したかを把握することができる。

続いて本実施の形態にかかる情報システム１の効果について説明する。アンケート等の手法では、また適切な情報を取得するために多量の質問等が必要となっていた。この多量の質問や質問の複雑化により、アンケートの回収率が低くなり、十分に情報を収集することができないケースが生じていた。一方、本実施の形態にかかる情報システムでは、ユーザの行う処理はカメラ部１１０による撮像処理のみであるため、ユーザの負担を少なくすることができ、情報の回収率を高めることも可能となる。

またアンケート等の調査手法では、嘘を書くユーザがいることがあり、これにより精度の高い情報収集を行うことができなかった。本実施の形態では、画像認識による機械的な処理を基に情報を収集するため、精度の高い情報の収集が可能となる。

上述のように本実施の形態にかかる携帯端末１０は、辞書データベース１３０を用いた画像認識を行い、画像認識によって得られた商品及び広告媒体のデータを顧客情報データベース２１０に逐次入力している。これにより顧客情報データベース２１０には、ユーザの購買特性等を解析できるデータが即時的に格納される。すなわち、リアルタイムでの情報収集を実現することができる。

特にＵＲＬをタップした後に顧客情報データベース２１０へのデータ送信が行われるため、どの広告媒体から商品ＵＲＬを参照したかを把握することができる。すなわち、購買ルートの把握を高精度に行うことができる。

また顧客情報データベース２１０のデータ列から、各ユーザが商品毎に画像認識を行った回数を把握することができる。これによりユーザの深層心理を把握することも可能となる。

データ入力部１４０は、データ列の送信後に携帯端末１０から送信したデータ列を適宜削除している。これにより携帯端末１０内のデータ領域の圧迫を回避できるとともに、不要な個人情報が携帯端末１０内に残存する事態を回避することができる。

上述した実施の形態は本件発明者により得られた技術思想の適用に関する例に過ぎない。すなわち、当該技術思想は、上述した実施の形態のみに限定されるものではなく、種々の変更が可能であることは勿論である。

携帯端末１０における各種処理（カメラ部１１０における撮像制御処理、画像解析部１２０の処理、データ入力部１４０の処理、及びブラウザ１５０の処理）は、任意のコンピュータ内で動作するプログラムとして実現することができる。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

最後に図４を参照して、本発明の概略について改めて説明する。図４は、本発明の携帯端末１０の特徴的部分を示すブロック図である。カメラ部１１０は、撮像機能を有し、各種広告媒体を撮像する。辞書データベース１３０は、各商品の画像特徴量と、商品名と、を関連付けたデータ列を管理している。

画像解析部１２０は、カメラ部１１０が撮影した画像と、辞書データベース１３０に格納された各商品の特徴量を比較し、どのような商品が撮影されたかを認識する。そして画像解析部１２０は、商品名等のデータを辞書データベース１３０から取得し、取得したデータと撮像対象となった広告媒体を関連付けて一時的に記憶する。データ入力部１４０は、一時的に記憶したデータを顧客情報データベース２１０に送信する。

このように、携帯端末１０を用いて情報収集を行う際にユーザは、撮影に関する処理のみしか行わない。これにより、ユーザの負荷が小さい情報収集を行うことができる。

１ 情報システム
１０ 携帯端末
１１０ カメラ部
１２０ 画像解析部
１３０ 辞書データベース
１４０ データ入力部
１５０ ブラウザ
２０ サーバ
２１０ 顧客情報データベース

Claims (10)

1. 撮像機能を有し、各種広告媒体を撮像するカメラ部と、
   商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
   前記カメラ部が取得した画像と、前記辞書データベースに格納された前記特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名及び前記カメラ部が撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析部と、
   前記撮影商品データ列を顧客情報データベースに格納するデータ入力部と、
   を有する携帯端末。
2. 前記データ入力部は、前記撮影商品データ列に前記携帯端末を使用するユーザに関する情報であるユーザ情報を挿入して前記顧客情報データベースに格納する、請求項１に記載の携帯端末。
3. 前記データ入力部は、前記顧客情報データベースへのデータ入力の後に前記携帯端末から前記撮影商品データ列を削除する、請求項１または請求項２に記載の携帯端末。
4. 前記辞書データベースは、商品の画像の特徴量と、商品名と、に加え商品に関するウェブページを参照するＵＲＬを関連付けて保持し、
   前記画像解析部は、前記カメラ部によって撮像された画像の商品認識時に、認識した商品にかかるＵＲＬを前記辞書データベースから取得して前記携帯端末の表示部に表示し、
   前記データ入力部は、前記表示部に表示されたＵＲＬを選択した際に前記撮影商品データ列を顧客情報データベースに格納する、請求項１〜請求項３のいずれかに記載の携帯端末。
5. サーバと携帯端末を有する情報システムであって、
   前記サーバは、
   顧客情報データベースを有し、
   前記携帯端末は、
   撮像機能を有し、各種広告媒体を撮像するカメラ部と、
   商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
   前記カメラ部が取得した画像と、前記辞書データベースに格納された前記特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名及び前記カメラ部が撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析部と、
   前記撮影商品データ列を顧客情報データベースに格納するデータ入力部と、を有する、情報システム。
6. 前記データ入力部は、前記撮影商品データ列に前記携帯端末を使用するユーザに関する情報であるユーザ情報を挿入して前記顧客情報データベースに格納する、請求項５に記載の情報システム。
7. 前記データ入力部は、前記顧客情報データベースへのデータ入力の後に前記携帯端末から前記撮影商品データ列を削除する、請求項５または請求項６に記載の情報システム。
8. 前記辞書データベースは、商品の画像の特徴量と、商品名と、に加え商品に関するウェブページを参照するＵＲＬを関連付けて保持し、
   前記画像解析部は、前記カメラ部によって撮像された画像の商品認識時に、認識した商品にかかるＵＲＬを前記辞書データベースから取得して前記携帯端末の表示部に表示し、
   前記データ入力部は、前記表示部に表示されたＵＲＬを選択した際に前記撮影商品データ列を顧客情報データベースに格納する、請求項５〜請求項７のいずれかに記載の情報システム。
9. 撮像機能を有し、各種広告媒体を撮像する撮像ステップと、
   商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
   前記撮像ステップにて取得した画像と、あらかじめ記録された商品画像の特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名をデータベースから取得するとともに、撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析ステップと、
   前記撮影商品データ列を、顧客情報データベースを有するサーバに送信する送信ステップと、を有する情報収集方法。
10. コンピュータに、
    撮像機能を有し、各種広告媒体を撮像する撮像ステップと、
    商品の画像の特徴量と、商品名と、が関連付けられたデータ列を保持する辞書データベースと、
    前記撮像ステップにて取得した画像と、あらかじめ記録された商品画像の特徴量と、を比較して撮像された商品を認識し、当該商品にかかる前記商品名をデータベースから取得するとともに、撮像した広告媒体の種類を関連付けたデータ列である撮影商品データ列を取得する画像解析ステップと、
    前記撮影商品データ列を、顧客情報データベースを有するサーバに送信する送信ステップと、
    を実行させる、プログラム。