JP2013161116A - レコメンドシステム、レコメンド方法及びレコメンドプログラム - Google Patents

Abstract

【課題】ユーザの人物情報を考慮した商品やサービスをレコメンドすることができるレコメンドシステムを提供する。
【解決手段】レコメンドシステムは、画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集部１と、コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合にコンテンツの識別情報と商品の識別情報とを関連付ける物体認識部２と、コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、コンテンツの識別情報と人物情報とを関連付ける人物情報判定部３と、同一のコンテンツの識別情報に関連付けられた商品の識別情報と人物情報とを関連付け、人物情報を予め定めた区分に基づいて分けて商品及び区分毎にレコメンドの優先度を示す得点を計算し、得点を含むレコメンド情報を生成するレコメンド計算部４とを備える。
【選択図】図１１

Description

本発明は、ユーザに商品やサービスを推薦するためのレコメンド情報を生成するレコメンドシステムに関する。

オンラインショップにおいて、例えば、ユーザの閲覧履歴、購入履歴、商品の評価、及び所持する商品等のデータを活用し、ユーザに好みの商品やサービスを推薦（レコメンド）するシステムが、一般的に利用されている。

また、特許文献１には、ユーザの端末から画像を入力し、画像内に含まれる物品に係る物品区分を認識し、物品区分の識別情報と商品に関連する情報とを関連付けて記憶している記憶手段を用いて、画像内に写っていない商品をレコメンドすることができる技術が開示されている。

特許４７３３２３６号公報

オンラインショップのうち、特にインテリアオンラインショップ等では、商品やサービスを使用するユーザの年齢や性別等の人物情報、使用する時間及び場所等の使用状況が、商品をレコメンドするための情報として重要である。しかし、上記の一般的なシステム及び特許文献１に記載された技術では、ユーザの人物情報や使用状況を考慮したレコメンドは行われていない。

本発明は、ユーザの人物情報を考慮した商品やサービスをレコメンドすることができるレコメンドシステムを提供することを目的とする。

本発明によるレコメンドシステムは、画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集部と、前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付ける物体認識部と、前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付ける人物情報判定部と、同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成するレコメンド計算部とを備えたことを特徴とする。

本発明によるレコメンド方法は、画像及び動画のうちの少なくとも一方を含むコンテンツを収集し、前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付け、前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付け、同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成することを特徴とする。

本発明によるレコメンドプログラムは、コンピュータに、画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集処理と、前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付ける物体認識処理と、前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付ける人物情報判定処理と、同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成するレコメンド計算処理とを実行させることを特徴とする。

本発明によれば、ユーザの人物情報を考慮した商品やサービスをレコメンドすることができる。

本発明によるレコメンドシステムの実施形態の構成を示すブロック図である。 本発明によるレコメンドシステムの実施形態の動作を示す第１のシーケンス図である。 本発明によるレコメンドシステムの実施形態の動作を示す第２のシーケンス図である。 本発明によるレコメンドシステムの実施形態の動作を示す第３のシーケンス図である。 画像及び動画ＤＢが記憶する情報を示す説明図である。 商品ＤＢが記憶する情報を示す説明図である。 物体ＤＢが記憶する情報を示す説明図である。 年齢及び性別ＤＢが記憶する情報を示す説明図である。 タグＤＢが記憶する情報を示す説明図である。 レコメンドＤＢが記憶する情報を示す説明図である。 本発明によるレコメンドシステムの主要部を示すブロック図である。

図１は、本発明によるレコメンドシステムの実施形態の構成を示すブロック図である。図１に示すように、本実施形態のレコメンドシステムは、画像及び動画収集部１０１と、画像及び動画ＤＢ（Ｄａｔａ Ｂａｓｅ）１０２と、商品ＤＢ（Ｄａｔａ Ｂａｓｅ）１０３と、物体認識部２０１と、年齢及び性別判定部２０２と、タグ情報解析部２０３と、物体ＤＢ（Ｄａｔａ Ｂａｓｅ）３０１と、年齢及び性別ＤＢ（Ｄａｔａ Ｂａｓｅ）３０２と、タグＤＢ（Ｄａｔａ Ｂａｓｅ）３０３と、レコメンド計算部４０１と、レコメンドＤＢ（Ｄａｔａ Ｂａｓｅ）４０２とを備える。

画像及び動画収集部１０１は、Ｗｅｂ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）やファイルサーバから画像及び動画のうちの少なくとも一方を含むコンテンツを収集し、収集したコンテンツを画像及び動画ＤＢ１０２に格納する。商品ＤＢ１０３は、オンラインショップで扱う商品の画像を記憶している。

物体認識部２０１は、商品ＤＢ１０３から各商品画像を抽出し、抽出した商品画像の特徴量を記憶する。そして、物体認識部２０１は、商品ＤＢ１０３から抽出した商品画像の特徴量と、画像及び動画ＤＢ１０２に記憶された画像又は動画に映る物品情報の特徴量とを照合し、差異が所定値以下の場合は関連付けして物体ＤＢ３０１に格納する。

年齢及び性別判定部２０２は、画像及び動画ＤＢ１０２に格納された画像及び動画に映る人物の人物情報（年齢及び性別）を判定し、判定した年齢及び性別を年齢及び性別ＤＢ３０２に格納する。なお、以下の説明において人物情報には年齢及び性別のみを用いるが、人物情報に含まれる情報は年齢及び性別に限られず、例えば、体格など人物に関する情報であれば何でもよい。

タグ情報解析部２０３は、画像及び動画ＤＢ１０２に格納された画像及び動画のタグ情報から撮影した場所の位置情報（ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報）及び時間情報（撮影した日付）を抽出し、抽出した情報をタグＤＢ３０３に格納する。

レコメンド計算部４０１は、物体ＤＢ３０１、年齢及び性別ＤＢ３０２及びタグＤＢ３０３に記憶された情報に基づいて、レコメンド用の情報を生成し、生成した情報をレコメンドＤＢ４０２に格納する。

本実施形態のレコメンドシステムの動作を説明する。図２は、本発明によるレコメンドシステムの実施形態の動作を示す第１のシーケンス図である。画像及び動画収集部１０１は、Ｗｅｂ（ホームページ、ブログ又はＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）等）やファイルサーバ（アルバムストレージサービスやドキュメント管理システム等）から、画像及び動画（コンテンツ）を収集し、収集した画像及び動画にコンテンツＩＤを関連付ける。そして、画像及び動画収集部１０１は、関連付けがされた画像及び動画、並びにコンテンツＩＤを画像及び動画ＤＢ１０２に格納する（ステップＳ１）。

図５は、画像及び動画ＤＢ１０２が記憶する情報を示す説明図である。図５に示すように画像及び動画ＤＢ１０２には、コンテンツＩＤに関連付けられた画像ファイル及び動画ファイルが記憶されている。図６は、商品ＤＢ１０３が記憶する情報を示す説明図である。図６に示すように商品ＤＢ１０３には、商品ＩＤ、及び商品ＩＤに関連付けられた商品名及びその商品の画像が記憶されている。

物体認識部２０１は、オンラインショップで扱う商品の画像及び商品ＩＤを格納した商品ＤＢ１０３にアクセスして商品の画像及び商品ＩＤを取得し、取得した商品の画像を画像解析して特徴量を抽出する（ステップＳ２）。そして、物体認識部２０１は、抽出した特徴量を、商品ＩＤに対応付けた商品特徴パターンとして保持する。

次に、物体認識部２０１は、画像及び動画ＤＢ１０２にアクセスし、画像又は動画とコンテンツＩＤとを取得し、取得した画像又は動画を画像解析して画像又は動画に含まれる物品情報の特徴量を抽出する（ステップＳ３）。そして、物体認識部２０１は、ステップＳ２で抽出した特徴量とステップ３で抽出した特徴量との照合を行う。物体認識部２０１は、ステップＳ４で行った照合において差異が所定値以下の商品があれば、その商品が含まれた画像又は動画に関連付けられたコンテンツＩＤに、その商品の商品ＩＤ、及び物体ＩＤが関連付けられる（ステップＳ４）。また、物体認識部２０１は、関連付けがされたコンテンツＩＤ、商品ＩＤ及び物体ＩＤを物体ＤＢ３０１に格納する（ステップＳ５）。

図７は、物体ＤＢ３０１が記憶する情報を示す説明図である。図７に示すように、物体ＤＢ３０１には、ステップ５において関連付けがされた物体ＩＤ、コンテンツＩＤ及び商品ＩＤが記憶されている。各物体ＩＤ及びコンテンツＩＤに関連付けられる商品ＩＤは、一つであってもよく複数であってもよい。

図３は、本発明によるレコメンドシステムの実施形態の動作を示す第２のシーケンス図である。年齢及び性別判定部２０２は、画像及び動画ＤＢ１０２にアクセスして画像又は動画を取得し、取得した画像又は動画から、例えば顔と思われる部分を抜きだして顔の情報から人物情報（年齢及び性別）を判定する（ステップＳ６）。そして、年齢及び性別判定部２０２は、画像又は動画のコンテンツＩＤに、判定した年齢及び性別に関する情報及び年齢及び性別ＩＤを関連付ける。そして、年齢及び性別判定部２０２は、関連付けがされたコンテンツＩＤ、年齢及び性別に関する情報、並びに年齢及び性別ＩＤを年齢及び性別ＤＢ３０２に格納する（ステップＳ７）。

図８は、年齢及び性別ＤＢ３０２が記憶する情報を示す説明図である。図８に示すように、年齢及び性別ＤＢ３０２には、関連付けがされた年齢及び性別ＩＤ、コンテンツＩＤ、並びに年齢及び性別に関する情報が記憶される。なお、一つのコンテンツＩＤに関連付けられる年齢及び性別に関する情報は、一つであってもよく複数であってもよい。

タグ情報解析部２０３は、画像及び動画ＤＢ１０２にアクセスして画像又は動画を取得し、取得した画像又は動画に付与されたタグ情報（時間情報及び位置情報）を抽出する（ステップＳ８）。そして、タグ情報解析部２０３は、画像又は動画のコンテンツＩＤに時間情報、位置情報及びタグＩＤを関連付ける。また、タグ情報解析部２０３は、関連付けがされたコンテンツＩＤ、時間情報、位置情報及びタグＩＤをタグＤＢ３０３に格納する（ステップＳ９）。

図９は、タグＤＢ３０３が記憶する情報を示す説明図である。図９に示すように、タグＤＢ３０３には、ステップ９で関連付けがされたタグＩＤ、コンテンツＩＤ、時間情報及び位置情報が記憶される。時間情報は、例えば撮影された日付である。また、位置情報は、例えば、撮影された場所の経度及び緯度である。

なお、ステップＳ２〜ステップＳ５の処理、ステップＳ６及びステップＳ７の処理、並びにステップＳ８及びステップＳ９の処理の実施順序は、上記の順序に限られない。

図４は、本発明によるレコメンドシステムの実施形態の動作を示す第３のシーケンス図である。レコメンド計算部４０１は、物体ＤＢ３０１にアクセスし、ステップＳ５で関連付けされた物体情報を取得する（ステップＳ１０）。具体的には、レコメンド計算部４０１は、コンテンツＩＤ及び商品に関する情報を取得する。

また、レコメンド計算部４０１は、年齢及び性別ＤＢ３０２からコンテンツＩＤ並びに年齢及び性別に関する情報を取得する（ステップＳ１１）。また、レコメンド計算部４０１は、タグＤＢ３０３にアクセスし、コンテンツＩＤ並びに時間情報及び位置情報を取得する（ステップＳ１２）。なお、ステップＳ１０の処理、ステップ１１の処理及びステップＳ１２の処理の実施順序は上記の順序に限られない。

次に、レコメンド計算部４０１は、取得した商品、年齢及び性別、時間、並びに位置に関する情報を元にレコメンド情報を得るための計算を行う（ステップＳ１３）。例えば、商品Ａにおける各年齢及び性別の得点は、以下のように計算される。なお、以下の例における各年齢及び性別の得点は、１０年毎の年代別で計算しているが、そのような区別に限られない。

商品Ａの各年代の得点（３０代男性を対象とした場合）＝
商品Ａと３０代男性が写っている画像の枚数×係数
＋商品Ａと１０代男性が写っている画像の枚数×係数
＋商品Ａと２０代男性が写っている画像の枚数×係数
＋商品Ａと４０代・・・
＋・・・
＋商品Ａと３０代女性が写っている画像の枚数×係数
＋・・・
＋重み係数

なお、係数は、対象とする年代及び性別に応じて異なる値とする。例えば、３０代男性を対象とした場合、３０代男性の係数は１、２０代男性及び４０代男性の係数は０.５、１０代男性の係数は０.３、５０代男性の係数は０.４と定める。性別が異なる場合は、例えば、各年代の計数から０.３を減少した値とする。また、重み係数は、例えば、商品Ａのクリック数・購入数とする。計算された得点が高いほど、レコメンドする際の優先度が高い。

商品の時間情報は、タグＤＢ３０３から取得したタグ情報の時間情報を用いて、例えば、その商品が映っている画像の時間情報の平均を計算することで求められる。例えば、商品Ａの時間情報は以下のように計算される。
商品Ａの時間情報＝商品Ａが写っている画像及び動画の時間情報の平均

商品の位置情報は、タグＤＢ３０３から取得したタグ情報の位置情報を用いて、例えば、その商品が映っている画像の位置情報（例えば、経度及び緯度）の平均を計算することで求められる。例えば、商品Ａの位置情報は以下のように計算される。
商品Ａの位置情報＝商品Ａが写っている画像及び動画の位置情報の平均

レコメンド計算部４０１は、計算した結果をレコメンド情報として、レコメンドＤＢ４０２に格納する（ステップＳ１４）。図１０は、レコメンドＤＢ４０２が記憶する情報を示す説明図である。図１０に示すように、レコメンドＤＢ４０２には、商品ＩＤに、上記のように計算された各年代及び性別の得点、時間情報及び位置情報が関連付けられて記憶される。

そして、コメンドＤＢ４０２に記憶された情報に基づいて、レコメンドが行われる。例えば、商品Ａという家具において、各年代及び性別の得点は３０代男性が高く、位置情報は東京を示しており、時間情報は冬であれば、「東京に住んでいる３０代男性で今年の冬にオススメの家具は商品Ａ」ということ情報が得られるので、その情報に基づいてレコメンドが行われる。

本実施形態のレコメンドシステムは、商品情報だけでなく、画像及び動画に映っているユーザの人物情報（年齢及び性別）やタグ情報（位置情報及び時間情報）を利用し、それらを考慮したレコメンドをすることができる。そのため、販売促進効果の高いレコメンドをすることができる。

本実施形態のレコメンドシステムは、レコメンド情報を生成するために、予め記憶している商品の画像と、Ｗｅｂやファイルサーバにすでに保存されている動画及び画像とを用いるので、簡単にシステム構築をすることができる。

図１１は、本発明によるレコメンドシステムの主要部を示すブロック図である。図１１に示すように、本発明によるレコメンドシステムは、主要な構成として、画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集部１と、コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合にコンテンツの識別情報と商品の識別情報とを関連付ける物体認識部２と、コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、コンテンツの識別情報と人物情報とを関連付ける人物情報判定部３と、同一のコンテンツの識別情報に関連付けられた商品の識別情報と人物情報とを関連付け、人物情報を予め定めた区分に基づいて分けて商品及び区分毎にレコメンドの優先度を示す得点を計算し、得点を含むレコメンド情報を生成するレコメンド計算部４とを備える。

また、上記の実施形態では、以下の（１）〜（３）に示すようなレコメンドシステムも開示されている。

（１）画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集部（例えば、画像及び動画収集部１０１）と、コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合にコンテンツの識別情報と商品の識別情報とを関連付ける物体認識部（例えば、物体認識部２０１）と、コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、コンテンツの識別情報と人物情報とを関連付ける人物情報判定部（例えば、年齢及び性別判定部２０２）と、同一のコンテンツの識別情報に関連付けられた商品の識別情報と人物情報とを関連付け、人物情報を予め定めた区分に基づいて分けて商品及び区分毎にレコメンドの優先度を示す得点を計算し、得点を含むレコメンド情報を生成するレコメンド計算部（例えば、レコメンド計算部４０１）とを備えたことを特徴とするレコメンドシステム。

（２）レコメンドシステムは、コンテンツに含まれる時間情報を取得し、コンテンツと時間情報とを関連付ける時間情報解析部（例えば、タグ情報解析部２０３）を備え、レコメンド計算部が、同一のコンテンツに関連付けられた商品と時間情報とを関連付けた情報を含むレコメンド情報を生成するように構成されていてもよい。そのため、本実施形態のレコメンドシステムによれば、ユーザがレコメンド対象の商品を使用する時間（例えば、日付又は季節等）を考慮したレコメンド情報を生成することができる。

（３）レコメンドシステムは、コンテンツに含まれる位置情報を取得し、コンテンツの識別情報と位置情報とを関連付ける位置情報解析部（例えば、タグ情報解析部２０３）を備え、レコメンド計算部が、同一のコンテンツに関連付けられた商品の識別情報と位置情報とを関連付けた情報を含むレコメンド情報を生成するように構成されていてもよい。そのため、本実施形態のレコメンドシステムによれば、ユーザがレコメンド対象の商品を使用する場所（位置情報）を考慮したレコメンド情報を生成することができる。

本発明は、インテリア等のオンラインショップに適用できる。

１ コンテンツ収集部
２ 物体認識部
３ 人物判定部
４ レコメンド計算部
１０１ 動画収集部
１０２ 動画ＤＢ
１０３ 商品ＤＢ
２０１ 物体認識部
２０２ 年齢及び性別判定部
２０３ タグ情報解析部
３０１ 物体ＤＢ
３０２ 年齢及び性別ＤＢ
３０３ タグＤＢ
４０１ レコメンド計算部
４０２ レコメンドＤＢ

Claims (5)

1. 画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集部と、
   前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付ける物体認識部と、
   前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付ける人物情報判定部と、
   同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成するレコメンド計算部とを備えた
   ことを特徴とするレコメンドシステム。
2. コンテンツが生成された時間情報を取得し、当該コンテンツと当該時間情報とを関連付ける時間情報解析部を備え、
   レコメンド計算部は、
   同一の前記コンテンツに関連付けられた商品と前記時間情報とを関連付けた情報を含むレコメンド情報を生成する
   ことを特徴とする請求項１記載のレコメンドシステム。
3. コンテンツが生成された場所を示す位置情報を取得し、当該コンテンツの識別情報と当該位置情報とを関連付ける位置情報解析部を備え、
   レコメンド計算部は、
   同一の前記コンテンツに関連付けられた商品の識別情報と前記位置情報とを関連付けた情報を含むレコメンド情報を生成する
   ことを特徴とする請求項１又は請求項２記載のレコメンドシステム。
4. 画像及び動画のうちの少なくとも一方を含むコンテンツを収集し、
   前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付け、
   前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付け、
   同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成する
   ことを特徴とするレコメンド方法。
5. コンピュータに、
   画像及び動画のうちの少なくとも一方を含むコンテンツを収集するコンテンツ収集処理と、
   前記コンテンツに含まれる物品情報の特徴量と、予め記憶された商品の画像の特徴量とを照合し、差異が所定値以下の場合に当該コンテンツの識別情報と当該商品の識別情報とを関連付ける物体認識処理と、
   前記コンテンツに含まれる、年齢及び性別を含む人物情報を取得し、当該コンテンツの識別情報と当該人物情報とを関連付ける人物情報判定処理と、
   同一の前記コンテンツの識別情報に関連付けられた前記商品の識別情報と前記人物情報とを関連付け、当該人物情報を予め定めた区分に基づいて分けて前記商品及び当該区分毎にレコメンドの優先度を示す得点を計算し、当該得点を含むレコメンド情報を生成するレコメンド計算処理と
   を実行させるためのレコメンドプログラム。

Images