JP2014006684A - コンテンツ配信装置 - Google Patents

Abstract

【課題】各広告コンテンツのＣＴＲを予測することで、１商材について大量の広告コンテンツが存在する場合の広告効果を高める。
【解決手段】１つの商材についての複数の広告コンテンツを管理する広告データベースの個々の広告コンテンツに対し、当該広告コンテンツの特徴量を生成する手段と、前記広告データベースから一群の広告コンテンツを選択し個々に対して初回の配信確率および係数ベクトルを初期設定する手段と、前記係数ベクトルと予測ＣＴＲを算出する手段と、広告コンテンツを配信し実績ＣＴＲを記録する手段と、広告コンテンツ毎の所定期間の前記予測ＣＴＲを報酬として複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い新たな配信確率を広告コンテンツ毎に算出して設定する手段と、前記実績ＣＴＲに基づいて前記係数ベクトルを更新する手段とを備える。
【選択図】図２

Description

本発明は、インターネット等のネットワークを介して広告コンテンツを配信する技術に関する。

インターネットのホームページ等においては、バナー広告に代表されるディスプレイ広告による広告欄が設けられることが多い。

また、広告主は１つの商材につき、視聴者の嗜好を考慮して複数の広告コンテンツを用意する場合が多い。どのような広告コンテンツが視聴者に受け入れられるかについては、予め知ることはできないので、ランダムに配信したり（例えば、４つの広告コンテンツがある場合は０．２５（２５％）ずつ）、所定期間のＣＴＲ（Click Through Rate）に比例した配信確率を用いたりする（例えば、４つの広告コンテンツのＣＴＲが０．８％、０．６％、０．４％、０．２％であった場合、配信確率をＣＴＲに比例させて４０％、３０％、２０％、１０％）。なお、ＣＴＲとは、ディスプレイ広告のような広告コンテンツが選択（クリック）された数を、配信数で割った値であり、広告効果を評価する指標の一つである。

特開２００９−２７１６６１号公報

上述したように、１商材について複数の広告コンテンツが存在する場合、従来は配信確率を均等にしたり、ＣＴＲに比例した値を用いたりしていたため、広告効果を高める上で充分ではないという問題があった。

すなわち、トータルのクリック数を最大化するためには、最も評判のいい広告コンテンツ１本に絞ることが必要であり、２位以下の広告コンテンツに相当量の配信確率を割くということはクリック数の最大化には反するからである。

しかしながら、ＣＴＲは変動が大きく、ある時点で最高の値を示していた広告コンテンツが最も評判がいい広告コンテンツであると断ずることは危険である。そのため、従来の手法を踏襲するほか術がなかった。

また、昨今ではボタン、メインビジュアル、キャッチコピー等をそれぞれ複数パターン用意し、それらの組み合わせにより広告コンテンツを構成する場合が多く、１商材について大量の広告コンテンツ（大量クリエイティブ）を用意する場合も多い。

図１は大量クリエイティブの例を示す図であり、ロゴを６パターン、メインビジュアルを６パターン、キャッチコピーを１８パターンとしたものである。この場合、広告コンテンツの総数は、それぞれの要素の組み合わせである６×６×１８＝６４８となる。

このような大量クリエイティブの場合、広告の掲載期間（日時で掲載期間が定められる場合や、所定のインプレッション数（提示数）に達するまでとする場合等）内にＣＴＲが記録されない広告コンテンツが発生することも多く、ＣＴＲに基づいて広告コンテンツの配信確率を定めること自体が困難である。

一方、特許文献１には、少ない露出回数で的確にクリエイティブ（広告）の有効性を評価し、クリエイティブが効率よく露出されるようにする技術が開示されている。しかし、正規分布を用いた統計的手法に基づくものであり、必ずしも広告効果を高める上では充分ではなかった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、強化学習の考え方を導入するとともに、各広告コンテンツのＣＴＲを予測することで、１商材について大量の広告コンテンツが存在する場合の広告効果を高めることにある。

上記の課題を解決するため、本発明にあっては、１つの商材についての複数の広告コンテンツを管理する広告データベースの個々の広告コンテンツに対し、当該広告コンテンツの特徴を表わす特徴量を生成する手段と、前記広告データベースから対象となる一群の広告コンテンツを選択する手段と、選択された一群の広告コンテンツの個々に対して初回の配信確率を設定する手段と、係数ベクトルを初期設定する手段と、選択された一群の広告コンテンツの個々に対して前記係数ベクトルと前記特徴量から予測ＣＴＲを算出する手段と、配信確率が設定された広告コンテンツを配信し、実績ＣＴＲを記録する手段と、広告コンテンツ毎の所定期間の前記予測ＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段と、前記実績ＣＴＲに基づいて前記係数ベクトルを更新する手段とを備えるようにしている。

本発明のコンテンツ配信装置にあっては、強化学習の考え方を導入するとともに、各広告コンテンツのＣＴＲを予測することで、１商材について大量の広告コンテンツが存在する場合の広告効果を高めることができる。

大量クリエイティブの例を示す図である。 本発明の一実施形態にかかるシステムの構成例を示す図である。 広告ＤＢのデータ構造例を示す図である。 実施形態の処理例を示すフローチャートである。 広告コンテンツの特徴量の生成の例を示す図（その１）である。 広告コンテンツの特徴量の生成の例を示す図（その２）である。 初期配信確率の設定の例を示す図である。 配信確率の設定の例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図２は本発明の一実施形態にかかるシステムの構成例を示す図である。

図２において、インターネット等のネットワーク１には、ユーザが操作するＰＣ（Personal Computer）、携帯電話、ＰＤＡ（Personal Digital Assistants）等の端末装置２が複数接続されている。端末装置２は、一般的なブラウザ（Ｗｅｂブラウザ）２１を備えている。ブラウザ２１は、インターネットの標準プロトコルであるＨＴＴＰ（Hyper Text Transfer Protocol）等に従い、ＨＴＭＬ（Hyper Text Markup Language）等の言語で記述されたページデータの要求・取得・表示およびフォームデータの送信等を行う機能を有している。

一方、ネットワーク１には、端末装置２のブラウザ２１に対して広告情報を提供する広告情報提供装置３が接続されている。

広告情報提供装置３は、機能部として、特徴量生成部３０１と対象広告選択部３０２と初期配信確率設定部３０３と係数ベクトル初期設定部３０４と予測ＣＴＲ算出部３０５と広告情報配信・ＣＴＲ記録部３０６と配信確率算出・設定部３０７と係数ベクトル更新部３０８とを備えている。

これらの機能部は、広告情報提供装置３を構成するコンピュータのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のハードウェア資源上で実行されるコンピュータプログラムによって実現されるものである。これらの機能部は、単一のコンピュータ上に配置される必要はなく、必要に応じて分散される形態であってもよい。

また、広告情報提供装置３が利用するデータベースとして、広告ＤＢ（Data Base）３０９が設けられている。このデータベースは、広告情報提供装置３を構成するコンピュータ内のＨＤＤ（Hard Disk Drive）等の記憶媒体上に所定のデータを体系的に保持するものである。なお、広告ＤＢ３０９は広告情報提供装置３内に配置される必要はなく、他の装置上に配置してもよい。

図３は広告ＤＢ３０９のデータ構造例を示す図である。広告ＤＢ３０９は、「広告ＩＤ」「広告コンテンツ数」「広告コンテンツＩＤ」「広告コンテンツデータ／リファレンス」「特徴量」「実績ＣＴＲ」「予測ＣＴＲ（Ｑ値）」「配信確率」等の項目を含んでいる。「広告ＩＤ」は、一の広告主の一の商材にかかる一群の広告コンテンツを識別する情報である。「広告コンテンツ数」は、一の広告主の一の商材にかかる一群の広告コンテンツに含まれる広告コンテンツの数である。「広告コンテンツＩＤ」は、個々の広告コンテンツを識別する情報である。「広告コンテンツデータ／リファレンス」は、広告コンテンツの実データもしくは格納場所の情報である。

「特徴量」は、各広告コンテンツの特徴を表わす情報である。詳細については後述する。「実績ＣＴＲ」は、その広告コンテンツについてのＣＴＲの実績値の記録である。「予測ＣＴＲ（Ｑ値）」は、各広告コンテンツについて「特徴量」に基づいて算出した予測されるＣＴＲである。詳細については後述する。「配信確率」は、算出されて決定された広告コンテンツ毎の配信確率である。

図２に戻り、広告情報提供装置３の特徴量生成部３０１は、広告ＤＢ３０９の各広告コンテンツに対して特徴量を生成し、広告ＤＢ３０９に設定する機能を有している。

対象広告選択部３０２は、広告ＤＢ３０９から処理対象となる広告（一の広告主の一の商材にかかる一群の広告コンテンツ）を選択する機能を有している。

初期配信確率設定部３０３は、対象広告選択部３０２の選択した一群の広告コンテンツにつき、初期の配信確率を設定する機能を有している。

係数ベクトル初期設定部３０４は、予測ＣＴＲの算出に用いる係数ベクトルを初期化する機能を有している。

予測ＣＴＲ算出部３０５は、各広告コンテンツにつき、特徴量と係数ベクトルを用いて予測ＣＴＲを算出する機能を有している。

広告情報配信・ＣＴＲ記録部３０６は、広告ＤＢ３０９に登録された広告コンテンツを、設定された配信確率に基づいて端末装置２のブラウザ２１に配信（一般には、端末装置２からページ要求が行われた場合に、本来のページ内容に付加する形で広告コンテンツの配信を行う）するとともに、端末装置２のブラウザ２１による広告コンテンツの選択操作（バナー広告のクリック操作等）を検出し、実績ＣＴＲとして広告ＤＢ３０９に記録する機能を有している。

配信確率算出・設定部３０７は、広告ＤＢ３０９に記録された広告コンテンツ毎の所定期間の予測ＣＴＲに基づき、強化学習の手法により新たな配信確率を広告コンテンツ毎に算出して広告ＤＢ３０９に設定する機能を有している。強化学習は、大きい報酬に続く行動はより再現しやすく、小さい報酬に続く行動はより再現しづらくなるという経験的事実を基本とした方法であり、数値化された報酬信号を最大にするために、何をすべきか（どのようにして状況に基づく動作選択を行うか）を学習する（「強化学習」、三上貞芳・皆川雅章 訳、森北出版株式会社、２０００年１２月２０日発行等を参照。）。

すなわち、配信確率算出・設定部３０７は、広告コンテンツ毎の所定期間の予測ＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する。

係数ベクトル更新部３０８は、実績ＣＴＲに基づいて係数ベクトルを更新する機能を有している。

＜動作＞
図４は上記の実施形態の処理例を示すフローチャートである。

先ず、図４（ａ）において、広告情報提供装置３の特徴量生成部３０１は、広告ＤＢ３０９の各広告コンテンツに対して特徴量を生成し、広告ＤＢ３０９に設定する（ステップＳ１００）。

図５は広告コンテンツの特徴量の生成の例を示す図である。

例えば、広告コンテンツがメインビジュアルとキャッチコピーとボタンという種類の異なる構成要素の組み合わせにより構成されるものであり、メインビジュアルが７パターン、キャッチコピーが７パターン、ボタンが４パターンである場合、特徴量のベクトルとして、図５（ａ）に示すように、先頭からメインビジュアルに対応する７要素、キャッチコピーに対応する７要素、ボタンに対応する４要素の計１８要素とする。

そして、例えば、メインビジュアルが第３パターン、キャッチコピーが第４パターン、ボタンが第２パターンの広告コンテンツの場合、特徴量は、図５（ｂ）に示すように、先頭から３要素目と１１要素目と１６要素目を「１」とし、他を「０」とする。

図６は広告コンテンツの特徴量の生成の他の例を示す図であり、広告コンテンツが多様で構成要素の組み合わせで表現できない場合に対応したものである。

この場合、画像類似度に基づいて、各広告コンテンツにつき、他の広告コンテンツ（自己を含む）との距離（画像類似度）を算出し、特徴量として、
（第１の広告コンテンツとの距離，第２の広告コンテンツとの距離，・・・）
というベクトルを生成する。

図４に戻り、配信確率の設定等の処理を説明する。

図４（ｂ）において、処理を開始すると（ステップＳ１０１）、広告情報提供装置３の対象広告選択部３０２は、広告ＤＢ３０９から処理対象となる広告（一の広告主の一の商材にかかる一群の広告コンテンツ）を選択する（ステップＳ１０２）。図３の広告ＤＢ３０９では広告ＩＤを一つ選択する。

次いで、図４（ｂ）に戻り、広告情報提供装置３の初期配信確率設定部３０３は、対象広告選択部３０２の選択した一群の広告コンテンツにつき、初期の配信確率を設定する（ステップＳ１０３）。初期の配信確率は一群の広告コンテンツについて同じ配信確率にすべく、選択した広告ＩＤに対応する広告コンテンツ数を得て、逆数とすることで初期の配信確率を算出する。例えば、１９６個の広告コンテンツがある場合は１／１９６＝０．００５１ずつとなる。図７は初期の配信確率が設定された状態における広告ＤＢ３０９を示している。

次いで、図４（ｂ）に戻り、広告情報提供装置３の係数ベクトル初期設定部３０４は、係数ベクトルθ（＝Ａ^−１ｂ）を規定する行列Ａ、ベクトルｂを初期設定する（ステップＳ１０４）。すなわち、行列Ａに特徴量の要素数に相当するｄ次元の単位行列を設定し、ベクトルｂにｄ次元のゼロベクトルを設定する。

次いで、広告情報提供装置３の予測ＣＴＲ算出部３０５は、選択された広告に含まれる全ての広告コンテンツａ（特徴量ｘ_ａ）に対して、予測ＣＴＲ（Ｑ値）であるＱ_ａを
Ｑ_ａ←ｘ_ａ ^Ｔθ＋α・root（ｘ_ａ ^ＴＡ^−１ｘ_ａ）
により算出して設定する（ステップＳ１０５）。上付きのＴは転置を示す。なお、αは誤差の許容範囲を規定する定数である。

次いで、広告情報提供装置３の広告情報配信・ＣＴＲ記録部３０６は、広告ＤＢ３０９に登録された広告コンテンツを、端末装置２からページ要求が行われた際に、設定された配信確率に基づいて端末装置２のブラウザ２１に配信するとともに、端末装置２のブラウザ２１による広告の選択操作（バナー広告のクリック操作等）を検出し、実績ＣＴＲを広告ＤＢ３０９に記録する（ステップＳ１０６）。

その後、配信確率を見直す所定の期間経過後、広告情報提供装置３の配信確率算出・設定部３０７は、広告ＤＢ３０９に記録された広告コンテンツ毎の所定期間の予測ＣＴＲに基づき、強化学習の手法により新たな配信確率を広告コンテンツ毎に算出する（ステップＳ１０７）。

例えば、追跡法（Pursuit Methods）を用いる場合、ｉを広告コンテンツのインデックス（例えば、広告コンテンツが１９６個の場合はｉ＝０〜１９５）、ａ_ｉを広告コンテンツ、Π（ａ_ｉ）を広告コンテンツａ_ｉの直前の配信確率、βを所定の学習率（０〜１の間の値）とすると、予測ＣＴＲが最大の広告コンテンツの配信確率は、
（Π（ａ_ｉ）＋β（１−Π（ａ_ｉ）））／ΣΠ（ａ_ｉ）
その他の広告コンテンツの配信確率は、
（Π（ａ_ｉ）＋β（０−Π（ａ_ｉ）））／ΣΠ（ａ_ｉ）
とする。ΣΠ（ａ_ｉ）で割っているのは正規化するためである。

行動選択規則（εグリーディ手法）を用いる場合、εを所定の定数（０〜１の間の値）、広告コンテンツの数をｎとすると、予測ＣＴＲが最大の広告コンテンツの配信確率は、
１−ε
その他の広告コンテンツの配信確率は、
ε／（ｎ−１）
とする。

次いで、広告情報提供装置３の配信確率算出・設定部３０７は、算出された新たな配信確率を広告ＤＢ３０９に設定する（ステップＳ１０８）。図８は、εグリーディ手法によりε＝０．１とした場合に、配信確率が更新された状態の広告ＤＢ３０９を示している。

次いで、図４（ｂ）に戻り、広告情報提供装置３の係数ベクトル更新部３０８は、広告コンテンツａの実績ＣＴＲの算出の元となるインプレッション数ｖ_ａ、クリック数ｒ_ａに基づいて係数ベクトルθを更新する（ステップＳ１０９）。すなわち、
Ａ←Ａ＋ｖ_ａｘ_ａｘ_ａ ^Ｔ
ｂ←ｂ＋ｒ_ａｘ_ａ
とする。

その後、予測ＣＴＲの算出（ステップＳ１０５）に戻り、同様の処理を繰り返す。

＜総括＞
以上説明したように、本実施形態によれば、強化学習の考え方を導入することで、１商材について複数の広告コンテンツが存在する場合の広告効果を高めることができる。

また、広告コンテンツが大量に存在する場合であっても、全ての広告コンテンツについて予測ＣＴＲを付与することで、配信確率の設定の精度を高めることができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ ネットワーク
２ 端末装置
２１ ブラウザ
３ 広告情報提供装置
３０１ 特徴量生成部
３０２ 対象広告選択部
３０３ 初期配信確率設定部
３０４ 係数ベクトル初期設定部
３０５ 予測ＣＴＲ算出部
３０６ 広告情報配信・ＣＴＲ記録部
３０７ 配信確率算出・設定部
３０８ 係数ベクトル更新部
３０９ 広告ＤＢ

Claims (5)

1. １つの商材についての複数の広告コンテンツを管理する広告データベースの個々の広告コンテンツに対し、当該広告コンテンツの特徴を表わす特徴量を生成する手段と、
   前記広告データベースから対象となる一群の広告コンテンツを選択する手段と、
   選択された一群の広告コンテンツの個々に対して初回の配信確率を設定する手段と、
   係数ベクトルを初期設定する手段と、
   選択された一群の広告コンテンツの個々に対して前記係数ベクトルと前記特徴量から予測ＣＴＲを算出する手段と、
   配信確率が設定された広告コンテンツを配信し、実績ＣＴＲを記録する手段と、
   広告コンテンツ毎の所定期間の前記予測ＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段と、
   前記実績ＣＴＲに基づいて前記係数ベクトルを更新する手段と
   を備えたことを特徴とするコンテンツ配信装置。
2. 請求項１に記載のコンテンツ配信装置において、
   前記特徴量は、広告コンテンツの構成要素の種類毎のパターン数の総和の要素数をもつベクトルであり、実際に用いられる構成要素の種類毎のパターン位置に対応する要素を「１」とし、他の要素を「０」とする
   ことを特徴とするコンテンツ配信装置。
3. 請求項１に記載のコンテンツ配信装置において、
   前記特徴量は、各広告コンテンツと他の全ての広告コンテンツとの画像類似度を要素にもつベクトルである
   ことを特徴とするコンテンツ配信装置。
4. 請求項１乃至３のいずれか一項に記載のコンテンツ配信装置において、
   前記強化学習として、追跡法もしくは行動選択規則のいずれかを用いる
   ことを特徴とするコンテンツ配信装置。
5. コンテンツ配信装置が、１つの商材についての複数の広告コンテンツを管理する広告データベースの個々の広告コンテンツに対し、当該広告コンテンツの特徴を表わす特徴量を生成する工程と、
   前記コンテンツ配信装置が、前記広告データベースから対象となる一群の広告コンテンツを選択する工程と、
   前記コンテンツ配信装置が、選択された一群の広告コンテンツの個々に対して初回の配信確率を設定する工程と、
   前記コンテンツ配信装置が、係数ベクトルを初期設定する工程と、
   前記コンテンツ配信装置が、選択された一群の広告コンテンツの個々に対して前記係数ベクトルと前記特徴量から予測ＣＴＲを算出する工程と、
   前記コンテンツ配信装置が、配信確率が設定された広告コンテンツを配信し、実績ＣＴＲを記録する工程と、
   前記コンテンツ配信装置が、広告コンテンツ毎の所定期間の前記予測ＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する工程と、
   前記コンテンツ配信装置が、前記実績ＣＴＲに基づいて前記係数ベクトルを更新する工程と
   を備えたことを特徴とするコンテンツ配信方法。