JP4058288B2 - 類似画像提示システム及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してアクセスしてきたユーザ端末にて指定された画像に類似した画像を検索して、当該ユーザ端末での閲覧に供する類似画像提示システム及び方法に関する。
【０００２】
【従来の技術】
インターネット上のオークション又はショッピングでは、ユーザに対して、商品内容の記述と共に商品画像が表示されるのが一般的である。この場合、ユーザのニーズの１つとして、ある商品を１つ選んだ際に、これと外観が類似した商品を提示する機能が挙げられる。例えば、洋服や装飾品といった商品の場合、色、形、模様等の外観が、その商品を求める大きな動機になり得る。従って、オークションサイトやショッピングサイトで、ユーザが閲覧中の商品の外観に類似した他の商品を表示することができれば、ユーザの購買意欲を高める上で効果的である。
【０００３】
【発明が解決しようとする課題】
しかしながら、類似画像を提示することによる上記のような効果はこれまで認識されておらず、インターネット上のサイトにおいてある商品に外観が類似した他の商品を表示するサービスは行われていなかった。
本発明は、上記の点を鑑みてなされたものであり、ネットワークを経由してアクセスしてきたユーザ端末に対して、ユーザが指定した画像に類似した画像を提示することを目的とする。
【０００４】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載された発明は、商品販売サイトを構成し、ネットワークを介してアクセスしてきたユーザ端末にて指定された商品画像に類似した画像を検索して、当該ユーザ端末での閲覧に供する類似画像提示システムであって、当該商品販売サイトで販売される各種商品の画像データが格納された画像データベースと、前記各種商品の商品情報がカテゴリー毎に格納された商品データベースと、前記画像データベースに格納された各画像データについて、画像ＩＤと、当該画像の特徴を表す特徴データとが対応付けられて、前記商品データベースにおける当該画像が表す商品のカテゴリーに応じて区分して記録された特徴データベースと、前記画像ＩＤと該当商品の前記商品データベースにおけるカテゴリーとの対応関係を示すカテゴリーデータを格納するカテゴリーデータベースと、ユーザ端末から、画像ＩＤを指定した類似画像の検索要求を受信する検索要求受信手段と、前記特徴データベースから、前記受信した検索要求で指定された画像ＩＤに対応付けられた特徴データを取得する特徴データ取得手段と、前記受信した検索要求で指定された画像ＩＤに対応するカテゴリーを前記カテゴリーデータベースを参照して特定し、該特定したカテゴリーに属する特徴データを対象として、前記取得した特徴データに類似した特徴データに対応付けられた画像ＩＤを前記特徴データベースから検索する類似画像検索手段と、前記画像データベースから、前記取得した画像ＩＤに該当する画像データを取得する画像データ取得手段と、該取得した画像データを前記ユーザ端末へ送信する画像データ送信手段とを備えることを特徴とする。
【０００５】
請求項１記載の発明によれば、各画像の特徴を表す特徴データが特徴データベースに格納される。このため、これらの特徴データを比較することによって画像同士の類似度を判定することが可能となる。従って、本発明によれば、ユーザが指定した画像に類似した画像を提示することができる。また、特徴データベースにおいて、共通のカテゴリーに属する特徴データを検索すればよいため、検索対象が絞り込まれることとなり、検索を迅速に行うことが可能となる。
【０００６】
また、請求項２に記載された発明は、請求項１記載の類似画像提示システムにおいて、特徴サーバーと、この特徴サーバーに接続された商品販売サーバーとを含んで構成され、前記商品販売サーバーは、前記画像データベース、前記カテゴリーデータベース、前記検索用要求受信手段、前記画像データ取得手段および前記画像データ送信手段を備え、前記特徴サーバーは、前記特徴データベース、前記特徴データ取得手段および前記類似画像検索手段を備えることを特徴とする。
【０００７】
また、請求項３に記載された発明は、請求項１又は２記載の類似画像提示システムにおいて、
前記特徴データは、画像の色に関する色特徴データ、画像のエッジに関するエッジ特徴データ、及び画像のテクスチャに関するテクスチャ特徴データを含むことを特徴とする。
【０００８】
また、請求項４に記載された発明は、請求項１〜３の何れか一項に記載の類似画像提示システムにおいて、
前記類似画像検索手段は、前記取得した画像ＩＤに対応付けられた特徴データと、前記取得した特徴データとの類似度の高さを示す類似度データを算出し、
前記画像データ送信手段は、前記画像データ取得手段が取得した画像データを、前記算出された類似度データに応じた順序で表示する画面を前記ユーザ端末へ送信することを特徴とする。
【０００９】
また、請求項５に記載された発明は、ネットワークを介してアクセスしてきたユーザ端末にて指定された画像に類似した画像を検索して、当該ユーザ端末での閲覧に供する類似画像提示方法に係るものである。
【００１０】
【発明の実施の形態】
以下、本発明がネットワーク上のオークションシステムに適用された場合の実施の形態について説明する。インターネットオークションは、出品された商品に対して、インターネット上で、所定の期間、入札者を募り、最も高値の入札価格を提示したユーザが、出品者からその入札価格で出品商品を購入する権利を得るというものである。本実施形態のシステムは、オークション商品の出品者から提供された商品画像について、ユーザが指定した画像に類似した画像を検索してユーザに提示する機能を有する。
【００１１】
図１は、本実施形態のシステムの全体構成図である。図１に示されるように、本実施形態のシステムは、オークションサーバー１及び特徴サーバー２を含んで構成されている。特徴サーバー２はオークションサーバー１に接続されている。また、オークションサーバー１にはネットワーク３を介してユーザコンピュータ４が接続されている。
【００１２】
後述するように、オークションサーバー１は、ユーザが、ある商品の画像を閲覧中に類似画像の検索要求を出すと、当該商品に固有のオークションＩＤを特徴サーバー２へ送信する。特徴サーバー２は、オークションサーバー１からオークションＩＤを受信すると、このオークションＩＤに該当する画像と類似した商品画像を検索し、検索された類似画像に該当するオークションＩＤをオークションサーバー１へ送信する。
【００１３】
図１に示す如く、オークションサーバー１には、画像データベース５及びオークションデータベース６が設けられている。また、特徴サーバー２には、特徴データベース７及びカテゴリーデータベース８が設けられている。
【００１４】
画像データベース５には、オークションに出品された各商品を表す画像データが格納される。また、オークションデータベース６には、各商品に係る入札価格、入札件数、オークションの残り時間等からなるオークションデータが格納される。また、特徴データベース７は、各商品画像の特徴を表す特徴データが格納される。さらに、カテゴリーデータベース８は、オークションＩＤと該当商品のカテゴリーとの対応関係を示すカテゴリーデータが格納される。
【００１５】
図２はオークションデータベース６に記録されたオークションデータの一例を示す。同図に示すように、オークションデータベース６には、オークションデータがカテゴリー毎に区分して記録される。オークションデータは、オークションＩＤ、商品画像の画像データのＵＲＬ、オークションにおける入札価格、入札件数、及びオークションの残り時間等のデータ項目から構成されている。なお、図２の「現在の価格」とは、例えば、２番目の最高額を入札した入札者の価格に、入札単位分の金額を加えた価格を示す。
【００１６】
図３は、特徴データベース７に記録された特徴データの一例を示す。同図に示すように、特徴データも、上記オークションデータと同様に、商品のカテゴリー毎に区分して記録されている。本実施形態においては、オークションに出品される商品の出品者から提供された全ての商品の画像データから、後述する特徴サーバー２の特徴抽出機能により、色、エッジ（輪郭）、及びテクスチャ（模様又はパターン）なる３種類の特徴が抽出され、そのデータが特徴データとして、特徴データベース７に格納される。
【００１７】
次に、特徴サーバー２の機能について説明する。特徴サーバー２は次の２つの機能を有している。
（１）画像データから、後述の、色、エッジ（輪郭）、及びテクスチャ（模様又はパターン）の３種類の特徴を夫々抽出し、特徴データとする機能（特徴抽出機能）。
（２）オークションサーバー１からオークションＩＤを指定した類似画像検索の要求があった場合に、指定されたオークションＩＤの画像に類似した画像のオークションＩＤを抽出して、類似度の高さを示すデータと共にオークションサーバー１へ通知する機能（類似判定機能）。
以下、これらの機能について簡単に説明する（詳細は、例えば、特開２０００−２８５１４１公報を参照）。
【００１８】
＜特徴抽出機能＞
特徴抽出機能で抽出される特徴には、商品の色、商品の輪郭を表すエッジ、及び商品表面のテクスチャ（模様やパターン）の３種類がある。
【００１９】
商品画像の色の特徴を抽出する場合には、先ず画像に含まれる各画素についてその色が、赤、緑、及び青夫々の階調値で特定されるＲＧＢ表色系を基にした３次元の色ベクトル空間のどの座標に対応付けられるかが特定される。このような対応付けを全ての画素について行うことにより形成されたＲＧＢヒストグラムを、商品画像の色特徴データとして用いる。
【００２０】
商品画像のエッジの特徴を抽出する場合には、画像データ全体を、例えばＳｏｂｅｌ演算子等により１次差分された数字の配列に変換する。一般的に、画像のエッジに相当する配列領域においては、その１次差分値が大きな値を示す。従って、１次差分値が大きな値を示す配列付近には、エッジが存在すると考えられる。すなわち、１次差分値の配列は画像のエッジの特徴を数値化しているといえる。そこで、Ｓｏｂｅｌ演算子による１次差分値配列を、商品画像のエッジ特徴データとして用いる。
【００２１】
商品画像のテクスチャを抽出する場合には、画像の明るさを数値化して配列したデータをフーリエ変換して得られるパワースペクトルが、画像の明るさの模様又はパターンの方向性と画像要素の大きさの分布とを記述するといえる。そこで、画像の２次元座標である画素の配列を複素平面に変換した配列におけるパワースペクトルを商品画像のテクスチャ特徴データとして用いる。
【００２２】
なお、上記した色特徴データ、エッジ特徴データ、およびテクスチャ特徴データは、何れも、ベクトルデータとして表現される。
本実施形態では、新たに出品される商品の登録を行なう際に、当該商品の画像について、特徴サーバー２が有する上記の特徴抽出機能により特徴データを抽出し、特徴データベース７に記録するものとする。
【００２３】
＜類似判定機能＞
オークションサーバー１から、オークションＩＤを指定した類似画像の検索要求があった場合、特徴サーバー２は、先ず、上記したカテゴリーデータベース８のカテゴリーデータを参照して、指定されたオークションＩＤから、特徴データベース７のカテゴリーを特定する。次に、特徴サーバー２は、指定されたオークションＩＤの特徴データを読み出し、この特徴データと、上記特定したカテゴリーに属する各特徴データとの間のユークリッド距離を、色特徴データ、エッジ特徴データ、及びテクスチャ特徴データの夫々について求めて、これら３種類のユークリッド距離を足し合わせる。ここで、ユークリッド距離とは、ベクトルデータである２つの特徴データのベクトル終点間の距離として定義される。従って、上記３種類のユークリッド距離の合計が小さいほど、色、エッジ、及びテクスチャの特徴において、総合的な類似度が高いと判断される。
【００２４】
本実施形態においては、求められたユークリッド距離が所定の基準値より小さい場合に、画像が類似していると判定するものとする。即ち、特徴サーバー２は、上記３種類のユークリッド距離の合計が上記基準値よりも小さいオークションＩＤを抽出し、このオークションＩＤと共に、上記３種類のユークリッド距離の合計値を類似度の高さを示すデータ（以下、類似度データという）としてオークションサーバー１に送信する。
なお、上記のユークリッド距離に限らず、画像の特徴データの種類に合わせて独自の距離を定義して類似度データとすることも可能である。
【００２５】
次に、ユーザがオークションサーバー１にアクセスしてから、類似画像の検索要求を行い、ユーザコンピュータ４にて類似画像が表示されるまでの処理の流れを図４を参照しつつ説明する。
【００２６】
先ず、ユーザコンピュータ４がオークションサーバー１にアクセスすると（Ｓ１００）、オークションサーバー１からユーザコンピュータ４に、オークション商品のカテゴリー一覧が表示される（Ｓ１０１）。ユーザコンピュータ４がカテゴリーを選択すると（Ｓ１０２）、オークションサーバー１からユーザコンピュータ４に、選択されたカテゴリーに属する商品一覧が表示される（Ｓ１０３）。ユーザが商品一覧の中からある商品を選び出すと（Ｓ１０４）、オークションサーバー１からユーザコンピュータ４へ、図５に例示する商品画像が送信される（Ｓ１０５）。図５に示すように、商品画面には、商品画像と、「似たもの検索」ボタン２１と、「入札」ボタン２２とが配置されている。この商品画面で「入札」ボタン２２をクリックすることで、当該商品への入札を行なうことができる。
【００２７】
ユーザは、表示された商品に外観が類似した商品を閲覧したい場合、商品画像の「似たもの検索」ボタン２１をクリックする。これに応じて、ユーザコンピュータ４からオークションサーバー１に対して、表示中の商品のオークションＩＤ（図５の例では「Ｋ１２３」）を指定した類似画像の検索要求が送信される（Ｓ１０６）。
【００２８】
オークションサーバー１は、上記の検索要求を受けて、指定されたオークションＩＤについての類似画像の検索要求を特徴サーバー２に送信する（Ｓ１０７）。
【００２９】
特徴サーバー２は、オークションサーバー１から検索要求を受け取ると（Ｓ１０８）、上述の類似判定機能により、指定されたオークションＩＤの商品画像に類似する商品画像のオークションＩＤを抽出する（Ｓ１０９）。そして、抽出されたオークションＩＤをその類似度データと共にオークションサーバー１に送信する（Ｓ１１０）。
【００３０】
また、基準値よりも小さい類似度データを有するオークションＩＤが特徴データの中になければ、特徴サーバー２は、類似画像が存在しない旨をオークションサーバー１へ通知する（Ｓ１１１）。
【００３１】
オークションサーバー１が、特徴サーバー２からオークションＩＤ及び該オークションＩＤに対応する類似度データを受信すると（Ｓ１１２）、オークションデータベース６を参照し、オークションＩＤから特定されるカテゴリーのオークションデータから、受信したオークションＩＤに夫々対応した画像データのＵＲＬを取得する（Ｓ１１３）。次に、画像データベース５を参照して、取得したＵＲＬの画像データを読み出す（Ｓ１１４）。そして、元の商品画像と共に、読み出した画像を、その類似度データの値が小さい順に（つまり類似度が高い順に）表示する検索結果表示画面を生成してユーザコンピュータ４へ送信し（Ｓ１１５）、この画面がユーザコンピュータ４に表示される（Ｓ１１６）。
【００３２】
なお、特徴サーバー２から類似画像がない旨の通知があった場合は、類似商品が存在しない旨のメッセージを含む画面をユーザコンピュータ４に送信される（Ｓ１１７）。
【００３３】
図６は、上記Ｓ１１６において、ユーザコンピュータ４に表示された検索結果表示画面の一例を示す図である。同図に示す例では、検索結果表示画面の上部に、ユーザが類似画像の検索を要求した元の商品画像が配置されている。また、この画像の下方には、カテゴリー名、及び検索された類似商品画像の総数、および、各類似商品画像が一覧表示される。各画像をクリックすると、夫々の商品の表示画面に移ることが可能である。上記のように、類似画像の表示順序はデフォルトでは類似度の高い順となっているが、画面に含まれる「現在の価格」、「入札件数」、「残り時間」をクリックすることにより、夫々、価格順、入札件数順、残り時間順に並べ替えることが可能である。
【００３４】
このように、本実施形態のシステムによれば、ユーザは、出品された商品に外観上類似した他の商品のデータを閲覧し、ユーザがオークションに参加する場合の入札額の参考にしたり、あるいは自分の好みにより近い商品を見つけて入札したりすることが可能となる。
【００３５】
また、特徴データをカテゴリー毎に区分して記録し、特徴サーバー２が該当するカテゴリーの特徴データを類似画像の検索対象としているので、検索対象を絞りこんで検索速度を向上させることができる。ただし、特徴サーバー２が十分に高速な処理能力を有している場合には、必ずしも特徴データをカテゴリー毎に区分しなくてもよい。
【００３６】
なお、上記実施形態では、本発明がオークションシステムに適用された場合について説明したが、本発明はこれに限定されるものではなく、例えば、電子モールシステム等、ユーザに対して各種画像を提示するシステムへの提供が可能である。
【００３７】
【発明の効果】
本発明によれば、ネットワークを経由してアクセスしてきたユーザ端末に対して、ユーザが選択した画像に類似した画像を提示することが可能となる。
【図面の簡単な説明】
【図１】本実施形態のシステムの全体構成を示す図である。
【図２】本実施形態におけるオークションデータの一例を示す図である。
【図３】本実施形態における特徴データの一例を示した図である。
【図４】本実施形態における処理の流れを示す図である。
【図５】ユーザコンピュータの画面に表示された商品表示画面の一例を示す図である。
【図６】ユーザコンピュータの画面に表示された検索結果表示画面の一例を示す図である。
【符号の説明】
１ 画像サーバー
２ 特徴サーバー
３ ネットワーク
４ ユーザコンピュータ
５ 画像データベース
６ オークションデータベース
７ 特徴データベース
８ カテゴリーデータベース

Claims (5)

1. 商品販売サイトを構成し、ネットワークを介してアクセスしてきたユーザ端末にて指定された商品画像に類似した画像を検索して、当該ユーザ端末での閲覧に供する類似画像提示システムであって、
   当該商品販売サイトで販売される各種商品の画像データが格納された画像データベースと、
   前記各種商品の商品情報がカテゴリー毎に格納された商品データベースと、
   前記画像データベースに格納された各画像データについて、画像ＩＤと、当該画像の特徴を表す特徴データとが対応付けられて、前記商品データベースにおける当該画像が表す商品のカテゴリーに応じて区分して記録された特徴データベースと、
   前記画像ＩＤと該当商品の前記商品データベースにおけるカテゴリーとの対応関係を示すカテゴリーデータを格納するカテゴリーデータベースと、
   ユーザ端末から、画像ＩＤを指定した類似画像の検索要求を受信する検索要求受信手段と、
   前記特徴データベースから、前記受信した検索要求で指定された画像ＩＤに対応付けられた特徴データを取得する特徴データ取得手段と、
   前記受信した検索要求で指定された画像ＩＤに対応するカテゴリーを前記カテゴリーデータベースを参照して特定し、該特定したカテゴリーに属する特徴データを対象として、前記取得した特徴データに類似した特徴データに対応付けられた画像ＩＤを前記特徴データベースから検索する類似画像検索手段と、
   前記画像データベースから、前記取得した画像ＩＤに該当する画像データを取得する画像データ取得手段と、
   該取得した画像データを前記ユーザ端末へ送信する画像データ送信手段とを備えることを特徴とする類似画像提示システム。
2. 請求項１記載の類似画像提示システムにおいて、
   特徴サーバーと、この特徴サーバーに接続された商品販売サーバーとを含んで構成され、
   前記商品販売サーバーは、前記画像データベース、前記カテゴリーデータベース、前記検索用要求受信手段、前記画像データ取得手段および前記画像データ送信手段を備え、
   前記特徴サーバーは、前記特徴データベース、前記特徴データ取得手段および前記類似画像検索手段を備えることを特徴とする類似画像提示システム。
3. 請求項１又は２記載の類似画像提示システムにおいて、
   前記特徴データは、画像の色に関する色特徴データ、画像のエッジに関するエッジ特徴データ、及び画像のテクスチャに関するテクスチャ特徴データを含むことを特徴とする類似画像提示システム。
4. 請求項１〜３の何れか一項に記載の類似画像提示システムにおいて、
   前記類似画像検索手段は、前記取得した画像ＩＤに対応付けられた特徴データと、前記取得した特徴データとの類似度の高さを示す類似度データを算出し、
   前記画像データ送信手段は、前記画像データ取得手段が取得した画像データを、前記算出された類似度データに応じた順序で表示する画面を前記ユーザ端末へ送信することを特徴とする類似画像提示システム。
5. 商品販売サイトにネットワークを介してアクセスしてきたユーザ端末にて指定された画像に類似した画像を検索して、当該ユーザ端末での閲覧に供する類似画像提示方法であって、
   コンピュータが、ユーザ端末から、画像ＩＤを指定した類似画像の検索要求を前記ネットワークを介して受信する手順と、
   コンピュータが、画像データベースに格納された各画像データについて、画像ＩＤと、当該画像の特徴を表す特徴データとが対応付けられて、各種商品の商品情報がカテゴリー毎に格納された商品データベースにおける当該画像が表す商品のカテゴリーに応じて区分して記録された特徴データベースから、前記受信した検索要求で指定された画像ＩＤに対応付けられた特徴データを取得する手順と、
   コンピュータが、前記受信した検索要求で指定された画像ＩＤに対応するカテゴリーを、前記画像ＩＤと該当商品のカテゴリーとの対応関係を示すカテゴリーデータを格納するカテゴリーデータベースを参照して特定し、該特定したカテゴリーに属する特徴データを対象として、前記取得した特徴データに類似した特徴データに対応付けられた画像ＩＤを前記特徴データベースから検索する手順と、
   コンピュータが、前記画像データベースから、前記取得した画像ＩＤに該当する画像データを取得する手順と、
   コンピュータが、該取得した画像データを前記ネットワークを介して前記ユーザ端末へ送信する手順とを備えることを特徴とする方法。

Images