JP5200015B2 - 画像認識装置及び画像認識方法 - Google Patents

Description

本発明は、静止画像や動画像中に撮影された物体（オブジェクト）を認識する画像認識装置に関するものである。

画像認識の中心技術として、テンプレートマッチングがある（例えば、非特許文献１）。テンプレートマッチングは、様々な特定形状の画像窓（テンプレート）を予め用意しておき、このテンプレートを認識対象画像に対して適用し、それに一致する物体が認識対象画像中に存在するか否かをテストする方法である。

つまり、図１に示されるように、従来の画像認識装置１００は、認識対象画像を取得する画像入力部１０１と、様々なテンプレートを保持する、画像認識のための専用のデータベース（認識用データベース）１０３と、その認識用データベース中のテンプレートと画像入力部１０１が取得した認識対象画像とを照合することで認識処理を行う認識部１０２、その認識結果を出力する提示部１０４とを備える。このような従来の画像認識装置は、テンプレートマッチングによって、顔認識などについては成功している。
Ｄ．Ａ．Ｆｏｒｓｙｔｈ ａｎｄ Ｊ．Ｐｏｎｃｅ， "ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ： Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ"， ２２節、２４．３節

しかしながら、テンプレートマッチングを用いた従来の画像認識装置は、次のような課題を有している。

第１の課題として、認識用データベース（予め用意したテンプレートの集合）の中に認識対象物体に対応する画像が保持されていないときには、画像認識ができないことである。逆の言い方をすると、認識用データベースに保持されている物体しか認識できない。

第２の課題として、第１の課題とも関連するが、認識したい対象物体の数が増加すると共に、認識用データベース中に保持すべきテンプレートの数も増加することである。これは認識用データベースの大きさそのものの問題よりも、画像認識方法を用いる画像認識システムがどのようにして認識用データベースを作成するかということが問題となる。

本発明は上記従来の課題を解決するものであり、認識対象物体の数が多くなっても、認識用データベースを作り直す必要がない、つまり、認識用データベースを管理する必要がない画像認識装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、入力された画像が何を示す画像であるかを認識結果として出力する画像認識装置であって、認識対象画像を取得する画像入力部と、インターネットを介してアクセス可能なサーバ装置に置かれた、当該画像認識装置とは無関係に生成された自然発生的な複数の画像の中から、前記画像入力部で取得された認識対象画像と類似する１以上の類似画像を検索する類似画像検索部と、前記類似画像検索部で検索された類似画像に付随する情報の中から、前記認識対象画像の認識結果の候補となり得る複数のキーワードを抽出するキーワード抽出部と、前記キーワード抽出部で抽出された複数のキーワードを解析することにより、前記複数のキーワードのうち、前記認識対象画像の認識結果として尤もらしいものを少なくとも１つ特定するキーワード解析部と、前記キーワード解析部で特定されたキーワードを前記認識対象画像の認識結果として出力する提示部とを備える。これにより、従来の画像認識装置のように画像認識用の専用のデータベースを備えないので、認識対象物体の数が多くなっても、認識用データベースを作り直す必要がない、つまり、認識用データベースを管理する必要がなくなる。

ここで、前記類似画像検索部は、Ｅｘｉｆファイルの画像を前記類似画像として検索し、前記キーワード抽出部は、前記Ｅｘｉｆファイル中のヘッダ情報から、前記キーワードを抽出してもよいし、前記類似画像検索部は、前記サーバ装置に置かれたｗｅｂページから前記類似画像を検索し、前記キーワード抽出部は、前記ｗｅｂページ又は前記ｗｅｂページと関連づけられたｗｅｂページに含まれるタグ情報を手がかりにして、前記キーワードを抽出してもよいし、前記類似画像検索部は、前記サーバ装置に置かれたｗｅｂページから前記類似画像を検索し、前記キーワード抽出部は、前記ｗｅｂページ又は前記ｗｅｂページと関連づけられたｗｅｂページに含まれる周辺語句を前記キーワードとして抽出してもよい。

なお、画像認識の判断基準として、前記キーワード抽出部は、重複を許す複数のキーワードを抽出し、前記キーワード解析部は、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、個数を解析し、個数の多いキーワードを認識結果として特定してもよいし、 前記類似画像検索部は、前記認識対象画像と類似する複数の画像を前記類似画像として検索するとともに、前記複数の類似画像のそれぞれについて、前記認識対象画像との類似度を算出し、前記キーワード解析部は、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、付随していた画像に対して前記類似画像検索部で算出された類似度を対応させ、対応する類似度の高いキーワードを認識結果として特定してもよいし、前記キーワード抽出部は、重複を許す複数のキーワードを抽出し、前記キーワード解析部はさらに、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、個数を解析し、個数が多く、かつ、前記類似度の高いキーワードを認識結果として特定してもよい。

また、認識結果の表示として、前記キーワード解析部は、前記個数又は前記類似度の大きい複数個のキーワードを前記認識結果として特定し、前記提示部は、前記キーワード解析部で特定された複数のキーワードを、前記個数又は前記類似度の大きい順に、表示出力してもよい。

なお、さらに、前記画像入力部で取得された認識対象画像のうち、認識対象とすべき領域の指定をユーザから取得する画像指定部を備え、前記類似画像検索部は、前記画像指定部で取得された領域に含まれる画像と類似する画像を検索するのが好ましい。これにより、認識対象を絞り込むことができ、認識対象物に対するノイズ（認識不要な箇所）が削減され、高精度な画像認識が実現される。

また、さらに、複数の画像のテンプレートについて、各画像のテンプレートが属するカテゴリーを対応づけた情報を記憶する分類データベースと、前記画像入力部で取得された認識対象画像と前記分類データベースに記憶されている画像のテンプレートとを照合することにより、前記認識対象画像がいかなるカテゴリーに属するかを特定する簡易分類部とを備え、前記類似画像検索部は、前記簡易分類部による分類結果を検索時のキーワードとして利用することにより、前記認識対象画像と類似する画像であり、かつ、前記分類結果のカテゴリーに属する画像を検索するのが好ましい。これにより、認識対象画像だけで類似画像を検索する場合に比べて、カテゴリー情報が補助情報として類似画像の検索時に利用されるので、類似画像の検索精度が向上されたり、検索時間が短縮化されたりするという効果が奏される。

また、さらに、認識対象画像となり得る画像に付随する複数の付随情報のそれぞれについて、当該付随情報の詳細な情報を対応づけて記憶する詳細情報データベースと、前記画像入力部で取得された認識対象画像に付随する付随情報を取得し、取得した付随情報と前記詳細情報データベースに登録された付随情報とを照合することにより、前記画像入力部で取得された認識対象画像に付随する付随情報に対応する詳細情報を取得する前処理部とを備え、前記類似画像検索部は、前記前処理部によって取得された詳細情報を検索時のキーワードとして利用することにより、前記認識対象画像と類似し、かつ、前記詳細情報と関連する画像を検索するのが好ましい。これにより、認識対象画像だけで類似画像を検索する場合に比べて、画像以外の情報が補助情報として類似画像の検索時に利用されるので、類似画像の検索精度が向上されたり、検索時間が短縮化されたりするという効果が奏される。

なお、本発明は、このような画像認識装置として実現することができるだけでなく、このような画像認識装置が備える特徴的な手段をステップとする方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、そのようなプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明によれば、従来の画像認識装置のように画像認識用の専用のデータベースを備える必要がなくなるので、認識対象物体の数が多くなっても、認識用データベースを作り直す必要がない、つまり、認識用データベースを管理する必要がなくなる。

また、従来の画像認識装置のようにデータベース中に認識対象物体に対応する画像が保持されていないために認識できないといった可能性は極めて低くなり、高い確率であらゆる種類の画像の認識が可能となる。

よって、本発明は、保守の手間がかからず、装置による学習の必要もなく、かつ、認識対象の種類が限定されることなく、高い確率で未知の画像が認識され、撮像機能を備える携帯情報機器が普及してきた今日における実用的価値は極めて高い。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図２は、本発明の画像認識装置の構成を示す機能ブロック図である。この画像認識装置２００は、入力された画像が何を示す画像であるかを認識結果として出力する装置であって、画像入力部２０１、類似画像検索部２０２、キーワード抽出部２０３、キーワード解析部２０４、提示部２０５から構成され、例えば、パーソナルコンピュータ及びそこで実行されるプログラム等によって実現される。

画像入力部２０１は、認識対象画像を取得する処理部であり、例えば、ユーザの指定に従って、装置が備えるローカルディスク（図示されていない）から、デジタルカメラ等によって撮影され格納されている静止画や動画等の画像ファイルを読み出す。

類似画像検索部２０２は、インターネットを介してアクセス可能なサーバ装置２０６に置かれた、この画像認識装置２００とは無関係に生成された自然発生的な複数の画像の中から、画像入力部２０１で取得された認識対象画像と類似する１以上の画像を類似画像として検索する処理部である。なお、「自然発生的な画像」とは、この画像認識装置２００とは無関係に生成された画像であり、インターネット上のＷｅｂサイトに置かれて公開されているあらゆる種類の画像を含む。また、「画像認識装置２００とは無関係に生成された画像」とは、画像認識を意識せずに作成された一般的な画像を含む意味であり、画像認識を意識して作成された画像が含まれていてもよい。また、検索対象のサーバ装置は、任意なサーバ装置でよく、１台であっても、複数台であってもよいし、画像専用のｗｅｂサイトであってもよいし、そうでない一般のｗｅｂサイトであってもよい。

具体的には、この類似画像検索部２０２は、例えば、Ｅｘｉｆファイルの画像を類似画像として検索したり、サーバ装置２０６に置かれたｗｅｂページから類似画像を検索したりする。なお、この類似画像検索部２０２は、認識対象画像と類似する複数の画像を類似画像として検索した場合には、それら複数の類似画像のそれぞれについて、認識対象画像との類似度を算出する。

キーワード抽出部２０３は、類似画像検索部２０２で検索された類似画像に付随する情報の中から、認識対象画像の認識結果の候補となり得る複数のキーワードを抽出する処理部である。ここで、キーワードとは、地理的名称や著名人の名前等の固有名詞や普通名詞等を含む単語、句、節、文等である。

具体的には、このキーワード抽出部２０３は、例えば、Ｅｘｉｆファイル中のヘッダ情報からキーワードを抽出したり、ｗｅｂページ又はｗｅｂページと関連づけられたｗｅｂページに含まれるタグ情報を手がかりにしてキーワードを抽出したり、ｗｅｂページ又はｗｅｂページとリンク等によって関連づけられた他のｗｅｂページに含まれる周辺語句をキーワードとして抽出したりする。このとき、このキーワード抽出部２０３は、類似画像検索部２０２で検索された複数の類似画像から、重複を許す複数のキーワードを抽出することもある。

キーワード解析部２０４は、キーワード抽出部２０３で抽出された複数のキーワードを解析することにより、複数のキーワードのうち、認識対象画像の認識結果として尤もらしいものを少なくとも１つ特定する処理部である。

具体的には、このキーワード解析部２０４は、例えば、キーワード抽出部２０３で抽出された複数のキーワードのそれぞれについて、（１）個数（つまり、出現頻度）を解析し、個数の多いキーワードを認識結果として特定したり、（２）付随していた画像に対して類似画像検索部２０２で算出された類似度を対応させ、対応する類似度の高いキーワードを認識結果として特定したり、（３）個数が多く、かつ、類似度の高いキーワードを認識結果として特定したりする。なお、これらの認識結果のアルゴリズムについては、ユーザが事前に選択（設定）できる。

提示部２０５は、キーワード解析部２０４で特定されたキーワードを認識対象画像の認識結果として出力する処理部及びディスプレイ等である。ここで、もし、キーワード解析部２０４が、個数又は類似度の大きい複数個のキーワードを認識結果として特定した場合には、この提示部２０５は、キーワード解析部２０４で特定された複数のキーワードを、例えば、個数又は類似度の大きい順にソートして表示出力する。

次に、以上のように構成された本実施の形態における画像認識装置２００の動作について説明する。

図３は、本実施の形態における画像認識装置２００の動作手順を示すフローチャートである。図４は、画像認識装置２００の動作を説明するための図である。

まず、画像入力部２０１は、図４（ａ）に示される画像１０のような認識対象画像を取得する（Ｓ１０１）。ここで、画像入力部２０１は、カメラ等の撮像機器であってもよいし、予め認識対象画像が記録されている記録媒体であってもよい。画像入力部２０１が撮像機器である場合には、画像入力部２０１は、認識対象物体をその場で撮影し、認識対象物体を認識対象画像として取り込むことになる。また、画像入力部２０１が記録媒体である場合には、画像入力部２０１は、予め記録された画像からユーザが画像ファイルを指定することにより、認識対象画像を取得する。画像入力部２０１が取得した認識対象画像は、類似画像検索部２０２に出力される。

続いて、類似画像検索部２０２は、図４（ｂ）に示される類似画像１１ａのように、認識対象画像の類似画像をインターネット上のサーバ装置２０６から取得する（Ｓ１０２）。

図５は、このステップＳ１０２の詳細なフローチャートである。類似画像検索部２０２は、インターネット上のサーバ装置２０６から画像を取得（つまり、ダウンロード）する（Ｓ３０１）。なお、サーバ装置２０６は、画像を共有するサイトのホストサーバや、通常のｗｅｂサーバ等である。ここで、取得したダウンロード画像の数をＮ（１以上）とし、各ダウンロード画像は１〜Ｎの番号を付与して以下の説明をする。

類似画像検索部２０２は、Ｎ枚のダウンロード画像に対して順に処理を行うため、画像番号を示すカウンタｎの値を１にセットする（Ｓ３０２）。なお、Ｎとしては、予め定められた固定値であってもよいし、初期値を設定し、その後、後述する類似度と閾値との判断の結果を反映して増加させていく（例えば、類似度が閾値を超える類似画像の総数が予め定められた枚数となるような）可変値であってもよい。

以下、Ｎ枚のダウンロード画像に対して、ステップＳ３０３〜Ｓ３０５の処理が順に施される。つまり、類似画像検索部２０２は、認識対象画像と番号ｎのダウンロード画像との類似度を計算する（Ｓ３０３）。類似度の例としては、テンプレートマッチングにおける画像間の距離を用いる。ここでは、２つの画像が似ているほど類似度は高い値になるものとする。たとえば、２つの画像について、座標情報、輝度情報、色情報、エッジ情報、空間周波数情報等について複数の特徴量を算出し、それら複数の特徴量からなるベクトル間の距離を類似度とする。

また、認識対象画像とダウンロード画像との類似度を計算する場合には、それぞれの画像を部分画像にセグメンテーションした後、認識対象画像の部分画像とダウンロード画像の部分画像間の類似度を計算してもよい。このようにセグメンテーションをした場合には、各部分画像の組み合わせのうち、類似度が最大となる類似度を認識対象画像とダウンロード画像の類似度とすればよい。また、類似度の計算を終えた後は、その類似画像を保存してもよいし、破棄してもよい。

そして、類似画像検索部２０２は、類似度と所定の閾値を比較する（Ｓ３０４）。その結果、類似度が所定の閾値よりも大きい場合には（Ｓ３０４でＹｅｓ）、類似画像検索部２０２は、画像番号ｎと類似度のペアをリストに保存する（Ｓ３０５）。一方、類似度が所定の閾値よりも小さい場合には（Ｓ３０４でＮｏ）、ステップＳ３０５の処理をスキップし、ステップＳ３０６へと処理を移す。

Ｓ３０６では、類似画像検索部２０２は、画像番号ｎが総ダウンロード画像数Ｎに等しいか、すなわちすべてのダウンロード画像の処理を完了したかを判定する。その結果、ｎがＮに等しくない場合には（Ｓ３０６でＮｏ）、類似画像検索部２０２は、ｎを１だけ増加させた後（Ｓ３０７）、再び、類似度を計算する（Ｓ３０３）。一方、ｎがＮに等しい場合には（Ｓ３０６でＹｅｓ）、類似画像検索部２０２は、処理を完了する。以上のような類似画像検索部２０２による処理により、認識対象画像との類似度が所定の閾値以上となるダウンロード画像の番号とその類似度のペアを保持したリストが得られる。

続いて、図２に戻り、キーワード抽出部２０３は、図４（ｂ）のキーワード１１ｂのように、類似画像検索部２０２で得られたリストに番号が記載されているダウンロード画像に付随するキーワードを取得する（Ｓ１０３）。このキーワードとして、キーワード抽出部２０３は、Ｅｘｉｆ情報としてダウンロード画像に直接記述されているタグから得ることもできるし、ダウンロード画像が画像共有サイトから得たものであればその画像に付与されたタグとして得ることもできるし、ｗｅｂページ中でダウンロード画像が記載されていた位置の周囲の言葉から得ることもできる。また、ｈｔｍｌ言語等で記載されたｗｅｂページのソースコードを解析することにより、ダウンロード画像が記載されている位置とその周囲に記載された語句を得ることができる。このようにして各ダウンロード画像から得られたキーワードは、キーワード解析部２０４に出力される。

ここで、キーワード抽出は、上記リストに記載された全画像に対して行ってもよいし、リストに記載された画像数が多い場合には、その中から選択した画像に対して行ってもよい。また、キーワードの抽出の方法（Ｅｘｉｆファイルのヘッダかｗｅｂページのタグか等）については、１つ、あるいは、複数の方法を、ユーザが選択（あるいは、事前に設定）できる。

そして、キーワード解析部２０４は、入力されたキーワードに対してその頻度（出現頻度、つまり、個数）を解析する（Ｓ１０４）。そして、頻度に基づいて選択したキーワードを認識対象画像の認識結果として出力する。ここで、頻度に基づいてキーワードを選択する方法としては、頻度が最も高いキーワードを選択する方法等がある。また、選択するキーワードは一つとは限らず、複数のキーワードを選択してもよい。

最後に、提示部２０５は、図４（ｃ）の表示例１２に示されるように、キーワード解析部２０４において得られた認識結果をユーザに対して提示する（Ｓ１０５）。提示方法としては、ディスプレイに認識結果を文字情報として表示する方法や、音声合成により認識結果を読み上げてスピーカから再生する方法等がある。また、図６に示されるように、キーワード抽出部２０３によって抽出されたキーワードのうち、キーワード解析部２０４によって算出された頻度の多いものから一定個数のキーワードをソートして表示してもよい。

以上のように、本実施の形態における画像認識装置２００によれば、当該画像認識装置２００とは無関係に生成された自然発生的なインターネット上の画像群から認識対象画像に類似した画像群を選択し、画像群に付随するキーワードの頻度を解析することによって、あるキーワードを認識結果として選択する。ここで、インターネット上にはあらゆる物体を撮影した画像が存在する。よって、このような画像認識装置２００によって、従来の画像認識方法のように専用の認識用データベース中に認識対象物体に対応する画像が保持されていないために認識できないといった可能性は極めて低くなる。また、本発明の画像認識装置によれば、独自（専用）のデータベースを作成することなく、数多くの種類の物体を認識することが可能となる。

なお、上記実施の形態では、認識対象画像の全体を対象として、画像認識をしたが、画像の一部だけを対象として画像認識をしてもよい。図７は、上記実施の形態の第１の変形例に係る画像認識装置４００の構成を示す機能ブロック図である。本図に示されるように、本変形例に係る画像認識装置４００は、図２に示される上記実施の形態における画像認識装置２００に、画像指定部４０１を追加した構成を有している。画像指定部４０１以外の構成および処理内容は上記実施の形態とほぼ同様である。

画像指定部４０１には、画像入力部２０１から、認識対象物体が含まれた画像が入力される。画像指定部４０１は、図８の画像１０中の点線枠１０ａに示されるように、画像入力部２０１から入力された画像１０のうち、認識対象物体が写っている領域を特定する。このときの領域の特定は、例えば、ユーザからの指示により行われる。そして、画像指定部４０１は、指定された領域の画像を類似画像検索部２０２に対して出力する。なお、画像指定部４０１は、ユーザが指定した領域の画像をそのまま類似画像検索部２０２に出力してもよいし、ユーザが指定した領域内で画像の境界検出を行い、検出された境界内の画像のみを類似画像検索部２０２に出力してもよい。

このように、第１の変形例に係る画像認識装置４００によれば、インターネット上の画像群から対象画像中のユーザ選択領域に類似した画像群を検索し、検索した画像群に付随するキーワードの頻度を解析することによって、あるキーワードを認識結果として選択する。よって、上記実施の形態で得られる効果に加えて、入力画像中のユーザ指定領域に写っている物体だけに絞って画像認識をするという効果も奏される。

また、上記実施の形態では、認識対象画像だけを手掛かりとして類似画像を検索したが、認識対象画像に加えて、認識対象画像の分類（カテゴリー）情報も手掛かりにして類似画像を検索してもよい。図９は、上記実施の形態の第２の変形例に係る画像認識装置５００の構成を示す機能ブロック図である。本図に示されるように、本変形例に係る画像認識装置５００は、図２に示される上記実施の形態における画像認識装置２００に、簡易分類部５０１及び分類データベース５０２を追加した構成を有している。簡易分類部５０１及び分類データベース５０２以外の構成および処理内容は上記実施の形態とほぼ同様である。

簡易分類部５０１には、画像入力部２０１から、認識対象画像が入力される。簡易分類部５０１は、類似画像検索部２０２がインターネットから画像をダウンロードする前に、認識対象画像に対して簡易的な分類を実施する。これは、例えば、従来の画像認識方法のように、簡易分類部５０１にローカルな分類データベース５０２を保持し、その分類データベース５０２に含まれるテンプレートを参照することにより、認識対象画像を簡易的に分類する。分類データベース５０２は、例えば、図１０に示されるように、「画像の特徴（空間周波数成分、輪郭形状、統計的特徴量、色分布等の特徴）」と「カテゴリー」との対応付けを登録したテーブルである。簡易分類部５０１は、認識対象画像の空間周波数成分等を解析し、その解析結果と一致する分類データベース５０２の「画像の特徴」を検索し、対応する「カテゴリー」を簡易分類結果として取得する。そして、簡易分類部５０１は、認識対象画像に加えて、その簡易分類結果も類似画像検索部２０２に出力する。

類似画像検索部２０２は、簡易分類部５０１から入力された簡易分類結果を利用して、インターネット上のサーバから画像を取得（ダウンロード）する。例えば、簡易分類結果をキーワードとして検索を実施し、検索の結果得られた画像を類似画像として、あるいは、簡易分類結果をキーワードとして検索して得られた画像のうち、認識対象画像に類似する画像を類似画像としてダウンロードする。

このように、第２の変形例に係る画像認識装置５００によれば、インターネット上の画像群から、認識対象画像の簡易分類結果をキーワードとして類似する画像群を検索し、その画像群に付随するキーワードの頻度を解析することによって、あるキーワードを認識結果として選択する。よって、上記実施の形態で得られる効果に加えて、予め簡易的な分類を実施することにより、インターネットからダウンロードする画像の数が削減され、ダウンロード時間の短縮、処理量の削減、ダウンロード画像を保持するためのメモリ量の削減等の効果も奏される。

また、上記実施の形態では、キーワード抽出部２０３で抽出されたキーワードのうち、頻度の大きいものが認識結果と判断されたが、頻度の算出に際して、認識対象画像と類似画像との類似度で重みづけをしてもよい。図１１（ａ）〜図１１（ｃ）は、このような認識対象画像と類似画像との類似度による重みづけを考慮して認識結果を決定する第３の変形例に係る画像認識装置の動作を説明する図である。なお、この第３の変形例に係る画像認識装置の構成は、基本的には、図２に示される上記実施の形態における画像認識装置２００と同様である。以下、実施の形態と異なる機能を有する構成要素について説明する。

第３の変形例に係る画像認識装置では、図１１（ａ）に示されるように、類似画像検索部２０２は、類似画像を検索したときに、認識対象画像と類似画像との類似度を算出しておく。そして、キーワード解析部２０４は、キーワード抽出部２０３が類似画像ごとにキーワードを抽出する度に、その類似画像の類似度を、抽出されたキーワードに対応づけて記憶しておく。たとえば、図１１（ａ）に示される例では、類似度Ｓ１の類似画像Ｉ１に付随していたキーワードＡ、Ｂ、Ｃ、Ｄのそれぞれに類似度Ｓ１を対応づけ、類似度Ｓ２の類似画像Ｉ２に付随していたキーワードＢ、Ｄ、Ｅのそれぞれに類似度Ｓ２を対応づけ、・・・、類似度Ｓｎの類似画像Ｉｎに付随していたキーワードＦ、Ｈのそれぞれに類似度Ｓｎを対応づけて記憶する。

そして、キーワード解析部２０４は、図１１（ｂ）に示されるように、キーワード抽出部２０３で抽出されたキーワードのそれぞれについて、対応づけられた重み和ωｉ、あるいは、類似度を所定の関数（例えば、類似度の総和で正規化した重みを算出する関数ｆ）に代入して得られる重みｆ（Ｓｉ）の合計Σωｉを計算することで、類似度を重みとするキーワード毎の重み和ωｎを算出する。最後に、提示部２０５は、図１１（ｃ）に示されるように、認識結果として、重み和ωｎの大きい順に、確度（重み和を０〜１の範囲の数値に正規化した値）と共に、キーワードを表示する。

このように、第３の変形例に係る画像認識装置によれば、抽出されたキーワードの頻度だけでなく、認識対象画像と類似画像との類似度で重みづけをした頻度の高いキーワードを認識結果とすることで、頻度だけで決定する手法に比べて、より高い精度で画像認識をすることができる。

なお、このような類似度による重みづけを考慮する際には、１つの類似画像に付随するキーワードの数が多い場合には、それらのキーワードに対する重みを小さくしてもよい。また、Ｅｘｉｆファイルのヘッダ情報等に含まれるキーワードのように、類似画像に直接付随するキーワードについては、重みを大きくしたり、ｗｅｂページ等において類似画像の周辺にあるキーワードについては、類似画像から距離（例えば、表示画面上での距離）が近い程、重みを大きくしたりしてもよい。このように、類似画像とキーワードとの各種関係を、認識結果を判断する際の重みづけに反映することで、さらに画像認識の精度が向上される。

また、上記実施の形態及び変形例では、認識対象画像だけを手掛かりとして類似画像を検索したり、認識対象画像と認識対象画像から判明する情報（分類情報）を手掛かりにして類似画像を検索したりしたが、もし、認識対象画像に付随情報が付随している場合には、その付随情報、あるいは、その付随情報に関連する情報をキーワードとして類似画像を検索してもよい。

図１２は、認識対象画像に付随する付随情報に関連する詳細情報をキーワードとして類似画像を検索する、第４の変形例に係る画像認識装置５００の構成を示す機能ブロック図である。本図に示されるように、本変形例に係る画像認識装置６００は、図２に示される上記実施の形態における画像認識装置２００に、前処理部６１０及び詳細情報データベース６２０を追加した構成を有している。

詳細情報データベース６２０は、認識対象画像となり得る画像に付随する複数の付随情報のそれぞれについて、付随情報の詳細な情報を対応づけて記憶するデータベースである。たとえば、付随情報として、地理的な場所を示す情報（例えば、緯度及び経度）を格納し、詳細な情報として、その地理的な場所の近くに存在するランドマークを特定する情報（建物名、施設の種類など）を格納している建物データベース等である。

前処理部６１０は、画像入力部２０１で取得された認識対象画像に付随する付随情報を取得し、取得した付随情報と詳細情報データベース６２０に登録された付随情報とを照合することにより、画像入力部２０１で取得された認識対象画像に付随する付随情報に対応する詳細情報を取得する処理部である。

このように構成される第４の変形例に係る画像認識装置６００の動作は、図１２のステップＳ６１〜Ｓ６６に記載されている通りである。まず、前処理部６１０は、認識対象画像に付随する付随情報を取得する（Ｓ６１）。たとえば、認識対象画像が撮影画像であり、Ｅｘｉｆファイルに収納されている場合には、前処理部６１０は、そのＥｘｉｆファイルのヘッダ情報から、撮影場所（地理的な場所）を示す情報（緯度及び経度等）を取得する。そして、前処理部６１０は、取得した付随情報と詳細情報データベース６２０に登録された付随情報とを照合することにより（Ｓ６２）、その付随情報に対応する詳細情報を取得する（Ｓ６３）。たとえば、認識対象画像に付随していた撮影場所をキーワードにして詳細情報データベース６２０を検索することで、その撮影場所、あるいは、その近辺の建物名を取得する。

そして、類似画像検索部２０２は、インターネット上のサーバ装置２０６を対象に、前処理部６１０によって取得された詳細情報をキーワードとして検索することにより（Ｓ６４）、認識対象画像と類似し、かつ、詳細情報と関連する類似画像及びそれに付随するキーワードを取得する（Ｓ６５）。たとえば、建物名をキーワードとしてｗｗｗから画像を検索し、それらの画像のうち、認識対象画像と類似する画像を類似画像として、付随するキーワードと共に取得する。

そして、キーワード解析部２０４は、実施の形態と同様にして、取得された複数のキーワードに対してその頻度を解析し、頻度の高いキーワードを認識結果として選択する（Ｓ６６）。このとき、詳細情報データベース６２０から取得された詳細情報と一致する、あるいは、類似するキーワードについては、重みを大きくして認識結果を選択してもよい。最後に、選択された認識結果は、提示部２０５によって、ユーザに提示される。

このように、第４の変形例に係る画像認識装置６００によれば、認識対象画像に付随する情報を利用して類似画像を検索するので、認識対象画像だけから類似画像を検索する場合に比べ、より類似度の高い画像を検索したり、類似画像の検索時間を短縮化したりすることができ、画像認識の認識精度と処理速度が向上される。

なお、この第４の変形例に係る画像認識装置６００の動作例としては、撮影場所を手がかりに撮影画像に含まれる建物や名所の名前を詳細情報データベース６２０から取得する以外に、季節や時間帯等の付随情報を利用してもよい。このとき、植物や昆虫であれば、それが存在する季節や場所は限定されているので、それを画像認識時の知識として活用してもよい。たとえば、認識アルゴリズムとして、ベイズ推定を用いて複数のキーワードから尤もらしいものを選択するとし、いま、認識対象画像に撮影日時が付随している場合には、その撮影日時が属する季節や時間帯に出現する植物や昆虫については、ベイズ推定における事前確率を高い値にしておく。そして、複数のキーワードの中から、ベイズ推定における事後確率が最大となるキーワードを選択し、そのキーワードを認識結果として選択する。このように、認識対象画像に付随する情報を類似画像の検索に利用するだけでなく、認識時の知識（認識処理の補助情報）として利用することで、さらに認識精度を向上させることができる。

また、上記実施の形態では、提示部２０５は、認識結果だけを表示したが、認識対象画像に重畳させて認識結果を表示してもよい。このとき、提示部２０５は、認識対象画像中の認識対象となるオブジェクトの近辺に認識結果の文字列が位置するように、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）技術等を利用して、認識対象画像と認識結果の文字列とを合成する。

たとえば、図１３（ａ）に示されるように、認識結果として山の名前が得られた場合には、その名前を認識対象画像中の対応する山の近くに配置した合成画像を生成して表示したり、図１３（ｂ）に示されるように、認識結果として星座や星の名前が得られた場合には、その名前を認識対象画像中の対応する星座や星の近くに配置した合成画像を生成して表示したりする。これにより、認識対象画像と認識結果とが画像上で対応づけられ、ユーザは、容易に未知の認識結果を確認することができる。また、撮影画像から自動的に景観ラベリングが行われ、旅行先での未知の景観に対して、自動的に観光情報が入手される。なお、図１３（ｂ）に示されるように、認識対象画像中には存在しないが、画像認識結果から存在することが判明した星（本来見えないが、星座の位置関係から存在することが判明した星）を、ＣＧ技術等で、認識対象画像と合成して表示してもよい。

また、上記実施の形態及び変形例では、類似画像の検索時に使用する補助キーワードや、キーワードの解析（認識処理）時に使用する補助キーワードは、データベースを参照することによって自動生成されたが、ユーザが指定してもよい。たとえば、認識対象画像が属するカテゴリー（「花」、「木」、「虫」等）をユーザが指定してもよい。これにより、ユーザは、認識対象画像について、自分が入力した情報を手掛かりにして、更に詳細な情報（つまり、認識結果）を得ることができる。

たとえば、ユーザが、自分が撮影した画像が花であることを知っているが、その名前を知らない場合に、「花」を類似画像の検索時の補助キーワード、あるいは、キーワードの解析（認識処理）時における重みとして利用するように画像認識装置を実行させることで、「花」の名前を認識結果として取得することができ、画像認識装置を植物辞典として利用することができる。

なお、上記実施の形態及び変形例は、構成要素を任意に組み合わせることで、別の形態の画像認識装置を実現してもよい。たとえば、上記第１の変形例と第２の変形例２とを組み合わせることで、画像指定部４０１で認識対象領域を指定した後、指定された領域の画像に対して、簡易分類部５０１による分類を行い、類似画像検索部２０２による類似画像の検索をしてもよい。

また、上記各実施の形態や変形例における画像認識装置を、コンピュータで実行されるプログラムとして実現してもよい。そして、そのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１４（ａ）〜図１４（ｃ）は、上記各実施の形態の画像認識装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実現する場合の説明図である。

図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像認識方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像認識方法を実現する上記画像認識方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、本発明に係る画像認識装置は、コンピュータ上で実現されるだけでなく、図１５に示されるような各種電子機器ｅｘ１１１〜１１６に組み込まれる機能として実現することもできる。このとき、各種電子機器ｅｘ１１１〜１１６に付随する蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）にプログラムとして格納されたり、ＬＳＩｅｘ１１７として実現されたりする。

各種電子機器ｅｘ１１１〜１１６は、基地局ｅｘ１０７〜ｅｘ１１０、電話網ｅｘ１０４及びインターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１上の多数のサーバｅｘ１０３を対象として、類似画像を検索し、画像認識を行うことができる。

図１６は、上記実施の形態で説明した画像認識装置を備える携帯電話ｅｘ１１５の外観図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等で映像や静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像や、アンテナｅｘ２０１で受信した映像等を表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画等を保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

このような携帯電話ｅｘ１１５の機能ブロックは、図１７に示される通りである。携帯電話ｅｘ１１５では、表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６、画像認識部ｅｘ３１４及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してデジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

また、画像認識部ｅｘ３１４は、本発明に係る画像認識装置であり、カメラ部ｅｘ２０３で撮影された画像や記録メディアｅｘ２０７から読み出した画像に対して画像認識処理を行う。

このように、上記実施の形態で示した画像認識方法を、上述したいずれの機器・システムに用いることも可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、上記実施の形態及び変形例で示したブロック図の各機能ブロックは、典型的には、集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されてもよいし、複数チップ化されてもよい（例えば、メモリ以外の機能ブロックが１チップ化されていてもよい）。なお、集積回路は、ＬＳＩだけに限られず、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩであってもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用した回路で実現してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、上記実施の形態及び変形例で示したブロック図の各機能ブロックおよびフローチャートは、専用の回路等のハードウェアで実現してもよいし、その中心的部分をプロセッサおよびプログラムによって実現してもよい。

また、本発明は、上記実施の形態及び変形例に限定されるものではなく、本発明の主旨を逸脱しない範囲で、種々の変形、修正及び組み合わせが可能である。

本発明は、入力された画像が何を示す画像であるかを認識結果として出力する画像認識装置として、例えば、画像を取り扱うことができる情報処理装置、特に、撮像機能を有するデジタルカメラ、携帯電話、パーソナルコンピュータ等に実装することができ、景観ラベリング装置として、あるいは、花、木、昆虫等のオブジェクトを撮影してその場で詳細な分析を支援する分析装置としても利用できる。

図１は、従来の画像処理装置の構成を示す機能ブロック図である。 図２は、本発明の画像処理装置の構成を示す機能ブロック図である。 図３は、本発明の画像処理装置の動作を示すフローチャートである。 図４は、本発明の画像処理装置の動作を説明する図である。 図５は、図３のステップＳ１０２の詳細を示すフローチャートである。 図６は、本発明の画像処理装置の出力例を示す図である。 図７は、第１の変形例に係る画像処理装置の構成を示す機能ブロック図である。 図８は、第１の変形例に係る画像処理装置の動作を説明する図である。 図９は、第２の変形例に係る画像処理装置の構成を示す機能ブロック図である。 図１０は、第２の変形例に係る画像処理装置の分類データベースのデータ例を示す図である。 図１１は、認識対象画像と類似画像との類似度で重みづけをして画像を認識する方法を説明する図である。 図１２は、認識対象画像に付随する付随情報に関連する詳細情報をキーワードとして類似画像を検索する画像処理装置の構成と動作を示す図である。 図１３は、認識結果を認識対象画像上に重畳させて表示する例を示す図である。 図１４は、本発明の画像処理装置を実現するプログラムを格納する記録媒体を示す図である。 図１５は、本発明の画像処理装置を実装した各種電子機器の例を示す図である。 図１６は、本発明の画像認識装置を備える携帯電話の外観図である。 図１７は、本発明の画像処理装置を備える携帯電話の機能ブロック図である。

２００、４００、５００、６００ 画像認識装置
２０１ 画像入力部
２０２ 類似画像検索部
２０３ キーワード抽出部
２０４ キーワード解析部
２０５ 提示部
２０６ サーバ装置
４０１ 画像指定部
５０１ 簡易分類部
５０２ 分類データベース
６１０ 前処理部
６２０ 詳細情報データベース

Claims (15)

1. 入力された画像が何を示す画像であるかを認識結果として出力する画像認識装置であって、
   認識対象画像を取得する画像入力部と、
   インターネットを介してアクセス可能なサーバ装置に置かれた、当該画像認識装置とは無関係に生成された自然発生的な複数の画像の中から、前記画像入力部で取得された認識対象画像と類似する１以上の類似画像を検索する類似画像検索部と、
   前記類似画像検索部で検索された類似画像に付随する情報の中から、前記認識対象画像の認識結果の候補となり得る複数のキーワードを抽出するキーワード抽出部と、
   前記キーワード抽出部で抽出された複数のキーワードを解析することにより、前記複数のキーワードのうち、前記認識対象画像の認識結果として尤もらしいものを少なくとも１つ特定するキーワード解析部と、
   前記キーワード解析部で特定されたキーワードを前記認識対象画像の認識結果として出力する提示部と
   を備える画像認識装置。
2. 前記類似画像検索部は、Ｅｘｉｆファイルの画像を前記類似画像として検索し、
   前記キーワード抽出部は、前記Ｅｘｉｆファイル中のヘッダ情報から、前記キーワードを抽出する
   請求項１記載の画像認識装置。
3. 前記類似画像検索部は、前記サーバ装置に置かれたｗｅｂページから前記類似画像を検索し、
   前記キーワード抽出部は、前記ｗｅｂページ又は前記ｗｅｂページと関連づけられたｗｅｂページに含まれるタグ情報を手がかりにして、前記キーワードを抽出する
   請求項１記載の画像認識装置。
4. 前記類似画像検索部は、前記サーバ装置に置かれたｗｅｂページから前記類似画像を検索し、
   前記キーワード抽出部は、前記ｗｅｂページ又は前記ｗｅｂページと関連づけられたｗｅｂページに含まれる周辺語句を前記キーワードとして抽出する
   請求項１記載の画像認識装置。
5. 前記キーワード抽出部は、重複を許す複数のキーワードを抽出し、
   前記キーワード解析部は、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、個数を解析し、個数の多いキーワードを認識結果として特定する
   請求項１記載の画像認識装置。
6. 前記類似画像検索部は、前記認識対象画像と類似する複数の画像を前記類似画像として検索するとともに、前記複数の類似画像のそれぞれについて、前記認識対象画像との類似度を算出し、
   前記キーワード解析部は、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、付随していた画像に対して前記類似画像検索部で算出された類似度を対応させ、対応する類似度の高いキーワードを認識結果として特定する
   請求項１記載の画像認識装置。
7. 前記キーワード抽出部は、重複を許す複数のキーワードを抽出し、
   前記キーワード解析部はさらに、前記キーワード抽出部で抽出された複数のキーワードのそれぞれについて、個数を解析し、個数が多く、かつ、前記類似度の高いキーワードを認識結果として特定する
   請求項６記載の画像認識装置。
8. 前記キーワード解析部は、前記個数又は前記類似度の大きい複数個のキーワードを前記認識結果として特定し、
   前記提示部は、前記キーワード解析部で特定された複数のキーワードを、前記個数又は前記類似度の大きい順に、表示出力する
   請求項５記載の画像認識装置。
9. さらに、前記画像入力部で取得された認識対象画像のうち、認識対象とすべき領域の指定をユーザから取得する画像指定部を備え、
   前記類似画像検索部は、前記画像指定部で取得された領域に含まれる画像と類似する画像を検索する
   請求項１記載の画像認識装置。
10. さらに、
    複数の画像のテンプレートについて、各画像のテンプレートが属するカテゴリーを対応づけた情報を記憶する分類データベースと、
    前記画像入力部で取得された認識対象画像と前記分類データベースに記憶されている画像のテンプレートとを照合することにより、前記認識対象画像がいかなるカテゴリーに属するかを特定する簡易分類部とを備え、
    前記類似画像検索部は、前記簡易分類部による分類結果を検索時のキーワードとして利用することにより、前記認識対象画像と類似する画像であり、かつ、前記分類結果のカテゴリーに属する画像を検索する
    請求項１記載の画像認識装置。
11. さらに、
    認識対象画像となり得る画像に付随する複数の付随情報のそれぞれについて、当該付随情報の詳細な情報を対応づけて記憶する詳細情報データベースと、
    前記画像入力部で取得された認識対象画像に付随する付随情報を取得し、取得した付随情報と前記詳細情報データベースに登録された付随情報とを照合することにより、前記画像入力部で取得された認識対象画像に付随する付随情報に対応する詳細情報を取得する前処理部とを備え、
    前記類似画像検索部は、前記前処理部によって取得された詳細情報を検索時のキーワードとして利用することにより、前記認識対象画像と類似し、かつ、前記詳細情報と関連する画像を検索する
    請求項１記載の画像認識装置。
12. 前記画像は、撮影画像であり、
    前記付随情報は、撮影が行われた地理的な場所を示し、
    前記詳細情報データベースは、複数の地理的な場所について、当該場所又は当該場所の近くに位置するランドマークを特定する情報を前記詳細情報として記憶する
    請求項１１記載の画像認識装置。
13. 前記認識対象画像は、Ｅｘｉｆファイルであり、
    前記前処理部は、前記画像入力部で取得された認識対象画像を含むＥｘｉｆファイル中のヘッダ情報から、前記付随情報を取得する
    請求項１２記載の画像認識装置。
14. 入力された画像が何を示す画像であるかを認識結果として出力する画像認識装置で用いられる画像認識方法であって、
    前記画像認識装置は、分類データベースを保持する蓄積媒体と、画像入力部と、簡易分類部と、類似画像検索部と、キーワード抽出部と、キーワード解析部と、提示部とを備え、
    前記分類データベースは、複数の画像のテンプレートについて、各画像のテンプレートが属するカテゴリーを対応づけた情報を格納しており、
    前記画像認識方法は、
    前記画像入力部が、認識対象画像を取得する画像入力ステップと、
    前記簡易分類部が、前記画像入力ステップで取得された認識対象画像と前記蓄積媒体に保持された前記分類データベースに格納されている画像のテンプレートとを照合することにより、前記認識対象画像がいかなるカテゴリーに属するかを特定する簡易分類ステップと、
    前記類似画像検索部が、インターネットを介してアクセス可能なサーバ装置に置かれた、当該画像認識方法とは無関係に生成された自然発生的な複数の画像の中から、前記画像入力ステップで取得された認識対象画像と類似する１以上の類似画像を、前記簡易分類ステップによる分類結果を検索時のキーワードとして利用することにより、前記認識対象画像と類似する画像であり、かつ、前記分類結果のカテゴリーに属する画像を検索する類似画像検索ステップと、
    前記キーワード抽出部が、前記類似画像検索ステップで検索された類似画像に付随する情報の中から、前記認識対象画像の認識結果の候補となり得る複数のキーワードを抽出するキーワード抽出ステップと、
    前記キーワード解析部が、前記キーワード抽出ステップで抽出された複数のキーワードを解析することにより、前記複数のキーワードのうち、前記認識対象画像の認識結果として尤もらしいものを少なくとも１つ特定するキーワード解析ステップと、
    前記提示部が、前記キーワード解析ステップで特定されたキーワードを前記認識対象画像の認識結果として出力する提示ステップと
    を含む画像認識方法。
15. コンピュータ読み取り可能な記録媒体に格納されたプログラムであって、
    請求項１４記載の画像認識方法に含まれるステップをコンピュータに実行させるプログラム。

Images