【0001】
【発明の属する技術分野】
本発明は、特に撮影した画像から文字情報を抽出し、抽出した文字情報を利用して画像を管理したり、適切な通信先に接続するためのカメラ付き移動体通信端末に関するものである。
【0002】
【従来の技術】
従来、携帯電話等の移動体通信端末があまり普及しておらず、外出先でホームページを見ることなどは容易にできなかったため、自宅等に帰った後で、固定端末でホームページにアクセスしたり、データを送受信するなどする必要があるという手間をかけていた。
【0003】
【発明が解決しようとする課題】
ところが、近年、以下のようになっている。
【0004】
(1)近年、無線インターネットに対応した携帯電話やPDAなどの移動体通信端末が一般化され、利用者は外出先で見つけたインターネットホームページにその場でアクセスすることが可能となった。
【0005】
(2)また、デジタルカメラを移動体通信端末と接続して、撮影した画像を無線インターネットを利用して第三者に送信したり、サーバーにアップロードしたりすることが可能となった。
【0006】
前記(1)の移動体端末では、街中の看板や電車の中吊り広告に記載されているURLアドレスのホームページを閲覧するために、まずURLアドレスを紙に書き写し、移動体端末に付属されているWWWブラウザを起動し、書き写したURLアドレスをキーボードやその他の入力装置を用いてWWWブラウザに入力する必要があり、その場ですぐにホームページを閲覧するには使い勝手が悪いという課題を有している。
【0007】
また、前記(2)の従来のデジタルカメラでは、利用者は撮影した画像を後で容易に検索可能な様に、「撮影場所」や「コメント」を入力しておくことも多いが、その際に利用者がキーボードやその他の入力装置を用いて手動で入力する必要があり、手間がかかるという課題を有している。また、利用者が入力する「コメント」は、撮影した本人ならば容易に想起できても、第三者がこれを手がかりに画像を検索するには必ずしても適切ではない場合がある。そのため、複数の個人が公開した膨大な画像の中から所望の画像を検索するような用途には適さないという課題を有している。
【0008】
本発明の目的は、デジタル画像からキーワードとなる文字列(例えば看板に記載されている会社名、住所、URLアドレス、電話番号等)を抽出し、これを利用してデジタル画像を容易に検索したり、通信相手先に接続して容易に詳細情報を入手したり、さらには、撮影した画像を第三者と容易に共有できる通信端末を提供することである。
【0009】
【課題を解決するための手段】
以上の課題を解決するために、
第1に本発明の通信端末は、前記通信端末に入力されるデジタル画像からキーワードとなる文字列を抽出する文字列抽出部と、前記文字列情報抽出部で抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断する接続先決定部と、前記デジタル画像と前記文字列情報抽出部で抽出されたキーワードと前記接続先決定部で判断された接続先情報とを関連付けて管理するための画像情報管理テーブルを生成、管理する画像情報管理テーブル管理部と、前記接続先決定部で決定された接続先に無線あるいは有線の手段を用いて接続し、データを送受信するための通信部とを有することを特徴とする。
【0010】
これにより、前記画像情報管理テーブルを使って、入力されたデジタル画像を画像から抽出されるキーワード、さらには、URLアドレスや電話番号などの接続先情報と関連付けて管理することができる。さらには、前記通信端末がGPS信号を用いた位置検出機能を有する場合においては、撮影場所を前記画像情報管理テーブルに登録するようにし、撮影場所とも関連づけて管理することも可能となる。
【0011】
そして、前記画像情報管理テーブルと接続先決定部によってキーワードに関連付けられた接続先、例えばURLアドレスのホームページや電話番号先などに容易に接続し、データを取得することができる。
【0012】
第2に本発明の通信端末は、ユーザがキー入力した検索文字列を受け付けるユーザ操作部と、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索する検索部を有する。さらに、前記キーワードと関連付けられているデジタル画像を取得し、提示する提示部を有することを特徴とする。
【0013】
これにより、前記画像情報管理テーブルによって関連付けられたキーワードに基づいて、デジタル画像を容易に検索することができる。
【0014】
第3に本発明の通信端末とデータを送受信するデータサーバは、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録する登録部と、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワード及び前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索する検索部を有し、検索結果のキーワードとデジタル画像を前記通信端末に送信することを特徴とする。
【0015】
これにより、画像を撮影したユーザ以外の他のユーザも、前記画像情報管理テーブルに関連づけられたキーワードに基づいて、デジタル画像を容易に検索、取得して閲覧でき、複数のユーザ間で画像を容易に共有することができる。
【0016】
【発明の実施の形態】
(実施の形態1)
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0017】
図1は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行うデータ検索システムの構成を示す機能ブロック図の一例を示した図である。
図1において、
100は、携帯通信端末、
101は、画像が入力される入力部、
102は、101で取得した画像を記録するための画像記録部、
103は、101で取得した画像からキーワードを抽出するための文字情報抽出部、
104は、103で抽出されたキーワードと予め設定されている予約語とを比較し、適合した予約語に基づいて接続先を決定する接続先決定部、
105は、102で記録された画像とその画像に関連する情報、103で取得されたキーワード、104で決定された接続先アドレスとを関連付け、画像情報管理テーブルを作成する画像情報管理テーブル管理部、
106は、105でキーワードに関連付けられた接続先に対して無線または有線の通信回線を利用して接続し、接続先とデータを送受信する通信部、
107は、102に記録された画像、103で抽出されたキーワード、104で決定された接続先アドレス、105で作成された画像情報管理テーブル、106で取得したデータを記録するための記録媒体、
108は、ユーザからの操作を102〜106に伝達するためのユーザ操作部、
109は、102に記録された画像、103で抽出されたキーワード、104で決定された接続先アドレス、105で作成された画像情報管理テーブル、106で取得したデータ、107に記録されたデータを画面に表示するための提示部、
110は、101〜106の内部処理部と107〜108の外部装置との連結を行うシステムバス、
を示している。
【0018】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定している。
【0019】
なお、入力部101は入力部自身がカメラであってもよいし、外部からの画像(インターネットの画像や外部の記録装置に保存されている画像など)を取得するインターフェイスであってもよい。
【0020】
図2は、本実施の形態におけるデータ検索システムにおける、画像情報管理テーブル管理部105が生成する画像情報管理テーブル図の一例である。
【0021】
図2において、入力部101において取得した画像と画像を取得した日時、文字情報抽出部103において抽出したキーワード、接続先決定部104において決定された接続先とを関連付けてテーブルとして記録する。なお、一枚の画像内に複数のキーワードが存在するときはキーワードの数だけテーブルが作成される。
【0022】
図3は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、入力部101で取得した画像からキーワードを抽出するまでの流れを示したフローチャートであり、図1、図2と合わせて、以下、その動作を説明する。
【0023】
ステップ1−1)処理開始(図3のS301)。
【0024】
ステップ1−2)入力部101において画像を取得する(図3のS302)。
【0025】
ステップ1−3)ステップ1−2)が実行された日時を取得する(図3のS303)。
【0026】
ステップ1−4)ステップ1−2〜3)で取得した画像と取得日時のデータを画像記録部102に記録する(図3のS304)。
【0027】
ステップ1−5)ステップ1−4)で記録した画像からキーワードを抽出する。画像内に複数のキーワードが存在する場合は、キーワードの数だけリストを作成する。(図3のS305)。
【0028】
ステップ1−6)キーワードリストの先頭のエントリを取得する(図3のS306)。
【0029】
ステップ1−7)予め設定されている予約語とキーワードとを比較する(図3のS307)。
【0030】
ステップ1−8)キーワードがホームページアドレスを示す予約語(「http://」、「www」、「.com」など)を含んでいるかをチェックし、含んでいる場合はステップ1−9)を処理する。含んでいない場合はステップ1−10)を処理する(図3のS308)。
【0031】
ステップ1−9)キーワードの接続先はホームページアドレスであると決定し、ステップ1−13)を処理する(図3のS309)。
【0032】
ステップ1−10)キーワードが電話番号を示す予約語(「電話番号」、「Tel」など)を含んでいるかをチェックし、含んでいる場合はステップ1−11)を処理する。含んでいない場合はステップ1−12)を処理する(図3のS310)。
【0033】
ステップ1−11)キーワードの接続先は電話番号であると決定し、ステップ1−13)を処理する(図3のS311)。
【0034】
ステップ1−12)キーワードの接続先はその他であると決定し、ステップ1−13)を処理する(図3のS312)。
【0035】
ステップ1−13)ステップ1−4)で画像記録部102に記録されたデータとステップ1−7〜12)で決定された接続先を画像情報管理テーブルに書き込み、記録媒体107に記録する(図3のS313)。
【0036】
ステップ1−14)キーワードリストの最後であるかをチェックし、最後であるならステップ1−16)を処理する。最後でなければステップ1−15)を処理する(図3のS314)。
【0037】
ステップ1−15)キーワードリストの次のエントリを取得し、ステップ1−7)に戻る(図3のS315)。
【0038】
ステップ1−16)処理終了(図3のS316)。
【0039】
以上の処理により、入力部101で取得した画像から文字抽出部103においてキーワードを抽出し、抽出されたキーワードから接続先決定部104において最適な接続先が決定され、画像情報管理テーブル管理部において画像情報管理テーブルに画像、キーワード、接続先情報、取得日時、必要であればコメントを関連付けることができる。
【0040】
なお、ここでは予約語はホームページアドレスと電話番号のみであったが、他の予約語を追加することも可能である。例えば、国際標準図書番号(ISBN)を予約語として追加し、接続先をISBNに対応する書籍情報を有するISBN検索サーバとして予め設定しておけば、キーワードがISBNであったときは自動的にISBN検索サーバに接続し、ISBNに対応した書籍情報を取得することができる。
【0041】
図4は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において図3の処理によって記録媒体106に保存された画像情報管理テーブルからキーワードに適した通信先を決定し、接続するまでの流れを示したフローチャートであり、図1、2と合わせて、以下、その動作を説明する。
【0042】
ステップ2−1)処理開始(図4のS401)。
【0043】
ステップ2−2)ユーザ操作部108からの要求に対して、記録媒体107から画像情報管理テーブルを呼び出す(図4のS402)。
【0044】
ステップ2−3)ユーザ操作部108を通じて、画像情報管理テーブルから接続したいキーワードを選択する(図4のS403)。
【0045】
ステップ2−4)画像情報管理テーブルから、選択されたキーワードに対応した接続先を呼び出す(図4のS404)。
【0046】
ステップ2−5)呼び出された接続先はホームページアドレスであるかをチェックし、ホームページアドレスである場合はステップ2−6)を処理する。ホームページアドレスでない場合はステップ2−8)を処理する(図4のS405)。
【0047】
ステップ2−6)通信部106よりインターネットに接続する(図4のS406)。
【0048】
ステップ2−7)キーワードをホームページアドレスとしてアドレス先のホームページのデータを取得し、ステップ2−13)を処理する(図4のS407)。
【0049】
ステップ2−8)呼び出された接続先は電話番号であるかをチェックし、電話番号である場合はステップ2−9)を処理する。電話番号でない場合はステップ2−11)を処理する(図4のS409)。
【0050】
ステップ2−9)通信部106よりキーワードを電話番号として電話をかける(図4のS409)。
【0051】
ステップ2−10)通話を開始し、ステップ2−15)を処理する(図4のS410)。
【0052】
ステップ2−11)通信部106よりインターネットに接続する(図4のS411)
ステップ2−12)予め設定されたインターネット検索サーバに接続し、キーワードを検索サーバに送信し、ステップ2−13)を処理する(図4のS412)。
【0053】
ステップ2−13)接続先から受信した情報を画像情報管理テーブルの接続先の情報に記録する(図4のS413)。
【0054】
ステップ2−14)接続先から受信した情報を提示部109に出力する(図4のS414)。
【0055】
ステップ2−15)処理終了(図4のS415)。
【0056】
以上の処理により、記録媒体107に保存された画像情報管理テーブルからキーワードに対応した接続先に自動的に接続し、接続先のデータを記録またはユーザに提示することができる。
【0057】
以上のように本実施の形態によるデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、取得したデジタル画像から自動的にキーワードを抽出し、キーワードと予約語から接続先を自動的に決定するため、例えば、ユーザが街でホームページアドレスや電話番号が書かれた看板を見つけたとき、カメラでその看板を写すだけで看板に書かれたホームページアドレスや電話番号に直接アクセスすることができ、ユーザがホームページアドレスや電話番号を書き写したり覚えたりといった手間が省けるという効果が得られる。
【0058】
さらに、本実施の形態の例では、接続先はホームページアドレスと電話番号、検索サーバしか挙げていないが、前述のようにキーワードがISBNならばISBN検索サーバにアクセスし、ISBNに対応した書籍情報を取得することも可能である。
【0059】
さらに、カメラで写した読み方の解らない漢字や、意味の解らない英単語などをキーワードとして、辞書サーバにアクセスし、漢字の読み方や英単語の意味などを調べることも可能である。
【0060】
このように、キーワードに対応した予約語を予め設定しておくことによってキーワードごとに適切な接続先に自動的に接続してくれるため、ユーザ自らがキーワードごとに接続先を探すという手間を省く効果が得られる。
【0061】
さらに、画像とキーワードを関連付けて記録するため、のちにキーワードを呼び出したとき、同時に画像も見ることができるため、いつどこで取得したキーワードであるかを容易に想起することができるという効果が得られる。
【0062】
(実施の形態2)
図5は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行うデータ検索システムの構成図の一例を示した図である。
図5において、
500は、携帯通信端末、
501は、画像が入力される入力部、
502は、画像を記録するための画像記録部、
503は、501で取得した画像からキーワードを抽出するための文字情報抽出部、
504は、503で抽出されたキーワードと予め設定されている予約語とを比較し、適合した予約語から接続先を決定する接続先決定部、
505は、502で記録された画像とその画像に関連する情報、503で取得されたキーワード、504で決定された接続先とを関連付ける画像情報管理テーブル管理部、
506は、504で決定された接続先に接続する通信部、
507は、502〜506、511の出力データを記録するための記録媒体、
508は、ユーザからの操作を502〜506、511に伝達するユーザ操作部、
509は、502〜506、511の処理結果を出力する提示部、
510は、501〜506、511,512の内部処理部と507〜509、513の外部装置との連結を行うシステムバス、
511は、全地球測位システム(GPS)から送出されるGPS信号を利用して、データ受信装置の現在位置を示す現在位置データを求めることができる位置検出部、
512は、前記現在位置データと対応した住所や地図などの位置情報が記憶されている位置情報記憶部、
513は、前記画像情報管理テーブルから目的の情報を検索する検索部、
を示している。
【0063】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析するとともに、携帯通信端末等の位置データを検出し、その位置データを使って、上記抽出した文字情報等の中で重要なものを取り出して、接続先を決定している。
【0064】
なお、位置情報記憶部512は通信端末内にある場合と、インターネットサーバ上にある場合があり、インターネットサーバ上にある場合は通信部506を使用して位置情報を取得する。
【0065】
さらに、位置検出部511は入力部501が画像を取得したときに現在位置データを取得する。
【0066】
図6は、撮影された2枚の画像の一例であり、前記実施の形態1と同様の処理により、画像情報管理テーブルが作成されるが、ここで、文字情報抽出部503によってキーワードを抽出する際に、画像の中心近くに位置するキーワードの重要度を高く、逆に、画像の中心から離れて位置しているキーワードの重要度を低く設定して、画像情報管理テーブルに記録する。図6の例では、図6のPhoto1には文字列のキーワードとして「株式会社ABC」が存在しており、文字列の位置も画像のほぼ中心に位置しているので重要度を高く設定する。また、図6のPhoto2には文字列のキーワードとして「XYZ商店」と「株式会社ABC」が存在しているが、「XYZ商店」の重要度は高く、「株式会社ABC」の重要度は低く設定する。これは、利用者が気に入った被写体を撮影する時、その被写体を画像の中央にもってくるという行動を利用して、画像の特徴をより的確に表すキーワードとして、画像の中央に位置するキーワードの重要度を高く設定したものである。
【0067】
なお、本実施の形態では、キーワードの画像中の位置に応じてその重要度を決定する例で説明するが、キーワードの文字の大きさに応じて重要度を決定することも可能である。
【0068】
図7は、画像情報管理テーブル管理部505が生成する画像情報管理テーブルの一例を示した図であり、入力部501で取得した画像と前記画像を取得した日時、文字情報抽出部503で抽出したキーワードとキーワードに応じた重要度、接続先決定部504で決定された接続先、前記画像を取得したときに位置検出部511で取得された現在位置データ、前記現在位置データに対応した位置情報記憶部512の位置情報とを関連付けてテーブルとして記録する。なお、一枚の画像内に複数のキーワードが存在するときは、キーワードの数だけテーブルが作成される。
【0069】
図8は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置の記録媒体507に記録されている画像情報管理テーブルから、キーワードによる検索を処理する流れを示したフローチャートであり、図5、図7、図8を参照しながら、以下、その動作を説明する。
【0070】
ステップ3−1)処理開始(図8のS801)。
【0071】
ステップ3−2)記録媒体507から画像情報管理テーブルを呼び出す(図8のS802)。
【0072】
ステップ3−3)ユーザがユーザ操作部508を通じて検索対象とするテーブルを選択する(図8のS803)。
【0073】
ステップ3−4)検索対象がキーワードであればステップ3−5)を処理する。検索対象がキーワードでなければステップ3−6)を処理する(図8のS804)。
【0074】
ステップ3−5)検索対象はキーワードであると決定し、ステップ3−14)を処理する(図8のS805)。
【0075】
ステップ3−6)検索対象が接続先であればステップ3−7)を処理する。検索対象が接続先でなければステップ3−8)を処理する(図8のS806)。
【0076】
ステップ3−7)検索対象は接続先であると決定し、ステップ3−14)を処理する(図8のS807)。
【0077】
ステップ3−8)検索対象が取得日時であればステップ3−9)を処理する。検索対象が取得日時でなければステップ3−10)を処理する(図8のS808)。
【0078】
ステップ3−9)検索対象は取得日時であると決定し、ステップ3−14)を処理する(図8のS809)。
【0079】
ステップ3−10)検索対象が取得場所であればステップ3−11)を処理する。検索対象が取得場所でなければステップ3−12)を処理する(図8のS810)。
【0080】
ステップ3−11)検索対象は取得場所であると決定し、ステップ3−14)を処理する(図8のS811)。
【0081】
ステップ3−12)検索対象がコメントであればステップ3−13)を処理する。検索対象がコメントでなければステップ3−3)に戻る(図8のS812)。
【0082】
ステップ3−13)検索対象はコメントであると決定し、ステップ3−14)を処理する(図3のS813)
ステップ3−14)ユーザがユーザ操作部508を通じて検索文字列を入力する(図8のS814)。
【0083】
ステップ3−15)ステップ3−3〜13)で決定された検索対象とステップ3−14)の検索文字列と画像情報管理テーブルとを比較し、適合した項目のリストを作成する(図8のS815)。
【0084】
ステップ3−16)前ステップで作成されたリストの一覧を提示部509で表示する(図8のS816)。
【0085】
ステップ3−17)前ステップで表示されたリストの一覧からユーザがユーザ操作部509を通じてリストの一つを選択し、選択されたキーワードに対して画像情報管理テーブルによって関連付けられている画像とその関連情報を提示部509で表示する(図8のS817)。
【0086】
ステップ3−18)処理終了(図8のS818)。
【0087】
以上の処理により、記録媒体507に記録された画像情報管理テーブルから検索対象と検索文字列によって画像とその関連情報を検索することができる。
【0088】
図9は、検索画面の一例であり、検索対象を「キーワード」、検索文字列を「株式会社」とすると、図8の処理により検索結果のリストが表示される。ここで、リストを表示する際に、前記文字情報抽出部503によりキーワードごとに設定された重要度の高い順に並べて表示することによって、ユーザが所望する画像をより効率的に検索することができるという効果が得られる。図9の例では、Photo1とPhoto2の「株式会社ABC」が検索結果として提供されているが、Photo1の方が重要度が高く設定してあるため、Photo1がPhoto2よりも先に表示される。
【0089】
次に、図10は、図9の検索結果のリストから一つを選択したときの画面の一例であり、ユーザがリストから選択したキーワードに対して画像情報管理テーブルによって関連付けられている画像と取得日時、取得場所、コメント、接続先のデータが表示される。
【0090】
ここで、図10に表示された画像内のホームページアドレスをクリックすると、図4の処理によってホームページアドレスに接続し、ホームページアドレス先のデータが画像情報管理テーブルで関連付けられている接続先のデータより新しければ、前記接続先のデータを更新して図10のWWWブラウザに表示する。一方、前記ホームページアドレスのデータが前記接続先のデータと同じであれば、データを受信しない。
【0091】
さらに、図10に表示された画像内の電話番号をクリックすると、図4の処理に従って電話番号先に電話をかける。
【0092】
さらに、図10に表示された画像取得日時や画像取得場所、コメントをクリックすると、クリックされた情報を検索対象または検索文字列とし、図8の処理によって再び検索を行うことができる。
【0093】
以上のように本実施の形態によるデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、画像とその画像に関連する情報は前記画像情報管理テーブルによって管理されているため、画像内のキーワードや画像の取得場所、取得日時などによって容易に画像を検索することができるという効果が得られる。
【0094】
さらに、画像を表示したときに、前記画像情報管理テーブルによって関連付けられている情報も合わせて表示されるため、いつどこで取得した画像であるかを容易に想起することができるという効果が得られる。
【0095】
(実施の形態3)
図11は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置とインターネット上の共有データベースサーバとから構成されるデータ検索システムの構成図の一例を示した図である。
図11において、
1100は、共有データベースサーバ、
1101は、図5の構成を有する携帯通信端末、
1102は、1101と接続可能な通信部、
1103は、1101からのデータを共有データベースに登録する登録部、
1104は、1103からのデータを共有画像情報管理テーブルとして記録する共有データベース、
1105は、1104の共有画像情報管理テーブルから目的の情報を検索する検索部、
を示している。
【0096】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定するだけでなく、上記の抽出した文字情報等を、他のユーザが利用可能になるように共有データベースとして蓄積し、提供するようにしている。
【0097】
ここで、共有データベース1104に記録されている共有画像情報管理テーブルは図7と同様のテーブル構成に加え、新たに携帯通信端末1101の所有者情報の項目が追加された構成である。
【0098】
図12は、携帯通信端末1101内の記録媒体に記録されている画像情報管理テーブルを共有データベース1104内の共有画像情報管理テーブルに登録する処理の流れを示したフローチャート図であり、図5、図11、図12を参照しながら、以下、その動作を説明する。
【0099】
ステップ4−1)処理開始(図12のS1201)。
【0100】
ステップ4−2)携帯通信端末1101と通信部1102とを接続する(図12のS1202)。
【0101】
ステップ4−3)通信端末1101内の記録媒体507に記録されている画像情報管理テーブルと携帯通信端末1101の所有者情報を登録部1103に送信する(図12のS1203)。
【0102】
ステップ4−4)登録部1103がステップ4−3)で送信されたデータを受信する(図12のS1204)。
【0103】
ステップ4−5)登録部1103が受信した画像情報管理テーブルと所有者情報を共有データベース1104の共有画像情報管理テーブルに登録する(図12のS1205)。
【0104】
ステップ4−6)処理終了(図12のS1206)。
【0105】
以上の処理により、携帯通信端末内の画像情報管理テーブルをインターネット上の共有データベースに登録することができる。
【0106】
次に、図13は、共有データベースに記録されている共有画像情報管理テーブルから目的の情報を検索し取得する処理の流れを示したフローチャート図であり、図5、図11、図13を参照しながら、以下、その動作を説明する。
【0107】
ステップ5−1)処理開始(図13のS1301)。
【0108】
ステップ5−2)携帯通信端末1101と通信部1102とを接続する(図13のS1302)。
【0109】
ステップ5−3)実施の形態2と同様の処理により、ユーザが取得したい画像の検索対象と検索文字列を携帯通信端末1101内のユーザ操作部508を通じて入力し、検索部1105に送信する(図13のS1303)。
【0110】
ステップ5−4)前ステップで送信された前記検索対象と前記検索文字列を検索部1105が受信する(図13のS1304)。
【0111】
ステップ5−5)実施の形態2と同様の処理により、共有画像情報管理テーブルから前記検索対象と前記検索文字列に適合したテーブル情報を検索する(図13のS1305)。
【0112】
ステップ5−6)前ステップの検索結果を携帯通信端末1101に送信する(図13のS1306)。
【0113】
ステップ5−7)前ステップで送信された検索結果を携帯受信端末1101が受信する(図13のS1307)。
【0114】
ステップ5−8)検索結果を携帯通信端末1101内の提示部508で表示する(図13のS1308)。
【0115】
ステップ5−9)処理終了(図13のS1309)。
【0116】
以上の処理により、共有データベースに記録された共有画像情報管理テーブルを検索し、その結果を携帯通信端末で参照することができる。
【0117】
以上のように本発明によるデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置とインターネット上の共有データサーバとが通信回線を通じて画像情報管理テーブルを送受信することができるため、携帯通信端末内の記録媒体の記憶容量が小さい場合でも、共有データベースの記録容量が大きければ、より多くの画像とその関連情報を記録できるという効果が得られる。
【0118】
さらに、画像情報管理テーブルを共有することによって、他のユーザが取得した画像とその関連情報を利用することができるため、より多くの情報を得ることができるという効果が得られる。
【0119】
さらに、共有データベースにおける画像もまた前記画像情報管理テーブルとして記録するため、共有データベースに記録されている画像をキーワードによって容易に検索することができるという効果が得られる。
【0120】
(実施の形態4)
図14は、本発明のデジタル画像から取り出したキーデータを利用して通信を行う携帯通信端末装置でのデータ検索システムの構成図の一例を示した図である。
図14において、
1400は、通信端末装置、
1401は、デジタルカメラや画像入力装置、伝送路などから画像が入力される画像入力部、
1402は、1401で入力された画像を蓄積する画像データ蓄積部、
1403は、1402に蓄積された画像データから、他の情報を検索するための検索キーデータを取り出す検索キーデータ抽出部、
1404は、1403で取り出された検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積する検索キー予約データ蓄積部、
1405は、1403で取り出された検索キーデータと1404に蓄積されている検索キー予約データとから接続先を決定し接続する自動検索接続部、
1406は、1402に蓄積された画像データに表示されているオブジェクトを分析し、1403で取り出す検索キーデータの重要度を判別する画像解析検索部、
1407は、1402に蓄積された画像と1403で取り出された検索キーデータと1406で判別された前記キーデータに対する重要度とを関連付けた画像検索キー関連データを作成し、管理する画像検索キー関連データ管理部、
1408は、通信端末が存在する場所を示す位置データを検出する位置データ検出部、
1409は、1407で作成された画像検索キー関連データと1408で検出された位置データを使って、ユーザにサービスを提供するサービス提供部、
1410は、1407で作成された画像検索キー関連データを、サーバにアップロードし、他のユーザからも利用可能にする画像検索キー関連データ提供部、
を示している。
【0121】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定するだけでなく、上記の抽出した文字情報等を、他のユーザが利用可能になるように共有データベースとして蓄積し、提供するようにし、接続先を決定するための検索キー予約データを使って、上記文字情報等から必要な検索キーを取り出している。
【0122】
次に、入力された画像から検索キーデータを抽出し、自動的に接続先に接続するまでの処理を説明する。
【0123】
ステップ6−1)画像入力部1401で画像を取り込み、画像データ蓄積部1302に蓄積する。
【0124】
ステップ6−2)検索キーデータ抽出部1403で、前記画像データから他の情報を検索するための検索キーデータを取り出す。
【0125】
ステップ6−3)自動検索接続部1405で、前記検索キーデータと検索キー予約データ蓄積部1404に蓄積されている検索キー予約データとをパターンマッチングさせ、パターンマッチした検索キー予約データに対応した接続先を決定する。
【0126】
ステップ6−4)前記自動検索接続部1405で決定された接続先に自動的に接続する。
【0127】
このようにして、画像から検索キーデータを取り出し、その検索キーデータに適した接続先に自動的に接続することができる。
【0128】
次に、画像から抽出された検索キーデータに重要度を付加し、画像検索キー関連データを作成し利用するまでの処理を説明する。
【0129】
ステップ7−1)画像入力部1401で画像を取り込み、画像データ蓄積部1302に蓄積する。
【0130】
ステップ7−2)検索キーデータ抽出部1403で、前記画像データから他の情報を検索するための検索キーデータを取り出す。
【0131】
ステップ7−3)画像解析検索部1406で、前記画像データに表示されているオブジェクトを分析し、検索キーデータの重要度を決定する。例えば、画像の中心に位置する検索キーデータの重要度を高くする。
【0132】
ステップ7−4)画像検索キー関連データ管理部1407で、前記画像データ、前記検索キーデータ、前記重要度、前記画像データを取得したときの位置情報を互いに関連付けて画像検索キー関連データを生成する。
【0133】
ステップ7−5)画像検索キー関連データ提供部1410から、前記生成された画像検索キー関連データを他のユーザが利用可能なサーバにアップロードする。一方、他のユーザは前記アップロードされた画像検索キー関連データをダウンロードし利用することができる。ダウンロードする際には通信端末が存在する位置データを位置データ検出部1408から取得し、取得した位置データに近い位置データを有している画像検索キー関連データのみをダウンロードすることや、前記重要度の高いものだけをダウンロードすることもできる。
【0134】
このようにして、画像に埋め込まれた検索キーデータを自動的に取り出すとともに、画像データを取得したときの位置データや、画像データに表示されているオブジェクトを分析して検索キーデータに対して重要度を決定し、それらを画像データと関連付けて画像検索キー関連データとして記録されるので、自ら画像に対するコメント等を入力しなくても、後に容易に画像データを検索することができる。
【0135】
さらに、画像検索キー関連データとして共通のフォーマットでサーバにアップロードすることによって、他のユーザがサーバに存在する膨大なデータの中から目的のデータをより容易に検索し、利用することができる。
【0136】
そして、ダウンロードした画像検索キーデータからステップ6−1〜4)の処理によって自動的に目的の接続先に接続することができる。
【0137】
(実施の形態5)
図15は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置でのデータ検索システムの構成図の一例を示した図である。
【0138】
図15において、
1500は、通信端末装置、
1501は、デジタルカメラや画像入力装置、伝送路などから画像が入力される画像入力部、
1502は、1501で入力された画像を蓄積する画像データ蓄積部、
1503は、1502に蓄積された画像データから、他の情報に接続するための接続先データを取り出す接続先データ抽出部、
1504は、1503で取り出された接続先データを使って、他のデータベースに接続するデータアクセス部、
1505は、1502に蓄積された画像データに表示されているオブジェクトを分析し、1503で取り出す接続先データの重要度を判別する画像解析検索部、
1506は、1502に蓄積された画像と1503で取り出された接続先データと1505で判別された前記接続先データに対する重要度とを関連付けた画像検索関連データを作成し、管理する画像検索関連データ管理部、
1507は、通信端末が存在する場所を示す位置データを検出する位置データ検出部、
1508は、1506で作成された画像検索関連データと1507で検出された位置データを使って、ユーザにサービスを提供するサービス提供部、
1509は、1506で作成された画像検索キー関連データをサーバにアップロードし、他のユーザからも利用可能にする画像検索関連データ提供部、
を示している。
【0139】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析し、さらに、画像データに表示されているオブジェクトを分析し、接続先を重要度をつけて決めている。
【0140】
次に、入力された画像から接続先データを抽出し、他のデータベースに接続するまでの処理を説明する。
【0141】
ステップ8−1)画像入力部1501で画像を取り込み、画像データ蓄積部1502に蓄積する。
【0142】
ステップ8−2)接続先データ抽出部1503で、前記画像データから接続先データを取り出す。
【0143】
ステップ8−3)データアクセス部1503で、前記接続先データが示すデータベースに接続する。
【0144】
このようにして、画像に含まれている接続先データを使って、他のデータベースに接続することができる。
【0145】
次に、画像から抽出された接続先データに重要度を付加し、画像検索関連データを作成し利用するまでの処理を説明する。
【0146】
ステップ9−1)画像入力部1501で画像を取り込み、画像データ蓄積部1502に蓄積する。
【0147】
ステップ9−2)接続先データ抽出部1503で、前記画像データから接続先データを取り出す。
【0148】
ステップ9−3)画像解析接続部1505で、前記画像データに表示されているオブジェクトを分析し、接続先データの重要度を決定する。例えば、画像の中心に位置する接続先データの重要度を高くする。
【0149】
ステップ9−4)画像検索キー関連データ管理部1506で、前記画像データ、前記接続先データ、前記重要度、前記画像データを取得したときの位置情報を互いに関連付けて画像検索関連データを生成する。
【0150】
ステップ9−5)画像検索関連データ提供部1509から、前記生成された画像検索関連データを他のユーザが利用可能なサーバにアップロードする。一方、他のユーザは前記アップロードされた画像検索関連データをダウンロードし利用することができる。ダウンロードする際には通信端末が存在する位置データを位置データ検出部1308から取得し、取得した位置データに近い位置データを有している画像検索関連データのみをダウンロードすることや、前記重要度の高いものだけをダウンロードすることもできる。
【0151】
このようにして、画像に埋め込まれた接続先データを自動的に取り出すとともに、画像データを取得したときの位置データや、画像データに表示されているオブジェクトを分析して接続先データに対して重要度を決定し、それらを画像データと関連付けて画像検索関連データとして記録されるので、自ら画像に対するコメント等を入力しなくても、後に容易に画像データを検索することができる。
【0152】
さらに、画像検索関連データとして共通のフォーマットでサーバにアップロードすることによって、他のユーザがサーバに存在する膨大なデータの中から目的のデータをより容易に検索し、利用することができる。
【0153】
そして、ダウンロードした接続先データからステップ8−1〜3)の処理によって自動的に目的の接続先に接続することができる。
【0154】
【発明の効果】
以上のように、
第1の発明は、無線あるいは有線の通信回線を利用してデータを送受信する通信端末であって、前記通信端末は、デジタル画像を入力する入力部と、前記入力部で入力されたデジタル画像を記録する画像記録部と、前記デジタル画像が記録される記録媒体と、前記記録媒体に記録されたデジタル画像を読み出し、前記デジタル画像からキーワードとなる文字列を抽出する文字情報抽出部と、前記文字情報抽出部で抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断する接続先決定部と、前記デジタル画像を前記文字列情報抽出部で抽出されたキーワードと前記接続先決定部で判断された接続先情報と関連づけて管理するための画像情報管理テーブルを生成し、管理する画像情報管理テーブル管理部を有することにより、前記画像情報管理テーブルを使って、入力されたデジタル画像を画像から抽出されるキーワード、さらには、URLアドレスや電話番号などの接続先情報と関連付けて容易に管理できるという効果が得られる。
【0155】
第2の発明では、前記通信端末は、さらに、前記デジタル画像から抽出されたキーワードの一覧を提示する提示部と、前記提示部に提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるユーザ操作部と、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得し、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得する通信部を有することにより、ユーザが接続先を指定することなく、キーワードを選択するだけで適切な接続先に接続することができるという効果が得られる。
【0156】
第3の発明では、前記通信端末は、前記ユーザ操作部にユーザがキー入力した検索文字列を受け付ける機能を持たせ、さらに、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索する検索部を有し、さらには、前記キーワードと関連付けられているデジタル画像を取得し、提示する提示部を有することにより、前記画像情報管理テーブルによって関連付けられたキーワードに基づいて、ユーザが入力した検索文字列に適合するデジタル画像を容易に検索できるという効果が得られる。
【0157】
第4の発明は、本発明の通信端末とデータを送受信するデータサーバであって、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録する登録部と、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワード及び前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索する検索部を有することにより、画像を撮影したユーザ以外の他のユーザも、データサーバに登録された前記画像情報管理テーブルを利用することで、デジタル画像に関連づけられたキーワードに基づいて、デジタル画像を容易に検索、取得して閲覧でき、複数のユーザ間で画像データを容易に共有できるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における携帯通信端末装置の構成図
【図2】本発明の第1の実施形態における携帯通信端末装置の記憶媒体に記録される画像情報管理テーブルのイメージ図
【図3】本発明の第1の実施形態における取得画像から画像情報管理テーブル作成処理までのフローチャート
【図4】本発明の第1の実施形態における画像情報管理テーブルから接続先の情報の取得処理までのフローチャート
【図5】本発明の第2の実施形態における携帯通信端末装置の構成図
【図6】本発明の第2の実施形態における形態通信端末装置の取得画像のイメージ図
【図7】本発明の第2の実施形態における携帯通信端末装置の記憶媒体に記録される画像情報管理テーブルのイメージ図
【図8】本発明の第2の実施形態における携帯通信端末装置の検索処理のフローチャート
【図9】本発明の第2の実施形態における携帯通信端末装置の検索画面のイメージ図
【図10】本発明の第2の実施形態における携帯通信端末装置の検索結果画面のイメージ図
【図11】本発明の第3の実施形態における携帯通信端末装置と共有データベースサーバによる構成図
【図12】本発明の第3の実施形態における共有データベースサーバに画像情報管理テーブルを記録する処理のフローチャート
【図13】本発明の第3の実施形態における共有データベースサーバに記録されている共有画像情報管理テーブルから目的の情報を検索する処理のフローチャート
【図14】本発明の第4の実施の形態におけるデータ検索システムの通信端末装置の構成図
【図15】本発明の第5の実施の形態におけるデータ検索システムの通信端末装置の構成図
【符号の説明】
100、500 通信端末
101、501 入力部
102、502 画像記憶部
103、503 文字情報抽出部
104、504 接続先決定部
105、505 画像情報管理テーブル管理部
106、506 通信部
107、507 記録媒体
108、508 ユーザ操作部
109、509 提示部
110、510 システムバス
511 位置検出部
512 位置情報記憶部
513 検索部
1100 共有データベースサーバ
1101 通信端末
1102 通信部
1103 登録部
1104 共有データベース
1105 検索部
1400、1500 通信端末
1401、1501 画像入力部
1402、1502 画像蓄積部
1403 検索キーデータ抽出部
1404 検索キー予約データ蓄積部
1405 自動検索接続部
1406 画像解析検出部
1407 画像検索キー関連データ管理部
1408、1507 位置データ検出部
1409、1508 サービス提供部
1410 画像検索キー関連データ提供部
1503 接続先データ抽出部
1504 データアクセス部
1505 画像解析接続部
1506 画像検索関連データ管理部
1509 画像検索関連データ提供部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention particularly relates to a mobile communication terminal with a camera for extracting character information from a captured image, managing the image using the extracted character information, and connecting to an appropriate communication destination.
[0002]
[Prior art]
Conventionally, mobile communication terminals such as mobile phones have not been widely used, and it has not been easy to view the homepage while on the go, so after returning home etc., accessing the homepage with a fixed terminal, They had to send and receive data.
[0003]
[Problems to be solved by the invention]
However, in recent years, it has become as follows.
[0004]
(1) In recent years, mobile communication terminals such as mobile phones and PDAs compatible with wireless Internet have become commonplace, and users can access an Internet homepage found on the go.
[0005]
(2) Also, by connecting a digital camera to a mobile communication terminal, it is possible to transmit a photographed image to a third party using wireless internet or upload it to a server.
[0006]
In the mobile terminal of the above (1), in order to browse the homepage of the URL address described in the signboard in the city or the advertisement hanging on the train, the URL address is first copied on paper and attached to the mobile terminal. It is necessary to start the WWW browser and input the copied URL address into the WWW browser using a keyboard or other input device, and there is a problem that it is inconvenient to browse the homepage immediately on the spot. .
[0007]
In the conventional digital camera of (2), the user often inputs a "photographing place" and a "comment" so that the photographed image can be easily searched later. However, there is a problem that the user needs to manually input using a keyboard or other input device, which is troublesome. In addition, the "comment" input by the user may be easily recalled by the photographer, but may not always be appropriate for a third party to search for an image based on the comment. For this reason, there is a problem that the method is not suitable for a purpose of searching for a desired image from a huge number of images disclosed by a plurality of individuals.
[0008]
An object of the present invention is to extract a character string (for example, company name, address, URL address, telephone number, etc. described on a signboard) from a digital image and use the extracted character string to easily search for the digital image. Another object of the present invention is to provide a communication terminal capable of easily acquiring detailed information by connecting to a communication partner and further easily sharing a captured image with a third party.
[0009]
[Means for Solving the Problems]
In order to solve the above issues,
First, a communication terminal of the present invention analyzes a keyword extracted by a character string extraction unit that extracts a character string serving as a keyword from a digital image input to the communication terminal, A connection destination determining unit that determines whether a keyword indicates connection destination information necessary for connecting to a communication partner, and a keyword extracted by the digital image and the character string information extraction unit and the connection destination determination unit Using an image information management table management unit for generating and managing an image information management table for managing in association with the determined connection destination information, and using a wireless or wired means for the connection destination determined by the connection destination determination unit And a communication unit for transmitting and receiving data.
[0010]
Thus, using the image information management table, the input digital image can be managed in association with a keyword extracted from the image and further with connection destination information such as a URL address and a telephone number. Furthermore, when the communication terminal has a position detection function using a GPS signal, the shooting location can be registered in the image information management table, and can be managed in association with the shooting location.
[0011]
Then, it is possible to easily connect to a connection destination associated with the keyword by the image information management table and the connection destination determination unit, for example, a homepage of a URL address or a telephone number, and acquire data.
[0012]
Secondly, the communication terminal of the present invention has a user operation unit for receiving a search character string entered by a user as a key, and a search unit for searching for a keyword matching the search character string using the image information management table. Further, the present invention is characterized by having a presenting unit for acquiring and presenting a digital image associated with the keyword.
[0013]
This makes it possible to easily search for a digital image based on the keyword associated with the image information management table.
[0014]
Third, a data server for transmitting and receiving data to and from the communication terminal of the present invention includes a registration unit that receives the image information management table and the digital image managed by the image information management table from the communication terminal, and registers the digital image in a database. A search unit that receives a search string from the communication terminal and searches for a keyword matching the search string and a digital image associated with the keyword using an image information management table registered in the database. And transmitting the keyword and the digital image of the search result to the communication terminal.
[0015]
This allows a user other than the user who captured the image to easily search, acquire, and browse the digital image based on the keyword associated with the image information management table, and to easily view the image among a plurality of users. Can be shared to
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
FIG. 1 is a diagram illustrating an example of a functional block diagram illustrating a configuration of a data search system that performs communication using a keyword (character information) extracted from a digital image according to the present invention.
In FIG.
100 is a mobile communication terminal,
101, an input unit to which an image is input;
102, an image recording unit for recording the image acquired in 101,
103, a character information extraction unit for extracting a keyword from the image acquired in 101;
104: a connection destination determining unit that compares the keyword extracted in 103 with a preset reserved word, and determines a connection destination based on the matched reserved word;
An image information management table management unit 105 associates an image recorded in 102 with information related to the image, a keyword acquired in 103, and a connection destination address determined in 104, and creates an image information management table.
106, a communication unit that connects to the connection destination associated with the keyword in 105 using a wireless or wired communication line and transmits and receives data to and from the connection destination;
107, an image recorded in 102, a keyword extracted in 103, a connection destination address determined in 104, an image information management table created in 105, a recording medium for recording data acquired in 106,
108, a user operation unit for transmitting operations from the user to 102 to 106;
Reference numeral 109 denotes an image recorded in 102, a keyword extracted in 103, a connection destination address determined in 104, an image information management table created in 105, data acquired in 106, and data recorded in 107 on a screen. Presentation part for displaying on the
110 is a system bus for connecting the internal processing units 101 to 106 to external devices 107 to 108;
Is shown.
[0018]
In the present embodiment, a connection destination is determined by fetching image data from a user portable terminal or the like, extracting character information or the like serving as a keyword from the image data so as to be connectable via the Internet or the like, and analyzing it.
[0019]
The input unit 101 may be a camera itself, or may be an interface for acquiring an external image (such as an image on the Internet or an image stored in an external recording device).
[0020]
FIG. 2 is an example of an image information management table diagram generated by the image information management table management unit 105 in the data search system according to the present embodiment.
[0021]
2, the image acquired by the input unit 101, the date and time when the image was acquired, the keyword extracted by the character information extraction unit 103, and the connection destination determined by the connection destination determination unit 104 are recorded as a table in association with each other. When a plurality of keywords are present in one image, tables are created for the number of keywords.
[0022]
FIG. 3 is a flowchart showing a flow until a keyword is extracted from an image obtained by the input unit 101 in a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention. The operation will be described below with reference to FIG.
[0023]
Step 1-1) Processing starts (S301 in FIG. 3).
[0024]
Step 1-2) An image is acquired by the input unit 101 (S302 in FIG. 3).
[0025]
Step 1-3) Acquire the date and time when step 1-2) was executed (S303 in FIG. 3).
[0026]
Step 1-4) The image acquired in steps 1-2 and 3) and the data of the acquisition date and time are recorded in the image recording unit 102 (S304 in FIG. 3).
[0027]
Step 1-5) Extract keywords from the image recorded in step 1-4). If there are a plurality of keywords in the image, create lists as many as the number of keywords. (S305 in FIG. 3).
[0028]
Step 1-6) The first entry of the keyword list is obtained (S306 in FIG. 3).
[0029]
Step 1-7) Compare a preset reserved word with a keyword (S307 in FIG. 3).
[0030]
Step 1-8) Check whether the keyword includes a reserved word (“http: //”, “www”, “.com”, etc.) indicating the homepage address, and if so, execute step 1-9) To process. If not included, step 1-10) is processed (S308 in FIG. 3).
[0031]
Step 1-9) The connection destination of the keyword is determined to be the homepage address, and step 1-13) is processed (S309 in FIG. 3).
[0032]
Step 1-10) It is checked whether the keyword includes a reserved word indicating a telephone number (“telephone number”, “Tel”, etc.), and if it does, step 1-11) is processed. If not included, step 1-12) is processed (S310 in FIG. 3).
[0033]
Step 1-11) It is determined that the connection destination of the keyword is a telephone number, and step 1-13) is processed (S311 in FIG. 3).
[0034]
Step 1-12) It is determined that the connection destination of the keyword is other, and step 1-13) is processed (S312 in FIG. 3).
[0035]
Step 1-13) The data recorded in the image recording unit 102 in step 1-4) and the connection destination determined in steps 1-7 to 12) are written in the image information management table and recorded on the recording medium 107 (FIG. 3 (S313).
[0036]
Step 1-14) Check if it is the last of the keyword list, and if it is the last, process step 1-16). If it is not the last, step 1-15) is processed (S314 in FIG. 3).
[0037]
Step 1-15) Acquire the next entry in the keyword list, and return to step 1-7) (S315 in FIG. 3).
[0038]
Step 1-16) end the process (S316 in FIG. 3).
[0039]
By the above processing, the keyword is extracted by the character extracting unit 103 from the image acquired by the input unit 101, the optimal connection destination is determined by the connection destination determining unit 104 from the extracted keyword, and the image information management table management unit An image, a keyword, connection destination information, an acquisition date and time, and a comment if necessary can be associated with the information management table.
[0040]
Here, the reserved words are only the homepage address and the telephone number, but other reserved words can be added. For example, if an international standard book number (ISBN) is added as a reserved word and the connection destination is set in advance as an ISBN search server having book information corresponding to ISBN, if the keyword is ISBN, the ISBN is automatically set. By connecting to a search server, it is possible to obtain book information corresponding to ISBN.
[0041]
FIG. 4 illustrates a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention, and determines a communication destination suitable for the keyword from the image information management table stored in the recording medium 106 by the processing of FIG. 3 is a flowchart showing a flow up to connection, and the operation will be described below with reference to FIGS.
[0042]
Step 2-1) Start processing (S401 in FIG. 4).
[0043]
Step 2-2) In response to a request from the user operation unit 108, the image information management table is called from the recording medium 107 (S402 in FIG. 4).
[0044]
Step 2-3) A keyword to be connected is selected from the image information management table through the user operation unit 108 (S403 in FIG. 4).
[0045]
Step 2-4) Call a connection destination corresponding to the selected keyword from the image information management table (S404 in FIG. 4).
[0046]
Step 2-5) Check whether the called connection destination is a homepage address, and if it is a homepage address, process step 2-6). If it is not the homepage address, step 2-8) is processed (S405 in FIG. 4).
[0047]
Step 2-6) The communication unit 106 connects to the Internet (S406 in FIG. 4).
[0048]
Step 2-7) Using the keyword as the home page address, obtain the data of the home page at the address, and process step 2-13) (S407 in FIG. 4).
[0049]
Step 2-8) Check whether the called connection destination is a telephone number, and if it is a telephone number, process step 2-9). If it is not a telephone number, step 2-11) is processed (S409 in FIG. 4).
[0050]
Step 2-9) Make a call from the communication unit 106 using the keyword as a telephone number (S409 in FIG. 4).
[0051]
Step 2-10) A call is started, and step 2-15) is processed (S410 in FIG. 4).
[0052]
Step 2-11) Connect to the Internet via the communication unit 106 (S411 in FIG. 4)
Step 2-12) Connect to a preset Internet search server, transmit the keyword to the search server, and process step 2-13) (S412 in FIG. 4).
[0053]
Step 2-13) Record the information received from the connection destination in the information on the connection destination in the image information management table (S413 in FIG. 4).
[0054]
Step 2-14) The information received from the connection destination is output to the presentation unit 109 (S414 in FIG. 4).
[0055]
Step 2-15) Processing is completed (S415 in FIG. 4).
[0056]
With the above processing, it is possible to automatically connect to the connection destination corresponding to the keyword from the image information management table stored in the recording medium 107, and record or present the data of the connection destination to the user.
[0057]
As described above, in the portable communication terminal device that performs communication using the keyword extracted from the digital image according to the present embodiment, the keyword is automatically extracted from the acquired digital image, and the connection destination is automatically determined from the keyword and the reserved word. For example, when a user finds a signboard with a homepage address or phone number written in a city, the user can directly access the homepage address or phone number written on the signboard simply by copying the signboard with the camera. It is possible to obtain the effect that the user can save the trouble of copying and remembering the homepage address and the telephone number.
[0058]
Further, in the example of the present embodiment, the connection destination is only the homepage address, the telephone number, and the search server. However, as described above, if the keyword is ISBN, an access is made to the ISBN search server, and the book information corresponding to the ISBN is retrieved. It is also possible to obtain.
[0059]
Furthermore, it is also possible to access the dictionary server using keywords such as kanji which cannot be understood by the camera or English words whose meaning cannot be understood as a keyword, and to check how to read kanji and the meaning of English words.
[0060]
In this way, by setting a reserved word corresponding to a keyword in advance, the connection is automatically made to an appropriate connection destination for each keyword, thereby eliminating the need for the user to search for a connection destination for each keyword. Is obtained.
[0061]
Further, since the image and the keyword are recorded in association with each other, when the keyword is called later, the image can be viewed at the same time, so that an effect that the user can easily recall when and where the keyword is obtained is obtained. .
[0062]
(Embodiment 2)
FIG. 5 is a diagram showing an example of a configuration diagram of a data search system for performing communication using a keyword (character information) extracted from a digital image according to the present invention.
In FIG.
500 is a mobile communication terminal,
501, an input unit to which an image is input;
502, an image recording unit for recording an image;
503, a character information extraction unit for extracting a keyword from the image acquired in 501;
A connection destination determining unit 504 that compares the keyword extracted in 503 with a preset reserved word, and determines a connection destination based on the matched reserved word;
505, an image information management table management unit that associates the image recorded in 502 with information related to the image, the keyword acquired in 503, and the connection destination determined in 504;
A communication unit 506 connects to the connection destination determined in 504;
507, a recording medium for recording the output data of 502 to 506, 511;
508, a user operation unit that transmits operations from the user to 502 to 506, 511;
509, a presentation unit that outputs the processing results of 502 to 506, 511;
Reference numeral 510 denotes a system bus that connects the internal processing units 501 to 506, 511, and 512 to external devices 507 to 509 and 513;
511, a position detection unit that can obtain current position data indicating the current position of the data receiving device using a GPS signal transmitted from the global positioning system (GPS);
512, a position information storage unit that stores position information such as an address and a map corresponding to the current position data;
A search unit 513 searches for target information from the image information management table,
Is shown.
[0063]
In the present embodiment, image data is taken in from a user's portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that it can be connected via the Internet or the like. Then, by using the position data, important ones are extracted from the extracted character information and the like, and the connection destination is determined.
[0064]
Note that the location information storage unit 512 may be located in a communication terminal or on an Internet server. When located on an Internet server, the location information storage unit 512 uses the communication unit 506 to acquire location information.
[0065]
Further, the position detection unit 511 acquires current position data when the input unit 501 acquires an image.
[0066]
FIG. 6 is an example of two captured images, and an image information management table is created by the same processing as in the first embodiment. Here, a keyword is extracted by the character information extraction unit 503. At this time, the importance of keywords located near the center of the image is set high, and the importance of keywords located far from the center of the image is set low, and recorded in the image information management table. In the example of FIG. 6, “ABC Inc.” exists as a character string keyword in Photo 1 of FIG. In Photo2 of FIG. 6, “XYZ store” and “ABC Co., Ltd.” exist as character string keywords, but “XYZ store” has a high importance, and “ABC Co., Ltd.” has a low importance. Set. This is because when a user shoots a favorite subject, the user takes the subject to the center of the image, and as a keyword that more accurately expresses the characteristics of the image, the importance of the keyword located in the center of the image is important. The degree is set high.
[0067]
In the present embodiment, an example will be described in which the importance is determined according to the position of the keyword in the image. However, the importance may be determined according to the size of the character of the keyword.
[0068]
FIG. 7 is a diagram illustrating an example of the image information management table generated by the image information management table management unit 505. The image obtained by the input unit 501, the date and time when the image was obtained, and the character information extraction unit 503 are extracted. The keyword and the importance according to the keyword, the connection destination determined by the connection destination determination unit 504, the current position data acquired by the position detection unit 511 when the image is acquired, and the position information storage corresponding to the current position data The information is recorded as a table in association with the position information of the unit 512. When a plurality of keywords are present in one image, tables are created for the number of keywords.
[0069]
FIG. 8 is a flowchart showing a flow of processing a search by a keyword from an image information management table recorded in a recording medium 507 of a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention. The operation will be described below with reference to FIGS. 5, 7, and 8.
[0070]
Step 3-1) Start processing (S801 in FIG. 8).
[0071]
Step 3-2) The image information management table is called from the recording medium 507 (S802 in FIG. 8).
[0072]
Step 3-3) The user selects a table to be searched through the user operation unit 508 (S803 in FIG. 8).
[0073]
Step 3-4) If the search target is a keyword, step 3-5) is processed. If the search target is not a keyword, step 3-6) is processed (S804 in FIG. 8).
[0074]
Step 3-5) It is determined that the search target is a keyword, and step 3-14) is processed (S805 in FIG. 8).
[0075]
Step 3-6) If the search target is a connection destination, step 3-7) is processed. If the search target is not the connection destination, step 3-8) is processed (S806 in FIG. 8).
[0076]
Step 3-7) The search target is determined to be the connection destination, and step 3-14) is processed (S807 in FIG. 8).
[0077]
Step 3-8) If the search target is the acquisition date and time, step 3-9) is processed. If the search target is not the acquisition date, step 3-10) is processed (S808 in FIG. 8).
[0078]
Step 3-9) The search target is determined to be the acquisition date and time, and step 3-14) is processed (S809 in FIG. 8).
[0079]
Step 3-10) If the search target is the acquisition place, step 3-11) is processed. If the search target is not the acquisition location, step 3-12) is processed (S810 in FIG. 8).
[0080]
Step 3-11) The search target is determined to be the acquisition place, and step 3-14) is processed (S811 in FIG. 8).
[0081]
Step 3-12) If the search target is a comment, step 3-13) is processed. If the search target is not a comment, the process returns to step 3-3) (S812 in FIG. 8).
[0082]
Step 3-13) It is determined that the search target is a comment, and step 3-14) is processed (S813 in FIG. 3).
Step 3-14) The user inputs a search character string through the user operation unit 508 (S814 in FIG. 8).
[0083]
Step 3-15) The search target determined in steps 3-3 to 13) is compared with the search character string in step 3-14) and the image information management table, and a list of matched items is created (FIG. 8). S815).
[0084]
Step 3-16) The list of the list created in the previous step is displayed on the presentation unit 509 (S816 in FIG. 8).
[0085]
Step 3-17) The user selects one of the lists from the list displayed in the previous step through the user operation unit 509, and the image associated with the selected keyword in the image information management table and its association The information is displayed on the presentation unit 509 (S817 in FIG. 8).
[0086]
Step 3-18) Processing ends (S818 in FIG. 8).
[0087]
Through the above processing, the image and its related information can be searched from the image information management table recorded on the recording medium 507 by the search target and the search character string.
[0088]
FIG. 9 is an example of a search screen. Assuming that the search target is “keyword” and the search character string is “stock”, a list of search results is displayed by the processing of FIG. Here, when the list is displayed, the character information extracting unit 503 arranges and displays the list in descending order of importance set for each keyword, so that it is possible to more efficiently search for an image desired by the user. The effect is obtained. In the example of FIG. 9, “ABC Co., Ltd.” of Photo1 and Photo2 is provided as a search result, but Photo1 is displayed before Photo2 because Photo1 is set to have a higher importance.
[0089]
Next, FIG. 10 is an example of a screen when one is selected from the list of search results in FIG. 9. The image obtained by the user is associated with the image associated with the keyword selected from the list by the image information management table. The date, time, location, comment, and connection destination data are displayed.
[0090]
When the user clicks on the homepage address in the image displayed in FIG. 10, the connection to the homepage address is performed by the processing of FIG. 4, and the data at the homepage address is newer than the data at the connection destination associated in the image information management table. If so, the data of the connection destination is updated and displayed on the WWW browser of FIG. On the other hand, if the data of the homepage address is the same as the data of the connection destination, no data is received.
[0091]
Further, when a telephone number in the image displayed in FIG. 10 is clicked, a telephone call is made to the telephone number in accordance with the processing in FIG.
[0092]
Furthermore, when the image acquisition date and time, the image acquisition location, and the comment displayed in FIG. 10 are clicked, the clicked information is set as a search target or a search character string, and the search can be performed again by the processing in FIG.
[0093]
As described above, in the portable communication terminal device that performs communication using the keyword extracted from the digital image according to the present embodiment, the image and the information related to the image are managed by the image information management table. It is possible to obtain an effect that an image can be easily searched for according to a keyword in the image, an acquisition location of the image, an acquisition date and time, and the like.
[0094]
Furthermore, when the image is displayed, the information associated with the image information management table is also displayed, so that it is possible to easily recall when and where the image was obtained.
[0095]
(Embodiment 3)
FIG. 11 shows an example of a configuration diagram of a data search system according to the present invention, which includes a portable communication terminal device that performs communication using a keyword (character information) extracted from a digital image and a shared database server on the Internet. FIG.
In FIG.
1100 is a shared database server,
1101 is a mobile communication terminal having the configuration of FIG.
1102, a communication unit connectable to 1101;
1103, a registration unit for registering data from 1101 in a shared database;
1104, a shared database that records data from 1103 as a shared image information management table;
A search unit 1105 searches for the target information from the shared image information management table in 1104,
Is shown.
[0096]
In the present embodiment, image data is captured from a user portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that the user can connect to the Internet or the like. The extracted character information and the like are stored and provided as a shared database so that other users can use them.
[0097]
Here, the shared image information management table recorded in the shared database 1104 has a configuration in which an item of owner information of the portable communication terminal 1101 is newly added to the table configuration similar to that of FIG.
[0098]
FIG. 12 is a flowchart showing a flow of processing for registering the image information management table recorded on the recording medium in the portable communication terminal 1101 in the shared image information management table in the shared database 1104. The operation will be described below with reference to FIGS.
[0099]
Step 4-1) Processing starts (S1201 in FIG. 12).
[0100]
Step 4-2) Connect the portable communication terminal 1101 and the communication unit 1102 (S1202 in FIG. 12).
[0101]
Step 4-3) The image information management table recorded on the recording medium 507 in the communication terminal 1101 and the owner information of the portable communication terminal 1101 are transmitted to the registration unit 1103 (S1203 in FIG. 12).
[0102]
Step 4-4) The registration unit 1103 receives the data transmitted in step 4-3) (S1204 in FIG. 12).
[0103]
Step 4-5) The registration unit 1103 registers the received image information management table and owner information in the shared image information management table of the shared database 1104 (S1205 in FIG. 12).
[0104]
Step 4-6) Processing ends (S1206 in FIG. 12).
[0105]
Through the above processing, the image information management table in the mobile communication terminal can be registered in the shared database on the Internet.
[0106]
Next, FIG. 13 is a flowchart showing the flow of a process of searching for and acquiring target information from the shared image information management table recorded in the shared database, and refer to FIG. 5, FIG. 11, and FIG. Hereinafter, the operation will be described.
[0107]
Step 5-1) Start processing (S1301 in FIG. 13).
[0108]
Step 5-2) Connect the portable communication terminal 1101 and the communication unit 1102 (S1302 in FIG. 13).
[0109]
Step 5-3) By the same processing as in the second embodiment, the user inputs the search target of the image to be obtained and the search character string through the user operation unit 508 in the portable communication terminal 1101, and transmits the search character string to the search unit 1105 (FIG. 13 S1303).
[0110]
Step 5-4) The search unit 1105 receives the search target and the search character string transmitted in the previous step (S1304 in FIG. 13).
[0111]
Step 5-5) By the same processing as in the second embodiment, the shared image information management table is searched for table information that matches the search target and the search character string (S1305 in FIG. 13).
[0112]
Step 5-6) The search result of the previous step is transmitted to the mobile communication terminal 1101 (S1306 in FIG. 13).
[0113]
Step 5-7) The portable receiving terminal 1101 receives the search result transmitted in the previous step (S1307 in FIG. 13).
[0114]
Step 5-8) The search result is displayed on the presentation unit 508 in the portable communication terminal 1101 (S1308 in FIG. 13).
[0115]
Step 5-9) Processing ends (S1309 in FIG. 13).
[0116]
Through the above processing, the shared image information management table recorded in the shared database is searched, and the result can be referred to by the portable communication terminal.
[0117]
As described above, the portable communication terminal device that performs communication using the keyword (character information) extracted from the digital image according to the present invention and the shared data server on the Internet can transmit and receive the image information management table via the communication line. Therefore, even when the storage capacity of the recording medium in the portable communication terminal is small, if the storage capacity of the shared database is large, an effect that more images and related information can be recorded can be obtained.
[0118]
Further, by sharing the image information management table, an image obtained by another user and the related information can be used, so that more information can be obtained.
[0119]
Further, since the images in the shared database are also recorded as the image information management table, an effect is obtained that the images recorded in the shared database can be easily searched for by keywords.
[0120]
(Embodiment 4)
FIG. 14 is a diagram illustrating an example of a configuration diagram of a data search system in a portable communication terminal device that performs communication using key data extracted from a digital image according to the present invention.
In FIG.
1400 is a communication terminal device,
An image input unit 1401 receives an image from a digital camera, an image input device, a transmission path, or the like.
1402, an image data storage unit that stores the image input in 1401;
1403, a search key data extraction unit that extracts search key data for searching other information from the image data accumulated in 1402;
A search key reservation data storage unit 1404 stores search key reservation data for determining a connection destination by performing pattern matching on the search key data extracted in 1403,
An automatic search connection unit 1405 determines a connection destination based on the search key data extracted in 1403 and the search key reservation data stored in 1404, and connects the connection destinations.
1406, an image analysis and search unit that analyzes objects displayed in the image data accumulated in 1402 and determines the importance of the search key data to be extracted in 1403;
1407, image search key related data for creating and managing image search key related data in which the image stored in 1402, the search key data extracted in 1403, and the importance of the key data determined in 1406 are associated with each other. Management Department,
1408, a position data detection unit that detects position data indicating a place where the communication terminal exists,
1409, a service providing unit that provides a service to the user using the image search key related data created in 1407 and the position data detected in 1408;
1410, an image search key-related data providing unit that uploads the image search key-related data created in 1407 to a server and makes it available to other users;
Is shown.
[0121]
In the present embodiment, image data is captured from a user portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that the user can connect to the Internet or the like. The extracted character information and the like are stored and provided as a shared database so that other users can use the character information and the like, and the character information and the like are stored using search key reservation data for determining a connection destination. The required search key is extracted from.
[0122]
Next, a process of extracting search key data from an input image and automatically connecting to a connection destination will be described.
[0123]
Step 6-1) An image is captured by the image input unit 1401 and stored in the image data storage unit 1302.
[0124]
Step 6-2) The search key data extraction unit 1403 extracts search key data for searching other information from the image data.
[0125]
Step 6-3) The automatic search connection unit 1405 performs pattern matching between the search key data and the search key reservation data stored in the search key reservation data storage unit 1404, and establishes a connection corresponding to the pattern matched search key reservation data. Decide ahead.
[0126]
Step 6-4) Automatically connect to the connection destination determined by the automatic search connection unit 1405.
[0127]
In this way, the retrieval key data can be extracted from the image and automatically connected to a connection destination suitable for the retrieval key data.
[0128]
Next, processing from adding importance to search key data extracted from an image to creating and using image search key related data will be described.
[0129]
Step 7-1) An image is captured by the image input unit 1401 and stored in the image data storage unit 1302.
[0130]
Step 7-2) The search key data extraction unit 1403 extracts search key data for searching other information from the image data.
[0131]
Step 7-3) The image analysis search unit 1406 analyzes the objects displayed in the image data and determines the importance of the search key data. For example, the search key data located at the center of the image is made more important.
[0132]
Step 7-4) The image search key-related data management unit 1407 generates the image search key-related data by associating the image data, the search key data, the importance, and the position information when the image data was acquired. .
[0133]
Step 7-5) The generated image search key-related data is uploaded from the image search key-related data providing unit 1410 to a server that can be used by another user. Meanwhile, other users can download and use the uploaded image search key-related data. When downloading, the position data where the communication terminal exists is acquired from the position data detection unit 1408, and only the image search key related data having the position data close to the acquired position data is downloaded. You can also download only the ones with the highest
[0134]
In this way, the search key data embedded in the image is automatically extracted, and the position data at the time of obtaining the image data and the objects displayed in the image data are analyzed to determine the importance of the search key data. Since the degrees are determined and recorded as image search key-related data in association with the image data, the image data can be easily searched later without inputting a comment or the like for the image.
[0135]
Furthermore, by uploading the image search key-related data to the server in a common format, other users can more easily search for and use target data from a vast amount of data existing in the server.
[0136]
Then, it is possible to automatically connect to the target connection destination from the downloaded image search key data by the processing of steps 6-1 to 4).
[0137]
(Embodiment 5)
FIG. 15 is a diagram illustrating an example of a configuration diagram of a data search system in a portable communication terminal device that performs communication using a keyword (character information) extracted from a digital image according to the present invention.
[0138]
In FIG.
1500 is a communication terminal device,
An image input unit 1501 receives an image from a digital camera, an image input device, a transmission path, or the like.
1502, an image data storage unit that stores the image input in 1501;
1503, a connection destination data extraction unit that extracts connection destination data for connecting to other information from the image data stored in 1502;
1504, a data access unit that connects to another database using the connection destination data extracted in 1503;
1505, an image analysis search unit that analyzes objects displayed in the image data stored in 1502 and determines the importance of the connection destination data extracted in 1503;
1506, image search related data management for creating and managing image search related data in which the image stored in 1502, the connection destination data extracted in 1503, and the importance of the connection destination data determined in 1505 are associated with each other. Department,
1507, a position data detection unit that detects position data indicating a place where the communication terminal exists,
1508, a service providing unit that provides a service to the user using the image search related data created in 1506 and the position data detected in 1507;
1509, an image search related data providing unit that uploads the image search key related data created in 1506 to the server and makes it available to other users,
Is shown.
[0139]
In the present embodiment, image data is taken in from a user portable terminal or the like, character information or the like serving as a keyword is extracted and analyzed from the image data so that it can be connected via the Internet or the like. Is analyzed and connection destinations are determined with importance.
[0140]
Next, processing from extracting connection destination data from an input image to connecting to another database will be described.
[0141]
Step 8-1) An image is captured by the image input unit 1501 and stored in the image data storage unit 1502.
[0142]
Step 8-2) The connection destination data extraction unit 1503 extracts connection destination data from the image data.
[0143]
Step 8-3) The data access unit 1503 connects to the database indicated by the connection destination data.
[0144]
In this way, it is possible to connect to another database using the connection destination data included in the image.
[0145]
Next, a process of adding importance to connection destination data extracted from an image, and creating and using image search related data will be described.
[0146]
Step 9-1) An image is captured by the image input unit 1501 and stored in the image data storage unit 1502.
[0147]
Step 9-2) The connection destination data extraction unit 1503 extracts connection destination data from the image data.
[0148]
Step 9-3) The image analysis connection unit 1505 analyzes the object displayed in the image data and determines the importance of the connection destination data. For example, the importance of the connection destination data located at the center of the image is increased.
[0149]
Step 9-4) The image search key-related data management unit 1506 generates image search-related data by associating the image data, the connection destination data, the importance, and the position information when the image data was acquired.
[0150]
Step 9-5) The generated image search related data is uploaded from the image search related data providing unit 1509 to a server that can be used by another user. Meanwhile, other users can download and use the uploaded image search related data. When downloading, the position data where the communication terminal is present is obtained from the position data detection unit 1308, and only the image search related data having the position data close to the obtained position data is downloaded. You can also download only the expensive ones.
[0151]
In this way, the connection destination data embedded in the image is automatically extracted, and the position data at the time of acquiring the image data and the objects displayed in the image data are analyzed to determine the importance of the connection destination data. Since the degrees are determined and recorded as image search related data in association with the image data, the image data can be easily searched later without inputting a comment or the like for the image.
[0152]
Further, by uploading the image search-related data to the server in a common format, other users can more easily search for and use target data from a vast amount of data existing in the server.
[0153]
Then, it is possible to automatically connect to the target connection destination by the processing of steps 8-1 to 3) from the downloaded connection destination data.
[0154]
【The invention's effect】
As mentioned above,
A first invention is a communication terminal that transmits and receives data using a wireless or wired communication line, wherein the communication terminal includes an input unit that inputs a digital image, and a digital image input by the input unit. An image recording unit for recording; a recording medium on which the digital image is recorded; a character information extracting unit for reading a digital image recorded on the recording medium and extracting a character string serving as a keyword from the digital image; A connection destination determining unit that analyzes the keyword extracted by the information extraction unit and determines whether the keyword indicates connection destination information necessary for connecting to a communication partner, and extracts the character string information from the digital image. Generates and manages an image information management table for managing in association with the keyword extracted by the unit and the connection destination information determined by the connection destination determination unit By having the image information management table management unit, the input digital image can be easily associated with a keyword extracted from the image and further with connection destination information such as a URL address and a telephone number using the image information management table. The advantage is that it is possible to manage the data.
[0155]
In the second invention, the communication terminal further includes: a presentation unit that presents a list of keywords extracted from the digital image; and a user operation of selecting any one of the keywords from the keyword list presented to the presentation unit. A user operation unit to be accepted and a communication unit that obtains connection destination information for the selected keyword from the image information management table, connects to a communication partner using the obtained connection destination information, and acquires data from the communication partner. With this configuration, an effect is obtained in that the user can connect to an appropriate connection destination only by selecting a keyword without specifying the connection destination.
[0156]
In the third invention, the communication terminal has a function of receiving a search string entered by a user with a key on the user operation unit, and further uses the image information management table to input a keyword that matches the search string. Having a search unit for searching, and further having a presenting unit for acquiring and presenting a digital image associated with the keyword, a user inputs based on the keyword associated with the image information management table. An effect is obtained that a digital image matching the search character string can be easily searched.
[0157]
A fourth invention is a data server that transmits and receives data to and from the communication terminal of the present invention, and receives the image information management table and the digital image managed by the image information management table from the communication terminal, and stores the data in a database. A registration unit to register, receives a search string from the communication terminal, and uses a keyword matching the search string and a digital image associated with the keyword using an image information management table registered in the database. By having a search unit to search, users other than the user who captured the image can also use the image information management table registered in the data server, based on the keyword associated with the digital image, Images can be easily searched, acquired and browsed, and image data can be easily shared among multiple users The effect of wear can be obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a mobile communication terminal device according to a first embodiment of the present invention.
FIG. 2 is an image diagram of an image information management table recorded on a storage medium of the mobile communication terminal device according to the first embodiment of the present invention.
FIG. 3 is a flowchart from an acquired image to an image information management table creation process according to the first embodiment of the present invention.
FIG. 4 is a flowchart from the image information management table to the connection destination information acquisition processing according to the first embodiment of the present invention;
FIG. 5 is a configuration diagram of a mobile communication terminal device according to a second embodiment of the present invention.
FIG. 6 is an image diagram of an acquired image of the form communication terminal device according to the second embodiment of the present invention.
FIG. 7 is an image diagram of an image information management table recorded on a storage medium of a portable communication terminal device according to a second embodiment of the present invention.
FIG. 8 is a flowchart of a search process of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 9 is an image diagram of a search screen of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 10 is an image diagram of a search result screen of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 11 is a configuration diagram of a portable communication terminal device and a shared database server according to a third embodiment of the present invention.
FIG. 12 is a flowchart of processing for recording an image information management table in a shared database server according to the third embodiment of the present invention.
FIG. 13 is a flowchart of processing for searching for target information from a shared image information management table recorded in a shared database server according to the third embodiment of the present invention.
FIG. 14 is a configuration diagram of a communication terminal device of a data search system according to a fourth embodiment of the present invention.
FIG. 15 is a configuration diagram of a communication terminal device of a data search system according to a fifth embodiment of the present invention.
[Explanation of symbols]
100, 500 communication terminals
101, 501 input unit
102, 502 Image storage unit
103, 503 Character information extraction unit
104, 504 connection destination determination unit
105,505 Image information management table management unit
106, 506 Communication unit
107, 507 Recording medium
108, 508 User operation unit
109, 509 Presentation unit
110, 510 System bus
511 Position detector
512 Position information storage unit
513 Search Unit
1100 Shared database server
1101 Communication terminal
1102 Communication unit
1103 Registration unit
1104 Shared database
1105 Search unit
1400, 1500 Communication terminal
1401, 1501 Image input unit
1402, 1502 Image storage unit
1403 Search key data extraction unit
1404 Search key reservation data storage unit
1405 Automatic search connection
1406 Image analysis detection unit
1407 Image search key related data management unit
1408, 1507 Position data detector
1409, 1508 Service provider
1410 Image search key related data providing unit
1503 Connection destination data extraction unit
1504 Data access unit
1505 Image analysis connection
1506 Image search related data management unit
1509 Image search related data providing unit