[go: up one dir, main page]

JP2004005314A - Data search system and related device or method, recording medium or program - Google Patents

Data search system and related device or method, recording medium or program Download PDF

Info

Publication number
JP2004005314A
JP2004005314A JP2002161193A JP2002161193A JP2004005314A JP 2004005314 A JP2004005314 A JP 2004005314A JP 2002161193 A JP2002161193 A JP 2002161193A JP 2002161193 A JP2002161193 A JP 2002161193A JP 2004005314 A JP2004005314 A JP 2004005314A
Authority
JP
Japan
Prior art keywords
data
search
image
keyword
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002161193A
Other languages
Japanese (ja)
Inventor
Yutaka Saito
裕 斉藤
Daisuke Iino
大助 飯野
Hiroki Shinohara
弘樹 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002161193A priority Critical patent/JP2004005314A/en
Publication of JP2004005314A publication Critical patent/JP2004005314A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】撮影した画像を容易に検索でき、さらには、通信回線を利用して撮影した画像に関連する情報を容易に入手できる通信端末を提供する。
【解決手段】通信端末100は、撮影機能を備える入力部101と、撮影された画像からキーワードとなる文字列を抽出する文字情報抽出部103と、前記キーワードが通信相手に接続するために必要な接続先情報(URLアドレスや電話番号)を示しているかどうかを判断する接続先決定部104と、前記画像を前記キーワードと前記接続先情報と関連づけて管理するための画像情報管理テーブルを生成し、管理する画像情報管理テーブル管理部105を有する。以上の構成により生成、管理される前記画像情報管理テーブルを利用することで、画像を容易に検索できる。さらには、画像に関連した情報を提供する通信相手に容易に接続できる。
【選択図】 図1
Provided is a communication terminal capable of easily retrieving a photographed image and further easily obtaining information related to the photographed image using a communication line.
A communication terminal includes: an input unit having a photographing function; a character information extracting unit that extracts a character string serving as a keyword from a photographed image; and a character information extracting unit that is necessary for the keyword to connect to a communication partner. A connection destination determining unit 104 for determining whether connection information (URL address or telephone number) is indicated, and an image information management table for managing the image in association with the keyword and the connection destination information, and An image information management table management unit 105 for management is provided. Images can be easily searched by using the image information management table generated and managed by the above configuration. Further, it is possible to easily connect to a communication partner that provides information related to the image.
[Selection diagram] Fig. 1

Description

【0001】
【発明の属する技術分野】
本発明は、特に撮影した画像から文字情報を抽出し、抽出した文字情報を利用して画像を管理したり、適切な通信先に接続するためのカメラ付き移動体通信端末に関するものである。
【0002】
【従来の技術】
従来、携帯電話等の移動体通信端末があまり普及しておらず、外出先でホームページを見ることなどは容易にできなかったため、自宅等に帰った後で、固定端末でホームページにアクセスしたり、データを送受信するなどする必要があるという手間をかけていた。
【0003】
【発明が解決しようとする課題】
ところが、近年、以下のようになっている。
【0004】
(1)近年、無線インターネットに対応した携帯電話やPDAなどの移動体通信端末が一般化され、利用者は外出先で見つけたインターネットホームページにその場でアクセスすることが可能となった。
【0005】
(2)また、デジタルカメラを移動体通信端末と接続して、撮影した画像を無線インターネットを利用して第三者に送信したり、サーバーにアップロードしたりすることが可能となった。
【0006】
前記(1)の移動体端末では、街中の看板や電車の中吊り広告に記載されているURLアドレスのホームページを閲覧するために、まずURLアドレスを紙に書き写し、移動体端末に付属されているWWWブラウザを起動し、書き写したURLアドレスをキーボードやその他の入力装置を用いてWWWブラウザに入力する必要があり、その場ですぐにホームページを閲覧するには使い勝手が悪いという課題を有している。
【0007】
また、前記(2)の従来のデジタルカメラでは、利用者は撮影した画像を後で容易に検索可能な様に、「撮影場所」や「コメント」を入力しておくことも多いが、その際に利用者がキーボードやその他の入力装置を用いて手動で入力する必要があり、手間がかかるという課題を有している。また、利用者が入力する「コメント」は、撮影した本人ならば容易に想起できても、第三者がこれを手がかりに画像を検索するには必ずしても適切ではない場合がある。そのため、複数の個人が公開した膨大な画像の中から所望の画像を検索するような用途には適さないという課題を有している。
【0008】
本発明の目的は、デジタル画像からキーワードとなる文字列(例えば看板に記載されている会社名、住所、URLアドレス、電話番号等)を抽出し、これを利用してデジタル画像を容易に検索したり、通信相手先に接続して容易に詳細情報を入手したり、さらには、撮影した画像を第三者と容易に共有できる通信端末を提供することである。
【0009】
【課題を解決するための手段】
以上の課題を解決するために、
第1に本発明の通信端末は、前記通信端末に入力されるデジタル画像からキーワードとなる文字列を抽出する文字列抽出部と、前記文字列情報抽出部で抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断する接続先決定部と、前記デジタル画像と前記文字列情報抽出部で抽出されたキーワードと前記接続先決定部で判断された接続先情報とを関連付けて管理するための画像情報管理テーブルを生成、管理する画像情報管理テーブル管理部と、前記接続先決定部で決定された接続先に無線あるいは有線の手段を用いて接続し、データを送受信するための通信部とを有することを特徴とする。
【0010】
これにより、前記画像情報管理テーブルを使って、入力されたデジタル画像を画像から抽出されるキーワード、さらには、URLアドレスや電話番号などの接続先情報と関連付けて管理することができる。さらには、前記通信端末がGPS信号を用いた位置検出機能を有する場合においては、撮影場所を前記画像情報管理テーブルに登録するようにし、撮影場所とも関連づけて管理することも可能となる。
【0011】
そして、前記画像情報管理テーブルと接続先決定部によってキーワードに関連付けられた接続先、例えばURLアドレスのホームページや電話番号先などに容易に接続し、データを取得することができる。
【0012】
第2に本発明の通信端末は、ユーザがキー入力した検索文字列を受け付けるユーザ操作部と、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索する検索部を有する。さらに、前記キーワードと関連付けられているデジタル画像を取得し、提示する提示部を有することを特徴とする。
【0013】
これにより、前記画像情報管理テーブルによって関連付けられたキーワードに基づいて、デジタル画像を容易に検索することができる。
【0014】
第3に本発明の通信端末とデータを送受信するデータサーバは、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録する登録部と、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワード及び前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索する検索部を有し、検索結果のキーワードとデジタル画像を前記通信端末に送信することを特徴とする。
【0015】
これにより、画像を撮影したユーザ以外の他のユーザも、前記画像情報管理テーブルに関連づけられたキーワードに基づいて、デジタル画像を容易に検索、取得して閲覧でき、複数のユーザ間で画像を容易に共有することができる。
【0016】
【発明の実施の形態】
(実施の形態1)
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0017】
図1は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行うデータ検索システムの構成を示す機能ブロック図の一例を示した図である。
図1において、
100は、携帯通信端末、
101は、画像が入力される入力部、
102は、101で取得した画像を記録するための画像記録部、
103は、101で取得した画像からキーワードを抽出するための文字情報抽出部、
104は、103で抽出されたキーワードと予め設定されている予約語とを比較し、適合した予約語に基づいて接続先を決定する接続先決定部、
105は、102で記録された画像とその画像に関連する情報、103で取得されたキーワード、104で決定された接続先アドレスとを関連付け、画像情報管理テーブルを作成する画像情報管理テーブル管理部、
106は、105でキーワードに関連付けられた接続先に対して無線または有線の通信回線を利用して接続し、接続先とデータを送受信する通信部、
107は、102に記録された画像、103で抽出されたキーワード、104で決定された接続先アドレス、105で作成された画像情報管理テーブル、106で取得したデータを記録するための記録媒体、
108は、ユーザからの操作を102〜106に伝達するためのユーザ操作部、
109は、102に記録された画像、103で抽出されたキーワード、104で決定された接続先アドレス、105で作成された画像情報管理テーブル、106で取得したデータ、107に記録されたデータを画面に表示するための提示部、
110は、101〜106の内部処理部と107〜108の外部装置との連結を行うシステムバス、
を示している。
【0018】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定している。
【0019】
なお、入力部101は入力部自身がカメラであってもよいし、外部からの画像(インターネットの画像や外部の記録装置に保存されている画像など)を取得するインターフェイスであってもよい。
【0020】
図2は、本実施の形態におけるデータ検索システムにおける、画像情報管理テーブル管理部105が生成する画像情報管理テーブル図の一例である。
【0021】
図2において、入力部101において取得した画像と画像を取得した日時、文字情報抽出部103において抽出したキーワード、接続先決定部104において決定された接続先とを関連付けてテーブルとして記録する。なお、一枚の画像内に複数のキーワードが存在するときはキーワードの数だけテーブルが作成される。
【0022】
図3は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、入力部101で取得した画像からキーワードを抽出するまでの流れを示したフローチャートであり、図1、図2と合わせて、以下、その動作を説明する。
【0023】
ステップ1−1)処理開始(図3のS301)。
【0024】
ステップ1−2)入力部101において画像を取得する(図3のS302)。
【0025】
ステップ1−3)ステップ1−2)が実行された日時を取得する(図3のS303)。
【0026】
ステップ1−4)ステップ1−2〜3)で取得した画像と取得日時のデータを画像記録部102に記録する(図3のS304)。
【0027】
ステップ1−5)ステップ1−4)で記録した画像からキーワードを抽出する。画像内に複数のキーワードが存在する場合は、キーワードの数だけリストを作成する。(図3のS305)。
【0028】
ステップ1−6)キーワードリストの先頭のエントリを取得する(図3のS306)。
【0029】
ステップ1−7)予め設定されている予約語とキーワードとを比較する(図3のS307)。
【0030】
ステップ1−8)キーワードがホームページアドレスを示す予約語(「http://」、「www」、「.com」など)を含んでいるかをチェックし、含んでいる場合はステップ1−9)を処理する。含んでいない場合はステップ1−10)を処理する(図3のS308)。
【0031】
ステップ1−9)キーワードの接続先はホームページアドレスであると決定し、ステップ1−13)を処理する(図3のS309)。
【0032】
ステップ1−10)キーワードが電話番号を示す予約語(「電話番号」、「Tel」など)を含んでいるかをチェックし、含んでいる場合はステップ1−11)を処理する。含んでいない場合はステップ1−12)を処理する(図3のS310)。
【0033】
ステップ1−11)キーワードの接続先は電話番号であると決定し、ステップ1−13)を処理する(図3のS311)。
【0034】
ステップ1−12)キーワードの接続先はその他であると決定し、ステップ1−13)を処理する(図3のS312)。
【0035】
ステップ1−13)ステップ1−4)で画像記録部102に記録されたデータとステップ1−7〜12)で決定された接続先を画像情報管理テーブルに書き込み、記録媒体107に記録する(図3のS313)。
【0036】
ステップ1−14)キーワードリストの最後であるかをチェックし、最後であるならステップ1−16)を処理する。最後でなければステップ1−15)を処理する(図3のS314)。
【0037】
ステップ1−15)キーワードリストの次のエントリを取得し、ステップ1−7)に戻る(図3のS315)。
【0038】
ステップ1−16)処理終了(図3のS316)。
【0039】
以上の処理により、入力部101で取得した画像から文字抽出部103においてキーワードを抽出し、抽出されたキーワードから接続先決定部104において最適な接続先が決定され、画像情報管理テーブル管理部において画像情報管理テーブルに画像、キーワード、接続先情報、取得日時、必要であればコメントを関連付けることができる。
【0040】
なお、ここでは予約語はホームページアドレスと電話番号のみであったが、他の予約語を追加することも可能である。例えば、国際標準図書番号(ISBN)を予約語として追加し、接続先をISBNに対応する書籍情報を有するISBN検索サーバとして予め設定しておけば、キーワードがISBNであったときは自動的にISBN検索サーバに接続し、ISBNに対応した書籍情報を取得することができる。
【0041】
図4は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において図3の処理によって記録媒体106に保存された画像情報管理テーブルからキーワードに適した通信先を決定し、接続するまでの流れを示したフローチャートであり、図1、2と合わせて、以下、その動作を説明する。
【0042】
ステップ2−1)処理開始(図4のS401)。
【0043】
ステップ2−2)ユーザ操作部108からの要求に対して、記録媒体107から画像情報管理テーブルを呼び出す(図4のS402)。
【0044】
ステップ2−3)ユーザ操作部108を通じて、画像情報管理テーブルから接続したいキーワードを選択する(図4のS403)。
【0045】
ステップ2−4)画像情報管理テーブルから、選択されたキーワードに対応した接続先を呼び出す(図4のS404)。
【0046】
ステップ2−5)呼び出された接続先はホームページアドレスであるかをチェックし、ホームページアドレスである場合はステップ2−6)を処理する。ホームページアドレスでない場合はステップ2−8)を処理する(図4のS405)。
【0047】
ステップ2−6)通信部106よりインターネットに接続する(図4のS406)。
【0048】
ステップ2−7)キーワードをホームページアドレスとしてアドレス先のホームページのデータを取得し、ステップ2−13)を処理する(図4のS407)。
【0049】
ステップ2−8)呼び出された接続先は電話番号であるかをチェックし、電話番号である場合はステップ2−9)を処理する。電話番号でない場合はステップ2−11)を処理する(図4のS409)。
【0050】
ステップ2−9)通信部106よりキーワードを電話番号として電話をかける(図4のS409)。
【0051】
ステップ2−10)通話を開始し、ステップ2−15)を処理する(図4のS410)。
【0052】
ステップ2−11)通信部106よりインターネットに接続する(図4のS411)
ステップ2−12)予め設定されたインターネット検索サーバに接続し、キーワードを検索サーバに送信し、ステップ2−13)を処理する(図4のS412)。
【0053】
ステップ2−13)接続先から受信した情報を画像情報管理テーブルの接続先の情報に記録する(図4のS413)。
【0054】
ステップ2−14)接続先から受信した情報を提示部109に出力する(図4のS414)。
【0055】
ステップ2−15)処理終了(図4のS415)。
【0056】
以上の処理により、記録媒体107に保存された画像情報管理テーブルからキーワードに対応した接続先に自動的に接続し、接続先のデータを記録またはユーザに提示することができる。
【0057】
以上のように本実施の形態によるデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、取得したデジタル画像から自動的にキーワードを抽出し、キーワードと予約語から接続先を自動的に決定するため、例えば、ユーザが街でホームページアドレスや電話番号が書かれた看板を見つけたとき、カメラでその看板を写すだけで看板に書かれたホームページアドレスや電話番号に直接アクセスすることができ、ユーザがホームページアドレスや電話番号を書き写したり覚えたりといった手間が省けるという効果が得られる。
【0058】
さらに、本実施の形態の例では、接続先はホームページアドレスと電話番号、検索サーバしか挙げていないが、前述のようにキーワードがISBNならばISBN検索サーバにアクセスし、ISBNに対応した書籍情報を取得することも可能である。
【0059】
さらに、カメラで写した読み方の解らない漢字や、意味の解らない英単語などをキーワードとして、辞書サーバにアクセスし、漢字の読み方や英単語の意味などを調べることも可能である。
【0060】
このように、キーワードに対応した予約語を予め設定しておくことによってキーワードごとに適切な接続先に自動的に接続してくれるため、ユーザ自らがキーワードごとに接続先を探すという手間を省く効果が得られる。
【0061】
さらに、画像とキーワードを関連付けて記録するため、のちにキーワードを呼び出したとき、同時に画像も見ることができるため、いつどこで取得したキーワードであるかを容易に想起することができるという効果が得られる。
【0062】
(実施の形態2)
図5は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行うデータ検索システムの構成図の一例を示した図である。
図5において、
500は、携帯通信端末、
501は、画像が入力される入力部、
502は、画像を記録するための画像記録部、
503は、501で取得した画像からキーワードを抽出するための文字情報抽出部、
504は、503で抽出されたキーワードと予め設定されている予約語とを比較し、適合した予約語から接続先を決定する接続先決定部、
505は、502で記録された画像とその画像に関連する情報、503で取得されたキーワード、504で決定された接続先とを関連付ける画像情報管理テーブル管理部、
506は、504で決定された接続先に接続する通信部、
507は、502〜506、511の出力データを記録するための記録媒体、
508は、ユーザからの操作を502〜506、511に伝達するユーザ操作部、
509は、502〜506、511の処理結果を出力する提示部、
510は、501〜506、511,512の内部処理部と507〜509、513の外部装置との連結を行うシステムバス、
511は、全地球測位システム(GPS)から送出されるGPS信号を利用して、データ受信装置の現在位置を示す現在位置データを求めることができる位置検出部、
512は、前記現在位置データと対応した住所や地図などの位置情報が記憶されている位置情報記憶部、
513は、前記画像情報管理テーブルから目的の情報を検索する検索部、
を示している。
【0063】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析するとともに、携帯通信端末等の位置データを検出し、その位置データを使って、上記抽出した文字情報等の中で重要なものを取り出して、接続先を決定している。
【0064】
なお、位置情報記憶部512は通信端末内にある場合と、インターネットサーバ上にある場合があり、インターネットサーバ上にある場合は通信部506を使用して位置情報を取得する。
【0065】
さらに、位置検出部511は入力部501が画像を取得したときに現在位置データを取得する。
【0066】
図6は、撮影された2枚の画像の一例であり、前記実施の形態1と同様の処理により、画像情報管理テーブルが作成されるが、ここで、文字情報抽出部503によってキーワードを抽出する際に、画像の中心近くに位置するキーワードの重要度を高く、逆に、画像の中心から離れて位置しているキーワードの重要度を低く設定して、画像情報管理テーブルに記録する。図6の例では、図6のPhoto1には文字列のキーワードとして「株式会社ABC」が存在しており、文字列の位置も画像のほぼ中心に位置しているので重要度を高く設定する。また、図6のPhoto2には文字列のキーワードとして「XYZ商店」と「株式会社ABC」が存在しているが、「XYZ商店」の重要度は高く、「株式会社ABC」の重要度は低く設定する。これは、利用者が気に入った被写体を撮影する時、その被写体を画像の中央にもってくるという行動を利用して、画像の特徴をより的確に表すキーワードとして、画像の中央に位置するキーワードの重要度を高く設定したものである。
【0067】
なお、本実施の形態では、キーワードの画像中の位置に応じてその重要度を決定する例で説明するが、キーワードの文字の大きさに応じて重要度を決定することも可能である。
【0068】
図7は、画像情報管理テーブル管理部505が生成する画像情報管理テーブルの一例を示した図であり、入力部501で取得した画像と前記画像を取得した日時、文字情報抽出部503で抽出したキーワードとキーワードに応じた重要度、接続先決定部504で決定された接続先、前記画像を取得したときに位置検出部511で取得された現在位置データ、前記現在位置データに対応した位置情報記憶部512の位置情報とを関連付けてテーブルとして記録する。なお、一枚の画像内に複数のキーワードが存在するときは、キーワードの数だけテーブルが作成される。
【0069】
図8は、本発明のデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置の記録媒体507に記録されている画像情報管理テーブルから、キーワードによる検索を処理する流れを示したフローチャートであり、図5、図7、図8を参照しながら、以下、その動作を説明する。
【0070】
ステップ3−1)処理開始(図8のS801)。
【0071】
ステップ3−2)記録媒体507から画像情報管理テーブルを呼び出す(図8のS802)。
【0072】
ステップ3−3)ユーザがユーザ操作部508を通じて検索対象とするテーブルを選択する(図8のS803)。
【0073】
ステップ3−4)検索対象がキーワードであればステップ3−5)を処理する。検索対象がキーワードでなければステップ3−6)を処理する(図8のS804)。
【0074】
ステップ3−5)検索対象はキーワードであると決定し、ステップ3−14)を処理する(図8のS805)。
【0075】
ステップ3−6)検索対象が接続先であればステップ3−7)を処理する。検索対象が接続先でなければステップ3−8)を処理する(図8のS806)。
【0076】
ステップ3−7)検索対象は接続先であると決定し、ステップ3−14)を処理する(図8のS807)。
【0077】
ステップ3−8)検索対象が取得日時であればステップ3−9)を処理する。検索対象が取得日時でなければステップ3−10)を処理する(図8のS808)。
【0078】
ステップ3−9)検索対象は取得日時であると決定し、ステップ3−14)を処理する(図8のS809)。
【0079】
ステップ3−10)検索対象が取得場所であればステップ3−11)を処理する。検索対象が取得場所でなければステップ3−12)を処理する(図8のS810)。
【0080】
ステップ3−11)検索対象は取得場所であると決定し、ステップ3−14)を処理する(図8のS811)。
【0081】
ステップ3−12)検索対象がコメントであればステップ3−13)を処理する。検索対象がコメントでなければステップ3−3)に戻る(図8のS812)。
【0082】
ステップ3−13)検索対象はコメントであると決定し、ステップ3−14)を処理する(図3のS813)
ステップ3−14)ユーザがユーザ操作部508を通じて検索文字列を入力する(図8のS814)。
【0083】
ステップ3−15)ステップ3−3〜13)で決定された検索対象とステップ3−14)の検索文字列と画像情報管理テーブルとを比較し、適合した項目のリストを作成する(図8のS815)。
【0084】
ステップ3−16)前ステップで作成されたリストの一覧を提示部509で表示する(図8のS816)。
【0085】
ステップ3−17)前ステップで表示されたリストの一覧からユーザがユーザ操作部509を通じてリストの一つを選択し、選択されたキーワードに対して画像情報管理テーブルによって関連付けられている画像とその関連情報を提示部509で表示する(図8のS817)。
【0086】
ステップ3−18)処理終了(図8のS818)。
【0087】
以上の処理により、記録媒体507に記録された画像情報管理テーブルから検索対象と検索文字列によって画像とその関連情報を検索することができる。
【0088】
図9は、検索画面の一例であり、検索対象を「キーワード」、検索文字列を「株式会社」とすると、図8の処理により検索結果のリストが表示される。ここで、リストを表示する際に、前記文字情報抽出部503によりキーワードごとに設定された重要度の高い順に並べて表示することによって、ユーザが所望する画像をより効率的に検索することができるという効果が得られる。図9の例では、Photo1とPhoto2の「株式会社ABC」が検索結果として提供されているが、Photo1の方が重要度が高く設定してあるため、Photo1がPhoto2よりも先に表示される。
【0089】
次に、図10は、図9の検索結果のリストから一つを選択したときの画面の一例であり、ユーザがリストから選択したキーワードに対して画像情報管理テーブルによって関連付けられている画像と取得日時、取得場所、コメント、接続先のデータが表示される。
【0090】
ここで、図10に表示された画像内のホームページアドレスをクリックすると、図4の処理によってホームページアドレスに接続し、ホームページアドレス先のデータが画像情報管理テーブルで関連付けられている接続先のデータより新しければ、前記接続先のデータを更新して図10のWWWブラウザに表示する。一方、前記ホームページアドレスのデータが前記接続先のデータと同じであれば、データを受信しない。
【0091】
さらに、図10に表示された画像内の電話番号をクリックすると、図4の処理に従って電話番号先に電話をかける。
【0092】
さらに、図10に表示された画像取得日時や画像取得場所、コメントをクリックすると、クリックされた情報を検索対象または検索文字列とし、図8の処理によって再び検索を行うことができる。
【0093】
以上のように本実施の形態によるデジタル画像から抽出したキーワードを利用して通信を行う携帯通信端末装置において、画像とその画像に関連する情報は前記画像情報管理テーブルによって管理されているため、画像内のキーワードや画像の取得場所、取得日時などによって容易に画像を検索することができるという効果が得られる。
【0094】
さらに、画像を表示したときに、前記画像情報管理テーブルによって関連付けられている情報も合わせて表示されるため、いつどこで取得した画像であるかを容易に想起することができるという効果が得られる。
【0095】
(実施の形態3)
図11は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置とインターネット上の共有データベースサーバとから構成されるデータ検索システムの構成図の一例を示した図である。
図11において、
1100は、共有データベースサーバ、
1101は、図5の構成を有する携帯通信端末、
1102は、1101と接続可能な通信部、
1103は、1101からのデータを共有データベースに登録する登録部、
1104は、1103からのデータを共有画像情報管理テーブルとして記録する共有データベース、
1105は、1104の共有画像情報管理テーブルから目的の情報を検索する検索部、
を示している。
【0096】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定するだけでなく、上記の抽出した文字情報等を、他のユーザが利用可能になるように共有データベースとして蓄積し、提供するようにしている。
【0097】
ここで、共有データベース1104に記録されている共有画像情報管理テーブルは図7と同様のテーブル構成に加え、新たに携帯通信端末1101の所有者情報の項目が追加された構成である。
【0098】
図12は、携帯通信端末1101内の記録媒体に記録されている画像情報管理テーブルを共有データベース1104内の共有画像情報管理テーブルに登録する処理の流れを示したフローチャート図であり、図5、図11、図12を参照しながら、以下、その動作を説明する。
【0099】
ステップ4−1)処理開始(図12のS1201)。
【0100】
ステップ4−2)携帯通信端末1101と通信部1102とを接続する(図12のS1202)。
【0101】
ステップ4−3)通信端末1101内の記録媒体507に記録されている画像情報管理テーブルと携帯通信端末1101の所有者情報を登録部1103に送信する(図12のS1203)。
【0102】
ステップ4−4)登録部1103がステップ4−3)で送信されたデータを受信する(図12のS1204)。
【0103】
ステップ4−5)登録部1103が受信した画像情報管理テーブルと所有者情報を共有データベース1104の共有画像情報管理テーブルに登録する(図12のS1205)。
【0104】
ステップ4−6)処理終了(図12のS1206)。
【0105】
以上の処理により、携帯通信端末内の画像情報管理テーブルをインターネット上の共有データベースに登録することができる。
【0106】
次に、図13は、共有データベースに記録されている共有画像情報管理テーブルから目的の情報を検索し取得する処理の流れを示したフローチャート図であり、図5、図11、図13を参照しながら、以下、その動作を説明する。
【0107】
ステップ5−1)処理開始(図13のS1301)。
【0108】
ステップ5−2)携帯通信端末1101と通信部1102とを接続する(図13のS1302)。
【0109】
ステップ5−3)実施の形態2と同様の処理により、ユーザが取得したい画像の検索対象と検索文字列を携帯通信端末1101内のユーザ操作部508を通じて入力し、検索部1105に送信する(図13のS1303)。
【0110】
ステップ5−4)前ステップで送信された前記検索対象と前記検索文字列を検索部1105が受信する(図13のS1304)。
【0111】
ステップ5−5)実施の形態2と同様の処理により、共有画像情報管理テーブルから前記検索対象と前記検索文字列に適合したテーブル情報を検索する(図13のS1305)。
【0112】
ステップ5−6)前ステップの検索結果を携帯通信端末1101に送信する(図13のS1306)。
【0113】
ステップ5−7)前ステップで送信された検索結果を携帯受信端末1101が受信する(図13のS1307)。
【0114】
ステップ5−8)検索結果を携帯通信端末1101内の提示部508で表示する(図13のS1308)。
【0115】
ステップ5−9)処理終了(図13のS1309)。
【0116】
以上の処理により、共有データベースに記録された共有画像情報管理テーブルを検索し、その結果を携帯通信端末で参照することができる。
【0117】
以上のように本発明によるデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置とインターネット上の共有データサーバとが通信回線を通じて画像情報管理テーブルを送受信することができるため、携帯通信端末内の記録媒体の記憶容量が小さい場合でも、共有データベースの記録容量が大きければ、より多くの画像とその関連情報を記録できるという効果が得られる。
【0118】
さらに、画像情報管理テーブルを共有することによって、他のユーザが取得した画像とその関連情報を利用することができるため、より多くの情報を得ることができるという効果が得られる。
【0119】
さらに、共有データベースにおける画像もまた前記画像情報管理テーブルとして記録するため、共有データベースに記録されている画像をキーワードによって容易に検索することができるという効果が得られる。
【0120】
(実施の形態4)
図14は、本発明のデジタル画像から取り出したキーデータを利用して通信を行う携帯通信端末装置でのデータ検索システムの構成図の一例を示した図である。
図14において、
1400は、通信端末装置、
1401は、デジタルカメラや画像入力装置、伝送路などから画像が入力される画像入力部、
1402は、1401で入力された画像を蓄積する画像データ蓄積部、
1403は、1402に蓄積された画像データから、他の情報を検索するための検索キーデータを取り出す検索キーデータ抽出部、
1404は、1403で取り出された検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積する検索キー予約データ蓄積部、
1405は、1403で取り出された検索キーデータと1404に蓄積されている検索キー予約データとから接続先を決定し接続する自動検索接続部、
1406は、1402に蓄積された画像データに表示されているオブジェクトを分析し、1403で取り出す検索キーデータの重要度を判別する画像解析検索部、
1407は、1402に蓄積された画像と1403で取り出された検索キーデータと1406で判別された前記キーデータに対する重要度とを関連付けた画像検索キー関連データを作成し、管理する画像検索キー関連データ管理部、
1408は、通信端末が存在する場所を示す位置データを検出する位置データ検出部、
1409は、1407で作成された画像検索キー関連データと1408で検出された位置データを使って、ユーザにサービスを提供するサービス提供部、
1410は、1407で作成された画像検索キー関連データを、サーバにアップロードし、他のユーザからも利用可能にする画像検索キー関連データ提供部、
を示している。
【0121】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析することにより、接続先を決定するだけでなく、上記の抽出した文字情報等を、他のユーザが利用可能になるように共有データベースとして蓄積し、提供するようにし、接続先を決定するための検索キー予約データを使って、上記文字情報等から必要な検索キーを取り出している。
【0122】
次に、入力された画像から検索キーデータを抽出し、自動的に接続先に接続するまでの処理を説明する。
【0123】
ステップ6−1)画像入力部1401で画像を取り込み、画像データ蓄積部1302に蓄積する。
【0124】
ステップ6−2)検索キーデータ抽出部1403で、前記画像データから他の情報を検索するための検索キーデータを取り出す。
【0125】
ステップ6−3)自動検索接続部1405で、前記検索キーデータと検索キー予約データ蓄積部1404に蓄積されている検索キー予約データとをパターンマッチングさせ、パターンマッチした検索キー予約データに対応した接続先を決定する。
【0126】
ステップ6−4)前記自動検索接続部1405で決定された接続先に自動的に接続する。
【0127】
このようにして、画像から検索キーデータを取り出し、その検索キーデータに適した接続先に自動的に接続することができる。
【0128】
次に、画像から抽出された検索キーデータに重要度を付加し、画像検索キー関連データを作成し利用するまでの処理を説明する。
【0129】
ステップ7−1)画像入力部1401で画像を取り込み、画像データ蓄積部1302に蓄積する。
【0130】
ステップ7−2)検索キーデータ抽出部1403で、前記画像データから他の情報を検索するための検索キーデータを取り出す。
【0131】
ステップ7−3)画像解析検索部1406で、前記画像データに表示されているオブジェクトを分析し、検索キーデータの重要度を決定する。例えば、画像の中心に位置する検索キーデータの重要度を高くする。
【0132】
ステップ7−4)画像検索キー関連データ管理部1407で、前記画像データ、前記検索キーデータ、前記重要度、前記画像データを取得したときの位置情報を互いに関連付けて画像検索キー関連データを生成する。
【0133】
ステップ7−5)画像検索キー関連データ提供部1410から、前記生成された画像検索キー関連データを他のユーザが利用可能なサーバにアップロードする。一方、他のユーザは前記アップロードされた画像検索キー関連データをダウンロードし利用することができる。ダウンロードする際には通信端末が存在する位置データを位置データ検出部1408から取得し、取得した位置データに近い位置データを有している画像検索キー関連データのみをダウンロードすることや、前記重要度の高いものだけをダウンロードすることもできる。
【0134】
このようにして、画像に埋め込まれた検索キーデータを自動的に取り出すとともに、画像データを取得したときの位置データや、画像データに表示されているオブジェクトを分析して検索キーデータに対して重要度を決定し、それらを画像データと関連付けて画像検索キー関連データとして記録されるので、自ら画像に対するコメント等を入力しなくても、後に容易に画像データを検索することができる。
【0135】
さらに、画像検索キー関連データとして共通のフォーマットでサーバにアップロードすることによって、他のユーザがサーバに存在する膨大なデータの中から目的のデータをより容易に検索し、利用することができる。
【0136】
そして、ダウンロードした画像検索キーデータからステップ6−1〜4)の処理によって自動的に目的の接続先に接続することができる。
【0137】
(実施の形態5)
図15は、本発明のデジタル画像から抽出したキーワード(文字情報)を利用して通信を行う携帯通信端末装置でのデータ検索システムの構成図の一例を示した図である。
【0138】
図15において、
1500は、通信端末装置、
1501は、デジタルカメラや画像入力装置、伝送路などから画像が入力される画像入力部、
1502は、1501で入力された画像を蓄積する画像データ蓄積部、
1503は、1502に蓄積された画像データから、他の情報に接続するための接続先データを取り出す接続先データ抽出部、
1504は、1503で取り出された接続先データを使って、他のデータベースに接続するデータアクセス部、
1505は、1502に蓄積された画像データに表示されているオブジェクトを分析し、1503で取り出す接続先データの重要度を判別する画像解析検索部、
1506は、1502に蓄積された画像と1503で取り出された接続先データと1505で判別された前記接続先データに対する重要度とを関連付けた画像検索関連データを作成し、管理する画像検索関連データ管理部、
1507は、通信端末が存在する場所を示す位置データを検出する位置データ検出部、
1508は、1506で作成された画像検索関連データと1507で検出された位置データを使って、ユーザにサービスを提供するサービス提供部、
1509は、1506で作成された画像検索キー関連データをサーバにアップロードし、他のユーザからも利用可能にする画像検索関連データ提供部、
を示している。
【0139】
本実施の形態では、ユーザ携帯端末等から画像データを取り込み、その画像データからインターネット等で接続できるようにキーワードになる文字情報等を抽出し、分析し、さらに、画像データに表示されているオブジェクトを分析し、接続先を重要度をつけて決めている。
【0140】
次に、入力された画像から接続先データを抽出し、他のデータベースに接続するまでの処理を説明する。
【0141】
ステップ8−1)画像入力部1501で画像を取り込み、画像データ蓄積部1502に蓄積する。
【0142】
ステップ8−2)接続先データ抽出部1503で、前記画像データから接続先データを取り出す。
【0143】
ステップ8−3)データアクセス部1503で、前記接続先データが示すデータベースに接続する。
【0144】
このようにして、画像に含まれている接続先データを使って、他のデータベースに接続することができる。
【0145】
次に、画像から抽出された接続先データに重要度を付加し、画像検索関連データを作成し利用するまでの処理を説明する。
【0146】
ステップ9−1)画像入力部1501で画像を取り込み、画像データ蓄積部1502に蓄積する。
【0147】
ステップ9−2)接続先データ抽出部1503で、前記画像データから接続先データを取り出す。
【0148】
ステップ9−3)画像解析接続部1505で、前記画像データに表示されているオブジェクトを分析し、接続先データの重要度を決定する。例えば、画像の中心に位置する接続先データの重要度を高くする。
【0149】
ステップ9−4)画像検索キー関連データ管理部1506で、前記画像データ、前記接続先データ、前記重要度、前記画像データを取得したときの位置情報を互いに関連付けて画像検索関連データを生成する。
【0150】
ステップ9−5)画像検索関連データ提供部1509から、前記生成された画像検索関連データを他のユーザが利用可能なサーバにアップロードする。一方、他のユーザは前記アップロードされた画像検索関連データをダウンロードし利用することができる。ダウンロードする際には通信端末が存在する位置データを位置データ検出部1308から取得し、取得した位置データに近い位置データを有している画像検索関連データのみをダウンロードすることや、前記重要度の高いものだけをダウンロードすることもできる。
【0151】
このようにして、画像に埋め込まれた接続先データを自動的に取り出すとともに、画像データを取得したときの位置データや、画像データに表示されているオブジェクトを分析して接続先データに対して重要度を決定し、それらを画像データと関連付けて画像検索関連データとして記録されるので、自ら画像に対するコメント等を入力しなくても、後に容易に画像データを検索することができる。
【0152】
さらに、画像検索関連データとして共通のフォーマットでサーバにアップロードすることによって、他のユーザがサーバに存在する膨大なデータの中から目的のデータをより容易に検索し、利用することができる。
【0153】
そして、ダウンロードした接続先データからステップ8−1〜3)の処理によって自動的に目的の接続先に接続することができる。
【0154】
【発明の効果】
以上のように、
第1の発明は、無線あるいは有線の通信回線を利用してデータを送受信する通信端末であって、前記通信端末は、デジタル画像を入力する入力部と、前記入力部で入力されたデジタル画像を記録する画像記録部と、前記デジタル画像が記録される記録媒体と、前記記録媒体に記録されたデジタル画像を読み出し、前記デジタル画像からキーワードとなる文字列を抽出する文字情報抽出部と、前記文字情報抽出部で抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断する接続先決定部と、前記デジタル画像を前記文字列情報抽出部で抽出されたキーワードと前記接続先決定部で判断された接続先情報と関連づけて管理するための画像情報管理テーブルを生成し、管理する画像情報管理テーブル管理部を有することにより、前記画像情報管理テーブルを使って、入力されたデジタル画像を画像から抽出されるキーワード、さらには、URLアドレスや電話番号などの接続先情報と関連付けて容易に管理できるという効果が得られる。
【0155】
第2の発明では、前記通信端末は、さらに、前記デジタル画像から抽出されたキーワードの一覧を提示する提示部と、前記提示部に提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるユーザ操作部と、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得し、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得する通信部を有することにより、ユーザが接続先を指定することなく、キーワードを選択するだけで適切な接続先に接続することができるという効果が得られる。
【0156】
第3の発明では、前記通信端末は、前記ユーザ操作部にユーザがキー入力した検索文字列を受け付ける機能を持たせ、さらに、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索する検索部を有し、さらには、前記キーワードと関連付けられているデジタル画像を取得し、提示する提示部を有することにより、前記画像情報管理テーブルによって関連付けられたキーワードに基づいて、ユーザが入力した検索文字列に適合するデジタル画像を容易に検索できるという効果が得られる。
【0157】
第4の発明は、本発明の通信端末とデータを送受信するデータサーバであって、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録する登録部と、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワード及び前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索する検索部を有することにより、画像を撮影したユーザ以外の他のユーザも、データサーバに登録された前記画像情報管理テーブルを利用することで、デジタル画像に関連づけられたキーワードに基づいて、デジタル画像を容易に検索、取得して閲覧でき、複数のユーザ間で画像データを容易に共有できるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における携帯通信端末装置の構成図
【図2】本発明の第1の実施形態における携帯通信端末装置の記憶媒体に記録される画像情報管理テーブルのイメージ図
【図3】本発明の第1の実施形態における取得画像から画像情報管理テーブル作成処理までのフローチャート
【図4】本発明の第1の実施形態における画像情報管理テーブルから接続先の情報の取得処理までのフローチャート
【図5】本発明の第2の実施形態における携帯通信端末装置の構成図
【図6】本発明の第2の実施形態における形態通信端末装置の取得画像のイメージ図
【図7】本発明の第2の実施形態における携帯通信端末装置の記憶媒体に記録される画像情報管理テーブルのイメージ図
【図8】本発明の第2の実施形態における携帯通信端末装置の検索処理のフローチャート
【図9】本発明の第2の実施形態における携帯通信端末装置の検索画面のイメージ図
【図10】本発明の第2の実施形態における携帯通信端末装置の検索結果画面のイメージ図
【図11】本発明の第3の実施形態における携帯通信端末装置と共有データベースサーバによる構成図
【図12】本発明の第3の実施形態における共有データベースサーバに画像情報管理テーブルを記録する処理のフローチャート
【図13】本発明の第3の実施形態における共有データベースサーバに記録されている共有画像情報管理テーブルから目的の情報を検索する処理のフローチャート
【図14】本発明の第4の実施の形態におけるデータ検索システムの通信端末装置の構成図
【図15】本発明の第5の実施の形態におけるデータ検索システムの通信端末装置の構成図
【符号の説明】
100、500 通信端末
101、501 入力部
102、502 画像記憶部
103、503 文字情報抽出部
104、504 接続先決定部
105、505 画像情報管理テーブル管理部
106、506 通信部
107、507 記録媒体
108、508 ユーザ操作部
109、509 提示部
110、510 システムバス
511 位置検出部
512 位置情報記憶部
513 検索部
1100 共有データベースサーバ
1101 通信端末
1102 通信部
1103 登録部
1104 共有データベース
1105 検索部
1400、1500 通信端末
1401、1501 画像入力部
1402、1502 画像蓄積部
1403 検索キーデータ抽出部
1404 検索キー予約データ蓄積部
1405 自動検索接続部
1406 画像解析検出部
1407 画像検索キー関連データ管理部
1408、1507 位置データ検出部
1409、1508 サービス提供部
1410 画像検索キー関連データ提供部
1503 接続先データ抽出部
1504 データアクセス部
1505 画像解析接続部
1506 画像検索関連データ管理部
1509 画像検索関連データ提供部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention particularly relates to a mobile communication terminal with a camera for extracting character information from a captured image, managing the image using the extracted character information, and connecting to an appropriate communication destination.
[0002]
[Prior art]
Conventionally, mobile communication terminals such as mobile phones have not been widely used, and it has not been easy to view the homepage while on the go, so after returning home etc., accessing the homepage with a fixed terminal, They had to send and receive data.
[0003]
[Problems to be solved by the invention]
However, in recent years, it has become as follows.
[0004]
(1) In recent years, mobile communication terminals such as mobile phones and PDAs compatible with wireless Internet have become commonplace, and users can access an Internet homepage found on the go.
[0005]
(2) Also, by connecting a digital camera to a mobile communication terminal, it is possible to transmit a photographed image to a third party using wireless internet or upload it to a server.
[0006]
In the mobile terminal of the above (1), in order to browse the homepage of the URL address described in the signboard in the city or the advertisement hanging on the train, the URL address is first copied on paper and attached to the mobile terminal. It is necessary to start the WWW browser and input the copied URL address into the WWW browser using a keyboard or other input device, and there is a problem that it is inconvenient to browse the homepage immediately on the spot. .
[0007]
In the conventional digital camera of (2), the user often inputs a "photographing place" and a "comment" so that the photographed image can be easily searched later. However, there is a problem that the user needs to manually input using a keyboard or other input device, which is troublesome. In addition, the "comment" input by the user may be easily recalled by the photographer, but may not always be appropriate for a third party to search for an image based on the comment. For this reason, there is a problem that the method is not suitable for a purpose of searching for a desired image from a huge number of images disclosed by a plurality of individuals.
[0008]
An object of the present invention is to extract a character string (for example, company name, address, URL address, telephone number, etc. described on a signboard) from a digital image and use the extracted character string to easily search for the digital image. Another object of the present invention is to provide a communication terminal capable of easily acquiring detailed information by connecting to a communication partner and further easily sharing a captured image with a third party.
[0009]
[Means for Solving the Problems]
In order to solve the above issues,
First, a communication terminal of the present invention analyzes a keyword extracted by a character string extraction unit that extracts a character string serving as a keyword from a digital image input to the communication terminal, A connection destination determining unit that determines whether a keyword indicates connection destination information necessary for connecting to a communication partner, and a keyword extracted by the digital image and the character string information extraction unit and the connection destination determination unit Using an image information management table management unit for generating and managing an image information management table for managing in association with the determined connection destination information, and using a wireless or wired means for the connection destination determined by the connection destination determination unit And a communication unit for transmitting and receiving data.
[0010]
Thus, using the image information management table, the input digital image can be managed in association with a keyword extracted from the image and further with connection destination information such as a URL address and a telephone number. Furthermore, when the communication terminal has a position detection function using a GPS signal, the shooting location can be registered in the image information management table, and can be managed in association with the shooting location.
[0011]
Then, it is possible to easily connect to a connection destination associated with the keyword by the image information management table and the connection destination determination unit, for example, a homepage of a URL address or a telephone number, and acquire data.
[0012]
Secondly, the communication terminal of the present invention has a user operation unit for receiving a search character string entered by a user as a key, and a search unit for searching for a keyword matching the search character string using the image information management table. Further, the present invention is characterized by having a presenting unit for acquiring and presenting a digital image associated with the keyword.
[0013]
This makes it possible to easily search for a digital image based on the keyword associated with the image information management table.
[0014]
Third, a data server for transmitting and receiving data to and from the communication terminal of the present invention includes a registration unit that receives the image information management table and the digital image managed by the image information management table from the communication terminal, and registers the digital image in a database. A search unit that receives a search string from the communication terminal and searches for a keyword matching the search string and a digital image associated with the keyword using an image information management table registered in the database. And transmitting the keyword and the digital image of the search result to the communication terminal.
[0015]
This allows a user other than the user who captured the image to easily search, acquire, and browse the digital image based on the keyword associated with the image information management table, and to easily view the image among a plurality of users. Can be shared to
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
FIG. 1 is a diagram illustrating an example of a functional block diagram illustrating a configuration of a data search system that performs communication using a keyword (character information) extracted from a digital image according to the present invention.
In FIG.
100 is a mobile communication terminal,
101, an input unit to which an image is input;
102, an image recording unit for recording the image acquired in 101,
103, a character information extraction unit for extracting a keyword from the image acquired in 101;
104: a connection destination determining unit that compares the keyword extracted in 103 with a preset reserved word, and determines a connection destination based on the matched reserved word;
An image information management table management unit 105 associates an image recorded in 102 with information related to the image, a keyword acquired in 103, and a connection destination address determined in 104, and creates an image information management table.
106, a communication unit that connects to the connection destination associated with the keyword in 105 using a wireless or wired communication line and transmits and receives data to and from the connection destination;
107, an image recorded in 102, a keyword extracted in 103, a connection destination address determined in 104, an image information management table created in 105, a recording medium for recording data acquired in 106,
108, a user operation unit for transmitting operations from the user to 102 to 106;
Reference numeral 109 denotes an image recorded in 102, a keyword extracted in 103, a connection destination address determined in 104, an image information management table created in 105, data acquired in 106, and data recorded in 107 on a screen. Presentation part for displaying on the
110 is a system bus for connecting the internal processing units 101 to 106 to external devices 107 to 108;
Is shown.
[0018]
In the present embodiment, a connection destination is determined by fetching image data from a user portable terminal or the like, extracting character information or the like serving as a keyword from the image data so as to be connectable via the Internet or the like, and analyzing it.
[0019]
The input unit 101 may be a camera itself, or may be an interface for acquiring an external image (such as an image on the Internet or an image stored in an external recording device).
[0020]
FIG. 2 is an example of an image information management table diagram generated by the image information management table management unit 105 in the data search system according to the present embodiment.
[0021]
2, the image acquired by the input unit 101, the date and time when the image was acquired, the keyword extracted by the character information extraction unit 103, and the connection destination determined by the connection destination determination unit 104 are recorded as a table in association with each other. When a plurality of keywords are present in one image, tables are created for the number of keywords.
[0022]
FIG. 3 is a flowchart showing a flow until a keyword is extracted from an image obtained by the input unit 101 in a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention. The operation will be described below with reference to FIG.
[0023]
Step 1-1) Processing starts (S301 in FIG. 3).
[0024]
Step 1-2) An image is acquired by the input unit 101 (S302 in FIG. 3).
[0025]
Step 1-3) Acquire the date and time when step 1-2) was executed (S303 in FIG. 3).
[0026]
Step 1-4) The image acquired in steps 1-2 and 3) and the data of the acquisition date and time are recorded in the image recording unit 102 (S304 in FIG. 3).
[0027]
Step 1-5) Extract keywords from the image recorded in step 1-4). If there are a plurality of keywords in the image, create lists as many as the number of keywords. (S305 in FIG. 3).
[0028]
Step 1-6) The first entry of the keyword list is obtained (S306 in FIG. 3).
[0029]
Step 1-7) Compare a preset reserved word with a keyword (S307 in FIG. 3).
[0030]
Step 1-8) Check whether the keyword includes a reserved word (“http: //”, “www”, “.com”, etc.) indicating the homepage address, and if so, execute step 1-9) To process. If not included, step 1-10) is processed (S308 in FIG. 3).
[0031]
Step 1-9) The connection destination of the keyword is determined to be the homepage address, and step 1-13) is processed (S309 in FIG. 3).
[0032]
Step 1-10) It is checked whether the keyword includes a reserved word indicating a telephone number (“telephone number”, “Tel”, etc.), and if it does, step 1-11) is processed. If not included, step 1-12) is processed (S310 in FIG. 3).
[0033]
Step 1-11) It is determined that the connection destination of the keyword is a telephone number, and step 1-13) is processed (S311 in FIG. 3).
[0034]
Step 1-12) It is determined that the connection destination of the keyword is other, and step 1-13) is processed (S312 in FIG. 3).
[0035]
Step 1-13) The data recorded in the image recording unit 102 in step 1-4) and the connection destination determined in steps 1-7 to 12) are written in the image information management table and recorded on the recording medium 107 (FIG. 3 (S313).
[0036]
Step 1-14) Check if it is the last of the keyword list, and if it is the last, process step 1-16). If it is not the last, step 1-15) is processed (S314 in FIG. 3).
[0037]
Step 1-15) Acquire the next entry in the keyword list, and return to step 1-7) (S315 in FIG. 3).
[0038]
Step 1-16) end the process (S316 in FIG. 3).
[0039]
By the above processing, the keyword is extracted by the character extracting unit 103 from the image acquired by the input unit 101, the optimal connection destination is determined by the connection destination determining unit 104 from the extracted keyword, and the image information management table management unit An image, a keyword, connection destination information, an acquisition date and time, and a comment if necessary can be associated with the information management table.
[0040]
Here, the reserved words are only the homepage address and the telephone number, but other reserved words can be added. For example, if an international standard book number (ISBN) is added as a reserved word and the connection destination is set in advance as an ISBN search server having book information corresponding to ISBN, if the keyword is ISBN, the ISBN is automatically set. By connecting to a search server, it is possible to obtain book information corresponding to ISBN.
[0041]
FIG. 4 illustrates a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention, and determines a communication destination suitable for the keyword from the image information management table stored in the recording medium 106 by the processing of FIG. 3 is a flowchart showing a flow up to connection, and the operation will be described below with reference to FIGS.
[0042]
Step 2-1) Start processing (S401 in FIG. 4).
[0043]
Step 2-2) In response to a request from the user operation unit 108, the image information management table is called from the recording medium 107 (S402 in FIG. 4).
[0044]
Step 2-3) A keyword to be connected is selected from the image information management table through the user operation unit 108 (S403 in FIG. 4).
[0045]
Step 2-4) Call a connection destination corresponding to the selected keyword from the image information management table (S404 in FIG. 4).
[0046]
Step 2-5) Check whether the called connection destination is a homepage address, and if it is a homepage address, process step 2-6). If it is not the homepage address, step 2-8) is processed (S405 in FIG. 4).
[0047]
Step 2-6) The communication unit 106 connects to the Internet (S406 in FIG. 4).
[0048]
Step 2-7) Using the keyword as the home page address, obtain the data of the home page at the address, and process step 2-13) (S407 in FIG. 4).
[0049]
Step 2-8) Check whether the called connection destination is a telephone number, and if it is a telephone number, process step 2-9). If it is not a telephone number, step 2-11) is processed (S409 in FIG. 4).
[0050]
Step 2-9) Make a call from the communication unit 106 using the keyword as a telephone number (S409 in FIG. 4).
[0051]
Step 2-10) A call is started, and step 2-15) is processed (S410 in FIG. 4).
[0052]
Step 2-11) Connect to the Internet via the communication unit 106 (S411 in FIG. 4)
Step 2-12) Connect to a preset Internet search server, transmit the keyword to the search server, and process step 2-13) (S412 in FIG. 4).
[0053]
Step 2-13) Record the information received from the connection destination in the information on the connection destination in the image information management table (S413 in FIG. 4).
[0054]
Step 2-14) The information received from the connection destination is output to the presentation unit 109 (S414 in FIG. 4).
[0055]
Step 2-15) Processing is completed (S415 in FIG. 4).
[0056]
With the above processing, it is possible to automatically connect to the connection destination corresponding to the keyword from the image information management table stored in the recording medium 107, and record or present the data of the connection destination to the user.
[0057]
As described above, in the portable communication terminal device that performs communication using the keyword extracted from the digital image according to the present embodiment, the keyword is automatically extracted from the acquired digital image, and the connection destination is automatically determined from the keyword and the reserved word. For example, when a user finds a signboard with a homepage address or phone number written in a city, the user can directly access the homepage address or phone number written on the signboard simply by copying the signboard with the camera. It is possible to obtain the effect that the user can save the trouble of copying and remembering the homepage address and the telephone number.
[0058]
Further, in the example of the present embodiment, the connection destination is only the homepage address, the telephone number, and the search server. However, as described above, if the keyword is ISBN, an access is made to the ISBN search server, and the book information corresponding to the ISBN is retrieved. It is also possible to obtain.
[0059]
Furthermore, it is also possible to access the dictionary server using keywords such as kanji which cannot be understood by the camera or English words whose meaning cannot be understood as a keyword, and to check how to read kanji and the meaning of English words.
[0060]
In this way, by setting a reserved word corresponding to a keyword in advance, the connection is automatically made to an appropriate connection destination for each keyword, thereby eliminating the need for the user to search for a connection destination for each keyword. Is obtained.
[0061]
Further, since the image and the keyword are recorded in association with each other, when the keyword is called later, the image can be viewed at the same time, so that an effect that the user can easily recall when and where the keyword is obtained is obtained. .
[0062]
(Embodiment 2)
FIG. 5 is a diagram showing an example of a configuration diagram of a data search system for performing communication using a keyword (character information) extracted from a digital image according to the present invention.
In FIG.
500 is a mobile communication terminal,
501, an input unit to which an image is input;
502, an image recording unit for recording an image;
503, a character information extraction unit for extracting a keyword from the image acquired in 501;
A connection destination determining unit 504 that compares the keyword extracted in 503 with a preset reserved word, and determines a connection destination based on the matched reserved word;
505, an image information management table management unit that associates the image recorded in 502 with information related to the image, the keyword acquired in 503, and the connection destination determined in 504;
A communication unit 506 connects to the connection destination determined in 504;
507, a recording medium for recording the output data of 502 to 506, 511;
508, a user operation unit that transmits operations from the user to 502 to 506, 511;
509, a presentation unit that outputs the processing results of 502 to 506, 511;
Reference numeral 510 denotes a system bus that connects the internal processing units 501 to 506, 511, and 512 to external devices 507 to 509 and 513;
511, a position detection unit that can obtain current position data indicating the current position of the data receiving device using a GPS signal transmitted from the global positioning system (GPS);
512, a position information storage unit that stores position information such as an address and a map corresponding to the current position data;
A search unit 513 searches for target information from the image information management table,
Is shown.
[0063]
In the present embodiment, image data is taken in from a user's portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that it can be connected via the Internet or the like. Then, by using the position data, important ones are extracted from the extracted character information and the like, and the connection destination is determined.
[0064]
Note that the location information storage unit 512 may be located in a communication terminal or on an Internet server. When located on an Internet server, the location information storage unit 512 uses the communication unit 506 to acquire location information.
[0065]
Further, the position detection unit 511 acquires current position data when the input unit 501 acquires an image.
[0066]
FIG. 6 is an example of two captured images, and an image information management table is created by the same processing as in the first embodiment. Here, a keyword is extracted by the character information extraction unit 503. At this time, the importance of keywords located near the center of the image is set high, and the importance of keywords located far from the center of the image is set low, and recorded in the image information management table. In the example of FIG. 6, “ABC Inc.” exists as a character string keyword in Photo 1 of FIG. In Photo2 of FIG. 6, “XYZ store” and “ABC Co., Ltd.” exist as character string keywords, but “XYZ store” has a high importance, and “ABC Co., Ltd.” has a low importance. Set. This is because when a user shoots a favorite subject, the user takes the subject to the center of the image, and as a keyword that more accurately expresses the characteristics of the image, the importance of the keyword located in the center of the image is important. The degree is set high.
[0067]
In the present embodiment, an example will be described in which the importance is determined according to the position of the keyword in the image. However, the importance may be determined according to the size of the character of the keyword.
[0068]
FIG. 7 is a diagram illustrating an example of the image information management table generated by the image information management table management unit 505. The image obtained by the input unit 501, the date and time when the image was obtained, and the character information extraction unit 503 are extracted. The keyword and the importance according to the keyword, the connection destination determined by the connection destination determination unit 504, the current position data acquired by the position detection unit 511 when the image is acquired, and the position information storage corresponding to the current position data The information is recorded as a table in association with the position information of the unit 512. When a plurality of keywords are present in one image, tables are created for the number of keywords.
[0069]
FIG. 8 is a flowchart showing a flow of processing a search by a keyword from an image information management table recorded in a recording medium 507 of a portable communication terminal device that performs communication using a keyword extracted from a digital image according to the present invention. The operation will be described below with reference to FIGS. 5, 7, and 8.
[0070]
Step 3-1) Start processing (S801 in FIG. 8).
[0071]
Step 3-2) The image information management table is called from the recording medium 507 (S802 in FIG. 8).
[0072]
Step 3-3) The user selects a table to be searched through the user operation unit 508 (S803 in FIG. 8).
[0073]
Step 3-4) If the search target is a keyword, step 3-5) is processed. If the search target is not a keyword, step 3-6) is processed (S804 in FIG. 8).
[0074]
Step 3-5) It is determined that the search target is a keyword, and step 3-14) is processed (S805 in FIG. 8).
[0075]
Step 3-6) If the search target is a connection destination, step 3-7) is processed. If the search target is not the connection destination, step 3-8) is processed (S806 in FIG. 8).
[0076]
Step 3-7) The search target is determined to be the connection destination, and step 3-14) is processed (S807 in FIG. 8).
[0077]
Step 3-8) If the search target is the acquisition date and time, step 3-9) is processed. If the search target is not the acquisition date, step 3-10) is processed (S808 in FIG. 8).
[0078]
Step 3-9) The search target is determined to be the acquisition date and time, and step 3-14) is processed (S809 in FIG. 8).
[0079]
Step 3-10) If the search target is the acquisition place, step 3-11) is processed. If the search target is not the acquisition location, step 3-12) is processed (S810 in FIG. 8).
[0080]
Step 3-11) The search target is determined to be the acquisition place, and step 3-14) is processed (S811 in FIG. 8).
[0081]
Step 3-12) If the search target is a comment, step 3-13) is processed. If the search target is not a comment, the process returns to step 3-3) (S812 in FIG. 8).
[0082]
Step 3-13) It is determined that the search target is a comment, and step 3-14) is processed (S813 in FIG. 3).
Step 3-14) The user inputs a search character string through the user operation unit 508 (S814 in FIG. 8).
[0083]
Step 3-15) The search target determined in steps 3-3 to 13) is compared with the search character string in step 3-14) and the image information management table, and a list of matched items is created (FIG. 8). S815).
[0084]
Step 3-16) The list of the list created in the previous step is displayed on the presentation unit 509 (S816 in FIG. 8).
[0085]
Step 3-17) The user selects one of the lists from the list displayed in the previous step through the user operation unit 509, and the image associated with the selected keyword in the image information management table and its association The information is displayed on the presentation unit 509 (S817 in FIG. 8).
[0086]
Step 3-18) Processing ends (S818 in FIG. 8).
[0087]
Through the above processing, the image and its related information can be searched from the image information management table recorded on the recording medium 507 by the search target and the search character string.
[0088]
FIG. 9 is an example of a search screen. Assuming that the search target is “keyword” and the search character string is “stock”, a list of search results is displayed by the processing of FIG. Here, when the list is displayed, the character information extracting unit 503 arranges and displays the list in descending order of importance set for each keyword, so that it is possible to more efficiently search for an image desired by the user. The effect is obtained. In the example of FIG. 9, “ABC Co., Ltd.” of Photo1 and Photo2 is provided as a search result, but Photo1 is displayed before Photo2 because Photo1 is set to have a higher importance.
[0089]
Next, FIG. 10 is an example of a screen when one is selected from the list of search results in FIG. 9. The image obtained by the user is associated with the image associated with the keyword selected from the list by the image information management table. The date, time, location, comment, and connection destination data are displayed.
[0090]
When the user clicks on the homepage address in the image displayed in FIG. 10, the connection to the homepage address is performed by the processing of FIG. 4, and the data at the homepage address is newer than the data at the connection destination associated in the image information management table. If so, the data of the connection destination is updated and displayed on the WWW browser of FIG. On the other hand, if the data of the homepage address is the same as the data of the connection destination, no data is received.
[0091]
Further, when a telephone number in the image displayed in FIG. 10 is clicked, a telephone call is made to the telephone number in accordance with the processing in FIG.
[0092]
Furthermore, when the image acquisition date and time, the image acquisition location, and the comment displayed in FIG. 10 are clicked, the clicked information is set as a search target or a search character string, and the search can be performed again by the processing in FIG.
[0093]
As described above, in the portable communication terminal device that performs communication using the keyword extracted from the digital image according to the present embodiment, the image and the information related to the image are managed by the image information management table. It is possible to obtain an effect that an image can be easily searched for according to a keyword in the image, an acquisition location of the image, an acquisition date and time, and the like.
[0094]
Furthermore, when the image is displayed, the information associated with the image information management table is also displayed, so that it is possible to easily recall when and where the image was obtained.
[0095]
(Embodiment 3)
FIG. 11 shows an example of a configuration diagram of a data search system according to the present invention, which includes a portable communication terminal device that performs communication using a keyword (character information) extracted from a digital image and a shared database server on the Internet. FIG.
In FIG.
1100 is a shared database server,
1101 is a mobile communication terminal having the configuration of FIG.
1102, a communication unit connectable to 1101;
1103, a registration unit for registering data from 1101 in a shared database;
1104, a shared database that records data from 1103 as a shared image information management table;
A search unit 1105 searches for the target information from the shared image information management table in 1104,
Is shown.
[0096]
In the present embodiment, image data is captured from a user portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that the user can connect to the Internet or the like. The extracted character information and the like are stored and provided as a shared database so that other users can use them.
[0097]
Here, the shared image information management table recorded in the shared database 1104 has a configuration in which an item of owner information of the portable communication terminal 1101 is newly added to the table configuration similar to that of FIG.
[0098]
FIG. 12 is a flowchart showing a flow of processing for registering the image information management table recorded on the recording medium in the portable communication terminal 1101 in the shared image information management table in the shared database 1104. The operation will be described below with reference to FIGS.
[0099]
Step 4-1) Processing starts (S1201 in FIG. 12).
[0100]
Step 4-2) Connect the portable communication terminal 1101 and the communication unit 1102 (S1202 in FIG. 12).
[0101]
Step 4-3) The image information management table recorded on the recording medium 507 in the communication terminal 1101 and the owner information of the portable communication terminal 1101 are transmitted to the registration unit 1103 (S1203 in FIG. 12).
[0102]
Step 4-4) The registration unit 1103 receives the data transmitted in step 4-3) (S1204 in FIG. 12).
[0103]
Step 4-5) The registration unit 1103 registers the received image information management table and owner information in the shared image information management table of the shared database 1104 (S1205 in FIG. 12).
[0104]
Step 4-6) Processing ends (S1206 in FIG. 12).
[0105]
Through the above processing, the image information management table in the mobile communication terminal can be registered in the shared database on the Internet.
[0106]
Next, FIG. 13 is a flowchart showing the flow of a process of searching for and acquiring target information from the shared image information management table recorded in the shared database, and refer to FIG. 5, FIG. 11, and FIG. Hereinafter, the operation will be described.
[0107]
Step 5-1) Start processing (S1301 in FIG. 13).
[0108]
Step 5-2) Connect the portable communication terminal 1101 and the communication unit 1102 (S1302 in FIG. 13).
[0109]
Step 5-3) By the same processing as in the second embodiment, the user inputs the search target of the image to be obtained and the search character string through the user operation unit 508 in the portable communication terminal 1101, and transmits the search character string to the search unit 1105 (FIG. 13 S1303).
[0110]
Step 5-4) The search unit 1105 receives the search target and the search character string transmitted in the previous step (S1304 in FIG. 13).
[0111]
Step 5-5) By the same processing as in the second embodiment, the shared image information management table is searched for table information that matches the search target and the search character string (S1305 in FIG. 13).
[0112]
Step 5-6) The search result of the previous step is transmitted to the mobile communication terminal 1101 (S1306 in FIG. 13).
[0113]
Step 5-7) The portable receiving terminal 1101 receives the search result transmitted in the previous step (S1307 in FIG. 13).
[0114]
Step 5-8) The search result is displayed on the presentation unit 508 in the portable communication terminal 1101 (S1308 in FIG. 13).
[0115]
Step 5-9) Processing ends (S1309 in FIG. 13).
[0116]
Through the above processing, the shared image information management table recorded in the shared database is searched, and the result can be referred to by the portable communication terminal.
[0117]
As described above, the portable communication terminal device that performs communication using the keyword (character information) extracted from the digital image according to the present invention and the shared data server on the Internet can transmit and receive the image information management table via the communication line. Therefore, even when the storage capacity of the recording medium in the portable communication terminal is small, if the storage capacity of the shared database is large, an effect that more images and related information can be recorded can be obtained.
[0118]
Further, by sharing the image information management table, an image obtained by another user and the related information can be used, so that more information can be obtained.
[0119]
Further, since the images in the shared database are also recorded as the image information management table, an effect is obtained that the images recorded in the shared database can be easily searched for by keywords.
[0120]
(Embodiment 4)
FIG. 14 is a diagram illustrating an example of a configuration diagram of a data search system in a portable communication terminal device that performs communication using key data extracted from a digital image according to the present invention.
In FIG.
1400 is a communication terminal device,
An image input unit 1401 receives an image from a digital camera, an image input device, a transmission path, or the like.
1402, an image data storage unit that stores the image input in 1401;
1403, a search key data extraction unit that extracts search key data for searching other information from the image data accumulated in 1402;
A search key reservation data storage unit 1404 stores search key reservation data for determining a connection destination by performing pattern matching on the search key data extracted in 1403,
An automatic search connection unit 1405 determines a connection destination based on the search key data extracted in 1403 and the search key reservation data stored in 1404, and connects the connection destinations.
1406, an image analysis and search unit that analyzes objects displayed in the image data accumulated in 1402 and determines the importance of the search key data to be extracted in 1403;
1407, image search key related data for creating and managing image search key related data in which the image stored in 1402, the search key data extracted in 1403, and the importance of the key data determined in 1406 are associated with each other. Management Department,
1408, a position data detection unit that detects position data indicating a place where the communication terminal exists,
1409, a service providing unit that provides a service to the user using the image search key related data created in 1407 and the position data detected in 1408;
1410, an image search key-related data providing unit that uploads the image search key-related data created in 1407 to a server and makes it available to other users;
Is shown.
[0121]
In the present embodiment, image data is captured from a user portable terminal or the like, and character information or the like serving as a keyword is extracted and analyzed from the image data so that the user can connect to the Internet or the like. The extracted character information and the like are stored and provided as a shared database so that other users can use the character information and the like, and the character information and the like are stored using search key reservation data for determining a connection destination. The required search key is extracted from.
[0122]
Next, a process of extracting search key data from an input image and automatically connecting to a connection destination will be described.
[0123]
Step 6-1) An image is captured by the image input unit 1401 and stored in the image data storage unit 1302.
[0124]
Step 6-2) The search key data extraction unit 1403 extracts search key data for searching other information from the image data.
[0125]
Step 6-3) The automatic search connection unit 1405 performs pattern matching between the search key data and the search key reservation data stored in the search key reservation data storage unit 1404, and establishes a connection corresponding to the pattern matched search key reservation data. Decide ahead.
[0126]
Step 6-4) Automatically connect to the connection destination determined by the automatic search connection unit 1405.
[0127]
In this way, the retrieval key data can be extracted from the image and automatically connected to a connection destination suitable for the retrieval key data.
[0128]
Next, processing from adding importance to search key data extracted from an image to creating and using image search key related data will be described.
[0129]
Step 7-1) An image is captured by the image input unit 1401 and stored in the image data storage unit 1302.
[0130]
Step 7-2) The search key data extraction unit 1403 extracts search key data for searching other information from the image data.
[0131]
Step 7-3) The image analysis search unit 1406 analyzes the objects displayed in the image data and determines the importance of the search key data. For example, the search key data located at the center of the image is made more important.
[0132]
Step 7-4) The image search key-related data management unit 1407 generates the image search key-related data by associating the image data, the search key data, the importance, and the position information when the image data was acquired. .
[0133]
Step 7-5) The generated image search key-related data is uploaded from the image search key-related data providing unit 1410 to a server that can be used by another user. Meanwhile, other users can download and use the uploaded image search key-related data. When downloading, the position data where the communication terminal exists is acquired from the position data detection unit 1408, and only the image search key related data having the position data close to the acquired position data is downloaded. You can also download only the ones with the highest
[0134]
In this way, the search key data embedded in the image is automatically extracted, and the position data at the time of obtaining the image data and the objects displayed in the image data are analyzed to determine the importance of the search key data. Since the degrees are determined and recorded as image search key-related data in association with the image data, the image data can be easily searched later without inputting a comment or the like for the image.
[0135]
Furthermore, by uploading the image search key-related data to the server in a common format, other users can more easily search for and use target data from a vast amount of data existing in the server.
[0136]
Then, it is possible to automatically connect to the target connection destination from the downloaded image search key data by the processing of steps 6-1 to 4).
[0137]
(Embodiment 5)
FIG. 15 is a diagram illustrating an example of a configuration diagram of a data search system in a portable communication terminal device that performs communication using a keyword (character information) extracted from a digital image according to the present invention.
[0138]
In FIG.
1500 is a communication terminal device,
An image input unit 1501 receives an image from a digital camera, an image input device, a transmission path, or the like.
1502, an image data storage unit that stores the image input in 1501;
1503, a connection destination data extraction unit that extracts connection destination data for connecting to other information from the image data stored in 1502;
1504, a data access unit that connects to another database using the connection destination data extracted in 1503;
1505, an image analysis search unit that analyzes objects displayed in the image data stored in 1502 and determines the importance of the connection destination data extracted in 1503;
1506, image search related data management for creating and managing image search related data in which the image stored in 1502, the connection destination data extracted in 1503, and the importance of the connection destination data determined in 1505 are associated with each other. Department,
1507, a position data detection unit that detects position data indicating a place where the communication terminal exists,
1508, a service providing unit that provides a service to the user using the image search related data created in 1506 and the position data detected in 1507;
1509, an image search related data providing unit that uploads the image search key related data created in 1506 to the server and makes it available to other users,
Is shown.
[0139]
In the present embodiment, image data is taken in from a user portable terminal or the like, character information or the like serving as a keyword is extracted and analyzed from the image data so that it can be connected via the Internet or the like. Is analyzed and connection destinations are determined with importance.
[0140]
Next, processing from extracting connection destination data from an input image to connecting to another database will be described.
[0141]
Step 8-1) An image is captured by the image input unit 1501 and stored in the image data storage unit 1502.
[0142]
Step 8-2) The connection destination data extraction unit 1503 extracts connection destination data from the image data.
[0143]
Step 8-3) The data access unit 1503 connects to the database indicated by the connection destination data.
[0144]
In this way, it is possible to connect to another database using the connection destination data included in the image.
[0145]
Next, a process of adding importance to connection destination data extracted from an image, and creating and using image search related data will be described.
[0146]
Step 9-1) An image is captured by the image input unit 1501 and stored in the image data storage unit 1502.
[0147]
Step 9-2) The connection destination data extraction unit 1503 extracts connection destination data from the image data.
[0148]
Step 9-3) The image analysis connection unit 1505 analyzes the object displayed in the image data and determines the importance of the connection destination data. For example, the importance of the connection destination data located at the center of the image is increased.
[0149]
Step 9-4) The image search key-related data management unit 1506 generates image search-related data by associating the image data, the connection destination data, the importance, and the position information when the image data was acquired.
[0150]
Step 9-5) The generated image search related data is uploaded from the image search related data providing unit 1509 to a server that can be used by another user. Meanwhile, other users can download and use the uploaded image search related data. When downloading, the position data where the communication terminal is present is obtained from the position data detection unit 1308, and only the image search related data having the position data close to the obtained position data is downloaded. You can also download only the expensive ones.
[0151]
In this way, the connection destination data embedded in the image is automatically extracted, and the position data at the time of acquiring the image data and the objects displayed in the image data are analyzed to determine the importance of the connection destination data. Since the degrees are determined and recorded as image search related data in association with the image data, the image data can be easily searched later without inputting a comment or the like for the image.
[0152]
Further, by uploading the image search-related data to the server in a common format, other users can more easily search for and use target data from a vast amount of data existing in the server.
[0153]
Then, it is possible to automatically connect to the target connection destination by the processing of steps 8-1 to 3) from the downloaded connection destination data.
[0154]
【The invention's effect】
As mentioned above,
A first invention is a communication terminal that transmits and receives data using a wireless or wired communication line, wherein the communication terminal includes an input unit that inputs a digital image, and a digital image input by the input unit. An image recording unit for recording; a recording medium on which the digital image is recorded; a character information extracting unit for reading a digital image recorded on the recording medium and extracting a character string serving as a keyword from the digital image; A connection destination determining unit that analyzes the keyword extracted by the information extraction unit and determines whether the keyword indicates connection destination information necessary for connecting to a communication partner, and extracts the character string information from the digital image. Generates and manages an image information management table for managing in association with the keyword extracted by the unit and the connection destination information determined by the connection destination determination unit By having the image information management table management unit, the input digital image can be easily associated with a keyword extracted from the image and further with connection destination information such as a URL address and a telephone number using the image information management table. The advantage is that it is possible to manage the data.
[0155]
In the second invention, the communication terminal further includes: a presentation unit that presents a list of keywords extracted from the digital image; and a user operation of selecting any one of the keywords from the keyword list presented to the presentation unit. A user operation unit to be accepted and a communication unit that obtains connection destination information for the selected keyword from the image information management table, connects to a communication partner using the obtained connection destination information, and acquires data from the communication partner. With this configuration, an effect is obtained in that the user can connect to an appropriate connection destination only by selecting a keyword without specifying the connection destination.
[0156]
In the third invention, the communication terminal has a function of receiving a search string entered by a user with a key on the user operation unit, and further uses the image information management table to input a keyword that matches the search string. Having a search unit for searching, and further having a presenting unit for acquiring and presenting a digital image associated with the keyword, a user inputs based on the keyword associated with the image information management table. An effect is obtained that a digital image matching the search character string can be easily searched.
[0157]
A fourth invention is a data server that transmits and receives data to and from the communication terminal of the present invention, and receives the image information management table and the digital image managed by the image information management table from the communication terminal, and stores the data in a database. A registration unit to register, receives a search string from the communication terminal, and uses a keyword matching the search string and a digital image associated with the keyword using an image information management table registered in the database. By having a search unit to search, users other than the user who captured the image can also use the image information management table registered in the data server, based on the keyword associated with the digital image, Images can be easily searched, acquired and browsed, and image data can be easily shared among multiple users The effect of wear can be obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a mobile communication terminal device according to a first embodiment of the present invention.
FIG. 2 is an image diagram of an image information management table recorded on a storage medium of the mobile communication terminal device according to the first embodiment of the present invention.
FIG. 3 is a flowchart from an acquired image to an image information management table creation process according to the first embodiment of the present invention.
FIG. 4 is a flowchart from the image information management table to the connection destination information acquisition processing according to the first embodiment of the present invention;
FIG. 5 is a configuration diagram of a mobile communication terminal device according to a second embodiment of the present invention.
FIG. 6 is an image diagram of an acquired image of the form communication terminal device according to the second embodiment of the present invention.
FIG. 7 is an image diagram of an image information management table recorded on a storage medium of a portable communication terminal device according to a second embodiment of the present invention.
FIG. 8 is a flowchart of a search process of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 9 is an image diagram of a search screen of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 10 is an image diagram of a search result screen of the mobile communication terminal device according to the second embodiment of the present invention.
FIG. 11 is a configuration diagram of a portable communication terminal device and a shared database server according to a third embodiment of the present invention.
FIG. 12 is a flowchart of processing for recording an image information management table in a shared database server according to the third embodiment of the present invention.
FIG. 13 is a flowchart of processing for searching for target information from a shared image information management table recorded in a shared database server according to the third embodiment of the present invention.
FIG. 14 is a configuration diagram of a communication terminal device of a data search system according to a fourth embodiment of the present invention.
FIG. 15 is a configuration diagram of a communication terminal device of a data search system according to a fifth embodiment of the present invention.
[Explanation of symbols]
100, 500 communication terminals
101, 501 input unit
102, 502 Image storage unit
103, 503 Character information extraction unit
104, 504 connection destination determination unit
105,505 Image information management table management unit
106, 506 Communication unit
107, 507 Recording medium
108, 508 User operation unit
109, 509 Presentation unit
110, 510 System bus
511 Position detector
512 Position information storage unit
513 Search Unit
1100 Shared database server
1101 Communication terminal
1102 Communication unit
1103 Registration unit
1104 Shared database
1105 Search unit
1400, 1500 Communication terminal
1401, 1501 Image input unit
1402, 1502 Image storage unit
1403 Search key data extraction unit
1404 Search key reservation data storage unit
1405 Automatic search connection
1406 Image analysis detection unit
1407 Image search key related data management unit
1408, 1507 Position data detector
1409, 1508 Service provider
1410 Image search key related data providing unit
1503 Connection destination data extraction unit
1504 Data access unit
1505 Image analysis connection
1506 Image search related data management unit
1509 Image search related data providing unit

Claims (46)

伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、デジタル画像を入力する入力部と、前記入力部で入力されたデジタル画像を記録する画像記録部と、前記デジタル画像が記録される記録媒体と、前記記録媒体に記録されたデジタル画像を読み出し、前記デジタル画像からキーワードとなる文字列を抽出する文字情報抽出部と、前記文字情報抽出部で抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断する接続先決定部と、前記デジタル画像を前記文字列情報抽出部で抽出されたキーワードと前記接続先決定部で判断された接続先情報と関連づけて管理するための画像情報管理テーブルを生成し、管理する画像情報管理テーブル管理部を有することを特徴とするデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system includes an input unit for inputting a digital image, and an image recording unit for recording the digital image input at the input unit. A recording medium on which the digital image is recorded, a character information extracting unit that reads a digital image recorded on the recording medium, and extracts a character string serving as a keyword from the digital image, and a character information extracting unit. The connected keyword is analyzed by the connected keyword determining unit, and the digital image is extracted by the character string information extracting unit. Generates and manages an image information management table for managing the keyword in association with the connection destination information determined by the connection destination determining unit. Data retrieval system characterized by having a broadcast management table management unit. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末の入力部は、デジタル画像を撮影するカメラ機能を有していることを特徴とする請求項1記載のデータ検索システム。2. A data search system for transmitting and receiving data using a transmission path, wherein an input unit of a communication terminal of the data search system has a camera function for photographing a digital image. Data retrieval system. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末の入力部は、デジタル画像を出力する機能を備える情報機器と接続し、前記情報機器から出力されるデジタル画像を入力するインターフェース機能を有していることを特徴とする請求項1記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein an input unit of a communication terminal of the data search system is connected to an information device having a function of outputting a digital image, and is output from the information device. 2. The data search system according to claim 1, further comprising an interface function for inputting a digital image. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、前記デジタル画像から抽出されたキーワードの一覧を提示する提示部と、前記提示部に提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるユーザ操作部と、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得し、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得する通信部を有することを特徴とする請求項1乃至3に記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system is provided with a presentation unit that presents a list of keywords extracted from the digital image, and a presentation unit that is presented with the presentation unit. A user operation unit that receives a user operation for selecting any one of keywords from a keyword list, and obtains connection destination information for the selected keyword from the image information management table, and connects to a communication partner using the obtained connection destination information. 4. The data search system according to claim 1, further comprising a communication unit for acquiring data from the communication partner. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末の前記提示部は、前記画像情報管理テーブルを使って、ユーザから選択されたキーワードと関連づけて管理されているデジタル画像を取得し、取得したデジタル画像と同時に前記通信部が前記通信相手から取得したデータを合わせて提示することを特徴とする請求項4に記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein the presentation unit of the communication terminal of the data search system is managed in association with a keyword selected by a user using the image information management table. The data search system according to claim 4, wherein the communication unit presents the acquired digital image and presents the acquired digital image together with the data acquired from the communication partner. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末の前記通信部は、ユーザから選択されたキーワードと関連づけて管理されているデジタル画像と前記通信相手から取得したデータを関連づけて管理するために、前記画像情報管理テーブルに前記データの識別情報を登録することを特徴とする請求項5に記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein the communication unit of the communication terminal of the data search system includes a digital image managed in association with a keyword selected by a user and the communication partner. 6. The data search system according to claim 5, wherein identification information of the data is registered in the image information management table in order to associate and manage the acquired data. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記通信相手とはWWWサーバであり、前記接続先情報はURLアドレスであり、前記通信端末の通信部が取得するデータは前記URLアドレスのホームページであることを特徴とする請求項1乃至6に記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein in a communication terminal of the data search system, the communication partner is a WWW server, the connection destination information is a URL address, 7. The data search system according to claim 1, wherein the data acquired by the communication unit is a homepage of the URL address. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記ユーザ操作部は、ユーザがキー入力した検索文字列を受け付ける機能を有し、さらに、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索する検索部を有することを特徴とする請求項1乃至7に記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein in the communication terminal of the data search system, the user operation unit has a function of receiving a search character string entered by a user using a key, and further comprising: The data search system according to claim 1, further comprising a search unit configured to search for a keyword that matches the search character string using an image information management table. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記文字情報抽出部は、前記デジタル画像から前記キーワードを抽出する時に、キーワードの画像中の位置、またはキーワードの文字サイズの少なくともどちらかを用いて、キーワードの重要度を決定する機能を有し、前記画像情報管理テーブル管理部は、前記キーワードの重要度も管理する機能を有し、さらに、前記検索部は、前記キーワードの重要度に応じて検索結果を提供する機能を有することを特徴とする請求項1乃至8に記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein, in the communication terminal of the data search system, the character information extracting unit extracts a position of the keyword from the digital image in the image. , Or at least one of the character size of the keyword, has a function of determining the importance of the keyword, the image information management table management unit has a function of also managing the importance of the keyword, The data search system according to claim 1, wherein the search unit has a function of providing a search result according to the importance of the keyword. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記提示部は、前記画像情報管理テーブルを使って、前記検索部の検索結果であるキーワードと関連付けられているデジタル画像を取得し、取得したデジタル画像と同時に検索結果のキーワードを合わせて提示することを特徴とする請求項8または9に記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein in a communication terminal of the data search system, the presenting unit uses the image information management table to search for a keyword that is a search result of the searching unit. 10. The data search system according to claim 8, wherein an associated digital image is obtained, and a keyword of a search result is presented together with the obtained digital image. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記ユーザ操作部は、前記検索部の検索結果であるキーワードから何れかのキーワードを選択するユーザ操作を受け付け、前記検索部は、選択されたキーワードを検索文字列としてさらに検索することを特徴とする請求項8乃至10に記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data by using a transmission path, wherein, in a communication terminal of the data search system, the user operation unit selects a keyword from keywords that are search results of the search unit. 11. The data search system according to claim 8, wherein an operation is received, and the search unit further searches for the selected keyword as a search character string. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記ユーザ操作部は、前記検索部の検索結果であるキーワードから何れかのキーワードを選択するユーザ操作を受け付け、前記通信部は、前記画像情報管理テーブルを使って、前記ユーザ操作部で選択されたキーワードと関連付けられている接続先情報を取得し、取得した接続先情報を使って通信相手に接続することを特徴とする請求項8乃至10に記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data by using a transmission path, wherein, in a communication terminal of the data search system, the user operation unit selects a keyword from keywords that are search results of the search unit. Accepting an operation, the communication unit acquires connection destination information associated with the keyword selected by the user operation unit using the image information management table, and communicates with the communication partner using the acquired connection destination information. The data retrieval system according to claim 8, wherein the data retrieval system is connected. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末とデータの送受信を行うデータベースサーバにおいて、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録する登録部と、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワードを前記データベースに登録されている画像情報管理テーブルを使って検索する検索部を有し、検索結果のキーワードを前記通信端末に送信することを特徴とする請求項11記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein in a database server that transmits and receives data to and from a communication terminal of the data search system, the image information management table and the image information management table A registration unit for receiving a managed digital image and registering it in a database, a search string received from the communication terminal, and an image information management table registered in the database with a keyword matching the search string. 12. The data search system according to claim 11, further comprising a search unit for searching using the search result, and transmitting a keyword of a search result to the communication terminal. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末とデータの送受信を行うデータベースサーバにおいて、前記検索部は、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワードおよび前記キーワードに関連付けられているデジタル画像を、前記データベースに登録されている画像情報管理テーブルを使って検索し、検索結果のキーワードとデジタル画像を前記通信端末に送信することを特徴とする請求項11記載のデータ検索システム。A data search system that transmits and receives data using a transmission path, wherein in a database server that transmits and receives data to and from a communication terminal of the data search system, the search unit receives a search character string from the communication terminal, A keyword that matches the search character string and a digital image associated with the keyword are searched using the image information management table registered in the database, and the keyword and the digital image of the search result are transmitted to the communication terminal. The data retrieval system according to claim 11, wherein the data retrieval is performed. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記通信部は、前記画像情報管理テーブルおよび前記画像情報管理テーブルにより管理されているデジタル画像を前記データベースサーバに送信する機能を有することを特徴とする請求項1乃至12のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein, in a communication terminal of the data search system, the communication unit includes a digital image managed by the image information management table and the image information management table. 13. The data retrieval system according to claim 1, further comprising a function of transmitting the data to the database server. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末において、前記ユーザ操作部は、ユーザがキー入力した検索文字列を受け付ける機能を有し、前記通信部は、前記検索文字列を前記データベースサーバに送信し、さらに、前記検索文字列に基づいて検索されたキーワードとデジタル画像を前記データベースサーバから受信する機能を有し、前記提示部は、受信したキーワードとデジタル画像を提示する機能を有することを特徴とする請求項1乃至12のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein in the communication terminal of the data search system, the user operation unit has a function of receiving a search character string input by a user using a key, and the communication unit Has a function of transmitting the search string to the database server, and further has a function of receiving a keyword and a digital image searched based on the search string from the database server, the presentation unit, the received keyword 13. The data retrieval system according to claim 1, further comprising a function of presenting a digital image. 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを送受信する通信端末は、デジタル画像を撮影するステップと、撮影されたデジタル画像からキーワードとなる文字列を抽出するステップと、抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断するステップと、前記デジタル画像を前記キーワードと前記接続先情報と関連づけて管理するための画像情報管理テーブルを生成するステップとを有することを特徴とする通信方法。What is claimed is: 1. A data search method for transmitting and receiving data using a transmission path, comprising: a communication terminal for transmitting and receiving data for the data search, comprising: a step of capturing a digital image; Extracting the keyword, analyzing the extracted keyword, and determining whether the keyword indicates connection destination information necessary for connecting to a communication partner, and extracting the digital image with the keyword and the connection destination. Generating an image information management table for managing the information in association with the information. 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像から抽出されたキーワードの一覧を提示するステップと、提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるステップと、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得するステップと、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得するステップとを有することを特徴とする請求項17に記載の通信方法。A data search method for transmitting and receiving data using a transmission path, wherein a communication terminal that transmits and receives data for the data search presents a list of keywords extracted from the digital image. Accepting a user operation of selecting one of the keywords from the keyword list; acquiring connection destination information for the selected keyword from the image information management table; connecting to a communication partner using the acquired connection destination information And obtaining data from the communication partner. 18. The communication method according to claim 17, further comprising: 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを送受信する通信端末は、ユーザがキー入力した検索文字列を受け付けるステップと、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索するステップと、前記キーワードと関連付けられているデジタル画像を取得し、提示するステップとを有することを特徴とする請求項17または18に記載の通信方法。What is claimed is: 1. A data search method for transmitting and receiving data using a transmission path, comprising: a communication terminal that transmits and receives data for the data search; The communication method according to claim 17, further comprising: searching for a keyword that matches the search character string using the keyword; and acquiring and presenting a digital image associated with the keyword. . 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像からキーワードとなる文字列を抽出する時に、前記キーワードの画像中の位置、または前記キーワードの文字サイズの少なくともどちらかを用いて、キーワードの重要度を決定し、前記画像情報管理テーブルに前記キーワードの重要度を記録するステップと、さらに、ユーザがキー入力した検索文字列に適合するキーワードを検索する時に、前記キーワードの重要度に応じて検索結果を提供するステップとを有することを特徴とする請求項17乃至19に記載の通信方法。What is claimed is: 1. A data search method for transmitting and receiving data using a transmission path, wherein a communication terminal that transmits and receives data for the data search extracts a character string that is a keyword from the digital image, Determining the importance of the keyword using at least one of the position of the keyword and the character size of the keyword, and recording the importance of the keyword in the image information management table; 20. The communication method according to claim 17, further comprising: providing a search result according to the importance of the keyword when searching for a keyword that matches the character string. 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを管理するデータベースサーバは、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録するステップと、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワードおよび前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索するステップと、検索結果のキーワードとデジタル画像を前記通信端末に送信するステップとを有することを特徴とする請求項17記載の通信方法。A data search method for transmitting and receiving data using a transmission path, wherein a database server that manages data for the data search is managed by the image information management table and the image information management table from the communication terminal. Receiving a digital image and registering it in a database, receiving a search string from the communication terminal, and registering a keyword matching the search string and a digital image associated with the keyword in the database. 18. The communication method according to claim 17, further comprising the steps of: performing a search using a stored image information management table; and transmitting a search result keyword and a digital image to the communication terminal. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記データ検索のためにデータを送受信する通信端末は、デジタル画像を撮影するステップと、撮影されたデジタル画像からキーワードとなる文字列を抽出するステップと、抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断するステップと、前記デジタル画像を前記キーワードと前記接続先情報と関連づけて管理するための画像情報管理テーブルを生成するステップとを有することを特徴とするデータ検索プログラムを記録した記録媒体。A recording medium recording a data search program for transmitting and receiving data using a transmission path, wherein the communication terminal for transmitting and receiving data for the data search includes: a step of capturing a digital image; and Extracting a character string serving as a keyword, analyzing the extracted keyword, and determining whether the keyword indicates connection destination information necessary for connecting to a communication partner; and Generating an image information management table for managing a keyword in association with the connection destination information. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像から抽出されたキーワードの一覧を提示するステップと、提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるステップと、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得するステップと、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得するステップとを有することを特徴とする請求項22に記載のデータ検索プログラムを記録した記録媒体。A recording medium recording a data search program for transmitting and receiving data using a transmission path, wherein a communication terminal transmitting and receiving data for the data search presents a list of keywords extracted from the digital image. Receiving a user operation of selecting any keyword from the presented keyword list, obtaining connection destination information for the selected keyword from the image information management table, and using the obtained connection destination information. 23. The recording medium according to claim 22, further comprising: connecting to a communication partner and acquiring data from the communication partner. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記データ検索のためにデータを送受信する通信端末は、ユーザがキー入力した検索文字列を受け付けるステップと、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索するステップと、前記キーワードと関連付けられているデジタル画像を取得し、提示するステップとを有することを特徴とする請求項22または23に記載のデータ検索プログラムを記録した記録媒体。A recording medium recording a data search program for transmitting and receiving data using a transmission path, wherein a communication terminal for transmitting and receiving data for the data search receives a search character string entered by a user, and 24. The method according to claim 22, further comprising: searching for a keyword that matches the search character string using an image information management table; and acquiring and presenting a digital image associated with the keyword. A recording medium on which the data search program described in 1 is recorded. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像からキーワードとなる文字列を抽出する時に、前記キーワードの画像中の位置、または前記キーワードの文字サイズの少なくともどちらかを用いて、キーワードの重要度を決定し、前記画像情報管理テーブルに前記キーワードの重要度を記録するステップと、さらに、ユーザがキー入力した検索文字列に適合するキーワードを検索する時に、前記キーワードの重要度に応じて検索結果を提供するステップとを有することを特徴とする請求項22乃至24に記載のデータ検索プログラムを記録した記録媒体。A recording medium recording a data search program for transmitting and receiving data using a transmission path, the communication terminal for transmitting and receiving data for the data search, when extracting a character string serving as a keyword from the digital image, Determining the importance of the keyword using at least one of the position of the keyword in the image and the character size of the keyword, and recording the importance of the keyword in the image information management table; Providing a search result according to the importance of the keyword when searching for a keyword that matches the search character string entered by the user. The recording medium on which it was recorded. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記通信方法においてデータを管理するデータベースサーバは、前記データ検索のためにデータを送受信する通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録するステップと、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワードおよび前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索するステップと、検索結果のキーワードとデジタル画像を前記通信端末に送信するステップとを有することを特徴とする請求項22記載のデータ検索プログラムを記録した記録媒体。A recording medium storing a data search program for transmitting and receiving data using a transmission path, wherein a database server for managing data in the communication method includes a communication terminal for transmitting and receiving data for the data search. Receiving a digital image managed by the management table and the image information management table and registering the digital image in a database; receiving a search string from the communication terminal; and associating the keyword with the keyword matching the search string and the keyword A step of retrieving the searched digital image using an image information management table registered in the database, and a step of transmitting a keyword and a digital image of a search result to the communication terminal. Recording medium on which the data search program described in Item 22 is recorded . 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記データ検索のためにデータを送受信する通信端末は、デジタル画像を撮影するステップと、撮影されたデジタル画像からキーワードとなる文字列を抽出するステップと、抽出されたキーワードを解析し、前記キーワードが通信相手に接続するために必要な接続先情報を示しているかどうかを判断するステップと、前記デジタル画像を前記キーワードと前記接続先情報と関連づけて管理するための画像情報管理テーブルを生成するステップとを、コンピュータに実行させるための通信プログラム。A data search program for transmitting and receiving data using a transmission path, the communication terminal for transmitting and receiving data for the data search includes: a step of capturing a digital image; and a character string serving as a keyword from the captured digital image. Extracting the keyword, analyzing the extracted keyword, and determining whether the keyword indicates connection destination information necessary for connecting to a communication partner, and extracting the digital image with the keyword and the connection destination. Generating an image information management table for managing information in association with information. 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像から抽出されたキーワードの一覧を提示するステップと、提示されたキーワード一覧から何れかのキーワードを選択するユーザ操作を受け付けるステップと、選択されたキーワードに対する接続先情報を前記画像情報管理テーブルから取得するステップと、取得した接続先情報を使って、通信相手に接続し、前記通信相手からデータを取得するステップとを、コンピュータに実行させるための請求項27に記載の通信プログラム。A data search program for transmitting and receiving data using a transmission path, wherein the communication terminal for transmitting and receiving data for the data search presents a list of keywords extracted from the digital image. Accepting a user operation of selecting one of the keywords from the keyword list; acquiring connection destination information for the selected keyword from the image information management table; connecting to a communication partner using the acquired connection destination information 28. The communication program according to claim 27, further comprising: causing a computer to execute the step of acquiring data from a communication partner. 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記データ検索のためにデータを送受信する通信端末は、ユーザがキー入力した検索文字列を受け付けるステップと、前記画像情報管理テーブルを使って前記検索文字列に適合するキーワードを検索するステップと、前記キーワードと関連付けられているデジタル画像を取得し、提示するステップとを、コンピュータに実行させるための請求項27または28に記載の通信プログラム。A data search program for transmitting and receiving data using a transmission path, the communication terminal for transmitting and receiving data for the data search, receiving a search character string input by a user as a key, 29. The communication of claim 27 or 28 for causing a computer to perform the steps of: searching for a keyword that matches the search string using the keyword; and acquiring and presenting a digital image associated with the keyword. program. 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記データ検索のためにデータを送受信する通信端末は、前記デジタル画像からキーワードとなる文字列を抽出する時に、前記キーワードの画像中の位置、または前記キーワードの文字サイズの少なくともどちらかを用いて、キーワードの重要度を決定し、前記画像情報管理テーブルに前記キーワードの重要度を記録するステップと、さらに、ユーザがキー入力した検索文字列に適合するキーワードを検索する時に、前記キーワードの重要度に応じて検索結果を提供するステップとを、コンピュータに実行させるための請求項27乃至29に記載の通信プログラム。A data search program for transmitting and receiving data using a transmission path, wherein a communication terminal for transmitting and receiving data for the data search extracts a character string serving as a keyword from the digital image, and extracts a character string from the image of the keyword. Determining the importance of the keyword using at least one of the position of the keyword and the character size of the keyword, and recording the importance of the keyword in the image information management table; 30. The computer-readable storage medium according to claim 27, wherein when searching for a keyword that matches the character string, providing a search result in accordance with the importance of the keyword. 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記通信プログラムにおいてデータを管理するデータベースサーバは、前記通信端末から前記画像情報管理テーブルと前記画像情報管理テーブルにより管理されているデジタル画像を受信し、データベースに登録するステップと、前記通信端末から検索文字列を受信し、前記検索文字列に適合するキーワードおよび前記キーワードに関連付けられているデジタル画像を前記データベースに登録されている画像情報管理テーブルを使って検索するステップと、検索結果のキーワードとデジタル画像を前記通信端末に送信するステップとを、コンピュータに実行させるための請求項27記載の通信プログラム。A data search program for transmitting and receiving data using a transmission path, wherein a database server that manages data in the communication program is a digital server that is managed by the image information management table and the image information management table from the communication terminal. Receiving an image and registering it in a database; receiving a search string from the communication terminal; and storing a keyword matching the search string and a digital image associated with the keyword in the image registered in the database. 28. The communication program according to claim 27, wherein the computer executes a search using an information management table and a step of transmitting a keyword and a digital image of a search result to the communication terminal. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、取得した画像データから、他の情報を検索するための検索キーデータを取り出す検索キーデータ抽出部と、前記検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積する検索キー予約データ蓄積部と、前記検索キーデータと前記検索キー予約データとから、接続先を決定し、接続する自動検索接続部とを有することを特徴とするデータ検索システム。A data retrieval system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data retrieval system retrieves retrieval key data for retrieving other information from the acquired image data. And a search key reservation data storage unit that stores search key reservation data for determining a connection destination by pattern matching with the search key data, and determining a connection destination from the search key data and the search key reservation data. A data search system comprising: an automatic search connection unit for connecting. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、画像データを取得し、蓄積する画像データ蓄積部と、前記画像データと前記検索キーデータとを関連付けた画像検索キー関連データを生成し、管理する画像検索キー関連データ管理部と、前記画像検索キー関連データを使って、ユーザにサービスを提供するサービス提供部とを有することを特徴とする請求項32記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system acquires and stores image data, and stores an image data storage unit, and the image data and the search key data. An image search key-related data management unit that generates and manages associated image search key-related data, and a service providing unit that provides a service to a user using the image search key-related data. Item 32. The data search system according to Item 32. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、前記画像検索キー関連データを、サーバにアップロードし、他のユーザに利用可能にする画像検索キー関連データ提供部を有することを特徴とする請求項33記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system uploads the image search key related data to a server and makes the image search key available to other users. The data search system according to claim 33, further comprising a related data providing unit. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、通信端末が存在する場所を示す位置データを検出する位置データ検出部を有し、前記サービス提供部における処理に使うことを特徴とする請求項33記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system has a position data detection unit for detecting position data indicating a location where the communication terminal exists, and providing the service. The data retrieval system according to claim 33, wherein the data retrieval system is used for processing in a unit. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、ユーザが画像を入力することができる画像入力部を有することを特徴とする請求項33記載のデータ検索システム。34. A data search system for transmitting and receiving data using a transmission path, wherein the communication terminal of the data search system has an image input unit that allows a user to input an image. Data retrieval system. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、前記画像データに表示されているオブジェクトを分析し、前記検索キーデータ抽出部で取り出す検索キーデータの重要度を判別する画像解析検索部を有し、前記画像検索キー関連データ管理部において、前記画像検索キー関連データを生成する時に、前記画像解析検索部における判別結果を使うことを特徴とする請求項33記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system analyzes an object displayed in the image data, and retrieves search key data extracted by the search key data extraction unit. An image analysis search unit for determining the importance of the image search key, wherein the image search key-related data management unit uses the determination result of the image analysis search unit when generating the image search key-related data. The data retrieval system according to claim 33. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、取得した画像データから、他の情報に接続するための接続先データを取り出す接続先データ抽出部と、前記接続先データを使って、他のデータベースに接続するデータアクセス部とを有することを特徴とする請求項33記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system extracts connection destination data for connecting to other information from the acquired image data. 34. The data search system according to claim 33, further comprising: a data access unit that connects to another database using the connection destination data. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、画像データを取得し、蓄積する画像データ蓄積部と、前記画像データと前記接続先データとを関連付けた画像検索関連データを生成し、管理する画像検索関連データ管理部と、前記画像検索関連データを使って、ユーザにサービスを提供するサービス提供部とを有することを特徴とする請求項38記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system acquires and stores image data, and stores an image data storage unit, and the image data and the connection destination data. 39. The image processing apparatus according to claim 38, further comprising: an image search-related data management unit that generates and manages the associated image search-related data; and a service providing unit that provides a user with a service using the image search-related data. Data retrieval system. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、前記画像検索関連データを、サーバにアップロードし、他のユーザに利用可能にする画像検索関連データ提供部を有することを特徴とする請求項39記載のデータ検索システム。A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system uploads the image search related data to a server and makes the image search related data available to other users. The data retrieval system according to claim 39, further comprising a providing unit. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、通信端末が存在する場所を示す位置データを検出する位置データ検出部を有し、前記サービス提供部における処理に使うことを特徴とする請求項39記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system has a position data detection unit for detecting position data indicating a location where the communication terminal exists, and providing the service. 40. The data search system according to claim 39, wherein the data search system is used for processing in a unit. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、ユーザが画像を入力することができる画像入力部を有することを特徴とする請求項39記載のデータ検索システム。40. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system has an image input unit that allows a user to input an image. Data retrieval system. 伝送路を利用してデータを送受信するデータ検索システムであって、前記データ検索システムの通信端末は、前記画像データに表示されているオブジェクトを分析し、前記接続先データ抽出部で取り出す検索キーデータの重要度を判別する画像解析接続部を有し、前記画像検索関連データ管理部において、前記画像検索関連データを生成する時に、前記画像解析接続部における判別結果を使うことを特徴とする請求項39記載のデータ検索システム。What is claimed is: 1. A data search system for transmitting and receiving data using a transmission path, wherein a communication terminal of the data search system analyzes an object displayed in the image data and retrieves search key data extracted by the connection destination data extraction unit. An image analysis connection unit that determines the importance of the image search connection data, wherein the image search connection data management unit uses the determination result of the image analysis connection unit when generating the image search connection data. 39. The data retrieval system according to 39. 伝送路を利用してデータを送受信するデータ検索方法であって、前記データ検索のためにデータを送受信する通信端末は、画像データを取得するステップと、前記取得した画像データから他の情報を検索するための検索キーデータを取り出すステップと、前記検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積するステップと、前記検索キーデータと前記検索キー予約データとから、接続先を決定し、接続するステップとを有することを特徴とするデータ検索方法。What is claimed is: 1. A data search method for transmitting and receiving data using a transmission path, comprising: a communication terminal for transmitting and receiving data for the data search, comprising: obtaining image data; and searching for other information from the obtained image data. Extracting search key data for performing a search, storing search key reservation data for determining a connection destination by performing pattern matching with the search key data, and determining a connection destination from the search key data and the search key reservation data. Determining and connecting to the data search method. 伝送路を利用してデータを送受信するデータ検索プログラムを記録した記録媒体であって、前記データ検索のためにデータを送受信する通信端末は、画像データを取得するステップと、前記取得した画像データから他の情報を検索するための検索キーデータを取り出すステップと、前記検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積するステップと、前記検索キーデータと前記検索キー予約データとから、接続先を決定し、接続するステップとを有することを特徴とするデータ検索プログラムを記録した記録媒体。A recording medium that records a data search program that transmits and receives data using a transmission path, wherein the communication terminal that transmits and receives data for the data search includes: acquiring image data; and Retrieving search key data for searching for other information; storing search key reservation data for pattern-matching the search key data to determine a connection destination; the search key data and the search key reservation data And a step of determining a connection destination and connecting to the storage medium. 伝送路を利用してデータを送受信するデータ検索プログラムであって、前記データ検索のためにデータを送受信する通信端末は、画像データを取得するステップと、前記取得した画像データから他の情報を検索するための検索キーデータを取り出すステップと、前記検索キーデータにパターンマッチングさせて接続先を決定させる検索キー予約データを蓄積するステップと、前記検索キーデータと前記検索キー予約データとから、接続先を決定し、接続するステップとを、コンピュータに実行させるためのデータ検索プログラム。A data search program for transmitting and receiving data using a transmission path, wherein the communication terminal for transmitting and receiving data for the data search includes: a step of obtaining image data; and a step of searching for other information from the obtained image data. Extracting search key data for performing a search, storing search key reservation data for determining a connection destination by performing pattern matching with the search key data, and determining a connection destination from the search key data and the search key reservation data. Determining and connecting to the computer.
JP2002161193A 2002-06-03 2002-06-03 Data search system and related device or method, recording medium or program Pending JP2004005314A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002161193A JP2004005314A (en) 2002-06-03 2002-06-03 Data search system and related device or method, recording medium or program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002161193A JP2004005314A (en) 2002-06-03 2002-06-03 Data search system and related device or method, recording medium or program

Publications (1)

Publication Number Publication Date
JP2004005314A true JP2004005314A (en) 2004-01-08

Family

ID=30430328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002161193A Pending JP2004005314A (en) 2002-06-03 2002-06-03 Data search system and related device or method, recording medium or program

Country Status (1)

Country Link
JP (1) JP2004005314A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275681A (en) * 2004-03-24 2005-10-06 Fuji Xerox Co Ltd Information processing method and information processor, and program
JP2008288898A (en) * 2007-05-17 2008-11-27 Canon Inc Moving picture imaging apparatus and moving picture imaging method
JP2009505288A (en) * 2005-08-15 2009-02-05 エブリックス・テクノロジーズ・インコーポレイテッド Use information from images as search criteria for the Internet and other search engines
JP2009042961A (en) * 2007-08-08 2009-02-26 Nikon Corp Retrieval system
JP2009087394A (en) * 2007-09-27 2009-04-23 Funai Electric Co Ltd Recording and reproducing device
JP2011165092A (en) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> Providing device and acquisition system of document image relevant information
JP2011170418A (en) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd Method for generating tag data for retrieving image
JP2012103750A (en) * 2010-11-05 2012-05-31 Ntt Docomo Inc Character conversion device, character conversion system, character conversion method and program
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8824738B2 (en) 2000-11-06 2014-09-02 Nant Holdings Ip, Llc Data capture and identification system and process
JP2014211895A (en) * 2014-07-01 2014-11-13 ソニー株式会社 Image processing apparatus and method, information processing apparatus and method, and program
US9047287B2 (en) 2006-02-01 2015-06-02 Sony Corporation System, apparatus, method, program and recording medium for processing image
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US10617568B2 (en) 2000-11-06 2020-04-14 Nant Holdings Ip, Llc Image capture and identification system and process
CN113172637A (en) * 2021-03-31 2021-07-27 滨州学院 A system and method for automatic directional search of library books

Cited By (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141714B2 (en) 2000-11-06 2015-09-22 Nant Holdings Ip, Llc Image capture and identification system and process
US9785651B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip, Llc Object information derived from object images
US10772765B2 (en) 2000-11-06 2020-09-15 Nant Holdings Ip, Llc Image capture and identification system and process
US10639199B2 (en) 2000-11-06 2020-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US10635714B2 (en) 2000-11-06 2020-04-28 Nant Holdings Ip, Llc Object information derived from object images
US10617568B2 (en) 2000-11-06 2020-04-14 Nant Holdings Ip, Llc Image capture and identification system and process
US10509821B2 (en) 2000-11-06 2019-12-17 Nant Holdings Ip, Llc Data capture and identification system and process
US10509820B2 (en) 2000-11-06 2019-12-17 Nant Holdings Ip, Llc Object information derived from object images
US10500097B2 (en) 2000-11-06 2019-12-10 Nant Holdings Ip, Llc Image capture and identification system and process
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8718410B2 (en) 2000-11-06 2014-05-06 Nant Holdings Ip, Llc Image capture and identification system and process
US8774463B2 (en) 2000-11-06 2014-07-08 Nant Holdings Ip, Llc Image capture and identification system and process
US8792750B2 (en) 2000-11-06 2014-07-29 Nant Holdings Ip, Llc Object information derived from object images
US8798322B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Object information derived from object images
US8798368B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Image capture and identification system and process
US8824738B2 (en) 2000-11-06 2014-09-02 Nant Holdings Ip, Llc Data capture and identification system and process
US8837868B2 (en) 2000-11-06 2014-09-16 Nant Holdings Ip, Llc Image capture and identification system and process
US8842941B2 (en) 2000-11-06 2014-09-23 Nant Holdings Ip, Llc Image capture and identification system and process
US8849069B2 (en) 2000-11-06 2014-09-30 Nant Holdings Ip, Llc Object information derived from object images
US8855423B2 (en) 2000-11-06 2014-10-07 Nant Holdings Ip, Llc Image capture and identification system and process
US8861859B2 (en) 2000-11-06 2014-10-14 Nant Holdings Ip, Llc Image capture and identification system and process
US8867839B2 (en) 2000-11-06 2014-10-21 Nant Holdings Ip, Llc Image capture and identification system and process
US8873891B2 (en) 2000-11-06 2014-10-28 Nant Holdings Ip, Llc Image capture and identification system and process
US8885982B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Object information derived from object images
US8885983B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Image capture and identification system and process
US9148562B2 (en) 2000-11-06 2015-09-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8923563B2 (en) 2000-11-06 2014-12-30 Nant Holdings Ip, Llc Image capture and identification system and process
US8938096B2 (en) 2000-11-06 2015-01-20 Nant Holdings Ip, Llc Image capture and identification system and process
US8948459B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US8948544B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Object information derived from object images
US8948460B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9014513B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014512B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9014516B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9014514B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014515B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9020305B2 (en) 2000-11-06 2015-04-28 Nant Holdings Ip, Llc Image capture and identification system and process
US9025813B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9025814B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9031278B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9031290B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Object information derived from object images
US9154694B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9036949B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9036948B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9036947B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9046930B2 (en) 2000-11-06 2015-06-02 Nant Holdings Ip, Llc Object information derived from object images
US10095712B2 (en) 2000-11-06 2018-10-09 Nant Holdings Ip, Llc Data capture and identification system and process
US9087240B2 (en) 2000-11-06 2015-07-21 Nant Holdings Ip, Llc Object information derived from object images
US9104916B2 (en) 2000-11-06 2015-08-11 Nant Holdings Ip, Llc Object information derived from object images
US9110925B2 (en) 2000-11-06 2015-08-18 Nant Holdings Ip, Llc Image capture and identification system and process
US9116920B2 (en) 2000-11-06 2015-08-25 Nant Holdings Ip, Llc Image capture and identification system and process
US9135355B2 (en) 2000-11-06 2015-09-15 Nant Holdings Ip, Llc Image capture and identification system and process
US10089329B2 (en) 2000-11-06 2018-10-02 Nant Holdings Ip, Llc Object information derived from object images
US10080686B2 (en) 2000-11-06 2018-09-25 Nant Holdings Ip, Llc Image capture and identification system and process
US9036862B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9152864B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Object information derived from object images
US9154695B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9170654B2 (en) 2000-11-06 2015-10-27 Nant Holdings Ip, Llc Object information derived from object images
US9182828B2 (en) 2000-11-06 2015-11-10 Nant Holdings Ip, Llc Object information derived from object images
US9235600B2 (en) 2000-11-06 2016-01-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9244943B2 (en) 2000-11-06 2016-01-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9262440B2 (en) 2000-11-06 2016-02-16 Nant Holdings Ip, Llc Image capture and identification system and process
US9288271B2 (en) 2000-11-06 2016-03-15 Nant Holdings Ip, Llc Data capture and identification system and process
US9311552B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9311554B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9311553B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US9317769B2 (en) 2000-11-06 2016-04-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9324004B2 (en) 2000-11-06 2016-04-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9330326B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330328B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330327B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9336453B2 (en) 2000-11-06 2016-05-10 Nant Holdings Ip, Llc Image capture and identification system and process
US9342748B2 (en) 2000-11-06 2016-05-17 Nant Holdings Ip. Llc Image capture and identification system and process
US9360945B2 (en) 2000-11-06 2016-06-07 Nant Holdings Ip Llc Object information derived from object images
US9536168B2 (en) 2000-11-06 2017-01-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9578107B2 (en) 2000-11-06 2017-02-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9613284B2 (en) 2000-11-06 2017-04-04 Nant Holdings Ip, Llc Image capture and identification system and process
US9844466B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9785859B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip Llc Image capture and identification system and process
US9844468B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9805063B2 (en) 2000-11-06 2017-10-31 Nant Holdings Ip Llc Object information derived from object images
US9844469B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9808376B2 (en) 2000-11-06 2017-11-07 Nant Holdings Ip, Llc Image capture and identification system and process
US9824099B2 (en) 2000-11-06 2017-11-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9844467B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
JP2005275681A (en) * 2004-03-24 2005-10-06 Fuji Xerox Co Ltd Information processing method and information processor, and program
JP2012133790A (en) * 2005-08-15 2012-07-12 Nant Holdings Ip Llc Use of image-derived information as search criteria for internet and other search engines
JP2009505288A (en) * 2005-08-15 2009-02-05 エブリックス・テクノロジーズ・インコーポレイテッド Use information from images as search criteria for the Internet and other search engines
US9805064B2 (en) 2006-02-01 2017-10-31 Sony Corporation System, apparatus, method, program and recording medium for processing image
US10289698B2 (en) 2006-02-01 2019-05-14 Sony Corporation System, apparatus, method, program and recording medium for processing image
US9047287B2 (en) 2006-02-01 2015-06-02 Sony Corporation System, apparatus, method, program and recording medium for processing image
US9965493B2 (en) 2006-02-01 2018-05-08 Sony Corporation System, apparatus, method, program and recording medium for processing image
US11281712B2 (en) 2006-02-01 2022-03-22 Sony Group Corporation System, apparatus, method, program and recording medium for processing image
US10579669B2 (en) 2006-02-01 2020-03-03 Sony Corporation System, apparatus, method, program and recording medium for processing image
US9710490B2 (en) 2006-02-01 2017-07-18 Sony Corporation System, apparatus, method, program and recording medium for processing image
JP2008288898A (en) * 2007-05-17 2008-11-27 Canon Inc Moving picture imaging apparatus and moving picture imaging method
JP2009042961A (en) * 2007-08-08 2009-02-26 Nikon Corp Retrieval system
JP2009087394A (en) * 2007-09-27 2009-04-23 Funai Electric Co Ltd Recording and reproducing device
JP2011165092A (en) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> Providing device and acquisition system of document image relevant information
JP2011170418A (en) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd Method for generating tag data for retrieving image
JP2012103750A (en) * 2010-11-05 2012-05-31 Ntt Docomo Inc Character conversion device, character conversion system, character conversion method and program
JP2014211895A (en) * 2014-07-01 2014-11-13 ソニー株式会社 Image processing apparatus and method, information processing apparatus and method, and program
CN113172637A (en) * 2021-03-31 2021-07-27 滨州学院 A system and method for automatic directional search of library books
CN113172637B (en) * 2021-03-31 2022-06-10 滨州学院 A system and method for automatic directional search of library books

Similar Documents

Publication Publication Date Title
US6741864B2 (en) Associating image and location data
US20090280859A1 (en) Automatic tagging of photos in mobile devices
JP2004005314A (en) Data search system and related device or method, recording medium or program
AU2010284736A1 (en) Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
JP2008512933A (en) How to add location name annotations to images with a camera phone
CN102334115A (en) Method for photo tagging based on broadcast assisted face indentification
KR100788605B1 (en) Content service device and method
JP2007334696A (en) Data sharing system, communication terminal and server
JP2010225123A (en) Data registration system, server, terminal device, and data registration method
CN112020709A (en) Visual menu
KR20060083102A (en) Image file management system having location information and method thereof, portable terminal
JP2005100276A (en) Information processing system, information processor, information processing method and program
JP4409132B2 (en) INFORMATION PROVIDING SYSTEM, INFORMATION SEARCH SERVER, ITS CLIENT, PORTABLE TELEPHONE, PORTABLE ELECTRONIC DEVICE, INFORMATION PROVIDING METHOD, CHARGE METHOD, ITS PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
KR100985949B1 (en) Product information service provision method and system through mobile communication network
CN102023988A (en) Method and system for establishing point of interest information and computer program product used
JP2004038840A (en) Memo image management device, memo image management system, and memo image management method
JP2016009450A (en) Information providing system, contributor terminal, viewer terminal, and information disclosure device
US8004580B2 (en) Apparatus and method for managing images of mobile terminal
KR20200024536A (en) Method of providing of image searching result and service device thereof
TWI494864B (en) Method and system for searching image and computer program product using the method
JP5454751B2 (en) SEARCH METHOD, SEARCH SYSTEM, PROGRAM, AND COMPUTER
KR20220121337A (en) How to automatically create an online commerce product sales page
JP2007018166A (en) Information search device, information search system, information search method, and information search program
JP2007528056A (en) How to automatically include links related to content
JP2004363871A (en) Data storage device and method, and program and recording medium on which the program is recorded