JP2008146603A - 文書検索装置、文書検索方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うこと。
【解決手段】 複数の画像要素を含む文書を検索する文書検索装置は、画像検索の検索キーとするキー画像を指定するキー画像指定部と、指定されたキー画像に相当する画像要素が文書中に出現するパターンを検索条件として設定するパターン設定部と、設定された検索条件に合致する画像要素を含む文書を検索する文書検索部とを備える。
【選択図】 図１０

Description

本発明は、文書検索技術に関する。

ストレージ技術の進化および低コスト化が進み、大量の文書データを蓄積管理することが可能となっている。ファイルサーバ、文書管理システム、およびグループウェアなどが普及し、また、高機能化および高性能化が進んでいる。また情報処理装置が進化する一方で、コピー機、プリンタ、イメージスキャナ、ファクス、デジタルカメラ、文書ストレージや画像の送受信機能を備えた複合機（ＭＦＰ）などの各種の映像事務機器がネットワーク対応している。ネットワーク環境においては、情報処理装置や各種映像事務機器群の間で大量の文書データの交換が常時行われているが、オフィスのネットワークを流通する文書トラフィックを積極的にストアするストレージインフラストラクチャが実用化されつつある。

特許文献１では、操作者の手を煩わすことなく確実に、必要な画像の控えを残す複合画像処理装置を提供するために、少なくとも２つの画像データ出力装置が接続できる複合画像処理装置を開示している。

ストアされた膨大な文書の中から所望の文書を効率的に検索するためには、テキストだけでなく画像主体の文書の検索にも配慮することが重要である。プレゼンテーション資料やグラフィクス、ビジュアルを多用した文書など、テキストでない画像主体の文書ではフルテキストサーチだけでは不十分である。また、手元にある画像を検索キーにしてその画像を含む文書を検索したい場合、フルテキストサーチだけではうまく機能しない。

画像を検索キーとして類似画像を検索する類似画像検索の手法が多く知られている。画像中のエッジなどからオブジェクトを抽出し形状を判定し形状やその配置や配色や複数のオブジェクト間の位置関係などを用いるものや、画像全体を構成する支配的な色の組み合わせや配色パターンをヒストグラムなどで抽出して用いるものなどがある。

例えば、特許文献２では、認知的な類似性判定に近い特性を持つ特徴量を導き出す数学処理を用いる類似画像検索の手法を開示している。

画像検索技術を用いた文書検索の利用形態においては、単に検索キーで指定した単体の画像そのものを検索することが目的ではなく、複数の画像から構成される文書群の中から検索キーで指定した画像を含む所望の文書を適切に見つけ出すことが目的である。

例えば、特許文献３では、書籍の部分的な掲載データ（例えば、１ページの切り抜き）を含む検索依頼データを送り、その掲載データを用いて書籍データベースを検索し、検索結果を依頼データの送り手に通知する書籍検索サービス方法が開示されている。
特許３４８６４５２号公報 特開２００６‐６５８６６号公報 特開２００２‐１４９６５９号公報

特許文献２などに開示されている画像検索技術を単純に用いた文書検索では、検索結果としてただ１つの文書が得られるケースはむしろまれである。多くの場合、検索結果リストは相当数の文書を含みかつノイズ（所望の文書以外の文書）も多く含むものになる。その理由は、大規模なストレージインフラストラクチャにおいては実際に同一の画像を再利用したり改良したりして含む複数の文書が存在する場合が多いからである。画像の類似度はアナログな連続量であり、異なる画像の組であってもある程度の類似度を持つ。そのため、画像検索に基づく文書検索の結果も文書が完全にヒットするか、しないかという離散的な結果にはならず、連続的なヒット率として得られるからである。

そこで、検索結果リストをできるだけ絞り込み所望の文書に近い文書だけがヒットするように、きめの細かい検索条件を設定できるようにすることが重要である。

特許文献３は、部分的なページ画像データ（例えば、１ページの切り抜き等の「掲載データ」）から文書（「書籍」）を検索する点は共通である。しかしながら、ページ画像データ（の類似画像）がどのようなパターンで文書に含まれているかという条件指定により精度の高い検索絞り込みをする構成は開示されておらず、その示唆もない。

本発明はこのような問題点に鑑みてなされたもので、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を可能にする文書検索技術の提供を目的とする。

上記の目的を達成する本発明に係る文書検索装置は、複数の画像要素を含む文書を検索する文書検索装置であって、
画像検索の検索キーとするキー画像を指定するキー画像指定手段と、
前記キー画像指定手段により指定された前記キー画像に相当する前記画像要素が文書中に出現するパターンを検索条件として設定するパターン設定手段と、
前記パターン設定手段により設定された前記検索条件に合致する画像要素を含む文書を検索する文書検索手段とを備えることを特徴とする。

あるいは、上記の目的を達成する本発明に係る文書検索方法は、複数の画像要素を含む文書を検索する文書検索方法であって、
画像検索の検索キーとするキー画像を指定するキー画像指定工程と、
前記キー画像指定工程により指定された前記キー画像に相当する前記画像要素が文書中に出現するパターンを検索条件として設定するパターン設定工程と、
前記パターン設定工程により設定された前記検索条件に合致する画像要素を含む文書を検索する文書検索工程とを備えることを特徴とする。

本発明によれば、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うことが可能になる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

（第１実施形態）
（画像処理システムの構成）
図１は、実施形態に係る画像処理システムの全体構成を示すブロック図である。図１において、画像処理システムは、互いにネットワークを介して接続された画像処理装置１１０，１２０，１３０とパーソナルコンピュータ（情報処理装置）１０１、１０２とサーバシステム１４０とから構成される。ネットワークは、例えばＬＡＮ（Local Area Network）１００で構成される。

画像処理装置１１０は、画像入力デバイスであるスキャナ１１３、画像出力デバイスであるプリンタ１１４、制御ユニット１１１、ユーザインタフェースである操作部１１２から構成される。スキャナ１１３、プリンタ１１４、操作部１１２はそれぞれ、制御ユニット１１１に接続されて、制御ユニット１１１からの命令によって制御される。制御ユニット１１１は、ＬＡＮ１００に接続されている。

また、画像処理装置１２０、１３０は、画像処理装置１１０と同様の構成となっている。

パーソナルコンピュータ１０１は、複数のユーザのそれぞれが主に個人的に使用する情報処理装置であり、ユーザが利用するアプリケーションプログラムやユーザのデータ等を格納している。

サーバシステム１４０は、サーバコンピュータ１４１と大規模ストレージ装置１４２から構成される。

サーバコンピュータ１４１は、複数のユーザやクライアントシステムに対してサービスを提供するサーバアプリケーションや共有データ等を格納している。大規模ストレージ装置１４２は、高性能で信頼性が高い大規模な二次記憶装置であり、主にサーバコンピュータ１４１上で稼動するデータベース管理システム（ＤＢＭＳ）のデータ等を格納している。

サーバシステム１４０によってサービスされるサーバアプリケーションのひとつは、ネットワーク全域に渡って流通するジョブデータをアーカイブ（すなわち蓄積管理）するデータベース（ＤＢ）アプリケーションである。このサーバアプリケーションを以下ジョブアーカイブアプリケーションと呼ぶ。ジョブアーカイブアプリケーションは、ネットワークに接続された他の装置群にそれぞれ組み込まれたソフトウェアと連携して、ジョブアーカイブシステムと呼ばれる分散アプリケーションを構成する。

図１のシステムにおいて、パーソナルコンピュータ１０１は、画像処理装置１１０、１２０、１３０や、サーバシステム１４０などとＬＡＮ１００を介して連携する。例えば、パーソナルコンピュータ１０１は、画像処理装置１１０との間で文書データ（以下、単に「文書」ともいう）を送受信する。そして、プリント、スキャン、ファクス送信と受信、ボックス（画像処理装置１１０に組み込みの文書管理システム）への蓄積とリトリーブ、などのジョブを実行する。文書を処理するジョブを実行するとき、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションが、ジョブ情報とジョブの処理対象文書データの控えをアーカイブする。例えば、プリントジョブの場合、パーソナルコンピュータ１０１のプリンタドライバが画像処理装置１１０へジョブを投入するとともに、サーバシステム１４０へもそのジョブに関連する情報と処理対象文書のデータを送信することで、アーカイブが達成される。

図１のシステムにおいて、画像処理装置１１０は、他の画像処理装置１２０、１３０や、パーソナルコンピュータ１０１、１０２や、サーバシステム１４０などとＬＡＮ１００を介して連携する。例えば、画像処理装置１１０は、原稿の画像をスキャンしてデジタルデータ化して他の装置へ送信することが可能である。あるいは、画像処理装置１１０は、他の装置が保有しているデータをリトリーブしてプリントしたりローカルのボックスへ蓄積したり更に他の装置へ転送したりするジョブを実行することも可能である。

これらの文書を処理するジョブを実行するときにも、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションが、ジョブ情報とジョブの処理対象文書データの控えをアーカイブする。例えば、プッシュスキャンジョブの場合、画像処理装置１１０の「送信」アプリケーションが、原稿文書をスキャナで読み取ったデジタル文書データを本来の送信宛先に送信する。そして、送信とともに、サーバシステム１４０へもそのジョブに関連する情報（ジョブ情報）と処理対象文書のデータを送信することで、アーカイブが達成される。

このようにして、ネットワーク全域に渡り流通するジョブ文書はジョブアーカイブアプリケーションによりアーカイブされている。

（ジョブアーカイブアプリケーションのソフトウェア構成）
図２は、サーバシステム１４０において稼動するジョブアーカイブアプリケーションのソフトウェア構成を示すブロック図である。

データベース管理システム（ＤＢ管理システム）２０１は、大量のレコードを含む大容量のデータを、レコード間の関連とともに構造化したデータベースとして格納する。また、ＳＱＬ(Structured Query Language)などの問い合わせ言語による問い合わせに応じて、条件に合致するレコードをデータベースから高速にリトリーブする。ＤＢ管理システム２０１は、文書ＤＢ２０２、ジョブＤＢ２０３、インデクスＤＢ２０４を含む。ＤＢ管理システム２０１はよく知られたリレーショナルデータベースやオブジェクト指向データベースなどの実装によって実現できる。

文書ＤＢ２０２は、ジョブアーカイブシステムが蓄積管理する文書データを格納するデータベースである。文書の内容データと文書に関連するメタデータとを文書レコードとして格納している。文書ＤＢ２０２とジョブＤＢ２０３とは、格納されるレコード間で相互に関連している。

ジョブＤＢ２０３は、ジョブアーカイブシステムが蓄積管理するジョブデータをジョブレコードとして格納するデータベースである。ジョブＤＢ２０３と文書ＤＢ２０２とは、格納されるレコード間で相互に関連している。

インデクスＤＢ２０４は、ジョブアーカイブシステムが蓄積管理する文書データやジョブデータから、所望のデータを高速に検索するためのインデクスレコードを格納するデータベースである。インデクスＤＢ２０４に格納されるインデクスレコードは、文書ＤＢ２０２およびジョブＤＢ２０３内のレコードを参照している。

ストア部２０５は、画像処理装置１１０やパーソナルコンピュータ１０１などのクライアント装置から文書データおよびジョブデータを受信して、ＤＢ管理システム２０１に格納する格納要求受け付けモジュールである。ストア部２０５は、受信した文書データとジョブデータをＤＢ管理システム２０１に格納する。また、ストア部２０５は、受信した文書データのデータ形式に応じてメタデータを生成するための処理を切り替える。受信した文書データが、画像スキャナで読み取ったり、デジタルカメラで撮影したり、ファクスで受信したりして生成されるラスタ画像文書データである場合、ストア部２０５は、文書データをラスタ画像ページ処理部２０６に送る。

受信した文書データがコード化された文書データであった場合、ストア部２０５は、展開部２１０にデータを送る。例えば、ストア部２０５は、ページ記述言語やベクタ表現された各種文書フォーマットを展開部２１０に送る。また、ストア部２０５は、デスクトップパブリッシングやワードプロセッサや表計算やプレゼンテーションやドローイングやペインティング等各種アプリケーションの文書フォーマットのデータを展開部２１０に送る。

ラスタ画像ページ処理部２０６は、ラスタ画像文書から文書を構成するページ（画像ページ）を切り分けて画像ページごとに処理するモジュールである。ラスタ画像ページ処理部２０６は、切り分けた画像ページを画像特徴抽出部２０７および画像構造解析部２０８に送る。

画像特徴抽出部２０７は、ラスタ画像データを解析して画像間の類似性判定の基準として用いる特徴データ（以下、単に「特徴」ともいう）を抽出するモジュールである。抽出された特徴データはＤＢ管理システム２０１に送られ、ＤＢ管理システム２０１は受信した特徴データを格納する。類似画像検索に有効な特徴抽出の手法は種々のものが適用可能である。本実施形態では、特定のアルゴリズムには依存せず有効な手法を複数併用する。採用可能な手法には、たとえば以下のものを含む。

例えば、画像中のエッジなどからオブジェクトを抽出し、オブジェクトの形状を判定し形状やその配置や配色や複数のオブジェクト間の位置関係などを用いる手法がある。画像全体を構成する支配的な色の組み合わせや配色パターンをヒストグラムなどで抽出する手法もある。また、認知的な類似性判定に近い特性を持つ特徴量を導き出す各種の数学処理（たとえばフーリエ・メリン変換 Fourier Mellin Transforms）を用いる手法もある。特開２００６−６５８６６号公報（特願２００５‐２４４６８４）により開示されるアプローチも好適な手法である。

画像構造解析部２０８は、ラスタ画像データからその構造を解析するモジュールである。画像構造解析部２０８は、領域分割（ブロックセレクション）或は像域分離などの手法を用いて、ひとかたまりの画像領域（画像ページ）から、それを構成する特性の異なる複数の領域に分解する。例えば、画像構造解析部２０８は、複数の領域（文字領域、画像領域、写真領域、グラフィクス領域、白黒領域、カラー領域等）に分解し、領域構造に関する解析と分類を行う。

また、背景などの下地バターンとその上に配置された文字や形状などのオブジェクトとの、レイヤ構造に関する解析と分類も行う。解析の結果得られた画像領域（あるいは画像レイヤ）のラスタ画像データを画像特徴抽出部２０７に送る。また、解析の結果得られたテキスト領域（またはテキストレイヤ）のラスタ画像データをＯＣＲ２０９に送る。また、解析の結果得られた構造情報はＤＢ管理システム２０１に送り格納する。

ＯＣＲ２０９は、文字が描画されたラスタ画像データを解析して文字認識するモジュールである。ＯＣＲ２０９は、文字認識したテキストデータ（すなわち、Ｕｎｉｃｏｄｅなどによってコード化されたデータ）をＤＢ管理システム２０１に送り格納する。

インデクス生成部２１１は、文書ＤＢ２０２やジョブＤＢ２０３から高速にデータを検索するためのインデクス情報を生成するモジュールである。インデクスは、検索キーとして与えられる画像に類似した画像を含む文書レコードを高速に検索したり、検索キーとして与えられるテキストを文書内容データやページ内容データの中に含む文書レコードを高速に全文検索したりするために予め生成される。また、インデクスは、検索キーとして与えられる条件に合致するメタデータを持つ文書レコードやジョブレコードを高速に検索したりするために予め生成される。インデクスの生成も、知られている複数の手法を併用できる。

全文検索のためのインデクスの生成には、例えば、Ｎ−グラム（N-gram）の手法を用いる。類似画像検索のためのインデクスの生成のためには、画像の特徴を表現する特徴ベクトルを予め分類（クラスタリング）したりハッシュ関数などによって順序づけたりしておく。インデクス生成部２１１によるインデクス生成は、文書データやジョブデータの追加登録や編集などによって文書ＤＢ２０２やジョブＤＢ２０３が更新されたときに行われる。また、各ＤＢの更新とは非同期に、バッチ処理としてインデクス生成することもできる。生成したインデクスはＤＢ管理システム２０１のインデクスＤＢ２０４に格納する。

リトリーブ部２１２は、画像処理装置１１０やパーソナルコンピュータ１０１などのクライアント装置から検索キー（検索キー画像または検索キーテキスト）とその検索条件を受け付けるモジュールである。また、リトリーブ部２１２は、受け付けた検索条件に応じてＤＢ管理システム２０１から文書データを検索する。そして、ヒットした文書データや文書に関連するサムネール画像（以下、単に「サムネール」ともいう）やジョブデータ等のメタデータをクライアント装置に返信する。

文書検索部２１３は、文書検索要求に合致する文書を検索するモジュールである。文書検索部２１３は、検索要求と与えられた検索キーの型に応じて、文書の内容データに基づく検索や文書に含まれるページデータに基づく検索や文書のメタデータに基づく検索が可能である。また、文書検索部２１３は、文書に関連するジョブに基づく検索を組み合わせて、検索要求に合致する文書レコードの候補を複数探し出すことも可能である。

ページ検索部２１４は、文書に含まれるページデータに基づく検索の要求に応じて、文書ＤＢ２０２から、検索要求の条件に合致するページレコードの候補（およびそのページを含む文書）を複数探し出す。

類似画像検索部２１５は、検索キーとして与えられた画像に基づく類似画像検索の要求に応じて、検索キー画像に類似する画像を含むページ内容データを持つページレコード（およびそのページを含む文書）を複数探し出す。類似画像検索部２１５は、画像特徴抽出部２０７と同様の画像特徴抽出を検索キー画像に対して行い、特徴間の類似性をもとに類似画像を検索する。

ＤＢ操作部２１６は、クライアント装置からデータベースに対する操作や各データベース内のレコードに対する操作要求を受け付けて処理し結果を返送するデータベース操作モジュールである。クライアント装置には、サーバコンピュータ１４１の管理コンソールまたは画像処理装置１１０やパーソナルコンピュータ１０１などが含まれる。レコードに対する操作は、たとえば、メタデータ（タグなど）の追加や編集といった操作を含む。

（画像処理装置のハードウェア構成）
図３は、画像処理装置１１０のハードウェア構成を示すブロック図である。画像処理装置１２０、１３０も同じ構成を備えるものとする。

制御ユニット１１１は、スキャナ１１３やプリンタ１１４と接続する一方でＬＡＮ１００や公衆回線（ＷＡＮ）と接続することで、画像情報やデバイス情報の入出力を制御する。

ＣＰＵ３０１は、制御ユニット１１１全体を制御するコントローラである。ＲＡＭ３０２は、ＣＰＵ３０１が動作するために使用するシステムワークメモリである。また、ＲＡＭ３０２は、画像データを一時記憶するための画像メモリでもある。ＲＯＭ３０３は、ブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ３０４は、ハードディスクドライブであり、システムソフトウェア、画像データを格納する。

操作部Ｉ／Ｆ３０６は、操作部（ＵＩ）１１２との間のインタフェースを司り、操作部１１２に表示すべき画像データを操作部１１２に対して出力する。また、使用者が操作部１１２を介して入力した情報を、ＣＰＵ３０１に伝える役割を果たす。

ネットワークインタフェース（Network）３０８は、ＬＡＮ１００との接続を司り、ＬＡＮ１００に対して情報の入出力を行う通信手段として機能する。モデム（ＭＯＤＥＭ）３０９は、公衆回線との接続を司り、公衆回線に対して情報の入出力を行う通信手段として機能する。以上のデバイスがシステムバス３０７上に配置される。

イメージバスインターフェース（Image Bus I/F）３０５は、システムバス３０７と画像データを高速で転送する画像バス３１０とを接続し、データ構造を変換するバスブリッジである。画像バス３１０は、ＰＣＩバスまたはＩＥＥＥ１３９４で構成される。

画像バス３１０には以下のデバイスが配置される。ラスタイメージプロセッサ（ＲＩＰ）３１１は、ネットワークから送信されたＰＤＬコードをビットマップイメージに展開する。デバイスＩ／Ｆ３１２は、画像入出力デバイスであるスキャナ１１３やプリンタ１１４と制御ユニット１１１とを接続し、画像データの同期系／非同期系の変換を行う。

スキャナ画像処理部３１３は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部３１４は、プリント出力画像データに対して、プリンタ１１４の性能に応じた補正、解像度変換等を行う。画像回転部３１５は画像データの回転を行う。画像圧縮部３１６は、多値画像データに対してはＪＰＥＧ圧縮伸長処理を行い、２値画像データに対してはＪＢＩＧ、ＭＭＲ、ＭＨの圧縮伸長処理を行う。

（画像処理装置の外観）
図４は、画像処理装置１１０の外観を示す斜視図である。画像処理装置１２０、１３０も同等の外観を備える。尚、これ以降では、画像処理装置１１０について説明するが、画像処理装置１２０、１３０でも全く同じ構成が備えられ、全く同じ動作を行うことが可能である。

画像入力デバイスであるスキャナ１１３は、原稿となる記録媒体（紙上）の画像を照明し、ＣＣＤラインセンサ（図示せず）を走査することによって、ラスターイメージデータを生成する。

使用者が原稿用紙を原稿フィーダ４０５のトレイ４０６にセットして、操作部１１２において読み取りの起動を指示すると、制御ユニット１１１のＣＰＵ３０１がスキャナ１１３に指示を与える。与えられた指示に基づき、トレイ４０６にセットされた原稿用紙は１枚ずつフィードされ、スキャナ１１３が原稿画像の読み取り動作を行う。

画像出力デバイスであるプリンタ１１４は、ラスターイメージデータを記録媒体（用紙）に印刷し、出力する。印刷方式は、感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して記録媒体（用紙）上に直接画像を形成するインクジェット方式等があるが、どの方式であってもよい。なお、印刷動作は、ＣＰＵ３０１からの指示によって起動される。

プリンタ１１４は、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段を持ち、それに対応した用紙カセット４０１、４０２、４０３を備える。また、排紙トレイ４０４は、印刷し終わった用紙を受ける。

（画像処理装置の操作部）
図５は、画像処理装置１１０の操作部１１２の構成を示す平面図である。尚、画像処理装置１２０、１３０の操作部も同等の構成を備える。

ＬＣＤ表示部５０１は、ＬＣＤ（液晶表示装置）上にタッチパネルシートが貼られた構成になっている。ＬＣＤ表示部５０１は、画像処理装置１１０の操作画面およびソフトキーを表示するとともに、表示してあるキーが押された場合には、押された位置を示す位置情報が制御ユニット１１１のＣＰＵ３０１に伝える。

スタートキー５０５は、原稿画像の読み取り動作を開始する場合等に操作されるキーである。スタートキー５０５の中央部には、緑と赤の２色ＬＥＤ表示部５０６があり、その色によってスタートキー５０５を操作できる状態であるか否かを示す。ストップキー５０３は、稼働中の画像処理装置１１０の動作を止めたい場合に操作されるキーである。ＩＤキー５０７は、使用者のユーザＩＤを入力するときに操作されるキーである。また、リセットキー５０４は、操作部１１２からの設定を初期化するときに操作されるキーである。

（操作部及び操作部Ｉ／Ｆの内部構成）
図６は、画像処理装置１１０の操作部１１２及び操作部Ｉ／Ｆ３０６の内部構成を制御ユニット１１１の内部構成と対応させて示すブロック図である。尚、これ以降では、画像処理装置１１０について説明するが、画像処理装置１１０を画像処理装置１２０または画像処理装置１３０と読み替えても全く何ら支障は無い。

上述したように、操作部１１２は、操作部Ｉ／Ｆ３０６を介してシステムバス３０７に接続される。システムバス３０７には、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ハードディスクドライブ（ＨＤＤ）３０４が接続されている。ＣＰＵ３０１は、ＲＯＭ３０３とＨＤＤ３０４に記憶された制御プログラム等に基づいて、システムバス３０７に接続される各種デバイスとのアクセスを総括的に制御する。また、ＣＰＵ３０１は、デバイスＩ／Ｆ３１２を介して接続されるスキャナ１１３から入力情報を読み込み、またデバイスＩ／Ｆ３１２を介して接続されるプリンタ１１４に出力情報としての画像信号を出力する。ＲＡＭ３０２はＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

ディスプレイ５０２のタッチパネルや各種ハードキー５０３、５０４、５０５、５０７からのユーザ入力情報は、入力ポート６０１を介してＣＰＵ３０１に渡される。ＣＰＵ３０１は、ユーザ入力情報の内容と制御プログラムとに基づいて表示画面データを生成し、画面出力デバイスを制御する出力ポート６０２を介して、ＬＣＤ表示部５０１に表示画面データを出力する。また、必要に応じて２色ＬＥＤ表示部５０６を制御する。

図７は、画像処理装置１１０の操作部１１２に表示される標準的な操作画面の一例を示す図である。

図７の最上部の表示領域７０１に並んでいるボタン群は、画像処理装置１１０が提供する各種機能から１つを選択するためのボタン群である。コピー機能７０４は、スキャナ１１３でスキャンし読み取った原稿画像データをプリンタ１１４でプリントして原稿の複写物を得るための機能である。

送信機能７０５は、スキャナ１１３で読み取った原稿画像データやＨＤＤ３０４に蓄積されている画像データを各種出力先に送信するための機能である。出力先としては、ネットワークインタフェース３０８経由で各種のプロトコルによって送信可能な各種の出力先、および、モデム３０９経由でファクシミリなどのプロトコルによって送信可能な各種の出力先がある。送信機能７０５により複数の出力先を選択して送信することができる。

ボックス機能７０６は、ＨＤＤ３０４に蓄積されている画像データやコードデータなどの文書ファイルを閲覧、編集、プリント、および送信するための機能である。ＨＤＤ３０４に蓄積される文書ファイルには、スキャナ１１３によって読み取った原稿画像データ、ネットワークインタフェース３０８経由でダウンロードしたデータが含まれる。また、ＨＤＤ３０４に蓄積される文書ファイルにはネットワークインタフェース３０８経由で他の装置から受信したプリントデータを蓄積したデータ、モデム３０９経由で他の装置から受信したファクシミリデータなどが含まれる。

ボックス機能７０６は、ユーザのオフィス環境において電子的なメールボックスとして利用できる。また、パスワードを入力するまで用紙へのプリント出力を遅延することによって、ＰＤＬプリントジョブの守秘性を高めるセキュアドプリントとして利用することもできる。

ボックス機能７０６の利用により、他の画像処理装置１２０、１３０のＨＤＤや情報処理装置１０１、１０２が公開する共有ファイルシステムにアクセスし、データの閲覧、編集、プリント、および送信が可能になる。ボックス機能７０６によりサーバシステム１４０の共有ファイルシステムやデータベースシステム等に蓄積されている画像データやコードデータ等の文書ファイルにアクセスし、データの閲覧、編集、プリント、送信が可能になる。

拡張機能７０７は、スキャナ１１３を外部装置から利用するために、各種の拡張機能を呼び出すための機能である。

検索機能７０８は、画像処理装置１１０のボックスや、他の画像処理装置のボックス等から所望の文書を検索するための機能である。検索機能７０８により、情報処理装置が公開する共有ファイルシステムや、サーバシステム１４０がサービスする共有ファイルシステムやデータベースシステムから、所望の文書を検索することが可能である。

図７の中間部分の表示領域７０２は、コピー機能７０４が選択された場合の操作画面を表示している。図７の最下部７０３はステータス表示領域であり、最上部の表示領域７０１で選択された機能の如何に関わらず、画像処理装置１１０の各機能や装置自体の情報などの各種のメッセージをユーザに対して表示する。

図８は、ＤＢ管理システム２０１に格納される各データベースの概略的な構成を示す図である。

文書ＤＢ２０２は、複数の文書レコード８０１を含む。文書レコード８０１は、ユーザが取り扱う紙文書や電子的な文書ファイルに対応するレコードである。文書レコード８０１は、文書メタデータ８０２、文書内容データ８０３、および複数のページレコード８０４を含む。

文書メタデータ８０２は、文書レコードに対応する文書に関連する各種のメタデータを格納するレコードである。文書メタデータ８０２は、対応する文書に関して、文書名、作者、作成日付、データ形式、データサイズ、ページ数、タグ、および、ジョブ履歴などを含む。

「タグ」とは、文書にユーザがつけた任意の文字列からなるキーワードのような情報である。タグに基づいて文書の検索が可能である。ユーザはひとつの文書に対して複数のタグを自由につけることができるので、タグを文書に付加することにより文書をさまざまな基準で分類したり検索しやすくしたりすることが可能である。共有の文書に対して、その文書を後で参照したり利用したりするために、複数のユーザが後からタグを追加していくこともできる。これによって文書を分類や検索するためのメタデータを飛躍的に充実させることが期待できる。

このアプローチをフォークソノミー （folksonomy） と呼ぶ場合がある。「Folksonomy 」とは 「folks」（言葉づかい） と 「taxonomy」（分類法） を組み合わせた用語である。

ジョブ履歴は、文書を処理対象として実行された一連のジョブを特定する参照情報のリストである。１つの文書レコードは複数のジョブレコードへの参照を保持する場合がある。たとえば、明らかに同一と特定できる文書を複数のジョブが処理対象とした場合である。

文書内容データ８０３は、文書そのものの内容に対応するデータである。コード化された文書データが格納された場合における、テキストやアプリケーションプログラムのデータなどが相当する。紙の原稿に対応しスキャナ１１３で読み取られたラスタ画像データのように、文書を構成するページが明確に分離している場合は、ページレコード８０４に内容データを含める。

ページレコード８０４は、文書を構成するページのそれぞれに対応するレコードである。スキャナ１１３で読み取ったラスタ画像データ群や、アプリケーションプログラムのデータを展開部２１０で展開してページ単位に分割した画像データや構造情報やテキストやメタデータ群等が、夫々のページレコードに対応する。

ページレコードは、ページメタデータ８０５とページ内容データ８０６などを含む。ページメタデータ８０５は、ページレコードに対応するページに関連する各種のメタデータを格納するレコードである。ページメタデータ８０５は、構造情報、特徴、サムネールなどを含む。構造情報は、画像構造解析部２０８や展開部２１０が解析して格納したページの構造に関する情報である。

特徴は、画像特徴抽出部２０７が抽出して格納したページを構成する画像の特徴を表現する情報である。

サムネールは、ページ全体の画像やページに含まれる画像要素を、解像度変換（または縮小変倍）して、比較的小さくて扱いやすいいくつかのサイズにした画像である。サムネール画像はページメタデータ８０５の生成時に生成してもよいし、外部からのリトリーブに応えるために必要となったときオンデマンドに生成してもよい。また、スケジューリングされたバッチ処理によって、まだ生成されていないサムネール画像群をまとめて生成するタスクを非同期に実行してもよい。

ページ内容データ８０６は、ページそのものの内容に対応するデータである。紙原稿のページを画像スキャナで読み取ったラスタ画像データや、コード文書を展開部２１０でページにレンダリングした画像データなどページ単位の画像データが、ページ内容データ８０６に格納される。また、ページ画像をＯＣＲ２０９で文字認識して得たテキストデータや、コード文書を展開部２１０が展開して得たページ単位のテキスト情報なども、ページ内容データ８０６に格納される。

ジョブＤＢ２０３は、複数のジョブレコード８０８を含む。ジョブレコード８０８は、ユーザが実行した文書処理ジョブの各々に対応するレコードである。ジョブレコード８０８は、日時、操作者、要求した装置、処理した装置、処理内容、および、処理文書などを含む。日時は、ジョブを実行した日時を表現するデータである。操作者は、ジョブを実行したユーザを特定するデータである。

処理を要求した装置は、ジョブ実行の要求元になった装置である例えば、パーソナルコンピュータ１０１から画像処理装置１１０にプリントした場合、要求元となる装置はパーソナルコンピュータ１０１である。

処理した装置は、ジョブを実質的に処理した装置である。例えば、パーソナルコンピュータ１０１から画像処理装置１１０にプリントした場合、処理した装置は画像処理装置１１０である。

処理内容は、ジョブの処理内容を特定する情報である。ジョブの種別、およびそれぞれのジョブ種別において選択可能な各種オプションと設定可能な各種パラメータをどのように選択・設定して処理したか特定する情報を含む。

処理文書は、このジョブが処理対象とした文書を特定する参照情報のリストである。１つのジョブレコードが複数の文書レコードを参照する場合がある。たとえば、１つのジョブが複数の文書を処理対象として実行された場合である。

インデクスＤＢ２０４は、複数のインデクスレコード８０９を含む。インデクスレコード８０９は、文書ＤＢ２０２やジョブＤＢ２０３から高速にデータを検索するためのインデクス情報であり複数の文書レコード８０１および複数のジョブレコード８０８を参照している。

インデクスレコードはインデクス生成部２１１によって生成される。インデクスレコードは、検索キーとして与えられる画像に類似した画像を含む文書レコードを高速に検索するために使用することが可能である。また、インデックスレコードは、検索キーとして与えられるテキストを文書内容データやページ内容データの中に含む文書レコードを高速に全文検索するために使用することが可能のである。更に、インデックスレコードは、検索キーとして与えられる条件に合致するメタデータを持つ文書レコードやジョブレコードを高速に検索したりするために使用することが可能である。

（検索処理の手順）
図９は、検索処理の手順を説明するフローチャートである。本検索処理は画像処理装置１１０のＣＰＵ３０１において実行される組み込みアプリケーションプログラムによって達成される。この組み込みアプリケーションを文書検索アプリケーションと呼ぶ。

本フローチャートの一連の手順は、ユーザが操作部１１２の表示領域７０１中の「検索」ボタンを選択したときなどに開始する。

ステップＳ９０１で、文書検索機能の基本画面（検索画面）を操作部１１２の表示領域７０２に表示する。検索画面では、検索条件の設定、検索キーの入力、検索スタートなどができる。検索画面の構成は、図１０によって説明する。

ステップＳ９０２で、ユーザの指示に応じて、検索キー画像を入力する。

ステップＳ９０３で、ユーザの指示に応じて、他の検索条件設定を入力する。

ステップＳ９０４で、ユーザからの検索開始指示が入力されるのを待機する。ユーザから検索開始が指示されるまでの間（Ｓ９０４−Ｎｏ）、ステップＳ９０２に戻り検索キー画像や他の検索条件設定の入力を繰り返す。ユーザから検索開始指示が入力されると（Ｓ９０４−Ｙｅｓ）、ステップＳ９０５に進む。

ステップＳ９０５で、検索処理を行う。文書検索アプリケーションは、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションに接続し、リトリーブ部２１２に対して検索キーと検索条件を送信する。そして、リトリーブ部２１２による検索の結果、検索条件に合致（ヒット）した１つ以上の文書に関して、検索結果リストの表示に必要なデータを受信する。類似画像検索や全文検索の特徴上、相当数の文書が検索にヒットする場合が多い。検索結果リストを表示するために必要なデータは、ヒットした文書に対応する文書レコードに含まれるメタデータおよび文書レコードに関連付けられたジョブレコードに含まれるデータの一部である。

ステップＳ９０６で、ジョブアーカイブアプリケーションから受信した情報に基づいて検索結果リストを表示する。検索結果リスト表示の構成は、図１１によって説明する。

ステップＳ９０７で、ユーザがサムネール表示設定変更を指示したか判定する。指示を受けた場合は（Ｓ９０７−Ｙｅｓ）、ステップＳ９０８に進み、サムネール表示設定を変更する。そして、ステップＳ９０６に処理が戻され、ステップＳ９０６で、変更されたサムネール表示設定に基づいて検索結果リストを再表示する。

ステップＳ９０７の判定で、サムネール表示設定変更指示が入力されない場合（Ｓ９０７−Ｎｏ）、処理はステップＳ９０９に進められる。

ステップＳ９０９で、ユーザが文書レコードフィルタ変更を指示したか判定する。指示を受けた場合は（Ｓ９０９−Ｙｅｓ）、ステップＳ９１０に進み、文書レコードフィルタを変更する。そして、ステップＳ９０６に処理が戻され、ステップＳ９０６で、変更された文書レコードフィルタに基づいて検索結果リストを再表示する。

ステップＳ９０９の判定で、文書レコードフィルタ変更指示が入力されない場合（Ｓ９０９−Ｎｏ）、処理はステップＳ９１１に進められる。

ステップＳ９１１で、ユーザが文書やページの詳細項目表示を指示したか判定する。指示を受けた場合は（Ｓ９１１−Ｙｅｓ）、ステップＳ９１２に進み、選択された文書やページやジョブに関する詳細情報を示すウィンドウを表示する。ユーザが詳細項目表示ウィンドウを閉じるとステップＳ９０６に戻り検索結果リストを再表示する。

ステップＳ９１１の判定で、詳細項目表示が入力されない場合（Ｓ９１１−Ｎｏ）、処理はステップＳ９１３に進められる。

ステップＳ９１３で、ユーザが文書レコードに対する操作を指示したか判定する。リスト中に示された文書レコードに対して可能な操作は、印刷、保存、送信、タグ付け、関連文書の検索表示、マーク付け、などがある。指示を受けた場合は（Ｓ９１３−Ｙｅｓ）、ステップＳ９１４に進み選択された指示に対応する文書レコード操作を実行する。次いで、ステップＳ９０６に戻り検索結果リストを再表示する。

ステップＳ９１５の判定で、文書レコード操作が入力されない場合（Ｓ９１３−Ｎｏ）、処理はステップＳ９１５に進められる。

ステップＳ９１５で、ユーザが再検索を指示したか判定する。指示を受けていない場合（Ｓ９１５−Ｎｏ）、ステップＳ９０６に戻り検索結果リストを再表示する。ステップＳ９１５の判定で再検索の指示を受けた場合は（Ｓ９１５−Ｙｅｓ）、ステップＳ９０１に戻り、再度一連の検索処理を実行する。

尚、この手順の一連の処理は情報処理装置１０１で実行してもよい。あるいは、一連の処理を部分に分割してそれぞれの処理を担当するソフトウェアを複数の装置上に配備して実行する分散アプリケーションとして構成することもできる。例えば、検索画面や検索結果リストの表示とユーザからの指示入力を画像処理装置１１０上で実行する。そして、それ以外の処理を情報処理装置１０１やサーバシステム１４０や他の画像処理装置１２０、１３０などの上で実行するように構成してもよい。

逆に、検索画面や検索結果リストの表示とユーザからの指示入力を情報処理装置１０１上で実行し、それ以外の処理を画像処理装置１１０やサーバシステム１４０の上で実行するように構成してもよい。情報処理装置１０１において文書検索アプリケーションを操作する場合、手元にスキャナ１１３を備える画像処理装置１１０において操作する場合よりも紙原稿の画像を検索キー画像として入力する操作は不便になることもある。この場合、予め画像処理装置１１０のボックス機能により蓄えた画像を、情報処理装置１０１や他の画像処理装置１２０などからも操作できるので、ボックスから選択した画像を検索キー画像として用いることは容易である。

尚、分散アプリケーションを構成する方法の１つとして、ＷｅｂブラウザとＷｅｂサーバの組み合わせによって実現するＷｅｂアプリケーションの形態もある。

（文書検索画面の構成例）
図１０は、文書検索アプリケーションの基本画面である文書検索画面の構成例を示す図である。

文書検索画面１０００は、文書検索アプリケーションの基本画面である。本実施形態における文書検索アプリケーションは文書検索画面を操作部１１２の表示領域７０２に表示する。文書検索画面１０００は、検索条件設定領域１００１、検索キー画像入力領域１００２、および、検索スタート指示領域１００３から構成される。

検索条件設定領域１００１は、検索条件を設定したり確認したりするための領域である。「検索キーの出現パターンに基づく検索」ラジオボタン１００４は、基本的な検索条件を選択し選択されている設定を確認するためのラジオボタンである。このラジオボタンが選択されているとき、検索キーが文書の中に出現するパターンを条件として検索を行う。

検索キー出現パターンプルダウンメニュー１０２０は、「検索キーの出現パターンに基づく検索」ラジオボタン１００４が選択状態にあるとき有効となり、検索条件として検索キーが文書の中に出現するパターンを選択する。検索キー出現パターンプルダウンメニュー１０２０において選ばれている選択肢の例「いずれかのキーを前半に含む」は、セットした検索キーのうちのいずれかにヒットするページを文書の前半部分に含む文書を検索することを示す。検索キー出現パターンプルダウンメニュー１０２０の他の選択肢については、図１４乃至図１７を参照して詳述する。

正規表現フィールド１０２１は、「検索キーの出現パターンに基づく検索」ラジオボタン１００４が選択状態にあるとき有効となる。正規表現フィールド１０２１は、検索条件として設定されている検索キーが文書の中に出現するパターンを記述するフィールドである。検索キー出現パターンプルダウンメニュー１０２０の選択に応じて、設定された検索条件（検索キー）に相当する正規表現が表示される。検索キーの出現パターンを表現する表記方法は、Ｐｅｒｌ言語やｇｒｅｐコマンドなどにおいて広く利用されよく知られている正規表現（regular expression）を用いることができる。本実形態の正規表現は、Ｐｅｒｌ言語の書式のサブセットを元にさらに若干の独自拡張を施している。正規表現フィールド１０２１については、図１６を参照して後に詳述する。

「高度な検索」ラジオボタンは、検索オプションボタン１０２２によって設定したより詳細な検索条件の設定に基づいて、ヒットする文書を検索するためのラジオボタンである。

検索オプションボタン１０２２は、詳細な検索条件を設定するウィンドウを開くためのボタンである。詳細な検索条件の設定は、高度な検索モードで検索が実行されたときヒットする文書を判定する基準として用いる高度な検索条件の設定を含む。詳細な検索のオプションとして、メタデータ検索や全文検索を併用する条件を、類似画像検索と併用して設定できる。

メタデータ検索は、文書に対応する文書レコード８０１に関して、その文書メタデータやページメタデータ８０５群や対応するジョブレコード８０８にそれぞれ格納されているデータ項目ごとに検索条件を指定する検索方法である。メタデータ検索によって、タグ、文書名、所有者、作成日付、データ形式、ページ数、タグ、関連文書、などに基づく検索条件を指定できる。また、メタデータ検索によって、ジョブ履歴（日時、操作者、要求した装置、処理した装置、処理内容、このジョブにおいて処理した他の処理対象文書）、ページの構造情報、などに基づく検索条件を指定できる。

したがって、文書名や所有者や作成日時やタグなどに基づく一般的な検索に加えて、関連文書や過去にその文書が検索された履歴に基づいて検索することもできる。

メタデータ検索によれば、文書を構成するページに関して、方向がポートレート（縦長）か、ランドスケープ（横長）か、などの基準に基づいて検索することもできる。また、メタデータ検索によれば、用紙のサイズ、ページ数がｎページ以上ｍページ未満、カラーかモノクロか、画像とテキストの割合はどの程度かなどの基準に基づいて検索することもできる。

また、メタデータ検索によれば、いつ、どこで、誰が、どのように処理した文書であるかという、ジョブに関連する基準に基づいて検索することもできる。

全文検索は、検索キーとしてテキスト（文字列）を設定し、文書の全テキスト中に設定された文字列を含む文書を検索する。文書のテキストは、文書レコード８０１に含まれる文書内容データ８０３、ページレコード８０４のいずれかに含まれるページ内容データに含まれているテキストである。

文書メタデータ８０２やページメタデータ８０５に含まれているテキスト形式のデータを全文検索の対象に加えることもできる。文書と関連するジョブレコード８０８に含まれているテキスト形式のデータを全文検索の対象に加え、ジョブレコード８０８がヒットした場合は対応する文書レコード８０１がヒットするように設定することもできる。

検索キー画像入力領域１００２は、類似画像検索の検索キーとする画像を設定したり確認したりするための領域である。

原稿画像スキャンボタン１００６は、画像処理装置のスキャナ１１３を用いて紙原稿を読み取り、類似画像検索の検索キーとして入力するためのボタンである。原稿画像スキャンボタン１００６が押されると、画像スキャンウィンドウを開く。画像スキャンウィンドウでは画像処理装置１１０のコピー機能や送信機能における原稿読み取り設定やＴＷＡＩＮ等に基づく一般的なスキャナデバイスドライバの原稿読み取り設定等と同様に原稿読み取りのパラメータを設定できる。

スタートキー５０５が押されると、設定されている原稿読み取りパラメータに従って原稿画像をスキャンし読み取った画像データを検索キー画像として入力する。原稿画像のスキャンが完了したとき画像スキャンウィンドウが開かれていれば閉じる。原稿画像スキャンボタン１００６を押さず、スタートキー５０５が押された場合、デフォルトの原稿読み取りパラメータ、または、その時点までに設定されている原稿読み取りパラメータに従って原稿画像をスキャンする。

ボックス画像選択ボタン１００７は、画像処理装置１１０のボックス機能を利用して、あらかじめ格納されている文書群の中から検索キー画像を選択するためのボタンである。ボックス機能によって、画像処理装置１１０のＨＤＤ３０４を閲覧して、検索キー画像として利用したい画像を含む文書を選択できる。また、他の画像処理装置１２０、１３０のＨＤＤや情報処理装置１０１、１０２が公開する共有ファイルシステムに、ＬＡＮ１００を介してアクセスし、閲覧し、検索キー画像として利用したい画像を含む文書を選択できる。あるいは、サーバシステム１４０がサービスする共有ファイルシステムやデータベースシステムなどの文書ファイルにＬＡＮ１００を介してアクセスし、閲覧して、検索キー画像として利用したい画像を含む文書を選択できる。

検索キー画像設定領域１００８は、セットされている検索キー画像の組を確認し操作するための領域である。

検索キー画像設定状況メッセージ１００９は、検索キー画像のセット状況を示すメッセージであり、セットされている検索キー画像の個数などを表示する。

検索キー画像表示領域１０１０は、セットされている検索キー画像群を表示する領域である。この領域に、検索キーとしてセットされた画像に対応する検索キーアイコンの組が並べて表示される。原稿画像スキャンボタン１００６やボックス画像選択ボタン１００７を用いて検索キー画像を入力すると、対応する検索キーアイコンがこの領域に追加される。

検索キーアイコン１０１１は、１つの検索キー画像に対応するアイコンである。このアイコンを介して、検索キーに対する各種の操作を指示できる。

検索キーＩＤ１０１２は、この検索キーを特定するための識別情報（識別子）である。

検索キーサムネール１０１３は、検索キーのサムネール画像である。検索キーサムネール１０１３が押されると、画像ビューアウィンドウを開きサムネールよりも大きなサイズで検索キー画像が表示される。画像ビューアウィンドウによって、ユーザは検索キー画像の詳細を確認できる。

検索キー概要１０１４は、検索キー画像に関する簡単な説明である。

検索キー詳細ボタン１０１５は、検索キー画像に関する詳細情報を確認するためのボタンである。検索キー詳細ボタン１０１５の操作により検索キー概要１０１４よりも詳細に検索キーに関する情報を表示する検索キー詳細ウィンドウを開くことができる。検索キー詳細ウィンドウでは、検索キー画像に固有の検索条件を設定することもできる。今後の検索するときこの検索キーを再利用するために、検索キー画像をボックスに保存することもできる。

検索キー編集ボタン１０１６は、検索キー画像を編集するためのボタンである。検索キー編集ボタン１０１６の操作により検索キー画像を編集するための検索キー編集ウィンドウを開くことができる。検索キー編集ウィンドウでは、検索キー画像に対してトリミング、マスキング、ノイズ除去などの各種画像処理を施して、所望の検索キー画像へと編集できる。また、検索キー画像を切り分けて、複数の検索キー画像に分割できる。また、複数ページ画像を含む文書に対応する１つの検索キーをページ画像単位に切り分けて、それぞれのページ画像に対応する検索キー画像に分割できる。

検索キー削除ボタン１０１７は、検索キー画像を検索キーの組から取り除くためのボタンである。検索スタート指示領域１００３は、検索処理を起動するための領域である。

検索開始ボタン１０１８は、検索処理を開始するためのボタンである。検索開始ボタン１０１８が押されると検索条件設定領域１００１の検索条件と検索キー画像入力領域１００２の検索キー画像とを用いて、サーバシステム１４０のジョブアーカイブアプリケーションに対し検索処理要求を発行する。

（文書検索結果リスト画面の構成例）
図１１は、文書検索アプリケーションの文書検索結果リスト画面の構成例を表す図である。文書検索結果リスト画面１１００は、文書検索アプリケーションがジョブアーカイブアプリケーションから検索処理要求の応答を受信したときその検索結果を表示する画面の一例である。本実施形態における文書検索アプリケーションは文書検索結果リスト画面を操作部１１２の表示領域７０２に表示する。文書検索結果リスト画面１１００は、検索リスト操作領域１１０１、検索リスト表示領域１１０２、スクロールバー１１０３から構成される。

検索リスト操作領域１１０１は、検索結果リストの表示を制御するための操作設定領域である。表示フィルタリング表示１１０４は、検索リスト表示領域１１０２に表示されている文書群が、検索の結果ヒットした複数の文書群に対してどのような表示フィルタを施した結果残った文書群であるかを示す表示である。図１１の場合、検索の結果ヒットした「全文書」を表示している状態を示す。

サーバシステム１４０のリトリーブ部２１２から受信したヒット文書の組を全て表示することもできるし（すなわちフィルタなし）、またヒットした文書の中から表示を絞り込むための表示フィルタ設定した条件に従い選別して表示することもできる。

表示フィルタ設定ボタン（フィルタ）１１０５は、表示フィルタ条件を設定するためのボタンである。表示フィルタ設定ボタン１１０５が押されると、表示フィルタ設定ウィンドウを開き、ユーザに所望のフィルタ条件を設定させる。ヒットした文書群の文書レコード８０１に含まれる各種の情報に基づく条件をフィルタ条件に設定できる。文書メタデータ８０２、ヒットしたページのページレコード８０４のページメタデータ８０５、文書に関連付けられたジョブレコード８０８等に格納された各情報に対するパターンマッチングとして条件を設定できる。言い換えると、検索オプションボタン１０２２で設定できる詳細な検索のオプションと同様のフィルタ条件を設定できる。

例えば、文書名や作成日時やタグなどに基づく一般的なフィルタリングに加えて、関連文書や過去にその文書が検索された履歴に基づいてフィルタリングすることもできる。検索キーとなる検索条件と文書データとの類似度を絞込み込みを行うための表示フィルタ設定条件とすることも可能である。また、文書を構成するページに関して、方向がポートレート（縦長）か、ランドスケープ（横長）かなどの基準に基づいてフィルタリングすることもできる。また、用紙のサイズ、ページ数がｎページ以上ｍページ未満、カラーかグレースケール（連続階調画像）か、白黒二値画像か、画像とテキストの割合はどの程度かなどの基準に基づいてフィルタリングすることもできる。また、いつ、どこで、誰が、どのように処理した文書であるかという、ジョブに関連する基準に基づいてフィルタリングすることもできる。

本実施形態によれば、検索でヒットした文書の組をすべて検索リスト表示領域１１０２に表示するだけでなく、特定の条件を満足する文書を抽出して一覧表示するフィルタを設定できる。さらに、設定を変更すると即時に検索結果リストが更新されるので、大量の候補文書の中から所望の文書を容易に見つけ出せる。

表示項目設定領域１１０６は、検索でヒットした文書の組を検索リスト表示領域１１０２に表示する際に、文書ごとに表示する項目を制御する領域である。チェックボックスの矩形またはチェックボックスにつけられたラベル文字列を押すたびに、チェックボックスの選択状態と非選択状態とが交互に切り替わる。「属性情報を表示」チェックボックスが選択されている場合、文書名、データ形式、ページ数、文書の所在情報、などの文書に関するメタデータ群を検索リスト表示領域１１０２に表示する。「サムネールを表示」チェックボックスが選択されている場合、検索条件にヒットしたページのサムネール画像を検索リスト表示領域１１０２に表示する。

文書サマリーサムネール設定領域１１０７は、検索でヒットした文書の組を検索リスト表示領域１１０２に表示する際に、文書ごとに表示する文書サマリーサムネールの表示形式を制御する領域である。表示項目設定領域１１０６の「サムネールを表示」チェックボックスが選択されており、かつ、「文書サマリーサムネールを表示」するチェックボックスが選択されている場合、文書サマリーサムネールを表示する。文書サマリーサムネールとは、その文書の概要を視覚的に把握しやすくするために、文書を構成するページに対応する一組のサムネールを並べたものである。

文書サマリーサムネール構成設定領域１１０８は、文書サマリーサムネールを構成するサムネール群の構成を設定する慮域である。文書サマリーサムネール構成設定領域１１０８には４つの数値入力用のテキスト入力フィールドが並べてあり、それぞれに「先頭」、「前」、「後」、「末尾」のラベル文字列をつけてある。「先頭」の数値によって、文書の先頭ページから何ページ分のサムネールを表示するか設定する。「前」の数値によって、検索でヒットしたページに先行するページのサムネールを何ページ分表示するか設定する。「後」の数値によって、検索でヒットしたページに後続するページのサムネールを何ページ分表示するか設定する。「末尾」の数値によって、文書の末尾ページから何ページ分のサムネールを表示するか設定する。

アニメーション表示チェックボックス１１０９は、文書サマリーサムネールをアニメーション表示設定するためのチェックボックスである。

再検索ボタン１１１０は、文書検索画面１０００に戻るためのボタンである。

絞り込み検索ボタン１１１１は、文書検索画面１０００に戻って絞り込み再検索を行うためのボタンである。検索リスト表示領域１１０２に表示された文書の中から検索キーとして追加したい文書（検索キーとして追加したい画像を含む文書）をマークしてから、絞り込み検索ボタン１１１１を押す。絞り込み検索ボタン１１１１が押下されると、マークをつけられた文書が検索キーとして検索キー画像表示領域１０１０に追加された状態で文書検索画面１０００に戻り、絞り込み再検索を続行することが可能になる。

的確な検索キー画像をできるだけ多く簡便に追加することによって、所望の文書の検索ヒット率（設定された条件に合致する割合）が向上し、所望の文書を見つけ出しやすくできる。また、追加された検索キー画像の特徴量を分析し、類似度の判定における各種特徴量の配点を調整することによって、よりユーザの意図に即した類似画像検索を行うことが可能となる。

すなわち、ユーザが絞り込み検索によってあえて追加した検索キー画像は、検索を行うユーザの観点からみても主観的に類似度が高いサンプル画像であると判断できる。したがって、この検索キー画像の類似度がより高く評価されるように、複数の特徴量と類似度判定アルゴリズムを組み合わせる配点を調整することができる。例えば、元の検索キー画像と追加された検索キー画像の間で、形状に基づく類似度が高く色合いに基づく類似度が低かった場合は、絞り込み再検索では形状ベースの類似度を色合いよりも優先するように検索することができる。同様にして、色合い優先、配色パターン優先、オブジェクト構造木の類似度優先など、適切な調整を行うことができる。

検索リスト表示領域１１０２は、検索した結果、検索条件に合致した文書の一覧を表示する領域である。検索ヒット文書表示１１１２、１１１３、１１１４、１１１５は、それぞれ検索条件、絞り込みがかけられた条件に合致した文書に対応する情報を表示している。デフォルトの設定では、ヒット率（設定された条件に合致する割合）が高い文書ほどリストの上位に表示する。同等のヒット率（設定された条件に合致する割合）の場合、文書の価値を数値化した文書ランクが高い文書ほど上位に表示する。表示フィルタ設定ボタン１１０５を押して、デフォルト以外の順序で並べ替えて文書リストを表示し直すこともできる。例えば、文書の作成日、最終参照日、文書名、データ形式、ページ数、文書の所在情報、その文書を対象としたジョブの日時や装置や処理内容等、文書に関連づけられた各種のメタデータに基づいて、昇順または降順に表示できる。文書リストの表示順序を設定しなおすと、即時にリスト表示が更新される。

デフォルトの表示順序のよりどころとなる文書のヒット率（設定された条件に合致する割合）について簡単に説明する。類似画像検索は、アルゴリズムごとに固有の類似度に基づく。一般に類似度は「似ている程度」を表現する連続量であり、「似ているか、または、似ていない」の二値ではない。但し、本実施形態の実装上は、類似度が所定の閾値よりも低い画像は似ていないものとして処理する。類似度が所定の閾値よりも高い画像に関して、相対的に類似度の高い画像と低い画像とを区別することができる。与えられた検索条件に含まれる検索キー画像と、検索される文書データに含まれる画像との類似度の判定結果に基づいて、ヒット率（設定された条件に合致する割合）が算出される。すなわち、類似度が高い画像を含む文書の方が、比較的低い画像を含む文書よりも、ヒット率は高く算出される。

また、検索キーは複数指定できるので、より多くの検索条件に合致する文書の方がより少ない検索条件だけに合致する文書よりもヒット率を高く算出する。類似画像検索の検索キー画像が複数指定される場合、類似度の高い画像を多く含めばヒット率を高くする。尚、「すべてのキーを含む」ラジオボタンが選択されて検索された場合、与えられた検索キーのすべてに合致しなければヒットしないものとする。

次に、デフォルトの表示順序のよりどころとなる文書ランクについて説明する。文書ランクは文書の意味的な重要度を表す指標として算出される。文書ランクは、文書のメタデータとして明示的に割り付けられた重要度に基づく。また、機密度、所有者、作者、保管場所、ページ数、などの文書の属性に基づいて文書ランクを算出する。更に、その文書に後からつけられたタグの数や種類、参照された回数、関連文書の参照関係のネットワークなどに基づいて文書ランクを算出することもできる。

関連文書の相互参照関係のネットワークに基づく文書ランクとは、文書ランクの高い文書から多く参照されている文書は比較的ランクが高いものとして算出される。また、文書ランクの高い文書と同時に処理（すなわち、同時にプリント、送信、保存、リトリーブ、ジョブ結合など）された履歴を持つ文書は比較的文書ランクが高いものとして文書ランクが算出される。

検索リスト表示領域１１０２に表示される文書群のうち、リストの下位に配置される文書は上位に配置される文書よりも、検索ヒット文書表示をより簡略化したり縮小したりすることによって、一画面の中に表示可能な文書の総件数を増やすことも可能である。

本実施形態によれば、デフォルトの設定では、ヒット率順、文書ランク順、文書に付随するメタデータ順、その文書を対象として行われたジョブのメタデータ順、などに基づいて、文書リストを並べて表示できる。更に、文書リストの表示順序を設定し直すと即時にリスト表示が更新されるので、多数の候補文書の中から所望の文書を容易に検索することができる。

スクロールバー１１０３は、文書検索結果リスト画面１１００をスクロールするためのスクロールバーである。多くの場合、検索リスト表示領域１１０２には大量の文書が表示されるので、操作部１１２のディスプレイ５０２の表示領域に納まらない場合が普通である。ユーザは画面をスクロールしながら文書を一覧してその中から所望の文書を見つけ出すことができる。尚、検索リスト表示領域１１０２の最下部などにページ送りのためのボタンなど（不図示）を配置して、検索結果文書のリストを複数のページに分割して表示してもよい。

尚、検索リスト表示領域１１０２の最下部などに配置したリストプリントボタン（不図示）を押すと、文書検索結果リストをプリント出力するように構成してもよい。限られた表示領域の中で、できるだけ多数の文書を一覧したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことの難しい競合要件である。しかしながら、本実施形態に拠れば、文書検索結果リストを即時にプリント出力できるので、ディスプレイ５０２よりも高解像度で一覧性も高い出力紙を用いて、容易に所望の文書を見つけ出すことができる。

（検索ヒット文書表示の一例）
図１１に示す検索ヒット文書表示１１１２、１１１３、１１１４、１１１５は、全て同様に構成されている。斜体の文字列は、実際の画面表示においては文書が持つ対応するメタデータの実際の値が表示されることを示している。下線が付してある文字列は、その表示領域を押すと対応する詳細情報表示ウィンドウが開き、それぞれの情報のより詳細な情報を確認できる。

図１２は、検索ヒット文書表示例として、検索ヒット文書表示１１１２を示す図である。データ形式アイコン１２０１は対応する文書のデータ形式を表示するためのアイコンである。文書名１２０２は対応する文書の文書名を表示するための文字列である。データ形式１２０３は対応する文書のデータ形式を表示するための文字列である。ページ数１２０４は対応する文書のページ数を表示するための文字列である。文書の所在情報１２０５は、対応する文書が保存されているファイルサーバなどの格納位置（場所）を特定するための文字列である。文書の所在情報は、ＵＲＩやファイルサーバとそのファイルシステム中のファイルパス文字列などによって識別される。ジョブアーカイブシステムが蓄積した文書の場合、ジョブアーカイブシステムのジョブにおいて収集された処理対象文書の控えデータが保存されている位置を表示してもよい。あるいは、処理対象文書のオリジナルデータが保存されている位置が特定できる場合はその位置を表示してもよい。

履歴情報１２０６は、対応する文書を処理対象として過去に施されたジョブ処理や検索などの履歴を表現するための文字列である。いつ、誰が、どんな処理を、どの装置において、この文書に対して施したかといった履歴情報を確認できる。

ページ１２０７は、対応する文書を構成するページのうち、検索キーの条件にヒットしたページのページ番号を表現するための文字列である。

ヒットページサムネール１２０８は、対応する文書を構成するページのうち、検索キーの条件にヒットしたページまたは画像要素の概観を表示するためのサムネール画像である。

先頭ページサムネール１２０９は、対応する文書の先頭のページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

前ページサムネール１２１０は、検索キーにヒットしたページに先行するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。後ページサムネール１２１１は、検索キーにヒットしたページに後続するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。末尾ページサムネール１２１２は、対応する文書の末尾ページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことが難しい。しかしながら、本実施形態によれば、文書サマリーサムネール中に表示するページ構成とそのページ数を簡単に変更可能であるため、容易に所望の文書を検索することができる。

非常に多くのページを文書サマリーサムネールに表示しようとした場合、より縮小率の高い小さなサムネールを表示して、限られた表示領域の中に収まるように検索結果の表示を調整することができる。あるいは、比較的優先度の低いページのサムネールをより小さく縮小して表示したり、先行するページの裏側に重ね合わせページの一部が隠れるように配置して表示を制御することも可能である。あるいは、検索結果の表示を省略することによって、限られた表示領域の中に収まるように検索結果の表示を調整することも可能である。

表示領域が不十分なとき、文書サマリーサムネール中に優先的に表示する優先度の高いページは、次のようなアルゴリズムに従って選択することが可能である。例えば、文書の前方のページをより優先する、先に指定された検索キーに対応してヒットしたページをより優先する、類似画像検索の条件にヒットした場合は類似度の高いページを優先するアルゴリズムを利用することができる。

印刷ボタン１２１３は、対応する文書をプリント機能によってプリント出力するためのボタンである。保存ボタン１２１４は、対応する文書をボックス機能に保存するためのボタンである。送信ボタン１２１５は、対応する文書を送信機能によって送信するためのボタンである。

タグ付けボタン１２１６は、対応する文書のタグを操作するためのボタンである。タグ付けボタン１２１６を押すと、文書タグウィンドウが開き、既に当該する文書に設定されているタグを閲覧および編集するとともに、任意のタグを新たに追加登録できる。

関連文書ボタン１２１７は、対応する文書に関連付けられている文書（関連文書）に対する操作設定を行うためのボタンである。関連文書ボタン１２１７を押すと、関連文書ウィンドウが開き、該当する文書に関連付けられている関連文書を閲覧し、編集することが可能である。また、該当する文書に対して、他の文書を関連付け、関連文書として追加登録することができる。

マーク付けチェックボックス（マーク）１２１８は、対応する文書をマークするためのチェックボックスである。リストに表示された文書群のうちいくつかの文書に対する選択的な操作を行う場合、このチェックボックスが選択状態にある文書が対象となる。例えば、マーク付けチェックボックス１２１８を選択状態にしてから、絞り込み検索ボタン１１１１を押すと、マークされた（選択状態にされた）文書群が検索キーに追加された状態で再検索が実行される。

本実施形態に拠れば、文書サマリーサムネールによって検索にヒットしたページだけでなく、そのページの前後関係と、文書の全体像とを一目で把握できるので、リスト中から所望の文書を容易に検索することが可能になる。

（複数ページがヒットした文書の表示）
図１３は、複数ページがヒットした文書の検索ヒット文書表示の一例を示す図である。前述の表示項目に関しては同一の符号をつけて説明を省略する。類似画像検索は連続的な類似度に基づく検索であるため、ひとつの文書に含まれる複数の類似画像が検索にヒットする可能性がある。また、検索キーと条件を複数設定して検索できるため、ひとつの文書内の複数のページが検索にヒットする可能性もある。図１３は、文書中の２つのヒットページサムネール１２０８、１３０２が検索にヒットした文書に関する表示例を示している。

ページ１３０１は、対応する文書を構成するページのうち、検索キーの条件にヒットした２番目のページのページ番号を表示するための文字列である。ヒットページサムネール１３０２は、対応する文書を構成するページのうち、検索キーの条件にヒットした２番目のページの概観を表示するためのサムネール画像である。

前ページサムネール１３０３は、検索キーにヒットした２番目のページに先行するページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

後ページサムネール１３０４は、検索キーにヒットした２番目のページに後続するページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことが難しい。しかしながら、本実施形態によれば、文書サマリーサムネール中に表示するページ構成とそのページ数を簡単に変更可能であるため、容易に所望の文書を検索することが可能になる。

尚、図１３の表示例の場合でも図１２と同様に、より縮小率の高い小さなサムネールを表示して、限られた表示領域の中に収まるように検索結果の表示を調整することができる。あるいは、比較的優先度の低いページのサムネールをより小さく縮小して表示したり、先行するページの裏側に重ね合わせページの一部が隠れるように配置して表示を制御することも可能である。あるいは、検索結果の表示を省略することによって、限られた表示領域の中に収まるように検索結果の表示を調整することも可能である。

尚、表示領域が不十分なとき、文書サマリーサムネール画像に優先度が設定される。優先度の高いページは、次のようなアルゴリズムに従って選択することが可能である。例えば、文書の前方のページをより優先する、先に指定された検索キーに対応してヒットしたページをより優先する、類似画像検索の条件にヒットした場合は類似度の高いページを優先するアルゴリズムを利用することができる。

（検索キー画像の出現パターンに基づく検索条件設定の例）
図１４は、第１実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。

図１０に示した文書検索画面１０００の検索条件設定領域１００１において、検索キー出現パターンプルダウンメニュー１０２０および正規表現フィールド１０２１は、図１４（ａ）〜（ｄ）のような設定を取り得る。

図１４（ａ）は、「いずれかのキーを含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像のいずれかに類似する画像を文書の任意の位置に含む文書が検索される。

図１４（ｂ）は、「すべてのキーを含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像のすべてに類似する画像を文書の任意の位置に含む文書が検索される。

図１４（ｃ）は、「キーの順に含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像のすべてに関して類似する画像を、キーに設定した順番に文書の任意の位置に含む文書が検索される。各々のキーにヒットする画像の間に任意の他の画像が含まれている文書も図１４（ｃ）の検索条件に合致する。

図１４（ｄ）は、「キーの順に連続して含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像のすべてに関して類似する画像をキーに設定した順番に、しかも連続して、文書の任意の位置に含む文書が検索される。各々のキーにヒットする画像の間に他の画像が含まれている文書は、図１４（ｄ）の検索条件に合致しない。

また、不図示のオプション設定項目によって、図１４（ａ）〜（ｄ）の検索条件に該当しない文書がヒットするような条件（否定の条件）を追加設定できる。更に、キー画像との類似度が著しく低く、キー画像にヒットしない画像を検出する「キー画像の否定」を検索条件に含めることもできる。

本形態によれば、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うことが可能になる。

本形態によれば、画像検索に基づく文書検索において、きめの細かい検索条件を設定し、絞り込み行い、所望の文書に近い文書だけがヒットする画像検索に基づく文書検索が可能になる。

また、類似画像検索に基づく、文書を構成する画像の部分一致検索が可能となる。

また、本形態によれば、例えば、「冒頭の数ページがこれに似ている文書を検索（例えば、ドラフトから完成版に向かう複数バージョンを検索）」などの感覚的な条件を検索条件に反映した実用的な検索が可能となる。

（第２実施形態）
図１５は、第２実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。

図１０に示した文書検索画面１０００の検索条件設定領域１００１において、検索キー出現パターンプルダウンメニュー１０２０および正規表現フィールド１０２１は、図１５（ａ）〜（ｅ）のような設定を取り得る。

図１５（ａ）は、「キーから始まる」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像に類似する画像を文書の先頭の位置に含む文書が検索される。

図１５（ｂ）は、「キーで終わる」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像に類似する画像を文書の末尾の位置に含む文書が検索される。

図１５（ｃ）は、「キーを前半に含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像に類似する画像を文書の前半部分の位置に含む文書が検索される。

図１５（ｄ）は、「キーを後半に含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像に類似する画像を文書の後半部分の位置に含む文書が検索される。

図１５（ｅ）は、「キーを中間の1/3に含む」という検索キーの出現パターンに基づく検索条件が設定される例である。この条件が設定されているとき、セットした検索キー画像に類似する画像を、文書全体を三分割した中間部分の範囲に含む文書が検索される。

また、不図示のオプション設定項目によって、図１５（ａ）〜（ｄ）の検索条件に該当しない文書がヒットするような条件（否定の条件）を追加設定できる。更に、キー画像との類似度が著しく低く、キー画像にヒットしない画像を検出する「キー画像の否定」を検索条件に含めることもできる。

本形態によれば、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うことが可能になる。

本形態によれば、画像検索に基づく文書検索において、きめの細かい検索条件を設定し、絞り込み行い、所望の文書に近い文書だけがヒットする画像検索に基づく文書検索が可能になる。

また、本形態によれば、例えば、「冒頭の数ページがこれに似ている文書を検索（例えば、ドラフトから完成版に向かう複数バージョンを検索）」などの感覚的な条件を検索条件に反映した実用的な検索が可能となる。

（第３実施形態）
図１６は、第３実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。

図１０に示した文書検索画面１０００の検索条件設定領域１００１において、検索キー出現パターンプルダウンメニュー１０２０から「パターンを設定」を選択する。「パターンを設定」が選択されると、パレット領域１６００とパターン領域１６１５が表示され、グラフィカルなユーザインタフェースによってパターンをきめ細かく設定できるようになる。

パレット領域１６００は、パターンを構成する要素に相当するアイコンの集合が並ぶ領域である。パレット領域１６００には、キー要素アイコン１６０１、１６０２、および、正規表現構成記号アイコン１６０３〜１６１４が表示される。正規表現構成記号アイコン１６０３〜１６１４は、選択されたキー要素アイコン１６０１、１６０２（キー画像）の検索を制御するための記述的な検索条件となる。

ユーザはパレット領域１６００の中からアイコンを選び、パターン領域１６１５にドラッグアンドドロップすることによって、そのアイコンに相当するパターン構成要素を検索条件の設定に含めることができる。

代替記号アイコン１６０３は、２つ以上のパターンからなる選択肢を指定することを可能とする代替演算子アイコンである。例えば、「 a|b 」は対象文書中の任意の位置に「 a 」または 「b 」のパターンが含まれていれば検索条件に合致（マッチ）する。

左括弧記号アイコン１６０４と右括弧記号アイコン１６０５は、パターンのグループ化を表現するためのアイコンである。これらのアイコンで囲むことによって、１単位として扱うサブパターンを指定できる。たとえば a(b|c)d は、「abd 」または「 acd 」というパターンが含まれていれば検索条件に合致（マッチ）する。

０以上繰り返し記号アイコン１６０７は、直前の要素の０回以上の繰り返しが含まれていれば検索条件に合致（マッチ）する。例えば、「 ab*c」 は、ac, abc, abbc, abbbc,... など、「ａ」、「ｂ」、「ａｂ」が直前に含まれていれば検索条件に合致する（マッチ）する。

１以上繰り返し記号アイコン１６０８は、直前の要素の１回以上の繰り返しが含まれていれば検索条件に合致（マッチ）する。例えば、「 ab+c」 は、abbc, abbbc, ... などは本検索条件に合致（マッチ）する。

０か１記号アイコン１６０９は直前の要素の繰り返しが無いか、または１つだけあるとき検索条件に合致（マッチ）する。例えば、「ab?c」は、「ac」および「abc」にマッチする。

任意記号アイコン１６１０は、任意の画像にマッチするワイルドカードである。例えば、「a.b 」は「aab」,「 abb」, 「acb」, 「adb」, ... 等にマッチする。また、例えば 「.* 」は任意の画像が０以上繰り返すパターンを検索するための検索条件を表現する。

先頭記号アイコン１６１１は、文書の先頭位置にマッチする検索位置の指定条件を示す位置指定子である。例えば、「^a 」は、パターン「a」が文書の先頭にある場合にマッチする。

末尾記号アイコン１６１２は、文書の末尾位置にマッチする検索位置の指定条件を示す位置指定子である。例えば、「a$」 は、パターン「a」が文書の末尾にある場合にマッチする。

任意の１／３文書記号アイコン１６１３は、文書の約三分の一に相当する任意の部分文書にマッチするものを検索するアイコンである。

任意の１／２文書記号アイコン１６１４は、文書の約半分に相当する任意の部分文書にマッチするものを検索するアイコンである。

パターン領域１６１５は、検索するべき文書のパターンを設定するための領域である。ユーザは、パターン領域１６１５中に配置したアイコンをドラッグアンドドロップすることによって順序を並べ替えることができる。また、アイコンをドラッグして領域外でドロップすることによって、そのアイコンに相当する要素をパターン設定から取り除くこともできる。

正規表現フィールド１０２１は、パターン領域１６１５においてグラフィカルに設定されているパターンを、正規表現によって表示する。不図示のキーボードや操作部１１２の操作などから正規表現フィールド１０２１へ直接テキストを入力することもできる。

また、不図示のオプション設定項目によって、本実施形態で説明した検索条件に該当しない文書がヒットするような条件（否定の条件）を追加設定できる。更に、キー画像との類似度が著しく低く、キー画像にヒットしない画像を検出する「キー画像の否定」を検索条件に含めることもできる。

本形態によれば、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うことが可能になる。

本形態によれば、画像検索に基づく文書検索において、きめの細かい検索条件を設定し、絞り込み行い、所望の文書に近い文書だけがヒットする画像検索に基づく文書検索が可能になる。

また、本形態によれば、例えば、「冒頭の数ページがこれに似ている文書を検索（例えば、ドラフトから完成版に向かう複数バージョンを検索）」などの感覚的な条件を検索条件に反映した実用的な検索が可能となる。

（第４実施形態）
先に説明した実施形態では文書を構成するページを単位として検索パターンを設定したが、本実施形態ではページを構成する画像群のページ中における出現パターンを検索条件とする。

図１７は、複数の画像領域要素から構成される文書の一例を示す図である。文書１７００は、複数の画像領域およびテキスト領域から構成される文書の一例である。文書１７００を画像構造解析部２０８や展開部２１０が解析した結果としてページの構造に関する構造情報が得られ、文書を構成する複数の画像や複数テキストといった要素を分解できる。また、各要素の間の配置上の距離や、文化によってきまる配置と前後関係の慣習などに基づく解析によって、要素間の相互関係も構造情報として得られる。尚、文書がＨＴＭＬなどのコードデータによって記述されている場合は、データそのものが要素間の関係を自己記述している場合もある。

文書１７００は、画像要素１７０１〜１７１２を含む。これらの画像要素群は、まず左から右の順に配置され、さらに上から下の順に配置されるという文化的慣習に基づき符号の番号の順に前後関係を持つものと解析できる。

図１８は、第４実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。図１０に示した文書検索画面１０００の検索条件設定領域１００１において、検索キー出現パターンプルダウンメニュー１０２０から「ページ内の位置を設定」を選択する。「ページ内の位置を設定」が選択されると、パレット領域１６００とパターン領域１６１５が表示され、グラフィカルなユーザインタフェースによってパターンをきめ細かく設定できるようになる。

パレット領域１６００は、パターンを構成する要素に相当するアイコンの集合が並ぶ領域である。パレット領域１６００には、キー要素アイコン１６０１、１６０２、および、正規表現構成記号アイコン１８０１〜１８０５が表示される。正規表現構成記号アイコン１８０１〜１８０５は、選択されたキー要素アイコン１６０１、１６０２（キー画像）の検索を制御するための記述的な検索条件となる。ユーザはパレット領域１６００の中からアイコンを選び、パターン領域１６１５にドラッグアンドドロップすることによって、そのアイコンに相当するパターン構成要素をパターン設定に含めることができる。

ページ先頭記号アイコン１８０１は、直前に配置された検索対象のパターンが文書を構成するページの先頭の位置にあるとき検索条件に合致（マッチ）する。例えば、検索キー画像に相当するキー要素アイコンの次にこのアイコンを置くと、キー画像の類似画像がページの先頭部分にあるページを含む文書を検索できる。

ページ前半記号アイコン１８０２は、直前に配置された検索対象のパターンが文書を構成するページの前半部分の範囲内にあるとき検索条件に合致（マッチ）する。例えば、検索キー画像に相当するキー要素アイコンの次にこのアイコンを置くと、キー画像の類似画像がページの前半部分にあるページを含む文書を検索できる。

ページ中ほど記号アイコン１８０３は、直前に配置された検索対象のパターンが文書を構成するページの中ほど部分の範囲内にあるとき検索条件に合致（マッチ）する。例えば、検索キー画像に相当するキー要素アイコンの次にこのアイコンを置くと、キー画像の類似画像がページの中ほど部分にあるページを含む文書を検索できる。

ページ後半記号アイコン１８０４は、直前に配置された検索対象のパターンが文書を構成するページの後半部分の範囲内にあるとき検索条件に合致（マッチ）する。例えば、検索キー画像に相当するキー要素アイコンの次にこのアイコンを置くと、キー画像の類似画像がページの後半部分にあるページを含む文書を検索できる。

ページ末尾記号アイコン１８０５は、直前に配置された検索対象のパターンが文書を構成するページの末尾の位置にあるときマッチする。たとえば検索キー画像に相当するキー要素アイコンの次にこのアイコンを置くと、キー画像の類似画像がページの末尾部分にあるページを含む文書を検索できる。

前述の実施例において説明したページ単位の出現パターンに基づく検索と、本実施例のページ内の画像領域出現パターンに基づく検索を組み合わせて、より複雑なパターンを検索条件として設定することもできる。

また、不図示のオプション設定項目によって、本実施形態で説明した検索条件に該当しない文書がヒットするような条件（否定の条件）を追加設定できる。更に、キー画像との類似度が著しく低く、キー画像にヒットしない画像を検出する「キー画像の否定」を検索条件に含めることもできる。

本形態によれば、画像検索に基づく文書検索において、検索キー画像の文書中における出現パターンに基づいて検索条件を設定して文書の検索を行うことが可能になる。

本形態によれば、画像検索に基づく文書検索において、きめの細かい検索条件を設定し、絞り込み行い、所望の文書に近い文書だけがヒットする画像検索に基づく文書検索が可能になる。

また、本形態によれば、例えば、「冒頭の数ページがこれに似ている文書を検索（例えば、ドラフトから完成版に向かう複数バージョンを検索）」などの感覚的な条件を検索条件に反映した実用的な検索が可能となる。

（他の実施形態）
尚、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る画像処理システムの全体構成を示すブロック図である。 サーバシステムにおいて稼動するジョブアーカイブアプリケーションのソフトウェア構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の外観を示す図である。 画像処理装置の操作部の構成を示す図である。 画像処理装置の操作部及び操作部Ｉ／Ｆの内部構成を制御ユニットの内部構成と対応させて示すブロック図である。 画像処理装置の操作部に表示される操作画面の一例を示す図である。 ＤＢ管理システムに格納される各データベースのデータ構造を示す図である。 検索処理の手順を説明する図である。 文書検索アプリケーションの基本画面である文書検索画面の構成例を示す図である。 文書検索アプリケーションの文書検索結果リスト画面の構成例を示す図である。 検索ヒット文書表示の一例を示す図である。 複数ページがヒットした文書の検索ヒット文書表示の一例を示す図である。 第１実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。 第２実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。 第３実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。 複数の画像領域要素から構成される文書の一例を示す図である。 第４実施形態における検索キー画像の出現パターンに基づく検索条件設定の例を示す図である。

符号の説明

１００ ＬＡＮ（ネットワーク）
１０１ パーソナルコンピュータ（情報処理装置）
１１０，１２０，１３０ 画像処理装置
１１１，１２１，１３１ 制御ユニット
１１２ 操作部
１１３ スキャナ
１１４ プリンタ
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ ＨＤＤ
３０５ イメージバスインターフェース（Image Bus I/F）
３０６ 操作部Ｉ／Ｆ
３０７ システムバス
３０８ ネットワークインタフェース（Network）
３０９ モデム（ＭＯＤＥＭ）
３１０ 画像バス
３１１ ラスタイメージプロセッサ（ＲＩＰ）
３１２ デバイスＩ／Ｆ
３１３ スキャナ画像処理部
３１４ プリンタ画像処理部
３１５ 画像回転部
３１６ 画像圧縮部

Claims (20)

1. 複数の画像要素を含む文書を検索する文書検索装置であって、
   画像検索の検索キーとするキー画像を指定するキー画像指定手段と、
   前記キー画像指定手段により指定された前記キー画像に相当する前記画像要素が文書中に出現するパターンを検索条件として設定するパターン設定手段と、
   前記パターン設定手段により設定された前記検索条件に合致する画像要素を含む文書を検索する文書検索手段と、
   を備えることを特徴とする文書検索装置。
2. 前記パターン設定手段は、前記キー画像に相当しない前記画像要素が文書中に出現するパターンを検索条件として、更に設定することを特徴とする請求項１に記載の文書検索装置。
3. 前記パターン設定手段は、前記キー画像指定手段により指定された前記キー画像の検索を制御するための記述的な条件を含めた検索条件を設定することを特徴とする請求項１または２に記載の文書検索装置。
4. 前記キー画像の検索を制御するための記述的な条件には、前記キー画像に相当する画像要素の前記文書中における出現位置を表現する記述要素が含まれることを特徴とする請求項３に記載の文書検索装置。
5. 前記キー画像に相当する画像要素の前記文書中における出現位置には、前記キー画像に相当する画像を前記文書中の前半に含む、前記文書中の中間に含む、前記文書中の後半に含む、またはいずれにも該当しない否定の条件が含まれることを特徴とする請求項４に記載の文書検索装置。
6. 前記キー画像の検索を制御するための記述的な条件には、前記キー画像に対応する画素要素の出現順の条件が含まれることを特徴とする請求項３に記載の文書検索装置。
7. 前記キー画像に対応する画素要素の出現順には、前記キー画像指定手段により指定された複数のキー画像に相当する画像のいずれかを含む、前記キー画像指定手段により指定された複数のキー画像に相当する画像をすべて含む、前記キー画像指定手段による指定順にキー画像を含む、前記キー画像指定手段による指定順に連続してキー画像を含む、またはいずれにも該当しない否定の条件が含まれることを特徴とする請求項６に記載の文書検索装置。
8. 前記文書に含まれる複数の画像要素は、前記文書を構成するページ群であることを特徴とする請求項１に記載の文書検索装置。
9. 前記文書に含まれる複数の画像要素は、前記文書を構成する各ページに含まれる画像要素群であることを特徴とする請求項１に記載の文書検索装置。
10. 複数の画像要素を含む文書を検索する文書検索方法であって、
    画像検索の検索キーとするキー画像を指定するキー画像指定工程と、
    前記キー画像指定工程により指定された前記キー画像に相当する前記画像要素が文書中に出現するパターンを検索条件として設定するパターン設定工程と、
    前記パターン設定工程により設定された前記検索条件に合致する画像要素を含む文書を検索する文書検索工程と、
    を備えることを特徴とする文書検索方法。
11. 前記パターン設定工程は、前記キー画像に相当しない前記画像要素が文書中に出現するパターンを検索条件として、更に設定することを特徴とする請求項１０に記載の文書検索方法。
12. 前記パターン設定工程は、前記キー画像指定工程により指定された前記キー画像の検索を制御するための記述的な条件を含めた検索条件を設定することを特徴とする請求項１０または１１に記載の文書検索方法。
13. 前記キー画像の検索を制御するための記述的な条件には、前記キー画像に相当する画像要素の前記文書中における出現位置を表現する記述要素が含まれることを特徴とする請求項１２に記載の文書検索方法。
14. 前記キー画像に相当する画像要素の前記文書中における出現位置には、前記キー画像に相当する画像を前記文書中の前半に含む、前記文書中の中間に含む、前記文書中の後半に含む、またはいずれにも該当しない否定の条件が含まれることを特徴とする請求項１３に記載の文書検索方法。
15. 前記キー画像の検索を制御するための記述的な条件には、前記キー画像に対応する画素要素の出現順の条件が含まれることを特徴とする請求項１２に記載の文書検索方法。
16. 前記キー画像に対応する画素要素の出現順には、前記キー画像指定工程により指定された複数のキー画像に相当する画像のいずれかを含む、前記キー画像指定工程により指定された複数のキー画像に相当する画像をすべて含む、前記キー画像指定工程による指定順にキー画像を含む、前記キー画像指定工程による指定順に連続してキー画像を含む、またはいずれにも該当しない否定の条件が含まれることを特徴とする請求項１５に記載の文書検索方法。
17. 前記文書に含まれる複数の画像要素は、前記文書を構成するページ群であることを特徴とする請求項１０に記載の文書検索方法。
18. 前記文書に含まれる複数の画像要素は、前記文書を構成する各ページに含まれる画像要素群であることを特徴とする請求項１０に記載の文書検索方法。
19. 請求項１０乃至１８のいずれか１項に記載の文書検索方法をコンピュータに実行させることを特徴とするプログラム。
20. 請求項１９に記載のプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。

Images