JP2003030224A

JP2003030224A - 文書クラスタ作成装置、文書検索システムおよびｆａｑ作成システム

Info

Publication number: JP2003030224A
Application number: JP2001217188A
Authority: JP
Inventors: Isao Nanba; 功難波
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-07-17
Filing date: 2001-07-17
Publication date: 2003-01-31
Also published as: US7349899B2; US20030018629A1

Abstract

(57)【要約】【課題】文書の集合を複数の対等なクラスタに分割する
文書クラスタ作成装置を提供する。【解決手段】複数の文書それぞれについて、自身を含め
た全ての文書それぞれとの類似性を評価する類似性評価
手段１１１と、類似性評価手段１１１による評価結果に
基づいて、複数の文書をそれぞれ対等な複数のクラスタ
に分割するクラスタ作成手段１１２とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、サポートセンター
などにおいて蓄積される膨大な量の質問文や回答文を分
類して管理するための文書クラスタ作成装置およびこの
文書クラスタ作成装置を用いた文書検索システムに関す
る。また、本発明は、上述した文書クラスタ作成装置を
用いて、頻度の高い質問と回答との組み合わせ、すなわ
ち、ＦＡＱを作成するＦＡＱ作成システムに関する。企
業のサポートセンターなどには、製品の仕様や使用法に
ついて、膨大な数の質問が利用者から寄せられ、それぞ
れの質問に対して的確な回答を迅速に返すことが要望さ
れている。

【０００２】このため、過去に利用者から寄せられた多
数の質問文とそれに対する回答文とからなる膨大な文書
の蓄積を適切に管理し、これを有効に利用するための技
術が必要とされている。

【０００３】

【従来の技術】サポートセンターなどにおいて、利用者
からの質問に対して回答を返すために利用されているシ
ステムとしては、以下の３つの例が挙げられる。まず、
様々な状況それぞれに対する対処方法を記述した模範回
答文とともに、これらの模範回答文に対応する模範質問
文を作成しておき、この模範質問文を、利用者からの質
問に対する回答を検索するための指標とする回答文検索
システムがある。

【０００４】このような第１の回答文検索システムで
は、例えば、利用者からの質問文と各模範質問文との類
似度に基づいて最も近似した模範質問文を検索し、その
模範質問文に対応する模範回答文を利用者に返してい
る。次に、上述した回答文検索システムと同様の模範回
答文書を用意しておくとともに、これらの模範回答文書
それぞれについて、回答として使用された回数を保持し
ておき、利用者からの質問との類似とともに、この使用
回数を回答文書の選択基準とするシステムがある。

【０００５】このような第２の回答文検索システムで
は、利用者からの質問文と各模範回答文書との類似度に
基づく得点と使用回数に基づく得点とに基づいて、回答
文書を選択して利用者に返している。最後に、過去に寄
せられた質問文に対する回答文の履歴を保存しておき、
この回答文の履歴そのものを新たな質問文に対する回答
文書の集合として利用する回答文検索システムがある。

【０００６】このような第３の回答文検索システムで
は、新たな質問文の入力に応じて、上述した回答文の履
歴そのものに対する検索を行ない、入力された質問文に
類似した質問文に対応する回答文を抽出して利用者に返
している。また、従来は、サポートセンタなどにおいて
利用者に提示されているＦＡＱは、寄せられた質問文の
集合から類似した質問文が多数存在するものを人手によ
って抽出したり、多数の利用者が疑問に思うと考えられ
る事項に関する質問文を想定したりすることによって作
成されていた。

【０００７】

【発明が解決しようとする課題】ところで、上述した第
１および第２の回答文検索システムは、いずれも、基本
的に模範回答を予め作成しておく必要があり、この模範
回答を作成する作業に非常に多くの労力を必要とする。
更に、模範回答文書の一部を修正して利用者に返した場
合などに、この修正された回答文書を適切に管理して有
効に利用することができなかった。一方、第３の回答文
検索システムでは、類似した回答文が際限なく検索され
てしまう可能性があるので、有効な回答文を抽出する作
業が困難になる。

【０００８】また、上述した従来のＦＡＱ作成方法で
は、作成作業を全て人手で行なっているため、サポート
センタの技術にかかる作業負担が非常に大きい上、ＦＡ
Ｑとして選択するか否かが個々の技術者の主観的な判断
に任されているので、ＦＡＱとして抽出される質問文に
もばらつきが大きかった。さて、膨大な数の文書などの
情報を分析する手法として、クラスタ分析がよく知られ
ている。そして、クラスタ分析の手法を回答文の履歴に
適用し、回答文の集合を複数のクラスタに分割すること
により、例えば、上述した第３の回答文検索システムに
おける課題や従来のＦＡＱ作成技術における課題を解決
する糸口が得られることは予想できる。

【０００９】しかしながら、一般的に用いられている階
層的なクラスタ分析手法では、膨大な数の回答文をクラ
スタに分類する作業に非常に多くの処理時間が必要とな
ってしまう。しかも、回答文を検索する作業やＦＡＱ作
成作業では、各クラスタに膨大な文書を分類することが
重要であって、クラスタ相互の階層関係についての情報
は不要である。

【００１０】したがって、上述した課題を解決するため
には、まず、膨大な数の文書を非階層な複数のクラスタ
に迅速に分類する技術が必要である。本発明は、文書の
集合を複数の非階層なクラスタに分割する文書クラスタ
作成装置を提供することを目的とする。また、本発明
は、蓄積された質問文と回答文との対の集合から有効な
回答文を確実に検索可能な文書検索システムを提供する
ことを目的とする。また、本発明は、蓄積された質問文
と回答文との対の集合から自動的にＦＡＱを作成するＦ
ＡＱ作成システムを提供することを目的とする。

【００１１】

【課題を解決するための手段】図１に、本発明の文書ク
ラスタ作成装置の原理ブロック図を示す。請求項１の発
明は、複数の文書それぞれについて、自身を含めた全て
の文書それぞれとの類似性を評価する類似性評価手段１
１１と、類似性評価手段１１１による評価結果に基づい
て、複数の文書を非階層な複数のクラスタに分割するク
ラスタ作成手段１１２とを備えたことを特徴とする。請
求項１の発明は、類似性評価手段１１１による評価結果
に応じて、クラスタ作成手段１１２が複数の文書それぞ
れを適切なクラスタに分類することにより、それぞれ類
似した文書からなる非階層なクラスタを作成することが
できる。

【００１２】図２に、本発明の文書検索システムの原理
ブロック図を示す。請求項２の発明は、個々の現象の解
説および個々の状況に対する対策を含む事項に関する記
述をそれぞれ含んだ複数の文書を、それらの文書を回答
文書として要求する質問文書の入力に応じて検索する文
書検索システムにおいて、複数の質問文書とこれらに対
する回答文書として用いられた複数の文書とを蓄積する
蓄積手段１１０と、複数の文書それぞれについて、自身
を含めた全ての文書それぞれとの類似性を評価する類似
性評価手段１１１と、類似性評価手段１１１による評価
結果に基づいて、複数の文書を非階層な複数のクラスタ
に分割するクラスタ作成手段１１２と、複数の質問文書
を、それぞれ対応する文書が属するクラスタに関連付け
る関連付け手段１１３と、新たに入力された質問文書と
複数の質問文書それぞれとの類似度に基づいて、近似し
た質問文書の候補を検索する検索手段１１４と、近似し
た質問文書の候補から同一のクラスタに関連付けられた
候補を排除して、クラスタごとに一つの候補を抽出する
重複排除手段１１５と、クラスタごとに抽出された候補
に対応して蓄積手段１１０に蓄積された文書を検索結果
として出力する検索結果出力手段１１６とを備えたこと
を特徴とする。

【００１３】請求項２の発明は、蓄積手段１１０に蓄積
された複数の文書について、類似性評価手段１１１によ
って考えられる全ての組み合わせについて互いの類似性
を評価し、この評価結果に応じて、クラスタ作成手段１
１２が複数の文書それぞれを適切なクラスタに分類する
ことにより、それぞれ類似した文書からなる非階層なク
ラスタを作成し、また、関連付け手段１１３により、蓄
積手段１１０に蓄積された質問文書をこれらのクラスタ
に関連付ける。その後、新たな質問文書の入力に応じ
て、検索手段１１４によって検索された質問文書の候補
の中から、重複排除手段１１５によってクラスタごとに
一つの候補を抽出して出力することにより、検索結果か
ら互いに酷似した文書を排除して、検索結果出力手段１
１６により、多様な回答文書を一覧できるように提供す
ることができる。

【００１４】図３に、請求項３のＦＡＱ作成システムの
原理ブロック図を示す。請求項３の発明は、個々の現象
の解説および個々の状況に対する対策を含む事項に関す
る記述をそれぞれ含んだ複数の文書と、それらの文書を
回答文書として要求する質問文書との組み合わせの蓄積
から、いわゆるＦＡＱを作成するＦＡＱ作成システムに
おいて、複数の質問文書とこれらに対する回答文書とし
て用いられた複数の文書とを蓄積する蓄積手段１１０
と、複数の文書それぞれについて、自身を含めた全ての
文書それぞれとの類似性を評価する類似性評価手段１１
１と、類似性評価手段１１１による評価結果に基づい
て、複数の文書を非階層な複数のクラスタに分割するク
ラスタ作成手段１１２と、各クラスタに含まれる要素数
を求める要素数算出手段１１７と、複数のクラスタに、
その要素数に応じた順位を与える順位決定手段１１８
と、所定の順位までが与えられたクラスタに属する文書
およびこれらに対応する質問文書の中から、それぞれ代
表的な質問文書および回答文書の組み合わせを抽出し、
ＦＡＱとして出力する代表抽出手段１１９とを備えたこ
とを特徴とする。

【００１５】請求項３の発明は、蓄積手段１１０に蓄積
された複数の文書について、類似性評価手段１１１によ
って考えられる全ての組み合わせについて互いの類似性
を評価し、この評価結果に応じて、クラスタ作成手段１
１２が複数の文書それぞれを適切なクラスタに分類する
ことにより、それぞれ類似した文書からなる非階層なク
ラスタを作成する。その後、要素数算出手段１１６と順
位決定手段１１７によって、これらのクラスタに与えら
れた要素数に応じた順位に基づいて、代表抽出手段１１
８により、上位のクラスタから代表的な文書を抽出し、
文書合成手段１１９の処理に供することにより、蓄積手
段１１０に蓄積された膨大な数の質問文書と回答文書と
の蓄積から、自動的にＦＡＱを作成することができる。

【００１６】請求項４の発明は、図１に示すように、請
求項１に記載の文書クラスタ作成装置あるいは請求項２
に記載の文書検索システムまたは請求項３に記載のＦＡ
Ｑ作成システムにおいて、類似性評価手段１１１は、複
数の文書から２つの文書を選択する組み合わせの全てに
ついて、各組み合わせの類似度をそれぞれ算出する類似
度算出手段１２１と、各組み合わせの類似度に基づい
て、各文書に対応する類似文書の候補を抽出する候補抽
出手段１２２と、各文書とこれに対応する類似文書の候
補それぞれとの組み合わせについて、それぞれの組み合
わせで共有している類似文書の候補を検出する共有文書
検出手段１２３と、各組み合わせについて、検出された
共有文書に関する適切な指標に基づいて、互いが類似し
ている文書であるか否かを判定し、この判定結果を評価
結果として出力する近似文書判定手段１２４とを備えた
構成であり、クラスタ作成手段１１２は、近似文書判定
手段１２４による判定結果に基づいて、各文書について
近似している文書を特定する識別情報を収集する収集手
段１２５と、各文書について収集された識別情報が所定
の条件を満たすときに、新たなクラスタを生成する新規
生成手段１２６と、各文書について収集された識別情報
で示される文書が既存のクラスタに含まれるときに、こ
の文書を含んでいるクラスタに注目している文書を編入
する編入手段１２７とを備えた構成であることを特徴と
する。

【００１７】請求項４の発明は、類似性評価手段１１１
に備えられた類似度算出手段１２１によって算出された
類似度に基づいて、候補抽出手段１２２により、各文書
について、それぞれ類似している文書の候補を抽出し、
各文書と対応する類似文書の候補との組み合わせそれぞ
れが共有している類似文書の候補を共有文書検出手段１
２３によって検出することにより、近似文書判定手段１
２４により、その組み合わせに含まれる文書についてそ
れぞれの内容が密接に関連している近似文書であるか否
かを判定するための指標を得ることができる。また、ク
ラスタ作成手段１１２において、収集手段１２５によっ
て文書ごとに近似文書を示す識別情報を収集し、新規生
成手段１２６により、例えば、近似文書がないとされた
文書および既存の文書クラスタにその文書および近似文
書が含まれていない文書について、新たなクラスタを生
成し、それ以外の文書については、編入手段１２７によ
り、対応する近似文書を含んでいるクラスタに編入す
る。

【００１８】このようにして、互いに密接に関連する内
容を記述している文書をクラスタにまとめることによ
り、膨大な数の文書を自動的に非階層な複数のクラスタ
に分割することができる。請求項５の発明は、図２に示
すように、請求項２に記載の文書検索システムにおい
て、検索結果出力手段１１６は、各クラスタに含まれる
要素数に応じた得点を、各クラスタについてのクラスタ
得点として求めるクラスタ得点算出手段１３１と、重複
排除手段１１５によって抽出された質問文書の候補それ
ぞれについて、検索手段１１４において求めた類似得点
を、その質問文書が関連付けられたクラスタに対応する
クラスタ得点に基づいて調整する得点調整手段１３２
と、調整された得点に応じて、質問文書の候補を並べ替
えて、各質問文書に対応する回答文書を検索結果として
出力するソート手段１３３とを備えた構成であることを
特徴とする。

【００１９】請求項５の発明は、検索結果出力手段１１
６において、クラスタ得点算出手段１３１によって求め
たクラスタ得点に基づいて、得点調整手段１３２によ
り、質問文書の検索に用いた類似度を示す類似得点を調
整し、ソート手段１３３により、調整された得点に応じ
て質問文書の候補を並べ替えることにより、回答文書と
して選択された各文書が属するクラスタの大きさを反映
した順番で回答文書を提供することができる。

【００２０】請求項６の発明は、図３に示すように、請
求項３に記載のＦＡＱ作成システムにおいて、代表抽出
手段１１９は、各クラスタに属する文書あるいはこれら
の文書に対応する質問文書を、それぞれ単語に分解する
文書分解手段１４１と、単語ごとに、その単語を含んで
いる文書あるいは質問文書を計数する文書計数手段１４
２と、各単語について、それを含んでいる文書の数に応
じた得点を算出する単語得点算出手段１４３と、各文書
あるいは質問文書について、それぞれが含んでいる単語
に対応する単語得点についての所定の関数を用いて代表
度を算出する代表度算出手段１４４と、代表度に基づい
て、クラスタごとに代表となる文書および質問文書を選
択する選択手段１４５とを備えた構成であることを特徴
とする。

【００２１】請求項６の発明は、代表抽出手段１１９に
おいて、文書分解手段１４１によって得られた各単語に
ついて、文書計数手段１４２により、各単語を含んでい
る文書あるいは質問文書の数を求め、この計数結果に基
づいて、単語得点算出手段１４３により、各単語につい
て、そのクラスタに含まれる文書あるいは質問文書にお
ける出現頻度に応じた単語得点を求める。この単語得点
に基づいて、代表度算出手段１４４によって代表度を算
出し、この代表度に基づいて、選択手段１４５によって
代表となる文書および質問文書を選択すれば、各クラス
タにおいて高い頻度で出現する単語をより多く含む文書
あるいは質問文書を抽出し、ＦＡＱとして出力すること
ができる。

【００２２】

【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細に説明する。図４に、本発明の文
書クラスタ作成装置の実施形態を示す。図４に示した文
書クラスタ作成装置において、類似性評価部２１０は、
分類制御部２０１からの指示に応じて、文書ファイル２
０２に蓄積された文書相互の類似性を評価し、評価結果
を評価結果保持部２０３に保存する。また、図４におい
て、クラスタ処理部２２０は、分類制御部２０１からの
指示に応じて、評価結果保持部２０３に保持された評価
結果に基づいて、文書ファイル２０２に蓄積された各文
書を複数のクラスタに分類し、その結果をクラスタテー
ブル２０４に格納する。

【００２３】図４に示した類似性評価部２１０におい
て、索引作成部２１１は、分類制御部２０１からの指示
に応じて文書ファイル２０２に蓄積された各文書を解析
し、文書に含まれている単語についての索引を作成して
索引ファイル２１２に保存する。また、図４に示した類
似性評価部２１０において、検索式作成部２１３、類似
得点算出部２１４、ソート部２１５および正規化部２１
６は、上述した索引ファイル２１２を利用して、文書フ
ァイル２０２に蓄積された文書相互についての類似性を
判断するための指標を求める。また、図４において、候
補抽出部２１７は、上述した指標に基づいて、文書ごと
に類似している文書の候補を抽出し、評価結果保持部２
０３に保存する。

【００２４】一方、図４に示したクラスタ処理部２２０
において、近似文書探索部２２１は、分類制御部２０１
からの指示に応じて、評価結果保持部２０３に文書ごと
に保存された類似文書の候補から、各文書について最も
近似している文書を探索し、この探索結果を探索テーブ
ル２２３に保存する。この探索結果に基づいて、分類処
理部２２２は、互いに類似している文書をクラスタにま
とめることにより、複数のクラスタを作成し、分類結果
をクラスタテーブル２０４に保存する。

【００２５】ここで、図４に示した各部と図１に示した
各手段との対応関係について説明する。図１に示した類
似度算出手段１２１は、図４に示した索引作成部２１
１、索引ファイル２１２、検索式作成部２１３および類
似得点算出部２１４に相当する。また、図１に示した候
補抽出手段１２２は、図４に示したソート部２１５、正
規化部２１６および候補抽出部２１７に相当する。一
方、図１に示した近似文書判定手段１２４および収集手
段１２５の機能は、図４に示した近似文書探索部２２１
が、類似制御部２０１からの指示に応じて評価結果保持
部２０３から近似文書を探索することによって果たされ
る。また、図１に示した式作成手段１２６および編入手
段１２７の機能は、図４に示した分類処理部２２２によ
って果たされる。

【００２６】次に、この文書クラスタ作成装置の動作に
ついて説明する。図５に、類似性評価部の動作を表す流
れ図を示す。また、図６に、類似性評価動作を説明する
図を示す。まず、分類制御部２０１からの指示に応じ
て、索引作成部２１１は、文書ファイル２０２に蓄積さ
れた全ての文書についての索引を作成する(ステップ３
０１)。このとき、索引作成部２１１は、例えば、"Mana
ging Gigabyte"(Ian H. Witten, Alistair Moffat, Tim
othy C. Bell 1994 Van Norstrand Reinhold New York)
で紹介されている方法などを用いて、各文書における
各単語の出現頻度などのように類似文書検索に必要な情
報をあわせて収集して索引を作成する。これにより、図
４に示した索引ファイル２１２には、図６(ａ)に示すよ
うに、各単語に対応して、その単語を含んでいる文書を
示す識別情報(以下、文書ＩＤと称する)を格納する索引
とともに、各文書ＩＤに対応して、各単語の出現頻度な
どの情報が格納される。

【００２７】一方、図４に示した検索式作成部２１３
は、分類制御部２０１からの指示に応じて、処理対象の
文書として指定された文書を所定の形式に従って検索式
に変換する(図５のステップ３０２)。このとき、検索式
作成部２１３は、例えば、各文書に含まれる単語(word
1,・・・,wordn)を抽出し、式１のように、これらの単
語(word1,・・・,wordn)とそれぞれの出現頻度(frq1,・
・・,frqn)との組み合わせを互いに演算子「ｏｒ」で結び
つけることにより、これらの単語の少なくとも一つを含
む文書を検索するための検索式を作成すればよい。

【００２８】検索式＝word1 frq1 or word2 frq2 or ・・・ or wordn frqn ・・・（１）次に、図４に示した類似得点算出部２１４は、上述した
索引ファイル２１２を用いて、検索式作成部２１３から
受け取った検索式で示される単語を含んでいる各文書
と、処理対象の文書との間の類似得点を算出する(図５
のステップ３０３)。この類似得点算出部２１４は、文
書ｉｄ_iで示される処理対象の文書と文書ｉｄ_xで示され
る各文書との類似得点Ｒ_ixを、例えば、共通して出現す
る単語の数や、それらの単語の出現頻度などに基づいて
算出し、各文書を示す文書ｉｄ_xと類似得点Ｒ_ixとをそ
れぞれ組み合わせてソート部２１５に入力すればよい。

【００２９】次に、図４に示したソート部２１５は、処
理対象の文書について、上述した類似得点算出部２１４
によって算出された各文書との間の類似得点を、その大
きさに基づいて並べ替えるソート処理を行ない(図５の
ステップ３０４)、次いで、正規化部２１６は、上述
した各文書との間の類似得点Ｒ_ixを、その最大値Ｒｍを
用いて正規化する(図５のステップ３０５)。

【００３０】図４に示した候補抽出部２１７は、これら
の正規化された類似得点Ｓ_ixの集合の中から、所定の閾
値以上の大きさを持つ要素を抽出し(図５のステップ３
０６)、該当する類似得点Ｓ_ixと文書ＩＤとの組み合わ
せを、現在処理中の文書に類似している文書の候補を示
す情報として評価結果保持部２０３に保存する(ステッ
プ３０７)。その後、分類制御部２０１は、全ての文書
についての処理が終了したか否かを判定し(ステップ３
０８)、このステップ３０８の否定判定の場合は、ステ
ップ３０２に戻って、検索式変換部２１３に次の文書を
検索式に変換する旨を指示して、この文書についての処
理を実行する。

【００３１】このようにして、文書ファイル２０２に蓄
積された各文書について、類似性評価部２１０の処理を
実行することにより、各文書について、それぞれ類似得
点の高い文書を抽出し、図６(ｂ)に示すように、処理対
象の文書と類似得点の高い文書を示す文書ＩＤと対応す
る類似得点との組み合わせ要素とする集合を類似性評価
結果として評価結果保持部２０３に保存することができ
る。

【００３２】そして、全ての文書についての処理が終了
したときに、分類制御部２０１は、上述したステップ３
０８の肯定判定として類似性評価部２１０の処理を終了
し、クラスタ処理部２２０の動作を起動する。図７に、
近似文書探索部２２１の詳細構成を示す。また、図８
に、近似文書探索動作を表す流れ図を示す。

【００３３】図７に示した近似文書探索部２２１におい
て、探索制御部２２４は、分類制御部２０１からの指示
に応じて、注目文書として指定された文書に対応する評
価結果を評価結果保持部２０３から読み出し(図８のス
テップ３１１)、この評価結果に基づいて、共有文書検
出部２２５、類似度算出部２２６およびテーブル更新部
２２７にそれぞれ適切な処理を指示することにより、以
下のステップ３１２〜ステップ３１６の処理を実行す
る。

【００３４】探索制御部２２４は、上述した評価結果に
含まれている各候補文書を順次に評価対象文書として選
択し、この評価対象文書を示す文書ＩＤに対応して評価
結果保持部２０３に保持された評価結果を読み出して
(ステップ３１２)、注目文書に対応する評価結果ととも
に共有文書検出部２２５に渡す。共有文書検出部２２５
は、これらの評価結果にそれぞれ含まれる候補文書の集
合を互いに比較し、２つの集合に共通して含まれている
候補文書を共有文書として検出する(ステップ３１３)。
類似度算出部２２６は、上述したようにして検出された
共有文書と注目文書との間の類似得点と共有文書の数と
に基づいて、注目文書と評価対象文書との間の類似度を
算出する(ステップ３１４)。このとき、類似度算出部２
２６は、例えば、注目文書ＩＤｘと評価対象文書ＩＤｙ
とについて上述したようにして検出したｉ番目の共有文
書ＩＤｘｙ(ｉ)に対応する類似得点Ｓ_xy(ｉ)と共有文書
数ｋとを用いて表された式２を用いて、類似度Ｓｂを算
出し、テーブル更新部２２７に渡せばよい。

【００３５】

【数１】テーブル更新部２２７は、探索テーブル２２３に注目文
書に対応して保持された類似度の基準値Ｓａと上述した
ステップ３１４で算出された類似度Ｓｂとを比較し(ス
テップ３１５)、類似度Ｓｂが基準値Ｓａを超えている
場合に、ステップ３１６に進んで探索テーブル２２３を
更新する。

【００３６】ここで、探索テーブル２２３は、例えば、
各文書ＩＤに対応して、類似度の基準値Ｓａと近似文書
の文書ＩＤとを保持する記憶領域を備えており、近似文
書探索動作の開始時点において、各文書ＩＤに対応する
類似度の基準値Ｓａとして数値「０」が格納されている。
また、ステップ３１６において、テーブル更新部２２７
は、注目文書に対応する類似度の基準値Ｓａとしてステ
ップ３１４で算出された類似度Ｓｂを格納し、また、近
似文書として、評価対象文書を示す文書ＩＤを格納す
る。

【００３７】このようにして、探索テーブル２２３の更
新が終了した後および上述したステップ３１５の否定判
定の場合に、探索制御部２２４は、注目文書に対応する
全ての候補文書についての検討が終了したか否かを判定
し(ステップ３１７)、否定判定の場合は、ステップ３１
２に戻って、次の候補文書についての検討を開始する。

【００３８】上述したようにして、注目文書に対応する
評価結果に含まれる各候補文書について、共有文書の類
似得点に基づく類似度を算出していき、この類似度に基
づいて探索テーブル２２３を更新していくことにより、
上述した各候補文書の中から最も類似度の高い近似文書
を探索することができる。例えば、図６(ｂ)に示した評
価結果に基づいて、上述した探索処理を実行すれば、図
９に示すように、各文書に対応して、その文書と最も関
連性の高い近似文書を求めることができる。

【００３９】このようにして全ての候補文書についての
検討が終了したときに、探索制御部２２４は、ステップ
３１７の肯定判定として分類制御部２０１に注目文書に
ついての探索処理が完了したことを通知する。これに応
じて、分類制御部２０１は、注目文書が最後の文書であ
るか否かを判定し(ステップ３１８)、否定判定の場合
は、ステップ３１１に戻って、次の文書を注目文書とし
て探索処理の開始を指示し、これに応じて、近似文書探
索部２２１は、新たな文書についての処理を開始する。
その後、全ての文書についての探索処理が終了したとき
に、分類制御部２０１は、ステップ３１８の肯定判定と
して近似文書探索処理を終了し、分類処理部２２２に対
して文書をクラスタに分割する動作を開始する旨を指示
する。

【００４０】図１０に、文書をクラスタに分割する動作
を表す流れ図を示す。分類処理部２２２は、分類制御部
２０１からの指示に応じて、指定された文書ＩＤに対応
して探索テーブル２２３に保持された探索結果を読み出
す(ステップ３２１)。この探索結果として近似文書を示
す文書ＩＤが示されている場合は、ステップ３２２の肯
定判定としてステップ３２３に進み、その近似文書が既
存のクラスタに分類されているか否かを判定する。

【００４１】例えば、図９に示した探索テーブル２２３
の最初の探索結果、すなわち、文書ｉｄ１で示される文
書に対応する探索結果に注目して処理している場合に、
この文書に対応して探索テーブル２２３に保持された近
似文書ｉｄ２は、まだ分類済みではないので、ステップ
３２３の否定判定となる。この場合に、分類処理部２２
２は、注目している文書である文書ｉｄ１とこの文書の
近似文書である文書ｉｄ２とをまとめて新たなクラスタ
を作成する(ステップ３２４)。このとき、分類処理部２
２２は、新たなクラスタにクラスタＩＤを与え、図１１
(ａ)に示すように、このクラスタＩＤに対応して、要素
となる文書を示す文書ＩＤと、要素の数をクラスタテー
ブル２０４に保持する。

【００４２】一方、例えば、図９に示した探索結果を順
次に読み出して処理していった場合に、文書ｉｄ４に対
応する探索結果で示される近似文書ｉｄ２は、既にクラ
スタＩＤ１に分類されているので、ステップ３２３の肯
定判定となる。この場合に、分類処理部２２２は、この
文書ｉｄ４を該当するクラスタ、すなわち、近似文書ｉ
ｄ２を含んでいるクラスタＩＤ１のクラスタに編入し
(ステップ３２５)、図１１(ｂ)に示すように、クラスタ
ＩＤ１に対応してクラスタテーブル２０４に保持される
要素として、文書ｉｄ４を追加するとともに、要素の数
をインクリメントする。

【００４３】また一方、ステップ３２１で参照した探索
結果に近似文書が含まれていない場合に、分類処理部２
２２は、ステップ３２２の否定判定としてステップ３２
４に進み、注目している文書のみからなるクラスタを新
規に作成する。上述したステップ３２４あるいはステッ
プ３２５の処理が終了した後に、分類制御部２０１は、
全ての探索結果についての処理が終了したか否かを判定
する(ステップ３２６)。このステップ３２６の否定判定
の場合に、分類制御部２０１は、ステップ３２１に戻っ
て、次の探索結果についての処理を開始する旨を分類処
理部２２２に指示する。

【００４４】このようにして、全ての探索結果について
の処理が終了したときに、分類制御部２０１は、ステッ
プ３２６の肯定判定としてクラスタ化処理を終了する。
上述したように、各文書に対応して求められた近似文書
は、その文書に最も密接に関連した内容を記述している
文書であると考えられるので、ステップ３２２〜ステッ
プ３２５の処理において、注目している文書と近似文書
とを一つのクラスタにまとめることにより、膨大な数の
文書を自動的に、非階層な複数のクラスタに分割するこ
とができる。

【００４５】ここで、２つの文書に記述された内容の近
さを判定するための指標として用いた類似得点を算出す
る処理は、注目している２つの文書に共通して出現する
単語の数およびその出現度数に基づく簡単な算術演算で
あり（ステップ３０２，３０３）、一般の転置ファイル
（inverted file）を用いて高速に実行することができ
る。この類似得点に基づいて、各文書に類似している文
書の候補を求めておき、各文書と対応する候補との組み
合わせについて、上述したようにして類似度の高い文書
を多く共有しているか否かに基づいて、この２つの文書
が同一のクラスタに属するか否かを判定することによ
り、膨大な数の文書をクラスタに分割する処理を単純化
している。したがって、上述した文書クラスタ作成装置
によれば、従来のような階層的なクラスタを作成するシ
ステムに比べて、膨大な数の文書をはるかに高速に非階
層にクラスタ化することができる。

【００４６】次に、上述した文書クラスタ分類装置を適
用した文書検索システムについて説明する。図１２に、
文書検索システムの実施形態を示す。図１２に示す文書
検索システムにおいて、文書蓄積ファイル２３１は、例
えば、ユーザサポートセンタなどに利用者から寄せられ
た多数の質問文書と、これらの質問文書に対する回答と
して用いられた回答文書とを対にして蓄積している。ま
た、図１２において、文書クラスタ作成装置２３２は、
この文書蓄積ファイル２３１に蓄積された回答文書を、
上述したようにして複数の非階層なクラスタに分割し、
クラスタテーブル２３３を作成する。一方、図１２に示
した文書検索システムにおいて、回答検索処理部２３４
は、利用者から寄せられた新たな質問文書の入力に応じ
て、上述したクラスタテーブル２３３を利用しつつ、文
書蓄積ファイル２３１から適切な回答文書を検索し、出
力装置２３５を介して利用者に検索した回答文書を返
す。

【００４７】図１２に示した回答検索処理部２３４にお
いて、関連テーブル作成部２４１および索引作成部２４
２は、回答文書の検索処理に先だって、検索処理を迅速
に進めるために、文書蓄積ファイル２３１に蓄積された
質問文書に対する準備処理を行い、それぞれ関連テーブ
ル２４３および索引ファイル２４４を作成する。また、
図１２に示した回答検索処理部２３４において、検索式
作成部２４５は、新たに入力された質問文書を検索式に
変換し、類似文書検索部２４６に渡す。類似文書検索部
２４６は、この検索式に基づいて、上述した索引ファイ
ル２４４から類似した質問文書を検索し、選択処理部２
４７は、この検索結果に基づいて、適切な回答文書を選
択して出力装置２３５に渡す。

【００４８】ここで、図１２に示した各部と図２に示し
た各手段との対応関係を説明する。図１２に示した文書
クラスタ作成装置２３２は、図２に示した類似性評価手
段１１１およびクラスタ作成手段１１２に相当する。ま
た、図１２に示した関連テーブル作成部２４１および関
連テーブル２４３は、図２に示した関連付け手段１１３
に相当する。また、図１２に示した索引ファイル２４
４、検索式作成部２４５および類似検索部２４６は、図
２に示した検索手段１１４に相当する。一方、図２に示
した重複排除手段１１５および検索結果出力手段１１６
の機能は、選択処理部２４７によって果たされる。

【００４９】次に、この文書検索システムの動作につい
て説明する。図１３に、文書検索システムの動作を表す
流れ図を示す。また、図１４に、文書検索システムの動
作を説明する図を示す。図１２に示した文書検索システ
ムは、新たな質問文に対する回答を検索する前に、図１
３に(ａ)に示す各手順からなる準備処理を行う。

【００５０】まず、文書クラスタ作成装置２３２によ
り、文書蓄積ファイル２３１に蓄積された回答文書の集
合を複数の非階層なクラスタに分割し、図１１(ｂ)に示
したようなクラスタテーブル２３３を作成する(図１３
のステップ３３１)。次に、図１２に示した関連テーブ
ル作成部２４１は、クラスタテーブル２３３を参照し、
各質問文書に対応する回答文書が属するクラスタに関す
るクラスタ情報としてクラスタＩＤと要素数とを取得
し、図１４(ａ)に示すように、各質問文書に与えられた
文書ＩＤに対応して、上述したクラスタ情報を格納して
いくことにより、関連テーブル２４３を作成する(図１
３のステップ３３２)。このようにして、各質問文書と
クラスタとの関連を示すことにより、各質問文書を、対
応する回答文書が属するクラスタに応じてまとめ、同一
のクラスタに属する回答文書の集合に対応する質問文書
のまとまりを作成することができる。もちろん、関連テ
ーブル作成部２４１により、各クラス他に対応する質問
文書ＩＤを示すテーブルを作成してもよい。

【００５１】次いで、索引作成部２４２は、図４に示し
た索引作成部２１１と同様にして、文書蓄積ファイル２
３１に蓄積された質問文書に出現する単語についての索
引ファイル２４４を作成し(図１３のステップ３３３)、
更に、上述した関連テーブル２４３に基づいて、各単語
に対応する索引情報にクラスタ情報を追加する(ステッ
プ３３４)。このとき、索引作成部２４２は、例えば、
各単語を含む文書を示す文書ＩＤに基づいて、上述した
関連テーブル２４３を参照し、その文書ＩＤに対応して
格納されたクラスタ情報を読み出して、索引情報に追加
することにより、図１４(ｂ)に示すような索引ファイル
を作成する。

【００５２】これらの処理の終了後に、新たに入力され
る質問文書に対応する回答文書の検索処理を行う(図１
３(ｂ)参照)。まず、図１２に示した検索式作成部２４
５は、図４に示した検索式作成部２１３と同様にして、
入力された質問文書を検索式に変換し(図１３のステッ
プ３３５)、類似文書検索部２４６に渡す。

【００５３】類似文書検索部２４６は、上述した索引フ
ァイル２４４を用いて、この検索式で示される単語を少
なくとも一つ含んでいる質問文書を類似文書として検索
する(ステップ３３６)。このとき、類似文書検索部２４
６は、上述したようにして検索した質問文書を示す文書
ＩＤおよび類似得点とともに、これらの質問文書に対応
するクラスタ情報を含む検索結果を選択処理部２４７に
渡す。

【００５４】選択処理部２４７は、検索結果に含まれる
クラスタ情報に基づいて、各クラスタからそれぞれ一つ
の質問文書を選択する(ステップ３３７)。このとき、選
択処理部２４７は、例えば、検索された各質問文書を、
対応するクラスタ情報に応じてクラスタごとにまとめ、
検索結果で示された類似得点に基づいて、各クラスタに
対応する質問文書の集合から、入力された質問文書に最
も類似している質問文書をそれぞれ選択する。

【００５５】次に、選択処理部２４７は、クラスタ情報
を用いて、上述したステップ３３７において選択した質
問文書に対応する類似得点を調整する(ステップ３３
８)。このとき、選択処理部２４７は、例えば、各質問
文書に対応するクラスタ情報で示されるクラスタの要素
数ｎを反映するクラスタスコアＣと、類似得点の最大値
Ｒｍとクラスタスコアの最大値Ｃｍとの比を示す係数ａ
と、クラスタスコアを反映する割合を示す係数α（０≦
α≦１）とで表された式３を用いて類似得点Ｒを調整
し、最終的な類似得点Ｒｔを算出する。

【００５６】Ｒｔ＝ａ×Ｃ×α＋(１−α)×Ｒ・・・（３）なお、クラスタスコアＣは、例えば、クラスタの要素数
ｎの平方根とすればよい。このようにして調整された類
似得点Ｒｔに応じて、選択処理部２４７は、類似得点Ｒ
ｔが高い順に、各質問文書に対応する回答文書を文書蓄
積ファイル２３１から読み出して、出力装置２３５を介
して出力して(ステップ３３９)、処理を終了する。

【００５７】上述したようにして、文書蓄積ファイル２
３１に蓄積された回答文書とともに質問文書をクラスタ
に分類しておき、新たな質問文書の入力に応じて類似文
書を質問文書の集合から検索する際に、類似文書検索部
２４６によって得られた検索結果からクラスタごとに一
つの質問文書を選択することにより、内容が極めて類似
している文書の集合からの検索結果を一つに絞ることが
できる。これにより、検索結果としてきわめて類似した
文書の羅列を出力してしまうことを防いで、入力された
質問文書に類似しており、かつ、ヴァラエティに富んだ
検索結果を提示することが可能となる。

【００５８】更に、各クラスタについて選択された文書
に対応する類似得点を、上述したクラスタスコアによっ
て調整し、調整された類似得点に応じた順位をつけて検
索結果を提示することにより、検索結果の文書が属する
クラスタの大きさから推定される検索結果の重要度を検
索結果の提示順位に反映することができる。ここで、ク
ラスタの大きさは、すなわち、過去に類似した質問が多
数寄せられ、それらの質問に対して多数の回答が返され
ていることを示しているから、要素数が多いクラスタに
属する検索結果は、一般的に重要度が高いと考えられる
ので、上述したようにして、調整された類似得点に応じ
て検索結果を提示することにより、有効度の高い回答文
書を優先的に提示することが可能となる。

【００５９】このように、上述した文書検索システム
は、サポートセンタなどに蓄積された膨大な質問文書と
回答文書との蓄積から直接に必要な文書を検索しようと
した場合の問題点を解決し、蓄積された文書を活用し
て、有効な回答文書となる可能性の高い回答文書を迅速
に抽出することが可能である。これにより、ユーザサポ
ートを担当する人員の作業負担を大幅に軽減することが
でき、また、利用者に回答文書を提示するまでに要する
時間も短縮してサービス性を向上することが可能とな
る。したがって、本発明の文書検索システムは、サポー
トセンタのように、蓄積された膨大な文書を有効に利用
することが求められる分野において、非常に有用であ
る。

【００６０】次に、本発明のＦＡＱ作成システムについ
て説明する。図１５に、本発明のＦＡＱ作成システムの
実施形態を示す。図１５に示したＦＡＱ作成システムに
おいて、文書クラスタ作成装置２３２は、上述したよう
にして、文書蓄積ファイル２３１に蓄積された多数の回
答文書を非階層なクラスタに分割し、クラスタテーブル
２３３を作成する。

【００６１】また、図１５において、クラスタ選択部２
５１は、クラスタテーブル２３３に基づいて要素数の多
いクラスタを選択し、代表抽出部２５２の処理に供す
る。この代表抽出部２５２において、文書抽出部２５３
は、抽出制御部２４９からの指示に応じて、指定された
クラスタに属する回答文書あるいは質問文書を文書蓄積
ファイル２３１から抽出し、文書分析部２５４は、文書
抽出部２５３から受け取った各文書を解析し、この文書
の集合における単語の出現度数を示す単語情報ファイル
２５５とともに、各文書を構成する単語を示す情報を格
納した文書情報ファイル２５６を作成する。また、図１
５に示した代表抽出部２５２において、単語得点算出部
２５７は、抽出制御部２４９からの指示に応じて、単語
情報ファイル２５５に基づいて、注目している文書の集
合における各単語の出現頻度に応じた得点を求め、この
得点と上述した文書情報ファイル２５６に基づいて、代
表度算出部２５８は、各文書の代表度を算出する。ま
た、図１５において、文書選択部２５９は、クラスタご
とに最も代表度の高い回答文書および質問文書を検出
し、ＦＡＱファイル２６０に保存する。

【００６２】ここで、図１５に示した各部と、図３に示
した各手段との対応関係について説明する。図１５に示
したクラスタ選択部２５１およびクラスタテーブル２３
３は、図３に示した要素数算出手段１１７および順位決
定手段１１８の機能を果たす。また、図３に示した文書
分解手段１４１の機能は、図１５に示した抽出制御部２
４９、文書抽出部２５３および文書分析部２５４によっ
て果たされる。また、図３に示した文書計数手段１４３
および単語得点算出手段１４３の機能は、図１５に示し
た単語情報ファイル２５５および単語得点算出部２５７
によって果たされる。一方、図１５に示した代表度算出
部２５８は、図３に示した代表度算出手段１４４に相当
するものであり、また、図１５に示した文書選択部２５
９およびＦＡＱファイル２６０は、図３に示した選択手
段１４５に相当する。

【００６３】次に、このＦＡＱ作成システムの動作につ
いて説明する。図１６に、ＦＡＱ作成動作の概略を表す
流れ図を示す。また、図１７に、文書の集合から代表を
抽出する動作を表す流れ図を示す。まず、文書クラスタ
作成装置２３２により、文書蓄積ファイル２３１に蓄積
された回答文書を複数の非階層なクラスタに分割し(ス
テップ３４１)、クラスタテーブル２３３を作成する。

【００６４】このクラスタテーブル２３３に基づいて、
クラスタ選択部２５１は、各クラスタの要素数を求め、
要素数が多い順にＫ個のクラスタを選択し(ステップ３
４２)、これらのクラスタを示すクラスタＩＤを抽出制
御部２４９に通知する。抽出制御部２４９は、これらの
クラスタＩＤを順次に選択し(ステップ３４３)、選択し
たクラスタＩＤに基づいて上述したクラスタテーブル２
３３を参照し、そのクラスタに属する回答文書を示す文
書ＩＤの集合を読み出して、文書抽出部２５３にこれら
の文書の抽出を指示する。これに応じて、文書抽出部２
５３は、文書蓄積ファイル２３１から指定された文書を
抽出し(ステップ３４４)、これらの文書からなる集合
を、文書分析部２５４、単語得点算出部２５７、代表度
算出部２５８および文書選択部２５９による代表抽出処
理(ステップ３４５)に供する。

【００６５】ここで、図１７を用いて、文書の集合から
代表を抽出する動作について説明する。文書分析部２５
４は、文書抽出部２５３から受け取った文書の集合の各
要素、すなわち各文書を順次に選択し(ステップ３５
１)、この文書を単語に分解する(ステップ３５２)。そ
して、文書分析部２５４は、この文書を示す文書ＩＤに
対応して、この文書に含まれている単語に関する情報を
文書情報ファイル２５６に格納する。また、文書分析部
２５４は、この文書に出現した単語に対応して単語情報
ファイル２５５に格納された出現度数をインクリメント
する(ステップ３５３)。その後、文書分析部２５４は、
上述した文書の集合に含まれる全ての要素についての分
析が終了したか否かを判定し(ステップ３５４)、否定判
定の場合は、ステップ３５１に戻って、次の文書につい
ての分析を行なう。

【００６６】このようにして、クラスタに属する文書に
ついて順次に分析していき、全ての要素についての分析
が終了したときに、ステップ３５４の肯定判定としてス
テップ３５５に進む。このとき、単語情報ファイル２５
５には、文書抽出部２５３から受け取った文書の集合に
おいて、各単語が出現した度数を示す情報が格納されて
おり、また、文書情報ファイル２５６には、これらの文
書それぞれを構成する単語を示す情報が格納されてい
る。

【００６７】その後、単語得点算出部２５７は、抽出制
御部２４９からの指示に応じて、単語情報ファイル２５
５に格納された情報を参照し、各単語について、その出
現頻度に対応する得点(以下、単語得点と称する)を算出
して(ステップ３５５)、得られた単語得点を代表度算出
部２５８に渡す。代表度算出部２５８は、抽出制御部２
４９からの指示に応じて、文書情報ファイル２５６から
順次に文書情報を読み出し(ステップ３５６)、例えば、
この文書情報で示される単語に対応する単語得点を積算
することにより、対応する文書の代表度Ｄｂを算出する
(ステップ３５７)。

【００６８】文書選択部２５９は、ステップ３５７で得
られた代表度Ｄｂと代表度の基準値Ｄａとを比較し(ス
テップ３５８)、代表度Ｄｂが基準値Ｄａを超えた場合
(ステップ３５８の肯定判定)に、基準値Ｄａを代表度Ｄ
ｂによって更新するとともに、現在処理中のクラスタに
対応する代表文書を示す文書ＩＤとして、この文書を示
す文書ＩＤをＦＡＱファイル２６０に格納する(ステッ
プ３５９)。

【００６９】その後、抽出制御部２４９は、代表度算出
部２５８と文書選択部２５９により、上述したステップ
３５６からステップ３５９の処理を、上述した文書の集
合に含まれる全ての要素について実行したか否かを判定
し(ステップ３６０)、このステップ３６０の否定判定の
場合は、ステップ３５６に戻って、次の文書についての
処理を指示する。

【００７０】このようにして、全ての要素についての処
理が終了したときに、抽出制御部２４９は、注目してい
る文書の集合から代表を抽出する処理が終了する。な
お、このとき、抽出制御部２４９は、文書選択部２５９
に代表抽出処理が完了した旨を通知し、これに応じて、
文書選択部２５９は、ＦＡＱファイル２６０の該当する
代表文書を確定すればよい。

【００７１】したがって、上述したステップ３５１から
ステップ３６０の処理を、図１６のステップ３４４にお
いて抽出した回答文書の集合について実行することによ
り、この回答文書の集合の中から、典型的な文書を代表
文書として抽出し(ステップ３４５)、ＦＡＱファイル２
６０に格納することができる。同様にして、抽出制御部
２４９からの指示に応じて、文書抽出部２５３によっ
て、注目しているクラスタに属する各回答文書に対応す
る質問文書からなる集合を文書蓄積ファイル２３１から
抽出し(ステップ３４６)、この文書の集合について、図
１７に示した各手順からなる処理を実行することによ
り、このクラスタに属する回答文書に適合する代表的な
質問文書を代表文書として抽出し(ステップ３４７)、Ｆ
ＡＱファイル２６０に格納することができる。

【００７２】したがって、ステップ３４２で選択した全
てのクラスタについて、上述した処理を実行することに
より、文書蓄積ファイル２３１に蓄積された文書から、
自動的にＦＡＱを抽出することができる。ここで、図１
７に示した代表文書抽出処理においては、文書の集合に
含まれる各文書を、その構成要素である単語に基づいて
分析することにより、各文書について代表度を求めてい
る。この代表度は、各文書が、その集合に含まれる文書
において頻繁に出現する単語を多く含んでいる度合いを
示しており、これは、その文書が、典型的な文書である
度合いを客観的に示していると考えられる。したがっ
て、上述したようにして代表文書を抽出することによ
り、多数の文書からなる集合から典型的な文書を高い精
度で抽出することができる。

【００７３】

【発明の効果】以上に説明したように、請求項１の発明
によれば、膨大な数の文書を、それぞれが内容の近似し
ている文書同士からなり、非階層な複数のクラスタに分
割することができる。特に、請求項４の発明を適用し、
同一のクラスタに分類するか否かを判定する指標とし
て、類似文書の候補を多く共有しているか否かを用いる
ことにより、互いに密接に関連する内容を記述した文書
を漏れなく検出し、一つのクラスタにまとめることがで
きる。

【００７４】一方、請求項２の発明によれば、それぞれ
が質問文書に対応して蓄積された膨大な数の回答文書か
ら、適切な回答文書を各クラスタから一つずつ検索して
提示することができるので、検索結果から有効な回答文
書を選択する作業を支援することができる。これによ
り、過去に寄せられた質問文書およびそれに対する回答
文書の蓄積を、直接に利用して、新たな質問文書に対す
る回答文書を検索することができるので、模範回答文書
や模範質問文書の作成を不要とし、これらの作成に費や
されていた作業負担を削減することができる。また、質
問文書および回答文書の蓄積そのものを活用するので、
新たな質問文書に対応して、既存の回答文書の一部を変
更して作成された回答文書も蓄積していくことにより、
次の検索時に利用することが可能である。更に、請求項
５の発明を適用し、検索結果を提示する順序を、クラス
タの要素数に応じて調整することにより、類似した回答
文書が使用された頻度、すなわち、該当する事項につい
ての質問が入力された頻度を提示順序に反映することが
できる。

【００７５】また、請求項３の発明によれば、それぞれ
が質問文書に対応して蓄積された膨大な数の回答文書か
ら作成されたクラスタごとに、代表的な回答文書と質問
文書とを抽出することにより、ＦＡＱを自動的に作成す
ることが可能である。これにより、極めて類似した膨大
な文書の中から代表的な文書をＦＡＱとして抽出すると
いった煩雑で単調な作業から技術者を解放し、サポート
センタなどにおける作業の効率を向上することができ
る。特に、請求項６の発明を適用し、各クラスタに属す
る文書の中で典型的な文書である度合いを客観的に示す
指標として、各クラスタに属する文書において頻繁に出
現する単語を多く含んでいる度合いを用いることによ
り、相互に類似した多数の文書の中から、最も典型的な
文書を高い精度で検出することができるので、有用性の
高いＦＡＱを作成することができる。

【図面の簡単な説明】

【図１】本発明の文書クラスタ作成装置の原理ブロック
図である。

【図２】本発明の文書検索システムの原理ブロック図で
ある。

【図３】本発明のＦＡＱ作成システムの原理ブロック図
である。

【図４】本発明の文書クラスタ作成装置の実施形態を示
す図である。

【図５】類似性評価部の動作を表す流れ図である。

【図６】類似性評価動作を説明する図である。

【図７】近似文書探索部の詳細構成を示す図である。

【図８】近似文書探索動作を表す流れ図である。

【図９】探索テーブルの例を示す図である。

【図１０】文書をクラスタに分割する動作を表す流れ図
である。

【図１１】クラスタ分割動作を説明する図である。

【図１２】本発明の文書検索システムの実施形態を示す
図である。

【図１３】文書検索システムの動作を表す流れ図であ
る。

【図１４】文書検索システムの動作を説明する図であ
る。

【図１５】本発明のＦＡＱ作成システムの実施形態を示
す図である。

【図１６】ＦＡＱ作成動作の概略を表す流れ図である。

【図１７】文書の集合から代表を抽出する動作を表す流
れ図である。

【符号の説明】

１１１類似性評価手段１１２クラスタ作成手段１１３関連付け手段１１４検索手段１１５重複排除手段１１６検索結果出力手段１１７要素数算出手段１１８順位決定手段１１９代表抽出手段１２１類似度算出手段１２２候補抽出手段１２３共有文書検出手段１２４近似文書判定手段１２５収集手段１２６新規生成手段１２７編入手段１３１クラスタ得点算出手段１３２得点調整手段１３３ソート手段１４１文書分解手段１４２含有文書計数手段１４３単語得点算出手段１４４代表度算出手段１４５選択手段２０１分類制御部２０２文書ファイル２０３評価結果保持部２０４クラスタテーブル２１０類似性評価部２１１索引作成部２１２索引ファイル２１３検索式作成部２１４類似得点算出部２１５ソート部２１６正規化部２１７候補抽出部２２０クラスタ処理部２２１近似文書探索部２２２分類処理部２２３探索テーブル２２４探索制御部２２５共有文書検出部２２６類似度算出部２２７テーブル更新部２３１文書蓄積ファイル２３２文書クラスタ作成装置２３３クラスタテーブル２３４回答検索処理部２３５出力装置２４１関連テーブル作成部２４２索引作成部２４３関連テーブル２４４索引ファイル２４５検索式作成部２４６類似文書検索部２４７選択処理部２４９抽出制御部２５１クラスタ選択部２５２代表抽出部２５３文書抽出部２５４文書分析部２５５単語情報ファイル２５６文書情報ファイル２５７単語得点算出部２５８代表度算出部２５９文書選択部２６０ＦＡＱファイル

Claims

【特許請求の範囲】

【請求項１】複数の文書それぞれについて、自身を含
めた全ての文書それぞれとの類似性を評価する類似性評
価手段と、前記類似性評価手段による評価結果に基づいて、前記複
数の文書を非階層な複数のクラスタに分割するクラスタ
作成手段とを備えたことを特徴とする文書クラスタ作成
装置。
【請求項２】個々の現象の解説および個々の状況に対
する対策を含む事項に関する記述をそれぞれ含んだ複数
の文書を、それらの文書を回答文書として要求する質問
文書の入力に応じて検索する文書検索システムにおい
て、複数の質問文書とこれらに対する回答文書として用いら
れた複数の文書とを蓄積する蓄積手段と、前記複数の文書それぞれについて、自身を含めた全ての
文書それぞれとの類似性を評価する類似性評価手段と、前記類似性評価手段による評価結果に基づいて、前記複
数の文書を非階層な複数のクラスタに分割するクラスタ
作成手段と、前記複数の質問文書を、それぞれ対応する文書が属する
クラスタに関連付ける関連付け手段と、新たに入力された質問文書と前記複数の質問文書それぞ
れとの類似度に基づいて、近似した質問文書の候補を検
索する検索手段と、前記近似した質問文書の候補から同一のクラスタに関連
付けられた候補を排除して、クラスタごとに一つの候補
を抽出する重複排除手段と、前記クラスタごとに抽出された候補に対応して前記蓄積
手段に蓄積された文書を検索結果として出力する検索結
果出力手段とを備えたことを特徴とする文書検索システ
ム。
【請求項３】個々の現象の解説および個々の状況に対
する対策を含む事項に関する記述をそれぞれ含んだ複数
の文書と、それらの文書を回答文書として要求する質問
文書との組み合わせの蓄積から、高い頻度で出現する質
問文書とこれに対応する回答文書とからなるＦＡＱを作
成するＦＡＱ作成システムにおいて、複数の質問文書とこれらに対する回答文書として用いら
れた複数の文書とを蓄積する蓄積手段と、前記複数の文書それぞれについて、自身を含めた全ての
文書それぞれとの類似性を評価する類似性評価手段と、前記類似性評価手段による評価結果に基づいて、前記複
数の文書を非階層な複数のクラスタに分割するクラスタ
作成手段と、各クラスタに含まれる要素数を求める要素数算出手段
と、前記複数のクラスタに、その要素数に応じた順位を与え
る順位決定手段と、所定の順位までが与えられたクラスタに属する文書およ
びこれらに対応する質問文書の中から、それぞれ代表的
な質問文書および回答文書の組み合わせを抽出し、ＦＡ
Ｑとして出力する代表抽出手段とを備えたことを特徴と
するＦＡＱ作成システム。
【請求項４】請求項１に記載の文書クラスタ作成装置
あるいは請求項２に記載の文書検索システムまたは請求
項３に記載のＦＡＱ作成システムにおいて、類似性評価手段は、複数の文書から２つの文書を選択する組み合わせの全て
について、各組み合わせの類似度をそれぞれ算出する類
似度算出手段と、前記各組み合わせの類似度に基づいて、各文書に対応す
る類似文書の候補を抽出する候補抽出手段と、前記各文書とこれに対応する類似文書の候補それぞれと
の組み合わせについて、それぞれの組み合わせで共有し
ている類似文書の候補を検出する共有文書検出手段と、前記各組み合わせについて、検出された共有文書に関す
る適切な指標に基づいて、互いが類似している文書であ
るか否かを判定し、この判定結果を評価結果として出力
する近似文書判定手段とを備えた構成であり、クラスタ作成手段は、前記近似文書判定手段による判定結果に基づいて、各文
書について近似している文書を特定する識別情報を収集
する収集手段と、前記各文書について収集された識別情報が所定の条件を
満たすときに、新たなクラスタを生成する新規生成手段
と、前記各文書について収集された識別情報で示される文書
が既存のクラスタに含まれるときに、この文書を含んで
いるクラスタに注目している文書を編入する編入手段と
を備えた構成であることを特徴とする文書クラスタ作成
装置あるいは文書検索システムまたはＦＡＱ作成システ
ム。
【請求項５】請求項２に記載の文書検索システムにお
いて、検索結果出力手段は、各クラスタに含まれる要素数に応じた得点を、各クラス
タについてのクラスタ得点として求めるクラスタ得点算
出手段と、重複排除手段によって抽出された質問文書の候補それぞ
れについて、検索手段において求めた類似得点を、その
質問文書が関連付けられたクラスタに対応するクラスタ
得点に基づいて調整する得点調整手段と、調整された得点に応じて、前記質問文書の候補を並べ替
えて、前記各質問文書に対応する回答文書を検索結果と
して出力するソート手段とを備えた構成であることを特
徴とする文書検索システム。
【請求項６】請求項３に記載のＦＡＱ作成システムに
おいて、代表抽出手段は、各クラスタに属する文書あるいはこれらの文書に対応す
る質問文書を、それぞれ単語に分解する文書分解手段
と、前記単語ごとに、その単語を含んでいる文書あるいは質
問文書を計数する文書計数手段と、各単語について、それを含んでいる文書の数に応じた得
点を算出する単語得点算出手段と、各文書あるいは質問文書について、それぞれが含んでい
る単語に対応する前記単語得点についての所定の関数を
用いて代表度を算出する代表度算出手段と、前記代表度に基づいて、クラスタごとに代表となる文書
および質問文書を選択する選択手段とを備えた構成であ
ることを特徴とするＦＡＱ作成システム。