JP2008039983A - テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム - Google Patents

Abstract

【課題】テキストマイニングにおいて、特徴語とその特徴度とをより精度よく出力する装置、方法、プログラムの提供。
【解決手段】マイニング対象のテキストデータを入力する信頼度つきテキスト入力装置１０と、入力された信頼度つきテキストデータの言語解析を行う言語処理部２０と、入力テキスト中の特徴語を計数し、入力テキストに付与された信頼度や統計情報を利用して、得られた計数結果を補正する信頼度利用特徴語計数部３０と、補正後の計数結果から、各特徴語の特徴度を計算する特徴度計算部４０と、得られた各特徴語の特徴度を出力するマイニング結果出力装置５０と、設定などを、ユーザが入力するためのユーザ操作入力装置７０と、ユーザ操作入力装置から入力されたユーザの指示を、各部に伝えるマイニング処理管理部６０と、想定される入力テキストの性質を示す統計情報を記録・保持する統計情報データベース８０を含む。
【選択図】 図１

Description

本発明は、テキストマイニング装置、方法および、その処理用プログラムに関し、特に入力テキストが音声認識テキストのように誤りが含まれているときに、認識結果に付与される信頼度を用いて、精度良く特徴情報の特徴度を計算可能とするテキストマイニング装置、方法およびプログラムに関する。

＜用語の定義＞
はじめに、本願明細書・請求の範囲で用いられる用語を説明しておく。

「特徴語」： テキストマイニング技術で抽出される単語や熟語など、１語以上からなる単語の組を、まとめて「特徴語」という。

「特徴度」： 各特徴語がそのカテゴリーにおいて、どの程度特徴的であるかを示す度合いを「特徴度」という。テキストマイニングの分野では、「スコア」とも呼ばれる。

「補正する」： 信頼度や統計情報を用いて、誤り含みの結果から、正しい値を推定することを「補正する」という。

＜テキストマイニング技術＞
アンケートや業務報告などの大量のテキストから、テキストの傾向など、有用な情報を分析するために、テキスト中に頻出する、あるいは、統計的基準で意味のある単語や熟語などを抽出するテキストマイニング技術が存在する。

この種のテキストマイニング技術の１例が非特許文献１で開示されている。非特許文献１のテキストマイニング技術では、あらかじめ２つ以上のカテゴリーに分類されたテキストを入力とする。

入力テキストが与えられると、各カテゴリーのテキスト中に現れる特徴語（用語の定義参照）の出現回数を計数して、その計数結果から、各特徴語の着目するカテゴリーに対する特徴度（用語の定義参照）を計算する。

特徴度は、
・特徴語の出現回数を、そのまま特徴度とする手法や、
・各特徴語のカテゴリー毎の出現回数から、相互情報量のような統計的指標を用いる手法、
などがある。

非特許文献１では、非特許文献２に開示されている、「ESC」 という統計量を特徴度として用いている。

テキストマイニング技術では、ある着目するカテゴリーで、どのような特徴語の特徴度が高いかを調べ、マーケティングや業務分析などに利用する。例えば、自動車のアンケートを、自動車メーカーごとにカテゴリー分けして、各メーカーに対する感想テキストをテキストマイニングした結果、Ａ社のカテゴリーでは「庶民的」という特徴語の特徴度が一番大きかったとする。この場合、Ａ社のイメージとして、「庶民的」という感想が、広くそのアンケート記入者の間で持たれていることがわかる。一方、Ｂ社のカテゴリーでは、「庶民的」という特徴語の特徴度が小さく、「高級車」という特徴語の特徴度が高い場合には、Ｂ社のイメージとして、庶民よりも、「高級車」ユーザ向けのメーカーであると考えられていることが分かる。

なお、特許文献１には、テキストマイニング手法により顧客などの主観的な情報を捕らえて的確なデータ分析を行う装置として、名詞句のサブドキュメント中の出現頻度、アンケート全体における分布等の統計情報を求める構成が開示されている。また特許文献２には、誤りを含む可能性のある電子化文書について重要単語抽出精度を高める文書処理装置として、単語の出現頻度を評価情報とし、評価情報を重要度として使用すること、類似度および比較単語の重要度について重要度補正部によって重要度補正値を算出する構成が開示されている。しかしながら、特許文献１、２に記載された発明は、処理形態、構成、作用効果のいずれについても、後述する本発明と相違している。

K. Yamanishi and H. Li, "Mining open answers in questionnaire data", IEEE Intelligent Systems, Sept/Oct, pp.58-63, 2002. K. Yamanishi, "A Decision-Theoretic Extension of Stochastic Complexity and Its Applications to Learning", IEEE Trans. Information Theory, vol.44, No.4, July 1998, pp.1424-1439. Frank Wessel 他, "Confidence Measures for Large Vocabulary Continuous Speech Recognition", IEEE Trans. Speech and Audio Processing, vol.9,No.3, March 2001, pp.288-298. 特開２００４−１６４０７９号公報 特開２００５−１７３９５０号公報

従来のテキストマイニング技術では、入力テキスト中の特徴語の出現回数を計数し、その計数結果を用いて特徴度を計算している。

しかし、音声認識テキストなどのように、入力されるテキストデータに誤りが含まれている場合、その誤りによって、特徴語の計数が正しくなされないため、特徴度の計算も大きな誤差を生じる、という問題がある。

本発明は、テキストマイニングにおいて、特徴語とその特徴度とをより精度よく出力する、テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラムを提供することを目的とする。

本願で開示される発明は、前記課題を解決するため、概略以下の構成とされる。なお、括弧内の図番と参照番号は、あくまで、本発明の理解を容易とするために図面の例示と対応させたものであり、本発明を限定するために解釈すべきものでないことは勿論である。

本発明は、入力されたテキストデータ中の単語や熟語に、その箇所の正しさらしさの目安を示す信頼度が付与されていたとき、あるいは、入力テキストに含まれる誤りの傾向が統計情報として与えられたとき、その信頼度や統計情報を用いて、各特徴語の計数結果や特徴度の正しい値を推定し、入力テキストをそのままテキストマイニングする手法に比べて、精度よく特徴語とその特徴度とを出力する。

本発明の１つのアスペクト（側面）のテキストマイニング装置は、
入力された信頼度つきテキストの言語解析結果に対して、特徴語を計数する際に、テキストに付与されている信頼度を用いて各特徴語の計数結果を補正する信頼度利用特徴語計数部(図１の３０)と、
計数された結果を基に各特徴語の特徴度を計算する特徴度計算部(図１の４０)と、
計算された各特徴語の特徴度をテキストマイニング結果として出力するマイニング結果出力装置(図１の５０)と、を有する。

このような構成を備え、入力されたテキストに含まれている誤りが、各特徴語の計数へ及ぼす影響を、テキストに付与されている信頼度を用いて補正する（用語の定義参照）ことで、上記課題を解決することができる。

また、本発明の他のアスペクト（側面）のテキストマイニング装置は、
入力された信頼度つきテキストの言語解析結果に対して、特徴語を計数する際に、テキストに付与されている信頼度を利用して、各特徴語の計数結果の分布を計算する信頼度利用特徴語計数分布計算部(図４の９０)と、
得られた計数の分布を基に各特徴語の特徴度を計算する計数分布利用特徴度計算部(図４の１００)と、
計算された各特徴語の特徴度をテキストマイニング結果として出力するマイニング結果出力装置(図４の５０)と、を有する。

このような構成を備え、入力されたテキストに含まれている誤りが、各特徴語の特徴度へ及ぼす影響を、テキストに付与されている信頼度を用いて補正する（用語の定義（３）参照）ことで、上記課題を解決している。

本発明の装置（方法、プログラム）は、以下の構成とされる。

本発明の第１の装置（方法、プログラム）は、入力テキストの特徴語毎の計数を行う際に、入力テキストの性質を示す統計情報を用いて計数結果を補正する特徴語計数部（工程、処理）を備える。

本発明の第２の装置（方法、プログラム）は、入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度を用いて計数結果を補正する信頼度利用特徴語計数部（工程、処理）を備える。

本発明の第３の装置（方法、プログラム）は、入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いて計数結果を補正する信頼度利用特徴語計数部（工程、処理）を備える。

本発明の第４の装置（方法、プログラム）は、入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付けるテキスト入力装置（工程、処理）をさらに備える。

本発明の第５の装置（方法、プログラム）は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する特徴語計数分布計算部（工程、処理）と、
前記特徴語計数分布計算部が計算した計数の確率分布を用いて各特徴語の特徴度を計算し、テキストマイニング結果とする計数分布利用特徴度計算部（工程、処理）と、
を備える。

本発明の第６の装置（方法、プログラム）においては、第６の装置（方法、プログラム）の前記特徴語計数分布計算部（工程、処理）は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストの性質を示す統計情報を用いる。

本発明の第７の装置（方法、プログラム）においては、第６の装置（方法、プログラム）の前記特徴語計数分布計算部（工程、処理）は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度を用いる。

本発明の第８の装置（方法、プログラム）においては、第６の装置（方法、プログラム）の前記特徴語計数分布計算部（工程、処理）は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いる。

本発明の第９の装置（方法、プログラム）は、入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付けるテキスト入力装置（工程、処理）をさらに備えている。

本発明の第１０の装置（方法、プログラム）は、音声認識手段または文字認識手段によって認識された、誤り含みテキストを、前記入力テキストとして受け付ける。

本発明によれば、入力されたテキストデータに誤りが含まれていても、信頼度を利用せず、そのまま各特徴語の特徴度を計算した場合に比べて、精度良く特徴度を求めることができる。

これにより、ある特徴語が別の語に置換してしまった置換誤りや、本来あるはずのない特徴語が挿入されてしまった挿入誤りなどが、入力テキスト中に含まれていても、その誤り箇所に付与されている信頼度が適切な値になっていれば、そうした誤り箇所の影響を抑え、結果としてユーザは精度の良いマイニング結果を得ることができる。

かかる効果が得られる理由は以下の通りである。

本発明においては、特徴語の計数時、または、各特徴語の特徴度の計算時に、入力テキストに付与されている信頼度や、別途用意した統計情報を利用して、誤りの影響が少なくなるよう特徴語の計数、または、特徴度を補正するからである。

また本発明によれば、入力されたテキストデータに曖昧性が含まれ、複数の候補からなる場合であっても、テキスト中の曖昧性がある箇所の各候補に信頼度が付与されていれば、曖昧性がない場合と同様に、曖昧性のある入力テキストを受理し、精度良く特徴度を求めることができる。

この効果が得られる理由は、特徴語の計数時、または、各特徴語の特徴度の計算時に、曖昧性がある箇所の各候補の信頼度を用いて、特徴語の計数、または、特徴度を補正するため、曖昧性がある箇所の各候補を多重に計数してしまい、特徴度の計算に誤差が生じるという問題がないためである。

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
図１を参照すると、本発明の第１の実施の形態は、
マイニング対象のテキストデータを入力する信頼度つきテキスト入力装置(図１の１０)と、
入力された信頼度つきテキストデータの言語解析を行う言語処理部(図１の２０)と、
入力テキスト中の特徴語を計数し、入力テキストに付与された信頼度や統計情報を利用して、得られた計数結果を補正する信頼度利用特徴語計数部(図１の３０)と、
補正後の計数結果から、各特徴語の特徴度を計算する特徴度計算部(図１の４０)と、
得られた各特徴語の特徴度を出力するマイニング結果出力装置(図１の５０)と、
入力テキストを言語処理する際の設定や、求める特徴度の計算手法の設定などを、ユーザが入力するためのユーザ操作入力装置(図１の７０)と、
ユーザ操作入力装置から入力されたユーザの指示を、各部に伝えるマイニング処理管理部(図１の６０)と、
想定される入力テキストの性質を示す統計情報を記録・保持する統計情報データベース(図１の８０)と、
を含む。以下、各部を順に説明する。

＜信頼度つきテキスト入力装置１０＞
信頼度つきテキスト入力装置１０は、本発明を実施する際に、処理対象とするテキストデータを入力する装置である。テキストデータは、ファイルとしてハードディスク等の記録装置から読み込まれるものであっても、ネットワークなどの通信手段を用いて他の機器から入力されるのであっても良い。具体的にどのような形態の入力機器を用いるかは、本発明の実施の形態を使用する目的・状況によって異なってくる。

ここで、入力テキストには、テキスト中の各文字列の正しさの度合いを示す信頼度が付与されているものとする。

この信頼度をどのように求めるかは、入力テキストの種類や、本発明の実施の形態を使用する際の用途・目的などに応じて異なってくる。

信頼度を計算するための手法としては、様々な技術が公開されており、例えば、非特許文献３は、音声認識テキストに対する信頼度(非特許文献３中では「Confidence Measures」と記載)を求める技術の例である。信頼度の具体的な計算方法については、本発明の取り扱う範囲ではないので、これ以上の説明を行わない。

なお、信頼度は、必ずしも、入力テキストの全ての箇所に付与されている必要はない。信頼度が付与されていない箇所に関しては、あらかじめ設定されたデフォルト信頼度が付与されているものとして扱えばよい。

また、入力テキストは、ワードグラフやn-bestのような、テキストの一部または全部が、曖昧な複数の候補文字列から構成されるものであってもよい。この場合、複数の候補文字列それぞれに信頼度が付与されているものとする。

＜信頼度の計算例（信頼度が付与されていないものが含まれる場合）＞
もし、複数の候補文字列の一部の候補または全候補に、信頼度が付与されていないものが含まれている場合には、次に記述する計算法に従って信頼度を付与する。

この計算法だが、信頼度が正規化されていない場合には、信頼度が付与されていない候補文字列に、そのままデフォルト信頼度を付与する。

信頼度が正規化されている場合には、デフォルト信頼度から、その箇所で信頼度が付与されている候補の信頼度の合計を差し引いた結果を、信頼度が付与されていない候補の数で割った値を、信頼度が付与されていない候補それぞれに、信頼度として、付与する。

例えば、入力テキストのある箇所に４つの曖昧な候補文字列が存在しており、１つの候補には0.4 の信頼度が付与されており、残りの３つの候補には信頼度が付与されていなかったとする。さらに、信頼度は、0以上１以下の確率値に正規化されていて、デフォルト信頼度が１であるとすると、
(1 - 0.4) / 3 = 0.2
となるので、信頼度が付与されていない３つの候補それぞれに、信頼度 0.2 が付与される。

＜信頼度つきテキストの一例＞
図２は、信頼度つきテキストの例を示す図である。テキスト中の斜線"／"が、単語の区切りを表しており、[0.92]のように、大括弧で囲まれた数字が、直前の単語の信頼度を表している。

図２の例では、信頼度は、0以上1以下の値をとる確率変数に正規化されているものとする。0 はその単語が正解である確率が0であることを示し、逆に、1の場合は、その単語が正解であることを示す。

また図２のテキスト１では、テキストは、全て一意の文字列からなるが、テキスト２では、「追えた」の箇所で曖昧性があり、「追えた」、「燃えた」、「得た」の３つの候補からなることを示している。

「追えた」、「燃えた」、「得た」の後に続く大括弧で囲まれた数字が、各候補の信頼度を示している。

例えば「得た」の信頼度は、[0.10]で、この３つの候補の中で一番信頼度が低い。

なお、図２の例では、信頼度は、単語の単位に付与されているが、必ずしも単語単位である必要はない。任意の文字列単位や文単位に付与されていてもよい。

図２の例では、入力テキストに付与された信頼度が、付与された箇所の正解確率を示す、0以上1以下の値に正規化されているが、そうでない場合には、この信頼度つきテキスト入力装置１０で、信頼度の正規化を行い、0以上1以下の正解確率に変換する。

具体的な正規化の手順は、本発明の実施の形態を実行する際に、どのような信頼度を用いるかにより異なってくる。用いる信頼度の性質・計算方法に応じて、正規化計算を行えばよい。

また、別途入力テキストの評価用コーパスを用意して、信頼度と実際の正解率の関係式を求め、得られた関係式をこの正規化に用いても良い。

＜言語処理部２０＞
言語処理部２０では、信頼度つきテキスト入力装置１０に入力されたテキストに対して、形態素解析、係り受け解析、同義語処理、不要語処理等の言語処理を実行し、本発明のテキストマイニング装置で取り扱う特徴語の単位に変換・整形を行う。

具体的にどのような特徴語の単位に変換・整形するかは、本発明の実施の形態を使用する際の用途や目的、さらにはユーザ操作入力装置７０で入力されたユーザ操作に応じて異なってくる。

・形態素解析によって分割された単語単位であっても良いし、
・複数の隣接する単語がまとめ上げられた文節単位であっても良いし、
・意味的に関係のある複数の単語の組をセットにした、単語組単位であっても良い。

言語処理部２０のこの動作に関しては、通常のテキストマイニング技術における言語処理の動作と同様であり、ここでは、これ以上の説明を行わない。ただし、入力テキストで付与された信頼度の割り振り単位と、言語処理部２０で変換・整形された特徴語との単位が異なる場合には、各特徴語の単位に１つの信頼度があるように、割り振りを変更する必要がある。

信頼度の割り振りを変更する手法だが、入力テキストの時点で割り振られていた単位より、特徴語の単位が短くなる場合には、もとの信頼度をそのまま用いればよい。

例えば、入力の時点で、「言語処理 [0.75]」のように割り振られていた箇所を、２つの特徴語「言語」と「処理」に分ける場合には、この２つの特徴語ともに、元の信頼度[0.75]を用いる。

入力テキストの時点で割り振られていた単位より、特徴語の単位が長くなる、あるいは区切りが異なる場合は、以下に例示するように、いくつかの割り振り方法が考えられる。

(a1)特徴語の単位と重なりのある元の割り振り単位の全ての信頼度の平均を取る手法である。

(a2)特徴語の単位と重なりのある元の割り振り単位の最大の信頼度をとる手法である。

(a3)特徴語の単位と重なりのある元の割り振り単位の最小の信頼度をとる手法である。

(a4)特徴語の単位と重なりのある元の割り振り単位のうち、特徴語の主要な要素をなしている元の割り振り単位を１つ選んで、その信頼度を特徴語全体の信頼度とする手法である。ここで、主要な要素とは、
・最初の名詞を用いる場合や、
・最長の文字列を主要な要素とする場合
などがある。

他にも信頼度を新たに割り振る手法が考えられるが、これは複数の値から１つの代表値を定めるという統計的問題であり、実際にどのような手法を用いるかは、本発明の実施の形態を使用する際の用途や目的などに応じて予め定めておく。

例えば図２のテキスト１で、「新」と「機種」を、１つの特徴語「新機種」として扱いたい場合、一致する文字列の長い「機種」の方の信頼度[0.81]を、「新機種」の信頼度とする、などの割り振り法を定めておく。

＜信頼度利用特徴語計数部３０＞
信頼度利用特徴語計数部３０は、入力テキスト中のある特定の部分集合に対して、各特徴語がその部分集合のテキストに何回出現しているか計数して、特徴度計算部４０に渡すコンポーネントである。

ここで、「入力テキスト中のある特定の部分集合」とは、
・本発明の実施の形態が用いるテキストマイニング手法や、
・ユーザ操作入力装置７０とマイニング処理管理部６０を通して入力されるユーザの設定等
によって異なってくる。

例えば、自動車のアンケートを入力として、Ａ社の特徴を調べるためには、
・まずＡ社のカテゴリーに属するテキストだけを対象にして、各特徴語の出現回数を計数し、
・ついでＡ社のカテゴリーに属さないテキストを対象にして、同じく各特徴語の出現回数を計数し、
・各特徴語に対するこの２つの計数結果から、特徴度を求める、
などの例が考えられる。

この例では、
・「Ａ社のカテゴリーに属するテキスト」、及び、
・「Ａ社のカテゴリーに属さないテキスト」
という２つの入力テキストの部分集合に対して、計数が行われる。

このように、入力テキスト中のどの部分集合に対して、どのように計数を行うのかは、一般のテキストマイニング技術に関する問題であり、本明細書では、これ以上詳しく説明しない。

ただし、この信頼度利用特徴語計数部３０では、単純に、入力テキスト中の各特徴語の出現回数を計数するのではなく、
・入力テキストに付与されている信頼度や、
・統計情報データベース８０に記録された入力テキストの誤り傾向の統計情報
を用いて、出現回数の推定値を求め、実際の計数結果の代わりに、その推定値を特徴度計算部４０に渡す点が、従来のテキストマイニング技術と異なる点である。

推定値を計数結果とする理由は、入力テキストに誤りが含まれているため、単純に各特徴語の計数を行っても、その計数結果には正解の計数結果からずれが生じるからである。

ここで、以下の式(1)〜(6)のように記号の意味を定義する。

C(w) : 誤りのない本来の入力テキスト中の特徴語wの計数結果 …(1)
CR(w) : 誤りのある入力テキスト中の特徴語wの計数結果 …(2)
CRc(w) : CR(w) のうち、正解の数 …(3)
CRe(w) : CR(w) のうち、実は誤りの数 …(4)
CD(w) : 正解テキスト中の w が誤りによって脱落・置換した数 …(5)
CG(w) : C(w) の推定値 …(6)

なお、この式(1)、(2)の説明で「入力テキスト」とあるのは、厳密には、入力テキスト中、計数対象とする特定の部分集合のテキストを意味する。

誤りを含んだ入力テキストを調べて計測できるのは、CR(w) である。

CRe(w)は、本来、特徴語w とは異なる別の表現から誤りによって、 w に変化したものの数と、何もないところから誤りによってわき出した w の総数である。

CD(w)は、本来入力テキストに含まれていたが、誤りによって脱落したか、別の語に置換してしまい、誤り含み入力テキストでは観測できなくなった特徴語 w の数を表している。

その定義から、必ず式(7)、(8)が成立する。
CR(w) = CRc(w) + CRe(w) …(7)
C(w) = CR(w) - CRe(w) + CD(w)
= CRc(w) + CD(w) …(8)

これらの記号を用いると、信頼度利用特徴語計数部３０は、誤り含み入力テキストから観測されるCR(w) から、正解計数結果 C(w) の推定値 CG(w) を算出するためのコンポーネントであるといえる。

なお、本明細書では便宜上、式(1)〜(5)の値の推定値を、各記号の最後に G をつけた表記で表すものとする。例えばC(w) の推定値が CG(w)、CR(w) の推定値が CRG(w) という具合である。

推定値CG(w)の算出手法としては、いくつかの手法が考えられる。以下説明する。

＜推定値CG(w)の第１の算出手法＞
第１は、信頼度による足きりを行う手法である。

例えば、あるカテゴリーに属する入力テキスト中の、ある特徴語Aを計数するものとする。

通常の計数の結果、特徴語Aは、対象テキストに３回出現して、３回の信頼度はそれぞれ、1、0.8、0.4であったとする。

また予め、ユーザ操作入力装置７０と、マイニング処理管理部６０と、を通して、信頼度の足きり閾値 0.5 (信頼度 0.5 未満は無視)が与えられていたとする。

このとき、
CR(A) = 3 …(9)
ただし、信頼度 0.5 未満の足きり設定のため、信頼度 0.4 の１回が捨てられる。

よって、CRc(A) の推定値 CRcG(A) は、次式(10)のようになる。
CRcG(A) = 2 …(10)

この値を計数結果の推定値 CG(A)として出力する。

厳密には、式(8) から
CG(w) = CRcG(w) + CDG(w) …(11)

この式(11)のように書くことができるので、CRcG(A) を、 CG(A) として利用するのは、CDG(A) を非常に小さく無視できる、と仮定して、簡略化している手法であるといえる。

統計情報データベース８０に、このCDG(A) の推定に利用できる統計情報が保管されている場合には、それを用いて、CDG(A) を求め、式(11)に代入する。

例えば、１回正解テキスト中に出現した特徴語Ａが脱落または他の語に変化する確率が、
・統計情報データベース８０に直接保管されているか、または、
・保管されている他の統計情報から導出できる場合、
には、保管された値又は導出された値を用い、さらに、
特徴語Ａに関する統計情報ではないが、より一般的な統計情報を、特徴語Ａに適用可能な場合にも、その値を用いる。

いま仮に、正解テキスト中の任意の特徴語に関して、
・誤りによって脱落して消えてしまう平均確率p1 と、
・他の語に置換してしまう平均確率 p2 と
が、統計情報データベース８０に保管されていたとする。

すると
CDG(w) = CG(w) * (p1 + p2) …(12)

この式(12)と(11) とから、次式(13)が成り立つ。
CG(w) = CRcG(w) / (1 - p1 - p2) …(13)

よって、CRcG(w) に推定した CRcG(A)を代入すれば、正解テキスト中の特徴語Ａが脱落・置換した割合も考慮した、特徴語Ａの計数推定値CG(A)が得られる。

いま、
p1 = 0.15, p2 = 0.1 であったとすると、特徴語Ａの計数推定値CG(A)として、脱落・置換した割合も考慮した
CG(A) = 2 / (1 - 0.15 - 0.1)
= 約2.7
となる。

特徴度計算部４０が計数結果として、実数を受理できる場合には、このまま出力する。

計数結果として、整数のみ受理する場合には、計数結果の小数点以下を切り捨て、切り上げ、四捨五入など予め定められた方法で丸めて出力する。

この信頼度による足きりを行うという第１の手法では、各特徴語の計数結果に、誤りから起因する本来ない特徴語まで数えてしまうのを防ぐことができる。

第２の推定値CG(w)の算出方法としては、各特徴語の出現箇所に付与されている信頼度を、その箇所の正解確率と見なし、出現回数の期待値を計数結果とする手法がある。

このためには、信頼度つきテキスト入力装置１０の説明で前述したように、入力テキストに付与されている信頼度が、0以上１以下の正解確率を示す確率変数に正規化されている必要がある。

例えば、信頼度による足きりを行う第１の手法の例と同様に、あるカテゴリーに属する入力テキスト中の、ある特徴語Aを計数するものとする。

通常の計数の結果、特徴語Aは、対象テキストに３回出現して、３回の信頼度はそれぞれ1, 0.8, 0.4 であったとすると、出現回数の期待値は、(信頼度ｘその信頼度の出現回数)の総和になるので、次式(14)のようになる。

CRcG(A) = (1 x 1) + (0.8 x 1) + (0.4 x 1)
= 2.2 …(14)

この値を、特徴語Aの計数結果の推定値 CG(A)とする。

統計情報データベース８０に、CDG(A) の推定に利用できる統計情報が保管されている場合は、それを用いて CDG(A) を求め、式(11)に代入することで、より厳密な推定値 CG(A) を算出できる。

いま仮に、信頼度による足きり手法の説明で挙げた例と同じく、正解テキスト中の任意の特徴語に関して、
・誤りによって脱落して消えてしまう平均確率 p1 = 0.15 と、
・他の語に置換してしまう平均確率 p2 = 0.1
とが、統計情報データベース８０に保管されているものとすると、

式(13)から
CG(A) = 2.2 / (1 - 0.15 - 0.1)
= 約2.9 …(15)

この式(15)の値 2.9 が計数結果の推定値となる。小数点以下の取り扱いについては、信頼度による足きり手法の場合と同様に、実数としてこのまま出力するか、四捨五入など予め定められた方法で丸めて出力すればよい。

＜推定値CG(w)の第２の算出手法＞
出現回数の期待値を用いるという第２の手法は、前記第１の手法と同様に、各特徴語の計数結果に、誤りから起因する本来ない特徴語まで数えてしまうことを防ぐことができるという効果を奏する。

第１と第２の手法の違いは、信頼度による足きりが、閾値未満(または以下)の信頼度の特徴語を全て切り捨ててしまうのに対して、期待値は、信頼度の分だけ重みをつけた計数結果であるといえる。

＜推定値CG(w)の第３の算出手法＞
第３の推定値 CG(w)の算出方法としては、各特徴語の出現箇所に付与されている信頼度を、その箇所の正解確率と見なし、出現回数の最頻値を計数結果とする手法がある。

このためには、信頼度つきテキスト入力装置１０の説明で前述したように、入力テキストに付与されている信頼度が、0以上１以下の正解確率を示す確率変数に正規化されている必要がある。

例えば、先ほどの信頼度による足きり手法の例と同様に、あるカテゴリーに属する入力テキスト中の、ある特徴語Aを計数するものとする。通常の計数の結果、特徴語Aは対象テキストに３回出現して、３回の信頼度は、それぞれ、1, 0.8, 0.4 であったとする。

可能な計数結果と、その確率を計算して、確率が最大になる計数結果が、このときの最頻値となるので、実際に計算すると、以下の確率となる。

0回の確率 = (1 - 1) * (1 - 0.8) * (1 - 0.4) = 0

1回の確率 = 1 * (1 - 0.8) * (1 - 0.4) + (1 - 1) * 0.8 * (1 - 0.4) +
(1 - 1) * (1 - 0.8) * 0.4
= 0.12

2回の確率 = 1 * 0.8 * (1 - 0.4) + 1 * (1 - 0.8) * 0.4 +
(1 - 1) * 0.8 * 0.4
= 0.48 + 0.08 = 0.56

3回の確率 = 1 * 0.8 * 0.4 = 0.32

２回の確率が最大であるので、この最頻値２をCRcG(A) とする。

CDG(A)を考慮しない場合は、この値を、そのまま、特徴語Aの計数結果の推定値 CG(A)として出力する。

この第３の手法では、信頼度による足きりの第１の手法や、期待値による第２の手法の場合と同様に、統計情報データベース８０に、CDG(A) の推定に利用できる統計情報が保管されている場合には、それを用いて CDG(A) を求め、式(11)に代入することで、より厳密な推定値 CG(A) を算出できる。

いま仮に、信頼度による足きり手法の説明で挙げた例と同じく、正解テキスト中の任意の特徴語に関して、
・誤りによって脱落して消えてしまう平均確率 p1 = 0.15 と、
・他の語に置換してしまう平均確率 p2 = 0.1 と
が統計情報データベース８０に保管されていたとすると、式(13)から
CG(A) = 2 / (1 - 0.15 - 0.1)
= 約2.7 …(16)

この式(16)の値 2.7 が計数結果の推定値となる。

特徴度計算部４０が計数結果として、実数を受理できる場合には、このまま出力してもよいが、計数結果として、整数のみ受理する場合には、計数結果の小数点以下を切り捨て、切り上げ、四捨五入など予め定められた方法で丸めて出力する。

ここで、式(16)の結果の後で、さらに最頻値の考え方をとる場合には、計数結果を３とする手法もあり得る。

また、この例では、式(11) における CRcG(w) と CDG(w) とを別々に計算したが、より厳密に、各計数結果が成立する確率を求めて、その値が最大となる計数結果を、CG(w) としてもよい。

以上、３つの推定値 CG(w)の算出手法を挙げたが、これは、各特徴語の信頼度と、統計情報データベース８０に保管された統計情報から、計数結果を、推定する一般の統計的問題に帰着できる。よって、上記した第１乃至第３の３つの手法が全てではない。

本発明の実施の形態を使用する際に、想定される入力テキストの誤りが従う統計的傾向に応じて、適切な推定手法を用いればよい。

上記の３つの手法の例では、各特徴語の信頼度(正解確率）がおのおの独立であると仮定して計算を行ったが、それらが従属である場合には、その従属の仕方に応じて、独立の場合とは別の推定手法を用いるのが適切である。

例えば、入力テキストが複数のテキストに分かれていて、個々のテキスト内では同一の特徴語の正解確率が全て従属であると考えられる場合には、
・各特徴語の個々のテキスト内での信頼度のうち、最小のものをそのテキスト内での共通の信頼度とする手法や、
・個々のテキスト内での信頼度の平均値をとって、それをそのテキスト内での信頼度とする手法などが考えられる。

さらに、これまでの信頼度利用特徴語計数部３０の説明では、入力テキスト中のある特定の部分集合に対して、各特徴語がその部分集合のテキストに何回出現しているか計数し、その結果を出力とする、という前提をおいた。

しかし、本発明の実施の形態が用いる、テキストマイニング手法や、ユーザ操作入力装置７０とマイニング処理管理部６０を通して入力されるユーザの設定などによっては、
各特徴語の計数結果そのものではなく、各特徴語が一定の閾値t回以上(または、より上)出現するテキストの数を、特徴度計算に用いる場合がある。

その場合も、本発明の実施の形態における、各特徴語の計数の推定は同じである。

各テキストに対して、
(S1)個々に特徴語の計数の推定を行い、
(S2)その推定結果が、閾値t回以上(または、より大)になるか否かを判断し、
(S3)判断の結果、閾値以上(または、より大)となったテキストの数を、計数する、
という一連の処理を行えばよい。

＜特徴度計算部４０＞
特徴度計算部４０は、信頼度利用特徴語計数部３０が求めた各特徴語の計数結果の推定値を受け取り、各特徴語の特徴度を計算する。

具体的に、どのような特徴度計算を行うかは、本発明の実施の形態が用いるテキストマイニング手法や、ユーザ操作入力装置７０とマイニング処理管理部６０を通して入力されるユーザの設定などによって異なってくる。

特徴度計算部４０で行う特徴度の計算自体は、従来のテキストマイニング技術と同様であり、本明細書では、これ以上の説明を行わない。

＜マイニング結果出力装置５０＞
マイニング結果出力装置５０は、特徴度計算部４０で計算した各特徴語の特徴度をマイニング結果として出力する装置である。出力はディスプレイに行ってもよいし、ファイルとして出力してもよい。

実際にどのような形式で、特徴語と、その特徴度を出力するかは、本発明の実施の形態を使用する際の用途や目的などに応じて異なってくる。予め出力用のパラメータを設定して、特徴度が大きい方から、一定数だけ特徴語と特徴度を出力してもよいし、特徴度がある閾値を越えた特徴語のみ出力するのでもよい。入力テキストの全データに関する特徴語を一度に出力するのではなく、別途指定するカテゴリーに属する入力テキストに対してのみ、特徴語を出力することも可能である。

＜マイニング処理管理部６０＞
マイニング処理管理部６０は、ユーザ操作入力装置７０を通して入力されたユーザの設定を受け取り、言語処理部２０、信頼度利用特徴語計数部３０、特徴度計算部４０が動作する際に、それぞれの設定を伝える。

また、ユーザ操作入力装置７０を通して、テキストマイニングの対象とするテキストや、テキストマイニング処理手順が入力された場合には、入力された操作に応じて、マイニング処理管理部６０は、言語処理部２０、信頼度利用特徴語計数部３０、特徴度計算部４０の各コンポーネントを起動する。

例えば、車のアンケートで、ユーザが、まずＡ社の特徴語で特徴度が最大となる語を求め、さらに、その特徴語がＣ社のカテゴリーでどの程度の特徴度となるか調べる操作を入力した場合、マイニング処理管理部６０は、まず、入力テキスト全体に対して言語処理部２０の処理を実行する。

次に、マイニング処理管理部６０は、Ａ社のカテゴリーのテキストに対して信頼度利用特徴語計数部３０と特徴度計算部４０との処理を実行し、Ａ社のカテゴリーに対する各特徴語の特徴度を求める。

次に、マイニング処理管理部６０は、求めた特徴度が最大となる特徴語が、Ｃ社のカテゴリーでどのような特徴度となるかを調べるため、信頼度利用特徴語計数部３０と特徴度計算部４０との処理をＣ社のカテゴリーのテキストに対して実行するよう指示を出す。

このように、マイニング処理管理部６０は、ユーザの操作・設定に応じて、言語処理部２０、信頼度利用特徴語計数部３０、特徴度計算部４０の各コンポーネントの動作を管理するためのコンポーネントである。

＜ユーザ操作入力装置７０＞
ユーザ操作入力装置７０は、
・言語処理部２０が実行する言語処理の設定や、
・信頼度利用特徴語計数部３０で実行する計数の補正手法、
・特徴度計算部４０で計算する特徴度の計算方法などの設定、さらに、
・テキストマイニング対象とする入力テキストの部分集合、
・テキストマイニングの処理手順
などの操作を、ユーザが入力するための装置である。

＜統計情報データベース８０＞
統計情報データベース８０は、
・入力テキスト中に出現する語句や文字列の出現傾向、または、
・入力テキストに含まれる誤り傾向の統計情報
を保管するデータベースである。

ここで、誤り傾向の統計情報とは、例えば、想定される入力テキストにおいて、
・各単語や文字が別の単語や文字に間違ってしまう確率、
・各単語や文字が脱落してしまう確率、
・各単語や文字が間違って挿入されてしまう確率
などである。

この統計情報は、それぞれの誤りが生じる条件と、各誤りが生じる割合を示す、条件付き確率として規定される。

各条件付き確率の条件は、その成立する場合の条件や誤りの種類が、細分化されたものであってもよい。逆に、大まかな条件であっても良い。

細分化された条件の一例としては、単にある１つの単語が脱落してしまう確率ではなく、特定の単語A、B、C が連続して入力テキストに現れるとき、単語Bが脱落する確率のような、前後の単語や文脈を限定した条件付き確率があり得る。

大まかな条件の一例としては、単語Bが、どの単語になるかは分からないが、とにかく他の単語に間違って変わる確率のような条件付き確率がある。

これらの統計情報は、信頼度利用特徴語計数部３０にて、各特徴語の計数結果の推定値を求めるために使用される。

一般に、細分化された条件つき確率情報が利用できるほど、各特徴語の計数結果をより正確に推定できるが、一方、条件が細分化されているほど、事前に正確な確率値を求めることが難しくなる。

具体的にどのような統計情報を統計情報データベース８０に保管するかは、本発明の実施の形態を使用する際に、信頼度利用特徴語計数部３０で用いられる、特徴語計数の推定手法により異なる。

なお、統計情報データベース８０は、本発明の実施の形態において必須ではない（オプション）。

統計情報データベース８０が存在しない場合には、信頼度利用特徴語計数部３０において、入力テキストに付与された信頼度のみを用いて、各特徴語の計数の推定値を求めることとなる。

当然、この場合、信頼度利用特徴語計数部３０では、信頼度のみを用いて各特徴語の計数結果を推定する手法が取られる。以上が、本発明の第１の実施の形態の構成である。

なお、上記第１の実施の形態の説明では、少なくとも一部のテキストには、信頼度が付与されているテキストが、信頼度つきテキスト入力装置１０に入力されることを前提として説明したが、本発明はかかる構成に限定されるものでない。

＜信頼度が付与されないテキストの処理＞
本発明の第１の実施の形態においては、入力テキストの特殊なケースとして、まったく信頼度が付与されないテキストを受理することも可能である。その場合、信頼度利用特徴語計数部３０では、統計情報データベース８０に保管された入力テキストの誤り傾向の統計情報のみを利用して、各特徴語の計数の推定値を求める。

例えば、統計情報データベース８０に、入力テキストに出現し得る任意の特徴語wに対して、次のような確率が保管されていたとする。

・正解テキスト中のw が、他の特徴語に置換される確率: Pr(w)
・正解テキスト中のw が、誤って削除される確率: Pd(w)
・誤りを含む入力テキスト中のwが、正解である確率: PC(w)

すると、上記の確率の定義から、
CD(w) / C(w) = Pr(w) + Pd(w) …(17)
CRc(w) / CR(w) = PC(w) …(18)

式(17)、(18)と式(8)から、次式(19)と(20)が導かれる。
C(w) = PC(w) * CR(w) + (Pr(w) + Pd(w)) * C(w) …(19)
C(w) = PC(w) * CR(w) / (1 - Pr(w) - Pd(w)) …(20)

よって、この場合、信頼度利用特徴語計数部３０では、通常通り、CR(w)を入力テキストから計数した後に、統計情報データベース８０から必要な統計情報であるPr(w)、Pd(w)、PC(w)を読み込んで、式(20)に代入し、C(w) を求めることができる。厳密に書くと、統計情報を用いたC(w)の推定値 CG(w) を求めることになる。

このように、入力テキストに信頼度が付与されていない場合でも、統計情報データベース８０に特徴語を推定するために必要となる統計情報が格納されていれば、本発明の実施は可能である。

＜プログラムによる実装＞
また、本実施の形態では、信頼度つきテキスト入力装置１０、言語処理部２０、信頼度利用特徴語計数部３０、特徴度計算部４０、マイニング結果出力装置５０、マイニング処理管理部６０、ユーザ操作入力装置７０、統計情報データベース８０は各部の機能を制御するプログラムとして、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクなどの機械読み取り可能な記録媒体や、インターネットなどのネットワークを通して提供され、計算機(コンピュータ)等に読み込まれて実行されるものとしても良い。

＜第１の実施の形態の動作＞
次に、本発明の第１の実施の形態のテキストマイニング装置における動作について、図３のフローチャートに沿って説明する。

本発明の実施の形態におけるテキストマイニング装置の動作では、まず、予めデフォルト設定として準備された設定や、ユーザ操作入力装置７０を通して入力されたユーザの操作・指示に従って、
・言語処理部２０が実行する言語処理の設定や、
・信頼度利用特徴語計数部３０で実行する計数の補正手法、
・特徴度計算部４０で計算する特徴度の計算方法などの設定、さらに、
・テキストマイニング対象とする入力テキストの部分集合、
・テキストマイニングの処理手順
などの設定を行う(ステップＡ１)。

なお、図３では、このステップＡ１をテキストマイニング動作の最初の処理としたが、ユーザ操作入力装置７０を通して入力されたユーザの操作・指示に従って、動作の任意の時点で、そのとき装置が実行している処理の中断や、設定の変更を装置が行っても良い。

次に、信頼度つきテキスト入力装置に入力されたテキストを、入力テキストとして読み込み、言語処理部２０に渡す(ステップＡ２)。

この際、入力テキストに付与されている信頼度が正規化されていない場合には、信頼度が0以上1以下の正解確率を意味するよう正規化する。

テキストデータが入力されると、それに対して、形態素解析、係り受け解析、同義語処理、不要語処理等の言語処理を実行し、本実施形態のテキストマイニング装置で取り扱う特徴語の単位に変換・整形を行う。

さらに、入力テキストで付与された信頼度の割り振り単位と、言語処理部２０で変換・整形された特徴語との単位が異なる場合には、各特徴語の単位に１つの信頼度があるように、割り振りを変更する(ステップＡ３)。

つづいて、本実施形態で用いるテキストマイニング手法や、ステップＡ１で行われた設定に応じて、入力テキストの言語処理結果のマイニング処理対象とする部分集合に出現する特徴語の計数を、信頼度利用特徴語計数部３０にて推定する(ステップＡ４)。

特徴語の計数の推定が終わると、その結果を用いて、各特徴語の特徴度を計算する(ステップＡ５)。

最後に、各特徴語の特徴度計算結果をテキストマイニング結果として出力する。必要ならば、ステップＡ１で操作・指示されたテキストマイニング対象やテキストマイニング処理手順の設定に従って、出力の書式を変換しても良い(ステップＡ６)。

以上のような動作を行うことで、本発明の第１の実施の形態のテキストマイニング装置における動作全体の終了となる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。図４を参照すると、本発明の第２の実施の形態は、
マイニング対象のテキストデータを入力する信頼度つきテキスト入力装置(図４の１０)と、
入力された信頼度つきテキストデータの言語解析を行う言語処理部(図４の２０)と、
入力テキスト中の特徴語を計数し、入力テキストに付与された信頼度や統計情報を利用して、計数結果の確率分布を計算する信頼度利用特徴語計数分布計算部(図２の９０)と、
各特徴語の計数の従う確率分布から各特徴語の特徴度を計算する計数分布利用特徴度計算部(図４の１００)と、
得られた各特徴語の特徴度を出力するマイニング結果出力装置(図４の５０)と、
入力テキストを言語処理する際の設定や、求める特徴度の計算手法の設定などをユーザが入力するためのユーザ操作入力装置(図４の７０)と、
ユーザ操作入力装置から入力されたユーザの指示を各部に伝えるマイニング処理管理部(図４の６０)と、
想定される入力テキストの性質を示す統計情報を記録・保持する統計情報データベース(図４の８０)と、を備えている。

一般に、テキストマイニング技術においては、入力テキスト中の各特徴語の出現回数を計数する動作が必要になる。

しかし、入力テキストに誤りが含まれている場合、入力テキスト中の各特徴語を通常通り計数しても、本来の正解テキストで計数した場合に比べて、大きな誤差が生じることがあり得る。

例えば、誤り含み入力テキスト中のある特徴語 w を数えた結果、CR(w) = 10 であったとする。

しかし、実は正解テキストでは、w の出現回数 C(w) = 0 かも知れない。3回かも知れない、8回かも知れない、さらには20回が正解の可能性もある。

そこで、本発明の第２の実施の形態のテキストマイニング装置では、
・入力テキストからの計数結果 CR(w) と、
・入力テキストに付与された信頼度、または、入力テキストの性質を示す統計情報
を用いて、正解計数 C(w) の推定値 CG(w)を１つだけ計算し、
以後は、その計数の推定値 CG(w) を用いて、通常通り特徴度を計算することで、誤りの影響による特徴度の誤差を少なくする手法をとる。

各特徴語の計数の推定値 CG(w) を１つ求める手法としては、
各特徴語の計数結果を確率変数とみなして、平均値や、最頻値などの代表値を用いる例を挙げた。

一方、本発明の第２の実施の形態では、各特徴語の計数の推定値を１つだけ求める代わりに、信頼度利用特徴語計数分布計算部９０において、取りうる計数の値とその確率、すなわち計数の確率分布を求めて、計数分布利用特徴度計算部１００にて、求めた各特徴語の計数の確率分布から、各特徴度の推定値を求める。

本発明の第２の実施の形態は、前記第１の実施の形態に比べて、計算量は増大するが、特徴度の推定精度は向上する特性を持つ。

図４の信頼度利用特徴語計数分布計算部９０と、計数分布利用特徴度計算部１００以外のコンポーネントは、図１における同名のコンポーネントと基本的の同じ機能を持つ。よって、以下の説明では、前記第１の実施の形態と異なる部分についてのみ説明し、同一の機能については、重複を回避するため、適宜、省略する。

信頼度つきテキスト入力装置１０と、言語処理部２０は、本発明の第１の実施の形態と同一である。

＜信頼度利用特徴語計数分布計算部９０＞
信頼度利用特徴語計数分布計算部９０は、入力テキスト中のある特定の部分集合に対して、各特徴語がその部分集合のテキストに何回出現しているかの計数の確率分布を求めて、計数分布利用特徴度計算部１００に渡すコンポーネントである。

ここで、「入力テキスト中のある特定の部分集合」とは、本発明の実施の形態が用いるテキストマイニング手法や、ユーザ操作入力装置７０とマイニング処理管理部６０を通して入力されるユーザの設定などによって異なってくる。

計数の確率分布は、
・誤り含み入力テキストの実際の計数結果 CR(w) と、
・入力テキストに付与された信頼度、または、入力テキストの性質を示す統計情報と、
を用いて計算する。

例えば、正解テキスト中の特徴語w が、誤りによって脱落したり他の単語になってしまったりする確率が非常に低い場合、その定義から、CD(w) ≒ 0 となる。

よって、式(8) から、次式(21)が成立する。
C(w) ≒ CRc(w) …(21)

すなわち、入力テキストで計数した結果のうち、正解と考えられる回数が、正解テキストにおける計数結果となる。このとき、あるカテゴリーに属する入力テキスト中の、ある特徴語Aを計数するものとする。

通常の計数の結果、特徴語Aは、対象テキストに３回出現して、３回の信頼度はそれぞれ、1、 0.8、 0.4 であったとする。

可能な計数結果と、その確率を計算して、確率が最大になる計数結果が、このときの最頻値となるので、実際に計算すると、以下のような確率となる。

0回の確率 = (1 - 1) * (1 - 0.8) * (1 - 0.4) = 0

1回の確率 = 1 * (1 - 0.8) * (1 - 0.4) +
(1 - 1) * 0.8 * (1 - 0.4) + (1 - 1) * (1 - 0.8) * 0.4
= 0.12

2回の確率 = 1 * 0.8 * (1 - 0.4) + 1 * (1 - 0.8) * 0.4 +
(1 - 1) * 0.8 * 0.4
= 0.48 + 0.08 = 0.56

3回の確率 = 1 * 0.8 * 0.4 = 0.32

式(20)から、これが求めるC(A) の確率分布となる。

また、C(w)が０回の場合の確率、１回の場合の確率、２回の場合の確率…、のように各回数に対する確率を個々に求めなくても、統計情報として特徴語wの計数結果が従う確率分布や、CD(w) の従う確率分布が与えられている場合には、それを用いて、 C(w) の確率分布を計算しても良い。

例えば、「C(w) は CR(w)を平均とし、正解確率を0.8とする二項分布に従う」という統計情報がある場合には、実際に入力テキストからCR(w)を計数して、その結果を用いて、C(w)の確率分布を計算しても良い。

＜計数分布利用特徴度計算部１００＞
計数分布利用特徴度計算部１００は、信頼度利用特徴語計数分布計算部９０で求められた各特徴語の計数分布から、各特徴語の特徴度の分布を計算し、その結果から各特徴語に対して１つの特徴度を、特徴度の推定値として出力する。

一般に、テキストマイニングでは、各特徴語の特徴度は、１つ以上の計数結果を引数とする関数として定義される。

この特徴度関数では、必ずしも計数結果が唯一の引数ではない(他には文書数などが引数としてあり得る)が、他の引数は誤り含み入力テキストの誤りによって影響を受けないため、信頼度利用特徴語計数分布計算部９０で求めた、特徴度関数の計算に必要な特徴語の計数分布を特徴度関数に代入すれば、各特徴度の値とその確率、すなわち特徴度の確率分布が計算できる。

特徴度の確率分布を計算した後は、その結果から、予め定められた設定や、ユーザ操作入力装置７０で、ユーザに指示された設定に従って、各特徴語の特徴度の推定値として１つの代表値を選択し、出力する。

この代表値としては、特徴度の確率分布から、
・特徴度の期待値を用いる手法、
・特徴度の最頻値を用いる手法、
・特徴度の最小値を用いる手法、
・特徴度の最大値を用いる手法、
などがある。

また、この他にも、特徴度関数の確率分位点を用いる手法がある。ここで、確率分位点とは、累積確率値がある定められた確率値ｘ％を超える変数値のことを示す、統計学的な概念である。例えば、ある特徴度の計算結果で「90％確率分位点の特徴度が3である」とは「3という値が過小評価になっている確率が10％未満」であることを示す。特徴度を過小評価したくない場合(過小評価の可能性をある確率未満にしたい場合)などに有効である。

マイニング結果出力装置５０は、計数分布利用特徴度計算部１００で計算した各特徴語の特徴度をマイニング結果として出力する装置である。これ以外は、前記第１の実施の形態におけるマイニング結果出力装置５０と同一である。

マイニング処理管理部６０は、ユーザ操作入力装置７０を通して入力されたユーザの設定を受け取り、言語処理部２０、信頼度利用特徴語計数分布計算部９０、計数分布利用特徴度計算部１００が動作する際に、それぞれの設定を伝える。

また、ユーザ操作入力装置７０を通して、テキストマイニングの対象とするテキストや、テキストマイニング処理手順が入力された場合には、入力された操作に応じて、言語処理部２０、信頼度利用特徴語計数分布計算部９０、計数分布利用特徴度計算部１００の各コンポーネントを起動する。設定や起動先が異なる以外は、第１の実施の形態における同コンポーネントと同一である。

ユーザ操作入力装置７０は、
・言語処理部２０が実行する言語処理の設定や、
・信頼度利用特徴語計数分布計算部９０で実行する計数分布の計算手法、
・計数分布利用特徴度計算部１００で計算する特徴度の計算方法などの設定、さらに、
・テキストマイニング対象とする入力テキストの部分集合、
・テキストマイニングの処理手順
などの操作を、ユーザが入力するための装置である。

＜統計情報データベース８０＞
統計情報データベース８０は、そこに保管されている統計情報の送り先が、信頼度利用特徴語計数部３０から、信頼度利用特徴語計数分布計算部９０に替わった以外は、前記第１の実施の形態における統計情報データベース８０と同一である。

以上が、本発明の第２の実施の形態の構成である。

＜信頼度が付与されないテキストの処理＞
なお、本発明の第２の実施の形態においても、前記第１の実施の形態での場合と同様に、信頼度つきテキスト入力装置１０が、入力テキストの特殊なケースとして、まったく信頼度が付与されないテキストを受理することも可能である。その場合、信頼度利用特徴語計数分布計算部９０では、統計情報データベース８０に保管された入力テキストの誤り傾向の統計情報のみを利用して、各特徴語の計数分布を求める。

このような信頼度の付与されていないテキストを受け付けるためには、統計情報データベース８０に、各特徴語の計数結果の確率分布を求めるために必要な統計情報が保管されていなければならない。

例えば「各特徴語の正解計数結果C(w)は、各特徴語の入力テキストにおける計数結果CR(w) を平均とするポアソン分布に従う」といった特徴語が従う統計情報が分かっていれば、入力テキストの計数結果CR(w) から、計数の確率分布を計算できる。

＜プログラムによる実装＞
また、本発明の第２の実施の形態では、信頼度つきテキスト入力装置１０、言語処理部２０、信頼度利用特徴語計数分布計算部９０、計数分布利用特徴度計算部１００、マイニング結果出力装置５０、マイニング処理管理部６０、ユーザ操作入力装置７０、統計情報データベース８０は各部の機能を制御するプログラムとして、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクなどの機械読み取り可能な記録媒体や、インターネットなどのネットワークを通して提供され、計算機(コンピュータ)等に読み込まれて実行されるものとしても良い。

＜第２の実施の形態の動作＞
次に、本発明の第２の実施の形態のテキストマイニング装置における動作について、図５のフローチャートに沿って説明する。

本発明の実施の形態におけるテキストマイニング装置の動作では、まず、予めデフォルト設定として準備された設定や、ユーザ操作入力装置７０を通して入力されたユーザの操作・指示に従って、
・言語処理部２０が実行する言語処理の設定や、
・信頼度利用特徴語計数分布計算部９０で実行する計数の確率分布の計算手段、
・計数分布利用特徴度計算部１００で計算する特徴度の計算方法などの設定、
さらに、
・テキストマイニング対象とする入力テキストの部分集合、
・テキストマイニングの処理手順
などの設定を行う(ステップＢ１)。

なお、図５では、このステップＢ１を、テキストマイニング動作の最初の処理としたが、ユーザ操作入力装置７０を通して入力されたユーザの操作・指示に従って、動作の任意の時点で、そのとき装置が実行している処理の中断や、設定の変更を装置が行っても良い。

次に信頼度つきテキスト入力装置１０に入力されたテキストを、入力テキストとして読み込み、言語処理部２０に渡す(ステップＢ２)。

この際、入力テキストに付与されている信頼度が正規化されていない場合には、信頼度が0以上1以下の正解確率を意味するよう正規化する。

テキストデータが入力されると、それに対して、形態素解析、係り受け解析、同義語処理、不要語処理等の言語処理を実行し、本発明のテキストマイニング装置で取り扱う特徴語の単位に変換・整形を行う。

さらに、入力テキストで付与された信頼度の割り振り単位と、言語処理部２０で変換・整形された特徴語との単位が異なる場合には、各特徴語の単位に１つの信頼度があるように、割り振りを変更する(ステップＢ３)。

つづいて、本発明の実施の形態が用いるテキストマイニング手法や、ステップＢ１で行われた設定に応じて、入力テキストの言語処理結果のマイニング処理対象とする部分集合に出現する特徴語の計数の確率分布計算を信頼度利用特徴語計数分布計算部９０にて行う(ステップＢ４)。

特徴語の計数分布計算が終わると、その結果を用いて、各特徴語の特徴度の確率分布を計算し、その計算結果から、各特徴語の特徴度として出力する推定値を求める(ステップＢ５)。

最後に、各特徴語の特徴度計算結果をテキストマイニング結果として出力する。

必要ならば、ステップＢ１で操作・指示されたテキストマイニング対象やテキストマイニング処理手順の設定に従って、出力の書式を変換しても良い(ステップＢ６)。

以上のような動作を行うことで、本発明の第２の実施の形態のテキストマイニング装置における動作全体の終了となる。

本発明によれば、コンタクトセンターやコールセンターなどの業務における音声から、音声認識技術を使用して作成した信頼度つきテキストデータから、精度良く特徴語とその特徴度を計算できるテキストマイニング装置や、そのようなテキストマイニング装置をコンピュータに実現するためのプログラムといった用途に適用可能である。

また紙面上に記録されたテキストデータから、文字認識技術を用いて作成した信頼度つきテキストデータから、精度良く特徴単語の特徴度を計算するテキストマイニング装置や、そのようなテキストマイニング装置をコンピュータに実現するためのプログラムといった用途にも適用可能である。

以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

本発明の第１の実施の形態の構成を示す図である。 本発明を第１の実施の形態における、信頼度つき入力テキストの例を示す図である。 本発明の第１の実施の形態の動作を説明するためのフローチャートである。 本発明の第２の実施の形態の構成を示す図である。 本発明の第２の実施の形態の動作を説明するためのフローチャートである。

符号の説明

１０ 信頼度つきテキスト入力装置
２０ 言語処理部
３０ 信頼度利用特徴語計数部
４０ 特徴度計算部
５０ マイニング結果出力装置
６０ マイニング処理管理部
７０ ユーザ操作入力装置
８０ 統計情報データベース
９０ 信頼度利用特徴語計数分布計算部
１００ 計数分布利用特徴度計算部

Claims (35)

1. 入力テキストの特徴語毎の計数を行う際に、入力テキストの性質を示す統計情報を用いて計数結果を補正する特徴語計数部を備えたことを特徴とするテキストマイニング装置。
2. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度を用いて計数結果を補正する信頼度利用特徴語計数部を備えたことを特徴とするテキストマイニング装置。
3. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いて計数結果を補正する信頼度利用特徴語計数部を備えたことを特徴とするテキストマイニング装置。
4. 入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付けるテキスト入力装置をさらに備えたことを特徴とする請求項１乃至３のいずれか一に記載のテキストマイニング装置。
5. 前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する特徴語計数分布計算部と、
   前記特徴語計数分布計算部が計算した計数の確率分布を用いて各特徴語の特徴度を計算し、テキストマイニング結果とする計数分布利用特徴度計算部と、
   を備えたことを特徴とするテキストマイニング装置。
6. 前記特徴語計数分布計算部は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストの性質を示す統計情報を用いることを特徴とする請求項５に記載のテキストマイニング装置。
7. 前記特徴語計数分布計算部は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度を用いることを特徴とする請求項５に記載のテキストマイニング装置。
8. 前記特徴語計数分布計算部は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いることを特徴とする請求項５に記載のテキストマイニング装置。
9. 入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付けるテキスト入力装置をさらに備えたことを特徴とする請求項５乃至８のいずれか一に記載のテキストマイニング装置。
10. 音声認識手段または文字認識手段によって認識された、誤り含みテキストを、前記入力テキストとして受け付けることを特徴とする請求項１乃至９のいずれか一に記載のテキストマイニング装置。
11. 入力テキストの特徴語毎の計数を行う際に、入力テキストの性質を示す統計情報を用いて計数結果を補正する工程を含むことを特徴とするテキストマイニング方法。
12. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度を用いて計数結果を補正する工程を含むことを特徴とするテキストマイニング方法。
13. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報とを用いて、計数結果を補正する工程を含むことを特徴とするテキストマイニング方法。
14. 入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付ける工程を含むことを特徴とする請求項１１乃至１３のいずれか一に記載のテキストマイニング方法。
15. 前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する工程と、
    前記特徴語の計数が従う確率分布を用いて、各特徴語の特徴度を計算し、テキストマイニング結果とする工程と、
    を含むことを特徴とするテキストマイニング方法。
16. 前記特徴語の計数が従う確率分布を計算する工程は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、
    前記入力テキストの性質を示す統計情報を用いることを特徴とする請求項１５に記載のテキストマイニング方法。
17. 前記特徴語の計数が従う確率分布を計算する工程は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度を用いることを特徴とする請求項１５に記載のテキストマイニング方法。
18. 前記特徴語の計数が従う確率分布を計算する工程は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いることを特徴とする請求項１５に記載のテキストマイニング方法。
19. 前記入力テキストの一部ないし全部が、複数の候補文字列から構成される入力テキストを入力として受け付ける工程をさらに含むことを特徴とする請求項１５乃至１８のいずれか一に記載のテキストマイニング方法。
20. 音声認識手段または文字認識手段によって認識された、誤り含みテキストを、前記入力テキストとして受け付ける工程を含むことを特徴とする請求項１１乃至１９のいずれか一に記載のテキストマイニング方法。
21. 入力テキストの特徴語毎の計数を行う際に、入力テキストの性質を示す統計情報を用いて計数結果を補正する処理を、コンピュータに実行させるプログラム。
22. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度を用いて計数結果を補正する処理を、コンピュータに実行させるプログラム。
23. 入力テキストの特徴語毎の計数を行う際に、入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報とを用いて、計数結果を補正する処理を、コンピュータに実行させるプログラム。
24. 入力テキストの一部又は全部が複数の候補文字列から構成される入力テキストを入力として受け付ける処理をさらに含むことを特徴とする請求項２１乃至２３のいずれか一に記載のプログラム。
25. 前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する処理と、
    前記特徴語の計数が従う確率分布を用いて、各特徴語の特徴度を計算し、テキストマイニング結果とする処理と、
    を、コンピュータに実行させるプログラム。
26. 前記特徴語の計数が従う確率分布を計算する処理は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、
    前記入力テキストの性質を示す統計情報を用いることを特徴とする請求項２５に記載のプログラム。
27. 前記特徴語の計数が従う確率分布を計算する処理は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度を用いることを特徴とする請求項２５に記載のプログラム。
28. 前記特徴語の計数が従う確率分布を計算する処理は、前記入力テキストに含まれる特徴語の計数が従う確率分布を計算する際に、前記入力テキストに付与された信頼度と、入力テキストの性質を示す統計情報と、を用いることを特徴とする請求項２５に記載のプログラム。
29. 前記入力テキストの一部ないし全部が、複数の候補文字列から構成される入力テキストを入力として受け付ける処理をさらに含むことを特徴とする請求項２５乃至２８のいずれか一に記載のプログラム。
30. 音声認識手段または文字認識手段によって認識された、誤り含みテキストを、前記入力テキストとして受け付ける処理を含むことを特徴とする請求項２１乃至２９のいずれか一に記載のプログラム。
31. テキスト入力装置から入力されたテキストデータの言語解析を行い、特徴語の単位に変換・整形を行う言語処理部と、
    入力テキスト中の特徴語を計数し、入力テキストに付与された信頼度、及び／又は、入力テキストの性質を示す統計情報を利用して、特徴語の出現回数の推定値を取得する信頼度利用特徴語計数部と、
    をさらに備え、
    前記特徴度計算部は、信頼度利用特徴語計数部で求められた特徴語の出現回数の推定値から、各特徴語の特徴度を計算する、ことを特徴とする請求項１記載のテキストマイニング装置。
32. テキスト入力装置から入力されたテキストデータの言語解析を行い、特徴語の単位に変換・整形を行う言語処理部と、
    をさらに備え、
    前記特徴語計数分布計算部は、入力テキスト中の特徴語を計数し、入力テキストに付与された信頼度、及び／又は、入力テキストの性質を示す統計情報を利用して、計数結果の確率分布を計算し、
    前記計数分布利用特徴度計算部は、前記特徴語計数分布計算部で求めた各特徴語の計数の確率分布から、各特徴度の推定値を求める、ことを特徴とする請求項５記載のテキストマイニング装置。
33. 想定される入力テキストの性質を示す統計情報を記録・保持する統計情報データベースを備え、
    前記信頼度利用特徴語計数部は、信頼度が全く付与されていない入力テキストに対して、前記特徴情報データベースに保管された入力テキストの所定の統計情報を利用して、各特徴語の計数の推定値を求める、ことを特徴とする請求項３１記載のテキストマイニング装置。
34. 想定される入力テキストの性質を示す統計情報を記録・保持する統計情報データベースを備え、
    前記特徴語計数分布計算部は、信頼度が全く付与されていない入力テキストに対して、前記特徴情報データベースに保管された入力テキストの所定の統計情報を利用して、各特徴語の計数分布を求める、ことを特徴とする請求項３２記載のテキストマイニング装置。
35. 得られた各特徴語の特徴度を出力するマイニング結果出力装置と、
    入力テキストを言語処理する際の設定、求める特徴度の計算手法の設定を含むユーザの指示情報を入力するためのユーザ操作入力装置と、
    前記ユーザ操作入力装置から入力された指示を、各部に伝えるマイニング処理管理部と、を備えている、ことを特徴とする請求項３１又は３２記載のテキストマイニング装置。

Images