JP4118571B2 - Document search apparatus, document search method, and recording medium - Google Patents
Document search apparatus, document search method, and recording medium Download PDFInfo
- Publication number
- JP4118571B2 JP4118571B2 JP2002038931A JP2002038931A JP4118571B2 JP 4118571 B2 JP4118571 B2 JP 4118571B2 JP 2002038931 A JP2002038931 A JP 2002038931A JP 2002038931 A JP2002038931 A JP 2002038931A JP 4118571 B2 JP4118571 B2 JP 4118571B2
- Authority
- JP
- Japan
- Prior art keywords
- ranking
- search
- document
- group
- search word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、文書群から指定された検索語群が出現する文書を検索して順序付けする文書検索装置、文書検索方法、プログラムおよび記録媒体に関するものである。
【0002】
【従来の技術】
従来、検索条件に指定された複数の単語(検索語:キーワード)により当該文書を検索する場合に、検索条件に対して文書群中の各文書がその検索条件を満たす度合い(以下、適合度とも呼ぶ)を求め、適合度が大きい順に文書を順序付け(以下、ランキングともいう)して出力する文書検索装置が種々提案されている(特開2000-322416号公報、特開平10‐49549号公報)。
【0003】
この種の文書検索装置において、検索要求は検索語群{Ti}で表現され、文書Dと検索要求との適合度は文書Dに対し、各検索語Tiごとに求めたスコアの和などで定義される場合が多い。ここで、スコアとは文書Dの重要度を示す数値であり、文書Dと検索条件との間に所定の基準を設けて数値化されたものである。なお、この数値化には、検索対象の文章や単語によって重み付けすることも含まれる。
【0004】
このような文書検索の結果を出力する場合には、前述の検索要求に対し、検索された文書群中の各文書の適合度に応じてランキングがなされ、文書ランキングの品質は、平均適合率(AVP)などで評価される。ここで、平均適合率とは、ランキングの上位r個の文書群に含まれる適合文書(検索要求を満たす文書)の割合をr=1、2、・・・N に対して求め、それらN個の値を平均したものである。
【0005】
さらに、高い品質の文書ランキングを得るための一つの方法として、擬似適合性フィードバック法(pseudo-relevance feedback method)がある。この擬似適合性フィードバック法では、検索要求を表現する検索語群(初期検索語群)を用いて検索(初期検索)を行い、その検索結果の上位にランクされた文書群(シード文書群)に含まれる新たな検索語(拡張語群)を生成する。そして、初期検索語群と拡張語群との両方を用いて検索(拡張検索)した結果を最終的な出力とする。
【0006】
一方、関連語検索と呼ばれる機能が従来から提案されている。ここで、関連語検索とは、与えられた検索語群に関連する別の検索語(関連語)群を求めることである。例えば、「ヒステリシス」という検索語に対して、「誘電率」や「分極」などの関連語群を求める。このような関連語検索は、検索者が与えた検索語群に対して、新たな別の検索語群を検索者に提示するなど、文書検索支援のために用いられることが多い。また、関連語検索は擬似適合性フィードバック法に類似する方法で実現可能である。すなわち、拡張語群を関連語群として出力すればよい。
【0007】
【発明が解決しようとする課題】
しかし、このような従来の文書検索装置では、擬似適合性フィードバック法を用いる場合に、初期検索語群により拡張語群を生成し、この両方を用いて拡張検索しているために、与えられた検索要求(初期検索語群)が適切でないと、初期検索結果の品質は低く、シード文書から得られた拡張語は、当該検索要求とは無関係な場合が多くなり、拡張検索結果の品質低下につながるという問題があった。また、擬似適合性フィードバック法を用いる場合に、検索要求の品質は検索者によって決定され、かつ、文書検索装置がその品質の良否を評価するのは非常に困難であるために、拡張検索によって、初期検索結果より劣った品質の検索結果が得られるおそれがあるという問題があった。さらに、関連語検索を擬似適合性フィードバック法に類する方法で実現する場合に、得られた拡張語群は言わば最終目的とする関連語群の候補として扱われるが、関連語の品質評価によって前述の候補から適切なもののみを選択することは容易でないという問題があった。
【0008】
本発明は、このような問題を解決するためになされたもので、検索要求の品質に拘らず、文書ランキングの品質劣化を抑えることが可能な文書検索装置、文書検索方法、プログラムおよび記録媒体を提供するものである。
【0009】
【課題を解決するための手段】
本発明の請求項1に係る文書検索装置は、ランキング検索対象の文書群を記憶している文書記憶手段と、ランキング検索に用いる第1の検索語群を記憶している検索語記憶手段と、前記文書記憶手段に記憶された文書群から、前記検索語記憶手段に記憶された第1の検索語群が出現する文書をランキング検索して第1のランキングを取得し、前記第1のランキングに含まれる文書群から第2の検索語群を生成し、前記予め記憶された文書群から前記第1の検索語群および第2の検索語群が出現する文書をランキング検索して第2のランキングを取得し、前記第1のランキングにより前記第2のランキングを調整して第3のランキングを取得するランキング取得手段とを設けた構成を有している。
【0010】
この構成により、初期検索語群が出現する文書のランキング(第1のランキング)を求め、この第1のランキングに含まれる文書群から拡張語群を生成し、初期検索語群と拡張語群が出現する文書のランキング(第2のランキング)を求め、第1および第2のランキングを基に第2のランキングを調整するので、初期検索語群による検索要求の品質が低い場合においても、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できることとなる。なお、一般に擬似適合フィードバック法においては、初期検索ではランキングの特に上位部分の品質がよいように、拡張検索はランキングの全体での品質がよいように、ランキング検索で用いるパラメータなどを調整している。よって、前述の第1のランキングにより第2のランキングを調整することで両者がマージされ、上位部分での品質がよく、かつ全体での品質もよい結果が得られることとなる。
【0011】
また、本発明の請求項2に係る文書検索方法は、文書記憶手段と、検索語記憶手段と、ランキング取得手段と、の作動による文書検索方法であって、前記文書記憶手段は、ランキング検索対象の文書群を記憶し、前記検索語記憶手段は、ランキング検索に用いる第1の検索語群を記憶し、前記ランキング取得手段は、前記文書記憶手段に記憶された文書群から、前記検索語記憶手段に記憶された第1の検索語群が出現する文書をランキング検索して第1のランキングを取得し、前記第1のランキングに含まれる文書群から第2の検索語群を生成し、前記文書記憶手段に記憶された文書群から前記第1の検索語群および第2の検索語群が出現する文書をランキング検索して第2のランキングを取得し、前記第1のランキングにより前記第2のランキングを調整して第3のランキングを取得している。
【0012】
この方法により、初期検索語群を用いて取得された第1のランキングと、初期検索語群および拡張語群を用いて取得された第2のランキングとから新たなランキング(第3のランキング)を取得するステップを有するので、前述のように初期検索語群による検索要求の品質が低い場合においても、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できることとなる。
【0013】
さらに、本発明の請求項3に係る記録媒体は、コンピュータに、予め記憶された文書群から、予め設定された第1の検索語群が出現する文書をランキング検索し、第1のランキングを取得する第1のステップと、前記第1のランキングに含まれる文書群から第2の検索語群を生成する第2のステップと、前記予め記憶された文書群から前記第1の検索語群および第2の検索語群が出現する文書をランキング検索し、第2のランキングを取得する第3のステップと、前記第1のランキングにより前記第2のランキングを調整して第3のランキングを取得する第4のステップとを実行させるためのプログラムを記録した構成を有している。
【0014】
この構成により、初期検索語群を用いて取得された第1のランキングと、初期検索語群および拡張語群を用いて取得された第2のランキングとから新たなランキング(第3のランキング)を取得するプログラムを容易に取得し、前述のように初期検索語群による検索要求の品質が低い場合においても、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できることとなる。
【0015】
また、本発明の請求項4に係るプログラムは、コンピュータに、ランキング取得手段が文書記憶手段に記憶された文書群から、検索語記憶手段に記憶された第1の検索語群が出現する文書をランキング検索し、第1のランキングを取得する第1のステップと、前記ランキング取得手段が前記第1のランキングに含まれる文書群から第2の検索語群を生成する第2のステップと、前記ランキング取得手段が前記文書記憶手段に記憶された文書群から前記第1の検索語群および第2の検索語群が出現する文書をランキング検索し、第2のランキングを取得する第3のステップと、前記ランキング取得手段が前記第1のランキングにより前記第2のランキングを調整して第3のランキングを取得する第4のステップと、を実行させるためのものである。
参考として、本発明の文書検索装置は、ランキング検索対象の文書群を記憶している文書記憶手段と、ランキング検索に用いる第1の検索語群を記憶している検索語記憶手段と、前記文書記憶手段に記憶された文書群から、前記検索語記憶手段に記憶された第1の検索語群が出現する文書をランキング検索して第1のランキングを取得し、前記第1のランキングに含まれる文書群から前記第1の検索語群に関連する関連語群を生成し、前記文書記憶手段に記憶された文書群から前記関連語群に含まれる関連語が出現する文書をランキング検索して第2のランキングを取得し、前記第1のランキングおよび前記第2のランキングにより前記関連語群に含まれる各関連語を評価する関連語評価手段と、を設けた構成を有している。
【0016】
この構成により、擬似適合性フィードバック法に類する方法による関連語検索において、初期検索語群を用いて取得された第1のランキングと、関連語群を用いて取得された第2のランキングとから、例えば初期検索結果を用いた平均適合率AVPの計算などにより関連語ごとの評価を行うので、関連語の品質を適切に評価できることとなる。
【0017】
参考として、本発明の文書検索方法は、予め記憶された文書群から、予め設定された第1の検索語群が出現する文書をランキング検索し、第1のランキングを取得する第1のステップと、前記第1のランキングに含まれる文書群から前記第1の検索語群に関連する関連語群を生成する第2のステップと、前記予め記憶された文書群から、前記関連語群に含まれる関連語が出現する文書をランキング検索し、第2のランキングを取得する第3のステップと、前記第1のランキングおよび前記第2のランキングにより前記関連語群に含まれる各関連語を評価する第4のステップと、を有している。
【0018】
この方法により、前述のように初期検索語群を用いて取得された第1のランキングと、関連語群を用いて取得された第2のランキングとから各関連語を評価するステップを有するので、擬似適合性フィードバック法に類する方法による関連語検索において、関連語の品質を適切に評価できることとなる。
【0019】
参考として、本発明の記録媒体は、コンピュータに、予め記憶された文書群から、予め設定された第1の検索語群が出現する文書をランキング検索し、第1のランキングを取得する第1のステップと、前記第1のランキングに含まれる文書群から前記第1の検索語群に関連する関連語群を生成する第2のステップと、前記予め記憶された文書群から、前記関連語群に含まれる関連語が出現する文書をランキング検索し、第2のランキングを取得する第3のステップと、前記第1のランキングおよび前記第2のランキングにより前記関連語群に含まれる各関連語を評価する第4のステップと、を実行させるためのプログラムを記録した構成を有している。
【0020】
この構成により、前述のように初期検索語群を用いて取得された第1のランキングと、関連語群を用いて取得された第2のランキングとから各関連語を評価するプログラムを容易に取得し、擬似適合性フィードバック法に類する方法による関連語検索において、関連語の品質を適切に評価できることとなる。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る文書検索装置のハードウェア構成を示す。
図1において、文書検索装置100には、装置全体を制御するCPU22と、このCPU22の制御によって各種機能を実現するためのプログラムや必要データを記憶するためのROM、RAMなどで構成されているメモリ3と、検索対象文書や検索条件、検索結果などを記憶するためのハードディスク4と、キーボードやマウスなどのポインティングデバイスで必要な指示やデータを入力するための入力部5と、CRTや液晶ディスプレイなどで構成された出力部6と、フレキシブルディスクに対するデータの書き込み(更新)および読み出しを行うフレキシブルディスクドライブ7と、コンパクトディスク・リードオンリー・メモリ(CD‐ROM)からデータの読み出しを行うCD‐ROMドライブ8とを備え、各部3乃至8、22はバス9によって接続されている。
【0022】
図2は、本発明の第1の実施形態に係る文書検索装置の機能構成を示す。
図2において、文書記憶部14は、検索対象の文書とこの文書に付与された文書番号とを含む属性群を記憶するものであり、この機能はハードディスク4などによって実現される。検索語バッファ11は、入力部5により入力された検索語群を記憶するものであり、この機能はハードディスク4などによって実現される。索引部15は、文書記憶部14に記憶された文書のうち、入力部5により入力された索引語が出現する文書に関し、その文書番号を含む属性群を前記索引語ごとに記憶するものであり、この機能はハードディスク4などによって実現される。検索部13は、入力部5により入力された検索語群に対し、文書記憶部14に記憶された文書のうち、前記検索語群が出現する文書に関し、この文書の文書番号とスコアの組を求め、この文書番号とスコアの組を要素とするリストを生成するものであり、この機能はCPU22、メモリ3などによって実現される。ランキングバッファ1およびランキングバッファ2は、検索部13によって生成された文書番号とスコアの組のリストを記憶するものであり、この機能はハードディスク4などによって実現される。
【0023】
制御部12は、検索部13を用いて、検索語バッファ11に記憶された検索語群により、文書記憶部14に記憶されている文書群を対象としてランキング検索を行い、前記検索語群が出現する文書の文書番号とスコアの組のリストを求めさせ、このリストをランキングバッファ1に格納し、ランキングバッファ1に記憶されたリストの要素を構成する文書番号により、この文書番号に対応する文書を文書記憶部14から取得させ、取得された文書群から新たな検索語群を生成させ、この新たな検索語群と検索語バッファ11に記憶された検索語群と併せてさらに新たな検索語群を構成し、このさらに新たな検索語群により、検索部13を用いて文書番号とスコアの組のリストを求めさせ、ランキングバッファ2に格納し、ランキングバッファ1に記憶されたリストにより、ランキングバッファ2に記憶されたリストを調整し、出力部6により調整後のリストを出力させるものであり、この機能はCPU22、メモリ3などによって実現される。
【0024】
次に、図3を参照しながら本実施形態に係る文書検索方法を説明する。
制御部12は、検索語バッファ11に記憶された検索語群(初期検索語群)を取得し(ステップS101)、検索部13により、前記初期検索語群を用いて文書ランキング検索を実行させ、初期検索結果として文書番号とスコアの組を要素とするリストを取得し、得られたランキング(第1のランキング:初期検索結果)R1をランキングバッファ1に格納する(ステップS102)。
【0025】
次いで、制御部12はランキングバッファ1に格納されたランキングをスコア順にソートして、上位n個の文書番号群を取得し、この文書番号群の各文書番号に対応する文書(シード文書)を文書記憶部14から一つずつ取得し、各シード文書から検索語群(拡張語群)を生成する(ステップS103)。すなわち、シード文書を単語に分割し、単語の文書頻度を求める。ここで、単語wの文書頻度とは、単語wが出現するシード文書数である。そして、文書頻度で単語群を順位づけし、所望の数だけ上位から単語を選択し、検索語(拡張語)とする。
【0026】
次いで、検索部13により、前記初期検索語と前記拡張語を用いて文書ランキング検索を実行させ、拡張検索結果として文書番号とスコアの組を要素とするリストを取得し、得られたランキング(第2のランキング:拡張検索結果)R2をランキングバッファ2に格納する(ステップS104)。
【0027】
次いで、制御部12はランキングバッファ1に格納されているランキングR1とランキングバッファ2に格納されているランキングR2とから、新たなランキング(第3のランキング)R3を取得する(ステップS105)。この作業はランキングバッファ2を用いて実行される。具体的には、ランキングR1およびランキングR2をそれぞれスコア順にソートする。次いで、ランキングR2から順に要素eを取り出し、以下の処理を施す。まず、取り出された要素eがランキングR1の上位r1番目の要素であり、かつランキングR2の上位r2番目の要素である場合に、スコアS(e)を次式(1)により求める。
S(e)=α×r1+(1−α)×r2・・・(1)
但し、αは0以上1以下の定数であり、ランキング間の混成パラメータである。
【0028】
次いで、ランキングR2における要素eのスコアをS(e)に置き換え、ランキングR2を前述の新たなスコアが小さい順にソートする。こうして新たなランキングR3を取得する。こうして取得された新たなランキングR3について、出力部6はランキングバッファ2に記憶された文書番号または文書番号とスコアを出力する(ステップS106)。
【0029】
なお、前述のように検索部13により文書ランキング検索を行う場合に、検索部13は、索引部15に記憶された内容を用い、制御部12から与えられた検索語T(前述の初期検索語、あるいは初期検索語および拡張語)が出現する出現文書Dの文書番号とスコアS(T,D)を求める。このスコアS(T,D)は、文書Dにおける検索語Tの出現頻度Tf(文書Dについて、検索語Tが出現する回数)と、検索語Tのコレクションに対する文書頻度Df(検索語Tについて、この検索語Tを含む文書Dが出現する回数)とにより、Tf/Dfとして与えられる数値である。
【0030】
以上のように、本発明の第1の実施形態に係る文書検索装置100は、文書記憶部14に複数記憶された文書から、検索語バッファ11に記憶された初期検索語群が出現する文書をランキング検索して第1のランキングを取得し、この第1のランキングに含まれる文書群から拡張語群を生成し、初期検索語群および拡張語群が出現する文書をランキング検索して第2のランキングを取得し、第1のランキングにより第2のランキングを調整して新たな第3のランキングを取得する制御部12を設けているので、初期検索語群による検索要求の品質が低い場合においても、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できる。
【0031】
また、本発明の第1の実施形態に係る文書検索方法は、予め複数記憶された文書から、予め設定された初期検索語群が出現する文書をランキング検索し、第1のランキングを取得するステップS102と、第1のランキングに含まれる文書群から拡張語群を生成するステップS103と、前記複数記憶された文書から初期検索語群および拡張語群が出現する文書をランキング検索し、第2のランキングを取得するステップS104と、第1のランキングにより第2のランキングを調整して第3のランキングを取得するステップS105とを有しているので、初期検索語群による検索要求の品質が低い場合においても、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できる。
【0032】
なお、第1の実施形態では前述の文書検索方法を実現するためのプログラムを制御部12のメモリ3に記憶した場合について説明したが、本発明はメモリ3のほかに、前述の文書検索方法を実現するためのプログラムが記録され、コンピュータで読み取り可能な記録媒体(CD‐ROM、FD、光磁気ディスク(MO)、ミニディスク(MD)、書き換え可能なシーディーロム(CD−RW)を含む)を文書検索装置100に取り付け、この記録媒体をCD‐ROMドライブ8などで読み取って前記プログラムを実行しても同様の効果が得られるものである。この構成により、前記記録媒体を移動および交換することで、前記プログラムを容易に更新できる。
【0033】
さらに、第1の実施形態では前述の文書検索方法を実現するためのプログラムを制御部12のメモリ3に記憶した場合について説明したが、本発明はこのほかに、ネットワークインタフェースおよび通信手段を文書検索装置100に設け、LANなどのネットワーク上の外部装置から前記プログラムを制御部12にダウンロードして実行しても同様の効果が得られるものである。この方法により、前記プログラムの更新がネットワークを介して容易に行える。
【0034】
[第2の実施形態]
本発明の第2の実施形態に係る文書検索装置のハードウェア構成は、第1の実施形態と概ね同様であるために、図1を用いると共に同一構成には同一符号を付与して説明を省略する。また、本実施形態に係る機能構成は、関連語バッファ16を除き、第1の実施形態と概ね同様であるために、同一構成には同一符号を付与して説明を省略する。
【0035】
図4は本発明の第2の実施形態に係る文書検索装置の機能構成を示す。これは第1の実施形態とは、さらに関連語バッファ16を設け、初期検索語群が出現する文書をランキング検索して第1のランキングを取得し、この第1のランキングに含まれる文書群から関連語群を生成し、この関連語群に含まれる関連語が出現する文書をランキング検索して関連語ごとに第2のランキング2を取得し、第1および第2のランキングにより各関連語を評価し、評価値に応じて関連語を関連語バッファ16に記憶する点が相違している。
【0036】
図4において、制御部12は、検索語バッファ11に記憶された検索語群について、検索部13によりランキング検索を実行させ、前記検索語が出現する文書の文書番号とスコアの組のリストを求めさせてランキングバッファ1に格納し、ランキングバッファ1に記憶された前記リストの要素を構成する文書番号により、この文書番号に対応する文書を文書記憶部14から取得し、取得された文書群から前記検索語群に関連する関連語群を生成し、検索部13により、前記関連語群を構成する関連語ごとにランキング検索を実行させ、この関連語が出現する文書の文書番号とスコアの組のリストを求めさせてランキングバッファ2に格納し、ランキングバッファ1とランキングバッファ2に格納された前記リストにより、前記関連語の評価を行い、その評価結果に応じて前記関連語を関連語バッファ16に格納し、出力部6により関連語群を出力させるものであって、この機能はCPU22、メモリ3などによって実現される。関連語バッファ16は、評価後の関連語群を記憶するものであり、この機能はハードディスク4などによって実現される。
【0037】
次に、図5を参照しながら本実施形態に係る文書検索方法を説明する。
制御部12は、検索語バッファ11に記憶された検索語群(初期検索語)を取得し(ステップS201)、検索部13により前記初期検索語を用いて文書ランキング検索を実行させ、前記初期検索語が出現する文書の文書番号とスコアの組を要素とするリストを取得し、取得されたランキング(第1のランキング)をランキングバッファ1に格納する(ステップS202)。
【0038】
次いで、ランキングバッファ1に格納されたランキングをスコア順にソートし、上位n個の文書番号群を取得し、各文書番号に対応する文書(シード文書)を文書記憶部14から一つずつ取得し、各シード文書から検索語群(ここでは、関連語の候補群を示す)を生成する(ステップS203)。すなわち、シード文書を単語に分割し、単語の文書頻度を求める。ここで、単語wの文書頻度とは、単語wが出現するシード文書数である。さらに、前述の文書頻度で単語群を順位づけし、所望の数だけ上位から単語wを選択し、関連語候補とする。
【0039】
次いで、前述の関連語候補群から一つずつ関連語を取り出し、次の条件を満たす場合に関連語バッファ16に格納する(ステップS204〜S207)。すなわち、まずランキングバッファ1のランキングをスコア順にソートし、上位x個を初期検索語に対する適合文書の集合Rとみなす。次いで、前述の関連語候補群から取り出された関連語候補cを検索語として文書ランキング(第2のランキング)Cを得て、さらに前記適合文書の集合Rを用いて文書ランキングCの平均適合率(AVP)を求める。この平均適合率が予め定められたしきい値を超える場合に関連語候補cを関連語バッファ16に格納する。こうして全ての関連語候補cについての評価が終了すると(ステップS208)、出力部6により関連語バッファ16に格納された関連語群を出力させる(ステップS209)。
【0040】
以上のように、本発明の第2の実施形態に係る文書検索装置100は、文書記憶部14に複数記憶された文書から、検索語バッファ11に記憶された初期検索語群が出現する文書をランキング検索して第1のランキングを取得し、この第1のランキングに含まれる文書群から前記初期検索語群に関連する関連語の候補群を生成し、前記複数記憶された文書から前記関連語の候補群に含まれる候補が出現する文書をランキング検索して第2のランキングを取得し、第1および第2のランキングにより前記関連語の候補群に含まれる各候補を評価する制御部12を設けているので、例えば初期検索結果を用いた平均適合率AVPの計算により関連語(ここでは、関連語の候補)ごとの品質評価を適切に行うことができる。
【0041】
また、本発明の第2の実施形態に係る文書検索方法は、予め複数記憶された文書から、予め設定された初期検索語群が出現する文書をランキング検索し、第1のランキングを取得するステップS202と、第1のランキングに含まれる文書群から前記初期検索語群に関連する関連語の候補群を生成するステップS203と、前記複数記憶された文書から、前記関連語の候補群に含まれる候補が出現する文書をランキング検索し、第2のランキングを取得するステップS204と、第1および第2のランキングにより前記関連語の候補群に含まれる各候補を評価するステップS205、S206とを有しているので、前述のように関連語(ここでは、関連語の候補)ごとの品質評価を適切に行うことができる。
【0042】
なお、第2の実施形態では前述の文書検索方法を実現するためのプログラムを制御部12のメモリ3に記憶した場合について説明したが、本発明はメモリ3のほかに、前述の文書検索方法を実現するためのプログラムが記録され、コンピュータで読み取り可能な記録媒体(CD‐ROM、FD、光磁気ディスク(MO)、ミニディスク(MD)、書き換え可能なシーディーロム(CD‐RW)を含む)を文書検索装置100に取り付け、この記録媒体をCD‐ROMドライブ8などで読み取って前記プログラムを実行しても同様の効果が得られるものである。この構成により、前記記録媒体を移動および交換することで、前記プログラムを容易に更新できる。
【0043】
さらに、第2の実施形態では前述の文書検索方法を実現するためのプログラムを制御部12のメモリ3に記憶した場合について説明したが、本発明はこのほかに、ネットワークインタフェースおよび通信手段を文書検索装置100に設け、LANなどのネットワーク上の外部装置から前記プログラムを制御部12にダウンロードして実行しても同様の効果が得られるものである。この方法により、前記プログラムの更新がネットワークを介して容易に行える。
【0044】
【発明の効果】
以上説明したように、本発明は初期検索語群を用いて取得された第1のランキングと、初期検索語群および拡張語群を用いて取得された第2のランキングとから新たな第3のランキングを取得することにより、検索要求の品質が低い場合にも、従来に比べ品質劣化が少ない擬似適合性フィードバック法を実現できるという優れた効果を有する文書検索装置、文書検索方法、プログラムおよび記録媒体を提供することができるものである。
【0045】
また、本発明は擬似適合性フィードバック法に類する方法による関連語検索において、初期検索語群を用いて取得された第1のランキングと、関連語群(関連語の候補群)を用いて取得された第2のランキングとから関連語(関連語の候補)ごとの評価を行うことにより、関連語の品質を適切に評価できるという優れた効果を有する文書検索装置、文書検索方法および記録媒体を提供することができるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る文書検索装置のハードウェア構成を示すブロック図である。
【図2】本発明の第1の実施形態に係る文書検索装置の機能構成を示すブロック図である。
【図3】本発明の第1の実施形態に係る文書検索方法を示すフローチャートである。
【図4】本発明の第2の実施形態に係る文書検索装置の機能構成を示すブロック図である。
【図5】本発明の第2の実施形態に係る文書検索方法を示すフローチャートである。
【符号の説明】
1、2 ランキングバッファ
3 メモリ
4 ハードディスク
5 入力部
6 出力部
7 FDD
8 CD‐ROMドライブ
9 バス
11 検索語バッファ(検索語記憶手段)
12 制御部(ランキング取得手段、関連語評価手段)
13 検索部
14 文書記憶部(文書記憶手段)
15 索引部
16 関連語バッファ
22 CPU
100 文書検索装置(コンピュータ)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a document search apparatus and a document search method for searching and ordering documents in which a specified search term group appears from a document group.,programAnd a recording medium.
[0002]
[Prior art]
Conventionally, when a document is searched using a plurality of words (search words: keywords) specified in the search condition, the degree to which each document in the document group satisfies the search condition with respect to the search condition (hereinafter referred to as “goodness of fit”). Various document search apparatuses have been proposed (Japanese Patent Laid-Open No. 2000-322416, Japanese Patent Laid-Open No. 10-49549). .
[0003]
In this type of document search apparatus, the search request is expressed by a search word group {Ti}, and the degree of matching between the document D and the search request is defined by the sum of the scores obtained for each search word Ti with respect to the document D. Often done. Here, the score is a numerical value indicating the importance of the document D, and is a numerical value obtained by setting a predetermined standard between the document D and the search condition. Note that the digitization includes weighting by a sentence or a word to be searched.
[0004]
When outputting the result of such a document search, ranking is performed according to the degree of relevance of each document in the retrieved document group in response to the above-described search request, and the quality of the document ranking is determined by the average relevance ratio ( AVP). Here, the average relevance ratio is a ratio of conforming documents (documents satisfying the search request) included in the top r document groups in the ranking with respect to r = 1, 2,. Is the average of the values.
[0005]
In addition, one method for obtaining high quality document ranking is the pseudo-relevance feedback method. In this pseudo relevance feedback method, a search (initial search) using a search word group (initial search word group) expressing a search request is performed, and a document group (seed document group) ranked higher in the search result is used. A new search term (extended word group) included is generated. Then, a search result (extended search) using both the initial search word group and the extended word group is used as a final output.
[0006]
On the other hand, a function called related word search has been proposed. Here, the related word search is to obtain another search word (related word) group related to a given search word group. For example, for a search term “hysteresis”, related terms such as “dielectric constant” and “polarization” are obtained. Such a related term search is often used for document search support, such as presenting a new search term group to the searcher with respect to the search term group given by the searcher. The related word search can be realized by a method similar to the pseudo-adaptability feedback method. That is, an extended word group may be output as a related word group.
[0007]
[Problems to be solved by the invention]
However, in such a conventional document retrieval apparatus, when the pseudo-adaptability feedback method is used, an extended word group is generated based on the initial search word group, and an extended search is performed using both of them. If the search request (initial search word group) is not appropriate, the quality of the initial search result is low, and the extended words obtained from the seed document are often irrelevant to the search request. There was a problem of being connected. In addition, when using the pseudo-adaptability feedback method, the quality of the search request is determined by the searcher, and it is very difficult for the document search device to evaluate the quality of the quality. There has been a problem that a search result having a quality inferior to the initial search result may be obtained. Furthermore, when the related word search is realized by a method similar to the pseudo-adaptability feedback method, the obtained extended word group is treated as a candidate of the related word group as the final target. There is a problem that it is not easy to select only appropriate candidates from candidates.
[0008]
The present invention has been made to solve such a problem, and a document search apparatus and a document search method capable of suppressing deterioration in quality of a document ranking regardless of the quality of a search request.,programAnd a recording medium.
[0009]
[Means for Solving the Problems]
The document search device according to claim 1 of the present invention includes a document storage unit storing a document group to be searched for ranking, a search word storage unit storing a first search word group used for the ranking search, From the document group stored in the document storage means, a document in which the first search word group stored in the search word storage means appears is searched for ranking to obtain a first ranking, and the first ranking is obtained. A second search word group is generated from the included document group, and a second search is performed by performing a ranking search for documents in which the first search word group and the second search word group appear from the previously stored document group. And ranking obtaining means for obtaining the third ranking by adjusting the second ranking according to the first ranking.
[0010]
With this configuration, the ranking (first ranking) of documents in which the initial search word group appears is obtained, an extended word group is generated from the document group included in the first ranking, and the initial search word group and the extended word group are Since the ranking of the appearing document (second ranking) is obtained and the second ranking is adjusted based on the first and second rankings, even when the quality of the search request by the initial search word group is low, Compared to this, the pseudo-adaptability feedback method with less quality degradation can be realized. In general, in the pseudo-adaptation feedback method, parameters used in the ranking search are adjusted so that the quality of the entire ranking is good in the extended search so that the quality of the upper part of the ranking is good in the initial search. . Therefore, by adjusting the second ranking by the above-described first ranking, the two are merged, and the result is that the quality in the upper part is good and the quality in the whole is good.
[0011]
A document search method according to claim 2 of the present invention includes:A document search method by operation of a document storage means, a search word storage means, and a ranking acquisition means, wherein the document storage means stores a document group to be searched for ranking, and the search word storage means A first search word group used for search is stored, and the ranking acquisition unit stores the document storage unit.From the stored documents,Stored in the search word storage meansRanking search for documents in which the first search term group appearsdo itThe first rankingGet and saidThe second search term group is selected from the document group included in the first ranking.Generated and stored in the document storage meansRanking search for documents in which the first search word group and the second search word group appear from the document groupdo itThe second rankingGet and saidAdjust the second ranking by the first ranking to get the third rankingGetis doing.
[0012]
By this method, a new ranking (third ranking) is obtained from the first ranking acquired using the initial search word group and the second ranking acquired using the initial search word group and the extended word group. Since the acquisition step is included, even when the quality of the search request based on the initial search word group is low as described above, it is possible to realize the pseudo-adaptability feedback method with less quality degradation compared to the prior art.
[0013]
Furthermore, the recording medium according to
[0014]
With this configuration, a new ranking (third ranking) is obtained from the first ranking acquired using the initial search word group and the second ranking acquired using the initial search word group and the extended word group. Even when the program to be acquired is easily acquired and the quality of the search request based on the initial search word group is low as described above, the pseudo-adaptability feedback method with less quality degradation than the conventional one can be realized.
[0015]
Also,According to claim 4 of the present inventionThe program performs a ranking search on a computer in which the first search word group stored in the search word storage unit appears from the document group stored in the document storage unit by the ranking acquisition unit, and acquires the first ranking. A first step of generating a second search term group from a document group included in the first ranking, and the ranking acquisition unit is stored in the document storage unit. A third step of performing a ranking search for documents in which the first search word group and the second search word group appear from a document group, and acquiring a second ranking; and the ranking acquisition means includes the first ranking. And a fourth step of adjusting the second ranking to obtain a third ranking.
As a reference, the present inventionThe document search device includes a document storage unit that stores a document group that is a ranking search target, a search word storage unit that stores a first search word group used for a ranking search, and the document storage unit From the document group, a document in which the first search word group stored in the search word storage unit appears is searched for ranking to obtain a first ranking, and the first ranking is obtained from the document group included in the first ranking. A related word group related to the search word group is generated, and a document in which the related word contained in the related word group appears is searched from the document group stored in the document storage means to obtain a second ranking. And a related word evaluation means for evaluating each related word included in the related word group based on the first ranking and the second ranking.
[0016]
With this configuration, in the related word search by a method similar to the pseudo-adaptability feedback method, from the first ranking acquired using the initial search word group and the second ranking acquired using the related word group, For example, since the evaluation for each related word is performed by calculating the average relevance ratio AVP using the initial search result, the quality of the related word can be appropriately evaluated.
[0017]
As a reference, the present inventionThe document search method includes a first step of performing a ranking search for documents in which a preset first search word group appears from a previously stored document group, and obtaining a first ranking, and the first step A second step of generating a related word group related to the first search word group from a document group included in the ranking, and a related word included in the related word group appears from the previously stored document group A third step of performing a ranking search of the document and obtaining a second ranking; a fourth step of evaluating each related word included in the related word group based on the first ranking and the second ranking; have.
[0018]
Since this method includes the step of evaluating each related word from the first ranking acquired using the initial search word group as described above and the second ranking acquired using the related word group, In the related word search by a method similar to the pseudo relevance feedback method, the quality of the related word can be appropriately evaluated.
[0019]
As a reference, the present inventionThe recording medium performs a ranking search for documents in which a preset first search word group appears from a group of documents stored in advance in a computer, and obtains a first ranking; A second step of generating a related word group related to the first search word group from a document group included in the ranking of the document, and a related word included in the related word group appears from the previously stored document group A third step of performing a ranking search for documents to be acquired and obtaining a second ranking; a fourth step of evaluating each related word included in the related word group based on the first ranking and the second ranking; , And a program for executing the program are recorded.
[0020]
With this configuration, it is easy to obtain a program for evaluating each related word from the first ranking acquired using the initial search word group and the second ranking acquired using the related word group as described above. In the related word search by a method similar to the pseudo-fit feedback method, the quality of the related word can be appropriately evaluated.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 shows a hardware configuration of a document search apparatus according to the first embodiment of the present invention.
In FIG. 1, a
[0022]
FIG. 2 shows a functional configuration of the document search apparatus according to the first embodiment of the present invention.
In FIG. 2, a document storage unit 14 stores an attribute group including a document to be searched and a document number assigned to the document, and this function is realized by the hard disk 4 or the like. The
[0023]
The
[0024]
Next, a document search method according to this embodiment will be described with reference to FIG.
The
[0025]
Next, the
[0026]
Next, the
[0027]
Next, the
S (e) = α × r1 + (1−α) × r2 (1)
However, α is a constant between 0 and 1, and is a hybrid parameter between rankings.
[0028]
Next, the score of the element e in the ranking R2 is replaced with S (e), and the ranking R2 is sorted in ascending order of the new score. In this way, a new ranking R3 is acquired. For the new ranking R3 acquired in this way, the
[0029]
Note that, when the document ranking search is performed by the
[0030]
As described above, the
[0031]
The document search method according to the first embodiment of the present invention includes a step of performing a ranking search for a document in which a preset initial search word group appears from a plurality of previously stored documents, and obtaining a first ranking. S102, step S103 for generating an extended word group from the document group included in the first ranking, a ranking search for documents in which an initial search word group and an extended word group appear from the plurality of stored documents, and a second search Since there is a step S104 for obtaining the ranking and a step S105 for obtaining the third ranking by adjusting the second ranking by the first ranking, the quality of the search request by the initial search word group is low However, it is possible to realize a pseudo-adaptive feedback method with less quality degradation than in the prior art.
[0032]
In the first embodiment, the case where the program for realizing the above document search method is stored in the
[0033]
Furthermore, in the first embodiment, the case where the program for realizing the above-described document search method is stored in the
[0034]
[Second Embodiment]
Since the hardware configuration of the document search apparatus according to the second embodiment of the present invention is substantially the same as that of the first embodiment, FIG. 1 is used and the same components are assigned the same reference numerals and description thereof is omitted. To do. Moreover, since the functional configuration according to the present embodiment is substantially the same as that of the first embodiment except for the
[0035]
FIG. 4 shows a functional configuration of a document search apparatus according to the second embodiment of the present invention. This is different from the first embodiment in that the
[0036]
In FIG. 4, the
[0037]
Next, a document search method according to this embodiment will be described with reference to FIG.
The
[0038]
Next, the rankings stored in the ranking buffer 1 are sorted in order of score, the top n document number groups are acquired, and the documents (seed documents) corresponding to the respective document numbers are acquired one by one from the document storage unit 14, A search word group (here, a candidate group of related words is shown) is generated from each seed document (step S203). That is, the seed document is divided into words, and the word document frequency is obtained. Here, the document frequency of the word w is the number of seed documents in which the word w appears. Further, the word groups are ranked according to the document frequency described above, and a desired number of words w are selected from the higher ranks to be related word candidates.
[0039]
Next, related words are extracted one by one from the related word candidate group described above, and stored in the
[0040]
As described above, the
[0041]
The document search method according to the second embodiment of the present invention includes a step of performing a ranking search for a document in which a preset initial search word group appears from a plurality of previously stored documents and obtaining a first ranking. S202, generating a candidate group of related words related to the initial search word group from the document group included in the first ranking, and being included in the related word candidate group from the plurality of stored documents Step S204 for performing a ranking search for documents in which candidates appear, obtaining a second ranking, and steps S205 and S206 for evaluating each candidate included in the related word candidate group based on the first and second rankings. Therefore, as described above, it is possible to appropriately perform quality evaluation for each related word (here, related word candidates).
[0042]
In the second embodiment, the case where a program for realizing the above document search method is stored in the
[0043]
Furthermore, in the second embodiment, the case where the program for realizing the above-described document search method is stored in the
[0044]
【The invention's effect】
As described above, the present invention provides a new third ranking based on the first ranking acquired using the initial search word group and the second ranking acquired using the initial search word group and the extended word group. Document retrieval apparatus and document retrieval method having an excellent effect of obtaining a pseudo-adaptability feedback method with less quality degradation compared to the prior art even when the quality of the retrieval request is low by acquiring the ranking,programIn addition, a recording medium can be provided.
[0045]
In the related word search by a method similar to the pseudo-adaptability feedback method, the present invention is acquired using the first ranking acquired using the initial search word group and the related word group (related word candidate group). A document search apparatus, a document search method, and a recording medium having an excellent effect that the quality of related words can be appropriately evaluated by evaluating each related word (related word candidate) from the second ranking. Is something that can be done.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of a document search apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a functional configuration of the document search apparatus according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a document search method according to the first embodiment of the present invention.
FIG. 4 is a block diagram showing a functional configuration of a document search apparatus according to a second embodiment of the present invention.
FIG. 5 is a flowchart showing a document search method according to a second embodiment of the present invention.
[Explanation of symbols]
1, 2 ranking buffer
3 memory
4 Hard disk
5 Input section
6 Output section
7 FDD
8 CD-ROM drive
9 Bus
11 Search word buffer (search word storage means)
12 Control unit (ranking acquisition means, related word evaluation means)
13 Search part
14 Document storage unit (document storage means)
15 Index
16 Related Word Buffer
22 CPU
100 Document retrieval device (computer)
Claims (4)
前記文書記憶手段は、ランキング検索対象の文書群を記憶し、
前記検索語記憶手段は、ランキング検索に用いる第1の検索語群を記憶し、
前記ランキング取得手段は、前記文書記憶手段に記憶された文書群から、前記検索語記憶手段に記憶された第1の検索語群が出現する文書をランキング検索して第1のランキングを取得し、前記第1のランキングに含まれる文書群から第2の検索語群を生成し、前記文書記憶手段に記憶された文書群から前記第1の検索語群および第2の検索語群が出現する文書をランキング検索して第2のランキングを取得し、前記第1のランキングにより前記第2のランキングを調整して第3のランキングを取得することを特徴とする文書検索方法。 A document search method by operation of a document storage means, a search word storage means, and a ranking acquisition means,
The document storage means stores a document group for ranking search,
The search word storage means stores a first search word group used for ranking search,
The ranking acquisition unit performs a ranking search for documents in which the first search word group stored in the search word storage unit appears from the document group stored in the document storage unit, and acquires a first ranking , documents from said documents contained in the first ranking to generate a second search word groups, the document from said stored documents in the storage means the first search term group and the second search word group appears The document search method is characterized in that a second ranking is obtained by performing a ranking search , and the second ranking is adjusted by the first ranking to obtain a third ranking.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002038931A JP4118571B2 (en) | 2002-02-15 | 2002-02-15 | Document search apparatus, document search method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002038931A JP4118571B2 (en) | 2002-02-15 | 2002-02-15 | Document search apparatus, document search method, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003242170A JP2003242170A (en) | 2003-08-29 |
| JP4118571B2 true JP4118571B2 (en) | 2008-07-16 |
Family
ID=27780116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002038931A Expired - Fee Related JP4118571B2 (en) | 2002-02-15 | 2002-02-15 | Document search apparatus, document search method, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4118571B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250980A (en) * | 2004-03-05 | 2005-09-15 | Oki Electric Ind Co Ltd | Document retrieval system, retrieval condition input device, retrieval execution device, document retrieval method and document retrieval program |
| US8407239B2 (en) | 2004-08-13 | 2013-03-26 | Google Inc. | Multi-stage query processing system and method for use with tokenspace repository |
| US7917480B2 (en) | 2004-08-13 | 2011-03-29 | Google Inc. | Document compression system and method for use with tokenspace repository |
| JP4825544B2 (en) * | 2005-04-01 | 2011-11-30 | 株式会社リコー | Document search apparatus, document search method, document search program, and recording medium |
| JP4922240B2 (en) * | 2008-06-04 | 2012-04-25 | ヤフー株式会社 | Retrieval processing apparatus, method, and program for selectively applying pseudo feedback processing in web retrieval |
| WO2016189605A1 (en) * | 2015-05-22 | 2016-12-01 | 株式会社Ubic | Data analysis system, control method, control program, and recording medium |
| JP2018055730A (en) * | 2018-01-11 | 2018-04-05 | オリンパス株式会社 | Image search apparatus and image search method |
-
2002
- 2002-02-15 JP JP2002038931A patent/JP4118571B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003242170A (en) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101301380B1 (en) | Ranking functions using a biased click distance of a document on a network | |
| KR101557294B1 (en) | Search results ranking using editing distance and document information | |
| US9116976B1 (en) | Ranking documents based on large data sets | |
| RU2382400C2 (en) | Construction and application of web-catalogues for focused search | |
| US7792833B2 (en) | Ranking search results using language types | |
| KR20080046670A (en) | Ranking function using document usage statistics | |
| JP4118571B2 (en) | Document search apparatus, document search method, and recording medium | |
| JP2009245179A (en) | Document retrieval support device | |
| JPH06223117A (en) | Search solution convergence method | |
| JP4453229B2 (en) | Information search system, information search method, and information search program | |
| JP2000067081A (en) | Document search method, recording medium storing the program, and document search device | |
| JP2004287835A (en) | Object table creation method, object recommendation method, object table creation program, and object recommendation method | |
| JP5211000B2 (en) | Ranking function generation device, ranking function generation method, ranking function generation program | |
| JP3385913B2 (en) | Related word presentation device and medium recording related word presentation program | |
| JP3788254B2 (en) | Information filtering system, filtering method therefor, and information filtering program | |
| JP3595184B2 (en) | Document search method and document search device | |
| JP2006251935A (en) | Document search device, document search method, and document search program | |
| JP4574186B2 (en) | Important language identification method, important language identification program, important language identification device, document search device, and keyword extraction device | |
| JP2012027841A (en) | Retrieval program, retrieval device, retrieval system, retrieval method, and recording medium | |
| JP2002117043A (en) | Device and method for document retrieval, and recording medium with recorded program for implementing the same method | |
| JP2008146209A (en) | Document search apparatus, document search method, and document search program | |
| JP2003316810A (en) | Document search device, document search method, and program for causing computer to execute the method | |
| JP2008070921A (en) | Document search apparatus and document search program | |
| JP2005092824A (en) | Document search device, document search method, document search program, and recording medium | |
| JP4087128B2 (en) | Document search apparatus and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080423 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |