JP2018194980A - 判定プログラム、判定方法および判定装置 - Google Patents

Abstract

【課題】事例検索の精度を向上させる。
【解決手段】事例検索プログラムは、コンピュータに、質問情報を受け付け、受け付けた質問情報の評価を行わせる。そして、事例検索プログラムは、コンピュータに、評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた質問情報の内容を特定する情報の追加を促す情報を出力するかを判定させる。
【選択図】図５

Description

本発明は、判定プログラム、判定方法および判定装置に関する。

従来から、受け付けたユーザの質問をもとに、過去の質問と回答を対応付けた過去の類似事例を蓄積した過去事例データベースを検索し、質問に関する類似事例に基づく回答を取得する事例検索システムがある。さらに、近年、インタラクティブな会話型ユーザインターフェイスであるチャットボットと事例検索システムを連携させ、リアルタイムに、質問に対する類似事例を検索し、ユーザに対して回答を提供するシステムが登場してきている。

特開２０１３−２０６１７７号公報

しかしながら、上述の従来技術では、受け付けたユーザの質問が情報不足である場合に、ユーザの質問をもとに過去事例データベースを検索しても、ユーザに対して、質問に関する類似事例に基づく適切な回答を提供できず、事例検索の精度が低いという問題がある。

一つの側面では、ユーザに対して、事例検索の精度を向上させる判定プログラム、判定方法および判定装置を提供することを目的とする。

第１の案では、判定プログラムは、コンピュータに、質問情報を受け付け、受け付けた質問情報の評価を行わせる。そして、判定プログラムは、コンピュータに、評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた質問情報の内容を特定する情報の追加を促す情報を出力するかを判定させる。

本発明の一の実施態様によれば、事例検索の精度を向上させるという効果を奏する。

図１は、実施例１にかかる事例検索装置の一例を示す図である。 図２は、実施例１にかかる問い返し要否学習モデルの教師データの概要の一例を示す図である。 図３は、実施例１にかかる過去の応対事例をもとにした問い返し要否学習の概要の一例を示す図である。 図４は、実施例１にかかる問い返し内容テーブルの一例を示す図である。 図５は、実施例１にかかる問い返し要否判定処理の一例を示すフローチャートである。 図６は、実施例２にかかる事例検索装置の一例を示す図である。 図７は、実施例２にかかる問い返しカテゴリ学習モデルの教師データの概要の一例を示す図である。 図８は、実施例２にかかるカテゴリと期待される回答との対応テーブルの一例を示す図である。 図９は、実施例２において質問に期待される回答を追加した場合の検索結果の順位の変動の概要の一例を示す図である。 図１０は、実施例２にかかる問い返し内容テーブルの一例を示す図である。 図１１は、実施例２にかかるラベル処理を示すフローチャートの一例を示す図である。 図１２は、事例検索プログラムを実行するコンピュータを示す図である。

以下に、開示の技術にかかる判定プログラム、判定方法および判定装置の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組合せることが可能である。

（実施例１にかかる事例検索装置）
図１は、実施例１にかかる事例検索装置の一例を示す図である。実施例１にかかる事例検索装置１０Ａは、ＣＰＵ（Central Processing Unit）などの処理装置を有するサーバ装置である。事例検索装置１０Ａにおける情報の入力および出力は、事例検索装置１０Ａと所定のネットワークを介して接続された図示しないクライアント端末に表示されるチャットボットのインターフェースなどを介して行われる。しかし、これに限られず、事例検索装置１０Ａにおける情報の入力および出力は、音声を介して行われてもよい。図示しないクライアント端末は、パーソナルコンピュータ、スマートフォン、タブレットなどである。

事例検索装置１０Ａは、ユーザから入力された質問（もしくは問合わせ）を入力としてＦＡＱ（Frequently Asked Questions）検索を行った際に、問い返し要否学習モデルを参照して取得された、質問に対する回答が適切であった場合、ＦＡＱ検索結果を出力する。質問に対する回答が適切であった場合とは、例えば７０％以上の確率で「正例」とラベル付けされていた場合である。一方、事例検索装置１０Ａは、ユーザから入力された質問を入力としてＦＡＱ検索を行った際に、問い返し要否学習モデルを参照して取得された、質問に対する回答が適切でなかった場合、ユーザに対して問い返す問い返し内容を推論し、推論した問い返し内容を出力する。質問に対する回答が適切でなかった場合とは、例えば７０％未満の確率で「正例」であるとラベル付けされていた場合である。なお、質問に対する回答が適切であるか否かを判定する「正例」とラベル付けされている確率は、適宜設定変更可能である。

事例検索装置１０Ａは、検索部１１、問い返し要否判定部１２、問い返し文例（クラス）出力部１３、出力部１４を有する。検索部１１は、ＦＡＱデータベース１１ａが接続されている。ＦＡＱデータベース１１ａには、過去の応対事例をもとに、各質問に対して１以上の回答が対応付けられて蓄積されている。ＦＡＱデータベース１１ａにおいて、各質問および各回答は、一意のＩＤにより管理される。また、ＦＡＱデータベース１１ａにおいて、各質問の内容および各応対事例の内容（回答内容）は、質問のＩＤおよび回答のＩＤそれぞれに対応付けられて管理される。

検索部１１は、ユーザにより入力された質問をもとに、ＦＡＱデータベース１１ａを検索し、質問に対応する回答を１または複数含む検索結果を取得する。検索結果は、質問に対応する各回答を、入力された質問に合致する確信度でランキングしたものである。確信度は、質問に対する回答として事例検索の結果の適合度合いを評価する指標の一例である。そして、検索部１１は、ユーザにより入力された質問を、問い返し要否判定部１２へ出力する。また、検索部１１は、ＦＡＱデータベース１１ａを参照して取得した検索結果を、出力部１４へ出力する。

（問い返し要否判定部）
問い返し要否判定部１２は、問い返し要否学習モデル１２ａが接続されている。問い返し要否学習モデル１２ａは、２値分類学習部の一例である。ここでの「２値」とは、「問い返しを行う」「問い返しを行わない」の２つである。問い返し要否判定部１２は、検索部１１から入力された質問をもとに問い返し要否学習モデル１２ａを参照し、「問い返しを行う」「問い返しを行わない」のいずれかの判定を行う。すなわち、問い返し要否判定部１２は、検索部１１から入力された質問が所定の確率（例えば７０％）以上で「正例」とラベル付けられている場合に、「問い返しを行わない」と判定する。一方、問い返し要否判定部１２は、検索部１１から入力された質問が所定の確率（例えば７０％）未満で「正例」とラベル付けられている場合に、「問い返しを行う」と判定する。なお、この所定の確率は、適宜設定変更可能である。

問い返し要否判定部１２は、「問い返しを行う」と判定した場合には、後述するように決定した「問い返し内容」を事例検索装置１０Ａの出力として出力するように、出力部１４へ指示する。一方、問い返し要否判定部１２は、「問い返しを行わない」と判定した場合には、検索部１１によるＦＡＱデータベース１１ａの検索結果を事例検索装置１０Ａの出力として出力するように、出力部１４へ指示する。

（問い返し要否学習モデルの教師データ）
ここで、問い返し要否学習モデル１２ａの教師データについて説明する。実施例１では、問い返し要否学習モデル１２ａが予め学習済みであるとする。図２は、実施例１にかかる問合わせ要否学習モデルの教師データの概要の一例を示す図である。図２（ａ）に示すように、問い返し要否学習モデル１２ａは、例えば検索部１１による検索結果において、検索上位２位以上に「正解の回答」がランキングされる場合に、この「正解の回答」を「正例」として学習する。また、図２（ｂ）に示すように、問い返し要否学習モデル１２ａは、例えば検索部１１による検索結果において、検索上位２位未満に「正解の回答」がランキングされる場合に、この「正解の回答」を「負例」として学習する。なお、この「検索上位２位」とは、検索部１１による検索結果において「正解の回答」を「正例」として学習するか否かを判定するための閾値であり、問い返し要否学習モデル１２ａの学習時における学習値の一例である。

例えば、図２（ａ）では、「正解の回答」である“回答002 yyyyy”が閾値以上のランキングとなる回答であるため、「正例」としてラベル付けされて問い返し要否学習モデル１２ａにより学習される。一方、図２（ｂ）では、「正解の回答」である“回答150 ddddd”が閾値未満のランキングとなる回答であるため、「負例」としてラベル付けされて問い返し要否学習モデル１２ａにより学習される。

図３は、実施例１にかかる過去の応対事例をもとにした問い返し要否学習の概要の一例を示す図である。図３に示すように、オペレータ１により、過去の質問および応対事例（回答）が検索部１１へ入力される。検索部１１は、オペレータ１により入力された過去の質問をもとに、検索結果を生成する。他方、オペレータ１は、過去の質問に対する「求められていた回答（正解の回答）」を、検索部１１による検索結果に対応付けて問い返し要否学習モデル１２ａへ入力する。

そして、質問に対する「求められていた回答（正解の回答）」が、検索部１１による質問に対する検索結果におけるランキングをもとに「正例」または「負例」とラベル付けされて、問い返し要否学習モデル１２ａに学習される。すなわち、問い返し要否学習モデル１２ａは、例えばディープラーニングにより、各質問に対する「正例」または「負例」のラベル付けを大量に読み込むことにより、各質問が「正例」および「負例」とラベル付けされている各確率を学習することになる。

（問い返し文例（クラス）出力部）
問い返し文例（クラス）出力部１３は、例えば問い返し内容テーブル１３ａ（図４参照）を有する。また、問い返し文例（クラス）出力部１３は、ＩＤＦ（Inverse Document Frequency）の辞書（図示せず）を有する。問い返し文例（クラス）出力部１３が有するＩＤＦの辞書は、名詞や動詞などの品詞に各ＩＤＦ値が対応付けられたデータである。

図４は、実施例１にかかる問い返し内容テーブルの一例を示す図である。問い返し内容テーブル１３ａは、「クラス」「問い返し内容」「回答候補単語」「問い返し済フラグ」の項目を有する。「クラス」は、「問い返し内容」を識別するための識別情報である。「問い返し内容」は、該当質問を行ったユーザに対して、チャットボットのインターフェースを介して実際に問い返す内容である。「回答候補単語」に含まれるそれぞれの単語には、問い返し文例（クラス）出力部１３が有するＩＤＦ辞書において、ＩＤＦ値が対応付けられている。

問い返し文例（クラス）出力部１３は、問い返し要否判定部１２により「問い返しを行う」と判定された場合に、ＩＤＦ辞書に含まれる品詞のうち、ユーザにより入力された質問に含まれない品詞であって、最もＩＤＦ値が高い品詞を抽出する。そして、問い返し文例（クラス）出力部１３は、抽出した最もＩＤＦ値が高い品詞が「回答候補単語」として含まれる「クラス」の「問い返し内容」を特定して出力する。

例えば、図４において、ユーザによる質問が「リカバリディスクを作成したい」であった場合であって、問い返し要否判定部１２によって問い返しを行うと判定されたとする。このとき、“ＯＳ＿Ｂ”がＩＤＦ辞書の中で最もＩＤＦ値が高い品詞であったとすると、“ＯＳ＿Ｂ”が「回答候補単語」として含まれる「クラス」“３”の「問い返し内容」“よろしければ、お使いのＯＳ名を教えて頂けますか？”が問い返し文として選択される。そして、選択された問い返し文“よろしければ、お使いのＯＳ名を教えて頂けますか？”が、事例検索装置１０Ａの出力として出力される。

なお、問い返し文例（クラス）出力部１３は、１度選択した「問い返し内容」について「問い返しフラグ」を“オン”にし、再度選択しないようにする。また、問い返し文例（クラス）出力部１３は、問い返しを行う回数に上限（例えば３回など）を設ける。例えば、問い返し文例（クラス）出力部１３は、問い返し回数が上限に達してもなお、問い返し要否判定部１２により「問い返しを行う」と判定された場合には、「クラス」“０”の「問い返し内容」“詳しい状況を教えて下さい”を選択して出力する。そして、問い返し文例（クラス）出力部１３は、問い返しの繰り返し実行を終了する。このとき、事例検索装置１０Ａは、コールセンタ番号をユーザに報知したり、コールセンタへ自動通報したり、事例検索装置１０Ａの上位装置（例えばチャットボットを用いたユーザサポートシステムなど）へアラートを出力したりするなどしてもよい。

（実施例１にかかる問い返し要否判定処理）
図５は、実施例１にかかる問い返し要否判定処理の一例を示すフローチャートである。実施例１にかかる問い返し要否判定処理は、事例検索装置１０Ａの処理装置により実行される。先ず、ステップＳ１１では、検索部１１は、ユーザから質問を受け付け、受け付けた質問でＦＡＱ検索を行い、検索結果を取得する。次に、ステップＳ１２では、問い返し要否判定部１２は、所定回数以内の問い返し要否判定か否かを判定する。問い返し要否判定部１２は、所定回数以内の問い返し要否判定である場合（ステップＳ１２Ｙｅｓ）、ステップＳ１３へ処理を移す。一方、問い返し要否判定部１２は、所定回数以内の問い返し要否判定でない場合（ステップＳ１２Ｎｏ）、ステップＳ１８へ処理を移す。

次に、ステップＳ１３では、問い返し要否判定部１２は、検索部１１から入力された質問を入力として問い返し要否学習モデル１２ａを参照し、この質問が所定確率以上で「正例」である否かの問い返し要否の判定を行う。次に、ステップＳ１４では、問い返し要否判定部１２は、検索部１１から入力された質問を入力として問い返し要否学習モデル１２ａを参照し、この質問が所定確率未満で「正例」である「問い返し要」であるか否かを判定する。問い返し要否判定部１２は、「問い返し要」である場合（ステップＳ１４Ｙｅｓ）、ステップＳ１５へ処理を移す。一方、問い返し要否判定部１２は、「問い返し要」でない場合（ステップＳ１４Ｎｏ）、ステップＳ１９へ処理を移す。

ステップＳ１５では、問い返し文例（クラス）出力部１３は、回答候補単語のうち、ＩＤＦが最大値を取る回答候補単語が含まれるクラス（問い返し済フラグがオフであるクラス）を選択する。次に、ステップＳ１６では、問い返し文例（クラス）出力部１３は、ステップＳ１５で選択したクラスの問い返し済フラグをオンにする。次に、ステップＳ１７では、問い返し文例（クラス）出力部１３は、ステップＳ１５で選択したクラスの問い返し内容で問い返すように問い返し内容を出力する。ステップＳ１７が終了すると、事例検索装置１０Ａは、ステップＳ１１へ処理を移す。

他方、ステップＳ１８では、問い返し文例（クラス）出力部１３は、出力部１４に対して、回答不能を出力させる。このとき、問い返し文例（クラス）出力部１３は、出力部１４に対して、「クラス」“０”の「問い返し内容」を出力させてもよい。また、ステップＳ１９では、出力部１４は、ステップＳ１１における検索部１１によるＦＡＱの検索結果を出力する。ステップＳ１８またはステップＳ１９が終了すると、事例検索装置１０Ａは、実施例１にかかる問い返し要否判定処理を終了する。

なお、実施例１においては、一例として、検索部１１が、質問情報を受け付ける。また
一例として、問い返し要否判定部１２が、受け付けた質問情報の評価を行う。評価とは、問い返しを要するか否かに関する評価である。また、一例として、問い返し文例（クラス）出力部１３および出力部１４が、評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた質問情報の内容を特定する情報の追加を促す情報を出力するかを判定する。なお、複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するとは、受け付けた質問情報に対して、例えば上位の所定数のＦＡＱ検索結果を選択可能に複数表示することをいう。

（実施例２にかかる事例検索装置）
図６は、実施例２にかかる事例検索装置の一例を示す図である。実施例２については、実施例１との差分のみについて説明する。実施例２にかかる事例検索装置１０Ｂは、実施例１にかかる事例検索装置１０Ａと比較して、問い返しカテゴリ判定部１２−１をさらに有し、問い返し文例（クラス）出力部１３に代えて、問い返し文例（クラス）出力部１３−１を有する。実施例２では、問い返し要否判定部１２は、問い返しを行うと判定した質問を、問い返しカテゴリ判定部１２−１へ出力する。

（問い返しカテゴリ判定部および問い返しカテゴリ学習モデルの教師データ）
問い返しカテゴリ判定部１２−１は、問い返しカテゴリ学習モデル１２−１ａが接続されている。実施例２では、問い返し要否学習モデル１２ａおよび問い返しカテゴリ学習モデル１２−１ａが予め学習済みであるとする。図７は、実施例２にかかる問い返しカテゴリ学習モデルの教師データの概要の一例を示す図である。図７に示すように、問い返しカテゴリ学習モデルの教師データは、「質問」「カテゴリ」の項目を有する。「質問」は、ユーザによる質問である。「カテゴリ」は、「質問」をカテゴリ分けするためのラベルである。例えば、図７に示す問い返しカテゴリ学習モデルの教師データに示すように、負例の「質問」“電源が入らない”に「カテゴリ」“ＯＳ”が対応付けられる。

図７に示す問い返しカテゴリ学習モデルの教師データは、次のようにして作成される。図８は、実施例２にかかるカテゴリと期待される回答との対応テーブルの一例を示す図である。カテゴリと期待される回答の対応テーブルは、「カテゴリ」「期待される回答」を対応付けて格納する。「カテゴリ」は、「期待される回答」に含まれる単語群に付与されたラベルである。「期待される回答」は、「カテゴリ」でカテゴリ分けされる。「カテゴリ」は、“トラブル発生契機”“ソフトウェア”“ＯＳ”などである。例えば「カテゴリ」“トラブル発生契機”である場合、「期待される回答」“リカバリ”、“復元”、“停電”・・・である。また、例えば「カテゴリ」“ソフトウェア”である場合、「期待される回答」“ソフト１”“ソフト２”“ソフト３”・・・である。また、例えば「カテゴリ」“ＯＳ”である場合、「期待される回答」“ＯＳ＿Ａ”“ＯＳ＿Ｂ”“ＯＳ＿Ｃ”・・・である。

図９は、実施例２において質問に期待される回答を追加した場合の検索結果の順位の変動の概要の一例を示す図である。検索部１１は、問い返し要否判定部１２から出力された、「問い返しを行う」と判定された負例の質問に、図８に示すカテゴリと期待される回答との対応テーブルの「期待される回答」に含まれる単語をそれぞれ付加する。そして、検索部１１は、「期待される回答」に含まれる単語をそれぞれ付加した負例の質問で、ＦＡＱデータベース１１ａを検索して検索結果を再取得した場合のランキングの変動を認識する。

図９に示す例では、元の負例の「質問」が“電源が入らない”で、検索結果におけるランキングが３０位であったが、“電源が入らない＋ＯＳ＿Ａ”と単語“ＯＳ＿Ａ”を付加すると“電源が入らない”単独の３０位から１１位へとランキングが上昇する。また、“電源が入らない＋ＯＳ＿Ｂ”と単語“ＯＳ＿Ｂ”を付加すると“電源が入らない”単独の３０位から３位へとランキングが上昇する。一方、“電源が入らない＋リカバリ”と単語“リカバリ”を付加すると“電源が入らない”単独の３０位から４２位へとランキングが下降する。このことから、“電源が入らない”に付加することにより、検索部１１による検索結果におけるランキングが最も上昇する単語は“ＯＳ＿Ｂ”であることになる。そして、図８に示すカテゴリと期待される回答との対応テーブルを参照して、ランキングが上昇する単語の「カテゴリ」は“ＯＳ”であると判定できる。

このように、各負例の「質問」に、ランキングが上昇する単語の「カテゴリ」をラベル付けする。各負例の「質問」に、ランキングが上昇する単語の各「カテゴリ」をラベル付けした教師データが、機械学習により大量に蓄積される。すると、例えば、ある負例の「質問」に、６０％の確率で「カテゴリ」“トラブル発生契機”がラベル付けされ、３０％の確率で「カテゴリ」“ソフトウェア”がラベル付けされ、１０％の確率で「カテゴリ」“ＯＳ”がラベル付けされているという教師データが生成される。そして、このような教師データが大量に学習されるほど、機械学習のモデルとしての精度が向上し、「カテゴリ」に基づく適切な問い返しを行うことができる。

なお、ランキングが上昇する単語の「カテゴリ」をラベル付けする際には、「期待される回答」に含まれる、付加した場合のランキング上昇が最大となる単語の「カテゴリ」をラベル付けするとすることに限られない。例えば、ランキングが上昇する単語の「カテゴリ」をラベル付けする際には、「期待される回答」に含まれる単語の、付加した場合のランキング上昇の「カテゴリ」内の合計や平均などの統計値が最大となる「カテゴリ」をラベル付けするとしてもよい。

そして、問い返しカテゴリ判定部１２−１は、入力された負例の「質問」が、同一の「質問」のうちで最大の確率でラベル付けされており、かつ、その最大の確率が所定の確率（例えば７０％）以上である「カテゴリ」を、該当の負例の「質問」に付与するカテゴリと決定する。なお、この所定の確率は、適宜設定変更可能である。

（問い返し文例（クラス）出力部）
問い返し文例（クラス）出力部１３−１は、問い返し内容テーブル１３−１ａ（図１０参照）を有する。図１０は、実施例２にかかる問い返し内容テーブルの一例を示す図である。図１０に示すように、問い返し内容テーブル１３−１ａは、実施例１にかかる問い返し内容テーブル１３ａと比較して、「回答候補単語」の項目に代えて「カテゴリ」の項目を有する。その他の点は、問い返し内容テーブル１３−１ａは、問い返し内容テーブル１３ａと同様である。問い返し文例（クラス）出力部１３−１は、問い返しカテゴリ判定部１２−１により決定された、ユーザによる当初の質問に含まれない、問い返しに関する「カテゴリ」をもとに、問い返し内容テーブル１３−１ａを参照する。そして、問い返し文例（クラス）出力部１３−１は、「カテゴリ」に対応する「問い返し内容」を選択し、事例検索装置１０Ｂの出力として出力する。

例えば、“電源が勝手に落ちる”というユーザの質問に対して問い返しを行う際、問い返しに関する「カテゴリ」“トラブル発生契機”が選択された場合には、問い返し内容テーブル１３−１ａにおいて「カテゴリ」“トラブル発生契機”に関する問い返しである“よろしければ、問題が発生したきっかけを教えて頂けますか？”を出力すると決定する。また、例えば、“動作が不安定”というユーザの質問に対して問い返しを行う際、問い返しに関する「カテゴリ」“ソフトウェア”が選択された場合には、問い返し内容テーブル１３−１ａにおいて「カテゴリ」“ソフトウェア”に関する問い返しである“もし何かソフトウェアをご使用中でしたら、その名前を教えて頂けますか？”を出力すると決定する。また、例えば、“電源が入らない”というユーザの質問に対して問い返しを行う際、問い返しに関する「カテゴリ」“ＯＳ”が選択された場合には、問い返し内容テーブル１３−１ａにおいて「カテゴリ」“ＯＳ”に関する問い返しである“よろしければ、お使いのＯＳ名を教えて頂けますか？”を出力すると決定する。問い返し文例（クラス）出力部１３−１は、決定した問い返しを出力するように出力部１４へ指示する。

（実施例２にかかるラベル処理）
図１１は、実施例２にかかるラベル処理を示すフローチャートの一例を示す図である。実施例２にかかるラベル学習処理は、事例検索装置１０Ｂの処理装置により実行される。実施例２にかかるラベル学習処理におけるステップＳ１１〜ステップＳ１４、ステップＳ１６〜ステップＳ１８、ステップＳ１９は、実施例１にかかるラベル学習処理と同様である。

ステップＳ１４Ｙｅｓの場合、ステップＳ１５−１では、問い返しカテゴリ判定部１２−１は、問い返しカテゴリ学習モデル１２−１ａを参照し、問い返し要否判定部１２から入力された負例の「質問」に対する「カテゴリ」を取得する。次に、ステップＳ１５−２では、問い返し文例（クラス）出力部１３−１は、問い返し内容テーブル１３−１ａを参照し、ステップＳ１５−２で取得したカテゴリが含まれるクラス（問い返し済フラグがオフ）を選択する。ステップＳ１５−２が終了すると、問い返し文例（クラス）出力部１３−１は、ステップＳ１６を実行する。ステップＳ１８またはステップＳ１９が終了すると、事例検索装置１０Ｂは、実施例２にかかる問い返し要否判定処理を終了する。

なお、実施例２においては、一例として、検索部１１が、質問情報を受け付ける。また、一例として、問い返し要否判定部１２が、受け付けた質問情報の評価を行う。評価とは、問い返しを要するか否かに関する評価である。また、一例として、問い返しカテゴリ判定部１２−１、問い返し文例（クラス）出力部１３−１および出力部１４が、評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた質問情報の内容を特定する情報の追加を促す情報を出力するかを判定する。なお、複数の質問情報のうち、受け付けた質問情報に応じて選択された質問情報を選択可能に出力するとは、受け付けた質問情報に対して、例えば上位の所定数のＦＡＱ検索結果を選択可能に複数表示することをいう。

以上の実施例１および２によれば、ユーザによる質問において情報が不足している場合に、ユーザに対して適切な問い返しを行うことで、事例検索の精度を向上させることができる。

（その他の実施例）
上述の実施例１および２に限らず、事例検索装置１０Ａおよび事例検索装置１０Ｂは、検索部１１によるＦＡＱデータベース１１ａの検索結果をスコアに基づいて取得する第１のアルゴリズムを適用して、受け付けた質問情報に応じて選択された第１の質問候補（例えば上位の所定数のＦＡＱの検索結果）を抽出してもよい。そして、事例検索装置１０Ａおよび事例検索装置１０Ｂは、入力された質問情報に対して正解となる質問ＩＤ（例えばＦＡＱ）を対応付けた教師データを学習した学習モデルを用いる第２のアルゴリズムを適用して、受け付けた質問情報に応じて選択された第２の質問候補を抽出してもよい。そして、事例検索装置１０Ａおよび事例検索装置１０Ｂは、抽出した第２の質問候補（例えばスコアが上位の所定数の質問ＩＤ）が、抽出した第１の質問候補に含まれる場合、受け付けた質問情報に応じて選択された質問情報を選択可能に出力し、抽出した第２の質問候補が、抽出した第１の質問候補に含まれない場合、受け付けた質問情報の内容を特定する情報の追加を促す情報を出力するとしてもよい。

以上の実施例１および２において図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散および統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。

また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよびＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（事例検索プログラム）
また、上述の実施例１および２で説明した各種の処理は、予め用意されたプログラムをサーバコンピュータなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上述の実施例１および２と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１２は、事例検索プログラムを実行するコンピュータを示す図である。

図１２に示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。

ＨＤＤ３２０には上述の実施例の各処理部と同様の機能を発揮する事例検索プログラム３２０ａが予め記憶される。例えば、上述の実施例１の検索部１１、問い返し要否判定部１２、問い返し文例（クラス）出力部１３、出力部１４と同様の機能を発揮する事例検索プログラム３２０ａを記憶させる。あるいは、事例検索プログラム３２０ａは、上述の実施例２の検索部１１、問い返し要否判定部１２、問い返しカテゴリ判定部１２−１、問い返し文例（クラス）出力部１３−１、出力部１４と同様の機能を発揮する。なお、事例検索プログラム３２０ａについては、各機能を適宜モジュール分割してもよい。

また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。そして、ＣＰＵ３１０が、事例検索プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例１および２の各処理部と同様の動作を実行する。すなわち、事例検索プログラム３２０ａは、実施例１の検索部１１、問い返し要否判定部１２、問い返し文例（クラス）出力部１３、出力部１４と同様の動作を実行する。あるいは、事例検索プログラム３２０ａは、実施例２の検索部１１、問い返し要否判定部１２、問い返しカテゴリ判定部１２−１、問い返し文例（クラス）出力部１３−１、出力部１４と同様の動作を実行する。

なお、上述した事例検索プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（もしくはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０Ａ、１０Ｂ 事例検索装置
１１ 検索部
１１ａ ＦＡＱデータベース
１２ 問い返し要否判定部
１２−１ 問い返しカテゴリ判定部
１２ａ 問い返し要否学習モデル
１２−１ａ 問い返しカテゴリ学習モデル
１３、１３−１ 問い返し文例（クラス）出力部
１３ａ、１３−１ａ 問い返し内容テーブル
１４ 出力部
３００ コンピュータ
３１０ ＣＰＵ
３２０ ＨＤＤ
３２０ａ 事例検索プログラム
４００ バス

Claims (8)

1. 質問情報を受け付け、
   受け付けた前記質問情報の評価を行い、
   評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた前記質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた前記質問情報の内容を特定する情報の追加を促す情報を出力するかを判定する、
   処理をコンピュータに実行させることを特徴とする判定プログラム。
2. 第１のアルゴリズムを適用して、受け付けた前記質問情報に応じて選択された第１の質問候補を抽出し、
   第２のアルゴリズムを適用して、受け付けた前記質問情報に応じて選択された第２の質問候補を抽出し、
   抽出した前記第２の質問候補が、抽出した前記第１の質問候補に含まれる場合、受け付けた前記質問情報に応じて選択された質問情報を選択可能に出力し、抽出した前記第２の質問候補が、抽出した前記第１の質問候補に含まれない場合、受け付けた前記質問情報の内容を特定する情報の追加を促す情報を出力する、
   ことを特徴とする請求項１に記載の判定プログラム。
3. 前記質問情報に含まれない単語のＩＤＦ（Inverse Document Frequency）値に基づいて前記追加を促す情報が決定されることを特徴とする請求項１または２に記載の判定プログラム。
4. カテゴリに基づいて前記追加を促す情報が決定されることを特徴とする請求項１または２に記載の判定プログラム。
5. 前記コンピュータは、さらに、
   前記質問情報に対する正解の回答が、所定以上の評価である場合に該正解の回答を正例とし、前記所定以上の評価でない場合に該正解の回答を負例とする教師データを蓄積することにより、前記質問情報を評価するための第１の学習モデルを学習することを特徴とする請求項１〜４のいずれか１項に記載の判定プログラム。
6. 前記コンピュータは、さらに、
   前記追加を促す情報を出力すると判定した負例の質問情報のカテゴリに分類される単語を付加することにより評価が向上する該単語のカテゴリを該負例の質問に対応付けた教師データを蓄積することにより、前記追加を促す情報のカテゴリを決定するための第２の学習モデルを学習することを特徴とする請求項４または５に記載の判定プログラム。
7. 質問情報を受け付け、
   受け付けた前記質問情報の評価を行い、
   評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた前記質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた前記質問情報の内容を特定する情報の追加を促す情報を出力するかを判定する、
   処理をコンピュータが実行することを特徴とする判定方法。
8. 質問情報を受け付ける受付部と、
   受け付けた前記質問情報の評価を行う評価部と、
   前記評価部による評価結果に基づき、記憶部に記憶された複数の質問情報のうち、受け付けた前記質問情報に応じて選択された質問情報を選択可能に出力するか、受け付けた前記質問情報の内容を特定する情報の追加を促す情報を出力するかを判定する判定部と、
   を有することを特徴とする判定装置。

Images