JP2010085790A - 会話学習支援システム、会話学習支援方法およびプログラム - Google Patents

Abstract

【課題】一人（無人）でかつインタラクティブな会話学習（支援）を行える、会話学習支援システム、会話学習支援方法およびプログラムを提供する。
【解決手段】会話学習支援装置１は、音声記憶部２、音声出力部３、音声入力部４、表示部５、入力部６、制御部７、スピーカ８、マイク９、表示装置１０、入力装置１１とから構成される。会話学習支援装置１は、制御部７の指示により、動作が制御される。音声記憶部２は、学習内容に合わせた複数のデータを記憶・保存する。データは、リスニング内容、発話設定、質問内容とその選択肢、とから構成される。ユーザが選択する選択肢により次に学習すべきデータが決められ、学習が進められる。
【選択図】図１

Description

本発明は、会話学習支援システム、会話学習支援方法およびプログラムに関する。

コンピュータを用いて外国語の学習を支援する技術がある。例えば、特許文献１には、 自分のペースで且つ場所を選ばずに外国語の発音及び聞き取りの練習ができる外国語学習方法が記載されている。特許文献１の技術は、外国語単語データ及び外国語文章データが格納された外国語の供給者側端末と、音声を出力可能な学習者側端末とがインターネットを介して接続され、供給者が供給者側端末を介してインターネット上に外国語学習のホームページを開設しており、学習者側端末がホームページにアクセスすることにより、学習者側端末が、供給者側端末から送信された外国語単語データ又は外国語文章データに基づく音声を出力する。

また特許文献２には、サーバと通信回路を介して接続される端末装置を利用する遠隔教育システムが記載されている。特許文献２の技術では、端末装置は、サーバから送信される課題データを再生し、課題データに基づいて利用者が復唱した復唱データをサーバに送信すると共に、サーバから送信される復唱データに対する評価結果を取得し得るよう構成される。サーバは、端末装置に課題データを送信し、課題データに対する復唱データを端末装置から受信すると共に、復唱データに対する評価を行い、その評価結果を端末装置に送信し得るよう構成される。

特許文献３には、外国語の発音を学習する学習者を支援する技術が記載されている。特許文献３の技術は、発音評価サービスにおいては、各生徒が生徒端末から自らの音声情報をＤＳＰサーバ装置へ送信すると、その音声情報を基に特定した習熟レベルがＤＳＰサーバ装置へ蓄積される。練習相手紹介サービスにおいては、ＤＳＰサーバ装置が、同じ習熟レベルの生徒端末同士をマッチングし、それら両端末間での音声情報のやり取りを制御する。

特許文献４は、ユーザの習得レベルに応じた学習コンテンツを提供することを可能にするとともに、提供するコンテンツの画一化を回避する技術が記載されている。語学学習用の複数の学習コンテンツを記憶し学習者からの要求に応じて何れかの学習コンテンツを返信する学習支援装置に、返信するべき学習コンテンツを指定することなく送信要求が為された場合には、その学習者が直近に学習した学習コンテンツの難易度および他の学習者による利用頻度に応じて絞り込まれた１つの学習コンテンツを返信させる。

特許文献５には、学習者の習熟度レベルを客観的に、しかも自動的に設定する語学用教育装置が記載されている。特許文献５の技術は、比較判定基準用の音声データと、学習者への指示となる非音声データを記憶し、非音声データを表示して学習者に指示を与える。音声入力装置により入力された学習者の音声をデータとして記憶し、比較判定基準用の音声データと比較判定を行う。そして、学習者の習熟度にあった難易度及び／又はテンポのレベルを自動的に設定する。

特開２００３−９８９４４号公報 特開２００４−１９１５２８号公報 特開２００６−１９５０９４号公報 特開２００７−１９３０９３号公報 特開平０７−１６８５２０号公報

音声を伴う無人型の会話学習支援システムにおいては、リスニングを主体としてリピーティングやシャドウイングを行わせる教材のみが提供されている。対話型（インタラクティブ）の会話学習支援システムでは、講師が直接または通信ネットワークを介して応対することが行われている。

リスニング、リピーティングもしくはシャドウイング、または、応答音声を録音するだけの一人で行う無人型の会話学習支援システムでは、対話型の（インタラクティブな）会話学習はできない。インタラクティブな会話学習支援には、講師がその時間拘束され、一人の講師について同時に学習できる人数がごく少数に限られる。そのため、インタラクティブな会話学習は一般に高額であり、学習できる時間が限定される。

本発明は、上述の事情に鑑みてなされたものであり、一人（無人）でかつインタラクティブな会話学習（支援）を行える、会話学習支援システム、会話学習支援方法およびプログラムを提供することを目的とする。

本発明の第１の観点に係る会話学習支援システムは、
少なくとも１つの文を構成する音声データを記憶する音声記憶手段と、
前記音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力手段と、
前記音声出力手段で音声を出力したのちに、発話者の音声を入力する音声入力手段と、
前記音声入力手段で音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示手段と、
前記表示手段で表示した問いに回答する入力を受け付ける入力手段と、
前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段と、
前記入力手段で入力された回答に対応して、前記応答音声記憶手段に記憶された音声データから選択して再生出力する応答出力手段と、
を備えることを特徴とする。

本発明の第２の観点に係る会話学習支援方法は、
少なくとも１つの文を構成する音声データを記憶する音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力ステップと、
前記音声出力ステップで前記音声を出力したのちに、発話者の音声を入力する音声入力ステップと、
前記音声入力ステップで音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示ステップと、
前記表示ステップで表示した問いに回答する入力を受け付ける入力ステップと、
前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段に記憶された音声データから、前記入力ステップで入力された回答に対応して音声データを選択して再生出力する応答出力ステップと、
を備えることを特徴とする。

本発明の第３の観点に係るプログラムは、コンピュータに、
少なくとも１つの文を構成する音声データを記憶する音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力ステップと、
前記音声出力ステップで前記音声を出力したのちに、発話者の音声を入力する音声入力ステップと、
前記音声入力ステップで音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示ステップと、
前記表示ステップで表示した問いに回答する入力を受け付ける入力ステップと、
前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段に記憶された音声データから、前記入力ステップで入力された回答に対応する音声データを選択して出力する応答出力ステップと、
を実行させることを特徴とする。

本発明によれば、一人（無人）でかつインタラクティブな会話学習（支援）を行うことができる。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。

（実施の形態１）
図１は、本発明の実施の形態１に係る会話学習支援装置の構成例を示すブロック図である。会話学習支援装置１は、音声記憶部２、音声出力部３、音声入力部４、表示部５、入力部６、制御部７、スピーカ８、マイク９、表示装置１０、およびキーボードなどの入力装置１１とから構成される。制御部７からの指示により、音声記憶部２のデータをもとに、音声出力部３、音声入力部４、表示部５、入力部６、は制御される。また、それぞれに対応するスピーカ８、マイク９、表示装置１０、および入力装置１１も制御される。

音声記憶部２は、音声で再生するデータから構成されたリスニングの内容を含むデータを記憶・保存する。

音声出力部３は、制御部７からの指示により、音声記憶部２に保存されたデータをデジタル・アナログ変換し、リスニング内容をスピーカ８から出力する。音声入力部４は、制御部７からの指示により、アナログ・デジタル変換し、マイク９から音声信号を入力する。制御部７では、音声入力部４へ入力の開始や停止などの制御も行われる。

表示部５は、制御部７からの指示により、音声記憶部２に保存されたデータを文字や絵などで表示装置１０に表示する。入力部６は、制御部７からの指示により、キーボードやマウスなどの入力装置１１から入力したデータを制御部７に伝達する。

この会話学習支援装置１を使用して学習する学習者のことをユーザと表記する。図２は、ユーザの学習内容の選択メニューを示すブロック図である。図２は、学習内容を語学（ファイルｆ１）、分野（ファイルｆ２）、項目（ファイルｆ３）、内容（ファイルｆ４）に階層化したメニューで選択する例を示す。ユーザは、ファイルｆ１から好きな語学を選択する。その下位にあるファイルｆ２から分野を選択し、さらに下位にあるファイルｆ３から項目を選択し、ファイルｆ４で学習する内容を選択する。実施の形態１では、ユーザがトラベル英会話の習得を目的としており、ファイルｆ１から順に、英語、一般、トラベル、買い物の順で、ファイル選択した場合を例に取り上げる。ユーザのレベルについては、例えばファイルｆ３の内容を選択する前後で、初級・中級・上級を選択できるようにしておく。

最も下位の階層のファイルｆであって、学習内容やレベルで複数に分類されたファイルｆ４は、それぞれのファイルｆ４に複数のデータｄ１、ｄ２、ｄ３、…、ｄｎ（以下、データｄと総称する）を備える。図３は、音声記憶部２に記憶・保存されている複数のデータｄの１つを示すブロック図である。

データｄは、リスニング内容ｐ１、発話設定ｐ２、質問内容ｐ３、選択肢ｐ４から構成される。音声データであるリスニング内容ｐ１の例を図４に示す。図４から図７において、内容を日本語で記載しているが、実際は、その会話学習する語学、例えば英語で表現されているものとする。データｄは、ユーザがリスニング内容ｐ１に続けて発話し、会話に近い形式で話が展開するように、リスニング内容ｐ１、質問内容ｐ３および選択肢ｐ４を設定することが好ましい。

リスニング内容ｐ１は、複数の文章から構成され、物語形式や会話形式などの形式であり、その文章は音声データをもとに構成される。リスニング内容ｐ１は、制御部７の指示により、音声出力部３を介して、スピーカ８から音声再生される。音声データは、図５（ａ）の例に示す文や、図５（ｂ）の例に示す単語の形で記憶されており、同じ学習内容で分類されたファイルｆ内では、データｄの番号が異なる場合であっても、元となる音声データが共通する場合がある。リスニング内容ｐ１は、音声データではなく、音声データの格納場所を指示するポインタであってもよい。また、リスニング内容ｐ１は、その最後の部分に、ユーザの発話を促す内容の音声が含まれることが望ましい。

発話設定ｐ２は、リスニング内容ｐ１を出力した後に、ユーザの発話（図６に１例を示す）を入力する時間などを定めたものである。具体的には、リスニング内容ｐ１を聞いたユーザが発話するであろう内容に応じて、その発話の入力に要する時間が発話設定ｐ２で設定されている。リスニング内容ｐ１に関する発話を促すプロンプトが、発話設定ｐ２に含まれていてもよい。プロンプトは、リスニング内容ｐ１の音声再生後に続けて出力される。

発話設定ｐ２には、発話の入力時間の他に、さまざまな設定を付加してもよい。プロンプトを出力後に、表示装置１０に、発話の入力時間を設定より長くするときの操作や、リスニング内容ｐ１を繰り返して聞くための操作方法が表示されるように設定してもよい。

質問内容ｐ３はリスニング内容ｐ１に関連しており、ユーザの発話の内容を問う文である。質問内容ｐ３と選択肢ｐ４は対応しており、選択肢ｐ４はユーザの発話するであろう内容を想定した項目となっている。図７は、質問内容ｐ３と選択肢ｐ４の例を示す。選択肢ｐ４の各項目に対応して、次に出力するリスニング内容ｐ１を含むデータｄの番号が設定されている。ユーザが選択肢ｐ４のいずれかの項目を選択すると、その項目に対応する次に学習するデータｄが決定する。

制御部７は、音声記憶部２のデータｄを参照し、それに従って音声出力部３、音声入力部４、表示部５および入力部６を制御する。

学習支援処理のはじめには、図２のファイルｆを表示部５から出力し、入力部６でユーザの選択入力を受け付ける。例えば図２に示すように、学習内容の選択メニューは階層構造になっていて、語学、分野、項目、内容を選択された順序で表示する。各階層のメニューが選択されて、内容が決定されると、制御部７は、その内容にあらかじめ定められた最初のデータｄを選択する。

最初のデータｄが決定されると、制御部７は、そのデータｄを記憶部２から読み込み、リスニング内容ｐ１（またはリスニング内容ｐ１で指定される音声データ）を出力するよう、音声出力部３に指令する。リスニング内容ｐ１は、最後に、ユーザの発話を促す内容が含まれることが望ましい。もしくは、ユーザの発話を促す内容を、リスニング内容ｐ１の後に付け加える。このとき、データｄのリスニング内容ｐ１の出力に続いて、ユーザの発話を促すプロンプトを出力してもよい。プロンプトの表示は、スピーカ８での音声表示、または、表示装置１０での文字による表示がある。

リスニング内容ｐ１、およびプロンプトの出力が終了したら、次に制御部７は、音声入力部４に、ユーザの発話の入力を指示する。制御部７は、発話設定ｐ２を参照して、入力する時間についても音声入力部４に指示する。発話を入力した後に、制御部７は、質問内容ｐ３および選択肢ｐ４を出力するよう音声出力部３または表示部５に指示する。そして、制御部７は、入力装置１１により入力された選択肢ｐ４を受け付けるように、入力部６に指示する。入力された選択肢ｐ４を受け、制御部７は、次のデータｄを音声記憶部２に指示する。

ファイルｆ４には、複数のデータｄが納められている。例えば、データｄがデータｄｉの選択肢ｐｉにより選択されたデータｄであるとする。データｄでは、選択肢ｐ４で選ぶ選択肢１、２、３、…、ｎから、次のデータ番号が決まる。図３の例では、選択肢１を選択した場合はデータｄｋ、選択肢２はデータｄｌ、選択肢３はデータｄｍ、選択肢ｎはデータｄｎへと進む。選択した選択肢ｐ４の項目により、同じファイルｆ４の中でも、別々のデータｄへ次の会話内容が展開される。ユーザがファイルｆ４の学習の終了を選択してもよく、ファイルｆ４内の所定量のデータｄを学習したら終了としてもよい。

図７では、質問内容ｐ３と選択肢ｐ４がともに、表示部５から表示装置１０に表示されている例を示したが、スピーカ８から音声で出力してもよい。また、質問内容ｐ３と選択肢ｐ４のいづれか一方がスピーカ８表示してもよい。

図８は、実施の形態１に係る会話学習支援装置の動作の一例を示すフローチャートである。ユーザは、会話学習支援装置１を起動し、学習を開始する。まず初めに、制御部７は表示部５に指示し、表示装置１０に学習する内容のレベル・内容を表示する（ステップＳ１１）。例えば、図２に示すファイルｆ１〜ｆ４で階層構造のメニューを表示する。ユーザは、表示装置１０を見ながら、入力装置１１などで入力し、データｄを選択する。例えば、図２に示すファイルｆ１〜ｆ４で表示されるメニューの項目を選択し、最終的にデータｄを選択する。また、予め個人情報を登録しておき、ログインすることでデータｄを呼び出せるようにしてもよい。または、その他の方法で、ファイルｆからデータｄを選択する仕組みを備えておく。

制御部７は、音声記憶部２に記憶・保存されているデータｄを参照する（ステップＳ１２）。音声出力部３は、制御部７の指示を受け、リスニング内容ｐ１をスピーカ８から再生する（ステップＳ１３）。リスニング内容ｐ１は、ステップＳ１２で参照しているデータｄの、音声データから構成された部分である。そのリスニング内容ｐ１の最後の部分に、内容の続きや、内容に関連した事について、ユーザが続けて発話できるような内容が含まれることが望ましい。リスニング内容ｐ１が終了後、制御部７は、発話を促すプロンプトを表示する（ステップＳ１４）。発話を促すプロンプトは、スピーカ８より音声で再生され、または、表示装置１０に表示される。このとき、制御部７の指示により、発話設定ｐ２を参照して、音声入力の時間が決定する。音声入力の開始と終了の際に、制御部７から音声出力部３へ指示を出して、ブザー音を鳴らす仕組みを備えてもよい。この音声入力の開始と終了は、ユーザの発話の開始と終了の時間に等しく、ブザーが鳴ることで、ユーザは発話する時間を知ることができる。制御部７は、表示部５に指示し、音声入力の開始と終了を表示装置１０に表示してもよい。

制御部７は、発話設定ｐ２に従って、音声入力部４から、マイク９の音声信号を入力する（ステップＳ１５）。この音声信号には、ユーザがマイク９に向かって発話する音声が含まれる。

次に、制御部７は、データｄの質問内容ｐ３と選択肢ｐ４を参照し、ユーザの発話した内容について、選択肢ｐ４を選ぶ形式の選択用の質問を提示する（ステップＳ１６）。制御部７の指示は、音声で出力する場合は音声出力部３へ行い、画面に表示する場合は表示部５へ行う。ユーザは、質問内容ｐ３と選択肢ｐ４と、発話した内容を考慮して、選択肢ｐ４を入力装置１１を用いて入力する。

制御部７は、入力装置１１で入力された結果、すなわち選択肢ｐ４を入力部６を介して受け付ける（ステップＳ１７）。制御部７は、受け付けた選択肢ｐ４の番号より、次に参照するデータｄ番号を決定する（ステップＳ１８）。

ステップＳ１８で、会話学習支援１の一連の流れは終了である。制御部７は、表示部５に指示し、表示装置１０に学習継続を問う内容を表示する（ステップＳ１９）。学習継続であれば（ステップＳ１９；ＹＥＳ）、制御部７は、ステップＳ１８で決定したデータｄを参照し、ステップＳ１２へ戻り、会話学習支援１を繰り返す。学習継続で無ければ（ステップＳ１９；ＮＯ）、終了となる。

以上説明したように、本実施の形態１に係る会話学習支援装置１によれば、ユーザの選択した内容により、学習した内容と関連した内容で、かつ、レベルに合った内容が選択され、次の学習へ進んでいく。その結果、学習するユーザの一人一人に合わせた学習が展開されていく。この会話学習支援装置１を使用することで、一人でインタラクティブな会話学習を行うことができる。さらに、個人での学習となるので、対話型の会話学習と比較すると、好きなときに好きな場所で学習ができるだけでなく、かかる費用も少なくて済む。

（実施の形態２）
図９は、本発明の実施の形態２に係る会話学習支援装置の構成例を示すブロック図である。実施の形態２に係る会話学習支援装置１００は、実施の形態１に係る会話学習支援装置１と基本構造は同じであるが、制御部７に、認識部７ａと、判定部７ｂを設けており、録音データ記憶部１２と通信部１３が追加されている。さらに、ネットワーク５０によりサーバ５１と通信することができ、データのやりとりが可能である。

録音データ記憶部１２は、ユーザが発話した内容を保存する。より詳しくは、制御部７の指示により、ユーザがマイク９を介して音声入力部４に入力した音声を、アナログ・デジタル変換した後に、録音データの形で保存する。通信部１３は、主に、音声記憶部２に記憶しているデータｄや、録音データ記憶部１２に保存された録音データなどを、ネットワーク５０を介して通信し、サーバ５１と様々なデータのやりとりを行う。

制御部７に設けられた認識部７ａは、ユーザがマイク９を介して音声入力部４に入力した発話した音声を認識する。例えば、ある所定の音の大きさ／音圧を超えた場合は、発話が行われた事を認識する。そのとき、音声入力開始時間から、音（発話）を認識するまでの時間の長さを測定したり、発話している間の時間を測定する。発話し始めるまでの時間が短いということは、内容を理解していることや、発話への慣れを意味することが多い。また、発話している時間は文章の長さと比例し、レベルが上がるにつれ、文章の長さが長くなることが多い。

判定部７ｂは、認識部７ａで認識した音圧や、測定した発話時間などによるデータから、ユーザの理解度を判定する。また、認識部７ａで音の波形を測定し、判定部７ｂで音声記憶部２の音声データの単語と測定した音の波形の照合を行ってもよい。類似した音の波形があれば、ユーザの発話に、データｄの内容やデータｄに関連のある単語が重複していることが分かる。これら複数の判断基準を合わせることで、より、判定の精度が高くなる。

図１０は、実施の形態２に係る会話学習支援装置と添削システムの関係を示すブロック図である。会話学習支援装置１００は通信部１３を備え、ネットワーク５０を介してサーバ５１と色々なデータをやりとりをすることができる。ここではサーバ５１をシステム部６０とし、第３者（添削者７０）による添削が受けられるしくみについても併せて説明する。

ネットワーク５０を介して、通信する先に、システム部６０を備える。システム部６０は、添削データ管理部６１、個人情報管理部６２、を備える。添削データ管理部６１は、添削者７０により採点・添削したデータや、採点・添削される前の録音データなどを管理する。個人情報管理部６２は、登録しているユーザの情報、例えば、基本情報であるユーザの名前とＩＤなどの他に、学習コース内容やレベル、学習したデータｄやその成績などのデータを管理する。

会話学習支援装置１００の録音データ記憶部１２は、ユーザの発話した内容を録音データとして記憶する。通信部１３は制御部７の指示を受け、録音データをネットワーク５０を介して送信する。システム部６０は、録音データを受信し、添削データ管理部６１に保存する。第３者である添削者７０は、添削データ管理部６１にある録音データを採点・添削し、添削済みデータとして、添削データ管理部６１に保存する。

ユーザは復習する際に、まず添削済みデータを受信する必要がある。ユーザが選択したコマンドにより、制御部７は、通信部１３に、添削済みのデータを受信するように指示を行う。通信部１３は、ネットワーク５０を介して、システム６０の添削データ管理部６１から添削済みデータを受信する。制御部７は、録音データ記憶部１２に指示し、受信した添削済みデータを保存する。

ネットワーク５０側の採点・添削するシステムについては、システム部６０側の添削者７０が、採点・添削作業を行う。例えば、コールセンターのインバウンド業務のように、届いた録音データを受け取った順に採点・添削をしていく。添削者７０は、データｄ番号と、録音データ、すなわちユーザの発話した内容が届き、その内容について採点・添削をするだけでよく、かかる時間は少なくてすむ。そのため、少ない人数の添削者７０で、多くのユーザを担当することができる。

添削済みデータは、例えば、ユーザの発話を文章に起こし、その上に赤ペンで添削したデータでもよく、ユーザの発話に即した文章を正したものを、音声データにしたものでもよい。また、回答の例があってもよい。

データの送信は、学習するデータｄ毎に行ってもよく、まとめてもよい。添削済みのデータの受信についても、データｄ毎に行ってもよく、まとめてもよい。送受信のタイミングは任意である。また、録音データ記憶部１２に添削済みデータを保存せずに、添削データ管理部６１に保存したままにしておき、必要なときにデータ通信を行ってもよい。

採点・添削するシステムを行う場合は、従来の対話型のような会話学習でなくても、ユーザは発話を確認してもらうことができる。会話に近い形態の自由な発想に即した発話、例えば意見や希望、質問や表明など、様々な表現による発話を採点してもらうことが可能である。また、ネットワーク５０のシステム部６０側では、１人で多数のユーザの採点を行うことができるので、従来の会話学習のように常に対応する必要がない。ユーザにとっても、対話型による会話学習では制限されていた時間や場所を気にすることなく自由に学習できる。

ネットワーク５０による通信ができない場合であっても、会話学習支援装置１００の録音データ記憶部１２に保存した録音データをフレキシブルディスクなどの記録媒体に記録して、添削者７０に直接送付することで、採点・添削するシステムを利用することは可能である。この場合、添削済みのデータも、記録媒体を用いて送付される。

図１１は、実施の形態２に係る会話学習支援装置の動作の一例を示すフローチャートである。図１１（ａ）は、会話学習支援２についてであり、図１１（ｂ）は、復習支援についてである。復習支援は、会話学習支援２に組み込んで動作してもよく、また、独立で動作してもよい。

ユーザは、会話学習支援装置１００を起動し、学習を開始する。まず初めに、制御部７は表示部５に指示し、表示装置１０に学習する内容のレベル・内容を表示する（ステップＳ３１）。ユーザは、表示装置１０を見ながら、入力装置１１などで入力し、データｄを選択する。例えば、ユーザの入力を受け、制御部７は通信部１３を介してネットワーク５０で通信し、個人情報管理部６２に保存しているユーザの個人情報を呼び出す。そして、前回の学習の続きとなるデータｄを参照してもよい。または、その他の方法で、ファイルｆからデータｄを選択する仕組みを備えておく。

制御部７は、音声記憶部２に記憶・保存されているデータｄを参照する（ステップＳ３２）。音声出力部３は、制御部７の指示を受け、リスニング内容ｐ１をスピーカ８から再生する（ステップＳ３３）。リスニング内容ｐ１は、ステップＳ１２で参照しているデータｄの、音声データから構成された部分である。そのリスニング内容ｐ１の最後の部分に、内容の続きや、内容に関連した事について、ユーザが続けて発話できるような内容が含まれることが望ましい。リスニング内容ｐ１が終了後、制御部７は、発話を促すプロンプトを表示する（ステップＳ３４）。発話を促すプロンプトは、スピーカ８より音声で再生され、または、表示装置１０に表示される。このとき、制御部７の指示により、発話設定ｐ２を参照して、音声入力の時間が決定する。音声入力の開始と終了の際に、制御部７から音声出力部３へ指示を出して、ブザー音を鳴らす仕組みを備えてもよい。この音声入力の開始と終了は、ユーザの発話の開始と終了の時間に等しく、ブザーが鳴ることで、ユーザは発話する時間を知ることができる。制御部７は、表示部５に指示し、音声入力の開始と終了を表示装置１０に表示してもよい。

制御部７は、発話設定ｐ２に従って、音声入力部４から、マイク９の音声信号を入力する。制御部７は、入力される発話を、録音データ記憶部１２に記憶するよう指示するとともに、認識部７ａで、発話までにかかる時間と、発話している時間の計測を行う（ステップＳ３５）。

次に、制御部７は、データｄの質問内容ｐ３と選択肢ｐ４を参照し、ユーザの発話した内容について、選択肢ｐ４を選ぶ形式の選択用の質問を提示する（ステップＳ３６）。制御部７の指示は、音声で出力する場合は音声出力部３へ行い、画面に表示する場合は表示部５へ行う。ユーザは、質問内容ｐ３と選択肢ｐ４と、発話した内容を考慮して、選択肢ｐ４を入力装置１１を用いて入力する。

制御部７は、入力装置１１で入力された結果、すなわち選択肢ｐ４を入力部６を介して受け付ける（ステップＳ３７）。次に、制御部７は、認識部７ａで認識した結果をもとに、判定部７ｂで判定を行う（ステップＳ３８）。ここで判定とは、ユーザの理解度を簡易に判断することを指す。判定の基準となるデータは、ステップＳ３５で測定した発話時間の測定結果、声の大きさ、声のスピードなどのデータである。また、発話の音声の波形を音声データと照合し、重要な単語がどれくらい重複しているかなども判断基準となる場合がある。１つもしくは複数のデータより、判定部７ｂで、ユーザの理解度を判定する。

制御部７の指示により、ステップＳ３８の判定の結果を、表示装置１０に表示してもよい。ユーザは判定結果を確認し、自身の理解度チェックに役立てることができる。このとき、制御部７から表示部５への指示により、リスニング内容ｐ１のあらすじを一緒に表示してもよい。

制御部７は、ステップＳ３７で受け付けた選択肢ｐ４の番号より、次に参照するデータｄ番号を決定する（ステップＳ３９）。

ステップＳ３９で、会話学習支援２の一連の流れは終了である。制御部７は、表示部５に指示し、表示装置１０に学習継続を問う内容を表示する（ステップＳ４０）。学習継続であれば（ステップＳ４０；ＹＥＳ）、制御部７は、ステップＳ３９で決定したデータｄを参照し、ステップＳ３２へ戻り、会話学習支援２を繰り返す。学習継続で無ければ（ステップＳ４０；ＮＯ）、終了となる。

制御部７の判定部７ｂで判定される結果より、ユーザのレベルと学習レベルが一致しているかどうかを判断し、データｄの選択に反映させてもよい。ステップＳ３８の判定の結果を、ユーザの理解度として数値化するようにプログラミングしておき、閾値を与える。閾値よりユーザの理解度が上回る場合は、データｄのレベルが低い、もしくは学習済み分野として、制御部７は、データｄの決定（ステップＳ３９）を行わずに、レベル・内容提示（ステップＳ３１）を行うように表示部５へ指示を出す。また、閾値よりユーザの理解度が下回る場合は、データｄのレベルが高いとして、制御部７は同様に、データｄの決定（ステップＳ３９）を指示せずに、レベル・内容提示（ステップＳ３１）の指示を行う。この動作を会話学習支援２に組み込むことで、ユーザのレベルに適した学習をより支援しやすくなる。

判定（ステップＳ３８）の結果は、フローチャートには記載していないが、制御部７の指示により、通信部１３を介してネットワーク５０による通信をしてもよい。個人情報のデータとして、システム部６０は個人情報管理部６２に情報を蓄積する。例えば、通信部１３から送付した個人データ（ユーザの理解度を示すデータなど）の量が、ある一定量に達したとき、制御部７より、個人情報の分析の指示が出される。制御部７の指示を受け、学習上達具合などを表示装置１０に表示する。ユーザは、上達度や得意・不得意分野を知ることができたり、他のユーザとの比較ができ、学習意欲の向上や、より効率よい学習計画を立てるのに役に立つ。

以上説明したように、本実施の形態２に係る会話学習支援装置１００によれば、ユーザの選択した内容により、学習した内容と関連した内容で、かつ、レベルに合った内容が選択され、次の学習へ進んでいく。その結果、学習するユーザの一人一人に合わせた学習が展開されていく。この会話学習支援装置１００を使用することで、一人でインタラクティブな会話学習を行うことができる。さらに、個人での学習となるので、対話型の会話学習と比較すると、好きなときに好きな場所で学習ができるだけでなく、かかる費用も少なくて済む。

復習支援の動作に入る前に、ユーザは、会話学習支援２で学習し、発話を録音データとして、会話学習支援装置１００に保存しておく。以下、復習を行うときの、会話学習支援装置１００について説明する。図１１（ｂ）は、復習支援の動作の一例を示すフローチャートである。

まず初めに、制御部７は録音データ記憶部１２にある録音データを参照する（ステップＳ５１）。録音データが複数ある場合は、例えば、まだ復習していない録音データの中で最もデータ作成日が古い録音データを参照してもよい。また、制御部７は、表示部５へ指示し、録音データのリストを表示装置１０に表示し、ユーザの入力による選択の指示を受け付けてもよい。

通信部１３は、制御部７の指示により、ネットワーク５０を介して録音データを送信する（ステップＳ５２）。ネットワーク５０を介してサーバ５１（ここではシステム部６０）に送信された録音データは、第３者である添削者７０の採点・添削を受け、添削済みデータとなる。通信部１３は、再度、制御部７の指示により、ネットワーク５０を介して添削済みデータを受信する（ステップＳ５３）。

次に、制御部７は、ステップＳ５１で参照した録音データ、すなわちユーザの発話を、音声出力部３に出力するように指示し、スピーカ８より音声再生する（ステップＳ５４）。続けて、受信した添削済みデータを出力するように表示部５に指示する。指示を受け、表示部５は表示装置１０に表示する（ステップＳ５５）。録音データの再生を何度か繰り返し、その間、添削済みデータを表示してもよい。また、制御部７の指示により、データｄのリスニング内容ｐ１を表示してもよい。

添削済みデータが、録音データ（ユーザの発話）が文章に起こされて添削された形式を想定しているが、音声のみのデータであってもよい。その場合は、制御部７は音声出力部３に指示し、スピーカ８から添削済みデータを音声再生する（ステップＳ５５）。

ステップＳ５５で、復習支援の一連の流れは終了である。制御部７は、表示部５に指示し、表示装置１０に復習継続を問う内容を表示する（ステップＳ５６）。復習継続であれば（ステップＳ５６；ＹＥＳ）、制御部７は、ステップＳ５１に戻り、復習支援を繰り返す。復習継続で無ければ（ステップＳ５６；ＮＯ）、終了となる。

会話学習支援２と復習支援を独立せずに、学習後にそのまま復習してもよい。その場合、図１１（ａ）の会話学習支援２の、ステップＳ３９とステップＳ４０の間に、図１１（ｂ）の復習支援の、ステップＳ５１からステップＳ５５を組み込む。また、学習するデータｄ毎に、復習をしてもよく、複数のデータｄを学習した後に、復習をまとめて行ってもよい。

さらに、実施の形態２では、復習支援の際、その都度、会話学習支援２で録音したデータｄを通信している。録音データの通信は、会話学習支援２でユーザの発話を記憶した時点で行ってもよく、添削済みデータを録音データ記憶部１２に保存しておいてもよい。

個人情報管理部６２で管理するさまざまな個人情報や、録音データおよび添削済みデータのデータ通信および保存については、上記の例に限らない。特に、予め、会話学習支援２で学習したデータｄの添削結果を会話学習支援装置１００の録音データ記憶部１２に保存しておくことで、すぐに復習することが可能である。

なお、会話学習支援装置１００は、携帯電話を用いることができる。スピーカ、マイク、画面、キーボード（操作ボタン）が既に備えられており、通信も可能である。日常生活にかかせないもので、多くの人が常に携帯しており、発話や聞くことも当たり前の行動であり、どこでも手軽に学習することができる。また、会話学習支援装置は、小型のモバイルパソコンなどでもよい。発話のためのマイクがない場合であっても、例えば、ヘッドセット型のマイクを用いるなどして、応答音声を記憶することができる。さらに、通信機能がない携帯型ゲーム機の場合であっても、回答した発話内容を、ＳＤカード（Secure Digital Memory Card）などの記憶媒体に録音できればよい。例えば、外出先で録音したデータを、帰宅後にパソコンを用いてネットワークシステムに通信しておく。採点されたデータを取り込み、記憶媒体を用いて、ゲーム機に取り込んでおく。この場合は、発話してすぐに確認することはできないが、外出先でも、発話確認の部分の学習は可能であり、復習することができる。

ここでは、サーバ５１をシステム部６０として説明しているが、任意に変更および修正が可能である。また、ネットワーク５０を用いてデータをやりとりするタイミングや、データを保存する装置、サーバなども、任意に設定できる。データ通信が行いにくい場合などは、予め、データ通信によりデータを取り込んでおき、会話学習支援装置１００に保存してもよい。また、データが膨大となる場合や、ユーザの学習レベルや学習内容を常に確認したい場合などは、ネットワークが繋がった状態で学習をすることも可能である。

以上説明したように、実施の形態２に係る会話学習支援装置１００によれば、発話した内容を確認でき、マニュアル通りではなく、より実践に近い形の会話学習（支援）をすることができる。また、個人情報を蓄積するなどして、ユーザに合わせた学習計画を立てることができるので、より効率よく学習を進めることができる。さらに、インタラクティブな学習でありながら、１人で複数のユーザに対応できるので、従来より低額で、会話学習（支援）をすることが可能となる。

図１２は、図１または図９に示す会話学習支援装置１、１００のハードウェア構成の一例を示すブロック図である。会話学習支援装置１、１００は、図１２に示すように、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および送受信部２６を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５および送受信部２６はいずれも内部バス２０を介して制御部２１に接続されている。

制御部２１はＣＰＵ（Central Processing Unit）などから構成され、外部記憶部２３に記憶されているデータｄに従って処理を実行する。

主記憶部２２はＲＡＭ（Random-Access Memory）などから構成され、外部記憶部２３に記憶されているデータｄをロードし、制御部２１の作業領域として用いられる。

外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）などの不揮発性メモリから構成され、前記の処理を制御部２１に行わせるためのプログラムを予め記憶し、また、制御部２１の指示に従って、このプログラムが記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

操作部２４はキーボードおよびマウスなどのポインティングデバイスなどと、キーボードおよびポインティングデバイスなどを内部バス２０に接続するインターフェース装置から構成されている。操作部２４を介して、選択肢ｐ４などのデータが入力され、制御部２１に供給される。また、指示の入力を受け付け、制御部２１に供給する。

表示部２５は、ＣＲＴ（Cathode Ray Tube）又はＬＣＤ（Liquid Crystal Display）などから構成され、質問内容ｐ３などを表示する。

送受信部２６は、無線送受信機、無線モデム又は網終端装置、およびそれらと接続するシリアルインターフェース又はＬＡＮ（Local Area Network）インターフェースから構成されている。送受信部２６を介して、データｄや個人情報などをやりとりする。

その他、本発明の好適な変形として、以下の構成が含まれる。

本発明の第１の観点に係る会話学習支援システムについて、
好ましくは、前記音声入力手段で入力される音声から、前記発話者の発話の水準を所定の方法で判定する判定手段を備え、
前記応答出力手段は、前記判断手段で判定された発話の水準に応じて、前記入力手段で入力された回答に対応する音声データを、前記応答音声記憶手段に記憶された音声データから選択して出力する、
ことを特徴とする。

好ましくは、前記音声入力手段で入力された音声を録音する録音手段を備えることを特徴とする。

好ましくは、前記入力手段で入力された前記表示手段で表示した問いに対する回答を参照して、前記録音手段で録音した音声から音声認識する認識手段を備えることを特徴とする。

少なくとも前記音声記憶手段および前記応答音声記憶手段を備えるサーバ装置と、
前記音声出力手段、前記音声入力手段、前記表示手段、前記入力手段および前記応答出力手段を備える端末とが、
ネットワークを介して通信することを特徴とする。

本発明の第２の観点に係る会話学習支援方法について、
好ましくは、前記音声入力ステップで入力される音声から、前記発話者の発話の水準を所定の方法で判定する判定ステップを備え、
前記応答出力ステップは、前記判断ステップで判定された発話の水準に応じて、前記入力ステップで入力された回答に対応する音声データを、前記応答音声記憶手段に記憶された音声データから選択して出力する、
ことを特徴とする。

好ましくは、前記音声入力ステップで入力された音声を録音する録音ステップを備えることを特徴とする。

好ましくは、前記入力ステップで入力された、前記表示ステップで表示した問いに対する回答を参照して、前記録音ステップで録音した音声から音声認識する認識ステップを備えることを特徴とする。

その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。

会話学習の中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する会話学習支援装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで会話学習支援装置を構成してもよい。

また、会話学習支援装置を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合等には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

本発明の実施の形態１に係る会話学習支援装置の構成例を示すブロック図である。 ユーザの学習内容の選択メニューを示すブロック図である。 音声記憶部に記憶されている複数のデータの中の１つを示すブロック図である。 データのリスニング内容の例で、実際は音声で再生するものである。 リスニング内容を構成する音声データの例である。 ユーザの発話内容の例である。 質問内容と選択肢（の内容）の例で、画面に表示した場合である。 実施の形態１に係る会話学習支援装置の動作の一例を示すフローチャートである。 本発明の実施の形態２に係る会話学習支援装置の構成例を示すブロック図である。 実施の形態２に係る会話学習支援装置と添削システムの関係を示すブロック図である。 実施の形態２に係る会話学習支援装置の動作の一例を示すフローチャートである。（ａ）は会話学習支援の動作、（ｂ）は復習支援の動作を示す。 実施の形態に係る会話学習支援装置のハードウェア構成の一例を示すブロック図である。

符号の説明

１ 会話学習支援装置
２ 音声記憶部
３ 音声出力部
４ 音声入力部
５ 表示部
６ 入力部
７ 制御部
８ スピーカ
９ マイク
１２ 録音データ記憶部
１３ 通信部
５０ ネットワーク
１００ 会話学習支援装置

Claims (10)

1. 少なくとも１つの文を構成する音声データを記憶する音声記憶手段と、
   前記音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力手段と、
   前記音声出力手段で音声を出力したのちに、発話者の音声を入力する音声入力手段と、
   前記音声入力手段で音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示手段と、
   前記表示手段で表示した問いに回答する入力を受け付ける入力手段と、
   前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段と、
   前記入力手段で入力された回答に対応して、前記応答音声記憶手段に記憶された音声データから選択して再生出力する応答出力手段と、
   を備えることを特徴とする会話学習支援システム。
2. 前記音声入力手段で入力される音声から、前記発話者の発話の水準を所定の方法で判定する判定手段を備え、
   前記応答出力手段は、前記判断手段で判定された発話の水準に応じて、前記入力手段で入力された回答に対応する音声データを、前記応答音声記憶手段に記憶された音声データから選択して出力する、
   ことを特徴とする請求項１に記載の会話学習支援システム。
3. 前記音声入力手段で入力された音声を録音する録音手段を備えることを特徴とする請求項１または２に記載の会話学習支援システム。
4. 前記入力手段で入力された前記表示手段で表示した問いに対する回答を参照して、前記録音手段で録音した音声から音声認識する認識手段を備えることを特徴とする請求項３に記載の会話学習支援システム。
5. 少なくとも前記音声記憶手段および前記応答音声記憶手段を備えるサーバ装置と、
   前記音声出力手段、前記音声入力手段、前記表示手段、前記入力手段および前記応答出力手段を備える端末とが、
   ネットワークを介して通信することを特徴とする請求項１ないし４のいずれか１項に記載の会話学習支援システム。
6. 少なくとも１つの文を構成する音声データを記憶する音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力ステップと、
   前記音声出力ステップで前記音声を出力したのちに、発話者の音声を入力する音声入力ステップと、
   前記音声入力ステップで音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示ステップと、
   前記表示ステップで表示した問いに回答する入力を受け付ける入力ステップと、
   前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段に記憶された音声データから、前記入力ステップで入力された回答に対応して音声データを選択して再生出力する応答出力ステップと、
   を備えることを特徴とする会話学習支援方法。
7. 前記音声入力ステップで入力される音声から、前記発話者の発話の水準を所定の方法で判定する判定ステップを備え、
   前記応答出力ステップは、前記判断ステップで判定された発話の水準に応じて、前記入力ステップで入力された回答に対応する音声データを、前記応答音声記憶手段に記憶された音声データから選択して出力する、
   ことを特徴とする請求項６に記載の会話学習支援方法。
8. 前記音声入力ステップで入力された音声を録音する録音ステップを備えることを特徴とする請求項６または７に記載の会話学習支援方法。
9. 前記入力ステップで入力された、前記表示ステップで表示した問いに対する回答を参照して、前記録音ステップで録音した音声から音声認識する認識ステップを備えることを特徴とする請求項８に記載の会話学習支援方法。
10. コンピュータに、
    少なくとも１つの文を構成する音声データを記憶する音声記憶手段に記憶されている音声データから、所定の音声を再生出力する音声出力ステップと、
    前記音声出力ステップで前記音声を出力したのちに、発話者の音声を入力する音声入力ステップと、
    前記音声入力ステップで音声を入力したのちに、前記発話者の音声の内容を問う文を表示する表示ステップと、
    前記表示ステップで表示した問いに回答する入力を受け付ける入力ステップと、
    前記発話者の音声の内容を問う文に対して可能な回答を類型化して、該類型化された回答それぞれに対応して応答する音声データを記憶する応答音声記憶手段に記憶された音声データから、前記入力ステップで入力された回答に対応する音声データを選択して出力する応答出力ステップと、
    を実行させることを特徴とするプログラム。

Images