JP2004279799A

JP2004279799A - 発話評価装置及び発話評価方法

Info

Publication number: JP2004279799A
Application number: JP2003071915A
Authority: JP
Inventors: Yoshinori Kosaka; 芳典匂坂; Takuo Naito; 拓郎内藤; Daiki Maeki; 大樹前木; Aki Kondo; 亜希近藤
Original assignee: Waseda University
Current assignee: Waseda University
Priority date: 2003-03-17
Filing date: 2003-03-17
Publication date: 2004-10-07

Abstract

【課題】発話リズムの自然性を正確に評価することができる発話評価装置及び発話評価方法を提供すること。
【解決手段】学習者が英文を発話したときの音声データを生成する音声データ生成部１２と、学習者の音声データ及び発話リズムの評価基準となる基準音声データを用いて、発話リズムの評価に相関した複数の音響特徴量を求める特徴量算出部１５と、前記各音響特徴量から発話リズムを総合的に評価する総合評価部１６とを備えて発話評価装置１０が構成されている。総合評価部１６は、前記文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から複数種の音響特徴量を用いて、前記発話リズムの評価を決定するようになっている。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、発話評価装置及び発話評価方法に係り、更に詳しくは、発話リズムの自然性を正確に評価することのできる発話評価装置及び発話評価方法に関する。
【０００２】
【従来の技術】
従来、日本人等が英語等の外国語の発音練習を行う際に用いられる語学学習用装置として、単語の発音の正確性をコンピュータで自動評価する装置が多数知られている（例えば、特許文献１等参照）。ところが、外国語の発音練習を行う際には、前記装置による単語の発音の正確性の評価の他に、外国語の文章を発話したときの文章全体の発話リズムの正確性の評価も要請されるところである。このような要請に関し、後記特許文献２には、ネイティブスピーカ等に対する学習者の発話リズムの相違を分析する言語学習装置が開示されている。この言語学習装置は、学習者に所定の外国語文章を発話させたときの音声波形と、ネイティブスピーカに同一の外国語文章を発話させたときの音声波形とを対比することで、ネイティブスピーカに対する発話リズムの相違を学習者に教示するようになっている。具体的には、各音声波形から、文章中の語節間に見られるポーズの時間差を求めて、当該時間差を学習者に教示するようになっている。
【０００３】
【特許文献１】
特開２００１−２８２０９６号公報
【特許文献２】
特開２００１−３１８５９２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前記特許文献２の言語学習装置にあっては、ポーズの時間という単一の音響パラメータで発話リズムの評価を行っており、これでは、発話リズムの自然性を正確に評価できないという不都合がある。すなわち、例えば、学習者が日本人で英語の発音練習をする場合、学習者は、多かれ少なかれ日本語のリズムを用いて発話する傾向が強い。従って、この傾向の学習者に英文を発話させると、ネイティブスピーカ等の習熟者に対して、ポーズの時間差の他に、次のような他の発話事象の相違が見られる場合がある。例えば、文章全体を長く発話したり、実際にはあまり発声されない機能語（前置詞、接続詞、助詞、助動詞、冠詞等）をはっきり発声したり、見慣れない長い単語の場合等の途中に、本来挿入されないポーズを挿入したりすることがあり、これら他の発話事象の相違も、習熟者に対する発話リズムの相違をもたらすことになる。従って、仮に、学習者と習熟者との間でポーズの時間差に相違がなくても、前述した他の発話事象の相違があると、実際には、習熟者に対して発話リズムが著しく悪くなることになる。この点、前記言語学習装置にあっては、ポーズの時間差のみで発話リズムの相違を分析するものであって、前記他の発話事象の相違を全く考慮していないため、発話リズムの自然性を正確に評価できない。
【０００５】
ところで、発話リズムを正確に評価するための音響パラメータとしては、前述したように種々のものが存在すると考えられる。そこで、本発明者らは、鋭意研究の結果、発話リズムの評価に相関する音響パラメータを知見し、それらを用いて統計学的に発話リズムを総合的に客観評価する手法を案出した。そして、当該客観評価は、ネイティブスピーカ等の多くの習熟者が人的に発話リズムを評価したときの人的評価に近似する結果が得られることを知見した。すなわち、ここでは、先ず、英会話の習得度に幅がある多数の日本人（被評価者）に一定の英文を読んでもらい、その発話リズムをネイティブスピーカ等の習熟者に評価させた。この際の評価は、降順に発話リズムを良好とする五段階評価によって行った。この際、予め被評価者に対し、英文内の各単語に対する発音記号や発話上の注釈等の情報を付与することで、前記被評価者の単語の発音ミス等を極力排除し、純粋な発話リズムの評価が得られるようにした。そして、各被評価者の音声データから、予め想定した多数の音響パラメータ毎に、ネイティブスピーカ等が前記英文を発話したときの基準音声データとの差（音響特徴量）を求め、各音響特徴量と、前記習熟者の人的評価による評価値との相関関係（相関値）を求めた。そして、ある程度相関値の高いものを複数選択し、重回帰分析による各音響特徴量の線形和により計算上の評価値を得た。この計算上の評価値は、習熟者の人的評価よる評価値に近似する値となった。
【０００６】
【発明の目的】
本発明は、このような不都合及び発明者らの知見に基づいて案出されたものであり、その目的は、発話リズムの自然性を正確に評価することができる発話評価装置及び発話評価方法を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、本発明は、学習者が所定の文章を発話することで得られる音声データにより、前記学習者の発話リズムの自然性を評価する発話評価装置において、
前記発話リズムの評価に相関した複数の音響特徴量を前記音声データから求める特徴量算出部と、前記各音響特徴量に基づいて前記発話リズムを総合的に評価する総合評価部とを備え、
前記総合評価部は、前記文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から複数種の音響特徴量を用いて、前記発話リズムの評価を決定する、という構成を採っている。このような構成によれば、文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から複数種の音響特徴量を用いて、発話リズムの評価が決定されるため、従来おけるポーズの時間差による発話リズムの評価に比べ、発話リズムの自然性を正確に評価することができる。このため、学習者は、ネイティブスピーカ等の習熟者に自己の発話を聞いてもらわなくても、当該多くの習熟者による評価結果に近似した信頼性の高い評価を少ない手間で得ることができる。
【０００８】
また、前記総合評価部は、文章の構成に応じて音響特徴量の選択を変えて、前記発話リズムの評価を決定する、という構成を採ることが好ましい。このような構成により、文章の構成の違いによって、発話リズムの評価の視点が異なる場合であっても、各文章の構成に応じた発話リズムの評価を行うことができ、発話リズムの評価精度を更に高めることができる。
【０００９】
更に、本発明は、学習者が所定の文章を発話することで得られる音声データにより、前記学習者の発話リズムの自然性をコンピュータにより評価する方法において、
前記コンピュータでは、前記音声データに基づき、前記文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から音響特徴量を複数種求め、当該各音響特徴量を用いて前記発話リズムの総合的な評価を決定する、という手法を採っており、このような手法によっても、前述の目的を達成することができる。
【００１０】
なお、本明細書における「音響特徴量」は、所定の音響パラメータにおける学習者の音声データと、所定の評価基準者の基準音声データとの差異を表す概念として用いる。
【００１１】
【発明の実施の形態】
本明細書における「文章の発話時間に着目した音響特徴量」としては、次に掲げるものを例示できる。
（１）文章全体の発話時間の差（以下、「文の時間長の差Ｓ_１」という）
（２）前記（１）の絶対値（以下、「文の時間長の絶対誤差Ｓ_２」という）
（３）文章全体の発話時間からポーズの時間を除いた時間の差（以下、「ポーズ除き文の時間長の差Ｓ_３」という）
（４）前記（３）の絶対値（以下、「ポーズ除き文の時間長の絶対誤差Ｓ_４」という）
【００１２】
また、「文章中の単語の発話時間に着目した音響特徴量」としては、次に掲げるものを例示できる。
（５）単語毎の発話時間を文章全体で総合計した時間の二乗誤差（以下、「単語時間長の差Ｗ_１」という）
（６）前記（５）で総合計した時間を文章中の単語数で割った値の二乗誤差（以下、「単語時間長の平均誤差Ｗ_２」という）
（７）各単語のうち、文法的機能を示す機能語（前置詞、接続詞、助詞、助動詞、冠詞等）毎の発話時間を文章全体で総合計した時間の二乗誤差（以下、「機能語時間長の差Ｗ_３」という）
（８）前記（７）で総合計した時間を文章中の機能語数で割った値の二乗誤差（以下、「機能語時間長の平均誤差Ｗ_４」という）
【００１３】
更に、「発話中のポーズに着目した音響特徴量」としては、次に掲げるものを例示できる。
（９）ポーズの回数の差（以下、「ポーズ回数差Ｐ_１」という）
（１０）ポーズの回数を単語境界数で割った値の差（以下、「ポーズ回数の平均誤差Ｐ_２」という）
（１１）、学習者の音声データに、基準音声データに見られない挿入誤りポーズが存在するとき、当該挿入誤りポーズの総合計数（以下、「挿入誤りポーズ回数Ｐ_３」という）
（１２）前記（１１）の挿入誤りポーズ回数Ｐ_３を単語境界数で割った値（以下、「挿入誤りポーズの平均回数Ｐ_４」という）
（１３）前記ポーズの時間を文章全体で総合計した時間の差（以下、「文全体でのポーズ長の差Ｐ_５」という）
（１４）前記（１３）で総合計した時間を単語境界数で割った値の差（以下、「文全体でのポーズ長の平均誤差Ｐ_６」という）
（１５）対応する場所のポーズ毎に発話時間の二乗誤差を求め、当該二乗誤差を文章全体で総合計した値（以下、「対応するポーズ長の全誤差Ｐ_７」という）
（１６）前記（１５）における対応するポーズ長の誤差Ｐ_７を単語境界数で割った値（以下、「対応するポーズ長の平均誤差Ｐ_８」という）
（１７）前記挿入誤りポーズの時間を文章全体で総合計した時間（以下、「挿入誤りポーズ長Ｐ_９」という）
（１８）前記（１７）の挿入誤りポーズ長Ｐ_９を単語境界数で割った値（以下、「挿入誤りポーズ長の平均誤差Ｐ_１０」という）
【００１４】
なお、音響特徴量としては、発話リズムの評価に有用である限り、前述の他、評価対象の言語に応じて種々のものを採用することができる。例えば、日本人の学習者が英語の発話リズムを学習する場合に、英語の強勢は比較的等間隔で現れるという日本語との相違に着目し、文中の強勢の相違を音響特徴量とすることができる。
【００１５】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
【００１６】
図１には、本実施例に係る発話評価装置の概略構成図が示されている。この図における発話評価装置１０は、学習者が所定の文章を発話することで得られる音声データに基づき、前記学習者の発話リズムの自然性をコンピュータにより評価する装置である。具体的には、学習者として日本人を対象とし、所定の英文を各学習者に発話させることによって、ネイティブスピーカ等の多くの習熟者が実際に評価したときと略同等の評価を自動的に行えるようになっている。なお、発話リズムの評価精度を高めるため、学習者には、予め、前記英文中の各英単語に発音記号や発話上の注釈等の情報が付与され、それを踏まえて各学習者が前記英文を発話するようになっている。
【００１７】
前記発話評価装置１０は、図１に示されるように、前記学習者が前記英文を発話したときの音声を集音してアナログ信号に変換するマイク１１と、このマイク１１からのアナログ信号をデジタル信号に変換して音声波形等からなる音声データを生成する音声データ生成部１２と、発話リズムの評価基準となる基準音声データが記憶された記憶部１３と、学習者の音声データ及び前記基準音声データを用いて、発話リズムの評価に相関した複数の音響特徴量を求める特徴量算出部１５と、前記各音響特徴量から発話リズムを総合的に評価する総合評価部１６と、この総合評価部１６による評価等の情報を表示するディスプレイ等の表示手段１７とを備えて構成されている。
【００１８】
前記記憶部１３に記憶された基準音声データは、学習者に発話させる英文と同一の英文をネイティブスピーカ等の習熟者に発話させたときの音声波形等の音声データであり、要するに、前記英文に対する高い発話レベルの音声データである。
【００１９】
前記特徴量算出部１５では、学習者の音声データを基準音声データに対比することで、英文の発話時間に着目した音響特徴量、前記英文中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から複数の音響特徴量が求められるようになっている。本実施例では、前述した音響特徴量（１）〜（１８）のうち９種類、すなわち、（１）文の時間長の差Ｓ_１と、（２）文の時間長の絶対誤差Ｓ_２と、（４）ポーズ除き文の時間長の絶対誤差Ｓ_４と、（５）単語時間長の差Ｗ_１と、（８）機能語時間長の平均誤差Ｗ_４と、（１３）文全体でのポーズ長の差Ｐ_５と、（１４）文全体でのポーズ長の平均誤差Ｐ_６と、（１５）対応するポーズ長の全誤差Ｐ_７と、（１６）対応するポーズ長の平均誤差Ｐ_８とが求められる。
【００２０】
前記総合評価部１６では、特徴量算出部１５で求めた各音響特徴量に基づいて、学習者の発話リズムの自然性を表す評価値Ｅを決定するようになっている。すなわち、この評価値Ｅは、降順に発話リズムを良好とする五段階（小数点第一位まで）で表現され、本発明者らによる前述の知見に基づく重回帰分析を用いて求められる。具体的に、評価値Ｅは、特徴量算出部１５で求めた各音響特徴量を次式に代入することで求められる。
【数１】

ここで、上式において、各音響特徴量に乗ずる係数は、本発明者らの前述の知見に関するデータ（相関値等）に基づく重回帰分析によって求めた値となっている。
なお、評価値Ｅは、本発明者らによる前述の知見に関するデータに基づき、他の統計学的手法によって求めることも可能である。
【００２１】
前記表示手段１７では、学習者の発話リズムの評価値Ｅや当該評価値Ｅに対応する評価文等が表示される。この評価文としては、「あなたの発話リズムは、ネイティブスピーカに近い」、「あなたの発話リズムは、日本語的で現地人に意味を正確に伝えられない」、等を例示できる。その他に、表示手段１７では、特徴量算出部１５で求めた各音響特徴量に対応して、音響パラメータ毎に評価文を表示することもできる。例えば、この評価文としては、「文章全体の発話時間については、ネイティブスピーカとの差があまりないが、対応するポーズの時間がネイティブスピーカに比べて長い」、等を例示できる。なお、表示手段１７では、学習者の発話時に前記英文を表示させることもでき、この英文を見ながら学習者が発話することも可能であり、この場合は、当該英文等が記載された紙媒体の使用を省略できる。
【００２２】
次に、前記発話評価装置１０による発話リズムの評価手順につき説明する。
【００２３】
先ず、学習者は、所定の用紙に記載され、若しくは、表示手段１７に表示された英文を見ながら発話する。そして、その音声がマイク１１で集音され、音声データ生成部１２で評価対象となる学習者の音声データが生成される。次いで、特徴量算出部１５で、発話リズムの評価に相関した前述の９種類の音響特徴量が求められる。その後、総合評価部１６で、求めた各音響特徴量から発話リズムの自然性に係る総合評価となる評価値Ｅが求められ、この評価値Ｅが他の評価文等とともに表示手段１７に表示される。
【００２４】
従って、このような実施例によれば、評価を受ける学習者は、ネイティブスピーカ等に自己の発話を聞いてもらわなくても、自己の発話リズムの客観的な習得度を容易且つ正確に把握できるという効果を得る。
【００２５】
［変形例］
なお、総合評価部１６としては、文章の構成に応じて音響特徴量の選択を変え、異なるアルゴリズムで評価値Ｅを算出する構成にすることができる。ここでは、例えば、機能語を含む文章と含まない文章との間では、発話リズムに相関する音響特徴量に多少の違いが見られることに着目し、機能語を含む文章と機能語を含まない文章との間で、特徴量算出部１５で算出する音響特徴量の種類を変え、総合評価部１６での演算式を変えることで評価値Ｅを算出するようになっている。
【００２６】
具体的に、機能語を含む文章における発話リズムの評価を行う場合、特徴量算出部１５では、音響特徴量として、前述した音響特徴量（１）〜（１８）のうち７種類、すなわち、（２）文の時間長の絶対誤差Ｓ_２と、（４）ポーズ除き文の時間長の絶対誤差Ｓ_４と、（５）単語時間長の差Ｗ_１と、（６）単語時間長の平均誤差Ｗ_２と、（７）機能語時間長の差Ｗ_３と、（１４）文全体でのポーズ長の平均誤差Ｐ_６と、（１６）対応するポーズ長の平均誤差Ｐ_８とが求められる。また、総合評価部１６では、求めた７種類の音響特徴量を次式に代入し、評価値Ｅが求められる。
【数２】

【００２７】
一方、機能語を含まない文章における発話リズムの評価を行う場合、特徴量算出部１５では、音響特徴量として、前述した音響特徴量（１）〜（１８）のうち１１種類、すなわち、（１）文の時間長の差Ｓ_１と、（２）文の時間長の絶対誤差Ｓ_２と、（４）ポーズ除き文の時間長の絶対誤差Ｓ_４と、（６）単語時間長の平均誤差Ｗ_２と、（９）ポーズ回数差Ｐ_１と、（１０）ポーズ回数の平均誤差Ｐ_２と、（１１）挿入誤りポーズ回数Ｐ_３と、（１２）挿入誤りポーズの平均回数Ｐ_４と、（１４）文全体でのポーズ長の平均誤差Ｐ_６と、（１６）対応するポーズ長の平均誤差Ｐ_８と、（１７）挿入誤りポーズ長Ｐ_９とが求められる。また、総合評価部１６では、求めた１１種類の音響特徴量を次式に代入し、評価値Ｅが求められる。
【数３】

【００２８】
従って、このような変形例によれば、構成の異なる文章毎に、発話リズムの自然性をより正確に評価することが可能になる。
【００２９】
なお、本発明に適用可能な音響特徴量としては、前記実施例及び変形例で用いた音響特徴量に限定されず、発話リズムの評価に相関する音響特徴量であれば、種々の音響特徴量を任意に選択することができる。
【００３０】
また、前記発音評価装置１０に、単語の発音やイントネーション等を評価する装置を組み入れ、発音の誤りやイントネーションの相違等をも考慮した総合的な発音評価を行えるようにしてもよい。
【００３１】
更に、前記実施例及び変形例では、英語の発話評価を可能としたが、本発明はこれに限らず、音響特徴量の選択及び総合評価部１６のアルゴリズムの変更等により、他の外国語や日本語の発話リズムの評価にも応用可能である。
【００３２】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【００３３】
【発明の効果】
以上説明したように、本発明によれば、発話リズムの自然性の評価を従来に比べて極めて正確に評価することができ、ネイティブスピーカに発話評価してもらう手間等を省き、発音練習を自己都合で効率的に行うことができる。
【図面の簡単な説明】
【図１】本実施例に係る発話評価装置の概略構成図。
【符号の説明】
１０発話評価装置
１５特徴量算出部
１６総合評価部

Claims

学習者が所定の文章を発話することで得られる音声データにより、前記学習者の発話リズムの自然性を評価する発話評価装置において、
前記発話リズムの評価に相関した複数の音響特徴量を前記音声データから求める特徴量算出部と、前記各音響特徴量に基づいて前記発話リズムを総合的に評価する総合評価部とを備え、
前記総合評価部は、前記文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から複数種の音響特徴量を用いて、前記発話リズムの評価を決定することを特徴とする発話評価装置。
前記総合評価部は、文章の構成に応じて音響特徴量の選択を変えて、前記発話リズムの評価を決定することを特徴とする請求項１記載の発話評価装置。
学習者が所定の文章を発話することで得られる音声データにより、前記学習者の発話リズムの自然性をコンピュータにより評価する方法において、
前記コンピュータでは、前記音声データに基づき、前記文章の発話時間に着目した音響特徴量、前記文章中の単語の発話時間に着目した音響特徴量、及び発話中のポーズに着目した音響特徴量の中から音響特徴量を複数種求め、当該各音響特徴量を用いて前記発話リズムの総合的な評価を決定することを特徴とする発話評価方法。