WO2012093451A1

WO2012093451A1 - 音声認識システム、音声認識方法および音声認識プログラム

Info

Publication number: WO2012093451A1
Application number: PCT/JP2011/007203
Authority: WO
Inventors: 長田　誠也; 健花沢; 岡部　浩司
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-01-07
Filing date: 2011-12-22
Publication date: 2012-07-12
Anticipated expiration: 2013-07-07
Also published as: JPWO2012093451A1; US20130268271A1

Abstract

　音声認識システムは、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成して最適な解を探索する仮説探索手段と、仮説探索手段が探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定手段と、言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する透過単語仮説生成手段とを備える。

Description

音声認識システム、音声認識方法および音声認識プログラム

　本発明は、音声認識システム、音声認識方法および音声認識プログラムに関する。

　近年、音声認識技術の応用が進み、人から機械への読み上げ発声だけでなく、人から人への自然な発声に対しても音声認識技術が用いられるようになっている。

　音声認識誤りを引き起こす原因として、言い直しの現象が存在する。言い直しは、ある単語列をそのまま、または別の単語列に置き換えて発声しなおす現象である。

　以下では、非特許文献１に記載のモデル（Ｒｅｐａｉｒ　Ｉｎｔｅｒｖａｌ　Ｍｏｄｅｌ）に基づき、言い直しに関する区間について、修復対象区間（ｒｅｐａｒａｎｄｕｍ　ｉｎｔａｅｒｖａｌ）、非流暢区間（ｄｉｓｆｌｕｅｎｃｙ　ｉｎｔｅｒｖａｌ）、修復区間（Ｒｅｐａｉｒ　Ｉｎｔｅｒｖａｌ）の３つの区間に分け、それらが連続すると仮定する。修復対象区間は、後続の発声で言い直される区間をいう。また、修復区間は、先行する発声区間を言い直した発声区間をいう。また、非流暢区間は、言い淀みや間投詞など、先行する発声区間を言い直してはいないが後続の修復区間に繋げるために修復対象区間と修復区間の後に何らかの音が発声された区間をいう。例えば、「りんご、あ、バナナがいいです」という入力があったときに、「りんご」の部分を修復対象区間、「あ」の部分を非流暢区間、「バナナ」の部分を修復区間とする。なお、修復対象区間は言い直し前区間と呼ばれる場合がある。またこれに対して、修復区間は言い直し後区間と呼ばれる場合がある。なお、非流暢区間は、言い直し前区間に含むとされる場合も、言い直し後区間に含むとされる場合もある。また、どちらにも含まれずに別個の区間とされる場合や省略される場合もある。以下、修復対象区間から修復区間までの区間を単に言い直し区間と呼ぶ場合がある。

　また、このような言い直しなどの不適格性を持つ文を統一的に解析する言語解析システムが、非特許文献２に記載されている。非特許文献２に記載されているシステムは、入力をテキストとした言語解析のためのシステムであって、係り受けの拡張として実現されている。

Nakatani, C. and Hirschberg, J, "A speech-first model for repair detection and correction", Proceedings of the 31st annual meeting on Association for Computational Linguistics, 1993, p.46-53 伝　康晴，"統一モデルに基づく話し言葉の解析"，自然言語処理　Ｖｏｌ．４，Ｎｕｍ．１，１９９７年，　ｐ．２３－４０

　しかし、非特許文献２に記載されているように、言語解析システムでは係り受け解析のように長距離の情報を見ながら解析することが一般的であるが、音声認識システムでは言語モデルとしてＮ－ｇｒａｍ言語モデルを使用するのが一般的である。そのため、Ｎ－ｇｒａｍ言語モデルを使用する音声認識システムは、長距離の情報を見ることができず、言い直しなどの不適格性を持つ音声を統一的に解析することはできない。

　そこで、本発明は、音声認識システムの言語モデルとしてＮ－ｇｒａｍ言語モデルを使用する場合においても、言い直しに頑健な音声認識システム、音声認識方法および音声認識プログラムを提供することを目的とする。

　本発明による音声認識システムは、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成して最適な解を探索する仮説探索手段と、仮説探索手段が探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定手段と、言い直し判定手段によって言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する透過単語仮説生成手段とを備え、仮説探索手段は、探索対象とする仮説に透過単語仮説生成手段によって生成された透過単語仮説を含めて最適な解を探索することを特徴とする。

　また、本発明による音声認識方法は、仮仮説探索手段が、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する過程で、探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定し、言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成することによって、仮説探索手段が、探索対象とする仮説に、生成された透過単語仮説を含めて最適な解を探索することを特徴とする。

　また、本発明による音声認識プログラムは、コンピュータに、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する仮説探索処理の過程で、探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定処理、言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する透過単語仮説生成処理を実行させ、仮説探索処理で、探索対象とする仮説に、生成された透過単語仮説を含めて最適な解を探索させることを特徴とする。

　本発明によれば、音声認識システムの言語モデルとしてＮ－ｇｒａｍ言語モデルを使用する場合においても、言い直しに頑健な音声認識システム、音声認識方法および音声認識プログラムを提供することができる。

第１の実施形態の音声認識システムの構成例を示すブロック図である。第１の実施形態の音声認識システムの動作の一例を示すフローチャートである。第２の実施形態の音声認識システムの構成例を示すブロック図である。第２の実施形態の音声認識システムの動作の一例を示すフローチャートである。仮説生成をする前の仮説の一例を示す説明図である。仮説生成をする前の仮説の他の例を示す説明図である。非流暢区間と修復区間の単語列を透過単語とみなして生成される仮説の例を示す説明図である。修復対象仮説と非流暢区間の単語列を透過単語とみなして生成される仮説の例を示す説明図である。本発明の概要を示すブロック図である。本発明による音声認識システムの他の構成例を示すブロック図である。

　以下、本発明の実施形態について図面を参照して説明する。

実施形態１．
　図１は、本発明の第１の実施形態の音声認識システムの構成例を示すブロック図である。図１に示す音声認識システムは、音声入力部１と、音声認識部２と、結果出力部３とを備える。また、音声認識部２は、仮説探索部２１と、判定部２２と、仮説生成部２３とを含む。

　音声入力部１は、話者の発声を音声データとして取り込む。音声データは、例えば、音声の特徴量系列として取り込まれる。音声認識部２は、音声入力部１によって取り込まれた音声データを入力として音声認識を行って音声認識結果を出力する。結果出力部３は、音声認識結果を出力する。

　仮説探索部２１は、仮説の尤度を計算し、各仮説につながる音素および単語と接続する仮説の展開を行い、解の探索をする。

　判定部２は、各仮説の単語連鎖において、修復対象区間と非流暢区間と修復区間をそれぞれ仮定して、その仮定の下で言い直しらしさを求め、閾値以上の言い直しらしさを判定する。

　仮説生成部２３は、非流暢区間と修復区間の単語列の単語を透過単語として扱った仮説を生成する。

　言い直しらしさについては、無音区間の有無やパワー、ピッチ、話速の急激な変化の有無といった音響的な情報や、非流暢区間の単語の種類、修復対象区間と修復区間の単語の近さなどの指標を用いて計算することができる。これらの指標を単一で用いてもよいし、線形または非線形に結合して用いてもよい。

　本実施形態において、音声入力部１は、例えば、マイクロフォンなどの音声入力装置によって実現される。また、音声認識部２（仮説探索部２１と、判定部２２と、仮説生成部２３とを含む。）は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置によって実現される。また、結果出力部３は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置と、モニタ等の出力装置とによって実現される。

　次に、本実施形態の動作について説明する。図２は、本実施形態の音声認識システムの動作の一例を示すフローチャートである。図２に示す例では、まず、音声認識部１が、話者の発声を音声データとして取り込む（ステップＡ１０１）。

　次に、音声認識部２が、取り込まれた音声データを入力として当該音声データに対して音声認識を行う。ここでは、まず、仮説探索部２１が、入力された音声データ内で、単語が確定していない単語内仮説の尤度計算を行う（ステップＡ１０２）。また、仮説探索部２１は、単語終端にたどり着いた仮説について、確定した単語に基づいて言語尤度を与える（ステップＡ１０３）。なお、単語内仮説とは、音声データに対して時間軸に沿って前から探索を行う過程で、どの単語であるかが確定していない部分において、語頭が同じ音素の単語を一つの仮説として扱うその単位（ひとまとまり）をいう。従って、ステップＡ１０２での段階では、仮説探索部２１は、単語が確定していない単語内仮説に対して、”音響尤度＋近似された言語尤度”という形で尤度計算を行う。なお、正確に単語連鎖の言語尤度を計算して、”音響尤度＋言語尤度”と合算するのは該仮説が単語終端までたどり着き、単語が確定した時であり、この時にＡ１０３に移行する。

　仮説探索部２１が仮説を探索する過程において、判定部２２は、確定した単語列の中から順に、修復対象区間と非流暢区間と修復区間の組を仮定して、それらを列挙し、１つ目の組を取り出す（ステップＡ１０４）。ここでは、判定部２２は、仮説探索部２１によって生成された仮説（すなわち、探索中の仮説）において一種類の単語として確定したものを対象に、予め定めておいた言い直し区間の設定情報に基づき、修復対象区間と非流暢区間と修復区間を仮定する。修復区間には、確定した単語を含むものとする。なお、修復対象区間と非流暢区間と修復区間とは、例えば連続する１単語ずつの区間であるとしてもよいし、修復対象区間の単語数はＬ個、非流暢区間の単語数はＭ個、修復区間の単語数はＮ個まで許す区間であるとして、各区間の単語数がとりうる複数の組み合わせを全て列挙してもよい（Ｌ、Ｍ、Ｎ≧０）。以下、ステップＡ１０４において列挙された修復対象区間と非流暢区間と修復区間の組を、仮定の言い直し区間組と呼び、またそれらを繋げてなる区間を仮定の言い直し区間と呼ぶ場合がある。

　次いで、判定部２２は、ステップＡ１０４で取り出された仮定の言い直し区間組に対して言い直しらしさを計算する（ステップＡ１０５）。言い直しらしさは、無音区間の有無、またはパワー、ピッチ、話速の急激な変化の有無といった音響的な情報や、非流暢区間の単語の種類、修復対象区間と修復区間の単語の近さなどの指標を用いて計算することができる。

　次いで、判定部２２は、計算された言い直しらしさが閾値以上かどうかの判定をする（ステップＡ１０６）。言い直しらしさが閾値以上の場合には（ステップＡ１０６のＹｅｓ）、仮説生成部２３が、その仮定の言い直し区間組における非流暢区間と修復区間とを透過単語とした仮説を生成する（ステップＡ１０７）。ここで、透過単語とは、音声認識過程において言語的にはないものとして取り扱われる単語をいう。従って、透過単語とされた場合には、仮説の言語尤度計算を行う際に、当該単語を取り除いて尤度の計算が行われる。より具体的には、仮説探索部２１において、透過単語とされた単語については当該単語がなかったものとしてＮ－ｇｒａｍ言語モデルを使用して当該仮説の言語尤度が計算される。

　一方、言い直しらしさが閾値未満の場合は（ステップＡ１０６のＮｏ）、ステップＡ１０８に進む。ステップＡ１０８では、判定部２２は、列挙された仮定の言い直し区間組に、まだ処理していない組が残っているかを確認する。残っている場合は、判定部２２は、ステップＡ１０５に戻り、残りの組の中から１つの組を取り出す（ステップＡ１０８のＹｅｓ）。一方、列挙された仮定の言い直し区間組の全てに対してステップＡ１０５～Ａ１０７までの処理が完了した場合には（ステップＡ１０８のＮｏ）、ステップＡ１０９に進む。

　ステップＡ１０９では、仮説探索部２１が、音声の終端まで仮説探索が終わったかどうかを判定する。ここで、音声の終端まで仮説探索が終わっていない場合は（ステップＡ１０９のＮｏ）、仮説探索部２１は、ステップＡ１０２に戻り、ステップＡ１０７で生成された仮説を加えて、または言い直しと判定された仮説に置き換えた上で、次の音声フレームの仮説探索を行う（次の音声フレームに対してステップＡ１０２～Ａ１０８までの処理を行う）。

　一方、音声の終端まで仮説探索が終わっていた場合は（ステップＡ１０９のＹｅｓ）、結果出力部３は、Ｎ－ｇｒａｍ言語モデルを使用して最終的に最尤となった仮説を音声認識結果として出力する（ステップＡ１１０）。

　以上のように、本実施形態では、探索中の仮説に対して逐次的に言い直し区間を仮定し、言い直しらしさを計算し、結果言い直しであると判定された区間の非流暢区間と修復区間を動的に透過単語として扱った透過単語仮説を生成することで、Ｎ－ｇｒａｍ言語モデルを使用して、言い直しを含む発声の修復対象区間に対して精度良く音声認識することができる。

実施形態２．
　次に、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態の音声認識システムの構成例を示すブロック図である。図３に示す音声認識システムは、図１に示す第１の実施形態と比べて、音声認識部２が結果生成部２４を含む点が異なる。

　また、本実施形態において、仮説生成部２３は、非流暢区間と修復区間の単語列の単語を透過単語として扱った仮説を生成するだけでなく、修復対象区間と非流暢区間の単語列の単語を透過単語として扱った仮説を生成する。

　結果生成部２４は、修復対象区間側の単語列を透過単語として扱った仮説を生成したときの最尤仮説と、修復区間側の単語列を透過単語として扱った仮説を生成したときの最尤仮説とを組み合わせた音声認識結果を生成する。

　次に、本実施形態の動作について説明する。図４は、本実施形態の音声認識システムの動作の一例を示すフローチャートである。本実施形態の動作は、第１の実施の形態の動作と比べて、修復対象区間側の修復対象区間と非流暢区間の単語列の単語を透過単語として扱った仮説を生成するか、修復区間側の非流暢区間と修復区間の単語列の単語を透過単語として扱った仮説を生成するかを判断する透過フラグをシステム内部で保持しておき、修復対象区間側の単語列を透過単語として扱った仮説を生成したときの最尤仮説と、修復区間側の単語列を透過単語として扱った仮説を生成したときの最尤仮説との２つの最尤仮説を生成する点が異なる。

　図４に示す例では、まず、音声入力部１で話者の発声を音声データとして取り込む（ステップＡ２０１）。本実施形態では、音声認識システムは、音声データを取り込んだタイミングで、システム内部で保持している透過フラグを修復区間側に設定する（ステップＡ２０２）。透過フラグは、透過単語を修復対象区間側に作るか、または修復区間側に作るかを示す情報である。

　次に、仮説探索部２１は、入力された音声データ内で、単語が確定していない単語内の仮説の尤度計算を行う（ステップＡ２０３）。また、仮説探索部２１は、単語終端にたどり着いた仮説について、確定した単語に基づいて言語尤度を与える（ステップＡ２０４）。

　一方、判定部２２は、確定した単語列の中から順に、修復対象区間と非流暢区間と修復区間の組を仮定して、それらを列挙し、１つ目の組を取り出す（ステップＡ２０５）。これらの区間は確定した単語を含み、修復対象区間と非流暢区間と修復区間は例えば連続する１単語ずつでもよいし、修復対象区間の単語数はＬ個、非流暢区間の単語数はＭ個、修復区間の単語数はＮ個の区間として、複数の組み合わせを全て列挙してもよい（Ｌ、Ｍ、Ｎ≧０）。

　次いで、判定部２２は、列挙された修復対象区間と非流暢区間と修復区間に対して言い直しらしさを計算する（ステップＡ２０６）。言い直しらしさは、無音区間の有無、またはパワー、ピッチ、話速の急激な変化の有無といった音響的な情報や、非流暢区間の単語の種類、修復対象区間と修復区間の単語の近さなどの指標を用いて計算することができる。

　判定部２２は、計算された言い直しらしさが閾値以上かどうかの判定をする（ステップＡ２０７）。言い直しらしさが閾値以上の場合は（ステップＡ２０７のＹｅｓ）、仮説生成部２３が、システム内部で保持している透過フラグが修復対象区間側であれば、修復対象区間と非流暢区間を透過単語とした仮説を生成し、透過フラグが修復区間側であれば、非流暢区間と修復区間を透過単語とした仮説を生成する。（ステップＡ２０８）。なお、仮説生成部２３によって生成された仮説は、仮説探索部２によって、透過単語とされた単語がなかったものとしてＮ－ｇｒａｍ言語モデルを使用して言語尤度が計算される。

　一方、言い直しらしさが閾値未満の場合はステップＡ２０９に進む（ステップＡ２０７のＮｏ）。

　ステップＡ２０９では、判定部２２は、列挙された修復対象区間と非流暢区間と修復区間の組み合わせが残っているかを確認する。区間の組みが残っている場合は（ステップＡ２０９のＹｅｓ）、その区間の組みについてステップＡ２０５からステップＡ２０８までの処理をする。

　一方、区間の組が残っていなければ（ステップＡ２０９のＮｏ）、ステップＡ２１０に進む。ステップＡ２１０では、仮説探索部２１が、音声の終端まで仮説探索が終わったかどうかを判定し、音声の終端まで仮説探索が終わっていない場合は（ステップＡ２１０のＮｏ）、次の音声フレームに対してステップＡ２０３からステップＡ２０９までの処理を行う。

　音声の終端まで仮説探索が終わっている場合には（ステップＡ２１０のＹｅｓ）、現在の透過フラグが修復区間側かどうかを判定し（ステップＡ２１１）、修復区間側であれば透過フラグを修復対象区間側に変更して（ステップＡ２１２）、入力された音声についてステップＡ２０３からステップＡ２１０までの処理を同様に行う。

　また、現在の透過フラグが修復区間側でなく修復対象区間側であれば（ステップＡ２１１のＮｏ）、結果生成部２４が、先に処理をした修復区間側の仮説の最尤仮説と、後に処理をした修復対象区間側の最尤仮説の仮説を比較する。そして、結果生成部２４は、修復区間側の最尤仮説で修復区間部分が透過単語として選ばれているか、修復対象区間側の最尤仮説で修復対象区間部分が透過単語として選ばれているかを確認し、この言い直し区間に対して、この２つの最尤仮説を組み合わせた結果を生成する（ステップＡ２１３）。なお、結果生成部２４は、修復区間側の最尤仮説で修復区間部分が透過単語として選ばれていない場合や修復対象区間側の最尤仮説で修復対象区間部分が透過単語として選ばれていない場合には、これらの区間は言い直し区間ではないものとして、この組み合わせ処理を行わずに、通常の尤度判定による最尤仮説を当該区間の最尤仮説として結果を生成する。すなわち、結果生成部２４は、２つの最尤仮説でいずれも言い直しのために所定の区間を透過単語とした仮説が最尤仮説として選ばれていることを確認した場合にのみ、当該仮定の言い直し区間について２つの最尤仮説を組み合わせる。

　結果出力部３は、結果生成部２４によって生成された結果を出力する（ステップＡ２１４）。

　以上のように、本実施形態では、修復対象区間と非流暢区間を透過単語として扱った透過単語仮説と、非流暢区間と修復区間を透過単語として扱った透過単語仮説を生成したときのそれぞれの最尤仮説を組み合わせて音声認識結果として出力することで、Ｎ－ｇｒａｍ言語モデルを使用しても、言い直しを含む発声の修復対象区間に対して精度良く音声認識することができる。

　すなわち、修復対象区間と非流暢区間を透過単語と扱った透過単語仮設を生成することで、修復対象区間の前の単語と修復区間と修復区間の後ろの単語のＮ－ｇｒａｍ言語モデルを使用することができる。また、非流暢区間と修復区間を透過単語として扱った透過単語仮説を生成することで、修復対象区間の前の単語と修復対象区間と修復区間の後ろの単語のＮ－ｇｒａｍ言語モデルを使用することができる。これらの２種類の透過単語を含む仮説の言語尤度を踏まえた上でこれらの仮説を組み合わせることにより、修復対象区間の前の単語列、修復対象区間、非流暢区間、修復区間、修復区間の後の単語列のＮ－ｇｒａｍ言語モデルが適切に適応されつつも、発声音声に忠実な音声認識結果を出力することができる。

　また、これら２つの仮説を組み合わせた仮説を音声認識結果として出力する際に、言い直しの区間の情報を付与して出力することによって、出力した当該音声認識結果を言語解析システムで解析するときにこの付与された情報を使用することで、より正確に言語解析をすることが可能となる。

　また、上記説明では、修復対象区間側の処理において、修復区間側と同様な処理をする例を示したが、非流暢区間と修復区間の単語列を透過単語として扱った透過単語仮説を再利用して、言い直しらしい部分に対してのみ、修復対象区間と非流暢区間の単語列を透過単語として扱った透過単語仮説を生成するだけでもよい。

　また、上記説明では、透過単語を修復区間側から先に生成したが、修復対象区間側から生成してもよい。また、分けて最尤判定を行うことを前提にして、１回の言い直し判定で２種類の透過単語仮説（非流暢区間と修復区間の単語列を透過単語として扱った透過単語仮説と、修復対象区間と非流暢区間の単語列を透過単語として扱った透過単語仮説と）を生成することも可能である。

　次に、本発明の第１の実施例を図面を参照して説明する。かかる実施例は、上記第１の実施形態に対応するものである。本実施例では、「ペン、んー、青いので書いて」（日本語発声：図６に示す英語では例は、"a pena bed, you know, please write by a blue onea brown one is made of woods" ）という発声を音声認識する場合を例に挙げて動作の説明をする。

　まず、ステップＡ１０１では、音声入力部１が、話者の「ペン、んー、青いので書いて」（日本語発声：英語例はでは、"a beda pen, you know, a brown one is made of woodsplease write by a blue one" ）という発声を音声データとして取り込む。

　次に、ステップＡ１０２で、仮説探索部２１は、取り込まれた音声データを入力として、どの単語であるかが確定しない単語内仮説の尤度計算をする。この処理は、例えば、この発話例の「書いて」（日本語：英語例はでは、"made of woodsplease write"）という単語の／ｉ／の音素の発声に対して、／ｉ／や／ｕ／の音素のモデルとの音響尤度計算を行い、「青いので」（日本語：英語例はでは、"a brown one isby a blue one" ）といった当該仮説の先方の単語連鎖の言語尤度との合算することに該当する。

　次に、ステップＡ１０３で、仮説探索部２１は、単語終端にたどり着いた仮説について、確定した単語に基づいて言語尤度を与える。

　図５は、本例において探索される仮説の例を示す説明図である。図５において、各楕円は、認識結果の候補として探索が行われる単語（単語仮説）を示している。また、各単語仮説に付された数値は、各単語仮説が先行する単語仮説と連鎖している状態とされる単語連鎖の対数尤度を表す。この例では、「んー」（日本語：英語例はでは、"you know"）という単語が確定した場合に、先行する「ペン」（日本語：英語例は、"a bed"）という発声が「ペン」（日本語：英語例は、"a bed"）という単語仮説になっている場合、「ペンんー」（日本語：英語例はでは、"a beda pen, you know" ）という単語連鎖の言語尤度が与えられている。図５に示す例では、「－６０」という対数尤度が与えられている。なお、同時に「パンんー」（日本語：英語例はでは、"breada pet, you know"）といった単語連鎖の仮説も計算されることがあり、本例では「－５０」という対数尤度が与えられている。

　次に、ステップＡ１０４では、判定部２２が、確定した単語列の中で可能性のある修復対象区間と非流暢区間と修復区間の組を列挙して、１つ目の組を取り出す。例えば、修復区間にはステップＡ１０３で確定した単語を含むようにして、修復対象区間と非流暢区間と修復区間を例えば連続する１単語ずつでもいいし、修復対象区間をＬ単語、非流暢区間をＭ単語、修復区間をＮ単語まで許す連続した区間として、それぞれの組み合わせを全て列挙してもよい。例えば修復対象区間を１単語、非流暢区間を１単語、修復単語を１単語とすると、本発声例では、ステップＡ１０３で「青い」（日本語：英語例はでは、"a brownblue"）という単語が確定した際には、修復対象区間として「ペン」（日本語：英語例では、"a bed"）、非流暢区間として「んー」（日本語：英語例はでは、"you know"）、修復区間として「青い」（日本語：英語例はでは、"a brownblue"）という区間組が列挙される。

　次に、ステップＡ１０５で、判定部２２は、ステップＡ１０４で仮定されて取り出された１の仮定の言い直し区間組に対して言い直しらしさを計算する。本実施例では、言い直しらしさの指標として無音区間の長さ、パワー、ピッチ、話速の急激な変化の有無といった音響情報を用いる。音響的な情報については、あらかじめ修復対象区間と非流暢区間と修復区間がタグ付けされ、さらに音響情報も付与されている学習データを用いて、無音区間の長さ、パワー、ピッチ、話速の時間微分を特徴量とした混合ガウス分布などによってモデル化しておき、当該モデルとの尤度を計算する。

　次に、ステップＡ１０６で、判定部２２は、取り出した１の仮定の言い直し区間の言い直しらしさが閾値以上かどうかの判定を行う。言い直しらしさが閾値以上の場合はステップＡ１０７に進み、閾値未満の場合はステップＡ１０８に進む。

　ステップＡ１０７では、仮説生成部２３が、閾値以上の言い直しらしさを持つ仮説に対して、非流暢区間と修復区間の単語列を透過単語とみなした仮説を生成し、言語的には透過単語とみなされた単語を取り除いて尤度を計算しなおす。なお、生成した仮説の言語尤度の再計算は、仮説探索部２１によって実行されてもよい。

　本発声例において、非流暢区間が「んー」（日本語：英語例はでは、"you know"）、修復区間が「青い」（日本語：英語例はでは、"a brownblue"）と「の」（日本語：英語例はでは、"one" ）と仮定された場合に生成する仮説の例を図７に示す。図７に示す例では、図５に示した仮説を基に、非流暢区間の「んー」（日本語：英語例はでは、"you know"）と修復区間の「青い」（日本語：英語例はでは、"a brownblue"）と「の」（日本語：英語例はでは、"one" ）とを透過単語とする仮説が新しく生成されたことがわかる。この仮説に対しては、透過単語とみなされた非流暢区間の単語「んー」（日本語：英語例はでは、"you know"）と修復区間の単語「青い」（日本語：英語例はでは、"a brownblue"）と「の」（日本語：英語例はでは、"one" ）とを除き、「ペンで書いて」（日本語：英語例はでは、"please write by a pena bed is made of woods" ）という単語連鎖だとみなして言語尤度が与えられる。本例では、「んー青いので」（日本語：英語例はでは、"you know, a brown one isby a blue one" ）という単語連鎖に与えられる対数尤度は「０」となり、「ペンで」（日本語：英語例はでは、"a bed isby a pen"）という単語連鎖に対して「－１０」という高い対数尤度が与えられる。また本例では、音響尤度に関しては変更しないことにする。

　次に、ステップＡ１０８では、判定部２２は、ステップＡ１０４で列挙された修復対象区間と非流暢区間と修復区間のほかの組み合わせが残っているかを確認する。残っている場合はステップＡ１０４に戻り、残りの組み合わせの中から１つの組み合わせを取り出して、ステップＡ１０４からステップＡ１０７までの処理を同様に繰り返す。

　次に、ステップＡ１０９で、仮説探索部２１が、音声の終端まで仮説探索を終えたかどうかを判定する。音声の終端まで達していない場合は、ステップＡ１０２に戻り、仮説探索部２１が、ステップＡ１０７で生成された仮説を加えて、次の音声フレームの仮説探索をする。音声の終端まで達した場合はステップＡ１１０に進む。

　ステップＡ１１０において、結果出力部３が、最終的に最尤となる仮説である「ペンで書いて」（日本語：英語例はでは、"a bed is made of woodsplease write by a pen" ）という音声認識結果を出力する。

　本実施例を用いることによって、計算した言い直しらしさから非流暢区間と修復区間とみなされた「んー青いの」（日本語：英語例はでは、"you know, a brown oneby a blue one" ）を動的に透過単語として扱うことで、修復対象区間の前の単語と修復対象区間である「ペン」（日本語：英語例は、"a bed"）と修復区間の後ろの単語の「で」（日本語：英語例はでは、"byis"）との距離が短くなる。そのため、従来の音声認識で使用しているＮ－ｇｒａｍ言語モデルでも「パンで書いて」（日本語：英語例はでは、"please write by a breada pet is made of woods" ）よりも「ペンで書いて」（日本語：英語例はでは、"a bed is made of woodsplease write by a pen" ）の方が尤もらしい言語尤度を見ることができるようになる。その結果、Ｎ－ｇｒａｍ言語モデルを使用しても、言い直しを含む発声の修復対象区間に対して精度よく音声認識できる。

　次に、本発明の第２の実施例を図面を参照して説明する。かかる実施例は上記第２の実施形態に対応するものである。本実施例では、第１の実施例と同様に、「ペン、んー、青いので書いて」（日本語発声：英語例はでは、"a beda pen, you know, a brown one is made of woodsplease write by a blue one" ）という発声を音声認識する場合を例に挙げて動作の説明をする。

　まず、ステップＡ２０１では、音声入力部１が、話者の「ペン、んー、青いので書いて」（日本語発声：英語例はでは、"a beda pen, you know, a brown one is made of woodsplease write by a blue one" ）という発声を音声データとして取り込む。

　次に、ステップＡ２０２で、音声認識システムは、修復対象区間側となる修復対象区間と非流暢区間の単語列の単語を透過単語として扱った仮説を生成するか、修復区間側となる非流暢区間と修復区間の単語列の単語を透過単語として扱った仮説を生成するかを判断する透過フラグを、修復区間側に設定する。

　このフラグを修復区間側に設定されているときは、ステップＡ２０３からステップＡ２１０までの動作は、第１の実施例のステップＡ１０２からステップＡ１０９までの動作と同様である。

　次に、ステップＡ２１１で、最初は透過フラグが修復区間側に設定されているのでステップＡ２１２に進み、ステップＡ２１２で透過フラグを修復対象区間側に設定する。次のステップＡ２０３からステップＡ２０７では、第１の実施例と同様に動作する。

　次いで、ステップＡ２０８では、透過フラグが修復対象区間なので、仮説生成部２３が、閾値以上の言い直しらしさを持つ仮説に対して、修復対象区間と非流暢区間の単語列を透過単語とみなした仮説を生成する。そして、仮説生成部２３は、言語的には透過単語とみなされた単語を取り除いて尤度を計算しなおす。

　図８は、本発声例において修復対象区間が「パン」（日本語：英語例はでは、"breada pet" ）または「ペン」（日本語：英語例は、"a bed"）、非流暢区間が「んー」（日本語：英語例はでは、"you know"）と仮定された場合に生成する仮説の例を示す説明図である。図８に示すように、本例では、修復対象区間の「パン」（日本語：英語例はでは、"a pet"bread" ）または「ペン」（日本語：英語例は、"a bed"）と非流暢区間の「んー」（日本語：英語例はでは、"you know"）を除き、「青いので書いて」（日本語：英語例はでは、"a brown one is made of woodsplease write by a blue one" ）という単語連鎖だとみなして言語尤度が与えられる。このため、文頭から「パンんー」（日本語：英語例はでは、"breada pet, you know"）という単語連鎖と、文頭から「ペンんー」（日本語：英語例はでは、"pena bed, you know"）という単語連鎖に与えられる対数尤度は「０」となり、文頭と「青い」（日本語：英語例はでは、"a brownblue"）という単語連鎖に対して「－２０」という高い対数尤度が与えられる。

　ステップＡ２０９では、第１の実施例と同様に、他の組み合わせがないかが判定される。他の組み合わせがなければ、ステップＡ２１０で、音声の終端まで仮説探索を終えたかどうかが判定される。ここで、音声の終端まで仮説探索を終えた場合には、ステップＡ２１１に進む。次のステップＡ２１１では、透過フラグが修復区間側となっているので、ステップＡ２１３に進む。

　ステップＡ２１３では、結果生成部２３が、透過フラグが修復対象区間側のときの最尤仮説である「ペンで書いて」（日本語：英語例はでは、"a bed is made of woodsplease write by a pen" ）と、透過フラグが修復区間側のときの最尤仮説である「青いので書いて」（日本語：英語例はでは、"a brown one is made of woodsplease write by a blue one"）の２つの最尤仮説を使って音声認識結果を生成する。

　ここでは、結果生成部２３は、まず、透過フラグが修復区間側の最尤仮説の中の透過単語としていない修復対象区間の単語列である「ペン」（日本語：英語例は、"a bed"）と非流暢区間の透過単語の単語列である「んー」（日本語：英語例はでは、"you know"）を抽出する。次いで、結果生成部２３は、透過フラグが修復対象区間の最尤仮説の非流暢区間の透過単語の単語列である「んー」（日本語：英語例はでは、"you know"）と透過単語としていない修復区間の単語列である「青いの」（日本語：英語例はでは、"a brown onea blue one"）を抽出する。

　そして、結果生成部２３は、共通する非流暢区間を中心に、修復対象区間、非流暢区間、修復区間の順で単語列を並べ、修復区間より後ろの共通する単語列を並べることで、「ペンんー青いので書いて」（日本語：英語例はでは、"a pena bed, you know, a brown one is made of woodsplease write by a blue one" ）という音声認識結果を生成する。ここでは、修復対象区間側を透過単語として扱った透過単語仮説を生成しつつ仮説探索を行う一連の探索処理において判定された最尤仮説が示す当該言い直し区間における単語連鎖と、修復区間側を透過単語として扱った透過単語仮説を生成しつつ仮説探索を行う一連の探索処理において判定された最尤仮説が示す当該言い直し区間における単語連鎖とを組み合わせることによって、当該言い直し区間における単語を透過単語とせずに全て含んだ状態でそれらの連鎖を示す音声認識結果を生成すればよい。

　最後に、ステップＡ２１４で、ステップＡ２１３で生成された結果が出力される。ここでは、音声認識結果として「ペンんー青いので書いて」（日本語：英語例はでは、"a beda pen, you know, a brown one is made of woodsplease write by a blue one" ）が出力される。

　本実施例によれば、修復対象区間側を透過単語として扱った透過単語仮説と、修復区間側を透過単語として扱った透過単語仮説の最尤仮説を組み合わせて音声認識結果を作成することで、修復対象区間の前の単語列、修復対象区間、非流暢区間、修復区間、修復区間の後の単語列のＮ－ｇｒａｍ言語モデルが適切に適応される。そのため、言い直しを含む発声における誤認識を減少させることが可能である。

　また、音声認識結果としてこのテキスト情報のみを出力するのではなく、「ペン」（日本語：英語例は、"a bed"）に修復対象区間、「んー」（日本語：英語例はでは、"you know"）に非流暢区間、「青いの」（日本語：英語例はでは、"a brown onea blue one"）に修復区間の情報を付与して出力することも可能になる。修復対象区間、非流暢区間、修復区間の情報が付与された音声認識結果を出力すれば、例えば、この音声認識結果を言語解析システムで解析するときに、この付与された情報を使用することでより正確に言語解析することも可能になる。

　次に、本発明の概要について説明する。図９は、本発明の概要を示すブロック図である。図９に示すように、本発明による音声認識装置は、仮説探索手段１０１と、判定手段１０２と、透過単語仮説生成手段１０３とを備えている。

　仮説探索手段１０１（例えば、仮説探索部２１）は、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成して最適な解を探索する。また、仮説探索手段１０１は、探索対象とする仮説に、後述する透過単語仮説生成手段１０３によって生成された透過単語仮説を含めて探索する。

　言い直し判定手段１０２（例えば、判定手部２２）は、仮説探索手段１０１が探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する。

　透過単語仮説生成手段１０３（例えば、仮説生成部２３）は、言い直し判定手段１０２によって言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する。

　また、言い直し判定手段１０２は、仮説探索手段１０１が探索中の仮説に含まれる単語または単語列に対して、当該単語または単語列を修復区間に含む修復対象区間と非流暢区間と修復区間の組み合わせを仮定し、仮定した修復対象区間と非流暢区間と修復区間の組み合わせ毎に言い直しらしさを計算し、計算した言い直しらしさが所定の閾値以上であるか否かを判定することによって、該組み合わせに対して言い直しであるか否かを判定し、透過単語仮説生成手段１０３は、言い直し判定手段１０２によって言い直しであると判定された組み合わせの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説を生成してもよい。

　また、透過単語仮説生成手段１０３は、透過単語仮説として、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説と、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説とを生成し、仮説探索手段１０１は、探索対象とする仮説に、透過単語仮説生成手段によって生成された修復対象区間側透過単語仮説と修復区間側透過単語仮説とを含めて最適な解を探索してもよい。

　また、図１０は、本発明による音声認識システムの他の構成例を示すブロック図である。図１０に示すように、本発明による音声認識システムは、音声認識結果を生成する結果生成手段１０４（例えば、結果生成部２４）を備えていてもよい。そのような場合に、仮説探索手段１０１は、生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理と、生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理とを行い、結果生成手段１０４は、第１の探索処理による音声認識結果と、第２の探索処理による音声認識結果とを組み合わせた音声認識結果を出力してもよい。

　また、結果生成手段１０４は、言い直しであると判定された区間に関し、第１の探索処理による音声認識結果として示される最尤仮説が修復対象区間側透過単語仮説であって、第２の探索処理による音声認識結果として示される最尤仮説が修復区間側透過単語仮説である場合に、該修復対象区間側透過単語仮説が示す当該言い直し区間における単語連鎖と、該修復区間側透過単語仮説が示す当該言い直し区間における単語連鎖とを組み合わせて、当該言い直し区間における単語を透過単語とせずに全て含んだ状態の単語連鎖を示す音声認識結果を出力してもよい。

　また、図示省略しているが、本発明による音声認識システムは、音声認識結果を出力する結果出力手段（例えば、結果出力部３）を備え、結果出力手段は、最尤仮説の単語連鎖によって示されるテキスト情報だけでなく、修復対象区間、非流暢区間または修復区間の情報を付与した音声認識結果を出力してもよい。

　また、本発明による音声認識方法は、仮説探索手段が、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する過程で、透過単語仮説生成手段が、言い直しであると判定された場合に、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説と、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説とを生成し、仮説探索手段が、生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理と、生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理とを行い、結果出力手段が、第１の探索処理による音声認識結果と、第２の探索処理による音声認識結果とを組み合わせた音声認識結果を出力してもよい。

　また、本発明による音声認識プログラムは、コンピュータに、探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定処理、言い直しであると判定された場合に、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説を生成する第１の透過単語仮説生成処理、言い直しであると判定された場合に、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説を生成する第２の透過単語仮説生成処理、生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理、生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理、および第１の探索処理による音声認識結果と、第２の探索処理による音声認識結果とを組み合わせた音声認識結果を出力する結果出力処理を実行させてもよい。

　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１１年１月７日に出願された日本特許出願２０１１－００２３０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、一般の音声認識システムに広く用いることができる。特に、講演音声や対話音声のように人が人に向かって話す音声を認識する音声認識システムに好適に適用可能である。

　１　音声入力部
　２　音声認識部
　２１　仮説探索部
　２２　判定部
　２３　仮説生成部
　２４　結果生成部
　３　結果出力部
　１０１　仮説探索手段
　１０２　判定手段
　１０３　透過単語仮説生成手段
　１０４　結果生成手段

Claims

　入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成して最適な解を探索する仮説探索手段と、
　仮説探索手段が探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定手段と、
　言い直し判定手段によって言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する透過単語仮説生成手段とを備え、
　仮説探索手段は、探索対象とする仮説に透過単語仮説生成手段によって生成された透過単語仮説を含めて最適な解を探索する
　ことを特徴とする音声認識システム。
　言い直し判定手段は、仮説探索手段が探索中の仮説に含まれる単語または単語列に対して、当該単語または単語列を修復区間に含む修復対象区間と非流暢区間と修復区間の組み合わせを仮定し、仮定した修復対象区間と非流暢区間と修復区間の組み合わせ毎に言い直しらしさを計算し、計算した言い直しらしさが所定の閾値以上であるか否かを判定することによって、該組み合わせに対して言い直しであるか否かを判定し、
　透過単語仮説生成手段は、前記言い直し判定手段によって言い直しであると判定された組み合わせの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説を生成する
　請求項１に記載の音声認識システム。
　透過単語仮説生成手段は、透過単語仮説として、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説と、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説とを生成し、
　仮説探索手段は、探索対象とする仮説に、透過単語仮説生成手段によって生成された修復対象区間側透過単語仮説と修復区間側透過単語仮説とを含めて最適な解を探索する
　請求項１または請求項２に記載の音声認識システム。
　音声認識結果を生成する結果生成手段を備え、
　仮説探索手段は、生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理と、生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理とを行い、
　結果生成手段は、前記第１の探索処理による音声認識結果と、前記第２の探索処理による音声認識結果とを組み合わせた音声認識結果を生成する
　請求項３に記載の音声認識システム。
　結果生成手段は、言い直しであると判定された区間に関し、前記第１の探索処理による音声認識結果として示される最尤仮説が修復対象区間側透過単語仮説であって、前記第２の探索処理による音声認識結果として示される最尤仮説が修復区間側透過単語仮説である場合に、前記修復対象区間側透過単語仮説が示す当該言い直し区間における単語連鎖と、前記修復区間側透過単語仮説が示す当該言い直し区間における単語連鎖とを組み合わせて、当該言い直し区間における単語を透過単語とせずに全て含んだ状態の単語連鎖を示す音声認識結果を生成する
　請求項４に記載の音声認識システム。
　音声認識結果を出力する結果出力手段を備え、
　結果出力手段は、最尤仮説の単語連鎖によって示されるテキスト情報だけでなく、修復対象区間、非流暢区間または修復区間の情報を付与した音声認識結果を出力する
　請求項１から請求項５のうちのいずれか１項に記載の音声認識システム。
　仮説探索手段が、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する過程で、
　探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定し、
　言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成することによって、
　前記仮説探索手段が、探索対象とする仮説に、前記生成された透過単語仮説を含めて最適な解を探索する
　ことを特徴とする音声認識方法。
　仮説探索手段が、入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する過程で、
　透過単語仮説生成手段が、言い直しであると判定された場合に、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説と、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説とを生成することによって、
　仮説探索手段が、生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理と、生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理とを行い、
　結果出力手段が、前記第１の探索処理による音声認識結果と、前記第２の探索処理による音声認識結果とを組み合わせた音声認識結果を出力する
　請求項７に記載の音声認識方法。
　コンピュータに、
　入力された音声データに対して、認識結果の候補として探索が行われる単語の連鎖である仮説を生成しつつ最適な解を探索する仮説探索処理の過程で、
　探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定処理、
　言い直しであると判定された場合に、当該単語もしくは単語列を含む言い直し区間のうちの非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った仮説である透過単語仮説を生成する透過単語仮説生成処理を実行させ、
　前記仮説探索処理で、探索対象とする仮説に、前記生成された透過単語仮説を含めて最適な解を探索させる
　ための音声認識プログラム。
　コンピュータに、
　探索中の仮説に含まれる単語または単語列の言い直しらしさを計算し、当該単語または単語列が言い直しであるか否かを判定する言い直し判定処理、
　言い直しであると判定された場合に、修復対象区間または非流暢区間に含まれる単語もしくは単語列を透過単語として扱った修復対象区間側透過単語仮説を生成する第１の透過単語仮説生成処理、
　言い直しであると判定された場合に、非流暢区間または修復区間に含まれる単語もしくは単語列を透過単語として扱った修復区間側透過単語仮説を生成する第２の透過単語仮説生成処理、
　生成された修復対象区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第１の探索処理、
　生成された修復区間側透過単語仮説を探索対象とする仮説に含めて最適な解を探索する第２の探索処理、および
　前記第１の探索処理による音声認識結果と、前記第２の探索処理による音声認識結果とを組み合わせた音声認識結果を出力する結果出力処理を実行させる
　請求項９に記載の音声認識プログラム。