[go: up one dir, main page]

JP2019149030A - 学習品質推定装置、方法、及びプログラム - Google Patents

学習品質推定装置、方法、及びプログラム Download PDF

Info

Publication number
JP2019149030A
JP2019149030A JP2018033719A JP2018033719A JP2019149030A JP 2019149030 A JP2019149030 A JP 2019149030A JP 2018033719 A JP2018033719 A JP 2018033719A JP 2018033719 A JP2018033719 A JP 2018033719A JP 2019149030 A JP2019149030 A JP 2019149030A
Authority
JP
Japan
Prior art keywords
learning
discrete
sequence
quality score
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018033719A
Other languages
English (en)
Other versions
JP6969443B2 (ja
Inventor
睦 森下
Mutsumi Morishita
睦 森下
鈴木　潤
Jun Suzuki
潤 鈴木
永田　昌明
Masaaki Nagata
昌明 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018033719A priority Critical patent/JP6969443B2/ja
Priority to US16/975,679 priority patent/US12271410B2/en
Priority to PCT/JP2019/006555 priority patent/WO2019167794A1/ja
Publication of JP2019149030A publication Critical patent/JP2019149030A/ja
Application granted granted Critical
Publication of JP6969443B2 publication Critical patent/JP6969443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32018—Adapt process as function of results of quality measuring until maximum quality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32188—Teaching relation between controlling parameters and quality parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32195—Feedforward quality control
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

【課題】自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供する。【解決手段】学習品質推定装置９０は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部１６と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部１４と、を備える。【選択図】図１

Description

本発明は、学習品質推定装置、方法、及びプログラムに係り、特に、自然言語処理等の機械学習に用いる学習用データの品質を推定する学習品質推定装置、方法、及びプログラムに関する。
自然言語処理分野の問題を題材として背景技術を説明する。計算機により自然言語を処理する技術は、文章に現れる表層的な文字や単語といった離散シンボルの集合を処理する技術と言える。例えば、ある言語の文を入力し、別の言語の文を出力する自動翻訳システムを考える。このシステムでは、入力および出力の文を単語列（文字列）とみなして処理が行われる。よって、システム内の計算機により、離散系列（シンボル列）から別の離散系列へ変換する処理を行っているとみなすことができる。また、文書要約システム、対話システム、文書構成システムなどの言語を入出力とするシステムは、上述の自動翻訳システム同様、離散系列から別の離散系列へ変換する処理によってシステムが構成されると言える。このように、上述の自然言語処理システム以外の自然言語処理システムでも、自然言語を扱うシステムでは、扱う対象が単語、文、文書といった離散系列であるため、入力から出力へどのような変換を行うかという定義の違いはあるにせよ、処理のフレームワークは同じであり、離散系列から離散系列の変換問題に帰着できる。図５に自然言語処理における変換問題の各種の例を示す。
上述したように、離散系列-離散系列変換問題は、自然言語処理分野において数多くの方法が開発され、様々な方法論が確立されている。古典的には、人間が系列から系列への変換ルールや規則などを記述して変換方法を構築してきた。近年では、正解データを利用したり、最適化法を用いたりするなど、機械学習技術を活用する方法が主流となっている。最近では、機械学習法の中でもリカレントニューラルネットの枠組みを使い、離散系列を実数値ベクトルへ符号化し、その実数値ベクトルから離散系列を復号するという方法論で離散系列-離散系列変換問題を解く方法が提案されている（例えば、非特許文献１を参照。）。この方法は、人手による事前知識を全く使わず、可変長の系列構造から系列構造への変換を固定長の実数値ベクトルへの符号化と復号化のみで実現していることが大きな特徴である。図６に符号化器による符号化及び復号化器による復号化の例を示す。
この「リカレントニューラルネットに基づく離散系列から離散系列への変換器」を、ここでは単純に「離散系列−離散系列変換器」と呼ぶことにする。また、離散系列-離散系列変換器は、離散系列符号化器と離散系列復号化器の二つの組み合わせにて構築されている。また、符号化器／復号化器のパラメタである固定長の実数値ベクトルは、学習用データから自動的に獲得する。パラメタ学習は、それぞれの変換器の理想的な入力と出力のペアの集合を学習用データとして準備し、その学習用データの入力が正しく出力できるようにパラメタ調整を行うことで学習が進む。
離散系列-離散系列変換器のひとつとして，Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器がある（例えば、非特許文献２を参照。）。この手法によれば、符号化器の出力に対して復号化器が各時刻で重み付けを行うことで、より精度の高い系列変換を行うことができる。図７にＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す。
Ilya Sutskever, Oriol Vinyals, and Quoc V Le, Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 27, 2014. Minh-Thang Luong, Hieu Pham and Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation. Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2015.
ところで、自然言語処理では、前述のように学習用データと機械学習技術を用いて変換器を学習する方法が主流となっている。このときの学習用データとは、機械翻訳システムであれば同じ意味を表す２つの言語の文の対であり、対話システムであれば入力文と理想的な対話システムの出力文の対などである。このような機械学習技術を用いる際、使用する学習用データは正しい入出力のペアを前提としており、学習用データに誤ったデータが混入している可能性は通常考慮しない。
しかしながら、一般的にこれらの学習用データは、機械的に収集されたものであることが多く、ゆえに誤ったデータが混入している場合が多い。こういった誤ったデータは、機械学習に悪影響を及ぼし、最終的な変換精度が低下することがある。つまり、自然言語処理で用いられる学習用データには誤ったデータが混入している可能性があり、これが機械学習に悪影響を与える場合がある。従って、これらの誤ったデータを取り除くことができれば、機械学習の精度がより高まることが期待できる。
本発明は、上記の事情に鑑みてなされたものであり、自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る学習品質推定装置は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、を備えている。
また、第２の発明に係る学習品質推定装置は、第１の発明において、前記離散系列変換器が、ニューラルネットワークであり、前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、を含み、前記品質スコア計算部が、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する。
また、第３の発明に係る学習品質推定装置は、第２の発明において、前記品質スコア計算部が、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する。
また、第４の発明に係る学習品質推定装置は、第１〜第３のいずれか１の発明において、前記品質スコア計算部が、複数の第２学習用ペアの各々について、前記品質スコアを計算し、前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えている。
また、第５の発明に係る学習品質推定装置は、第１〜第４のいずれか１の発明において、前記記憶部が、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、前記品質スコア計算部が、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する。
一方、上記目的を達成するために、第６の発明に係る学習品質推定方法は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、を含んでいる。
更に、上記目的を達成するために、第７の発明に係るプログラムは、コンピュータを、第１〜第５のいずれか１の発明に係る学習品質推定装置が備える品質スコア計算部として機能させる。
以上説明したように、本発明に係る学習品質推定装置、方法、及びプログラムによれば、自然言語処理等の分野でよく用いられる、対訳データ、対話データ等の離散系列-離散系列変換のための学習用データ中の誤ったデータを取り除くことができる。その結果、誤ったデータによる機械学習への悪影響が抑えられ、機械学習の精度を向上させることができる。
第１の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。 実施形態に係る品質スコア計算部の構成の一例を示すブロック図である。 第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。 第２の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。 自然言語処理における変換問題の各種の例を示す図である。 符号化器による符号化及び復号化器による復号化の例を示す図である。 Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す図である。
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
［第１の実施形態］
本実施形態では、上述の非特許文献２に記載のＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を用いて対訳学習用データに品質スコアを付与して選択する場合について説明する。この離散系列-離散系列変換器には、上記以外にも様々な手法（例えば、非特許文献３を参照。）が考えられるが、本実施形態においてはどの変換器を使用してもよい。
（非特許文献３）
Dzmitry Bahdanau, Kyunghyun Cho and Yoshua Bengio, Neural Machine Translation by Jointly Learning to Align and Translate. Proceedings of the 3rd International Conference on Learning Representations, 2015.
なお、本実施形態では、離散系列の入力及び出力の一例として図５に示すように、翻訳元言語の入力文及び翻訳先言語の出力文が適用される。この場合、離散シンボルには、入力文に含まれる単語及び出力文に含まれる単語が適用される。なお、離散系列の入力及び出力として、文書要約前の入力文章及び文書要約後の出力文章、あるいは、文書校正前の入力文章及び文書校正後の出力文章を適用してもよい。
まず、問題の定義を述べる。誤り（ノイズ）を含まない入力文及び出力文からなる対訳学習用ペアの文章群を（ＣＦ、ＣＥ）とし、誤りを含んでいる可能性のある入力文及び出力文からなる対訳学習用ペアの文章群を（ＮＦ、ＮＥ）とする。本実施形態では、誤りを含まない対訳学習用ペアに基づいて離散系列-離散系列変換器の学習済みモデルを構築し、構築した離散系列-離散系列変換器の学習済みモデルを用いて誤りを含んでいる可能性のある対訳学習用ペアに品質スコアを付与する。本実施形態に係る品質スコア付与の処理の手順は以下のようになる。
（入力）
誤りを含んでいる可能性のある対訳学習用ペアの入力を受け付ける。
（前処理）
既存の単語分割器を用いて、対訳学習用ペアの入力文及び出力文の各々を単語系列に分割する。
（品質スコア計算）
事前に学習して得られた離散系列-離散系列変換器の学習済みモデルを用いて、出力文の品質スコアを計算する。
（繰り返し）
上記手順を対訳学習用ペア全てについて繰り返し、全ての対訳学習用ペアについて品質スコアを得る。
（選択）
得られた対訳学習用ペアの品質スコアに基づいて、対訳学習用ペアの並べ替えを行い、品質スコアが高い順に予め定められた数の対訳学習用ペアを選択する。
次に、非特許文献２に記載の離散系列-離散系列変換器を用いた学習処理の概要について説明する。
ここでは、上述のように誤りを含んでいない対訳学習用ペアに基づいて離散系列-離散系列変換器を学習する。
なお、ｉ番目の入力文をｆｉ∈ＣＦ、出力文をｅｉ∈ＣＥと表す。ここで、入力単語の種類を頻出Ｖｆ単語、出力単語の種類を頻出Ｖｅ単語に制限し、ここに含まれない単語については未知語として専用のトークンに置き換えるようにしてもよい。
離散系列-離散系列変換器は、図７に示すように、符号化器及び復号化器を備えている。符号化器は、入力文ｆｉに含まれる各単語を固定長のベクトルｅｓに変換する。その後、符号化器は、変換した各単語の固定長のベクトルｅｓから固定長のベクトル系列ｈｓに各々符号化する。
復号化器は、符号化器で最終的に得られた固定長のベクトル系列ｈｓに基づいて、隠れ層（隠れベクトル）ｈｔを求め、固定長のベクトル系列ｈｓと、隠れ層ｈｔとに基づいて、出力文ｅｉを復号化する。その際、各時刻で符号化器が出力した固定長のベクトル系列ｈｓへの重みａｔ、重み付き和ｃｔを、以下に示す式（１）〜（４）により求める。次に、式（５）によりｃｔとｈｔから
を求める。最後に式（６）を用いて出力単語の確率分布を予測し、これを復号に利用する。なお、これらの式は、非特許文献２に記載されている。
ここで、
は、各時刻での符号化器が出力した固定長のベクトル系列を表す。このベクトル系列に基づいて各時刻において符号化器の出力に対して重み付けを行う。また、
は、隠れ層ｈｔの転置を表す。また、
は、モデルパラメータを表す。また、
は、時刻ｔでの復号化器が出力した固定長のベクトル系列を表す。また、
は、モデルパラメータを表す。また、
は、モデルパラメータを表す。また、
は、出力文ｅｉのｔ単語目を表す。
符号化器の内部は、様々な構成が考えられるが、ここでは長短期記憶メモリ（ＬＳＴＭ）により構築する。ただし、リカレントニューラルネット（Recurrent Neural Network、RNN）や、ゲート付きリカレントユニット（Gated Recurrent Unit、GRU）など他の構成であっても問題ない。符号化器と復号化器内のパラメタθｆｅは、上述の通り、誤りを含んでいない対訳学習用ペア（ＣＦ、ＣＥ）を使って決定する。学習後、パラメタθｆｅは固定される。このパラメタθｆｅが符号化の精度を決定する。
パラメタ学習法は、従来の系列構造-系列構造変換器と基本的に同じでよい。学習用ペアの入力文を離散系列-離散系列変換器への入力として、符号化器・復号化器のパラメタに基づき出力文を得る。その際に、学習用ペアの出力文（正解データ）と同じ出力文が得られれば、現在のパラメタはうまく調節ができていると言える。一方、出力文が正解データと同じでない場合は、正解が出るような方向にパラメタを調整する、といった処理を行う。最終的に、学習用ペアすべて正解ができるような方向にパラメタ探索することでパラメタを調整する。
次に、図１を参照して、第１の実施形態に係る学習品質推定装置の構成について説明する。
図１は、第１の実施形態に係る学習品質推定装置９０の機能的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る学習品質推定装置９０は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。
また、本実施形態に係る学習品質推定装置９０は、電気的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る学習品質推定プログラムが記憶されている。なお、学習品質推定プログラムは、ＨＤＤに記憶されていてもよい。
上記の学習品質推定プログラムは、例えば、学習品質推定装置９０に予めインストールされていてもよい。この学習品質推定プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、学習品質推定総著９０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。
ＣＰＵは、ＲＯＭに記憶されている学習品質推定プログラムを読み込んで実行することにより、上記の演算部１０、入力部２０、及び出力部３０として機能する。
本実施形態に係る演算部１０は、分割部１２、品質スコア計算部１４、記憶部１６、及び選択部１８により構成されている。
記憶部１６には、離散系列の入力文と出力文とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列-離散系列変換器（以下、単に離散系列変換器という。）の順方向学習済みモデルが記憶されている。つまり、離散系列変換器の順方向学習済みモデルは、複数の第１学習用ペアを入力として予め離散系列変換器の機械学習により得られた固定長のベクトルにより示されるパラメタθｆｅに基づき生成される。このパラメタθｆｅは、離散系列変換器による入力文から出力文への離散系列の変換に用いられる。なお、入力文は第１離散系列の一例であり、出力文は第２離散系列の一例である。
本実施形態に係る入力部２０は、対応関係に誤りを含んでいる可能性がある入力文及び出力文からなる複数の第２学習用ペアによって構成される文章群の入力を受け付ける。
本実施形態に係る分割部１２は、入力部２０により入力を受け付けた複数の第２学習用ペアの各ペアに含まれる入力文及び出力文の各々を、既存の単語分割器を用いて単語系列に分割する。
本実施形態に係る品質スコア計算部１４は、分割部１２により単語系列に分割された複数の第２学習用ペアを入力として、記憶部１６に記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアについて品質スコアを計算する。
本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。予め定められた数ｎ（ｎは１以上の整数）は、ユーザにより適宜設定できるものとする。
本実施形態に係る出力部３０は、選択部１８により選択されたｎ個の第２学習用ペアを出力する。出力部３０の出力先としては、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等の表示部が適用される。
次に、図２を参照して、本実施形態に係る品質スコア計算部１４の具体的な構成について説明する。
図２は、本実施形態に係る品質スコア計算部１４の構成の一例を示すブロック図である。
図２に示すように、本実施形態に係る品質スコア計算部１４は、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。なお、これらの符号化器１４Ａ及び復号化器１４Ｂは、離散系列変換器を構成している。
本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。
本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。
本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、品質スコアとして出力する。
すなわち、第２学習用ペアの入力文をｆｉ∈ＮＦ、出力文をｅｉ∈ＮＥ、固定長のベクトル系列を
、入力文ｆｉを符号化器により符号化した固定長のベクトル系列をｈｓ、入力文から出力文への離散系列の変換に用いるパラメタをθｆｅ、条件付き確率をｐとした場合に、出力文ｅｉについて、固定長のベクトル系列ｈｓから復号化器１４Ｂにより得られた固定長のベクトル系列
に基づいて、復号化器１４Ｂから出力文ｅｉが得られる際の負の対数尤度Ｊは、以下に示す式（７）及び式（８）により求められる。
更に、出力文ｅｉの単語数を｜ｅｉ｜とした場合、上記で得られた負の対数尤度Ｊを、出力文ｅｉの単語数｜ｅｉ｜で除する。このように単語数を用いて規格化を行うことで、長い文と短い文との違いを品質スコアに反映することができる。この場合、単語当たりの対数尤度Ｊｗは、以下に示す式（９）により求められる。なお、式（８）の条件付き確率ｐは、例えば、式（６）の確率分布を元に、ｅｉを構成する各単語の出力確率を求め、その積を取ることで求めることができる。
以上によって得られた単語当たりの対数尤度Ｊｗを、第２学習用ペアの品質スコアとして出力する。この品質スコアは、複数の第２学習用ペアからなる文章群（ＮＦ、ＮＥ）に含まれる全ペアについて求められる。
更に、複数の第２学習用ペアの全てについて得られた品質スコアに基づいて、複数の第２学習用ペアの並べ替えを行う。並べ替えた後のスコア上位ｎ（ｎ≧１）個の第２学習用ペアを機械学習に用いる。
なお、上記では、離散系列変換器の一例として、図７に示すＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を適用した場合について説明したが、図６に示す一般的な離散系列-離散系列変換器を適用してもよい。この場合、符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列を得る。そして、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、求めた隠れベクトルに基づいて、入力文に対する出力文を得る。
次に、図３を参照して、第１の実施形態に係る学習品質推定装置１０の作用について説明する。なお、図３は、第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。
図３のステップ１００では、入力部２０が、誤りを含んでいる可能性がある入力文及び出力文からなる第２学習用ペアの入力を受け付ける。
ステップ１０２では、分割部１２が、ステップ１００で入力を受け付けた第２学習用ペアに含まれる入力文及び出力文の各々を単語系列に分割する。
ステップ１０４では、品質スコア計算部１４が、ステップ１０２で単語系列に分割した第２学習用ペアについて、記憶部１６に記憶されている順方向学習済みモデルを用いて、第２学習用ペアに含まれる出力文の尤度を算出し、算出した尤度から品質スコアを計算する。
ステップ１０６では、品質スコア計算部１４が、ステップ１０４で計算した品質スコアを、全ての第２学習用ペアについて得られたか否かを判定する。品質スコアが得られたと判定した場合（肯定判定の場合）、ステップ１０８に移行し、品質スコアが得られていないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。
ステップ１０８では、選択部１８が、上記処理で計算した品質スコアが高い順にｎ個の第２学習用ペアを選択し、本学習品質推定プログラムによる一連の処理を終了する。
このように本実施形態によれば、離散系列変換器の学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて品質スコアを計算することにより、誤った学習用ペアを取り除くことができる。これにより、誤った学習用ペアによる機械学習への悪影響を抑え、機械学習の精度を向上させることができ、更に機械学習に要する時間を短縮することができる。
［第２の実施形態］
上記第１の実施形態では、誤りを含まない第１学習用ペアの文章群（ＣＦ、ＣＥ）を利用して離散系列変換器の入力文から出力文への順方向のパラメタθｆｅを学習して利用した。本実施形態では、離散系列変換器の出力文から入力文への逆方向のパラメタθｅｆも学習して利用する。これにより更なる精度向上を図ることが可能となる。この場合、例えば、両方向で得られた品質スコアＪｗの和を取り、それを選択に利用することができる。
図４は、第２の実施形態に係る学習品質推定装置９２の機能的な構成の一例を示すブロック図である。
図４に示すように、本実施形態に係る学習品質推定装置９２は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。なお、第１の実施形態に係る学習品質推定装置９０と同一の機能を有する構成要素には、同一の符号を付しここでの繰り返しの説明は省略する。
記憶部１６Ａには、第１の実施形態と同様に、複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列変換器の順方向学習済みモデルが記憶されている。また、記憶部１６Ｂには、複数の第１学習用ペアに基づいて予め学習された、離散系列の出力文を入力文に変換する離散系列変換器の逆方向学習済みモデルが記憶されている。この離散系列変換器の逆方向学習済みモデルは、離散系列変換器による出力文から入力文への離散系列の変換に用いられるパラメタに基づき生成される。なお、これらの記憶部１６Ａ及び記憶部１６Ｂは、１つの記憶部として構成してもよい。
本実施形態に係る品質スコア計算部１４は、第２学習用ペアについて、順方向学習済みモデル及び逆方向学習済みモデルの各々を用いて品質スコアを計算する。具体的には、複数の第２学習用ペアを入力として、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる出力文の品質スコアを計算し、更に、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる入力文の品質スコアを計算する。
ここで、本実施形態に係る品質スコア計算部１４は、図２に示す品質スコア計算部１４と同様に、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。
本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。また、符号化器１４Ａは、第２学習用ペアに含まれる出力文の各単語を、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。
本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。また、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、出力文に対する入力文を得る。
本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。具体的には、上述の式（７）及び式（８）を用いて算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、順方向の品質スコアとして出力する。また、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文について、第２学習用ペアに含まれる出力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから入力文が得られる際の負の対数尤度を算出する。この場合、上述の式（７）及び式（８）において入力文と出力文との関係を逆にすればよい。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文の負の対数尤度を入力文の単語数で除することで得られる単語当たりの負の対数尤度を、逆方向の品質スコアとして出力する。
本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。なお、本実施形態では、品質スコアとして、順方向学習済みモデルを用いた場合に得られる順方向の品質スコアと、逆方向学習済みモデルを用いた場合に得られる逆方向の品質スコアとの和を適用する。
このように本実施形態によれば、入力文から出力文への順方向、及び、出力文から入力文への逆方向の両方向についての学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて両方向から品質スコアを計算する。これにより、誤った学習用ペアをより精度よく取り除くことができる。
上述したように、一般に自然言語処理で用いられる離散系列-離散系列変換器の学習用データには誤ったデータが混入していないことが前提となっている。しかし、現実には多くの場合、誤ったデータが混入しており、これらが機械学習に悪影響を与えることがある。
これに対して、上記各実施形態を用いることにより学習用データの品質を推定することができ、それを基に学習用データを選択することで、機械学習に悪影響を与える誤ったデータを取り除くことができる。ゆえに、本実施形態を適用することで機械学習の学習精度を向上させることができる。
以上、実施形態として学習品質推定装置を例示して説明した。実施形態は、コンピュータを、学習品質推定装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
その他、上記実施形態で説明した学習品質推定装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０ 演算部
１２ 分割部
１４ 品質スコア計算部
１４Ａ 符号化器
１４Ｂ 復号化器
１４Ｃ 尤度算出部
１６、１６Ａ、１６Ｂ 記憶部
１８ 選択部
２０ 入力部
３０ 出力部
９０、９２ 学習品質推定装置

Claims (7)

  1. 離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、
    対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、
    を備えた学習品質推定装置。
  2. 前記離散系列変換器は、ニューラルネットワークであり、
    前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、
    前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、
    を含み、
    前記品質スコア計算部は、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する請求項１に記載の学習品質推定装置。
  3. 前記品質スコア計算部は、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する請求項２に記載の学習品質推定装置。
  4. 前記品質スコア計算部は、複数の第２学習用ペアの各々について、前記品質スコアを計算し、
    前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えた請求項１〜３のいずれか１項に記載の学習品質推定装置。
  5. 前記記憶部は、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、
    前記品質スコア計算部は、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する請求項１〜４のいずれか１項に記載の学習品質推定装置。
  6. 離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、
    品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、
    を含む学習品質推定方法。
  7. コンピュータを、請求項１〜５のいずれか１項に記載の学習品質推定装置が備える品質スコア計算部として機能させるためのプログラム。
JP2018033719A 2018-02-27 2018-02-27 学習品質推定装置、方法、及びプログラム Active JP6969443B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018033719A JP6969443B2 (ja) 2018-02-27 2018-02-27 学習品質推定装置、方法、及びプログラム
US16/975,679 US12271410B2 (en) 2018-02-27 2019-02-21 Learning quality estimation device, method, and program
PCT/JP2019/006555 WO2019167794A1 (ja) 2018-02-27 2019-02-21 学習品質推定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018033719A JP6969443B2 (ja) 2018-02-27 2018-02-27 学習品質推定装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019149030A true JP2019149030A (ja) 2019-09-05
JP6969443B2 JP6969443B2 (ja) 2021-11-24

Family

ID=67804942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018033719A Active JP6969443B2 (ja) 2018-02-27 2018-02-27 学習品質推定装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US12271410B2 (ja)
JP (1) JP6969443B2 (ja)
WO (1) WO2019167794A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140957A1 (ja) * 2020-01-08 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2021140558A (ja) * 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 学習装置及びプログラム
JPWO2021193025A1 (ja) * 2020-03-25 2021-09-30
WO2022038785A1 (ja) 2020-08-21 2022-02-24 富士通株式会社 訓練データ生成プログラム、訓練データ生成方法および訓練データ生成装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7724205B2 (ja) * 2020-04-02 2025-08-15 株式会社Ｎｔｔドコモ 分割装置
US11934795B2 (en) 2021-01-29 2024-03-19 Oracle International Corporation Augmented training set or test set for improved classification model robustness
US20220318689A1 (en) * 2021-04-06 2022-10-06 Unlearn.AI, Inc. Systems and Methods for Model Selection
US12242568B2 (en) * 2022-06-14 2025-03-04 Oracle International Corporation Guided augmentation of data sets for machine learning models
CN114971425B (zh) * 2022-07-27 2022-10-21 深圳市必提教育科技有限公司 数据库信息监控方法、装置、设备及存储介质
TWI815782B (zh) * 2022-11-27 2023-09-11 互動細胞股份有限公司 擴增實境影像識別的組合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099133A1 (en) * 2009-10-28 2011-04-28 Industrial Technology Research Institute Systems and methods for capturing and managing collective social intelligence information
CN102945232A (zh) * 2012-11-16 2013-02-27 沈阳雅译网络技术有限公司 面向统计机器翻译的训练语料质量评价及选取方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945230B (zh) 2012-10-17 2015-03-25 刘运通 一种基于语义匹配驱动的自然语言知识获取方法
JP2016071439A (ja) * 2014-09-26 2016-05-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 翻訳方法及び翻訳システム
US9836457B2 (en) * 2015-05-25 2017-12-05 Panasonic Intellectual Property Corporation Of America Machine translation method for performing translation between languages
US10268684B1 (en) * 2015-09-28 2019-04-23 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
KR102463567B1 (ko) * 2016-05-06 2022-11-07 이베이 인크. 인공신경망 기계 번역시 메타 정보를 이용하는 기법
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
CN107870900B (zh) * 2016-09-27 2023-04-18 松下知识产权经营株式会社 提供翻译文的方法、装置以及记录介质
US10248651B1 (en) * 2016-11-23 2019-04-02 Amazon Technologies, Inc. Separating translation correction post-edits from content improvement post-edits in machine translated content
EP3616083A4 (en) * 2017-04-23 2021-01-13 Nuance Communications, Inc. MULTILINGUAL SEMANTIC PARSER BASED ON TRANSFERRED LEARNING
US10733380B2 (en) * 2017-05-15 2020-08-04 Thomson Reuters Enterprise Center Gmbh Neural paraphrase generator
US10867595B2 (en) * 2017-05-19 2020-12-15 Baidu Usa Llc Cold fusing sequence-to-sequence models with language models
CN107357775A (zh) * 2017-06-05 2017-11-17 百度在线网络技术（北京）有限公司 基于人工智能的循环神经网络的文本纠错方法及装置
US10372828B2 (en) * 2017-06-21 2019-08-06 Sap Se Assessing translation quality
EP3454260A1 (en) * 2017-09-11 2019-03-13 Tata Consultancy Services Limited Bilstm-siamese network based classifier for identifying target class of queries and providing responses thereof
US20190095961A1 (en) * 2017-09-22 2019-03-28 Facebook, Inc. Applying a trained model for predicting quality of a content item along a graduated scale
US10380236B1 (en) * 2017-09-22 2019-08-13 Amazon Technologies, Inc. Machine learning system for annotating unstructured text
US11250331B2 (en) * 2017-10-31 2022-02-15 Microsoft Technology Licensing, Llc Distant supervision for entity linking with filtering of noise
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
US10489792B2 (en) * 2018-01-05 2019-11-26 Asapp, Inc. Maintaining quality of customer support messages
KR102516364B1 (ko) * 2018-02-12 2023-03-31 삼성전자주식회사 기계 번역 방법 및 장치
US10558762B2 (en) * 2018-02-24 2020-02-11 International Business Machines Corporation System and method for adaptive quality estimation for machine translation post-editing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099133A1 (en) * 2009-10-28 2011-04-28 Industrial Technology Research Institute Systems and methods for capturing and managing collective social intelligence information
CN102945232A (zh) * 2012-11-16 2013-02-27 沈阳雅译网络技术有限公司 面向统计机器翻译的训练语料质量评价及选取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
今村 賢治、隅田 英一郎: "疑似原文生成によるニューラル機械翻訳への単言語コーパスの導入", 言語処理学会第２３回年次大会 発表論文集 ［ＯＮＬＩＮＥ］, JPN6021005519, 6 March 2017 (2017-03-06), JP, pages 1026 - 1029, ISSN: 0004448684 *
松村 雪桜 外２名: "逆翻訳によるニューラル機械翻訳の最適化", 言語処理学会第２３回年次大会 発表論文集 ［ＯＮＬＩＮＥ］, JPN6021005521, 6 March 2017 (2017-03-06), JP, pages 986 - 989, ISSN: 0004448685 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140957A1 (ja) * 2020-01-08 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JPWO2021140957A1 (ja) * 2020-01-08 2021-07-15
JP7639710B2 (ja) 2020-01-08 2025-03-05 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2021140558A (ja) * 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 学習装置及びプログラム
JP7476578B2 (ja) 2020-03-06 2024-05-01 富士フイルムビジネスイノベーション株式会社 学習装置及びプログラム
JPWO2021193025A1 (ja) * 2020-03-25 2021-09-30
WO2021193025A1 (ja) * 2020-03-25 2021-09-30 パナソニックＩｐマネジメント株式会社 データ生成方法、判定方法、プログラム、及び、データ生成システム
WO2022038785A1 (ja) 2020-08-21 2022-02-24 富士通株式会社 訓練データ生成プログラム、訓練データ生成方法および訓練データ生成装置

Also Published As

Publication number Publication date
WO2019167794A1 (ja) 2019-09-06
US12271410B2 (en) 2025-04-08
JP6969443B2 (ja) 2021-11-24
US20200410345A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP2019149030A (ja) 学習品質推定装置、方法、及びプログラム
US11106714B2 (en) Summary generating apparatus, summary generating method and computer program
CN107870902B (zh) 神经机器翻译系统
CN111008266B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
JP6649536B1 (ja) 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム
CN107729322B (zh) 分词方法及装置、建立句子向量生成模型方法及装置
WO2020143130A1 (zh) 基于物理环境博弈的自主进化智能对话方法、系统、装置
WO2019114695A1 (zh) 基于翻译模型的训练方法、翻译方法、计算机设备及存储介质
KR20190065842A (ko) 언어 처리 방법 및 장치
KR102645628B1 (ko) 선다형 질문에 대한 정답 선택 방법 및 장치
CN110689048A (zh) 用于样本分类的神经网络模型的训练方法和装置
CN112507107A (zh) 术语匹配方法、装置、终端和计算机可读存储介质
JPWO2019163718A1 (ja) 学習装置、音声認識順位推定装置、それらの方法、およびプログラム
CN110399619B (zh) 面向神经机器翻译的位置编码方法及计算机存储介质
CN112364659B (zh) 一种无监督的语义表示自动识别方法及装置
CN114912442B (zh) 一种基于深度学习的中文文本纠错方法及设备
CN113486160B (zh) 基于跨语言知识的对话方法及系统
CN110287487B (zh) 主谓语识别方法、装置、设备及计算机可读存储介质
JP6633999B2 (ja) 符号器学習装置、変換装置、方法、及びプログラム
CN113076751B (zh) 命名实体识别方法及系统、电子设备和存储介质
CN113011149B (zh) 一种文本纠错方法及系统
JP2020140674A (ja) 回答選択装置及びプログラム
CN117951278B (zh) 问题解答推理方法、装置、设备及存储介质
CN116978354B (zh) 韵律预测模型的训练方法及装置、语音合成方法及装置
US20240428080A1 (en) Information processing device, information processing method, and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6969443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350