JP2019200554A - Generation method, generation program, and generation device - Google Patents
Generation method, generation program, and generation device Download PDFInfo
- Publication number
- JP2019200554A JP2019200554A JP2018094189A JP2018094189A JP2019200554A JP 2019200554 A JP2019200554 A JP 2019200554A JP 2018094189 A JP2018094189 A JP 2018094189A JP 2018094189 A JP2018094189 A JP 2018094189A JP 2019200554 A JP2019200554 A JP 2019200554A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- sentence
- word
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
【課題】文章が入力されないことが出力に与える影響を抑制することを目的とする。【解決手段】生成方法は、コンピュータが、学習情報に基づき、第1の単語、及び第1の文章に応じた第1の文章とは異なる形式の第1の中間情報の組みを、第1の情報に応じた情報に変換する第1の変換パラメータと、第1の単語を、第1の中間情報に変換する第2の変換パラメータとを生成し、第2の入力項目に対応付けられた文章の入力を受け付けずに、第1の入力項目に対応付けられた第2の単語の入力を受け付けると、第2の変換パラメータにより第2の単語を変換して、形式の第2の中間情報を生成するとともに、第1の変換パラメータにより第2の単語及び第2の中間情報の組みを変換して、第2の情報を生成する。【選択図】図11PROBLEM TO BE SOLVED: To suppress the influence of no input of a sentence on output. According to a generation method, a computer determines a first word and a first set of intermediate information in a format different from the first sentence according to the first sentence based on learning information as a first set. A sentence generated by generating a first conversion parameter for converting into information according to the information and a second conversion parameter for converting the first word into the first intermediate information, and correlating with the second input item. When the input of the second word associated with the first input item is accepted without accepting the input of, the second word is converted by the second conversion parameter to obtain the second intermediate information of the format. Along with the generation, the second word and the second intermediate information set are converted by the first conversion parameter to generate the second information. [Selection diagram] Fig. 11
Description
本発明は、生成方法、生成プログラムおよび生成装置に関する。 The present invention relates to a generation method, a generation program, and a generation apparatus.
機械学習を用いて、入力情報に基づいて出力情報を生成する分類器等のシステムを生成する技術が用いられている。しかし、入力情報に欠損がある場合、出力情報の精度が低下する可能性があるため、欠損した情報を予測する技術が用いられる。 A technique for generating a system such as a classifier that generates output information based on input information using machine learning is used. However, when the input information is missing, the accuracy of the output information may be reduced, so a technique for predicting the missing information is used.
関連する技術として、トレーニングデータをデータ学習プログラムに入力して分類器を作成し、欠損値を含むデータから生成した入力データを分類器に入力して、欠損値を予測する技術が提案されている(例えば、特許文献1を参照)。 As a related technique, a technique has been proposed in which training data is input to a data learning program to create a classifier, and input data generated from data containing missing values is input to the classifier to predict missing values. (For example, see Patent Document 1).
また、関連する技術として、欠損値を含むフィールドが複数ある場合に欠損値を含むフィールド以外のフィールドのデータから欠損値を予測し、補間する技術が提案されている(例えば、特許文献2を参照)。 Further, as a related technique, a technique has been proposed in which when there are a plurality of fields containing missing values, the missing values are predicted from the data of fields other than the fields containing missing values and interpolated (see, for example, Patent Document 2). ).
また、関連する技術として、iterative inversion法と誤差逆伝搬により、不完全なセンサ情報の欠損値を推定しモデル獲得を行う技術が提案されている(例えば、特許文献3を参照)。 Further, as a related technique, a technique for estimating a missing value of incomplete sensor information and acquiring a model by using an iterative inversion method and error back propagation has been proposed (see, for example, Patent Document 3).
また、関連する技術として、欠損値のうちの予測したい目的変数を受け付け、重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する技術が提案されている(例えば、特許文献4を参照)。 Also, as a related technique, accept the objective variable that you want to predict among the missing values, and calculate the value of the objective variable from the value and coefficient of each explanatory variable of the record including the objective variable based on the result of multiple regression analysis Techniques have been proposed (see, for example, Patent Document 4).
例えば、入力情報のうち文章が欠損している場合、入力情報内の他の情報を用いて文章を予測することが考えられる。しかし、文章内の単語の数が可変であり、単語の順番を考慮することになるため、欠損している文章を直接予測することは困難である。そして、欠損した文章の予測精度が低下すると、出力情報の精度も低下する。 For example, when a sentence is missing in the input information, it is conceivable to predict the sentence using other information in the input information. However, since the number of words in the sentence is variable and the order of the words is taken into account, it is difficult to directly predict the missing sentence. And if the prediction precision of the missing sentence falls, the precision of output information will also fall.
1つの側面として、本発明は、文章が入力されないことが出力に与える影響を抑制することを目的とする。 As one aspect, an object of the present invention is to suppress the influence on the output that a sentence is not input.
1つの態様では、生成方法は、コンピュータが、第1の入力項目に対応付けて入力された第1の単語と、第2の入力項目に対応付けて入力された第1の文章と、前記第1の単語及び前記第1の文章の組みに応じた第1の情報と、を含む学習情報を取得し、前記学習情報に基づき、前記第1の単語、及び前記第1の文章に応じた前記第1の文章とは異なる形式の第1の中間情報の組みを、前記第1の情報に応じた情報に変換する第1の変換パラメータと、前記第1の単語を、前記第1の中間情報に変換する第2の変換パラメータとを生成し、前記第2の入力項目に対応付けられた文章の入力を受け付けずに、前記第1の入力項目に対応付けられた第2の単語の入力を受け付けると、前記第2の変換パラメータにより前記第2の単語を変換して、前記形式の第2の中間情報を生成するとともに、前記第1の変換パラメータにより前記第2の単語及び前記第2の中間情報の組みを変換して、第2の情報を生成する、処理を実行する。 In one aspect, the generation method includes: a first word input in association with a first input item; a first sentence input in association with a second input item; Learning information including one word and first information corresponding to the first sentence set, and based on the learning information, the first word and the first sentence according to the first sentence A first conversion parameter for converting a set of first intermediate information in a format different from that of the first sentence into information corresponding to the first information; and the first word is converted into the first intermediate information. The second conversion parameter to be converted into the second input parameter is generated, and the second word associated with the first input item is input without accepting the input of the sentence associated with the second input item. If accepted, the second word is converted by the second conversion parameter, Generating the second intermediate information in the format, and generating the second information by converting the combination of the second word and the second intermediate information by the first conversion parameter To do.
1つの側面によれば、文章が入力されないことが出力に与える影響を抑制することができる。 According to one aspect, it is possible to suppress the influence on the output that a sentence is not input.
以下、図面を参照して、実施形態について説明する。図1は、生成装置1の一例を示す図である。生成装置1は、コンピュータの一例である。生成装置1は、例えば、サーバ、パーソナルコンピュータ、またはタブレット端末等である。
Hereinafter, embodiments will be described with reference to the drawings. FIG. 1 is a diagram illustrating an example of the
生成装置1は、取得部11と第1生成部12と第2生成部13と判定部14と変換部15と第3生成部16と記憶部17とを含む。
The
取得部11は、第1の入力項目に対応付けて入力された第1の単語と、第2の入力項目に対応付けて入力された第1の文章と、第1の単語及び第1の文章の組みに応じた第1の情報と、を含む学習情報を取得する。
The
第1生成部12は、学習情報に基づき、第1の単語、及び第1の文章に応じた第1の文章とは異なる形式の第1の中間情報の組みを、第1の情報に応じた情報に変換する第1の変換パラメータを生成する。
The
第2生成部13は、第1の単語を、第1の中間情報に変換する第2の変換パラメータを生成する。第1生成部12および第2生成部13は、パラメータ生成部の一例である。
The
判定部14は、入力情報に欠損があるか判定する。なお、生成装置1は、入力情報が学習情報に存在しない情報を含む場合等に、すなわち、入力情報に外れ値がある場合にも、欠損がある場合と同様の処理を行うこととする。
The
変換部15は、第2の入力項目に対応付けられた文章の入力を受け付けずに、第1の入力項目に対応付けられた第2の単語の入力を受け付けると、第2の変換パラメータにより第2の単語を変換して、第2の中間情報を生成する。
When the
第3生成部16は、第1の変換パラメータにより第2の単語及び第2の中間情報の組みを変換して、第2の情報を生成する。変換部15および第3生成部16は、情報生成部の一例である。
The
記憶部17は、生成された各種パラメータ、中間情報等を記憶する。
The
図2は、入力情報および出力情報の一例を示す図である。図2に示す入力情報および出力情報は、映画に関する情報である。図2に示す入力情報の入力項目は、映画のジャンル(x1)、製作会社(x2)、映画の概要(x3)を含む。映画のジャンル(x1)、製作会社(x2)、は、単語で表現され、映画の概要(x3)は、文章で表現される。出力情報の項目は、面白さ(y)を含む。なお、以下の説明において、各項目を、記号(x1、x2、x3、y)を用いて表現することがある。 FIG. 2 is a diagram illustrating an example of input information and output information. The input information and output information shown in FIG. 2 are information regarding movies. The input items of the input information shown in FIG. 2 include a movie genre (x 1 ), a production company (x 2 ), and a movie overview (x 3 ). The movie genre (x 1 ) and the production company (x 2 ) are expressed by words, and the movie overview (x 3 ) is expressed by sentences. The item of output information includes interest (y). In the following description, each item may be expressed using symbols (x 1 , x 2 , x 3 , y).
図3は、各情報およびパラメータの例を示す図である。図3に示すように、入力情報x1は、パラメータw1を用いた分類器により中間情報x1’に変換される。同様に、入力情報x2は、パラメータw2を用いた分類器により中間情報x2’に変換される。また、入力情報x3は、パラメータw3を用いた分類器により中間情報x3’に変換される。また、中間情報x1’、x2’、x3’は、パラメータwhを用いた分類器によりyに変換される。 FIG. 3 is a diagram illustrating examples of information and parameters. As shown in FIG. 3, the input information x 1 is converted into intermediate information x 1 ′ by a classifier using the parameter w 1 . Similarly, the input information x 2 is converted into intermediate information x 2 ′ by a classifier using the parameter w 2 . Further, the input information x 3 is converted into intermediate information x 3 ′ by a classifier using the parameter w 3 . The intermediate information x 1 ', x 2', x 3 ' is converted into y by classifier with parameters w h.
生成装置1は、学習情報としてx1〜x3、yを取得した場合、学習情報に基づいて各パラメータ(w1〜w3、wh)を生成する。また、生成装置1は、未知の出力情報を生成するために入力情報x1〜x3を取得した場合、入力情報x1〜x3と生成した各パラメータ(w1〜w3、wh)とを用いてyを生成する。
When the
図4は、パラメータ生成方法の一例を示す図である。図4に示す例では、学習情報として、x1〜x3、yが与えられているとする。そして、第1生成部12は、x1〜x3、yに基づいて、各パラメータ(w1〜w3、wh)を生成する。第1生成部12は、x1〜x3、yと初期パラメータに基づいて、yの予測値pred_yを生成し、pred_yがyに近づくように、パラメータを調整する。そして、第1生成部12は、あるパラメータを用いて生成した予測値pred_yがyに最も近い場合、そのパラメータ(w1〜w3、wh)を記憶部17に記憶する。記憶部17に記憶されたパラメータ(w1〜w3、wh)は、運用時において、入力情報から未知の出力情報を生成するために用いられる。
FIG. 4 is a diagram illustrating an example of a parameter generation method. In the example illustrated in FIG. 4, it is assumed that x 1 to x 3 and y are given as learning information. The first generator 12, based on
図5は、中間情報の例を示す図である。図5に示す例では、中間情報x3’は、行列で表される。x3が文章である場合、中間情報x3’は、例えば、文章の意味を示す。中間情報x3’は、入力情報x3より少ない次元数の行列であるとする。よって、生成装置1は、入力情報x3が欠損している場合に、入力情報x3を予測するよりも容易に中間情報x3’を予測することができる。
FIG. 5 is a diagram illustrating an example of intermediate information. In the example illustrated in FIG. 5, the intermediate information x 3 ′ is represented by a matrix. If x 3 is the sentence, intermediate information x 3 ', for example, indicating the meaning of a sentence. It is assumed that the intermediate information x 3 ′ is a matrix having a smaller number of dimensions than the input information x 3 . Therefore, the
図6は、中間情報に変換するパラメータの生成方法の例を示す図である。図6に示す例では、第2生成部13は、x1を取得し、x1から中間情報x3’を生成するためのパラメータw’31を生成する。第2生成部13は、例えば、x1と初期のパラメータw’31に基づいて、中間情報x3’の予測値であるpred1_x3’を生成する。そして、第2生成部13は、pred1_x3’とx3’との差が最も小さくなるようにw’31を生成する。x3’は、第1生成部12が学習情報に基づいて生成したパラメータw3と入力情報とx3を用いて、第2生成部13が予め生成した値である。
FIG. 6 is a diagram illustrating an example of a method for generating a parameter to be converted into intermediate information. In the example shown in FIG. 6, the
第2生成部13は、同様に、x2を取得し、x2から中間情報x3’を生成するためのパラメータw’32を生成する。
Second generating
変換部15は、入力情報x3が欠損している場合、w’31を用いて、x1からx3’を生成する。または、変換部15は、入力情報x3が欠損している場合、w’32を用いて、x2からx3’を生成する。
When the input information x 3 is missing, the
図6におけるx1またはx2は、第1の単語の一例である。x3は、第1の文章の一例である。w’31またはw’32は、第2の変換パラメータの一例である。 X 1 or x 2 in FIG. 6 is an example of the first word. x 3 is an example of the first sentence. w ′ 31 or w ′ 32 is an example of a second conversion parameter.
図7は、入力情報から中間情報への変換方法の例を示す図である。運用時の入力情報にx3が欠損している場合、変換部15は、第2生成部13が生成したw’31を用いて、x1からx3’_1を生成する。さらに、変換部15は、第2生成部13が生成したw’32を用いて、x2からx3’_2を生成する。
FIG. 7 is a diagram illustrating an example of a method for converting input information into intermediate information. If the x 3 input information during operation are deficient, converting
変換部15は、x1から生成したx3’_1とx2から生成したx3’_2とに基づいて、x3’を生成する。変換部15は、例えば、x3’_1とx3’_2との平均値を、x3’とする。変換部15は、x3’_1とx3’_2とのいずれかをx3’としてもよい。
Converting
図7におけるx1、x2は、第2の単語の一例であり、x3’は、第2の中間情報の一例である。x1、x2、x3’から生成されるyは、第2の情報の一例である。 In FIG. 7, x 1 and x 2 are examples of second words, and x 3 ′ is an example of second intermediate information. y generated from x 1, x 2, x 3 ' is an example of the second information.
図8は、他の入力情報に変換するパラメータの生成方法の第1の例を示す図である。図8に示す例では、第2生成部13は、x1を取得し、x1からx2を生成するためのパラメータw21を生成する。第2生成部13は、例えば、x1と初期のパラメータw21に基づいて、x2の予測値であるpred1_x2を生成する。そして、第2生成部13は、pred1_x2とx2との差が最も小さくなるようにw21を生成する。
FIG. 8 is a diagram illustrating a first example of a method for generating a parameter to be converted into other input information. In the example shown in FIG. 8, the
第2生成部13は、同様に、x3を取得し、x3からx2を生成するためのパラメータw23を生成する。
Second generating
図9は、他の入力情報に変換するパラメータの生成方法の第2の例を示す図である。第2生成部13は、図8に示した方法と同様の方法により、各入力情報を他の入力情報に変換するためのパラメータを生成する。
FIG. 9 is a diagram illustrating a second example of a method for generating a parameter to be converted into other input information. The
例えば、第2生成部13は、x1をx2に変換するためのパラメータw21、およびx1をx3に変換するためのパラメータw31を生成する。また、第2生成部13は、x2をx1に変換するためのパラメータw12、およびx2をx3に変換するためのパラメータw32を生成する。また、第2生成部13は、x3をx1に変換するためのパラメータw13、およびx3をx2に変換するためのパラメータw23を生成する。
For example, the
図10は、入力情報から他の入力情報への変換方法の例を示す図である。運用時の入力情報にx2が欠損している場合、変換部15は、第1生成部12が生成したw21を用いて、x1からx2_1を生成する。さらに、変換部15は、第1生成部12が生成したw23を用いて、x2からx2_3を生成する。
FIG. 10 is a diagram illustrating an example of a conversion method from input information to other input information. If x 2 input information during operation is defective, the converting
変換部15は、x1から生成したx2_1とx3から生成したx2_3とに基づいて、x2を生成する。変換部15は、例えば、x2_1とx2_3との平均値を、x2とする。変換部15は、例えば、x2_1とx2_3とのいずれかをx2としてもよい。
Converting
図11は、学習時における処理の一例を示すフローチャートである。取得部11は、分類器のパラメータを生成するための学習情報を取得する(ステップS101)。学習情報は、例えば、第1の入力項目(例えば、ジャンル、製作会社等)に対応付けて入力された第1の単語と、第2の入力項目(例えば、概要を示す文章)に対応付けて入力された第1の文章を含む。また、学習情報は、第1の単語及び第1の文章の組みに応じた第1の情報(例えば、面白さ)を含む。
FIG. 11 is a flowchart illustrating an example of processing during learning. The
第1生成部12は、第1の単語及び第1の中間情報の組みを、第1の情報に応じた情報に変換するパラメータを生成する(ステップS102)。ステップS102で生成されるパラメータは、第1の変換パラメータの一例である。ステップS102で生成されるパラメータは、例えば、図3に示すW1、W2、およびWhの組である。
The 1st production |
第2生成部13は、取得部11が取得した入力情報の入力項目毎に繰り返し処理を開始する(ステップS103)。第2生成部13は、処理対象の項目の入力情報が文章であるか判定する(ステップS104)。
The
入力情報が文章である場合(ステップS104でYES)、第2生成部13は、入力情報を他の入力情報に応じた中間情報に変換するためのパラメータを生成する(ステップS105)。第2生成部13は、例えば、x1を、x3の中間情報であるx3’に変換するためのパラメータW’31を生成する(図6参照)。ステップS105で生成されるパラメータは第2のパラメータの一例である。
When the input information is a sentence (YES in step S104), the
入力情報が文章でない場合(ステップS104でNO)、第2生成部13は、入力情報を他の入力情報に変換するためのパラメータを生成する(ステップS106)。第2生成部13は、例えば、x1を、x2に変換するためのパラメータW21を生成する(図8参照)。
If the input information is not a sentence (NO in step S104), the
第2生成部13は、取得部11が取得した入力情報の全項目についてステップS104〜S106の処理を実行した場合、繰り返し処理を終了する(ステップS107)。
The 2nd production |
図12は、運用時における処理の一例を示すフローチャートである。取得部11は、入力情報を受け付ける(ステップS201)。入力情報は、例えば、単語および文章である。
FIG. 12 is a flowchart illustrating an example of processing during operation. The
判定部14は、入力情報に欠損があるか判定する(ステップS202)。判定部14は入力情報のうちの一部または全部が不足している場合、入力情報が欠損していると判定する。
The
入力情報に欠損があると判定された場合(ステップS202でYES)、変換部15は、欠損した入力情報毎の繰り返し処理を開始する(ステップS203)。
When it is determined that the input information is missing (YES in step S202), the
変換部15は、欠損している情報が文章であるか判定する(ステップS204)。欠損している情報が文章である場合(ステップS204でYES)、変換部15は、第2生成部13が生成した第2のパラメータを用いて入力情報を変換して、欠損した入力情報の中間情報を生成する(ステップS205)。中間情報は、入力情報とは異なる形式であるとする。変換部15は、例えば、図7の例に示すように、w’31を用いて、x1からx3’_1を生成する。
The
欠損している情報が文章でない場合(ステップS204でNO)、変換部15は、第1生成部12が生成したパラメータを用いて、入力情報を欠損した入力情報に変換する(ステップS206)。変換部15は、繰り返し処理を終了する(ステップS207)。変換部15は、例えば、第1生成部12が生成したw21を用いて、x1からx2_1を生成する。
When the missing information is not a sentence (NO in step S204), the
第3生成部16は、欠損していた情報が文章であるか判定する(ステップS208)。文章が欠損していた場合、ステップS205の処理で中間情報が生成されている。よって、ステップS208でYESの場合、第3生成部16は、第1のパラメータを用いて、入力情報および中間情報の組に応じた出力情報を生成する(ステップS209)。第3生成部16は、例えば、入力情報(x1、x2)と、中間情報x3’と、学習時に得られたWh、W1、W2、とに基づいて出力情報yを生成する。
The
ステップS202、またはステップS208でNOの場合、第3生成部16は、第1のパラメータを用いて入力情報に応じた出力情報を生成する(ステップS210)。第3生成部16は、例えば、入力情報(x1、x2、x3)と、学習時に得られたWh、W1、W2、W3とに基づいて出力情報yを生成する。
In the case of NO in step S202 or step S208, the
なお、生成装置1は、学習時に学習情報が欠損を含む場合、欠損を除く学習情報に対して、図11に示す処理を実行し、パラメータを生成する。これにより、生成装置1は、欠損がノイズとなり、学習精度が低下することを防ぐことができる。また、生成装置1は、学習情報の欠損について、図12のステップS203〜S207と同様の処理を実行し、入力情報または中間情報を生成する。これにより、生成装置1は、学習情報の欠損を補うことができるので、学習情報の量を増やし、出力情報の精度を向上させることができる。
In addition, when learning information contains a defect at the time of learning, the production |
以上のように本実施形態の生成装置1は、学習時に、単語から文章に応じた中間情報を生成するためのパラメータを生成する。そして、生成装置1は、運用時に、文章が入力されない(欠損している)場合に、生成したパラメータを用いて中間情報を生成し、その中間情報を用いて出力情報を生成する。そのため、生成装置1は、文章のように予測が困難な情報が欠損していたとしても、中間情報を用いて出力情報を生成することができる。
As described above, the
また、中間情報は、入力情報より次元が少ない情報であるため、生成装置1は、他の情報を用いて容易に中間情報を予測することできる。
Further, since the intermediate information is information having a smaller dimension than the input information, the
<実施例>
図13は、入力情報を示す行列式の例を示す図である。図13に示す入力情報は、図2に示す入力情報に対応している。図13(a)は、”action”を示す入力情報x1を示す行列式である。図13(a)の行数は、映画ジャンルの数に対応している。また、2行目が”action”を示すとする。よって、入力情報x1が”action”である場合、行列式の2行目の値が1となる。
<Example>
FIG. 13 is a diagram illustrating an example of a determinant indicating input information. The input information shown in FIG. 13 corresponds to the input information shown in FIG. Figure 13 (a) is a determinant indicating the input information x 1 showing the "action". The number of rows in FIG. 13A corresponds to the number of movie genres. The second line indicates “action”. Therefore, when the input information x 1 is “action”, the value in the second row of the determinant is 1.
図13(b)は、”Disney”を示す入力情報x2を示す行列式である。図13(b)の行数は、製作会社の数に対応している。また、1行目が”Disney”を示すとする。よって、入力情報x2が”Disney”である場合、行列式の1行目の値が1となる。 Figure 13 (b) is a matrix equation representing the input information x 2 indicating the "Disney". The number of rows in FIG. 13B corresponds to the number of production companies. Also, assume that the first line indicates “Disney”. Therefore, when the input information x 2 is "Disney", the value of the first row of the determinant is 1.
図13(c)は、”ダイナミックな映画”を示す入力情報x3を示す行列式である。図13(c)の行数は、登録単語数に対応し、列数(次元数)は、入力情報内の単語数に対応している。また、2行目が”ダイナミック”を示し、4行目が”な”を示し、5行目が”映画”を示す。 FIG. 13C is a determinant indicating the input information x 3 indicating “dynamic movie”. The number of rows in FIG. 13C corresponds to the number of registered words, and the number of columns (number of dimensions) corresponds to the number of words in the input information. The second line indicates “dynamic”, the fourth line indicates “na”, and the fifth line indicates “movie”.
なお、実際の運用において登録単語数は、例えば、約10万語であり、入力情報内の単語数は約10語であるとする。その場合、パターン数は、10万×10=100万パターンとなる。このパターン数は、入力情報が単語である場合のパターン数と比べると大きく異なるため、単語から文章を直接予測することは困難である。 In actual operation, the number of registered words is, for example, about 100,000 words, and the number of words in the input information is about 10. In that case, the number of patterns is 100,000 × 10 = 1 million patterns. Since the number of patterns is greatly different from the number of patterns when the input information is a word, it is difficult to predict a sentence directly from the word.
しかし、中間情報x3’は、図5に示すように1次元の情報である。すなわち、入力情報から中間情報x3’に変換すると含まれる単語の順序は失われるが、単語の意味は失われない。 However, the intermediate information x 3 ′ is one-dimensional information as shown in FIG. That is, when the input information is converted to the intermediate information x 3 ′, the order of the included words is lost, but the meaning of the words is not lost.
(1)学習時における第1のパラメータ生成処理の例
以下、学習時における第1生成部12によるパラメータ生成の例について説明する。図14は、実施例における各情報およびパラメータを示す図である。hは、中間情報x1’、x2’、x3’の組を示す。h以外の各情報、パラメータは図3に示す例と同様である。
(1) Example of First Parameter Generation Processing During Learning Hereinafter, an example of parameter generation by the
中間情報x1’、x2’、x3’は、下記の式(1)〜(3)のように表される。 The intermediate information x 1 ′, x 2 ′, x 3 ′ is expressed as the following formulas (1) to (3).
また、中間情報x1’、x2’、x3’の組を示すhは、下記の式(4)のように表される。 Further, h indicating a set of the intermediate information x 1 ′, x 2 ′, and x 3 ′ is expressed as the following formula (4).
また、出力情報yの予測値であるpred_yは、下記の式(5)のように表される。 Also, pred_y, which is the predicted value of the output information y, is expressed as in the following equation (5).
なお、式(5)のsoftmax関数は、以下のように定義される。
softmax(x)=exp(x)/sum(exp(x))
Note that the softmax function of Equation (5) is defined as follows.
softmax (x) = exp (x) / sum (exp (x))
第1生成部12は、pred_yとyとが近づくように、各パラメータ(w1〜w3、wh)を調整する。第1生成部12は、例えば、バックプロパゲーションを用いて学習する。pred_yとyとの差(loss)としては、SoftMaxCrossEntropy、またはMean Squared Error(MSE)等が用いられる。
The
運用時において、第3生成部16は、第1生成部12が生成した各パラメータ(w1〜w3、wh)を用いてpred_yを算出し、算出されたpred_yから予測した値を出力情報yとして出力する。例えば、式(5)のpred_yでは、1行目の0.9が最も大きく、1行目が”very good”を示す場合、第3生成部16は、yが”very good”であると予測する。
During operation, the
(2)学習時における第2のパラメータ生成処理の例
次に、学習時において、第2生成部13が中間情報x3’を生成するためのパラメータを生成する方法の例を示す。以下の説明は、図6に示す処理の実施例に相当する。x1に基づく中間情報x3’の予測値であるpred1_x3’は、下記の式(6)のように表される。
(2) Example of Second Parameter Generation Processing During Learning Next, an example of a method in which the
また、pred1_x3’とx3’との差は、MSEを用いた場合、下記の式(7)のように表される。 Further, the difference between pred1_x 3 ′ and x 3 ′ is expressed as in the following formula (7) when MSE is used.
第2生成部13は、式(7)に示すlossが最も小さくなるようにパラメータw’31を生成する。同様に、第2生成部13は、x2から中間情報x3’を生成するためのパラメータw’32を生成する。
The
(3)運用時に文章(x3)が欠損していた場合の出力情報生成処理の例
次に運用時において、文章(x3)が欠損していた場合の出力情報生成処理を説明する。第3生成部16は、入力情報x1と学習時に生成されたw1とに基づいて、下記の式(8)のように中間情報x1’を生成する。
(3) in the example then during operation of the output information generation process when the sentence (x 3) were missing at the time of operation, illustrating the output information generation process when the sentence (x 3) was missing. The
また、第3生成部16は、入力情報x2と学習時に生成されたw2とに基づいて、下記の式(9)のように中間情報x2’を生成する。
The
そして、変換部15は、学習時に第2生成部13が生成したw’31に基づいて、下記の式(10)のように、入力情報x1をx3’_1に変換する。
Then, the conversion unit 15 'based on the 31, as in the following equation (10), the input information x 1 x 3' w the
そして、変換部15は、学習時に第2生成部13が生成したw’32に基づいて、下記の式の式(11)のように、入力情報x2をx3’_2に変換する。
Then, the conversion unit 15 'based on the 32, as shown in equation (11) in the following equation, the input information x 2 x 3' w the
そして、変換部15は、下記の式(12)のように、x1から生成したx3’_1とx2から生成したx3’_2との平均値を、x3’とする。
Then, the
中間情報の組hは、上記の式(10)〜(12)のように生成されたx1’、x2’、x3’を用いると、下記の式(13)のように表される。 The set h of intermediate information is represented by the following equation (13) when x 1 ′, x 2 ′, and x 3 ′ generated as in the above equations (10) to (12) are used. .
第3生成部16は、学習時に生成されたWhと上記のように算出されたhとに基づいて下記の式(14)のように出力情報yを生成する。この出力情報yは、第2の情報の一例である。
The
(4)運用時に単語(x2)が欠損していた場合の出力情報生成処理の例
次に運用時において、単語(x2)が欠損していた場合の出力情報生成処理を説明する。変換部15は、学習時に生成されたw21に基づいて、下記の式(15)のように入力情報x1を入力情報x2の予測値であるpred1_x2に変換する。
(4) at the time of output information generating process instances then operation when a word (x 2) were missing at the time of operation, illustrating the output information generation process in the case where the word (x 2) was missing. Converting
また、変換部15は、学習時に生成されたw23に基づいて、下記の式(16)のように入力情報x3を入力情報x2の予測値であるpred3_x2に変換する。
The
式(16)におけるW23sum(x3)は、下記の式(17)のように計算される。 W 23 sum (x 3 ) in equation (16) is calculated as in equation (17) below.
変換部15は、上記のように生成されたpred1_x2、およびpred3_x2の平均値を計算することにより、下記の式(18)のようにx2を生成する。
Converting
上記x2のうち、3行目の0.42が最も大きい値であるため、変換部15は、0.42を1に変換し、他の数字を0に変換する。変換部15は、下記の式(19)のようなx2を得る。
Of the above x 2, for 0.42 in the third row it is the largest value, the converting
第3生成部16は、上記の計算で得られたx2を含む入力情報(x1、x2、x3)と、学習時に得られたWh、W1、W2、W3とに基づいて出力情報yを生成する。
The
図15は、欠損および外れ値を含む情報の例を示す図である。図15(a)は、欠損を含む入力情報の例である。図15(a)のx1は、全ての要素が0であるため、判定部14は、欠損があると判定する。
FIG. 15 is a diagram illustrating an example of information including missing and outliers. FIG. 15A shows an example of input information including a defect. Figure 15 x 1 in (a) determines that since all elements are 0, the
図15(b)は、外れ値を含む入力情報の例である。図15(b)のx1およびx2の組は、学習時の入力情報に存在しなかった組み合わせであるとする。判定部14は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。
FIG. 15B is an example of input information including outliers. The set of x 1 and x 2 in FIG. 15 (b), and a combination that did not exist in the input information at the time of learning. The
図15(c)は、外れ値を含む入力情報の例である。図15(c)のx3は、学習時の入力情報に存在しなかった情報であるとする。判定部14は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。
FIG. 15C is an example of input information including an outlier. Figure 15 x 3 in (c) is assumed to be information that did not exist in the input information at the time of learning. The
次に、生成装置1のハードウェア構成の一例を説明する。図16は、生成装置1のハードウェア構成の一例を示す図である。図16の例に示すように、生成装置1において、バス100に、プロセッサ111とメモリ112と補助記憶装置113と通信インタフェース114と媒体接続部115と入力装置116と出力装置117とが接続される。
Next, an example of the hardware configuration of the
プロセッサ111は、メモリ112に展開されたプログラムを実行する。実行されるプログラムには、実施形態における処理を行う生成プログラムが適用されてもよい。
The
メモリ112は、例えば、Random Access Memory(RAM)である。補助記憶装置113は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。補助記憶装置113に実施形態の処理を行う生成プログラムが記憶されていてもよい。
The
通信インタフェース114は、Local Area Network(LAN)、Wide Area Network(WAN)等の通信ネットワークに接続され、通信に伴うデータ変換等を行う。
The
媒体接続部115は、可搬型記録媒体118が接続可能なインタフェースである。可搬型記録媒体118には、光学式ディスク(例えば、Compact Disc(CD)やDigital Versatile Disc(DVD))、半導体メモリ等が適用されてもよい。可搬型記録媒体118に実施形態の処理を行う生成プログラムが記録されていてもよい。
The
入力装置116は、例えば、キーボード、ポインティングデバイス等であり、ユーザからの指示及び情報等の入力を受け付ける。
The
出力装置117は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせ又は指示、及び処理結果等を出力する。生成装置1は、出力装置117を用いて、生成したパラメータ、および出力情報等を出力(表示または印刷等)してもよい。
The
図1に示す記憶部17は、メモリ112、補助記憶装置113または可搬型記録媒体118等により実現されてもよい。図1に示す取得部11、第1生成部12、第2生成部13、判定部14、変換部15、および第3生成部16は、メモリ112に展開された生成プログラムをプロセッサ111が実行することにより実現されてもよい。
The
メモリ112、補助記憶装置113および可搬型記録媒体118は、コンピュータが読み取り可能であって非一時的な有形の記憶媒体であり、信号搬送波のような一時的な媒体ではない。
The
<その他>
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で様々な変更、追加、省略が適用可能である。
<Others>
The present embodiment is not limited to the embodiment described above, and various modifications, additions, and omissions can be applied without departing from the gist of the present embodiment.
1 生成装置
11 取得部
12 第1生成部
13 第2生成部
14 判定部
15 変換部
16 第3生成部
17 記憶部
100 バス
111 プロセッサ
112 メモリ
113 補助記憶装置
114 通信インタフェース
115 媒体接続部
116 入力装置
117 出力装置
118 可搬型記録媒体
DESCRIPTION OF
Claims (5)
第1の入力項目に対応付けて入力された第1の単語と、第2の入力項目に対応付けて入力された第1の文章と、前記第1の単語及び前記第1の文章の組みに応じた第1の情報と、を含む学習情報を取得し、
前記学習情報に基づき、前記第1の単語、及び前記第1の文章に応じた前記第1の文章とは異なる形式の第1の中間情報の組みを、前記第1の情報に応じた情報に変換する第1の変換パラメータと、前記第1の単語を、前記第1の中間情報に変換する第2の変換パラメータとを生成し、
前記第2の入力項目に対応付けられた文章の入力を受け付けずに、前記第1の入力項目に対応付けられた第2の単語の入力を受け付けると、前記第2の変換パラメータにより前記第2の単語を変換して、前記形式の第2の中間情報を生成するとともに、前記第1の変換パラメータにより前記第2の単語及び前記第2の中間情報の組みを変換して、第2の情報を生成する、
処理を実行することを特徴とする生成方法。 Computer
A set of a first word input in association with the first input item, a first sentence input in association with the second input item, and the first word and the first sentence. And learning information including the first information in response,
Based on the learning information, a set of first intermediate information in a format different from the first sentence according to the first word and the first sentence is used as information according to the first information. Generating a first conversion parameter for conversion and a second conversion parameter for converting the first word into the first intermediate information;
If an input of a second word associated with the first input item is received without receiving an input of a sentence associated with the second input item, the second conversion parameter causes the second To generate second intermediate information of the format, and to convert a set of the second word and the second intermediate information according to the first conversion parameter, thereby generating second information Generate
A generation method characterized by executing processing.
ことを特徴とする請求項1記載の生成方法。 The generation method according to claim 1, wherein the first intermediate information is information having a format different from that of the first sentence, which indicates a meaning of the first sentence.
ことを特徴とする請求項1または2記載の生成方法。 3. The generation method according to claim 1, wherein the number of dimensions of the matrix indicating the first intermediate information is smaller than the number of dimensions of the matrix indicating the first sentence.
前記学習情報に基づき、前記第1の単語、及び前記第1の文章に応じた前記第1の文章とは異なる形式の第1の中間情報の組みを、前記第1の情報に応じた情報に変換する第1の変換パラメータと、前記第1の単語を、前記第1の中間情報に変換する第2の変換パラメータとを生成し、
前記第2の入力項目に対応付けられた文章の入力を受け付けずに、前記第1の入力項目に対応付けられた第2の単語の入力を受け付けると、前記第2の変換パラメータにより前記第2の単語を変換して、前記形式の第2の中間情報を生成するとともに、前記第1の変換パラメータにより前記第2の単語及び前記第2の中間情報の組みを変換して、第2の情報を生成する、
処理をコンピュータに実行させるための生成プログラム。 A set of a first word input in association with the first input item, a first sentence input in association with the second input item, and the first word and the first sentence. And learning information including the first information in response,
Based on the learning information, a set of first intermediate information in a format different from the first sentence according to the first word and the first sentence is used as information according to the first information. Generating a first conversion parameter for conversion and a second conversion parameter for converting the first word into the first intermediate information;
If an input of a second word associated with the first input item is received without receiving an input of a sentence associated with the second input item, the second conversion parameter causes the second To generate second intermediate information of the format, and to convert a set of the second word and the second intermediate information according to the first conversion parameter, thereby generating second information Generate
A generation program that causes a computer to execute processing.
前記学習情報に基づき、前記第1の単語、及び前記第1の文章に応じた前記第1の文章とは異なる形式の第1の中間情報の組みを、前記第1の情報に応じた情報に変換する第1の変換パラメータと、前記第1の単語を、前記第1の中間情報に変換する第2の変換パラメータとを生成するパラメータ生成部と、
前記第2の入力項目に対応付けられた文章の入力を受け付けずに、前記第1の入力項目に対応付けられた第2の単語の入力を受け付けると、前記第2の変換パラメータにより前記第2の単語を変換して、前記形式の第2の中間情報を生成するとともに、前記第1の変換パラメータにより前記第2の単語及び前記第2の中間情報の組みを変換して、第2の情報を生成する情報生成部と、
を備えることを特徴とする生成装置。 A set of a first word input in association with the first input item, a first sentence input in association with the second input item, and the first word and the first sentence. An acquisition unit for acquiring learning information including the first information in response,
Based on the learning information, a set of first intermediate information in a format different from the first sentence according to the first word and the first sentence is used as information according to the first information. A parameter generation unit for generating a first conversion parameter to be converted and a second conversion parameter for converting the first word into the first intermediate information;
If an input of a second word associated with the first input item is received without receiving an input of a sentence associated with the second input item, the second conversion parameter causes the second To generate second intermediate information of the format, and to convert a set of the second word and the second intermediate information according to the first conversion parameter to obtain second information An information generation unit for generating
A generating apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018094189A JP7133351B2 (en) | 2018-05-16 | 2018-05-16 | Generation method, generation program and generation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018094189A JP7133351B2 (en) | 2018-05-16 | 2018-05-16 | Generation method, generation program and generation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019200554A true JP2019200554A (en) | 2019-11-21 |
| JP7133351B2 JP7133351B2 (en) | 2022-09-08 |
Family
ID=68613148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018094189A Active JP7133351B2 (en) | 2018-05-16 | 2018-05-16 | Generation method, generation program and generation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7133351B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014199920A1 (en) * | 2013-06-12 | 2014-12-18 | 日本電気株式会社 | Prediction function creation device, prediction function creation method, and computer-readable storage medium |
-
2018
- 2018-05-16 JP JP2018094189A patent/JP7133351B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014199920A1 (en) * | 2013-06-12 | 2014-12-18 | 日本電気株式会社 | Prediction function creation device, prediction function creation method, and computer-readable storage medium |
Non-Patent Citations (1)
| Title |
|---|
| 田中 恒平、小林 亜樹: "深層学習を用いた情報推薦のための欠損値補完手法", 第8回データ工学と情報マネジメントに関するフォーラム (第14回日本データベース学会年次大会) [O, JPN6022008798, 2 March 2016 (2016-03-02), JP, pages 1 - 6, ISSN: 0004721038 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7133351B2 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114285728A (en) | Prediction model training method, flow prediction method, device and storage medium | |
| JPWO2015151162A1 (en) | Similarity calculation system, similarity calculation method, and program | |
| CN114742230A (en) | Information processing system, information processing method, and information processing device | |
| JP2013025805A (en) | Method and device for extracting analogous sub-time series | |
| CN108604312A (en) | Information processing unit, the information processing method of time series data and program | |
| JP2022167093A (en) | Information processing device, information processing method and program | |
| CN111373391B (en) | Language processing device, language processing system and language processing method | |
| JP2015043146A (en) | Prediction device, method, and program | |
| CN111079944A (en) | Transfer learning model interpretation implementation method and device, electronic device, storage medium | |
| US20190354533A1 (en) | Information processing device, information processing method, and non-transitory computer-readable recording medium | |
| JP2010204784A (en) | Disturbance control apparatus, disturbance control method, disturbance control program and recording medium | |
| US20150046377A1 (en) | Joint Sound Model Generation Techniques | |
| JP5623369B2 (en) | Text summarization apparatus, method and program | |
| JP7133351B2 (en) | Generation method, generation program and generation device | |
| JP5432935B2 (en) | Predictor selection device, predictor selection method, predictor selection program | |
| JP6518142B2 (en) | Language model generation device and program thereof | |
| JP2019021218A (en) | Learning device, program parameter, learning method and model | |
| JP3987059B2 (en) | Optimal value search support device, optimal value search support method, and recording medium | |
| WO2021111596A1 (en) | Information learning system, information learning method, information learning program, and information learning device | |
| JP4398919B2 (en) | Image matching apparatus, image matching method, and image matching program | |
| JP2018156619A (en) | Global search device and program for consecutive optimization problem | |
| JP4310697B2 (en) | Signal processing apparatus and method, recording medium, and program | |
| JP6040138B2 (en) | Document classification apparatus, document classification method, and document classification program | |
| JP5244452B2 (en) | Document feature expression calculation apparatus and program | |
| JP6604069B2 (en) | Semiconductor integrated circuit delay estimation method, program, and circuit design apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7133351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |