JP6421421B2 - 注釈情報付与プログラム及び情報処理装置 - Google Patents
注釈情報付与プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP6421421B2 JP6421421B2 JP2014041519A JP2014041519A JP6421421B2 JP 6421421 B2 JP6421421 B2 JP 6421421B2 JP 2014041519 A JP2014041519 A JP 2014041519A JP 2014041519 A JP2014041519 A JP 2014041519A JP 6421421 B2 JP6421421 B2 JP 6421421B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- annotation
- input person
- target
- annotation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、注釈情報付与プログラム及び情報処理装置に関する。
従来の技術として、ヒューマンコンピュテーションの品質を管理する方法が提案されている（例えば、非特許文献１参照）。
非特許文献１に開示された方法は、クラウドソーシングを用いて複数の人間に仕事を依頼して結果を受け取り、それをさらに大きな計算過程において活用するヒューマンコンピュテーションにおいて、仕事を依頼した人間（以下、「ワーカー」という。）から得られる結果は一般的に信頼できる特定のワーカーに仕事を依頼した場合と異なり不確実性が大きくなるが、能力の高いワーカーを抽出する、タスクの難しさも考慮してワーカーを評価する、ワーカーの自分の作業品質を自己申告させる、ゲームを取り入れワーカーにまじめに働いてもらう、ワーカーの作業工程をモニタリングする、多数決をとる、ワーカーの能力で票に重みを付ける等の手法を採用することで、個々の人間の仕事の精度を高めたり、タスク選択を効率化する等の手法を採用することで個々のワーカーが間違ったとしても全体としての精度に影響を与えないようにする。
小山 聡著、「ヒューマンコンピュテーションの品質管理」、人工知能、２９巻１号、２０１４年１月、ｐ．２７−３３
本発明の目的は、複数の対象となる情報に付与されるアノテーションの信頼性を均一にする注釈情報付与プログラム及び情報処理装置を提供することにある。
本発明の一態様は、上記目的を達成するため、以下の注釈情報付与プログラム及び情報処理装置を提供する。
［１］コンピュータを、
一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段として機能させるための注釈情報付与プログラム。
一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段として機能させるための注釈情報付与プログラム。
［２］前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する前記［１］に記載の注釈情報付与プログラム。
［３］機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる前記［１］又は［２］に記載の注釈情報付与プログラム。
［４］前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる前記［３］に記載の注釈情報付与プログラム。
［５］一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が一致した人数及び前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段とを有する情報処理装置。
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が一致した人数及び前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段とを有する情報処理装置。
請求項１又は５に係る発明によれば、複数の対象となる情報に付与される注釈情報の信頼性を均一にすることができ、複数人に注釈情報の付与を依頼する場合に、信頼性の高い注釈情報が重複して付与されることを抑制することができる。
請求項２に係る発明によれば、複数人に注釈情報の付与を依頼する場合に、複数の注釈情報を処理することによって信頼性の高い注釈情報が得られるとき、対象に信頼性の高い注釈情報が重複して付与されることを抑制することができる。
請求項３に係る発明によれば、機械学習に用いる情報に注釈情報の信頼性を含む情報を生成することができる。
請求項４に係る発明によれば、注釈情報の信頼性を考慮して機械学習を実行することができる。
［第１の実施の形態］
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１は、通信部１２を介して外部ネットワークに接続されており、クラウドソーシングにより、外部ネットワーク上に接続された端末等の利用者に、文書情報、画像情報、音声情報等のアノテーション対象情報１１１に当該情報の特徴等を示す注釈情報であるアノテーションの付与を依頼するものである（以下、アノテーションを付与する利用者を入力者としての「アノテーター」と呼ぶ。）。また、情報処理装置１は、アノテーターからアノテーションの入力を受け付けてアノテーション対象情報１１１にアノテーションを付与するものである。なお、アノテーションは、「ポジティブ」と「ネガティブ」のように二値のものでもよいし、複数のカテゴリを用意して多値に分類されるものであってもよい。
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。
制御部１０は、後述するアノテーション付与プログラム１１０を実行することで、アノテーション付与手段１００、アノテーター評価手段１０１及びアノテーション範囲決定手段１０２等として機能する。
アノテーション付与手段１００は、アノテーターからアノテーションの入力を受け付けて、複数のアノテーション対象を有するアノテーション対象情報１１１のうち、いくつかのアノテーション対象にアノテーションを付与する。付与されたアノテーションはアノテーション対象と関連付けられてアノテーション情報１１２として記憶部１１に格納される。
アノテーター評価手段１０１は、同一のアノテーション対象に対し、現在アノテーターが付与しているアノテーションと、他のアノテーターが過去に付与したアノテーションとを比較してアノテーション付与中のアノテーター及び過去にアノテーションを付与したアノテーターの信頼性の評価を行う。評価方法の詳細は後述する。評価結果はアノテーター情報１１３として記憶部１１に格納される。
アノテーション範囲決定手段１０２は、アノテーター評価手段１０１の評価結果であるアノテーター情報１１３に基づいてアノテーション付与中のアノテーターに依頼するアノテーション対象情報１１１中のアノテーション対象の範囲、つまりいずれのアノテーション対象に対してアノテーションの付与を依頼するのかを決定する。範囲の決定方法については後述する。
記憶部１１は、制御部１０を上述した各手段１０１−１０２として動作させるアノテーション付与プログラム１１０、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３等を記憶する。
図２は、アノテーション対象情報１１１及びアノテーション情報１１２の構成の一例を示す概略図である。
アノテーション対象情報１１１ａは、アノテーション対象情報１１１の一例であり、言語情報に対してアノテーションを行うことを想定した例であり、アノテーション対象として「今日は晴れ。いい天気だ。」といったようなテキストを複数含む文書情報である。
アノテーション情報１１２ａは、アノテーション情報１１２の一例であり、アノテーション対象情報１１１ａのそれぞれのアノテーション対象に対して付与されたアノテーションである。
図２に示す例では、アノテーション対象情報１１１ａの各テキストにアノテーションの付与を依頼するアノテーターの数は３人であって、各アノテーターがアノテーションを付与するアノテーション対象の数は３つである。また、付与するアノテーションはポジティブを表す「ポジ」かネガティブを表す「ネガ」のいずれかである。
図３は、アノテーター情報１１３の構成の一例を示す概略図である。
アノテーター情報１１３ａは、アノテーター情報１１３の一例であり、アノテーターを識別するアノテーター欄と、アノテーターの信頼性を示す信頼性欄と、アノテーターがアノテーションを付与したアノテーション対象情報１１１中のアノテーション対象の範囲を示すアノテーション付与範囲欄とを有する。
（情報処理装置の動作）
次に、第１の実施の形態の作用を、図１−図５を参照しつつ、説明する。
次に、第１の実施の形態の作用を、図１−図５を参照しつつ、説明する。
図４は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。また、図５は、情報処理装置の動作の一例を示すフローチャートである。
以下に説明する例では、「アノテーターＡ」及び「アノテーターＣ」によるアノテーションが既に付与されており、「アノテーターＢ」にアノテーションの付与を依頼する場合について説明する。また、アノテーション対象情報１１１ｂの各アノテーション対象にアノテーションの付与を依頼するアノテーターの数は３人であるものとし、各アノテーターは７つのアノテーション対象にアノテーションを付与するものとする。
まず、アノテーション範囲決定手段１０２は、図４に示すアノテーション対象情報１１１ｂのうち「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのアノテーション対象を、アノテーションを付与する範囲１００ｂ１及び１００ｂ２に決定する（Ｓ１）。
次に、アノテーション付与手段１００は、当該範囲１００ｂ１及び１００ｂ２の一部について、例えば、範囲１００ｂ１の「教師データ１」〜「教師データ４」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると「教師データ１」〜「教師データ４」にアノテーションの付与を行う（Ｓ２）。この時点でアノテーション情報１１２ｂは図４に示す状態となる。
次に、アノテーター評価手段１０１は、「アノテーターＢ」が付与している範囲１００ｂ１のアノテーションと、「アノテーターＡ」が過去に付与した範囲１００ａ１のアノテーション及び「アノテーターＣ」が過去に付与した範囲１００ｃ１のアノテーションとを比較して、「アノテーターＡ」、「アノテーターＢ」及び「アノテーターＣ」の信頼性の評価を行う（Ｓ３）。
図４に示す例では、範囲１００ａ１のアノテーションと範囲１００ｂ１のアノテーションとが一致し、範囲１００ｃ１のアノテーションが「教師データ３」以外で一致しないため、アノテーター評価手段１０１はアノテーター情報１１３ａの「アノテーターＡ」及び「アノテーターＢ」の信頼性を上げ、「アノテーターＣ」の信頼性を下げる。この時点で図３のアノテーター情報１１３ａに示すように「アノテーターＡ」及び「アノテーターＢ」の信頼性が「８０％」、「アノテーターＣ」の信頼性が「５０％」になったものとする。
次に、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、「アノテーターＡ」及び「アノテーターＢ」の信頼性が予め定めた閾値以上である場合、例えば７０％以上である場合（Ｓ４；Ｙｅｓ）、「アノテーターＢ」に依頼するアノテーション対象情報１１１ｂの範囲を、信頼性の高い「アノテーターＡ」がアノテーションを付与している範囲１００ａ２と重なる範囲１００ｂ２を避け、アノテーションを付与していない範囲１００ｂ３に設定する（Ｓ５）。
これは、信頼性の高い「アノテーターＡ」と同じ範囲に、同様に信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼しても重複した信頼性の高いアノテーションの付与になる可能性が高いためである。また、同時に信頼性の低い「アノテーターＣ」と同じ範囲に、信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼することで信頼性の低いアノテーションの付与が重複することを避けることができるためである。
なお、アノテーション付与手段１００は、「アノテーターＡ」と「アノテーターＢ」のように２人のアノテーションが一致した場合に信頼性が高いと評価したが、ｎ人（ｎ≧３）のアノテーションが一致した場合に信頼性が高いと評価してもよい。
次に、アノテーション付与手段１００は、当該範囲１００ｂ３、つまり、「教師データＵ＋１」〜「教師データＵ＋３」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると範囲１００ｂ３にアノテーションの付与を行う（Ｓ６）。
また、ステップＳ４において、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、他のアノテーターの信頼性が予め定めた閾値より小さい場合、例えば７０％より小さい場合（Ｓ４；Ｎｏ）、当初に決定した「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのテキストを、アノテーションを付与する範囲のままとする（Ｓ７）。
（第１の実施の形態の効果）
上記した第１の実施の形態によると、現在入力中のアノテーションと過去に入力されたアノテーションとに基づきアノテーターの信頼性を評価し、信頼性の高いアノテーターが過去にアノテーションを付与している場合、アノテーション対象情報１１１の当該範囲を現在アノテーションを付与中のアノテーターのアノテーション付与範囲から外すようにしたため、複数人にアノテーションの付与を依頼する場合に、信頼性の高いアノテーションが重複して付与されることを抑制することができる。
上記した第１の実施の形態によると、現在入力中のアノテーションと過去に入力されたアノテーションとに基づきアノテーターの信頼性を評価し、信頼性の高いアノテーターが過去にアノテーションを付与している場合、アノテーション対象情報１１１の当該範囲を現在アノテーションを付与中のアノテーターのアノテーション付与範囲から外すようにしたため、複数人にアノテーションの付与を依頼する場合に、信頼性の高いアノテーションが重複して付与されることを抑制することができる。
［変形例１］
上記した第１の実施の形態のアノテーター情報１１３に、以下に示すメタ情報を追加し、当該情報に基づいてアノテーター評価手段１０１がアノテーターの評価を行うようにしてもよい。
上記した第１の実施の形態のアノテーター情報１１３に、以下に示すメタ情報を追加し、当該情報に基づいてアノテーター評価手段１０１がアノテーターの評価を行うようにしてもよい。
図６は、アノテーター情報１１３に付加されるアノテーターメタ情報の構成の一例を示す概略図である。
アノテーターメタ情報１１３Ａは、アノテーターを識別するアノテーター欄と、アノテーターの性別を示す性別欄と、アノテーターの年齢を示す年齢欄と、アノテーターの国籍を示す国籍欄と、アノテーターの居住地を示す居住地欄とを有する。
アノテーター評価手段１０１は、例えば、アノテーション対象情報１１１の内容が日本の流行に関する内容であれば、居住地欄が「日本」である「アノテーターＡ」及び「アノテーターＢ」が信頼性の高いアノテーションを付与することを前提に、第１の実施の形態で説明したようにアノテーションを比較して、その一致又は不一致に基づいて「アノテーターＡ」及び「アノテーターＢ」の評価を行うようにしてもよい。
［変形例２］
上記した第１の実施の形態のように、アノテーションの一致又は不一致によりアノテーターを比較する他に、アノテーター評価手段１０１は、以下に示すように単一のアノテーターについて評価を行ってもよい。この方法は、第１の実施の形態の評価方法と組み合わせてもよいし、独立して行うものであってもよい。
上記した第１の実施の形態のように、アノテーションの一致又は不一致によりアノテーターを比較する他に、アノテーター評価手段１０１は、以下に示すように単一のアノテーターについて評価を行ってもよい。この方法は、第１の実施の形態の評価方法と組み合わせてもよいし、独立して行うものであってもよい。
アノテーター評価手段１０１は、例えば、あるアノテーターが付与したアノテーション情報１１２のエントロピーを計算する。これは、不真面目なアノテーターは単一のアノテーションを全てのデータに付与することがあると考えられるためであり、計算されたエントロピーが小さい場合、信頼性が低いと評価することができる。
また、上記した変形例１、２の他にも、「アノテーターに自分の作業品質を自己申告させる」、「アノテーターの作業工程をモニタリングする」、「過去の別のアノテーション作業において評価したアノテーターの信頼性を利用する」といったような従来技術を組み合わせて信頼性の評価をしてもよく、これにより評価精度を向上することができるのはもちろんである。
［変形例３］
上記した第１の実施の形態において説明したアノテーション範囲決定手段１０２の動作に加え、以下に説明するようにアノテーション範囲決定手段１０２を動作させてもよい。
上記した第１の実施の形態において説明したアノテーション範囲決定手段１０２の動作に加え、以下に説明するようにアノテーション範囲決定手段１０２を動作させてもよい。
図７は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。
アノテーション対象情報１１１ｃに対しアノテーション情報１１２ｃが付与されている場合において、範囲１００ｅ１、１００ｆ１及び１００ｆ２のアノテーションがそれぞれ「教師データ３」、「教師データ４」及び「教師データＴ＋３」のアノテーションとしては誤りであるものとする。
また、「アノテーターＤ」、「アノテーターＥ」、「アノテーターＦ」の信頼性は、予め定めた閾値（７０％）より小さく、予め定めた第２の閾値（６０％）以上の信頼性であるとする。
以上の条件において、信頼性の高いアノテーター（７０％以上）に比べて信頼性が劣るが、ある程度信頼性が保障されているアノテーター（６０％以上）の場合であって、アノテーションが所定の数、例えば、３つ付与されている場合、アノテーション範囲決定手段１０２は、アノテーション情報１１２ｃの「教師データ１」〜「教師データＴ＋３」の範囲には、さらなるアノテーションが不要と判断し、現在アノテーションを付与中のアノテーターに対し他の範囲のアノテーション付与を依頼するようにしてもよい。
［第２の実施の形態］
以下に第２の実施の形態に係る情報処理装置１Ａについて説明する。第２の実施の形態は、第１の実施の形態と比べて、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づき機械学習に用いる情報を生成し、当該情報を用いて機械学習を行う点で異なる。なお、第１の実施の形態と共通の構成については同一の符号を付している。
以下に第２の実施の形態に係る情報処理装置１Ａについて説明する。第２の実施の形態は、第１の実施の形態と比べて、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づき機械学習に用いる情報を生成し、当該情報を用いて機械学習を行う点で異なる。なお、第１の実施の形態と共通の構成については同一の符号を付している。
図８は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１Ａは、第１の実施の形態の情報処理装置１と比べて、学習用情報生成手段１０３、機械学習手段１０４及び学習用情報１１４をさらに有する。
学習用情報生成手段１０３は、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づいて学習用情報１１４を生成する。
機械学習手段１０４は、学習用情報１１４を用いて機械学習を実行する。
図９は、学習用情報１１４の構成の一例を示す概略図である。
学習用情報１１４ａは、学習用情報１１４の一例であり、アノテーション欄と、アノテーター欄と、信頼性欄と、アノテーション対象情報欄とを有する。
（情報処理装置の動作）
次に、第２の実施の形態の作用を説明する。
次に、第２の実施の形態の作用を説明する。
情報処理装置１Ａは、各手段１００〜１０２によりアノテーション対象情報１１１にアノテーション情報１１２を付与するとともに、アノテーター情報１１３を生成する。
次に、学習用情報生成手段１０３は、アノテーション対象情報１１１とアノテーション情報１１２とから構成される一般的な機械学習用の情報に、アノテーター情報１１３に含まれる項目をさらに追加して学習用情報１１４とする。図９に示す例では、学習用情報１１４ｄは、一般的な機械学習用の情報としてアノテーション対象情報１１１に対応するアノテーション対象情報欄と、アノテーション情報１１２に対応するアノテーション欄とを有し、さらにアノテーター情報１１３に含まれるアノテーター欄と、信頼性欄とを有する。
次に、機械学習手段１０４は、学習用情報１１４ａを用いて機械学習を行う。この際に信頼性欄の値を考慮して学習用情報１１４ａのそれぞれについて重み付けを行ってもよい。また、さらにアノテーターメタ情報１１３Ａを用いて重み付けを行ってもよい。
（第２の実施の形態の効果）
上記した第２の実施の形態によれば、機械学習用の情報として用いられる情報は通常アノテーション対象とアノテーションのみであるが、当該機械学習用の情報にアノテーターの信頼性を追加したものとしたため、アノテーションの信頼性を考慮した機械学習用の情報を生成することができ、アノテーションの信頼性を考慮した機械学習を実行することができる。
上記した第２の実施の形態によれば、機械学習用の情報として用いられる情報は通常アノテーション対象とアノテーションのみであるが、当該機械学習用の情報にアノテーターの信頼性を追加したものとしたため、アノテーションの信頼性を考慮した機械学習用の情報を生成することができ、アノテーションの信頼性を考慮した機械学習を実行することができる。
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
１、１Ａ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ アノテーション付与手段
１０１ アノテーター評価手段
１０２ アノテーション範囲決定手段
１０３ 学習用情報生成手段
１０４ 機械学習手段
１１０ アノテーション付与プログラム
１１１ アノテーション対象情報
１１２ アノテーション情報
１１３ アノテーター情報
１１３Ａ アノテーターメタ情報
１１４ 学習用情報
１０ 制御部
１１ 記憶部
１２ 通信部
１００ アノテーション付与手段
１０１ アノテーター評価手段
１０２ アノテーション範囲決定手段
１０３ 学習用情報生成手段
１０４ 機械学習手段
１１０ アノテーション付与プログラム
１１１ アノテーション対象情報
１１２ アノテーション情報
１１３ アノテーター情報
１１３Ａ アノテーターメタ情報
１１４ 学習用情報
Claims (5)
- コンピュータを、
一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段として機能させるための注釈情報付与プログラム。 - 前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する請求項１に記載の注釈情報付与プログラム。
- 機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる請求項１又は２に記載の注釈情報付与プログラム。
- 前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる請求項３に記載の注釈情報付与プログラム。
- 一の入力者の入力に基づき、複数の対象を含む範囲の対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者間で前記注釈情報が予め定められた人数以上一致した前記範囲の数に応じた信頼度を、前記一の入力者及び前記他の入力者の信頼性を示すものとして算出する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する手段であって、前記一の入力者及び前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する決定手段とを有する情報処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041519A JP6421421B2 (ja) | 2014-03-04 | 2014-03-04 | 注釈情報付与プログラム及び情報処理装置 |
| US14/509,394 US20150254223A1 (en) | 2014-03-04 | 2014-10-08 | Non-transitory computer readable medium, information processing apparatus, and annotation-information adding method |
| AU2015200401A AU2015200401B2 (en) | 2014-03-04 | 2015-01-28 | Annotation-information adding program, information processing apparatus, and annotation-information adding method |
| SG10201501148YA SG10201501148YA (en) | 2014-03-04 | 2015-02-13 | Annotation-information adding program, information processing apparatus, and annotation-information adding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041519A JP6421421B2 (ja) | 2014-03-04 | 2014-03-04 | 注釈情報付与プログラム及び情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015166975A JP2015166975A (ja) | 2015-09-24 |
| JP6421421B2 true JP6421421B2 (ja) | 2018-11-14 |
Family
ID=54017523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014041519A Expired - Fee Related JP6421421B2 (ja) | 2014-03-04 | 2014-03-04 | 注釈情報付与プログラム及び情報処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20150254223A1 (ja) |
| JP (1) | JP6421421B2 (ja) |
| AU (1) | AU2015200401B2 (ja) |
| SG (1) | SG10201501148YA (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9916296B2 (en) * | 2015-09-24 | 2018-03-13 | International Business Machines Corporation | Expanding entity and relationship patterns to a collection of document annotators using run traces |
| JP6946081B2 (ja) * | 2016-12-22 | 2021-10-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP7122713B2 (ja) * | 2017-06-30 | 2022-08-22 | 株式会社Abeja | 機械学習又は推論のための計算機システム及び方法 |
| KR101887415B1 (ko) * | 2017-11-21 | 2018-08-10 | 주식회사 크라우드웍스 | 데이터 라벨링 작업 검수방법 및 프로그램 |
| WO2019187421A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN110796156B (zh) * | 2018-08-02 | 2024-11-12 | 松下知识产权经营株式会社 | 信息处理方法及信息处理系统 |
| KR102720182B1 (ko) * | 2019-04-22 | 2024-10-22 | 한국전자통신연구원 | 어노테이션 오류 예측 장치 및 방법 |
| US11321839B2 (en) * | 2019-09-24 | 2022-05-03 | Applied Materials, Inc. | Interactive training of a machine learning model for tissue segmentation |
| JP7608076B2 (ja) * | 2020-06-15 | 2025-01-06 | キヤノン株式会社 | 情報処理装置、制御方法およびプログラム |
| US12118297B2 (en) | 2020-06-15 | 2024-10-15 | Canon Kabushiki Kaisha | Information processing apparatus |
| JP7580947B2 (ja) * | 2020-06-15 | 2024-11-12 | キヤノン株式会社 | 情報処理装置、制御方法およびプログラム |
| CN113326888B (zh) * | 2021-06-17 | 2023-10-31 | 北京百度网讯科技有限公司 | 标注能力信息确定方法、相关装置及计算机程序产品 |
| JP2023003207A (ja) * | 2021-06-23 | 2023-01-11 | 株式会社Menou | プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法 |
| WO2023181228A1 (ja) * | 2022-03-24 | 2023-09-28 | 三菱電機株式会社 | 二項分類装置及び二項分類装置のアノテーション補正方法 |
| WO2024252834A1 (ja) * | 2023-06-06 | 2024-12-12 | パナソニックＩｐマネジメント株式会社 | 情報処理方法、情報処理装置、及び情報処理プログラム |
| JP7792174B1 (ja) * | 2025-08-22 | 2025-12-25 | ＦａｓｔＬａｂｅｌ株式会社 | アノテーション支援装置、方法およびプログラム |
| JP7793244B1 (ja) * | 2025-08-22 | 2026-01-05 | ＦａｓｔＬａｂｅｌ株式会社 | アノテーション支援装置、方法およびプログラム |
| JP7792175B1 (ja) * | 2025-08-22 | 2025-12-25 | ＦａｓｔＬａｂｅｌ株式会社 | アノテーション品質保証支援装置、方法およびプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8438499B2 (en) * | 2005-05-03 | 2013-05-07 | Mcafee, Inc. | Indicating website reputations during user interactions |
| CN101443763B (zh) * | 2006-05-09 | 2012-10-10 | 皇家飞利浦电子股份有限公司 | 用于给内容作注解的设备和方法 |
| US7757163B2 (en) * | 2007-01-05 | 2010-07-13 | International Business Machines Corporation | Method and system for characterizing unknown annotator and its type system with respect to reference annotation types and associated reference taxonomy nodes |
| JP2009282686A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Corp | 分類モデル学習装置および分類モデル学習方法 |
| JP5349032B2 (ja) * | 2008-12-19 | 2013-11-20 | Ｋｄｄｉ株式会社 | 情報選別装置 |
| US9262390B2 (en) * | 2010-09-02 | 2016-02-16 | Lexis Nexis, A Division Of Reed Elsevier Inc. | Methods and systems for annotating electronic documents |
| US8732181B2 (en) * | 2010-11-04 | 2014-05-20 | Litera Technology Llc | Systems and methods for the comparison of annotations within files |
| US20130091161A1 (en) * | 2011-10-11 | 2013-04-11 | International Business Machines Corporation | Self-Regulating Annotation Quality Control Mechanism |
| US9372874B2 (en) * | 2012-03-15 | 2016-06-21 | Panasonic Intellectual Property Corporation Of America | Content processing apparatus, content processing method, and program |
| US9355359B2 (en) * | 2012-06-22 | 2016-05-31 | California Institute Of Technology | Systems and methods for labeling source data using confidence labels |
| US9183466B2 (en) * | 2013-06-15 | 2015-11-10 | Purdue Research Foundation | Correlating videos and sentences |
| US9275291B2 (en) * | 2013-06-17 | 2016-03-01 | Texifter, LLC | System and method of classifier ranking for incorporation into enhanced machine learning |
-
2014
- 2014-03-04 JP JP2014041519A patent/JP6421421B2/ja not_active Expired - Fee Related
- 2014-10-08 US US14/509,394 patent/US20150254223A1/en not_active Abandoned
-
2015
- 2015-01-28 AU AU2015200401A patent/AU2015200401B2/en active Active
- 2015-02-13 SG SG10201501148YA patent/SG10201501148YA/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| AU2015200401B2 (en) | 2017-02-02 |
| AU2015200401A1 (en) | 2015-09-24 |
| SG10201501148YA (en) | 2015-10-29 |
| US20150254223A1 (en) | 2015-09-10 |
| JP2015166975A (ja) | 2015-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6421421B2 (ja) | 注釈情報付与プログラム及び情報処理装置 | |
| JP7200311B2 (ja) | 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置 | |
| US9773044B2 (en) | Multi-dimensional feature merging for supporting evidence in a question and answering system | |
| US10062032B2 (en) | Question resolution processing in deep question answering systems | |
| EP3525096A1 (en) | Resource load balancing control method and cluster scheduler | |
| US20230153694A1 (en) | Training data generation method, training data generation device | |
| US10984794B1 (en) | Information processing system, information processing apparatus, information processing method, and recording medium | |
| WO2015103964A1 (en) | Method， apparatus， and device for determining target user | |
| Lorimer et al. | Exploring relapse through a network analysis of residual depression and anxiety symptoms after cognitive behavioural therapy: A proof-of-concept study | |
| US11967416B2 (en) | Image analysis and insight generation | |
| TW202101478A (zh) | 患病機率預測方法與電子裝置 | |
| CN113780365A (zh) | 样本生成方法和装置 | |
| JP7357418B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JPWO2019058479A1 (ja) | 知識取得装置、知識取得方法、及び、プログラム | |
| Lakkaraju | Why is my system biased?: Rating of ai systems through a causal lens | |
| CN110929163A (zh) | 课程推荐方法、装置、计算机设备及存储介质 | |
| CN118096291A (zh) | 产品推荐方法、装置、设备及存储介质 | |
| US10936052B2 (en) | Method and device for determining head movement according to electrooculographic information | |
| JP6751955B1 (ja) | 学習方法、評価装置、及び評価システム | |
| JP7218633B2 (ja) | 情報処理装置及びプログラム | |
| CN113792290A (zh) | 拟态防御的裁决方法及调度系统 | |
| CN112669983A (zh) | 基于不完整数据深度学习的传染病协同预测方法和机器人 | |
| Chen et al. | MOSIC: Model-Agnostic Optimal Subgroup Identification with Multi-Constraint for Improved Reliability | |
| US20240161891A1 (en) | Computer-readable recording medium storing information processing program, method for processing information, and information processing apparatus | |
| KR102433178B1 (ko) | 심리 상태 분류 방법 및 심리 상태 분류 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180423 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6421421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |