JP6686226B2 - 適切なエージェントの自動化アシスタント呼び出し - Google Patents

Description

自動化アシスタント(automated assistant)(「パーソナルアシスタント」、「モバイルアシスタント」などとしても知られる)は、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス、自動車システム、スタンドアロンのパーソナルアシスタントデバイスなどの、様々なクライアントデバイスを介してユーザによってインタラクティブに操作され得る。自動化アシスタントは、ユーザから入力を受信し(たとえば、タイピングされたおよび/または発話された自然言語入力(typed and/or spoken natural language input))、応答コンテンツ(たとえば、視覚的および/または聴覚的自然言語出力)で応答する。クライアントデバイスを介してインタラクティブに操作される自動化アシスタントは、クライアントデバイスそれ自体を介して、および/またはクライアントデバイス(たとえば、「クラウド」におけるコンピューティングデバイス)とネットワーク通信する1つまたは複数のリモートコンピューティングデバイスを介して実装され得る。

本明細書は、一般的に、ユーザと自動化アシスタントとの間の対話においてエージェントを呼び出すための方法、システム、およびコンピュータ可読媒体に向けられている。エージェントを呼び出すステップは、呼び出しパラメータの値(たとえば、インテントパラメータに対する値、インテントスロットパラメータに対する値、および/または他のパラメータに対する値)を含む、ならびにエージェントに、1つまたは複数のユーザインターフェース出力デバイスを介して(たとえば、自動化アシスタントとの対話で利用されるユーザインターフェース出力デバイスのうちの1つまたは複数を介して)ユーザに提示するコンテンツを生成させる呼び出し要求を伝送する(たとえば、アプリケーションプログラミングインターフェース(API)を利用する)ステップを含むことができる。エージェントによって生成される応答コンテンツは、呼び出し要求の呼び出しパラメータに合わせて手直しされ得る。

いくつかの実装形態は、人間/自動化アシスタント間対話において、エージェントを関与させることを望んでいることを指示するが、関与させられるべき特定のエージェントを指示することができないユーザの自然言語入力を受信するステップに向けられている。たとえば、「book me a hotel in Chicago」は、エージェントを「hotel booking」インテントパラメータおよび「Chicago」位置パラメータに関与させることを望んでいることを指示するが、呼び出すべき特定のエージェントを指定することができない。それらの実装形態は、複数の利用可能なエージェントから特定のエージェントを選択するステップと、呼び出し要求を選択された特定のエージェントに伝送するステップとにさらに向けられている。たとえば、呼び出し要求は、利用可能なエージェントのうちの他方に呼び出し要求を伝送することなく選択された特定のエージェントに伝送されてよい。それらの実装形態のうちのいくつかにおいて、特定のエージェントおよび特定のエージェントに対する特定のインテントが選択される(たとえば、特定のエージェントが複数の異種インテントのうちの1つへの応答として応答コンテンツを生成するように動作可能であるときに)。

複数の利用可能なエージェントから特定のエージェントを選択する実装形態のうちのいくつかにおいて、エージェント選択モデルが、特定のエージェントを選択する際に利用される。それらの実装形態のいくつかのバージョンにおいて、エージェント選択モデルは、深層ニューラルネットワークモデルなどの少なくとも1つの機械学習モデルを含む。機械学習モデルは、複数の利用可能なエージェント(および任意選択によりそれらのエージェントに対するインテント)の各々について、利用可能なエージェント(および任意選択によりインテント)が適切な応答コンテンツを生成する確率を指示する出力の生成を可能にするように訓練され得る。生成された出力は、機械学習モデルに適用される入力に基づき、入力は、自動化アシスタントとの現在の対話、および任意選択により追加のコンテキスト値に基づく。たとえば、現在の対話に基づく入力は、現在の対話において自動化アシスタントに提供される最新の自然言語入力および/または現在の対話において提供される過去の自然言語入力に基づく様々な値を含み得る。また、任意選択の追加のコンテキスト値は、たとえば、クライアントデバイスのユーザのインタラクションの履歴、クライアントデバイス上の現在レンダリングされ、および/または最近レンダリングされたコンテンツ、クライアントデバイスの位置、現在の日時、などに基づく値などのクライアントデバイスコンテキスト値を含み得る。

いくつかの実装形態において、エージェント選択モデルが少なくとも1つの機械学習モデルを含む場合、機械学習モデルのうちの少なくとも1つは、利用可能なエージェントとの過去のインタラクションに基づく訓練インスタンスに基づき訓練され得る。

一例として、複数の訓練インスタンスが、各々、対応する人間/自動化アシスタント対話において提供される自然言語入力(たとえば、特定のエージェントを識別できなかった自然言語入力)に基づき生成される対応するエージェント要求に基づき生成され得る。エージェント要求は、複数の利用可能なエージェントの各々(たとえば、すべての利用可能なエージェント)に伝送されるものとしてよく、応答は、エージェント要求が伝送された利用可能なエージェントのうちの1つまたは複数から受信され得る。訓練インスタンスの各々は、エージェント要求(たとえば、対応する自然言語入力および任意選択によるコンテキスト値)に基づく訓練インスタンス入力と、応答に基づく訓練インスタンス出力とを含むことができる。応答は、各々、これらのエージェントのうちの対応する1つのエージェントがエージェント要求を解決する能力を示すことができる。たとえば、所与のエージェントからの応答は、2値をとる指示(たとえば、「resolvable」、「not resolvable」、または「responsive content」、「no responsive content / error」)、2値でない信頼度尺度(non-binary confidence measure)(たとえば、「70% likely resolvable」)、実際の応答コンテンツ(またはコンテンツなし/エラー)などであってよい。また、たとえば、所与のエージェントから応答を受信したことは、それが応答できることを指示し得るが、所与のエージェントからの応答がないことは、それが応答できないことを指示し得る。エージェント要求は、対話において利用可能なエージェントのアクティブな呼び出しなしでエージェントに伝送され得る。たとえば、エージェント要求は、呼び出し要求に類似するものとしてよいが、「非呼び出し」フラグおよび/またはエージェントがすぐに呼び出されるべきでないという他の指示を含み得る。また、たとえば、応答は、それに加えて、または代替的に、対話において対応するコンテンツを提供することなく自動化アシスタントによって処理され得る。

そのような機械学習モデルは、いったん訓練された後、現在の対話(たとえば、現在の対話の自然言語入力および任意選択によりコンテキスト値)に基づき、複数の利用可能なエージェント(および任意選択によりインテント)の各々に対する確率を予測するために利用されてよく、これらの確率の各々は、エージェントが対話に基づく呼び出し要求を適切に取り扱うことができる確率(たとえば、2値または非2値)を指示する。特定のエージェントの選択は、そのような確率に少なくとも一部は基づくものとしてよく、呼び出し要求は、特定のエージェントにのみ伝送され得る。

いくつかの実装形態において、機械学習モデルのうちの少なくとも1つは、エージェントの呼び出し後にエージェントに提供される自然言語入力に基づき生成され得る。たとえば、エージェントの呼び出し直後にエージェントに提供される自然言語入力は、エージェントの関連の下で記憶され得る。たとえば、自然言語入力は、「裸の」呼び出しである呼び出しの直後にエージェントに提供される入力であるものとしてよい。エージェントの裸の呼び出しは、エージェントに向けられているが、インテントパラメータに対する値を含まず、および/またはインテントスロットパラメータに対する値を含まない呼び出し要求に基づくエージェントの呼び出しである。たとえば、「open Agent X」という自然言語入力に応答して、「Agent X」という裸の呼び出しが、インテントパラメータに対する値を含まず、インテントスロットパラメータに対する値を含まない「Agent X」に伝送される呼び出し要求に応答して生じ得る。また、たとえば、「set a reminder with Agent X」という自然言語入力に応答して、「Agent X」という裸の呼び出しが、インテントパラメータに対する「reminder」値を含むが、インテントスロットパラメータに対する値を含まない「Agent X」に伝送される呼び出し要求に応答して生じ得る。自然言語入力と自然言語入力が提供された対応するエージェント(および任意選択によりインテント)との間のマッピング(または他の関連付け)を含む選択モデルが生成され得る。この方式で、マッピングは、エージェントの裸の呼び出しの後にユーザによって提供される初期対話に基づき、これはエージェントが様々な自然言語入力に応答して巧みに行える可能性が最も高い洞察を与えるエージェント選択モデルの生成を可能にする。追加の、および/または代替的な選択モデルは、特定のエージェントを選択する際に利用され得る。一例として、様々なユーザによるエージェントの過去の明示的な選択に基づき生成される選択モデルは、それに加えて、または代替的に、特定のエージェントを選択する際に利用され得る。

いくつかの実装形態において、様々な追加のおよび/または代替的な基準が、特定のエージェント(および任意選択によりインテント)を選択する際に利用される。一例として、エージェント要求は、「ライブで」複数の候補エージェント(上で説明されているような)に伝送され、それらのエージェントからの応答は、呼び出すべき特定のエージェントを選択することを決定する際に分析され得る。別の例として、追加のおよび/または代替的な基準は、クライアントデバイスのユーザのインタラクションの履歴(たとえば、特定のエージェントがユーザによってどのくらいの頻度で利用されているか、特定のエージェントがユーザによってどれくらい最近に利用されたか)、クライアントデバイス上の現在レンダリングされているおよび/または最近レンダリングされたコンテンツ(たとえば、コンテンツがエージェント特徴(agent feature)に対応する)、クライアントデバイスの位置、現在の日付および/または時刻、特定のエージェントのランキング(たとえば、ユーザの母集団によるランキング)、特定のエージェントの人気度(たとえば、ユーザの母集団の間の人気度)などを含むことができる。機械学習モデルが特定なエージェントを選択する際に利用される実装形態において、そのような基準は、機械学習モデルへの入力として適用され、および/または機械学習モデル上で生成される出力と組み合わせて考えられ得る。

上でおよび/または本明細書の別のところで説明されている様々な技術は特定のエージェントの選択を可能にし、選択された特定のエージェントが呼び出し要求を適切に取り扱うことができる確率を高め得る。これは、呼び出しに対して選択された特定のエージェントが、様々な計算リソースを節約し得る、呼び出し要求のインテントを(任意選択により、呼び出し要求の追加のパラメータに対する値とともに)実行することができないリスクを軽減し得る。たとえば、これは、後にインテントを実行する別の試みで代替的エージェントを呼び出すことが続く、エージェントを利用してインテントを実行する最初に失敗した試みによって他の場合であれば消費され得るネットワークおよび/またはプロセッサリソースを節約し得る。さらに、複数の利用可能なエージェントのうちから選択することをユーザに促すことなく特定のエージェントが選択される実装形態において、これは、呼び出しの前に必要とされる人間/自動化アシスタント対話の「番」の回数を低減し得る。これは、また、他の場合にはそのような番によって消費されるであろう様々なネットワークおよび/またはプロセッサリソースを節約し得る。さらに、訓練された機械学習モデルを利用する実装形態において、訓練された機械学習モデルは、エージェントが特定の呼び出しを取り扱える確率を決定することを、ネットワークリソースがそのような決定を行うためにエージェントの1つまたは複数との「ライブ」インタラクションを通じて消費され得ることを必要とすることなく行うために利用され得る。これは、また、他の場合にはそのようなライブインタラクションで消費されるであろう様々なネットワークおよび/またはプロセッサリソースを節約し得る。

いくつかの状況において、本明細書において開示されている技術による特定のエージェントの呼び出しに応答して、人間/自動化アシスタント対話は、少なくとも一時的に特定のエージェントに(実際にまたは事実上)転送されてよい。たとえば、特定のエージェントの応答コンテンツに基づく出力は、対話を進める上でユーザに提供されてよく、さらにユーザ入力は出力に応答して受信され得る。さらなるユーザ入力(またはその変換)は、特定のエージェントに提供されてよい。特定のエージェントは、対話をさらに進める際に提供するさらなる出力を生成するために使用され得るさらなる応答コンテンツを生成する際にその自セマンティックエンジンおよび/または他のコンポーネントを利用し得る。この一般的なプロセスは、たとえば、特定のエージェントが特定のエージェント対話を終了させる応答コンテンツ(たとえば、プロンプトの代わりに回答または解決)を提供する、ユーザの追加のユーザインターフェース入力が特定のエージェント対話を終了させる(たとえば、その代わりに、自動化アシスタントまたは別のエージェントから応答を呼び出す)、などを行うまで続行し得る。

いくつかの状況において、自動化アシスタントは、それでも、特定のエージェントに対話が事実上転送されたときに媒介として働き得る。たとえば、ユーザの自然言語入力が音声入力である場合に媒介として働く際に、自動化アシスタントは、その音声入力をテキストに変換し、テキスト(および任意選択によりテキストの注釈)を特定のエージェントに提供し、特定のエージェントから応答コンテンツを受信し、ユーザへの提示のために特定の応答コンテンツに基づく出力を提供するものとしてよい。また、たとえば、媒介手段として働く際に、自動化アシスタントは特定のエージェントのユーザ入力および/または応答コンテンツを分析して、特定のエージェントとの対話が終了されるべきかどうか、ユーザが代替的エージェントに移されるべきかどうか、グローバルパラメータ値が特定のエージェント対話に基づき更新されるべきかどうかなどを決定し得る。いくつかの状況において、対話は、実際には特定のエージェントに転送され(転送された後自動化アシスタントが媒介として働くことなく)、任意選択で、特定のエージェントによる終了などの1つまたは複数の条件の発生後に自動化アシスタントに転送されて戻され得る(たとえば、特定エージェントを介してインテントの完了に応答して)。

本明細書において説明されている実装形態では、自動化アシスタントがユーザとの対話に基づき適切なエージェントを選択し、エージェントを呼び出して対話においてユーザによって指示されているユーザのインテントを達成することを可能にする。これらの実装形態では、エージェントを明示的にトリガーするためユーザが「呼び出しフレーズ」を知ることを必要とせずに、および/またはエージェントが存在していることすら最初に知ることを必要とせずに、ユーザが自動化アシスタントとのインタラクションを介してエージェントを関与させることを可能にし得る。さらに、実装形態では、ユーザが共通自動化アシスタントインターフェース(たとえば、可聴/音声ベースのインターフェースおよび/またはグラフィカルインターフェース)を利用して複数の異種のインテントにわたってアクションを実行すること可能にする複数の異種のエージェントのうちのどれかを呼び出すことを可能にし得る。たとえば、共通自動化アシスタントインターフェースは、「restaurant reservation」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させ、「purchasing professional services」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させ、「telling jokes」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させ、「reminder」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させ、「purchasing travel services」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させ、および/または「interactive game」インテントを取り扱う複数のエージェントのうちのどれか1つを関与させるために利用され得る。

本明細書で使用されているように、「エージェント」は、自動化アシスタントから分離している1つまたは複数のコンピューティングデバイスおよび/またはソフトウェアを指す。いくつかの状況において、エージェントは、自動化アシスタントを管理するパーティから分離しているパーティによって管理されるという点で、サードパーティ(3P)エージェントであり得る。エージェントは、自動化アシスタントから呼び出し要求を(たとえば、ネットワーク上でおよび/またはAPIを介して)受信するように構成される。呼び出し要求を受信したことに応答して、エージェントは、呼び出し要求に基づき応答コンテンツを生成し、応答コンテンツに基づく出力の提供のため応答コンテンツを伝送する。たとえば、エージェントは、応答コンテンツを、応答コンテンツに基づく、自動化アシスタントによる出力の提供のために自動化アシスタントに伝送し得る。別の例として、エージェントは、それ自体が出力を提供することができる。たとえば、ユーザは、クライアントデバイスを介して自動化アシスタントをインタラクティブに操作することができ(たとえば、自動化アシスタントは、クライアントデバイス上に、および/またはクライアントデバイスとネットワーク通信して実装されるものとしてよく)、エージェントは、クライアントデバイス上にインストールされたアプリケーションまたはクライアントデバイスからリモートにある場所で実行可能なアプリケーションであってよいが、クライアントデバイス上で「ストリーミング可能」であるものとしてよい。アプリケーションが呼び出されたときに、これは、クライアントデバイスによって実行されてよく、および/またはクライアントデバイスによってフォアフロントに持ってこられてよい(たとえば、そのコンテンツは、クライアントデバイスの表示を引き継ぐことができる)。

本明細書では、ユーザによって、ユーザインターフェース入力デバイスを介して、自動化アシスタントおよび/またはエージェントに提供され得る様々な種類の入力が説明されている。いくつかの場合において、入力は、1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって生成されるユーザインターフェース入力に基づく(たとえば、物理または仮想キーボードを介して提供される打ち込まれた入力に基づくか、またはマイクロフォンを介して提供される発話入力に基づく)テキスト入力などの、自由形式の自然言語入力であってよい。本明細書で使用されているように、自由形式入力は、ユーザによって定式化され、ユーザによる選択について提示されるオプションのグループに制約されない(たとえば、ドロップダウンメニューに提示されるオプションのグループに制約されない)入力である。

いくつかの実装形態において、1つまたは複数のプロセッサによって実行される方法が提供され、これは人間/自動化アシスタント対話におけるユーザインターフェース入力に基づき生成される自然言語入力インスタンスを受信するステップを含む。この方法は、自然言語入力インスタンスに応答してエージェントを呼び出す前に、自然言語入力インスタンスに基づきエージェント要求を生成するステップと、エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、エージェント要求をそのセットの複数のエージェントの各々に伝送するステップと、伝送に応答して複数のエージェントの少なくともサブセットから、要求への対応する応答を受信するステップと、応答の各々から、エージェント要求に応答して応答コンテンツを生成するために応答を提供するエージェントの相対的能力を決定するステップと、応答のうちの少なくとも1つに基づき複数のエージェントのうちの特定のエージェントを選択するステップとをさらに含む。方法は、自然言語入力に応答して、特定のエージェントを選択するステップに基づき、特定のエージェントを呼び出すステップをさらに含む。特定のエージェントを呼び出すステップは、特定のエージェントによって生成される応答コンテンツを、1つまたは複数のユーザインターフェース出力デバイスを介して提示のため提供させる。いくつかの実装形態において、選択された特定のエージェントのみが、自然言語入力を受信したことに応答して呼び出される。

本明細書で開示されている技術のこれらの方法および他の実装形態は、任意選択で、次の特徴のうちの1つまたは複数を含み得る。

いくつかの実装形態において、この方法は、1つまたは複数のコンピュータ可読媒体に、エージェント要求に応答することができると決定されたエージェントのうちの少なくとも1つへのエージェント要求の関連付けを記憶するステップと、エージェント要求とエージェント要求に応答することができると決定されたエージェントのうちの少なくとも1つとの間の記憶されている関連付けに基づきエージェント選択モデルを生成するステップとをさらに含む。それらの実装形態のうちのいくつかにおいて、方法は、エージェント選択モデルを生成するステップの後に、追加の自然言語入力を追加の人間/自動化アシスタント対話で受信するステップと、追加の自然言語入力とエージェント選択モデルとに基づき、複数のエージェントのうちの追加の1つのエージェントを選択するステップと、追加の自然言語入力に応答して、追加のエージェントを選択するステップに基づき、追加の呼び出し要求を追加のエージェントに伝送するステップとをさらに含む。追加の呼び出し要求は、追加のエージェントを呼び出す要求である。追加の自然言語入力を受信したことに応答して、追加の呼び出し要求は、任意選択で、選択された追加のエージェントにのみ伝送される。

いくつかの実装形態において、特定のエージェントを選択するステップは、対話に関与しているユーザによる特定のエージェントとのインタラクションの量、ユーザによる特定のエージェントとのインタラクションのリーセンシー(recency)、および/またはユーザの母集団内の特定のエージェントのランキングまたは人気度にさらに基づく。

いくつかの実装形態において、1つまたは複数のプロセッサによって実行される方法が提供され、これは、人間/自動化アシスタント対話におけるユーザインターフェース入力に基づき生成される複数の自然言語入力インスタンスの各々について、自然言語入力インスタンスに基づきエージェント要求を生成するステップと、エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、1つまたは複数のアプリケーションプログラミングインターフェースを介して、エージェント要求をそのセットの複数のエージェントの各々に伝送するステップと、伝送に応答して複数のエージェントの各々から、要求への対応する応答を受信するステップと、1つまたは複数のコンピュータ可読媒体に、エージェント要求とエージェント要求への応答との間の1つまたは複数の関連付けを記憶するステップとを含む。応答は、各々、複数のエージェントのうちの対応する1つのエージェントがエージェント要求に応答して応答コンテンツを生成する能力を示すことができる。方法は、エージェント要求とそれらの応答との間の記憶されている関連付けに基づきエージェント選択モデルを生成するステップをさらに含む。方法は、エージェント選択モデルを生成するステップの後に、ユーザと自動化アシスタントとの間の対話の一部として自動化アシスタントに向けられるユーザのその後の自然言語入力を受信するステップと、その後の自然言語入力とエージェント選択モデルとに基づき特定のエージェントを選択するステップであって、特定のエージェントは利用可能なエージェントのうちの1つである、ステップと、その後の自然言語入力を受信したことに応答して、および特定のエージェントを選択したことに応答して、アプリケーションプログラミングインターフェースの1つまたは複数を介して、呼び出し要求を選択された特定のエージェントに伝送するステップとをさらに含む。呼び出し要求は、特定のエージェントを呼び出し、特定のエージェントに、1つまたは複数のユーザインターフェース出力デバイスを介してユーザに提示する特定の応答コンテンツを生成させる。いくつかの実装形態において、その後の自然言語入力を受信したことに応答して、呼び出し要求は、選択された特定のエージェントにのみ伝送される。

本明細書で開示されている技術のこれらの方法および他の実装形態は、任意選択で、次の特徴のうちの1つまたは複数を含み得る。

いくつかの実装形態において、複数の自然言語入力インスタンスのうちの所与の自然言語入力インスタンスについて、応答の第1のサブセットは各々応答コンテンツを生成する能力を示し、応答の第2のサブセットは各々応答コンテンツを生成する能力がないことを示す。それらの実装形態のうちのいくつかにおいて、第2のサブセットの応答は、エラーを指示するステップまたは閾値を満たすことができなかった信頼度尺度を指示するステップに基づき、それができないことを示す。

いくつかの実装形態において、エージェント選択モデルは、機械学習モデルである。それらの実装形態のうちのいくつかにおいて、機械学習モデルを生成するステップは、エージェント要求およびそれらの応答に基づき複数の訓練インスタンスを生成するステップと、訓練インスタンスに基づき機械学習モデルを訓練するステップとを含む。訓練インスタンスの各々を生成するステップは、そのエージェント要求の対応するエージェント要求に基づき訓練インスタンスの訓練インスタンス入力を生成するステップと、対応するエージェント要求に関連して記憶されている応答に基づき訓練インスタンスの訓練インスタンス出力を生成するステップとを含むことができる。実装形態のうちのいくつかにおいて、その後の自然言語入力とエージェント選択モデルとに基づき特定のエージェントを選択するステップは、機械学習モデルへの入力として、その後の自然言語入力に基づいている入力特徴(input feature)を適用するステップと、入力に基づく機械学習モデル上で、特定のエージェントに対する値を含む出力を生成するステップと、特定のエージェントに対する値に基づき特定のエージェントを選択するステップとを含む。それらの実装形態のいくつかのバージョンにおいて、特定のエージェントを選択するステップは、1つまたは複数のコンテキスト値にさらに基づく。たとえば、1つまたは複数のコンテキスト値に基づき特定のエージェントを選択するステップは、1つまたは複数のコンテキスト値を機械学習モデルへの追加の入力として適用するステップを含むことができる。

いくつかの実装形態において、方法は、複数の自然言語入力インスタンスがエージェントを指定することができないと決定するステップに基づき複数の自然言語入力インスタンスを選択するステップをさらに含む。

いくつかの実装形態において、方法は、複数の自然言語入力インスタンスのうちの所与の自然言語入力インスタンスについて、エージェント要求に対する応答を使用してそのセットの複数のエージェントの所与のエージェントを選択するステップと、選択された呼び出し要求を選択された所与のエージェントに伝送するステップであって、選択された呼び出し要求は所与の自然言語入力インスタンスに基づく、ステップとをさらに含む。

いくつかの実装形態において、複数のエージェントのセットは、自然言語入力インスタンスで表されているインテントパラメータに対する値に各々関連付けられている複数のエージェントのセットに基づき利用可能なエージェントのコーパスから選択される。

いくつかの実装形態において、1つまたは複数のプロセッサによって実行される方法が提供され、これは、人間/自動化アシスタント対話におけるユーザインターフェース入力に基づき生成される複数の自然言語入力インスタンスの各々について、自然言語入力インスタンスに基づきエージェント要求を生成するステップと、エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、エージェント要求をそのセットの複数のエージェントの各々に伝送するステップと、伝送に応答して複数のエージェントの少なくともサブセットから、要求への対応する応答を受信するステップとを含む。方法は、応答の各々から、エージェント要求に応答して応答コンテンツを生成するために応答を提供するエージェントの相対的能力を決定するステップをさらに含む。方法は、1つまたは複数のコンピュータ可読媒体に、エージェント要求に応答することができると決定されたエージェントのうちの少なくとも1つへのエージェント要求の関連付けを記憶するステップをさらに含む。方法は、エージェント要求とエージェント要求に応答することができると決定されたエージェントとの間の記憶されている関連付けに基づきエージェント選択モデルを生成するステップをさらに含む。方法は、エージェント選択モデルを生成するステップの後に、ユーザと自動化アシスタントとの間の対話の一部として自動化アシスタントに向けられるユーザのその後の自然言語入力を受信するステップと、その後の自然言語入力とエージェント選択モデルとに基づき特定のエージェントを選択するステップであって、特定のエージェントは利用可能なエージェントのうちの1つである、ステップと、特定のエージェントを選択したことに応答して、呼び出し要求を選択された特定のエージェントに伝送するステップとをさらに含む。呼び出し要求は、特定のエージェントを呼び出し、特定のエージェントに、1つまたは複数のユーザインターフェース出力デバイスを介してユーザに提示する特定の応答コンテンツを生成させる。

本明細書で開示されている技術のこれらの方法および他の実装形態は、任意選択で、次の特徴のうちの1つまたは複数を含み得る。

いくつかの実装形態において、特定のエージェントを選択するステップは、特定のエージェントと利用可能なエージェントのうちの1つまたは複数の他のエージェントとから選択するようユーザに明示的に求める出力をユーザに与えることなく行われる。

いくつかの実装形態において、エージェント選択モデルは、機械学習モデルである。それらの実装形態のうちのいくつかにおいて、機械学習モデルを生成するステップは、エージェント要求およびエージェント要求に応答することができると決定されたエージェントに基づき複数の訓練インスタンスを生成するステップと、訓練インスタンスに基づき機械学習モデルを訓練するステップとを含む。訓練インスタンスの各々を生成するステップは、そのエージェント要求の対応するエージェント要求に基づき訓練インスタンスの訓練インスタンス入力を生成するステップと、要求に応答できると決定されたエージェントのうちの少なくとも1つに基づき訓練インスタンスの訓練インスタンス出力を生成するステップとを含むことができる。実装形態のうちのいくつかにおいて、その後の自然言語入力とエージェント選択モデルとに基づき特定のエージェントを選択するステップは、機械学習モデルへの入力として、その後の自然言語入力に基づいている入力特徴を適用するステップと、入力に基づく機械学習モデル上で、特定のエージェントに対する値を含む出力を生成するステップと、特定のエージェントに対する値に基づき特定のエージェントを選択するステップとを含む。

それに加えて、いくつかの実装形態は、1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサを含み、1つまたは複数のプロセッサは、関連付けられているメモリに記憶されている命令を実行するように動作可能であり、命令は、前述の方法のうちのどれかを実行させるように構成される。いくつかの実装形態は、また、前述の方法のうちのどれかを実行するために1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶する1つまたは複数の非一時的コンピュータ可読記憶媒体も含む。

前述の概念および本明細書でより詳しく説明されている追加の概念のすべての組合せは、本明細書で開示されている主題の一部であると企図されることは理解されるべきである。たとえば、本開示の末尾に現れる請求されている主題のすべての組合せは、本明細書で開示されている主題の一部であると企図される。

本明細書において開示されている実装形態が実装され得る例示的な環境のブロック図である。 図1のエージェント選択モジュールに含まれ得る様々なコンポーネントの一例を示す図である。 エージェント要求および応答がどのように、特定のエージェントを選択する際に利用され、および/またはエージェント選択モデルを生成する際に使用するためにレコードデータベースに記憶され得るかを示す一例の図である。 本明細書で開示されている実装形態により呼び出す単一のエージェントを選択する例示的な方法を示すフローチャートである。 本明細書で開示されている実装形態によりエージェント選択モデルを生成する例示的な方法を示すフローチャートである。 本明細書で開示されている実装形態により呼び出す単一のエージェントを選択する別の例示的な方法を示すフローチャートである。 本明細書で開示されている実装形態によりエージェントによって実行され得る例示的な方法を示すフローチャートである。 本明細書で開示されている実装形態による、ユーザ、クライアントデバイス、およびユーザと、クライアントデバイスに関連付けられている自動化アシスタントと、エージェントとの間の例示的な対話を例示する図である。 本明細書で開示されている実装形態による、ユーザ、クライアントデバイス、およびユーザと、クライアントデバイスに関連付けられている自動化アシスタントと、エージェントとの間の例示的な対話を例示する図である。 本明細書で開示されている実装形態による、追加のクライアントデバイス、およびクライアントデバイスのユーザと、クライアントデバイスに関連付けられている自動化アシスタントと、エージェントとの間の例示的な対話を例示する図である。 コンピューティングデバイスの例示的なアーキテクチャを示す図である。

いくつかの状況において、自動化アシスタントを介して特定のインテントについて特定のエージェントを呼び出すために、ユーザは、その特定のエージェントを明示的に呼び出す入力を与えなければならない。たとえば、「restaurant reservation」インテントに対して「Hypothetical Agent」という名前のエージェントを呼び出すために、ユーザは、「book a restaurant with Hypothetical Agent」などの「呼び出しフレーズ」をエージェントに対して発話することを知らなければならない。そのような明示的な呼び出しでは、最初に、インテントに対してどのエージェントが最も適切であるかをユーザが知る必要があり、エージェントとのインタラクションを介してインテントの試行された解決に対してユーザをそのエージェントに直接送る。

しかしながら、ユーザが様々なエージェントが利用可能であることに気付かない場合も多く、様々な自動化アシスタントインターフェースに対して、利用可能なエージェントおよび関連付けられている機能のリストを多くの場合に制約されている自動化アシスタントインターフェースにおいてユーザに明示的に提供することは実用的でなく、および/または望ましいことでない場合がある。たとえば、いくつかの自動化アシスタントインターフェースは「音声のみ」であり、ユーザにエージェントおよび関連付けられている機能の「リストを読み上げる」ことは実用的でなく、および/または望ましいことでない場合がある。さらに、自動化アシスタントが様々な利用可能なエージェントの能力に気付かない場合すらあり得る。

本明細書において開示されている様々な実装形態は、エージェントを関与させることを望んでいることを指示するが、関与させられるべき特定のエージェントを指示することができない自然言語入力などのユーザの「あいまいな」自然言語入力に応答して適切なエージェントの選択および呼び出しを可能にする。

次に、図1を参照すると、本明細書において開示されている技術が実装され得る例示的な環境が示されている。例示的な環境は、クライアントデバイス106、自動化アシスタント110、および複数のエージェント140A〜Nを含む。クライアントデバイス106は、たとえば、スタンドアロン型音声起動スピーカーデバイス、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、携帯電話コンピューティングデバイス、ユーザの車両のコンピューティングデバイス、および/またはコンピューティングデバイスを備えるユーザの着用可能装置(たとえば、コンピューティングデバイスを有するユーザの腕時計、コンピューティングデバイスを有するユーザの眼鏡、仮想または拡張現実コンピューティングデバイス)であってよい。追加の、および/または代替的なクライアントデバイスが実現され得る。

自動化アシスタント110は、図1にはクライアントデバイス106と別のものとして例示されているけれども、いくつかの実装形態において、自動化アシスタント110のすべてまたはいくつかの態様は、クライアントデバイス106によって実装されてよい。たとえば、いくつかの実装形態において、入力処理エンジン112は、クライアントデバイス106によって実装されてよい。自動化アシスタント110の1つまたは複数の(たとえば、すべての)態様がクライアントデバイス106からリモートにある1つまたは複数のコンピューティングデバイスによって実装される実装形態において、クライアントデバイス106および自動化アシスタント110のそれらの態様は、ワイドエリアネットワーク(WAN)(たとえば、インターネット)などの、1つまたは複数のネットワークを介して通信する。

自動化アシスタント110と組み合わせてただ1つのクライアントデバイス106が図示されているけれども、多くの実装形態において、自動化アシスタント110はリモートにあってよく、複数のユーザの複数のクライアントデバイスの各々とインターフェースし得る。たとえば、自動化アシスタント110は、異なるセッションを介して複数のデバイスの各々との通信を管理するものとしてよく、複数のセッションを並列に管理するものとしてよい。たとえば、いくつかの実装形態における自動化アシスタント110は、クラウドインフラストラクチャを採用する、たとえば、複数のユーザからの大量の要求を取り扱うのに好適なソフトウェアを実行する高性能コンピュータのサーバファームまたはクラスタを使用する、クラウドベースのサービスとして実装され得る。しかしながら、簡単にするため、本明細書の多くの例は、単一のクライアントデバイス106に関して説明されている。

自動化アシスタント110は、エージェント140A〜Nから分離しており、APIを介して、および/または1つもしくは複数の通信チャネル(たとえば、クライアントデバイス106の内部通信チャネルおよび/またはWANなどのネットワーク)を介してエージェント140A〜Nと通信する。いくつかの実装形態において、エージェント140A〜Nの1つまたは複数は、各々、自動化アシスタント110を管理するパーティとは別のそれぞれのパーティによって管理される。

エージェント140A〜Nの1つまたは複数は、各々、任意選択により、エージェントデータベース152に記憶させるためにデータを直接的にまたは間接的に提供し得る。しかしながら、いくつかのエージェント140A〜Nは、特定のデータを提供しない、不完全なデータを提供する、および/または不正確なデータを提供する場合も多い。本明細書で開示されているいくつかの実装形態は、あいまいなユーザ入力に対して適切なエージェントを選択する際に様々な追加の技術を利用することでこれらの状況を軽減し得る。所与のエージェントについて提供されるデータは、たとえば、所与のエージェントによって解決され得るインテントを定義し得る。さらに、所与のエージェントについて提供されるデータは、各インテントについて、インテントに対して定義された複数のインテントスロットパラメータに対してエージェントによって取り扱われ得る利用可能な値を定義し得る。いくつかの実装形態において、自動化アシスタント110および/または他のコンポーネントは、インテント、およびインテントスロットパラメータの各々について定義され得る許容可能な値を定義し得る。たとえば、そのような基準は、自動化アシスタント110によって維持されるAPIを介して定義され得る。次いで、エージェント140A〜Nのうちの1つまたは複数は、データの妥当性を確認し、エージェントデータベース152にそのデータを記憶し得る、自動化アシスタント110および/または他のコンポーネントにインテントとインテントスロットパラメータに対するその利用可能な値とを提供する(たとえば、WANを介して伝送する)ものとしてよい。エージェントデータベース152は、それに加えて、または代替的に、エージェントのランキング、エージェントの人気度尺度、などの様々なエージェントに対する他の特徴を記憶し得る。

自動化アシスタント110は、入力処理エンジン112と、ローカルコンテンツエンジン130と、エージェントエンジン120と、出力エンジン135とを備える。いくつかの実装形態において、自動化アシスタント110のエンジンのうちの1つまたは複数は、省かれ、組み合わされ、および/または自動化アシスタント110から分離しているコンポーネントで実装され得る。さらに、自動化アシスタント110は、簡単にするため本明細書において例示されていない追加のエンジンを備え得る。

自動化アシスタント110は、クライアントデバイス106からユーザ入力のインスタンスを受信する。たとえば、自動化アシスタント110は、ストリーミングオーディオ録音の形態で自由形式の自然言語音声入力を受信し得る。ストリーミングオーディオ録音は、クライアントデバイス106のユーザの発話入力を取り込むクライアントデバイス106のマイクロフォンから受信された信号に応答してクライアントデバイス106によって生成され得る。別の例として、自動化アシスタント110は、いくつかの実装形態における自由形式の自然言語のタイピングされた入力および/またはさらには構造化された(非自由形式)入力を受信し得る。いくつかの実装形態において、ユーザ入力は、クライアントデバイス106のユーザによる自動化アシスタント110の明示的な呼び出しに応答してクライアントデバイス106によって生成され、および/または自動化アシスタント110に提供され得る。たとえば、呼び出しは、ユーザの特定の音声入力(たとえば、「Hey Assistant」などの自動化アシスタント110のホットワード/フレーズ)、ハードウェアボタンおよび/または仮想ボタンに対するユーザインタラクション(たとえば、ハードウェアボタンのタップ、クライアントデバイス106によって表示されているグラフィカルインターフェース要素の選択)、および/または他の特定のユーザインターフェース入力の、クライアントデバイス106による検出であってよい。

自動化アシスタント110は、クライアントデバイス106からユーザ入力のインスタンスを受信したことに応答して出力のインスタンスを提供する。出力のインスタンスは、たとえば、デバイス106によって聴覚的にもたらされるオーディオ(たとえば、クライアントデバイス106のスピーカーを介した出力)、デバイス106によってグラフィックで示されるテキストおよび/またはグラフィックコンテンツ(たとえば、クライアントデバイス106の表示を介してレンダリングされる)などであってよい。本明細書において説明されているように、出力のいくつかのインスタンスは、自動化アシスタント110によって生成されるローカルの応答コンテンツに基づくものとしてよいが、出力の他のインスタンスは、エージェント140A〜Nのうちの選択されたエージェントによって生成される応答コンテンツに基づくものとしてよい。

自動化アシスタント110の入力処理エンジン112は、自然言語入力および/またはクライアントデバイス106を介して受信された他のユーザ入力を処理し、ローカルコンテンツエンジン130および/またはエージェントエンジン120などの、自動化アシスタント110の1つまたは複数の他のコンポーネントによる使用のために注釈付き出力を生成する。たとえば、入力処理エンジン112は、クライアントデバイス106の1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって生成される自然言語自由形式入力を処理し得る。生成された注釈付き出力は、自然言語入力の1つまたは複数の注釈および任意選択により自然言語入力の語のうちの1つまたは複数(たとえば、すべて)を含む。別の例として、入力処理エンジン112は、それに加えて、または代替的に、音声入力のインスタンスを受信し(たとえば、デジタルオーディオデータの形式で)、音声入力を1つまたは複数のテキスト単語または語句を含むテキストに変換する音声/テキストモジュールを備え得る。いくつかの実装形態において、音声/テキストモジュールは、ストリーミング音声/テキストエンジンである。音声/テキストモジュールは、各々オーディオ信号と言葉の中の音声単位との間の関係を、言葉の中の単語列とともにモデル化し得る1つまたは複数の記憶されている音声/テキストモデル(言語モデルとも称される)に依存し得る。

いくつかの実装形態において、入力処理エンジン112は、自然言語入力における様々な種類の文法情報を識別し、注釈を付けるように構成される。たとえば、入力処理エンジン112は、語にその文法上の役割を注釈として付けるように構成されている品詞タグ付け器を含み得る。たとえば、品詞タグ付け器は、「名詞」、「動詞」、「形容詞」、「代名詞」などの品詞を各語にタグ付けするものとしてよい。また、たとえば、いくつかの実装形態において、入力処理エンジン112は、それに加えて、および/または代替的に、自然言語入力における語の間の構文的関係を決定するように構成されている依存関係解析器を備え得る。たとえば、依存関係解析器は、どの語が文章の他の語、主語、および動詞を修飾するかなどを決定し(たとえば、解析木)、そのような依存関係の注釈を行い得る。

いくつかの実装形態において、入力処理エンジン112は、それに加えておよび/または代替的に、人々、組織、場所などへの参照などの1つまたは複数の文節における実体参照を注釈するように構成されている実体タグ付け器を含み得る。実体タグ付け器は、高水準の粒度(たとえば、人々などの実体クラスへのすべての参照の識別を可能にする)および/または低水準の粒度(たとえば、特定の人などの特定の実体へのすべての参照の識別を可能にする)の実体への参照を注釈し得る。実体タグ付け器は、特定の実体を解決するために自然言語入力のコンテンツに依存するものとしてよく、および/または任意選択により、特定の実体を解決するために知識グラフまたは他の実体とやり取りし得る。

いくつかの実装形態において、入力処理エンジン112は、それに加えておよび/または代替的に、1つまたは複数のコンテキストから得られる手がかりに基づき同じ実体への参照をグループ化するか、または「クラスタ化」するように構成されている同一指示解決器を備え得る。たとえば、同一指示解決器は、ユーザ入力のインスタンス内の「it」という語をユーザ入力の直前のインスタンス内の「Restaurant A」という先行する言及に解決するために利用され得る。

いくつかの実装形態において、入力処理エンジン112の1つまたは複数のコンポーネントは、入力処理エンジン112の1つまたは複数の他のコンポーネントからの注釈に依存し得る。たとえば、いくつかの実装形態において、名前を付けられた実体タグ付け器は、特定の実体へのすべての言及を注釈する際に同一指示解決器および/または依存関係解析器からの注釈に依存し得る。また、たとえば、いくつかの実装形態において、同一指示解決器は、同じ実体への参照をクラスタ化する際に依存関係解析器からの注釈に依存し得る。いくつかの実装形態において、特定の自然言語入力を処理する際に、入力処理エンジン112の1つまたは複数のコンポーネントは、特定の自然言語入力の外の関係する前の入力および/または他の関係するデータを使用して1つまたは複数の注釈を決定し得る。

入力処理エンジン112は、ユーザ入力のセマンティクスまたは意味の差異を認識し、ユーザ入力の意味的指示をそれらのエンジンによる使用のためにローカルコンテンツエンジン130および/またはエージェントエンジン120に提供することを試み得る。入力処理エンジン112は、テキスト(または他の入力)を特定のアクションにマップし、そのようなアクションの実行、たとえばそのようなアクションへの入力変数を制約する属性を識別するために1つまたは複数の記憶されている文法モデルに依存し得る。

ローカルコンテンツエンジン130は、そのユーザ入力が「ローカルアクション」(エージェントアクションと反対)に関連付けられているときに受信されたユーザ入力への応答を生成するものとしてよい。いくつかの実装形態において、入力処理エンジン112は、ユーザ入力がローカルアクションまたはエージェントアクションに関連付けられているかどうかを決定する。ローカルコンテンツエンジン130は、入力処理エンジン112と連携し、入力処理エンジン112によって提供される構文解析されたテキスト(たとえば、アクションとアクションパラメータ)によって示されるような1つまたは複数のアクションを実行し得る。ローカルインテントについては、ローカルコンテンツエンジン130は、ローカル応答コンテンツを生成し、そのローカル応答コンテンツを出力エンジン135に提供して対応する出力を与えデバイス106を介してユーザに提示し得る。ローカルコンテンツエンジン130は、1つまたは複数の記憶されているローカルコンテンツモデル154を利用して、ローカルコンテンツを生成し、および/または他のアクションを実行するものとしてよい。ローカルコンテンツモデル154は、たとえば、ローカル応答コンテンツを作成するために様々な規則を組み込み得る。いくつかの実装形態において、ローカルコンテンツエンジン130は、ローカル対話モジュール(対話モジュール126と同じか、または類似しているものとしてよい)などの、1つまたは複数の他の「ローカル」コンポーネントと、ローカル応答コンテンツを生成する際に通信し得る。

出力エンジン135は、出力のインスタンスをクライアントデバイス106に供給する。出力のインスタンスは、ローカル応答コンテンツ(ローカルコンテンツエンジン130からの)および/またはエージェント140A〜Nのうちの1つからの応答コンテンツ(自動化アシスタント110が媒介として動作するとき)に基づくものとしてよい。いくつかの実装形態において、出力エンジン135は、応答コンテンツのテキストコンポーネントをオーディオ形式に変換するテキスト読み上げエンジンを備えるものとしてよく、出力エンジン135によって供給される出力は、オーディオ形式である(たとえば、ストリーミングオーディオとして)。いくつかの実装形態において、応答コンテンツは、すでにオーディオ形式であってもよい。いくつかの実装形態において、出力エンジン135は、それに加えてまたは代替的に、テキスト返答コンテンツを出力として提供し(任意選択により、オーディオへのデバイス106による変換のため)、および/またはクライアントデバイス106によるグラフィック表示のため他のグラフィックコンテンツを出力として提供する。

エージェントエンジン120は、パラメータモジュール122と、エージェント選択モジュール124と、対話モジュール126と、呼び出しモジュール128とを備える。いくつかの実装形態において、エージェントエンジン120のモジュールは、省かれ、組み合わされ、および/またはエージェントエンジン120から分離しているコンポーネントで実装され得る。さらに、エージェントエンジン120は、簡単にするため本明細書において例示されていない追加のモジュールを備え得る。

パラメータモジュール122は、インテントパラメータ、インテントスロットパラメータ、コンテキストパラメータなどのパラメータに対する値を決定する。パラメータモジュール122は、自動化アシスタント110との対話でユーザによって提供される入力に基づき、および任意選択により、クライアントデバイスコンテキストに基づき値を決定する。インテントパラメータに対する値は、対話におけるユーザ提供入力によって指示され、および/または他のデータによって指示されるインテントを示す。たとえば、対話のインテントに対する値は「booking」、「booking a restaurant reservation」、「booking a hotel」、「purchasing professional services」、「telling jokes」、「reminder」、「purchasing travel services」、および/または他のインテントのうちの1つなどの複数の利用可能なインテントのうちの1つであってよい。パラメータモジュール122は、対話において自動化アシスタントに提供される一番最近の自然言語入力および/または対話において提供される過去の自然言語入力に基づきインテントを決定することができる。

インテントスロットパラメータに対する値は、インテントの粒度の高いパラメータに対する値を示す。たとえば、「booking restaurant reservation」インテントは、「number of people」、「date」、「time」、「cuisine type」、「particular restaurant」、「restaurant area」などに対するインテントスロットパラメータを有し得る。パラメータモジュール122は、対話におけるユーザ提供入力に基づき、および/または他の考慮事項(たとえば、ユーザ設定プリファレンス、過去のユーザインタラクション)に基づきインテントスロットパラメータに対する値を決定することができる。たとえば、「booking restaurant reservation」インテントに対する1つまたは複数のインテントスロットパラメータに対する値は、対話において自動化アシスタントに提供される一番最近の自然言語入力および/または対話において提供された過去の自然言語入力に基づくものとしてよい。たとえば、「book me a restaurant for tonight at 6:30」という自然言語入力は、「date」インテントスロットパラメータに対する「today's date」の値および「time」インテントスロットパラメータに対する「18:30」の値を決定するためにパラメータモジュール122によって使用され得る。多くの対話に対して、パラメータモジュール122は、インテントのインテントスロットパラメータのすべてに対する値(またはどのパラメータに対する値であっても)を解決し得ないことは理解される。そのような値は、インテントに応じるために呼び出されるエージェントによって(たとえそうであっても)解決され得る。

コンテキストパラメータに対する値は、たとえば、クライアントデバイスのユーザのインタラクション履歴、クライアントデバイス上の現在レンダリングされ、および/または最近レンダリングされたコンテンツ、クライアントデバイスの位置、現在の日付および/または時刻などに基づく値などのクライアントデバイスコンテキスト値を含み得る。

対話モジュール126は、特定のエージェントを選択するためにクライアントデバイス106を介してユーザとインタラクティブにやり取りする際に入力処理エンジン112から1つまたは複数の文法モデル、規則、および/または注釈を利用することができる。パラメータモジュール122および/またはエージェント選択モジュール124は、任意選択により、対話モジュール126とインタラクティブにやり取りして特定のエージェントを選択することに関係するさらなるユーザ入力を求めるためのプロンプトを生成することができる。対話モジュール126によって生成されるプロンプトは、出力エンジン135によってユーザへの提示のために提供され、さらなる応答ユーザ入力が受信され得る。さらなるユーザ入力は、各々、パラメータモジュール122(任意選択により、入力処理エンジン112によって注釈されるような)および/またはエージェント選択モジュール124によって分析され、それにより特定のエージェントの選択を補助し得る。一例として、3つの候補エージェントが最初に本明細書において説明されている技術に従って潜在的エージェントとしてエージェント選択モジュール124によって選択されてよく、対話モジュール126は、3つの候補エージェントのうちの特定の1つの選択を行うようユーザに求める1つまたは複数のプロンプトをユーザに対して提示し得る。次いで、エージェント選択モジュール124は、ユーザ選択に基づき特定のエージェントを選択することができる。

エージェント選択モジュール124は、パラメータモジュール122によって決定された値を利用してエージェント140A〜Nから、呼び出すべき特定のエージェントを選択する。エージェント選択モジュール124は、それに加えてまたは代替的に、特定のエージェントを選択する際に他の基準を利用し得る。たとえば、エージェント選択モジュール124は、選択モジュールデータベース156のうちの1つまたは複数の選択モジュールを利用するものとしてよく、および/または特定のエージェントを選択する際にエージェントデータベース152を使用し得る。

図2を参照すると、エージェント選択モジュール124に含まれ得る様々なコンポーネント124A〜Eの例が示されている。

要求コンポーネント124Aは、「ライブ」エージェント要求をエージェント140A〜Nのうちの1つまたは複数に伝送し、それらのエージェントからの応答(および/または応答の欠如)を利用してエージェントの各々がエージェント要求に応答して応答コンテンツを生成する能力を決定することができる。たとえば、要求コンポーネント124Aは、パラメータモジュール122によって決定されたインテントパラメータに対する値に適合するインテントに関連付けられている(たとえば、エージェントデータベース152内で)エージェント140A〜Nにライブエージェント要求を伝送することができる。本明細書において説明されているように、エージェント要求は、パラメータモジュール122によって決定されたパラメータに対する値に基づくものとしてよい。エージェント要求は、呼び出し要求に類似するもの(または同じ)であってよいが、結果として、いかなるエージェントの直接呼び出しも生じない。エージェント要求に応答するエージェントからの応答(または応答の欠如)は、そのエージェントがエージェント要求に応答して応答コンテンツを生成する能力を直接的にまたは間接的に示すことができる。

エージェントコンテキストコンポーネント124Bは、パラメータモジュール122によって決定されたインテントパラメータに対する値に適合するインテントに関連付けられている(たとえば、エージェントデータベース152内において)エージェント140A〜Nなどの、エージェント140A〜Nのうちの1つまたは複数に対する特徴を決定する。エージェントコンテキストコンポーネント124Bは、エージェントデータベース152から特徴を決定することができる。エージェントに対する特徴は、たとえば、特定のエージェントの記憶されているランキング(たとえば、ユーザの母集団によるランキング)、一般に特定のエージェントの人気度、パラメータモジュール122によって決定されたインテントに対する特定のエージェントの人気度などを含み得る。

クライアントコンテキストコンポーネント124Cは、クライアントデバイスのユーザと自動化アシスタント110とのインタラクションの履歴に基づく特徴などのクライアントデバイス106のユーザ(および/またはクライアントデバイス106それ自体)に関連付けられている特徴を決定する。たとえば、これらの特徴は、様々なエージェントの各々がユーザによってどれだけの頻度で利用されるか、様々なエージェントの各々がユーザによって最近いつ頃利用されたか、クライアントデバイス上の現在レンダリングされている、および/または最近レンダリングされたコンテンツ(たとえば、レンダリングされたコンテンツ内に存在する実体、最近利用されたアプリケーション)、クライアントデバイスの位置、現在の日付および/または時刻などに基づく特徴を含むことができる。

選択モデルコンポーネント124Dは、呼び出しに適切である思われるエージェント140A〜Nのうちの1つまたは複数を決定するために選択モジュールデータベース156の1つまたは複数の選択モデルを利用する。たとえば、選択モデルコンポーネント124Dは、選択モデルを利用して、複数のエージェント140A〜Nの各々について、エージェントを呼び出すことが適切かどうかを指示する1つまたは複数の確率または他の尺度を決定することができる。選択モデルコンポーネント124Dは、選択モデルの各々に、パラメータモジュール122によって決定されたパラメータ値および/またはコンポーネント124A、124B、および/または124Cによって決定された値のうちの1つまたは複数を適用することができる。

選択コンポーネント124Eは、1つまたは複数のエージェント140A〜Nを選択する際にコンポーネント124A、124B、124C、および/または124Dによって提供される出力を利用する。いくつかの実装形態および/または状況において、選択コンポーネント124Eは、複数のエージェントのうちから選択することをユーザに促すことなくエージェント140A〜Nのうちの単一のエージェントのみを選択する。いくつかの他の実装形態および/または状況において、選択コンポーネント124Eは、エージェント140A〜Nのサブセットを選択し、そのサブセットのエージェントのうちの1つを選択するためにユーザインターフェース入力を提供することをユーザに求めるプロンプトをユーザに(たとえば、対話における対話モジュール126により生成されるプロンプトを介して)プロンプトを提供し得る。選択コンポーネント124Eは、選択されたエージェントの指示を呼び出しモジュール128に提供することができる。

呼び出しモジュール128は、エージェント選択モジュール124によって選択されたエージェント(エージェント140A〜Nのうちの)に、パラメータモジュール122によって決定されたパラメータを含む呼び出し要求を伝送する。伝送された呼び出し要求は、特定のエージェントを呼び出す。本明細書において説明されているように、いくつかの状況において、自動化アシスタント110は、それでも、特定のエージェントが呼び出されたときに媒介として働き得る。たとえば、ユーザの自然言語入力が音声入力である場合に媒介として働く際に、自動化アシスタント110の入力処理エンジン112は、その音声入力をテキストに変換し、自動化アシスタント110は、テキスト(および任意選択により、入力処理エンジン112からのテキストの注釈)を特定のエージェントに伝送し、特定のエージェントから応答コンテンツを受信し、出力エンジン135は、クライアントデバイス106を介してユーザに提示するための応答コンテンツに基づく出力を提供するものとしてよい。また、たとえば、媒介として働く際に、自動化アシスタント110は、それに加えてまたは代替的に、ユーザ入力および/または応答コンテンツを分析して、エージェントとの対話が終了されるべきか、代替的エージェントに転送されるべきかなどを決定し得る。本明細書で説明されているように、いくつかの状況において、対話は、エージェントに実際に転送され(転送された後に自動化アシスタント110が媒介として働くことなく)、1つまたは複数の条件の発生後に自動化アシスタント110に転送されて戻され得る。さらに、本明細書において説明もされているように、いくつかの状況において、呼び出されたエージェントは、クライアントデバイス106によって実行されてよく、および/またはクライアントデバイス106によってフォアフロントに持ってこられてよい(たとえば、そのコンテンツは、クライアントデバイス106の表示を引き継ぐことができる)。

エージェント140A〜Nの各々は、コンテキストパラメータエンジン、コンテンツエンジン、および/または他のエンジンを含み得る。さらに、多くの実装形態において、エージェントは、応答コンテンツを生成する際に様々な記憶されているモデルおよび/または他のリソース(たとえば、その自文法モデルおよび/またはコンテンツモデル)にアクセスし得る。

図1にも例示されているのは、モデルエンジン150およびレコードデータベース158である。本明細書においてより詳しく説明されているように、レコードデータベース158は、自動化アシスタント110とエージェント140A〜Nとの様々なインタラクションに基づく記憶されている情報を含み得る。モデルエンジン150は、選択モデルデータベース156の1つまたは複数の選択モデルを生成する際にそのような情報を利用することができる。追加の説明はここに示される。

次に図3〜図10を参照すると、図1の環境の様々なコンポーネントの追加の説明が記述されている。

図3は、エージェント要求および応答がどのように、特定のエージェントを選択する際に利用され、および/またはエージェント選択モデルを生成する際に使用するためにレコードデータベース158に記憶され得るかを示す一例の図である。

図3では、自然言語入力171が自動化アシスタント110の入力処理エンジン112によって受信される。実施例として、自然言語入力171は、「table for 4, outdoor seating, Restaurant A」であってよい。入力処理エンジン112は、注釈付き入力172を生成し、注釈付き入力172をパラメータモジュール122に供給する。

パラメータモジュール122は、注釈付き入力172に基づき、および/またはクライアントデバイスコンテキストに基づきパラメータ173に対する値を生成する。引き続きこの実施例において、パラメータモジュール122は、インテントパラメータに対する「restaurant booking」値、座席配置選好インテントスロットパラメータに対する「outdoor」値、およびレストラン所在地インテントスロットパラメータに対する「Restaurant A」値を生成することができる。

要求コンポーネント124Aは、パラメータ173に対する値に基づきエージェント要求を生成する。図3の「AR」有向矢印によって示されているように、要求コンポーネント124Aは、エージェント要求を複数のエージェント140A〜Dの各々に伝送する。いくつかの実装形態において、要求コンポーネント124Aは、それらが「restaurant booking」インテントに関連付けられていると決定したことに基づきエージェント140A〜Dを選択することができる。いくつかの他の実装形態において、要求コンポーネント124Aは、エージェント要求をエージェント140A〜Dおよび/または追加のエージェント(たとえば、エージェント140A〜Nのすべてに送信されてもよい)に、インテントに関係なく送信することができる。たとえば、様々なエージェントによって取り扱われ得るインテントは未知のものであり得、および/またはインテントは対話から導出可能ではない場合がある。

図3の「R」有向矢印によって示されているように、要求コンポーネント124Aは、エージェント要求をエージェント140A〜Dに伝送したことに応答してエージェント140A〜Dの各々から応答を受信する。応答は、各々、これらのエージェントのうちの対応する1つのエージェント140A〜Dがエージェント要求を解決する能力を示す。たとえば、所与のエージェントからの応答は、2値をとる指示、2値でない信頼度尺度、実際の応答コンテンツ(またはコンテンツなし/エラー)などであってよい。エージェントの各々からの応答は図3に示されているけれども、いくつかの実装形態または状況において、エージェント140A〜Dのうちの1つまたは複数は応答し得ず、これは対応するエージェントが応答できないことを指示し得る(たとえば、エージェントがエージェント要求を処理することができず、および/またはオフラインである)。エージェント要求は、エージェント140A〜Dのアクティブな呼び出しなしでエージェント140A〜Dに伝送される。

要求コンポーネント124Aは、レコードデータベース158内に、応答(および/または応答に基づき行われる決定)とエージェント要求とを記憶する。たとえば、要求コンポーネント124Aは、エージェント要求およびエージェント140A〜Dの各々に対する応答の指示を記憶することができる。たとえば、要求コンポーネント124Aは、エージェント要求と、エージェント140Aは応答できなかった、エージェント140Bは応答できた、エージェント140Cは応答できなかった、などを示す指示とを記憶することができる。

要求コンポーネント124Aは、応答174(および/または応答に基づき行われる決定)を選択コンポーネント124Eに提供する。

選択コンポーネント124Eは、応答174を利用して特定のエージェント176を選択し、任意選択により、それに加えて、エージェントコンテキストコンポーネント124Bおよび/またはクライアントコンテキストコンポーネント124Cによって提供される特徴を利用し得る。一例として、選択コンポーネント124Eは、応答174にのみ基づき特定のエージェント176を選択し得る(たとえば、応答する能力を最もよく示す応答を有するエージェントを選択する)。別の例として、選択コンポーネント124Eは、応答174と、エージェントコンテキストコンポーネント124Bによって提供されるエージェント140A〜Dのうちの1つまたは複数のエージェントのランキングとを利用し得る。たとえば、選択コンポーネント124Eは、最初に、応答する能力をその応答が最もよく示すエージェント140A〜Dのうちの2つを選択し、次いで、選択されていないエージェントより高いランキングを有する選択済みのエージェントに基づきそれらのうちの1つのみを選択し得る。さらに別の例では、選択コンポーネント124Eは、応答174と、クライアントコンテキストコンポーネント124Cによって提供される使用特徴履歴とを利用し得る。たとえば、選択コンポーネント124Eは、最初に、応答する能力をその応答が最もよく示すエージェント140A〜Dのうちの2つを選択し、次いで、自動化アシスタント110をインタラクティブに操作しているユーザによってより頻繁におよび/またはより最近に利用されている選択済みのエージェントに基づきそれらのうちの1つのみを選択し得る。

選択コンポーネント124Eは、特定のエージェント176を呼び出しモジュール128に提供する。呼び出しモジュール128は、特定のエージェントを呼び出すことができる。たとえば、呼び出しモジュール128は、特定のエージェントに、パラメータ173に対する値に基づく呼び出し要求を伝送することによって特定のエージェントを呼び出すことができる。また、たとえば、呼び出しモジュール128は、出力エンジン135に、特定のエージェントからすでに受信されている応答コンテンツに基づく出力を提供させることができ、任意選択により、出力を提供したことに応答して受信されるさらなる受信されたユーザインターフェース入力(もしあれば)に応答してさらなる応答コンテンツを生成するために特定のエージェントを呼び出し得る。

図4は、本明細書で開示されている実装形態による例示的な方法400を示すフローチャートである。便宜上、図4のフローチャートの動作は、動作を実行するシステムを参照しつつ説明されている。このシステムは、自動化アシスタント110の1つまたは複数のコンポーネントなどの、様々なコンピュータシステムの様々なコンポーネントを備え得る。さらに、方法400の動作が特定の順序で示されているが、これは制限することを意味しない。1つまたは複数の動作が、順序変更、省略、または追加されてもよい。

ブロック450において、システムはユーザ入力を受信する。いくつかの実装形態において、ブロック450において受信されたユーザ入力は、自由形式の自然言語入力である。

ブロック452において、システムは、受信されたユーザ入力がエージェントアクションを示しているかどうかを決定する。たとえば、システムは、受信された自然言語入力のテキスト(または受信された音声自然言語入力から変換されたテキスト)を解析し、解析されたテキストがエージェントアクションにマップされるかどうかを決定し得る。たとえば、システムは、テキストに含まれている語/語句がエージェントアクションに関連して記憶されている語/語句とマッチするかどうかに基づき解析されたテキストがエージェントアクションにマップされるかどうかを決定し得る。また、たとえば、システムは、テキストから導出された1つまたは複数の実体がエージェントアクションに関連して記憶されている1つまたは複数の実体とマッチするかどうかを決定し得る。さらに別の例では、システムは、入力に応答してローカル応答コンテンツを生成することができないとシステムが決定した場合に入力がエージェントアクションにマップされると仮定し得る。いくつかの実装形態において、システムは、入力に応答してシステムがローカル応答コンテンツを生成することができるときであっても入力がエージェントアクションにマップされると決定し得ることに留意されたい。たとえば、システムは、ローカル応答コンテンツを生成することができること、および1つまたは複数のエージェントがエージェント応答コンテンツを潜在的に生成することも可能であることを決定し得る。それらの例のうちのいくつかにおいて、システムは、ブロック462、464、466、および468(以下で説明されている)で考慮されるべきエージェントの間のローカルエージェントを含み得る。

システムが、ブロック452において、エージェントで意図されているアクションが指示されていないと決定した場合、システムは、ブロック454、456、および458に進む。ブロック454において、システムは、エージェントの呼び出しをせずにローカル応答コンテンツを生成する。たとえば、システムは、システムのローカル文法モデルおよび/またはローカルコンテンツモデルを利用してローカル応答コンテンツを生成し得る。ブロック456において、システムは、ローカル応答コンテンツに基づく出力を提供する。たとえば、出力は、ローカル応答コンテンツまたはローカル応答コンテンツの変換(たとえば、テキスト読み上げ変換)であってよい。出力は、クライアントデバイスを介して(たとえば、音声または画像により)提示するために提供される。ブロック458において、システムは、追加の音声入力を待ち、追加の音声入力を受信した後にブロック450に戻る。

システムが、ブロック452の反復で、エージェントアクションが指示されていると決定した場合、システムは、ブロック460に進む。ブロック460において、システムは、ブロック450のユーザ入力において単一のエージェントが指定され、および/または単一のエージェントがそうでない場合にあいまいなく解決され得るかを決定する。

システムが、ブロック460において、単一のエージェントが指示されていると決定した場合、システムは、ブロック474に進む。

システムが、ブロック460において、単一のエージェントが指示されていないと決定した場合、システムは、ブロック462、464、466、および468に進む。ブロック462において、システムは、ブロック450の一番最近の反復におけるユーザ入力に基づき、ならびに/または前のユーザ入力および/もしくは他の基準に基づきエージェント要求を生成する。ブロック464において、システムは、利用可能なエージェントのコーパスから複数のエージェントを選択する。たとえば、システムは、コーパスのエージェントのすべて、またはエージェントのサブセット(たとえば、エージェント要求によって指示されているインテントを有するエージェント)を選択し得る。エージェントは、非ローカルエージェントのみおよび/またはローカルと非ローカルエージェントとを含み得る。ブロック466において、システムは、ブロック462のエージェント要求をブロック464において選択されたエージェントの各々に伝送する。

ブロック468において、システムは、ブロック466の伝送に応答してエージェントから1つまたは複数の応答を受信する。ブロック470において、システムは、ブロック468で受信された応答(または応答に基づき行われた決定)と、ブロック466において伝送されたエージェント要求との間の関連付けを記憶する。そのような記憶されている関連付けは、エージェント選択モデルを生成する際に使用され得る(たとえば、図5の方法500において)。ブロック472において、システムは、ブロック468において受信された応答に基づき、および/または他の基準に基づき単一のエージェントを選択する。

いくつかの実装形態において、ブロック472では、システムは、ブロック468において受信された応答を使用してエージェントのサブセットを選択し、そのサブセットのエージェントの指示をユーザに提示するための出力として提供し、出力に応答したユーザ選択を利用してサブセットのエージェントから単一のエージェントを選択する。それらの実装形態の何らかのバージョンにおいて、システムは、また、ブロック470において、ユーザによって選択された単一のエージェントの指示を記憶し得る。エージェントの指示は、たとえば、エージェントの名前もしくは他の識別子および/またはブロック468で受信された応答に含まれるエージェントの応答コンテンツの指示であってよい。

ブロック474において、システムは、呼び出し要求を単一のエージェントに伝送する。単一のエージェントは、ブロック472で選択されたエージェントであり得るか(ブロック460における決定が「no」であった場合)、またはユーザ入力で指示された単一のエージェントであり得る(ブロック460における決定が「yes」であった場合)。たとえば、システムは、1つまたは複数の通信チャネル上で呼び出し要求を伝送し、任意選択により、APIを利用し得る。いくつかの実装形態において、呼び出し要求は、本明細書で説明されているような様々な呼び出しパラメータに対する値を含む。いくつかの実装形態において、システムは、ブロック472からブロック474に進む前に、最初に、ユーザが単一のエージェントを利用することを望んでいることを確認するようユーザに促すものとしてよい。それらの実装形態において、システムは、ブロック472からブロック474に進む前にそのプロンプトに応答して肯定的ユーザ入力を必要とし得る。他の実装形態では、システムは、最初にユーザに確認を促すことなくブロック472からブロック474に自動的に進み得る。

任意選択のブロック476において、システムは、ユーザと単一のエージェントとのインタラクションに基づきグローバルパラメータ値を更新し得る。たとえば、ユーザによって単一のエージェントにさらなる自然言語入力が提供されると、結果として、単一のエージェントはまだ未定義であるグローバルパラメータ(たとえば、特定のインテントスロットパラメータ)に対する値を定義し得るか、または単一のエージェントはパラメータに対する前に定義されている値を修正し得る。単一のエージェントは、そのような更新された値をシステムに提供するものとしてよく、システムは、更新された値を反映するようにグローバルパラメータ値を更新し得る。

ブロック478において、システムは、エージェント切り替え入力を受信する。エージェント切り替え入力は、異なるエージェントに切り替えることを望んでいることを指示するユーザからの入力(たとえば、自然言語入力)である。たとえば、「talk to another agent」、「different agent」、「try it with Agent X」などの入力は、エージェント切り替え入力であり得る。

エージェント切り替え入力を受信したことに応答して、ブロック480において、システムは呼び出し要求を代替的エージェントに伝送する。代替的エージェントへの呼び出し要求は、ブロック474において呼び出された単一のエージェントの代わりに代替的エージェントを呼び出す。呼び出し要求は、任意選択により、ブロック476において更新された更新済みグローバルパラメータ値を含み得る。この方式で、第1のエージェントとのインタラクションを通じて導出された値は、その後呼び出されるエージェントに転送され、それによって、その後呼び出されたエージェントとのインタラクションの効率を高めることができる。いくつかの状況において、どの代替的エージェントが追加の呼び出し要求を伝送するために選択されるかは、エージェント切り替え入力それ自体に基づき(たとえば、代替的エージェントのうちの1つを名前でまたは特性によって参照する場合)および/または他の要因に基づく(たとえば、エージェント要求が再び更新済みグローバルパラメータ値、および代替的エージェントを選択するために利用される応答に基づき選択され得る)ものとしてよい。いくつかの実装形態において、ブロック480において呼び出し要求を代替的エージェントに伝送する前に、システムはチェックして、代替的エージェントが応答コンテンツを生成できる可能性が高いことを確認し得る。たとえば、システムは、エージェント要求を代替的エージェントに送信し、そのような決定を応答に基づき行い、および/またはエージェントデータベース152内のエージェントに対する情報に基づきそのような決定を行うことができる。

図5は、本明細書で開示されている実装形態による別の例示的な方法500を示すフローチャートである。図5は、エージェント要求および関連付けられている応答に基づき、選択モデルデータベース156の選択モデルを生成する例を示している。図5の例では、選択モデルは、深層ニューラルネットワークモデルなどの機械学習モデルである。

便宜上、図5のフローチャートの動作は、動作を実行するシステムを参照しつつ説明されている。このシステムは、モデルエンジン150などの、様々なコンピュータシステムの様々なコンポーネントを備え得る。さらに、方法500の動作が特定の順序で示されているが、これは制限することを意味しない。1つまたは複数の動作が、順序変更、省略、または追加されてもよい。

ブロック552において、システムは、エージェント要求および関連付けられている応答を選択する。一例として、エージェント要求および関連付けられている応答は、レコードデータベース158から選択され得る。いくつかの実装形態において、選択されたエージェント要求および関連付けられている応答は、図3に例示されているような要求コンポーネント124Aによって生成されている可能性があり、および/または図4の方法400のブロック470の反復で記憶されている可能性がある。いくつかの他の実装形態において、他の技術を通じて生成されたエージェント要求および/または関連付けられている応答が利用され得る。たとえば、エージェント要求はエージェントに伝送され、応答は「非ライブ」方式で受信されるものとしてよい。言い換えれば、エージェント要求および応答は、必ずしも、過去の人間/自動化アシスタント対話において特定のエージェントを能動的に選択する際に生成されたものである必要はない。非限定的な一例として、エージェント要求は、「裸の」呼び出しである呼び出しの直後にエージェントに提供される自然言語入力に基づくものを含み得る。たとえば、「Agent A」の裸の呼び出しの直後に「Agent A」に提供される自然言語入力は、複数の追加のエージェントにその後伝送されるエージェント要求を生成するために利用され得る。

実施例として、ブロック552の反復で選択されるエージェント要求は、インテントパラメータに対する「restaurant booking」値、座席配置選好インテントスロットパラメータに対する「outdoor」値、およびレストラン所在地インテントスロットパラメータに対する「Restaurant A」値を含むと仮定する。さらに、選択され関連付けられている応答はエージェント要求に対する「yes」(応答コンテンツを生成することができる)または「no」(応答コンテンツを生成することができない)という2値応答を含むと仮定する。特に、関連付けられている応答はAgents 1〜5が「yes」の応答を生成したこと、およびAgents 6〜200が「no」の応答を生成したことを指示すると仮定する。

ブロック554において、システムは、選択されたエージェント要求および関連付けられている応答に基づき訓練インスタンスを生成する。ブロック554は、サブブロック5541および5542を含む。

サブブロック5541において、システムは、エージェント要求に基づき、および任意選択により、追加の値に基づき訓練インスタンスの訓練インスタンス入力を生成する。引き続き実施例を参照すると、システムは、インテントパラメータ、座席配置選好インテントスロットパラメータ、およびレストラン所在地インテントスロットパラメータに対するエージェント要求の値を含む訓練インスタンス入力を生成することができる。システムは、エージェント要求によって未定義である訓練インスタンス入力の次元に対する訓練インスタンスにおける「ヌル」値(または他の値)を含み得る。たとえば、訓練されるべき機械学習モデルの入力次元が他のインテントスロットパラメータ(同じインテントおよび/または他のインテントの)に対する入力を含む場合、ヌル値は、そのような入力に対する訓練インスタンスにおいて利用され得る。

サブブロック5542において、システムは、応答に基づき訓練インスタンスの訓練インスタンス出力を生成する。引き続き実施例を参照すると、システムは、Agents 1〜5(「yes」の応答を生成した)に対応する出力次元の各々に対する「1」(または他の「正値」)およびAgents 6〜200(「no」の応答を生成した)に対応する出力次元の各々に対する「0」(または他の「負値」)を含む訓練インスタンス出力を生成することができる。

ブロック556において、システムは、追加のエージェント要求および関連付けられている応答があるかどうかを決定する。そうであれば、システムはブロック552に戻り、別のエージェント要求および関連付けられている応答を選択し、次いで、選択されたエージェント要求および関連付けられている応答に基づき別の訓練インスタンスを生成する。

ブロック558〜566は、ブロック552、554、および556の複数回の反復に続いて、または並列に実行され得る。

ブロック558において、システムは、ブロック554の反復において生成された訓練インスタンスを選択する。

ブロック560において、システムは、機械学習モデルへの入力として訓練インスタンスを適用する。たとえば、機械学習モデルは、ブロック5541において生成された訓練インスタンス入力の次元に対応する入力次元を有することができる。

ブロック562において、システムは、適用される訓練インスタンス入力に基づき機械学習モデル上で出力を生成する。たとえば、機械学習モデルは、ブロック5541において生成された訓練インスタンス出力の次元に対応する出力次元を有することができる(たとえば、出力の各次元はエージェントおよび/またはエージェントとインテントに対応するものとしてよい)。

ブロック564において、システムは、生成された出力および訓練インスタンス出力に基づき機械学習モデルを更新する。たとえば、システムは、ブロック562において生成された出力および訓練インスタンス出力に基づきエラーを決定し、機械学習モデル上で誤差を逆伝搬することができる。

ブロック566において、システムは、1つまたは複数の追加の未処理の訓練インスタンスがあるかどうかを決定する。もしそうであれば、システムは、ブロック558に戻り、追加の訓練インスタンスを選択し、次いで、追加の未処理の訓練インスタンスに基づきブロック560、562、および564を実行する。いくつかの実装形態において、ブロック566で、システムは、1つまたは複数の訓練基準が満たされている場合に追加の未処理の訓練インスタンスを処理しないことを決定し得る(たとえば、閾値数のエポックが生じ、および/または閾値持続時間の訓練が生じた)。方法500は、非バッチ学習技術に関して説明されているけれども、バッチ学習は、それに加えておよび/または代替的に利用され得る。

方法500により訓練された機械学習モデルは、これ以降、現在の対話に基づき、複数の利用可能なエージェント(および任意選択によりインテント)の各々に対する確率を予測するために利用されてよく、これらの確率の各々は、エージェントが対話に基づく呼び出し要求を適切に取り扱うことができる確率を指示する。たとえば、現在の対話に基づく値は、訓練された機械学習モデルへの入力として適用され、モデル上で出力を生成することができ、出力は各々エージェントに対応する複数の値を含み、値は各々対応するエージェントが呼び出された場合に適切な応答コンテンツを生成することができる確率(たとえば、0から1までの間の値)を指示する。たとえば、200個の利用可能なエージェントがモデルによって表される場合、200個の値が出力に含まれるものとしてよく、各値はエージェントのうちの1つに対応し、エージェントが適切な応答コンテンツを生成することができる確率を指示する。この方式で、訓練された機械学習モデルは、様々な現実世界のエージェント要求へのそれらのエージェントの応答に基づき訓練を通じて様々なエージェントの能力に対する洞察を効果的にもたらす。訓練された機械学習モデルは、入力に基づき、エージェントデータベース152および/または他のリソースが入力に対するそれらのエージェントの能力を明示的に示さないときでも入力への応答を生成する様々なエージェントの能力を決定するために使用され得る。

図5は、生成され利用され得るエージェント選択モデルの一例を示している。しかしながら、本明細書において説明されているように、追加の、および/または代替的なエージェント選択モデルは、特定のエージェントを選択する際に利用され得る。そのような追加の、および/または代替的なエージェント選択モデルは、任意選択により、図5に関して説明されているものと異なる訓練インスタンスに基づき訓練された機械学習モデルであってよい。

一例として、選択モデルは、様々なユーザによるエージェントの過去の明示的な選択に基づき生成されてよく、そのような選択モデルは、それに加えて、または代替的に、特定のエージェントを選択する際に利用され得る。たとえば、図4のブロック472に関して説明されているように、いくつかの実装形態において、複数のエージェントの指示がユーザに対して提示されるものとしてよく、複数のエージェントのうちの単一のエージェントのユーザ選択は、複数のエージェントから単一のエージェントを選択するために利用され得る。複数のユーザのそのような明示的な選択は、選択モデルは生成するために利用できる。たとえば、方法500に関して上で説明されているものに類似する訓練インスタンスが生成され得るが、各訓練インスタンスの訓練インスタンス出力は、ユーザによって選択されたエージェントに基づき生成され得る。たとえば、訓練インスタンスについて、「1」(または他の「正値」)が選択されたエージェントに対応する出力次元に利用され、「0」(または他の「負」値)が他のすべてのエージェントに対応する出力次元の各々に利用され得る。また、たとえば、訓練インスタンスについて、「1」(または他の「正値」)が選択されたエージェントに対応する出力次元に利用され、「0.5」(または他の「中間値」)がユーザに提示されるが選択されない他のエージェントに対応する出力次元に利用され、「0」(または他の「負」値)が他のすべてのエージェントに対応する出力次元の各々に利用され得る。この方式および他の方式で、ユーザによるエージェントの例示的な選択は、1つまたは複数のエージェント選択モデルを生成する際に利用され得る。

図6は、本明細書で開示されている実装形態による別の例示的な方法600を示すフローチャートである。図6は、呼び出す単一のエージェントを選択する際に、図5の方法500に基づき生成されるエージェント選択モデルなどの、エージェント選択モデルを利用する例を示している。

便宜上、図6のフローチャートの動作は、動作を実行するシステムを参照しつつ説明されている。このシステムは、自動化アシスタント110の1つまたは複数のコンポーネントなどの、様々なコンピュータシステムの様々なコンポーネントを備え得る。さらに、方法600の動作が特定の順序で示されているが、これは制限することを意味しない。1つまたは複数の動作が、順序変更、省略、または追加されてもよい。

ブロック650において、システムはユーザ入力を受信する。ブロック650は、図4のブロック450と共通の1つまたは複数の態様を共有し得る。

ブロック652において、システムは、受信されたユーザ入力がエージェントアクションを示しているかどうかを決定する。ブロック652は、図4のブロック452と共通の1つまたは複数の態様を共有し得る。

システムが、ブロック652において、エージェントで意図されているアクションが指示されていないと決定した場合、システムは、ブロック654、656、および658に進む。ブロック654において、システムは、エージェントの呼び出しをせずにローカル応答コンテンツを生成する。ブロック656において、システムは、ローカル応答コンテンツに基づく出力を提供する。ブロック658において、システムは、追加の音声入力を待ち、追加の音声入力を受信した後にブロック650に戻る。ブロック654、656、および658は、図4のブロック454、456、および458と共通の1つまたは複数の態様を共有し得る。

システムが、ブロック652の反復で、エージェントアクションが指示されていると決定した場合、システムは、ブロック660に進む。ブロック660において、システムは、ユーザ入力650において単一のエージェントが指定され、および/または単一のエージェントがそうでない場合にあいまいなく解決され得るかを決定する。ブロック660は、図4のブロック460と1つまたは複数の態様を共有し得る。

システムが、ブロック660において、単一のエージェントが指示されていると決定した場合、システムは、ブロック680に進む。

システムが、ブロック660において、単一のエージェントが指示されていないと決定した場合、システムは、ブロック672、674、676、および678に進む。ブロック672において、システムは、650の一番最近の反復におけるユーザ入力に基づき、ならびに/または前のユーザ入力および/もしくは他の基準に基づき入力特徴を生成する。たとえば、システムは、インテントパラメータ、インテントスロットパラメータなどに対する値などの、ユーザ入力に基づき決定されるパラメータに対する値を含む入力特徴を生成することができる。また、たとえば、システムは、現在のクライアントデバイスコンテキストに基づき値を生成することができる。

ブロック674において、システムは、入力特徴をエージェント選択モデルに適用する。

ブロック676において、システムは、エージェント選択モデルへの入力の適用に基づき、複数の各々に対する確率を生成する。これらの確率の各々は、対応するエージェントが適切な応答コンテンツを生成する能力を示す。

ブロック678において、システムは、確率および/または他の基準に基づき単一のエージェントを選択する。いくつかの実装形態において、システムは単一のエージェントをそれが適切な応答コンテンツを生成する最も高い確率を有することに基づき選択する。他の何らかの実装形態において、システムは、追加の基準に基づき単一のエージェントを選択する。たとえば、システムは、確率に基づきエージェントの初期サブセットを選択し、「ライブ」エージェント要求をサブセットのエージェントに伝送し、単一のエージェントを選択する際にエージェント要求への「ライブ」応答を利用することができる。別の例として、システムは、それに加えてまたは代替的に、クライアントデバイスのユーザのインタラクションの履歴(たとえば、単一のエージェントがユーザによってどのくらいの頻度で利用されているか、単一のエージェントがユーザによってどれくらい最近に利用されたか)、クライアントデバイス上の現在レンダリングされているおよび/または最近レンダリングされたコンテンツ、クライアントデバイスの位置、現在の日付および/または時刻、単一のエージェントのランキング(たとえば、ユーザの母集団によるランキング)、単一のエージェントの人気度(たとえば、ユーザの母集団の間の人気度)などに基づき単一のエージェントを選択することができる。

ブロック680において、システムは、呼び出し要求を単一のエージェントに伝送する。単一のエージェントは、ブロック678で選択されたエージェントであり得るか(ブロック660における決定が「no」であった場合)、またはユーザ入力で指示された単一のエージェントであり得る(ブロック660における決定が「yes」であった場合)。ブロック680は、図4のブロック474と共通の1つまたは複数の態様を共有し得る。

図7は、本明細書で開示されている実装形態による別の例示的な方法700を示すフローチャートである。図7は、エージェント選択モデルのうちの1つまたは複数によって実行され得る方法の一例を示している。

便宜上、図7のフローチャートの動作は、動作を実行するシステムを参照しつつ説明されている。このシステムは、エージェント140A〜Nの1つのエージェントの1つまたは複数のコンポーネントなどの、様々なコンピュータシステムの様々なコンポーネントを備え得る。さらに、方法700の動作が特定の順序で示されているが、これは制限することを意味しない。1つまたは複数の動作が、順序変更、省略、または追加されてもよい。

ブロック752において、システムは、自動化アシスタントからエージェント要求を受信する。いくつかの実装形態において、エージェント要求は、エージェント要求としてフラグを立てられるか、または他の何らかの方法で指示される。

ブロック754において、システムは、エージェント要求に基づき応答を生成する。たとえば、システムは、エージェント要求のコンテンツを解析し、システムが要求に応答することができるかどうかを決定し、それが要求に応答できるかどうかに基づき応答を生成し得る。たとえば、要求は、インテントパラメータに対する値を含むものとしてよく、システムは、それが値によって指示されるインテントに応答することができるかどうかに基づき要求に応答することができるかどうかを決定し得る。たとえば、インテントパラメータに対する値が「booking」であるが、システムは「gaming」インテントを取り扱うことしかできない場合、応答できないと決定し、それが完全に応答できないことを指示する応答(たとえば、「0」または他の「負」応答値)を生成し得る。また、たとえば、要求は、インテントスロットパラメータに対する値を含むものとしてよく、システムは、それがインテントスロットパラメータおよび/または値に応答することができるかどうかに基づき要求に応答することができるかどうかを決定し得る。たとえば、インテントスロットパラメータがシステムによってサポートされていないが、エージェント要求の他のパラメータおよび値はサポートされている場合、システムは、エージェント要求のパラメータのすべてではなくいくつかを取り扱うことができることを指示する応答(たとえば、「0.5」または他の「部分的」応答値)を生成し得る。さらに別の例として、インテントスロットパラメータは、システムによってサポートされ得るが、特定の値は、システムによってサポートされ得ない。たとえば、インテントスロットパラメータは、「geographic region」パラメータであってよく、値は、システムによるサービスを受けない地理的領域であり得る。そのようなシナリオにおいて、システムは、それが応答することができないことを指示する、またはより具体的にはそれがエージェント要求の値のすべてではなくいくつかを取り扱うことができることを指示する応答を生成し得る。

ブロック756において、システムは、自動化アシスタントによって呼び出されることなくエージェント応答を自動化アシスタントに提供する(たとえば、伝送する)。

ブロック758において、システムは、これ以降、自動化アシスタントから呼び出し要求を受信し得る。いくつかの実装形態において、呼び出し要求は、システムが対話を事実上または実際に引き継ぐべきであることを指示し得る。呼び出し要求が、システムが対話を実際に引き継ぐべきであると指示する場合、システムは、対応するクライアントデバイスとの直接ネットワーク通信セッションを確立するものとしてよい。呼び出し要求が、システムが対話を事実上引き継ぐべきであると指示する場合、システムは、呼び出し要求を提供したコンポーネントおよび/または関係するコンポーネントとそのまま通信しながら対話を引き継ぎ得る。

ブロック760において、システムは、呼び出し要求に含まれているパラメータに対する値に基づき応答コンテンツを生成する。

ブロック762において、システムは、応答コンテンツを提供する。たとえば、呼び出し要求が、システムが対話を事実上引き継ぐべきである、および/または対話に関与することなく意図されたアクションのみを実行すべきであることを指示する場合、システムは、応答コンテンツを、呼び出し要求を送信したコンポーネント(または関係するコンポーネント)に伝送し得る。また、たとえば、呼び出し要求が、システムが対話を実際に引き継ぐべきであると指示する場合、システムは応答コンテンツを対応するクライアントデバイスに伝送し得る。

ブロック758、760、および762は、いくつかの状況においては実行され得ないことを指示するために図7において破線で示されている。たとえば、本明細書で説明されているように、いくつかの実装形態において、システムは、対応する呼び出し要求を受信することすらしないでエージェント要求を受信し得る。

図8および図9は、各々、ユーザ101、音声対応クライアントデバイス806、およびユーザ101と、クライアントデバイス806に関連付けられている自動化アシスタントと、エージェントとの間で行われ得る対話の一例を示している。クライアントデバイス806は、1つまたは複数のマイクロフォンおよび1つまたは複数のスピーカーを備える。図1の自動化アシスタント110の1つまたは複数の態様は、クライアントデバイス806上で、および/またはクライアントデバイス806とネットワーク通信している1つまたは複数のコンピューティングデバイス上で実装され得る。したがって、説明を簡単にするため、自動化アシスタント110は図8および図9の説明において参照されている。

図8において、ユーザは、「Assistant, deliver flowers to my house today」という発話入力880Aを提供する。発話入力に対応する音声入力が、デバイス806によって生成され、自動化アシスタント110に(たとえば、ストリーミング音声入力として)提供される。発話入力880Aが特定のエージェントを指定していないとしても、自動化アシスタント110は、発話入力880Aを利用して、複数の利用可能なエージェントから、本明細書で説明されている1つまたは複数の技術に基づき(たとえば、エージェント選択モデルに基づき)単一のエージェントを選択し得る。

発話入力880Aに、また単一エージェントを選択したことに応答して、自動化アシスタント110は、出力882A「Sure, Agent 1 can handle that」を生成し、提供し得る。さらに、自動化アシスタント110は、「Agent 1」を呼び出し、次いでこれは「Hi, this is Agent 1. What kind of flowers?」のエージェント出力882Bを提供する。

エージェント出力882Bに応答して、ユーザは、「12 red roses」というさらなる発話入力880Bを提供する。発話入力に対応する音声入力が、デバイス806によって生成され、自動化アシスタント110に提供され、これは発話入力(またはその変換および/または注釈)を「Agent 1」に転送する。さらなる発話入力880Bは、「order flowers」インテントのまだ未指定である「flower type」インテントスロットパラメータに対する値を指定する。自動化アシスタント110は、さらなる発話入力880Bに基づき(直接的に、または「Agent 1」によって提供される値の指示に基づくかのいずれか)「flower type」インテントスロットパラメータに対するグローバル値を更新し得る。

さらなる発話入力880Bに応答して、「Agent 1」は「I can have them delivered at 5 :00 for a total of $60. Want to order?」というさらなるエージェント出力882Cを提供する。

さらなるエージェント出力882Cに応答して、ユーザは、「Assistant, switch me to another flower agent」というさらなる発話入力880Cを提供する。自動化アシスタント110は、そのようなさらなる発話入力を切り替え入力として認識し、適切な代替的エージェントを選択することができる。たとえば、自動化アシスタント110は、エージェント選択モデルおよび/または「ライブ」エージェント要求に基づき、「Agent 2」がインテントスロットパラメータに対する様々な値(「flower type」に対する値を含む)とともにインテントを取り扱うことができると決定することができる。

さらなる発話入力880Cに、また代替的エージェントを選択したことに応答して、自動化アシスタント110は、出力882D「Sure, Agent 2 can also handle」を生成し提供し得る。さらに、自動化アシスタント110は、「Agent 2」を呼び出し、「Agent 2」を「flower type」インテントスロットパラメータに対する更新されたグローバル値を含む呼び出し要求で呼び出す。次いで「Agent 2」は、「Hi, this is Agent 2. I can have the 12 red roses delivered at 5 :00 for $50. Order?」というエージェント出力882Eを提供する。特に、この出力は、前に呼び出された「Agent 1」とのインタラクションに応答して更新された、「flower type」インテントスロットパラメータに対する更新されたグローバル値に基づき生成される。

次いで、ユーザは、「Yes」というさらなる発話入力880Fを提供して「Agent 2」がインテントスロットパラメータに対する指定された値でインテントを満たすようにする。

図9において、ユーザは、「Assistant, table for 2, outdoor seating, 6:00 tonight at Hypothetical Cafe」という発話入力980Aを提供する。発話入力に対応する音声入力が、デバイス806によって生成され、自動化アシスタント110に(たとえば、ストリーミング音声入力として)提供される。発話入力980Aが特定のエージェントを指定していないとしても、自動化アシスタント110は、発話入力980Aを利用して、複数の利用可能なエージェントから、本明細書で説明されている1つまたは複数の技術に基づき(たとえば、エージェント選択モデルに基づき)単一のエージェントを選択し得る。

発話入力980Aに、また単一エージェントを選択したことに応答して、自動化アシスタント110は、「Agent 3」を呼び出し得る。「Agent 3」は、ユーザとのさらなる対話に加わることなく、インテントスロットパラメータに対する指定された値を持つインテントを満たすことができる。「Agent 3」は、予約が完了していることを指示する応答コンテンツを生成して、自動化アシスタント110に提供し、テキスト確認がユーザ101に送信されることになる。それに応答して、自動化アシスタント110は、「Reserved with Agent 3. Text confirmation on its way.」という出力982Aを提供する。

図10は、別のクライアントデバイス1006およびクライアントデバイス1006の表示画面1040を示している。クライアントデバイス1006は、自動化アシスタント110を含み、および/または自動化アシスタント110と通信するものとしてよい。表示画面1040は、ユーザが仮想キーボードを介してユーザ入力を生成するために選択し得る返答インターフェース要素1088と、ユーザがマイクロフォンを介してユーザ入力を生成するためにユーザが選択し得る音声返答インターフェース要素1089とを備える。いくつかの実装形態において、ユーザは、音声返答インターフェース要素1089の選択なしでマイクロフォンを介してユーザ入力を生成し得る。たとえば、対話中に、マイクロフォンを介した可聴ユーザインターフェース入力に対する能動的監視は、ユーザが音声返答インターフェース要素1089を選択する必要をなくすために行われ得る。それらの実装形態のうちのいくつかおよび/または他の実装形態において、音声返答インターフェース要素1089は省かれてよい。さらに、いくつかの実装形態において、返答インターフェース要素1088は、それに加えておよび/または代替的に省かれ得る(たとえば、ユーザは可聴ユーザインターフェース入力のみを提供し得る)。表示画面1040は、クライアントデバイス1006に1つまたは複数のアクションを実行させるためにユーザがインタラクティブに操作し得るシステムインターフェース要素1081、1082、1083も備える。

図10において、入力1080Aは、図8の入力880Aと同じである。同様に、出力1082Aおよび1082Bは、図8の出力882Aおよび882Bと同じである。図10は、自動化アシスタント110および/またはエージェントとのグラフィックインタラクション(graphical interaction)の一例として示されている(図8の発話/可聴インタラクション(spoken/audible interaction)の代わりに)。図10は、グラフィックインタラクションの一例を示しているけれども、異なる例も企図される。たとえば、「Agent 1」が図10に例示されているような自動化アシスタントとの共通インターフェースを介して出力1082Bを提供する代わりに、「Agent 1」は、代わりに、起動される別個のアプリケーションであってよく、および/または呼び出しに応答してフォアフロントに持ってこられてもよい。たとえば、図10の出力1082Aの後に、「Agent 1」アプリケーションインターフェースは、図10の自動化アシスタントインターフェースに取って代わり、次いで、出力1082Bに類似する出力を提供し得る。

図11は、本明細書で説明されている技術のうちの1つまたは複数の態様を実行するために任意選択で利用され得る例示的なコンピューティングデバイス1110のブロック図である。いくつかの実装形態において、デバイス106、自動化アシスタント110、3Pエージェント、および/または他のコンポーネントのうちの1つまたは複数は、例示的なコンピューティングデバイス1110の1つまたは複数のコンポーネントを含み得る。

コンピューティングデバイス1110は、典型的には、バスサブシステム1112を介して多数の周辺デバイスと通信する少なくとも1つのプロセッサ1114を備える。これらの周辺デバイスは、たとえば、メモリサブシステム1125およびファイル記憶装置サブシステム1126を含む、記憶装置サブシステム1124、ユーザインターフェース出力デバイス1120、ユーザインターフェース入力デバイス1122、およびネットワークインターフェースサブシステム1116を含み得る。入力および出力デバイスは、ユーザとコンピューティングデバイス1110とのインタラクションを可能にする。ネットワークインターフェースサブシステム1116は、外部ネットワークへのインターフェースを備え、他のコンピューティングデバイス内の対応するインターフェースデバイスに結合される。

ユーザインターフェース入力デバイス1122は、キーボード、マウス、トラックボール、タッチパッド、もしくはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどの音声入力デバイス、マイクロフォン、および/または他の種類の入力デバイスを含み得る。一般に、「入力デバイス」という用語の使用は、情報をコンピューティングデバイス1110内に、または通信ネットワーク上に入力するためのすべての可能な種類のデバイスおよび方法を含むことが意図されている。

ユーザインターフェース出力デバイス1120は、表示サブシステム、プリンタ、ファックス機、または音声出力デバイスなどの非視覚的ディスプレイを含み得る。表示サブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、プロジェクションデバイス、または可視画像を生成するための他の何らかのメカニズムを含み得る。表示サブシステムは、音声出力デバイスなどを介して非視覚的ディスプレイも備え得る。一般に、「出力デバイス」という用語の使用は、情報をコンピューティングデバイス1110からユーザまたは別のマシンもしくはコンピューティングデバイスに出力するためのすべての可能な種類のデバイスおよび方法を含むことが意図されている。

記憶装置サブシステム1124は、本明細書で説明されているモジュールのうちのいくつかまたはすべての機能を実現するプログラミングおよびデータ構造を記憶する。たとえば、記憶装置サブシステム1124は、図4、図5、図6、および/または図7の方法の選択された態様を実行するための論理回路を備え得る。

これらのソフトウェアモジュールは、一般的に、プロセッサ1114によって、単独で、または他のプロセッサと組み合わせて、実行される。記憶装置サブシステム1124において使用されるメモリ1125は、プログラム実行時に命令およびデータを記憶するための主ランダムアクセスメモリ(RAM)1130、ならびに固定された命令が記憶されるリードオンリーメモリ(ROM)1132を含む多数のメモリを備えることができる。ファイル記憶装置サブシステム1126は、プログラムおよびデータファイル用の永続的記憶域を備えることができ、ハードディスクドライブ、関連する取り外し可能媒体を伴ったフロッピーディスクドライブ、CD-ROMドライブ、光ドライブ、または取り外し可能メディアカートリッジを含み得る。いくつかの実装形態の機能を実装するモジュールは、ファイル記憶装置サブシステム1126によって、記憶装置サブシステム1124、またはプロセッサ1114によってアクセス可能な他のマシン内に記憶され得る。

バスサブシステム1112は、コンピューティングデバイス1110の様々なコンポーネントおよびサブシステムに意図したとおりに互いに通信させるメカニズムを備える。バスサブシステム1112は、単一のバスとして概略が図示されているけれども、バスサブシステムの代替的実装では、複数のバスを使用し得る。

コンピューティングデバイス1110は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または他のデータ処理システムもしくはコンピューティングデバイスを含む様々な種類のデバイスであってよい。コンピュータおよびネットワークはその性質上絶えず変化し続けるので、図11に示されているコンピューティングデバイス1110の説明は、いくつかの実装を例示することを目的とする特定の例としてのみ意図されている。コンピューティングデバイス1110の他の多くの構成は、図11に示されているコンピューティングデバイスよりも多い、または少ない構成要素を有するものが可能である。

本明細書において説明されているいくつかの実装形態がユーザに関する個人情報(たとえば、他の電子通信から抽出されたユーザデータ、ユーザのソーシャルネットワークに関する情報、ユーザの位置、ユーザの時刻、ユーザのバイオメトリック情報、ならびにユーザの活動および人口学的情報)を収集するか、または使用し得る状況では、ユーザは、情報が収集されるかどうか、個人情報が記憶されるかどうか、個人情報が使用されるかどうか、およびその情報がどのようにユーザに関して収集され、記憶され、使用されるかについて制御する1つまたは複数の機会を提供される。すなわち、本明細書で説明されているシステムおよび方法の実装形態は、関連するユーザからそうするよう明示的許可を受けた後にのみユーザ個人情報を収集し、記憶し、および/または使用する。たとえば、ユーザは、プログラムまたは特徴がその特定のユーザまたはプログラムまたは特徴に関連する他のユーザに関するユーザ情報を収集するかどうかに関する制御機能を提供される。個人情報が収集される各ユーザは、ユーザに関連する情報収集を制御することを可能にし、情報が収集されるかどうか、情報のどの部分が収集されるべきかどうかに関して許諾もしくは許可を与える1つまたは複数のオプションを提示される。たとえば、ユーザは、通信ネットワーク上で1つまたは複数のそのような制御オプションを提供され得る。それに加えて、特定データが、それが記憶されるか、または使用される前に1つまたは複数の方法で処理されるものとしてよく、したがって個人的に識別可能な情報は取り除かれる。一例として、ユーザの素性は、個人的に識別可能な情報がいっさい決定され得ないように取り扱われ得る。別の例として、ユーザの地理的位置は、ユーザの特定の位置が決定できないようにより広い領域に一般化され得る。

101 ユーザ
106 クライアントデバイス
110 自動化アシスタント
112 入力処理エンジン
171 自然言語入力
120 エージェントエンジン
122 パラメータモジュール
124 エージェント選択モジュール
124A〜E コンポーネント
126 対話モジュール
128 呼び出しモジュール
130 ローカルコンテンツエンジン
135 出力エンジン
140A〜N エージェント
150 モデルエンジン
152 エージェントデータベース
154 ローカルコンテンツモデル
156 選択モジュールデータベース、選択モデルデータベース
158 レコードデータベース
171 自然言語入力
172 注釈付き入力
173 パラメータ
174 応答
176 エージェント
400 方法
500 方法
600 方法
806 クライアントデバイス
880A 発話入力
880B 発話入力
880C 発話入力
880F 発話入力
882A 出力
882B エージェント出力
882C エージェント出力
882D 出力
882E エージェント出力
980A 発話入力
982A 出力
1006 クライアントデバイス
1040 表示画面
1080A 入力
1081、1082、1083 システムインターフェース要素
1082Aおよび1082B 出力
1088 返答インターフェース要素
1089 音声返答インターフェース要素
1110 コンピューティングデバイス
1112 バスサブシステム
1114 プロセッサ
1116 ネットワークインターフェースサブシステム
1120 ユーザインターフェース出力デバイス
1122 ユーザインターフェース入力デバイス
1124 記憶装置サブシステム
1125 メモリサブシステム
1126 ファイル記憶装置サブシステム
1130 主ランダムアクセスメモリ
1132 リードオンリーメモリ

Claims (12)

1つまたは複数のプロセッサが実行する方法であって、
前記1つまたは複数のプロセッサが、
人間/自動化アシスタント対話においてユーザインターフェース入力に基づき生成される複数の自然言語入力インスタンスの各々について、
前記自然言語入力インスタンスに基づきエージェント要求を生成するステップと、
前記エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、
1つまたは複数のアプリケーションプログラミングインターフェースを介して、前記エージェント要求を前記セットの前記複数のエージェントの各々に伝送するステップと、
前記伝送に応答して前記複数のエージェントの各々から、前記エージェント要求への対応する応答を受信するステップであって、前記応答は、各々、前記複数のエージェントのうちの対応する1つのエージェントが前記エージェント要求に応答して応答コンテンツを生成する能力を示す、ステップと、
1つまたは複数のコンピュータ可読記録媒体に、前記エージェント要求と前記エージェント要求への前記応答との間の1つまたは複数の関連付けを記憶するステップと、
前記エージェント要求とそれらの応答との間の前記記憶されている関連付けに基づきエージェント選択モデルを生成するステップであって、前記エージェント選択モデルは、機械学習モデルであり、前記機械学習モデルを生成するステップは、
前記エージェント要求およびそれらの応答に基づき訓練インスタンスを生成するステップであって、前記訓練インスタンスの各々を生成するステップは、
前記エージェント要求に基づき前記訓練インスタンスの訓練インスタンス入力を生成するステップと、
前記エージェント要求に関連して記憶されている前記応答に基づき前記訓練インスタンスの訓練インスタンス出力を生成するステップと
を含む、ステップと、
前記訓練インスタンスに基づき前記機械学習モデルを訓練するステップと
を含む、ステップと、
前記エージェント選択モデルを生成するステップの後に、
自動化アシスタントに向けられるユーザのその後の自然言語入力を、前記ユーザと前記自動化アシスタントとの間の対話の一部として受信するステップと、
前記その後の自然言語入力と前記エージェント選択モデルとに基づき特定のエージェントを選択するステップであって、前記特定のエージェントは前記利用可能なエージェントのうちの1つであり、前記その後の自然言語入力と前記エージェント選択モデルとに基づき前記特定のエージェントを選択するステップは、
前記機械学習モデルへの入力として、前記その後の自然言語入力に基づいている入力特徴を適用するステップと、
前記入力に基づく前記機械学習モデル上で、前記特定のエージェントに対する値を含む出力を生成するステップと、
前記特定のエージェントに対する前記値に基づき前記特定のエージェントを選択するステップと
を含む、ステップと、
前記その後の自然言語入力を受信したことに応答して、および前記特定のエージェントを選択したことに応答して、
前記アプリケーションプログラミングインターフェースの1つまたは複数を介して、呼び出し要求を前記選択された特定のエージェントに伝送するステップであって、前記呼び出し要求は、前記特定のエージェントを呼び出し、前記特定のエージェントに、1つまたは複数のユーザインターフェース出力デバイスを介して前記ユーザに提示する特定の応答コンテンツを生成させ、
前記その後の自然言語入力を受信したことに応答して、前記呼び出し要求は、前記選択された特定のエージェントにのみ伝送される、ステップと
を実行する方法。

前記複数の自然言語入力インスタンスのうちの所与の自然言語入力インスタンスについて、
前記応答の第1のサブセットは各々応答コンテンツを生成する能力を指示し、前記応答の第2のサブセットは各々応答コンテンツを生成する能力がないことを指示する、請求項1に記載の方法。

前記第2のサブセットの前記応答は、エラーを指示するステップまたは閾値を満たすことができなかった信頼度尺度を指示するステップに基づき、前記能力がないことを指示する、請求項2に記載の方法。

前記特定のエージェントを選択するステップは、1つまたは複数のコンテキスト値にさらに基づく、請求項1に記載の方法。

前記1つまたは複数のコンテキスト値に基づき前記特定のエージェントを選択するステップは、前記1つまたは複数のコンテキスト値を前記機械学習モデルへの追加の入力として適用するステップを含む、請求項4に記載方法。

前記複数の自然言語入力インスタンスがエージェントを指定することができないと決定するステップに基づき、前記エージェント要求を生成するステップで使用される、前記複数の自然言語入力インスタンスを選択するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。

前記複数の自然言語入力インスタンスのうちの所与の自然言語入力インスタンスについて、
前記エージェント要求に対する前記応答を使用して前記セットの前記複数のエージェントの所与のエージェントを選択するステップと、
選択された呼び出し要求を前記選択された所与のエージェントに伝送するステップであって、前記選択された呼び出し要求は前記所与の自然言語入力インスタンスに基づく、ステップと
をさらに含む、請求項1に記載の方法。

複数のエージェントの前記セットは、前記自然言語入力インスタンスで表されているインテントパラメータに対する値に各々関連付けられている複数のエージェントの前記セットに基づき利用可能なエージェントの前記コーパスから選択される、請求項1から7のいずれか一項に記載の方法。

1つまたは複数のプロセッサが実行する方法であって、
前記1つまたは複数のプロセッサが、
人間/自動化アシスタント対話においてユーザインターフェース入力に基づき生成される複数の自然言語入力インスタンスの各々について、
前記自然言語入力インスタンスに基づきエージェント要求を生成するステップと、
前記エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、
前記エージェント要求を前記セットの前記複数のエージェントの各々に伝送するステップと、
前記伝送に応答して前記複数のエージェントの少なくともサブセットから、前記エージェント要求への対応する応答を受信するステップと、
前記応答の各々から、前記エージェント要求に応答して応答コンテンツを生成するために前記応答を提供するエージェントの相対的能力を決定するステップと、
1つまたは複数のコンピュータ可読記録媒体に、前記エージェント要求に応答することができると決定された前記エージェントのうちの少なくとも1つへの前記エージェント要求の関連付けを記憶するステップと、
前記エージェント要求と前記エージェント要求に応答することができると決定された前記エージェントとの間の前記記憶されている関連付けに基づきエージェント選択モデルを生成するステップであって、前記エージェント選択モデルは、機械学習モデルであり、前記機械学習モデルを生成するステップは、
前記エージェント要求および前記エージェント要求に応答することができると決定された前記エージェントに基づき訓練インスタンスを生成するステップであって、前記訓練インスタンスの各々を生成するステップは、
エージェント要求に基づき前記訓練インスタンスの訓練インスタンス入力を生成するステップと、
前記エージェント要求に応答できると決定された前記エージェントのうちの前記少なくとも1つに基づき前記訓練インスタンスの訓練インスタンス出力を生成するステップと
を含む、ステップと、
前記訓練インスタンスに基づき前記機械学習モデルを訓練するステップと
を含む、ステップと、
前記エージェント選択モデルを生成するステップの後に、
自動化アシスタントに向けられるユーザのその後の自然言語入力を、前記ユーザと前記自動化アシスタントとの間の対話の一部として受信するステップと、
前記その後の自然言語入力と前記エージェント選択モデルとに基づき特定のエージェントを選択するステップであって、前記特定のエージェントは前記利用可能なエージェントのうちの1つであり、前記その後の自然言語入力と前記エージェント選択モデルとに基づき前記特定のエージェントを選択するステップは、
前記機械学習モデルへの入力として、前記その後の自然言語入力に基づいている入力特徴を適用するステップと、
前記入力に基づく前記機械学習モデル上で、前記特定のエージェントに対する値を含む出力を生成するステップと、
前記特定のエージェントに対する前記値に基づき前記特定のエージェントを選択するステップと
を含む、ステップと、
前記特定のエージェントを選択したことに応答して、
呼び出し要求を前記選択された特定のエージェントに伝送するステップであって、前記呼び出し要求は、前記特定のエージェントを呼び出し、前記特定のエージェントに、1つまたは複数のユーザインターフェース出力デバイスを介して前記ユーザに提示する特定の応答コンテンツを生成させる、ステップと
を実行する方法。

前記特定のエージェントを選択するステップは、前記特定のエージェントと前記利用可能なエージェントのうちの1つまたは複数の他のエージェントとから選択するよう前記ユーザに明示的に求める出力を前記ユーザに与えることなく行われる、請求項9に記載の方法。

1つまたは複数のプロセッサが実行する方法であって、
前記1つまたは複数のプロセッサが、
人間/自動化アシスタント対話においてユーザインターフェース入力に基づき生成される自然言語入力インスタンスを受信するステップと、
前記自然言語入力インスタンスに応答してエージェントを呼び出す前に、
前記自然言語入力インスタンスに基づきエージェント要求を生成するステップと、
前記エージェント要求に対して、利用可能なエージェントのコーパスから複数のエージェントのセットを選択するステップと、
前記エージェント要求を前記セットの前記複数のエージェントの各々に伝送するステップと、
前記伝送に応答して前記複数のエージェントの少なくともサブセットから、前記エージェント要求への対応する応答を受信するステップと、
前記応答の各々から、前記エージェント要求に応答して応答コンテンツを生成するために前記応答を提供するエージェントの相対的能力を決定するステップと、
前記応答のうちの少なくとも1つに基づき前記複数のエージェントのうちの特定のエージェントを選択するステップと、
前記自然言語入力インスタンスに応答して、および前記特定のエージェントを選択したことに基づき、
前記特定のエージェントを呼び出すステップであって、前記特定のエージェントを呼び出すステップは、前記特定のエージェントによって生成される応答コンテンツを、1つまたは複数のユーザインターフェース出力デバイスを介して提示のため提供させ、
前記選択された特定のエージェントのみが前記自然言語入力インスタンスを受信したことに応答して呼び出される、ステップと、
1つまたは複数のコンピュータ可読記録媒体に、前記エージェント要求に応答することができると決定された前記エージェントのうちの少なくとも1つへの前記エージェント要求の関連付けを記憶するステップと、
前記エージェント要求に応答することができると決定された前記エージェントのうちの前記少なくとも1つに対する前記エージェント要求の前記記憶されている関連付けに基づき訓練インスタンスを生成するステップと、
前記訓練インスタンスに基づきエージェント選択モデルを訓練するステップであって、前記エージェント選択モデルは、機械学習モデルである、ステップと、
前記訓練インスタンスに基づき前記エージェント選択モデルを訓練するステップの後に、
追加の自然言語入力を追加の人間/自動化アシスタント対話で受信するステップと、
前記機械学習モデルへの入力として、前記追加の自然言語入力に基づいている入力特徴を適用するステップと、
前記入力に基づく前記機械学習モデル上で、前記複数のエージェントのうちの1つの追加のエージェントに対する値を含む出力を生成するステップと、
前記値に基づき前記追加のエージェントを選択するステップと、
前記追加の自然言語入力に応答して、および前記追加のエージェントを選択したことに基づき、
追加の呼び出し要求を前記追加のエージェントに伝送するステップであって、
前記追加の呼び出し要求は前記追加のエージェントを呼び出し、
前記追加の自然言語入力を受信したことに応答して、前記呼び出し要求は、前記選択された追加のエージェントにのみ伝送される、ステップと
を実行する方法。

前記特定のエージェントを選択するステップは、
前記人間/自動化アシスタント対話に関与しているユーザによる前記特定のエージェントとのインタラクションの量、
前記ユーザによる前記特定のエージェントとのインタラクションのリーセンシー、または
ユーザの母集団における前記特定のエージェントのランキングまたは人気度にさらに基づく、請求項11に記載の方法。

Images