JP2014013569A - ディスプレイ装置、対話型システム及び応答情報提供方法 - Google Patents

Abstract

【課題】 本発明の目的とするところは、ディスプレイ装置からユーザの多様な発話音声に対して、より的確な応答情報を提供することができるためのディスプレイ装置、対話型システム及び応答情報提供方法を提供することにある。
【解決手段】 ディスプレイ装置、対話型システム及び応答情報提供方法が開示される。本発明に係るディスプレイ装置は、ユーザ音声を収集するための音声収集部と、対話型サーバと通信を行う通信部と、対話型サーバに伝送されたユーザ音声に対応する応答情報が対話型サーバから受信されると、応答情報に対応する機能を実行するように制御する制御部とを含み、制御部は、ウェブサーチ及びソーシャルネットワークサービスを通じて、ユーザ音声に関連した代替応答情報を受信するように通信部を制御する。それにより、ディスプレイ装置は、ユーザの多様なユーザ音声に適した応答情報を提供することができる。
【選択図】 図１

Description

本発明は、ディスプレイ装置、対話型システム及び応答情報提供方法に関し、より詳細には、ユーザの発話音声に対応する応答情報を提供するためのディスプレイ装置、対話型システム及び応答情報提供方法に関する。

一般的に、音声認識が可能なディスプレイ装置は、ユーザが実行しようとするユーザの発話音声を収集し、その収集した発話音声をネットワークを通じて接続された外部サーバに伝送する。その後、ディスプレイ装置は、外部サーバからディスプレイ装置で認識可能な形態に変換されたユーザの発話音声関連の情報を受信し、その受信した発話音声関連の情報を分析し、ユーザの発話音声に対する意味を把握する。その後、ディスプレイ装置は、意味把握された結果に基づいて、ユーザの発話音声に対応する機能を実行し、必要に応じて、ユーザの発話音声に対するガイドメッセージを出力する。

しかし、このような従来のディスプレイ装置は、ユーザの発話音声に対応する機能を実行するうえで、極めて制限的であるだけでなく、単にユーザの発話音声に対応する機能を実行したり、回避する程度の機能のみを行う。

具体的に、ディスプレイ装置は、ユーザからの要求に応じて、音声認識モードにシフトすると、ユーザの発話音声に通じてディスプレイ装置の動作を制御できる命令語を画面上にディスプレイする。よって、ユーザは、画面上にディスプレイされたディスプレイ装置の動作制御に関連した命令語を参照し、自分の望む機能に対する動作を音声で命令することができる。

すなわち、従来のディスプレイ装置は、予め設定された命令語に基づいて、ユーザの発話音声に対応する動作を行うか、或いは、発話音声に対する再要求のみを行うだけで、ユーザの多様な発話音声に対して異なる応答情報を提供することができないという問題があった。

よって、このような問題点を解消すべく、ディスプレイ装置はユーザから発話音声に関連した情報を受信し、ウェブサーチを通じてユーザから入力された情報に基づいて、ユーザの要求に対する応答情報を提供する方法が模索されている。しかし、このような方法も、ユーザが要求した質問に対する的確な応答情報を提供することができないという問題があった。

日本特開第２０１１−０８６０２１号公報 韓国特開第２００９−０００１４１８号公報 韓国特開第２０１１−１１４９９７号公報 韓国特開第２００９−００９３５７１号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイ装置からユーザの多様な発話音声に対して、より的確な応答情報を提供することができるようにすることにある。

以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、ユーザ音声を収集するための音声収集部と、対話型サーバと通信を行う通信部と、対話型サーバに伝送された前記ユーザ音声に対応する応答情報が前記対話型サーバから受信されると、前記応答情報に対応する機能を実行するように制御する制御部とを含み、前記制御部は、ウェブサーチ及びソーシャルネットワークサービスを通じて、前記ユーザ音声に関連した代替応答情報を受信するように前記通信部を制御する。

そして、出力部を更に含み、前記制御部は、前記対話型サーバから前記ユーザ音声に対応する前記応答情報に対する提供不可メッセージとともに前記ユーザ音声内に含まれた発話要素が受信されると、前記ウェブサーチ及び前記ソーシャルネットワークサービスを通じて、前記発話要素に関連した代替応答情報を受信して出力するように前記出力部を制御してよい。

なお、前記制御部は、前記ウェブサーチを行うためのユーザ命令が受信されると、前記発話要素に基づいたウェブサーチに対する結果を受信して出力するように制御してよい。

そして、前記制御部は、前記ソーシャルネットワークサービスに対するユーザ命令が受信されると、前記発話要素に基づいた応答要求メッセージを生成し、前記ソーシャルネットワークサービスを提供するＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サーバに伝送し、前記ＳＮＳサーバから前記応答要求メッセージに対応する応答メッセージを受信して出力してよい。

なお、前記制御部は、ユーザ命令に応じて、前記ユーザのＳＮＳアカウントに前記応答要求メッセージを伝送し、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

そして、前記制御部は、ユーザ命令に応じて、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントの中から選択されたＳＮＳアカウントに前記応答要求メッセージを伝送し、前記選択されたＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

なお、前記制御部は、ユーザ命令に応じて、予め設定された共用ＳＮＳアカウントに前記応答要求メッセージを伝送し、前記共用ＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

そして、前記制御部は、前記応答メッセージが受信されると、前記応答メッセージ受信を報知する報知情報を出力するように制御してよい。

なお、前記対話型サーバは、前記収集されたユーザ音声をテキスト情報に変換する第１サーバ及び前記テキスト情報に変換されたユーザ音声に対応する応答情報を生成する第２サーバを含み、前記制御部は、前記収集されたユーザ音声をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ音声に対するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ音声に対応する応答情報を受信してよい。

そして、前記第２サーバは、前記ユーザ音声内にＥＰＧ関連の発話要素または前記ディスプレイ装置の機能制御関連の発話要素が含まれた場合、前記第２サーバから受信した応答情報に基づいて、前記ユーザ音声に対応する応答メッセージ出力及び機能実行のうち、少なくとも一方の機能を実行してよい。

一方、本発明の一実施形態に係るディスプレイ装置からユーザ音声に適した応答情報を提供する方法において、前記方法は、ユーザ音声を収集するステップと、前記収集されたユーザ音声を対話型サーバに伝送するステップと、前記対話型サーバから前記ユーザ音声に対応する応答情報が受信されるかをチェックするステップと、前記チェックの結果、前記ユーザ音声に対応する応答情報が受信されると、前記応答情報に対応する機能を実行するステップとを含み、前記機能を実行するステップは、ウェブサーチ及びソーシャルネットワークサービスを通じて、前記ユーザ音声に関連した代替応答情報を受信して出力する。

そして、前記機能を実行するステップは、前記対話型サーバから前記応答情報に対する提供不可メッセージとともに前記ユーザ音声内に含まれた発話要素が受信されると、前記ウェブサーチ及び前記ソーシャルネットワークサービスを通じて、前記発話要素に関連した代替応答情報を受信して出力してよい。

なお、前記機能を実行するステップは、前記ウェブサーチを行うためのユーザ命令が受信されると、前記発話要素に基づいたウェブサーチに対する結果を受信して出力してよい。

そして、前記機能を実行するステップは、前記ソーシャルネットワークサービスに対するユーザ命令が受信されると、前記発話要素に基づいた応答要求メッセージを生成し、前記ソーシャルネットワークサービスを提供するＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サーバに伝送し、前記ＳＮＳサーバから前記応答要求メッセージに対応する応答メッセージを受信して出力してよい。

なお、前記機能を実行するステップは、ユーザ命令に応じて、前記ユーザのＳＮＳアカウントに前記応答要求メッセージを伝送し、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

そして、前記機能を実行するステップは、ユーザ命令に応じて、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントの中から選択されたＳＮＳアカウントに前記応答要求メッセージを伝送し、前記選択されたＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

なお、前記機能を実行するステップは、ユーザ命令に応じて、予め設定された共用ＳＮＳアカウントに前記応答要求メッセージを伝送し、前記共用ＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力してよい。

そして、前記機能を実行するステップは、前記応答メッセージが受信されると、前記応答メッセージ受信を報知する報知情報を出力してよい。

なお、前記対話型サーバは、前記収集されたユーザ音声をテキスト情報に変換する第１サーバ及び前記テキスト情報に変換されたユーザ音声に対応する応答情報を生成する第２サーバを含み、前記伝送するステップは、前記ユーザ音声に対するデジタル信号で前記第１サーバに伝送するステップと、前記第１サーバから前記ユーザ音声に対するテキスト情報を受信するステップと、前記受信したテキスト情報を前記第２サーバに伝送するステップと、前記第２サーバから前記ユーザ音声に対応する応答情報を受信するステップとを含む。

そして、前記機能を実行するステップは、前記ユーザ音声内にＥＰＧ関連の発話要素または前記ディスプレイ装置の機能制御関連の発話要素が含まれた場合、前記第２サーバから受信した応答情報に基づいて、前記ユーザ音声に対応する応答メッセージ出力及び機能実行のうち、少なくとも一方の機能を実行してよい。

一方、本発明の一実施形態に係るユーザ音声に適した応答情報を提供する対話型システムにおいて、前記対話型システムは前記ユーザ音声を認識し、前記認識されたユーザ音声に対応する機能を実行するディスプレイ装置と、前記ディスプレイ装置からユーザ音声が受信されると、前記ユーザ音声をテキスト情報に変換し、前記変換されたテキスト情報を分析し、前記ユーザ音声に対応する応答情報を前記ディスプレイ装置に伝送する対話型サーバとを含み、前記ディスプレイ装置は、前記対話型サーバから受信した応答情報に対応する機能を実行するか、ウェブサーチまたはソーシャルネットワークサービスサーバを通じて受信された代替応答情報に基づいて前記ユーザ音声に関連した機能を実行する。

以上説明したように、本発明によれば、ディスプレイ装置は、ユーザの多様なユーザ音声が入力されるとしても、それぞれのユーザ音声に対して、より的確な応答情報を提供することができるようになる。

本発明の一実施形態に係るユーザ音声に適した応答情報を提供する対話型システムのブロック図である。 本発明の一実施形態に係る対話型システムからユーザ音声に適した応答情報を提供する方法のシーケンス図である。 本発明の一実施形態に係る対話型システムからユーザ音声に関連した代替応答情報を提供する方法のシーケンス図である。 本発明の一実施形態に係るディスプレイ装置のブロック図である。 本発明の一実施形態に係るディスプレイ装置から代替情報提供メッセージを出力する例示図である。 本発明の一実施形態に係るディスプレイ装置からＳＮＳを通じてユーザ音声に関連した応答メッセージを提供する例示図である。 本発明の一実施形態に係るディスプレイ装置の細部構成を説明するためのブロック図である。 本発明の一実施形態に係る対話型サーバのブロック図である。 本発明の一実施形態に係るディスプレイ装置からユーザ音声に適した応答情報を提供されるための方法のフローチャートである。 本発明の一実施形態に係るディスプレイ装置からユーザ音声に関連した代替応答情報を提供されるための方法のフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るユーザ音声に適した応答情報を提供する対話型システムのブロック図である。

同図に示すように、本発明の一実施形態に係る対話型システムは、ディスプレイ装置１００と、対話型サーバ２００と、ウェブサーバ３００及びＳＮＳサーバ４００を含む。ディスプレイ装置１００は、インターネット及びユーザ音声認識が可能な装置として、スマートテレビや、スマートフォンのような携帯電話や、デスクトップパソコン、ノートパソコン、ナビゲーション等のような多様な電子装置で実現されてよい。このようなディスプレイ装置１００は、ユーザからユーザ音声を認識し、認識されたユーザ音声に対応する機能を実行する。具体的に、ディスプレイ装置１００は、ユーザからユーザ音声が入力されると、入力されたユーザ音声をデジタル信号に変換し、対話型サーバ２００に伝送する。その後、ディスプレイ装置１００は、対話型サーバ２００からユーザ音声に対応する応答情報が受信されると、受信した応答情報に基づいて、ユーザ音声に対応する機能を実行する。更に、ディスプレイ装置１００は、ウェブサーバ３００及びＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サーバ４００を介して受信された代替応答情報に基づいて、ユーザ音声に関連した機能を実行する。

対話型サーバ２００は、ディスプレイ装置１００と連動してディスプレイ装置１００からユーザ音声が受信されると、受信されたユーザ音声をテキスト情報に変換し、その変換されたテキスト情報を分析し、ディスプレイ装置１００から受信したユーザ音声に対応する応答情報をディスプレイ装置１００に伝送する。このような対話型サーバ２００は、第１サーバ１０及び第２サーバで構成され、第１サーバ１０は、ディスプレイ装置１００から受信したユーザ音声をテキスト情報に変換し、テキスト情報に変換されたユーザ音声をディスプレイ装置１００に伝送する。そして、第２サーバ２０は、ディスプレイ装置１００からテキスト情報に変換されたユーザ音声が受信されると、受信したテキスト情報を分析し、ユーザ音声に対応する応答情報を生成してディスプレイ装置１００に伝送する。

本明細書では、対話型サーバ２００が、第１及び第２サーバ１０、２０を介してユーザ音声に対応する応答情報を生成し、ディスプレイ装置１００に伝送するものとして説明したが、それは本発明の一実施形態に過ぎず、実現方法に応じて、対話型サーバ２００は単一サーバであってよい。単一の対話型サーバ２００の場合、後述の第１サーバ１０及び第２サーバ２０の動作を全て行うため、以下では、単一の対話型サーバ２００に対する詳細な説明は省略する。

上述のように、ディスプレイ装置１００に代替応答情報を提供するウェブサーバ３００はインターネットを通じて接続したディスプレイ装置１００からの要求によるウェブサーチ結果情報を提供するサーバである。そして、ＳＮＳサーバ４００は、ウェブ上でユーザ間の人的ネットワークを形成することができるように、ＴｗｉｔｔｅｒやＦａｃｅｂｏｏｋといったソーシャルネットワークサービス（以下、ＳＮＳという）を提供するサーバとして、このようなＳＮＳを通じてユーザ間の情報共有及びコミュニティができる。

以下では、上述の対話型システムの各構成を通じてユーザ音声に適した応答情報を提供する動作について概略に説明する。

ディスプレイ装置１００は、ユーザから音声が入力されると、入力されたユーザ音声を収集し、それに対応する機能を実行する。例えば、ディスプレイ装置１００は、チャネル変更のためのユーザ音声が入力されると、当該チャネルを選局してディスプレイすることができる。この場合、ディスプレイ装置１００は、当該機能に対応する応答メッセージを併せて提供することもできる。上述の例の場合、ディスプレイ装置１００は、変更されたチャネルに対する情報を音声またはテキスト形態の映像で出力することができる。なお、ディスプレイ装置１００は、特定番組の放送時間を問い合わせるユーザ音声が入力されると、当該番組の放送時間を音声またはテキスト形態の映像で出力することができる。

そのために、ディスプレイ装置１００は、収集されたユーザ音声をデジタル信号に変換し、第１サーバ１０に伝送する。それにより、第１サーバ１０は、ディスプレイ装置１００から受信したユーザ音声に対する特定パターンに応じて、ユーザ音声に対するテキスト情報を生成し、ディスプレイ装置１００に伝送する。ユーザ音声からテキスト情報を生成する技術は、公知となっている技術であるため、本発明では詳細な発明を省略する。

第１サーバ１０からユーザ音声に対するテキスト情報を受信したディスプレイ装置１００は、ユーザ音声に対するテキスト情報を第２サーバ２０に伝送する。それにより、第２サーバ２０は、ディスプレイ装置１００から受信したユーザ音声に対するテキスト情報に対する意味を分析し、ディスプレイ装置１００の機能を制御するための応答情報を生成できるか否かを判断する。

具体的に、第２サーバ２０は、ユーザ音声に対するテキスト情報から発話要素を抽出し、その抽出された発話要素に基づいて、ユーザ音声に関連した応答情報生成が可能かを判断する。ここで、応答情報は、ユーザ音声に対応する機能を実行するための情報として、ディスプレイ装置１００の機能実行を制御するための制御命令及び応答メッセージのうち、少なくとも一つを含んでよい。なお、発話要素は、ユーザ音声内でユーザが要求した機能を実行するためのコアキーワードであってよい。このような発話要素は、対話作用（ｄｉａｌｏｇｕｅ ａｃｔ）、主作用（ｍａｉｎ ａｃｔｉｏｎ）及び構成要素（ｃｏｍｐｏｎｅｎｔ ｓｌｏｔ）を含んでよい。

ここで、対話作用は、ユーザ音声に対応する発話行為の力（Ｉｌｌｏｃｕｔｉｏｎａｒｙ ｆｏｒｃｅ）を示すラベルとして、例えば、叙述（ｓｔａｔｅｍｅｎｔ）、要求（Ｒｅｑｕｅｓｔ）、質問（Ｑｕｅｓｔｉｏｎ）等であってよい。主作用は、ユーザ音声から実際のユーザの意図を示すラベルを指すものとして、テレビオン／オフ、番組検索、番組時間検索、番組予約等であってよい。そして、構成要素は、ジャンル、番組名、時間、チャネル名、俳優名前等であってよい。

例えば、“○○○（放送番組名）は何時から始まる？”というユーザ音声の場合、対話作用は“る？”という質問であってよく、主作用は“始ま”という番組時間の検索であってよい。そして、構成要素は“○○○（放送番組名）”という番組名であってよい。

よって、第２サーバ２０は、“○○○（放送番組名）は何時から始まる？”というユーザ音声が受信されると、その受信されたユーザ音声から対話作用、主作用及び構成要素を含む発話要素を抽出することができる。このように、ユーザ音声から発話要素が抽出されると、第２サーバ２０は抽出した発話要素に基づいてユーザ音声に対応する機能を実行するための応答情報生成が可能か否かを判断することができる。

判断の結果、ユーザ音声に対応する機能を実行するための応答情報生成が可能である場合、第２サーバ２０は、ユーザ音声に対応する機能を実行するための応答情報を生成し、ディスプレイ装置１００に伝送する。

上述の例において、“○○○（放送番組名）は何時から始まる？”というユーザ音声に対する発話要素が抽出されると、第２サーバ２０は抽出する発話要素に基づいて、当該番組が始める放送時間情報に対する応答情報を生成し、ディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、受信した応答情報に基づいて、“○○○（放送番組名）は７時から放送が始まります”という応答メッセージを応答またはテキスト形態の映像で出力することができる。

一方、判断の結果、ユーザ音声に対応する機能を実行するための応答情報生成が不可の場合、第２サーバ２０はユーザ音声に対する提供不可メッセージを生成し、ディスプレイ装置１００に伝送することができる。

例えば、“○○○（放送番組名）の新しい司会者は誰？”というユーザ音声に対するテキスト情報が受信されると、第２サーバ２０は、“○○○（放送番組名）”、“新しい”、“司会者”、“誰”という発話要素を抽出することができる。このような発話要素が抽出されると、第２サーバ２０は、抽出した発話要素に基づいて予め保存されたＥＰＧ情報から○○○（放送番組名）に対する新しい司会者に関する情報があるかをチェックする。チェックの結果、予め保存されたＥＰＧ情報から○○○（放送番組名）に対する新しい司会者関連の情報の獲得ができない場合、第２サーバ２０は、ユーザ音声に対する提供不可メッセージをディスプレイ装置１００に伝送する。よって、ディスプレイ装置１００は、第２サーバ２０から受信した提供不可メッセージに基づいて、“見つけられない情報です”といったガイドメッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力することができる。同時に、ディスプレイ装置１００は、第２サーバ２０からユーザ音声に対する提供不可メッセージが受信されると、音声及びテキスト形態の映像のうち、少なくとも一方を通じて、“ウェブサーチまたはソーシャルネットワークサービスで提供を受けますか？”というような代替情報提供メッセージを出力する。

このような代替情報提供メッセージが出力された状態で、ユーザからウェブサーチを行うためのユーザ命令が入力されると、ディスプレイ装置１００は、第２サーバ２００から抽出された発話要素に基づいたウェブサーチ結果をウェブサーバ３００から受信し、音声及び映像のうち少なくとも一方を通じて出力する。一実施形態により、ディスプレイ装置１００は第２サーバ２０からユーザ音声に対する提供不可メッセージとともに、ユーザ音声から抽出された発話要素を受信することができる。よって、ディスプレイ装置１００は、ウェブサーチを行うためのユーザ命令が入力されると、第２サーバ２０から受信された発話要素に基づいてウェブサーバ３００からウェブサーチの結果を受信することができる。

更に別の実施形態により、ディスプレイ装置１００はユーザからウェブサーチを行うための検索キーワードを受信し、その受信された検索キーワードに基づいてウェブサーバ３００からウェブサーチの結果を受信することができる。

一方、ユーザからＳＮＳに対するユーザ命令が受信されると、ディスプレイ装置１００は第２サーバ２０から抽出された発話要素に基づいた応答要求メッセージを生成する。一実施形態により、ディスプレイ装置１００は、第２サーバ２０からユーザ音声に対する提供不可メッセージとともに、ユーザ音声から抽出された発話要素を受信することができる。よって、ディスプレイ装置１００は、ＳＮＳに対するユーザ命令が受信されると、第２サーバ２０から受信した発話要素に基づいて応答要求メッセージを生成することができる。更に別の実施形態により、ディスプレイ装置１００はユーザから入力されたデータに基づいて応答要求メッセージを生成することができる。

このような応答要求メッセージが生成されると、ディスプレイ装置１００は生成された応答要求メッセージをＳＮＳサーバ４００に伝送する。それにより、ＳＮＳサーバ４００は、応答要求メッセージを伝送したユーザのＳＮＳアカウントと連動するＳＮＳアカウントまたは連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連した応答メッセージを受信し、ディスプレイ装置１００に伝送する。一方、ＳＮＳサーバ４００は、応答要求メッセージを伝送したユーザのＳＮＳアカウントがない場合、予め設定された共用ＳＮＳアカウントと連動する共用ＳＮＳアカウントから応答要求メッセージに関連した応答メッセージを受信し、ディスプレイ装置１００に伝送することができる。よって、ディスプレイ装置１００は、ＳＮＳサーバ４００から受信した応答メッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力する。

このように、本発明に係る対話型システムは、ユーザ音声に対応する応答情報提供が不可の場合、ウェブサーチ及びＳＮＳを用いてユーザ音声に関連した代替応答情報をユーザに提供することで、ユーザ音声に対する応答情報提供の失敗確率を最小限化することができる。

これまで、本発明の一実施形態に係る対話型システムからユーザ音声に適した応答情報を提供する動作について、概略に説明してきた。以下では、本発明に係る対話型システムからユーザ音声に適した応答情報を提供する方法について、概略に説明する。

図２は、本発明の一実施形態に係る対話型システムからユーザ音声に適した応答情報を提供する方法のシーケンス図である。

同図に示すように、ディスプレイ装置１００は、ユーザから発話されたユーザ音声が入力されると、入力されたユーザ音声を収集する。その後、ディスプレイ装置１００は、収集されたユーザ音声をデジタル信号に変換し、デジタル信号に変換されたユーザ音声を第１サーバに伝送する（Ｓ２１０、Ｓ２２０）。それにより、第１サーバ１０は、ディスプレイ装置１００からデジタル信号に変換されたユーザ音声をテキスト情報を生成した後、生成されたテキスト情報をディスプレイ装置１００に伝送する（Ｓ２３０、Ｓ２４０）。その後、ディスプレイ装置１００は、第１サーバ１０から受信したテキスト情報を第２サーバ２０に伝送する（Ｓ２５０）。ディスプレイ装置１００からテキスト情報に変換されたユーザ音声を受信した第２サーバ２０は、受信したテキスト情報から発話要素を抽出する（Ｓ２６０）。第２サーバ２０において、ユーザ音声に対するテキスト情報から発話要素を抽出する動作は、図１を参照に説明しているため、省略する。

このような発話要素が抽出されると、第２サーバ２０は抽出した発話要素に基づいて、ユーザ音声に対応する機能を実行するための応答情報またはユーザ音声に対応する応答情報に対する提供不可メッセージを生成した後、生成された応答情報または提供不可メッセージをディスプレイ装置１００に伝送する（Ｓ２７０）。第２サーバ２０から応答情報または提供不可メッセージを受信するディスプレイ装置１００は、ユーザ音声に対応する応答情報が受信されると、受信した応答情報に基づいてユーザ音声に対応する機能を実行する。

実施形態により、第２サーバ２０は、ユーザ音声に対するテキスト情報から抽出された発話要素が予め保存されたＥＰＧ情報に関連した発話要素か、或いは、ディスプレイ装置１００の制御命令に関連した発話要素かを判断する。判断の結果、抽出された発話要素が予め保存されたＥＰＧ情報に関連した発話要素か、或いは、ディスプレイ装置１００の制御命令に関連した発話要素である場合、第２サーバ２０はユーザ音声に対応する応答情報を生成し、ディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、受信した応答情報に基づいて、ユーザ音声に対応する応答メッセージ出力及び機能実行のうち、少なくとも一方の機能を実行する。

一方、判断の結果、抽出された発話要素が予め保存されたＥＧＰ情報に関連した発話要素か、或いは、ディスプレイ装置１００の制御命令に関連した発話要素ではない場合、第２サーバ２０は、ユーザ音声に対応する応答情報に対する提供不可メッセージを生成し、ディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、第２サーバ２０から受信した提供不可メッセージに基づいて、“見つけられない情報です”といったガイドメッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力する。同時に、ディスプレイ装置１００は、第２サーバ２０からユーザ音声に対する提供不可メッセージが受信されると、音声及びテキスト形態の映像のうち少なくとも一方を通じて“ウェブサーチまたはソーシャルネットワークサービスで提供を受けますか？”といった代替情報提供メッセージを出力する。その後、ユーザから選択されたユーザ命令に応じて、ウェブサーバ３００またはＳＮＳサーバ４００を介してユーザ音声に関連した代替応答情報を受信し、音声及び映像のうち少なくとも一方を通じて出力する。

以下では、対話型システムでからディスプレイ装置１００を介してユーザ音声に関連した代替応答情報を提供する方法について説明する。

図３は、本発明の一実施形態に係る対話型システムからユーザ音声に関連した代替応答情報を提供する方法のシーケンス図である。

上述のように、ディスプレイ装置１００は、第２サーバ２０からユーザ音声に対する提供不可メッセージが受信されると、“見つけられない情報です”といった提供不可メッセージを音声およびテキスト形態の映像のうち、少なくとも一方を通じて出力する。その後、ディスプレイ装置１００は、音声及びテキスト形態の映像のうち、少なくとも一方を通じて“ウェブサーチまたはソーシャルネットサービスで提供を受けますか？”といった代替情報提供メッセージを出力する。このような代替情報提供メッセージが出力されている状態で、ディスプレイ装置１００はユーザからウェブサーチを行うためのユーザ命令、或いは、ＳＮＳに対するユーザ命令が入力されるかを判断する（Ｓ３１０）。判断の結果、ユーザ命令がウェブサーチを行うための命令である場合、ディスプレイ装置１００は、ウェブサーバ３００にユーザ音声から抽出された発話要素に基づいたウェブサーチを要求し、それによるウェブサーチ結果情報を受信する（Ｓ３２０、Ｓ３３０）。

一実施形態によって、ディスプレイ装置１００は、第２サーバ２０からユーザ音声に対する提供不可メッセージとともに、ユーザ音声から抽出された発話要素を受信することができる。よって、ディスプレイ装置１００は、ウェブサーチを行うためのユーザ命令が入力されると、第２サーバ２０から受信した発話要素に基づいて、ウェブサーバ３００からウェブサーチ結果情報を受信することができる。更に別の実施形態により、ディスプレイ装置１００は、ユーザからウェブサーチを行うための検索キーワードを入力され、その入力された検索キーワードに基づいてウェブサーバ３００からウェブサーチ結果を受信することができる。このようなウェブサーチ結果情報がウェブサーバ３００から受信されると、ディスプレイ装置１００は、受信したウェブサーチ結果情報を音声または映像で出力する（Ｓ３４０）。

一方、ステップＳ３１０において、ユーザ命令がＳＮＳに対する命令であると判断されると、ディスプレイ装置１００はユーザ音声から抽出された発話要素に基づいた応答要求メッセージを生成し、ＳＮＳサーバ４００に伝送する（Ｓ３５０）。

一実施形態により、ディスプレイ装置１００は第２サーバ２０からユーザ音声に対する提供不可メッセージとともに、ユーザ音声から抽出された発話要素を受信することができる。よって、ディスプレイ装置１００は、ＳＮＳに対するユーザ命令が受信されると、第２サーバ２０から受信した発話要素に基づいて応答要求メッセージを生成することができる。更に別の実施形態により、ディスプレイ装置１００はユーザから入力されたデータに基づいて、応答要求メッセージを生成することができる。

このような応答要求メッセージが生成されると、ディスプレイ装置１００は生成された応答要求メッセージをＳＮＳサーバ４００に伝送する。それにより、ＳＮＳサーバ４００は、応答要求メッセージを伝送したユーザのＳＮＳアカウントと連動するＳＮＳアカウントまたは連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連した応答メッセージをディスプレイ装置１００に伝送する（Ｓ３６０）。一方、ＳＮＳサーバ４００は、応答要求メッセージを伝送したユーザのＳＮＳアカウントがない場合、予め設定された共用ＳＮＳアカウントと連動する共用ＳＮＳアカウントから、応答要求メッセージに関連した応答メッセージを受信することができる。よって、ディスプレイ装置１００は、ＳＮＳサーバ４００から受信した応答メッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力することができる（Ｓ３７０）。

以下では、ユーザ音声に適した応答情報を提供するディスプレイ装置１００の各構成について詳細に説明する。

図４は、本発明の一実施形態に係るディスプレイ装置のブロック図である。

同図に示すように、ディスプレイ装置１００は、通信部１１０と、音声収集部１２０と、制御部１３０と、出力部１４０及び保存部１５０を含む。

通信部１１０は、ユーザ音声に適した応答情報を提供する対話型サーバ２００と通信を行う。具体的に、通信部１１０は、多様な通信方式によって、対話型サーバ２００の第１サーバ１０及び第２サーバ２０と通信を行い、ユーザ音声に対応する応答情報を受信することができる。そのために、通信部１１０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）等のような多様な通信モジュールを含んでよい。ここで、近距離無線通信モジュール（図示せず）は、近距離に位置する外部機器と無線通信を行う無線モジュールとして、例えば、ブルートゥースやＺｉｇｂｅｅ（登録商標）等であってよい。無線通信モジュール（図示せず）は、ＷｉＦｉ、ＩＥＥＥ等のような無線通信プロトコルによって外部ネットワークに接続して通信を行うモジュールである。その他に、無線通信モジュールは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のような多様な移動通信規格によって移動通信網に接続し、通信を行う移動通信モジュールを更に含んでよい。

音声収集部１２０は、収集されたユーザ音声を処理し、ユーザ音声信号を生成する。すなわち、音声収集部１２０は、収集されたユーザ音声からノイズ（例えば、エアコンの音、掃除機の音、音楽の音等）を取り除いて、ユーザ音声信号を生成することができる。具体的に、音声収集部１２０は、アナログ形態のユーザ音声が入力されると、入力されたユーザ音声をサンプリングしてデジタル信号に変換する。このとき、音声収集部１２０は、デジタル信号に変換されたユーザ音声にノイズがあるかを判断し、ノイズがある場合、変換されたデジタル信号から当該ノイズを取り除くことが望ましい。このように、音声収集部１２０を介してユーザ音声がデジタル信号に変換されると、通信部１１０は、デジタル信号に変換されたユーザ音声を第１サーバ１０に伝送する。ここで、第１サーバ１０は、ユーザ音声をテキスト情報として生成するサーバである。

よって、通信部１１０は、音声収集部１２０を介してユーザ音声がデジタル信号に変換されると、変換されたデジタル信号を第１サーバ１０に伝送し、第１サーバ１０はデジタル信号に変換されたユーザ音声をテキスト情報として生成してディスプレイ装置１００に伝送する。その後、通信部１１０は、第１サーバ１０からテキスト情報に変換されたユーザ音声が受信されると、テキスト情報に変換されたユーザ音声を第２サーバ２０に伝送する。

制御部１３０は、第２サーバ２０からテキスト情報に変換されたユーザ音声に対応する応答情報が受信されると、受信した応答情報に基づいてユーザ音声に対応する機能を実行するように制御する。具体的に、制御部１３０は、ユーザ音声が入力されると、音声収集部１２０を介してユーザ音声をデジタル信号に変換する。その後、制御部１３０は、通信部１１０を介してデジタル信号に変換されたユーザ音声を第１サーバ１０に伝送し、第１サーバ１０からユーザ音声に対するテキスト情報を受信する。第１サーバ１０からユーザ音声に対するテキスト情報が受信されると、制御部１３０は、通信部１１０を介してテキスト情報に変換されたユーザ音声を第２サーバ２０に伝送し、ユーザ音声に対応する応答情報を受信することができる。

一方、制御部１３０は、第２サーバ２０からユーザ音声に対応する応答情報に対する提供不可メッセージが受信されると、ウェブサーチ及びＳＮＳのうち少なくとも一つを通じて、ユーザ音声に関連した代替応答情報を受信するように通信部１１０を制御することができる。

出力部１４０は、音声及び映像のうち少なくとも一方を出力する。具体的に、出力部１４０は、第２サーバ２０からユーザ音声に対応する応答情報が受信されたり、または、ウェブサーバ３００及びＳＮＳサーバ４００のうち、少なくとも一方から代替応答情報が受信されると、制御部１３０の制御命令に応じて、受信された応答情報または代替応答情報に基づいて、ユーザ音声に対する応答メッセージを音声またはテキスト形態の映像で出力することができる。そのために、出力部１４０は、ディスプレイ部１４１及びオーディオ出力部１４３を備えてよい。

具体的に、ディスプレイ部１４１は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、有機電気発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ：ＯＬＥＤ）またはプラズマ表示パネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）等で実現され、ディスプレイ装置１００を介して提供可能な多様なディスプレイ画面を提供することができる。特に、ディスプレイ部１４１は、ユーザ音声に対応する応答メッセージがテキストまたはイメージ形態でディスプレイすることができる。ここで、ディスプレイ部１４１は、タッチパッドとともに相互レイヤ構造をなすタッチスクリーン形態で実現されてよく、タッチスクリーンはタッチ入力位置、面積、タッチ入力の圧力までも検出するように構成されてよい。

一方、オーディオ出力部１４３は、スピーカまたはジャック等のような出力ポートで実現され、ユーザ音声に対する応答メッセージを音声形態で出力することができる。

一方、上述のように、第２サーバ２０から受信される応答情報は、ユーザ音声から抽出された発話要素に基づいて分類された機能によって、異なる形態で生成されることが望ましい。ここで、抽出された発話要素に基づいて分類される機能は、ＥＰＧ関連機能及びディスプレイ装置１００の機能制御に関連した機能のうち、少なくとも一つを含んでよい。例えば、ユーザ音声から抽出される発話要素が放送番組に関連した発話要素である場合、ＥＰＧ関連機能であってよく、ディスプレイ装置１００の電源オン／オフ、チャネル変更、音量変更等に関連する発話要素である場合、ディスプレイ装置１００の機能制御に関連した機能であってよい。よって、制御部１３０は、このような応答情報が第２サーバ２０から受信されると、その受信された応答情報に基づいてユーザ音声に対応する機能を実行するように制御することができる。

例えば、ユーザから“今日放送される○○○（放送番組名）録画して”というユーザ音声が入力されると、制御部１３０は、音声収集部１２０を介して“今日放送される○○○（放送番組名）録画して”というユーザ音声をデジタル信号に変換し、第１サーバ１０に伝送する。その後、第１サーバ１０から“今日放送される○○○（放送番組名）録画して”ユーザ音声に対するテキスト情報を受信されると、制御部１３０は、“今日放送される○○○（放送番組名）録画して”というユーザ音声に対する情報を第２サーバ２０に伝送する。

それにより、第２サーバ２０は、受信した“今日放送される○○○（放送番組名）録画して”というユーザ音声に対するテキスト情報から“今日”、“○○○（放送番組名）”、“録画”という発話要素を抽出し、抽出した発話要素に基づいてＥＰＧ関連機能であると判断する。その後、第２サーバ２０は、○○○（放送番組名）に対する予約録画に対する制御命令と、“○○○（放送番組名）に対する録画が予約されました”という応答メッセージを含む応答情報をディスプレイ装置１００側に伝送する。よって、制御部１３０は、第２サーバ２０から受信した応答情報に含まれた制御命令に従って、○○○（放送番組名）に対する予約録画を設定する。そして、制御部１３０は、受信した応答情報に含まれた応答メッセージに基づいて、“○○○（放送番組名）に対する録画が予約されました”という応答メッセージを映像及び音声のうち、少なくとも一方を通じて出力するように出力部１４０を制御する。

このような制御命令に応じて、出力部１４０はディスプレイ部１４１及びオーディオ出力部１４３のうち、少なくとも一方を介して“○○○（放送番組名）に対する録画が予約されました”という応答メッセージを音声またはテキスト形態の映像で出力する。

一方、制御部１３０は、ユーザからＥＰＧ関連の機能またはディスプレイ装置１００の機能を制御するための機能に関連しないユーザ音声を入力されてよい。例えば、ユーザから悪口或いは禁止薬物のような制限された発話要素を含むユーザ音声が入力されると、制御部１３０は、入力されたユーザ音声に対するテキスト情報を第１サーバ１０から受信し、それを第２サーバ２０に伝送する。このようなユーザ音声に対するテキスト情報から発話要素が抽出されると、第２サーバ２０は抽出された発話要素が予め保存された制限された発話要素であるかをチェックする。チェックの結果、抽出された発話要素が悪口或いは禁止薬物のような制限された発話要素であると、第２サーバ２０はユーザ音声に対する提供不可メッセージを生成し、ディスプレイ装置１００に伝送する。よって、制御部１３０は、受信した提供不可メッセージに基づいて、“機能を実行することができません”或いは“制限された音声です。再入力してください”といったガイドメッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力するように出力部１４０を制御する。

しかし、本発明は、それに限定されるものではなく、制御部１３０は、ユーザから悪口或いは禁止薬物に関連するユーザ音声が入力されると、保存部１５０に予め保存された発話要素関連テーブルを参照し、ユーザ音声に対する機能実行関連有無を判断することができる。ここで、保存部１５０は、予め保存された発話要素関連テーブルは、ユーザ音声に対応する機能を制限するために、ユーザから予め設定されて保存されたテーブルである。よって、制御部１３０は、ユーザによって予め設定された発話要素関連テーブルを参照し、ユーザ音声に対する機能実行関連有無を判断することができる。

一方、別の例として、ユーザから“○○○（放送番組名）の新しい司会者は誰？”というユーザ音声が入力されると、制御部１３０は、第１サーバ１０から“○○○（放送番組名）の新しい司会者は誰？”というユーザ音声に対するテキスト情報を第２サーバ２０に伝送する。このようなユーザ音声に対するテキスト情報を受信した第２サーバ２０は、“○○○（放送番組名）の司会者がノホンチョルから誰に代わったの？”というユーザ音声に対するテキスト情報から“○○○（放送番組名）”、“司会者”、“ノホンチョル”、“誰”、“代わった”という発話要素を抽出することができる。このような発話要素が抽出されると、第２サーバ２０は抽出した発話要素に基づいて予め保存されたＥＰＧ情報から○○○（放送番組名）に対する新しい司会者関連情報があるかをチェックする。チェックの結果、予め保存されたＥＰＧ情報から○○○（放送番組名）に対する新しい司会者関連情報獲得が不可であると、第２サーバ２０はユーザ音声に対する提供不可メッセージをディスプレイ装置１００に伝送する。

このような提供不可メッセージが受信されると、制御部１３０は、受信した提供不可メッセージに基づいて、“見つめられない情報です”といったガイドメッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力するように出力部１４０を制御する。同時に、制御部１３０は、第２サーバ２０からユーザ音声に対する提供不可メッセージが受信されると、音声及びテキスト形態の映像のうち、少なくとも一方を通じて“ウェブサーチまたはソーシャルネットワークサービスの提供を受けますか？”というような代替情報提供メッセージを生成する。その後、制御部１３０は、生成された代替情報提供メッセージが音声及び映像のうち、少なくとも一方を通じて出力されるように出力部１４０を制御する。

図５は、本発明の一実施形態に係るディスプレイ装置から代替情報提供メッセージを出力する例示図である。

同図に示すように、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１を介して代替情報提供メッセージを出力することができる。すなわち、ディスプレイ部１４１は、画面上に“（○○○（放送番組名）、ノホンチョル）をウェブ検索しますか？”というウェブサーチ関連の第１代替情報提供メッセージ５１０及び“登録されたＳＮＳ友達に聞いていますか？”というＳＮＳ関連の第２代替情報提供メッセージ５２０をテキスト形態で出力することができる。そして、音声出力部１４３は、スピーカ（図示せず）を通じて“（○○○（放送番組名）、ノホンチョル）をウェブ検索しますか？”というウェブサーチ関連の第１代替情報提供メッセージ５１０及び“登録されたＳＮＳ友達に聞いていますか？”というＳＮＳ関連の第２代替情報提供メッセージ５２０を可聴音形態の音声で出力することができる。

具体的に、第２サーバ２０は、ユーザ音声に対する提供不可メッセージとともに、ユーザ音声から抽出された発話要素のうち、主要名詞または客体関連発話要素のみをディスプレイ装置１００に伝送する。よって、制御部１３０は、第２サーバ２０から受信した主要名詞または客体に基づいて代替の第１及び第２情報提供メッセージ５１０、５２０を生成し、その生成された第１及び第２代替情報提供メッセージ５１０、５２０が音声または映像で出力されるように出力部１４０を制御する。よって、出力部１４０は、ディスプレイ部１４１及び音声出力部１４３のうち、少なくとも一方を介して第１及び第２代替情報提供メッセージ５１０、５２０を映像または音声で出力することができる。

このような代替情報提供メッセージが出力された状態で、代替情報提供に関連するユーザ命令が受信されると、制御部１３０は、ウェブサーバ３００及びＳＮＳサーバ４００のうち、少なくとも一方を介してユーザ音声に関連する代替応答情報を受信して出力するように、出力部１４０を制御することができる。

具体的に、ユーザからウェブサーチを行うためのユーザ命令が受信されると、制御部１３０は、第２サーバ２０から受信した主要名詞または客体関連発話要素に基づいてウェブサーバ３００からウェブサーチ結果情報を受信する。このようなウェブサーチ結果情報が受信されると、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１及び音声出力部１４３のうち、少なくとも一方を介してウェブサーチ結果情報を映像または音声で出力する。

一方、ユーザからＳＮＳに対するユーザ命令が受信されると、制御部１３０は、第２サーバ２０から受信した主要名詞または客体関連発話要素に基づいて、応答要求メッセージを生成する。その後、制御部１３０は、通信部１１０を介してＳＮＳを提供するＳＮＳサーバ４００に応答要求メッセージを伝送し、ＳＮＳサーバ４００から応答請求メッセージに関連する応答眼セージを受信する。一実施形態により、制御部１３０は、ユーザのＳＮＳアカウントに応答要求メッセージをＳＮＳサーバ４００に伝送し、ＳＮＳサーバ４００からユーザのＳＮＳアカウントと連動するＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。

更に別の実施形態により、制御部１３０は、ユーザのＳＮＳアカウントと連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。具体的に、制御部１３０は、ユーザのＳＮＳアカウントと連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントがある場合、ＳＮＳサーバ４００にユーザから選択されたＳＮＳアカウントに応答要求メッセージを伝送するように要求することができる。それにより、ＳＮＳサーバ４００は、ユーザから選択されたＳＮＳアカウントに応答要求メッセージを伝送し、当該ＳＮＳアカウントから応答要求メッセージに関連する応答メッセージが受信されると、それをディスプレイ装置１００に伝送する。よって、制御部１３０は、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。

図６は、本発明の一実施形態に係るディスプレイ装置からＳＮＳを通じてユーザ音声に関連した応答メッセージを提供する例示図である。

同図に示すように、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１を介してＳＮＳサーバ４００から受信した応答メッセージをテキスト形態の映像で出力することができる。具体的に、制御部１３０は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動する複数のＳＮＳアカウントのうち、第１ユーザ及び第２ユーザのＳＮＳアカウントから応答メッセージを受信することができる。第１ユーザ及び第２ユーザのＳＮＳアカウントから応答メッセージが受信されると、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１及び音声出力部１４３のいずれか一方を介して、第１ユーザ及び第２ユーザのＳＮＳアカウントから受信した応答メッセージを出力する。

図示のように、第１ユーザのＳＮＳアカウントから“ノホンチョルが降りたの？”という応答メッセージがＳＮＳサーバ４００を介して受信されると、ディスプレイ部１４３は、画面上に“送信者：第１ユーザ”と“ノホンチョルが降りたの？”という第１応答メッセージ６２０を出力する。そして、第２ユーザのＳＮＳアカウントから“知らない…”という応答メッセージがＳＮＳサーバ４００を介して受信されると、ディスプレイ部１４３は画面上に“送信者：第２ユーザ”と“知らない…”という第２応答メッセージ６３０を出力する。

一方、制御部１３０は、ユーザがＳＮＳアカウントがない場合、予め設定された共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。具体的に、ＳＮＳサーバ４００に伝送される応答要求メッセージは、ユーザのＳＮＳアカウント登録を識別するためのユーザ情報が含まれてよい。よって、このような応答要求メッセージが受信されると、ＳＮＳサーバ４００は、受信した応答要求メッセージに含まれたユーザ情報を参照し、当該ユーザのＳＮＳアカウントが登録されているかをチェックする。チェックの結果、ユーザのＳＮＳアカウントが登録されていないとチェックされると、ＳＮＳサーバ４００は予め設定された共用ＳＮＳアカウントに共用ＳＮＳアカウントと連動するＳＮＳアカウントに応答要求メッセージを伝送し、連動するＳＮＳアカウントから応答要求メッセージに関連する応答メッセージが受信されると、それをディスプレイ装置１００に伝送する。

それにより、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１を介してＳＮＳサーバ４００から受信した応答メッセージをテキスト形態の映像で出力することができる。すなわち、ディスプレイ部１４１は、図６に示すように、画面上に“送信者：サムスン”と“ギルとパクウンヨンだよ”という第３応答メッセージ６３０を出力する。

一方、制御部１３０は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージが受信されると、応答メッセージ受信を報知する報知情報が出力されると、出力部１４０を制御することができる。よって、出力部１４０は、制御部１３０の制御命令に応じて、音声出力部１４３を介して応答メッセージ受信を報知する報知情報を音声で出力することができる。

しかし、本発明はそれに限定されるものではなく、制御部１３０は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージが受信されると、受信した応答メッセージをハイライト処理して出力されるように、出力部１４０を制御することができる。よって、出力部１４０は、制御部１３０の制御命令に応じて、ディスプレイ部１４１を介して画面上に映像で出力される応答メッセージのうち、現在受信された応答メッセージにハイライト処理して出力することができる。

一方、図６において、ディスプレイ部１４１は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージを受信する間、画面の上段に“応答待ち”という表示ウィンドウ６１０をディスプレイする。このような表示ウィンドウ６１０がディスプレイされる間、ディスプレイ部１４１は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージを受信することができる。

一方、画面に出力された応答メッセージのうち、ユーザの望む応答メッセージが出力されると、ユーザは応答メッセージ受信を中断することができる。このようなユーザ命令が受信されると、制御部１３０はＳＮＳに対する受信中断要求メッセージを生成し、その生成された受信中断要求メッセージをＳＮＳサーバ４００に伝送する。よって、ＳＮＳサーバ４００は、受信中断要求メッセージを受信した時点からユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから受信した応答メッセージに対する伝送を終了する。

以下では、上述のディスプレイ装置１００の細部構成について、より詳細に説明する。

図７は、本発明の一実施形態に係るディスプレイ装置の細部構成を説明するためのブロック図である。

同図に示すように、ディスプレイ装置１００は、図４に示す構成要素の他に、撮影部１６０と、入力部１７０と、受信部１８０及び信号処理部１９０を更に含んでよい。図６に示す構成要素のうち、図５に示す構成要素と重複する構成要素はその機能が同様であるため、詳細な説明は省略する。

撮影部１６０は、ユーザの顔を撮影して顔イメージを生成する。なお、上述の保存部１５０は、ユーザの顔イメージ及びユーザ情報をマッチさせて保存することができる。よって、撮影部１６０を介して撮影されたユーザの顔イメージが生成されると、制御部１３０は生成された顔イメージにマッチするユーザ情報を保存部１５０から獲得し、その獲得したユーザ情報及びユーザ音声に対するテキスト情報を第２サーバ２０に伝送することができる。

よって、第２サーバ２０は、受信したユーザ音声に対するテキスト情報から抽出した発話要素が制限された発話要素である場合、受信したユーザ情報に基づいて、ユーザ音声に対応する応答情報の生成有無を判断する。その後、第２サーバ２０は、判断の結果に応じて、ユーザ音声に対応する応答情報を生成したり、ユーザ音声に対応する応答情報に対する提供不可メッセージを生成してディスプレイ装置１００に伝送する。よって、制御部１３０は、上述のように、第２サーバ２０から受信したユーザ音声に対応する応答情報に基づいて機能を実行したり、または、応答情報に対する提供不可メッセージに基づいて、“制限された音声です。再入力してください”といったガイドメッセージを音声及び映像のうち、少なくとも一方を通じて出力するように出力部１４０を制御することができる。

入力部１７０は、多様なユーザ操作を受信して制御部１３０に伝達するための入力手段として、入力パネルで実現されてよい。ここで、入力パネルは、タッチパッド（Ｔｏｕｃｈ Ｐａｄ）或いは各種機能キー、数字キー、文字キー等を備えたキーパッド（Ｋｅｙ Ｐａｄ）またはタッチスクリーン（Ｔｏｕｃｈ Ｓｃｒｅｅｎ）方式で構成されてよい。更に、入力部１７０は、ディスプレイ装置１００を制御するためのリモコンで伝送されるリモコン信号を受信するためのＩＲ受信部（図示せず）で実現されてよい。

このような入力部１７０は、ディスプレイ装置１００の製品種類に応じて、ディスプレイ装置１００の機能を制御するための各種ユーザ操作を受信することができる。例えば、ディスプレイ装置１００が、スマートテレビで実現される場合、入力部１７０は電源オン／オフ、チャネル変更、音量変更等、スマートテレビの機能を制御するためのユーザ操作を受信することができる。このようなユーザ操作が、入力部１７０を介して入力されると、制御部１３０は、入力部１７０を介して入力されたユーザ操作に対応する各種機能を実行するように、別の構成要素を制御することができる。例えば、制御部１３０は、電源オフ命令が入力されると、ディスプレイ装置１００の各構成要素に供給される電源を遮断することができ、チャネル変更が入力されると、ユーザ操作に応じて選択されたチャネルを選局するように、受信部１８０を制御することができる。

更に、入力部１７０には、ユーザの音声を収集するための音声認識モードを開始するためのユーザ命令が入力される。このような音声認識モードを開始するためのユーザ命令が入力部１５０を介して入力されると、制御部１３０は音声収集部１２０を活性化して予め設定された距離内で発話されるユーザ音声を収集することができる。

上述の保存部１５０は、ディスプレイ装置１００を動作させるために必要な各種プログラム等が保存される保存媒体として、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現可能である。例えば、保存部１５０は、制御部１３０の動作実行のためのプログラムを保存するためのＲＯＭ、制御部１３０の動作実行によるデータを一時的に保存するためのＲＯＭ等を備えてよい。なお、各種参照データを保存するためのＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を更に備えてよい。

特に、保存部１５０は、ユーザ音声に適した多様な応答メッセージを音声またはテキスト情報で保存していてよい。それにより、制御部１３０は、ユーザ音声に適した応答メッセージに対する音声情報またはテキスト情報を保存部１５０から読み取り、ディスプレイ部１４１及びオーディオ出力部１４３のうち、少なくとも一方を介して出力することができる。具体的に、ユーザ音声に適した応答メッセージを音声形態で出力する場合、制御部１３０は、保存部１５０から読み取られた音声情報をデコード等の信号処理を行い、デコードされた音声データを増幅してオーディオ出力部１４３を介して出力することができる。なお、ユーザ音声に適した応答メッセージをテキスト形態で出力する場合、制御部１３０は、保存部１５０から読み取られたテキスト情報をデコード等の信号処理を行い、テキスト情報を構成するテキストが含まれるように、ＵＩ画面を構成してディスプレイ部１４１を介して出力することができる。

しかし、本発明はそれに限定されずに、制御部１３０は、第２サーバ２０から受信した応答情報に含まれた応答メッセージを上述の処理動作を行い、ディスプレイ部１４１及びオーディオ出力部１４３のうち、少なくとも一方を介してテキスト関連映像または音声で出力することができる。

受信部１８０は、放送ネットワークを通じて放送番組関連コンテンツを受信する。具体的に、受信部１８０は、放送ネットワークを通じて放送番組関連コンテンツを伝送する放送局またはインターネットを通じてコンテンツファイルを伝送するウェブサーバからコンテンツを受信することができる。なお、ディスプレイ装置１００内に設けられたり、ディスプレイ装置１００に接続された各種記録媒体再生装置からコンテンツを受信することもできる。ここで、記録媒体再生装置とは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、メモリカード、ＵＳＢメモリ等のような多様な記録媒体に保存されたコンテンツを再生する装置を意味する。

放送局からコンテンツを受信する場合、受信部１８０は、チューナ（図示せず）、復調器（図示せず）、等化器（図示せず）等のような構成を含む形態で実現されてよい。一方、ウェブサーバのようなソース機器からコンテンツを受信する場合、受信部１８０は、ネットワークインターフェースカード（図示せず）で実現されてよい。または、上述の各種記録媒体装置からコンテンツを受信する実施形態の場合、受信部１８０は、記録媒体再生装置と接続されたインターフェース部（図示せず）で実現されてよい。このように、受信部１８０は、実施形態により多様な形態で実現されてよい。

信号処理部１９０は、受信部１８０を介して受信されたコンテンツが出力部１４０を介して出力できるようにコンテンツに対する信号処理を行う。具体的に、信号処理部１９０は、コンテンツに含まれたビデオ信号がディスプレイ部１４１から出力可能な形態で出力されるように、当該ビデオ信号に対してデコード、スケーリング及びフレームレート変換等の信号処理を行う。なお、信号処理部１８０は、コンテンツに含まれたオーディオ信号がオーディオ出力部１４３を介して出力可能な形態で出力されるように当該オーディオ信号に対してデコード等の信号処理を行う。それにより、ディスプレイ部１４１及びオーディオ出力部１４３は、信号処理部１９０によって信号処理されたコンテンツに含まれたビデオ及びオーディオ信号を出力することができる。

これまで、本発明に係るディスプレイ装置１００において、第１及び第２サーバ１０、２０を含む対話型サーバ２００を介してユーザ音声に適した応答情報を受信し、それによる機能を実行する動作について詳細に説明してきた。以下では、本発明に係る対話型サーバ２００の第２サーバ１０からディスプレイ装置１００を介して受信したユーザ音声に適した応答情報を生成し、ディスプレイ装置１００に伝送する動作について詳細に説明する。

図８は、本発明の一実施形態に係る対話型サーバのブロック図である。

同図において説明する対話型サーバは、上述の第２サーバとして、第１サーバ１０を介してテキスト情報に変換されたユーザ音声をディスプレイ装置１００から受信し、その受信されたユーザ音声に対するテキスト情報から発話要素を抽出し、ユーザ音声に適した応答情報をディスプレイ装置１００に伝送するサーバである。このような対話型サーバは、通信部８１０と、抽出部８２０と、保存部８３０及び制御部８４０を含む。

通信部８１０は、ディスプレイ装置１００と通信を行い、抽出部８２０は、通信部８１０を介してディスプレイ装置１００から受信したユーザ音声から発話要素を抽出する。上述のように、抽出部８２０は、ユーザ音声に対するテキスト情報が受信されると、受信したテキスト情報から対話作用、主作用及び構成要素を含む発話要素を抽出することができる。発話要素に対する具体的な説明は、既に詳細に説明しているため、以下では詳細な説明は省略する。

保存部８３０は、ユーザ音声別の談話履歴情報を記録及びＥＰＧ情報を保存している。制御部８４０は、抽出部８２０を介して抽出されたユーザ音声に対する発話要素に応じて分類された機能に基づいて、ユーザ音声に対応する応答情報を異なる形態で生成し、ディスプレイ装置１００に伝送する。ここで、発話要素に応じて分類される機能は、ＥＰＧ関連機能及びディスプレイ装置１００の制御機能のうち、少なくとも一方を含んでよい。よって、制御部８４０は、ユーザ音声から抽出された発話要素に応じて、ユーザ音声がＥＰＧに関連するものか、それとも、ディスプレイ装置１００の機能を制御するためのものかを判断し、その判断の結果に応じて、ユーザ音声に対応する応答情報を生成することができる。

実施形態に応じて、ユーザ音声から抽出された発話要素がＥＰＧ関連発話要素である場合、制御部８４０は保存部８３０に予め保存されたＥＰＧ情報に基づいて、ユーザ音声に対応するＥＰＧ情報提供が可能か否かを判断することができる。判断の結果、ＥＰＧ情報提供が可能である場合、制御部８４０はＥＰＧ情報に基づいてユーザ音声に対応する応答情報を生成する。

例えば、“今週放送の○○○（放送番組名）を録画して！”というユーザ音声の場合、抽出部８４０は、“今週”、“○○○（放送番組名）”、“録画”、“して”という発話要素を抽出することができる。このような発話要素が抽出されると、制御部８４０は、保存部８３０に保存されたＥＰＧ情報から○○○（放送番組名）に対する番組情報及び開始時間情報を獲得することができる。よって、制御部８４０は、予め獲得した番組情報及び開始時間情報に基づいて、○○○（放送番組名）に対する予約録画関連制御命令及び保存部８３０に予め保存された談話履歴情報に基づいて生成された応答メッセージを含む応答情報を生成することができる。このようなユーザ音声に対応する応答情報が生成されると、制御部８４０は、通信部８１０を介してディスプレイ装置１００に伝送する。よって、ディスプレイ装置１００は、受信した応答情報に基づいてユーザ音声に対応する応答メッセージ出力及び機能実行のうち、少なくとも一方の機能を実行することができる。

一方、判断の結果、ＥＰＧ情報提供ができない場合、制御部８４０はユーザ音声に対応する応答情報に対する提供不可メッセージを生成する。

例えば、“○○○（放送番組名）に出てる主人公って誰？”というユーザ音声の場合、抽出部８２０は“○○○（放送番組名）”、“主人公”、“誰”という発話要素を抽出することができる。このような発話要素が抽出されると、制御部８４０は、保存部８３０に保存されたＥＰＧ情報から○○○（放送番組名）に対する主人公情報があるかをチェックする。チェックの結果、予め保存されたＥＰＧ情報から○○○（放送番組名）に対する主人公情報の獲得ができない場合、制御部８４０は、ユーザ音声に対応する応答情報に対する提供不可メッセージを生成することができる。

応答情報に対する提供不可メッセージ生成に関連する更に別の例として、制御部７４０は、ユーザ音声から抽出された発話要素が悪口、禁止薬物等のような制限された禁止単語である場合、制御部８４０はユーザ音声に対応する応答情報に対する提供不可メッセージを生成することができる。

このように、ユーザ音声に対応する応答情報またはユーザ音声に対応する応答情報に対する提供不可メッセージが生成されると、制御部８４０は、通信部８１０を介してディスプレイ装置１００に伝送する。同時に、制御部８４０はユーザ音声から抽出された発話要素のうち、主要名詞または客体関連発話要素をディスプレイ装置１００に伝送することができる。それにより、ディスプレイ装置１００は、受信した発話要素に基づいたウェブサーチ結果情報及び応答メッセージのうち、少なくとも一方をウェブサーバ及びＳＮＳサーバ４００を介して受信して、音声及び映像のいずれか一方で出力することができる。

これまで、本発明に係るユーザ音声に適した応答情報を提供する対話型サーバの各構成について詳細に説明してきた。以下では、上述のディスプレイ装置でユーザ音声に適した応答情報に基づいて機能を実行する方法について詳細に説明する。

図９は、本発明の一実施形態に係るディスプレイ装置からユーザ音声に適した応答情報を提供されるための方法のフローチャートである。

ディスプレイ装置は、ユーザから音声認識モードを開始するためのユーザ命令が入力されると、入力されたユーザ命令に応じて、ユーザの音声を認識できる音声認識モードにシフトする（Ｓ９１０）。このような音声認識モードにシフトした状態で、ディスプレイ装置は、ユーザからユーザ音声を受信する。ユーザ音声が受信されると、ディスプレイ装置はユーザからユーザ音声を収集し、その収集されたユーザ音声をデジタル信号に変換する（Ｓ９２０、Ｓ９３０）。その後、ディスプレイ装置は、デジタル信号に変換されたユーザ音声を第１サーバに伝送する（Ｓ９４０）。ここで、第１サーバは、デジタル信号に変換されたユーザ音声をテキスト情報に変換するサーバであってよい。このような第１サーバからユーザ音声に対するテキスト情報が受信されると、ディスプレイ装置は受信したユーザ音声に対するテキスト情報を第２サーバに伝送する（Ｓ９５０）。ここで、第２サーバは、ユーザ音声から抽出された発話要素に応じてユーザ音声に適した応答情報を生成するサーバであってよい。

このような対話型サーバからユーザ音声に対応する応答情報が受信されると、ディスプレイ装置は受信した応答情報に基づいて、ユーザ音声に対応する機能を実行する（Ｓ９６０）。ここで、応答情報は、ユーザ音声から抽出された発話要素に基づいて分類された機能に応じて異なる形態で生成されることが望ましい。なお、抽出された発話要素に基づいて分類される機能は、ＥＰＧ関連機能及びディスプレイ装置の機能制御に関連する機能のうち、少なくとも一方を含んでよい。例えば、ユーザ音声から抽出された発話要素が放送番組に関連する発話要素であると、ＥＰＧ関連機能であってよく、ディスプレイ装置の電源オン／オフ、チャネル変更、音量変更等に関連する発話要素であると、ディスプレイ装置の機能制御に関連する機能であってよい。よって、ディスプレイ装置は、このような応答情報が第２サーバから受信されると、その受信された応答情報に含まれた応答メッセージを音声または映像で出力することができる。さらに、ディスプレイ装置は、第２サーバから受信した応答情報に含まれた制御命令に応じて、ディスプレイ装置の機能実行に対する機能を実行することができる。

一方、ディスプレイ装置は、ユーザ音声から抽出された発話要素に基づいて、ユーザ音声に対応する応答情報に対する実行不可メッセージが受信されると、ウェブサーチ及びＳＮＳのうち、少なくとも一方を通じて代替応答情報を受信して、映像及び音声で出力する。

図１０は、本発明の一実施形態に係るディスプレイ装置からユーザ音声に関連した代替応答情報を提供されるための方法のフローチャートである。

同図に示すように、ディスプレイ装置は第２サーバ２０からユーザ音声に対応する応答情報が受信されるかをチェックする（Ｓ１０１０）。チェックの結果、第２サーバ２０からユーザ音声に対応する応答情報が受信されると、ディスプレイ装置は、上述のように、受信した応答情報に基づいて応答メッセージを音声及び映像のうち、少なくとも一方を通じて出力したり、ディスプレイ装置の機能実行に対する機能を実行する（Ｓ１０２０）。

一方、チェックの結果、第２サーバ２０からユーザ音声に対応する応答情報に対する提供不可メッセージが受信されると、ディスプレイ装置は受信された提供不可メッセージに基づいて、“機能を実行することができません。”或いは“制限された音声です。再入力してください。”といったガイドメッセージを音声及びテキスト形態の映像のうち、少なくとも一方を通じて出力する（Ｓ１０３０）。このようなメッセージを出力した後、ディスプレイ装置はウェブサーチ及びＳＮＳのうち、少なくとも一方を通じて代替情報を提供するために、代替情報メッセージを音声及び映像のうち、少なくとも一方を通じて出力する。

具体的に、図５を参照して説明したように、第２サーバ２０から受信された提供不可メッセージに基づいてガイドメッセージを出力したディスプレイ装置は、画面上に“（○○○（番組名）、ノホンチョル）をウェブ検索しますか？”というウェブサーバ関連の第１代替情報提供メッセージ５１０及び“登録されたＳＮＳ友達に聞いてみますか？”というＳＮＳ関連の第２代替情報提供メッセージ５２０をテキスト形態で出力することができる。そして、音声出力部１４３は、スピーカ（図示せず）を通じて“（○○○（番組名）、ノホンチョル）をウェブ検索しますか？”というウェブサーチ関連の第１代替情報提供メッセージ５１０及び“登録されたＳＮＳ友達に聞いてみますか？”というＳＮＳ関連の第２代替情報提供メッセージ５２０を可聴音形態の音声で出力することができる。

このような代替情報提供メッセージが出力された状態で、ディスプレイ装置はユーザから代替情報提供に関連したユーザ命令が受信されるかをチェックする（Ｓ１０４０）。チェックの結果、ユーザからウェブサーチを行うためのユーザ命令が受信されると、ディスプレイ装置は第２サーバ２０から受信した主要名詞または客体関連発話要素に基づいて、ウェブサーバ３００からウェブサーチ結果情報を受信し、映像及び音声のうち少なくとも一方を通じて出力する（Ｓ１０５０）。

一方、ステップＳ１０４０でユーザからＳＮＳに対するユーザ命令が受信されるとチェックされると、ディスプレイ装置は第２サーバ２０から受信した主要名詞または客体関連発話要素に基づいて応答要求メッセージを生成する。その後、ディスプレイ装置は、ＳＮＳを提供するＳＮＳサーバ４００に応答要求メッセージを伝送する。それにより、ディスプレイ装置は、ＳＮＳサーバ４００から応答要求メッセージに関連する応答メッセージを受信し、受信した応答メッセージを映像及び音声のうち、少なくとも一方を通じて出力する（Ｓ１０６０）。

一実施形態により、ディスプレイ装置は、ユーザのＳＮＳアカウントに応答要求メッセージをＳＮＳサーバ４００に伝送し、ＳＮＳサーバ４００からユーザのＳＮＳアカウントと連動するＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。

更に別の実施形態により、ディスプレイ装置はユーザのＳＮＳアカウントと連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。具体的に、ディスプレイ装置は、ユーザのＳＮＳアカウントと連動するＳＮＳアカウントのうち、ユーザから選択されたＳＮＳアカウントがある場合、ＳＮＳサーバ４００にユーザから選択されたＳＮＳアカウントに応答要求メッセージを伝送するように要求することができる。それにより、ＳＮＳサーバ４００は、ユーザから選択されたＳＮＳアカウントに応答要求メッセージを伝送し、当該ＳＮＳアカウントから応答要求メッセージに関連する応答メッセージが受信されると、それをディスプレイ装置１００に伝送する。よって、ディスプレイ装置は、ユーザから選択されたＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。

このように、ディスプレイ装置は、ユーザのＳＮＳアカウントと連動するＳＮＳアカウントのうち、少なくとも一つのＳＮＳアカウントから応答要求メッセージに関連した応答メッセージが受信されると、図６のように、画面上に受信した応答メッセージを出力することができる。具体的に、図６において説明したように、ディスプレイ装置はＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動する複数のＳＮＳアカウントのうち、第１ユーザ及び第２ユーザのＳＮＳアカウントから応答メッセージを受信することができる。すなわち、第１ユーザのＳＮＳアカウントから“ノホンチョルが降りたの？”という応答メッセージが受信されてよく、第２ユーザのＳＮＳアカウントから“知らない…”という応答メッセージが受信されてよい。

よって、ディスプレイ装置は、画面上に“送信者：第１ユーザ”と“ノホンチョルが降りたの？”という第１応答メッセージ６２０を出力し、“送信者：第２ユーザ”と“知らない…”という第２応答メッセージ６３０を出力することができる。

一方、ディスプレイ装置は、ユーザがＳＮＳアカウントがない場合、予め設定された共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答要求メッセージに関連する応答メッセージを受信することができる。具体的に、ＳＮＳサーバ４００に伝送される応答要求メッセージは、ＳＮＳアカウント登録を識別するためのユーザ情報が含まれてよい。よって、ＳＮＳサーバ４００は、ディスプレイ装置から応答要求メッセージが受信されると、受信した応答要求メッセージに含まれたユーザ情報を参照し、当該ユーザのＳＮＳアカウントが登録されているかをチェックする。チェックの結果、ユーザのＳＮＳアカウントが登録されていないとチェックされると、ＳＮＳサーバ４００は予め設定された共用ＳＮＳアカウントに共用ＳＮＳアカウントと連動するＳＮＳアカウントに応答要求メッセージを伝送する。その後、応答要求メッセージを伝送したＳＮＳアカウントから応答メッセージが受信されると、ＳＮＳサーバ４００は受信した応答メッセージをディスプレイ装置に伝送する。

このように、共用ＳＮＳアカウントを通じて応答要求メッセージを伝送し、それによる応答メッセージを受信する場合、ディスプレイ装置は、図６において説明したように、画面上に“送信者：サムスン”と“ギルとパクウンヨンだよ”という第３応答メッセージ６３０を出力する。

このように、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージが受信されると、ディスプレイ装置は受信された応答メッセージを画面上に出力するだけでなく、応答メッセージが受信されたことを報知する報知情報を音声で出力することができる。更に、ディスプレイ装置は、ＳＮＳサーバ４００を介してユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから応答メッセージが受信されると、受信された応答メッセージをハイライト処理して出力することができる。

このように、ユーザ命令に応じて、ＳＮＳを通じてユーザ音声に関連する応答メッセージを受信するディスプレイ装置は、応答メッセージ受信中断に関連するユーザ命令が受信されると、ＳＮＳに対する受信中断要求メッセージを生成してＳＮＳサーバ４００に伝送する。よって、ＳＮＳサーバ４００は、受信中断要求メッセージを受信した時点からユーザのＳＮＳアカウントと連動したり、共用ＳＮＳアカウントと連動するＳＮＳアカウントから受信された応答メッセージに対する伝送を終了する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 第１サーバ
２０ 第２サーバ
１００ ディスプレイ装置
１１０、８１０ 通信部
１２０ 音声収集部
１３０、８４０ 制御部
１４０ 出力部
１４１ ディスプレイ部
１４３ オーディオ出力部
１５０、８３０ 保存部
１６０ 撮影部
１７０ 入力部
１８０ 受信部
１９０ 信号処理部
２００ 対話型サーバ
３００ ウェブサーバ
４００ ＳＮＳサーバ
５１０ 第１代替情報提供メッセージ
５２０ 第２代替情報提供メッセージ
６１０ 表示ウィンドウ
６２０ 第１応答メッセージ
６３０ 第２応答メッセージ
８２０ 抽出部

Claims (15)

1. ユーザ音声を収集するための音声収集部と、
   対話型サーバと通信を行う通信部と、
   前記対話型サーバに伝送された前記ユーザ音声に対応する応答情報が前記対話型サーバから受信されると、前記応答情報に対応する機能を実行するように制御する制御部と
   を含み、
   前記制御部は、
   ウェブサーチ及びソーシャルネットワークサービスを通じて、前記ユーザ音声に関連した代替応答情報を受信するように前記通信部を制御することを特徴とするディスプレイ装置。
2. 出力部を更に含み、
   前記制御部は、
   前記対話型サーバから前記ユーザ音声に対応する前記応答情報に対する提供不可メッセージとともに前記ユーザ音声内に含まれた発話要素が受信されると、前記ウェブサーチ及び前記ソーシャルネットワークサービスを通じて、前記発話要素に関連した代替応答情報を受信して出力するように前記出力部を制御することを特徴とする請求項１に記載のディスプレイ装置。
3. 前記制御部は、
   前記ウェブサーチを行うためのユーザ命令が受信されると、前記発話要素に基づいたウェブサーチに対する結果を受信して出力するように制御することを特徴とする請求項２に記載のディスプレイ装置。
4. 前記制御部は、
   前記ソーシャルネットワークサービスに対するユーザ命令が受信されると、前記発話要素に基づいた応答要求メッセージを生成し、前記ソーシャルネットワークサービスを提供するＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サーバに伝送し、前記ＳＮＳサーバから前記応答要求メッセージに対応する応答メッセージを受信して出力することを特徴とする請求項２に記載のディスプレイ装置。
5. 前記制御部は、
   ユーザ命令に応じて、前記ユーザのＳＮＳアカウントに前記応答要求メッセージを伝送し、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力することを特徴とする請求項４に記載のディスプレイ装置。
6. 前記制御部は、
   ユーザ命令に応じて、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントの中から選択されたＳＮＳアカウントに前記応答要求メッセージを伝送し、前記選択されたＳＮＳアカウントから前記応答メッセージを受信して出力することを特徴とする請求項４に記載のディスプレイ装置。
7. 前記制御部は、
   ユーザ命令に応じて、予め設定された共用ＳＮＳアカウントに前記応答要求メッセージを伝送し、前記共用ＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力することを特徴とする請求項４に記載のディスプレイ装置。
8. 前記制御部は、
   前記応答メッセージが受信されると、前記応答メッセージ受信を報知する報知情報を出力するように制御することを特徴とする請求項４に記載のディスプレイ装置。
9. 前記対話型サーバは、
   前記収集されたユーザ音声をテキスト情報に変換する第１サーバ及び前記テキスト情報に変換されたユーザ音声に対応する応答情報を生成する第２サーバを含み、
   前記制御部は、
   前記収集されたユーザ音声をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ音声に対するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ音声に対応する応答情報を受信することを特徴とする請求項１に記載のディスプレイ装置。
10. 前記第２サーバは、
    前記ユーザ音声内にＥＰＧ関連の発話要素または前記ディスプレイ装置の機能制御関連の発話要素が含まれた場合、前記第２サーバから受信した応答情報に基づいて、前記ユーザ音声に対応する応答メッセージ出力及び機能実行のうち、少なくとも一方の機能を実行することを特徴とする請求項９に記載のディスプレイ装置。
11. ディスプレイ装置からユーザ音声に適した応答情報を提供する方法において、
    ユーザ音声を収集するステップと、
    前記収集されたユーザ音声を対話型サーバに伝送するステップと、
    前記対話型サーバから前記ユーザ音声に対応する応答情報が受信されるかをチェックするステップと、
    前記チェックの結果、前記ユーザ音声に対応する応答情報が受信されると、前記応答情報に対応する機能を実行するステップと
    を含み、
    前記機能を実行するステップは、
    ウェブサーチ及びソーシャルネットワークサービスを通じて、前記ユーザ音声に関連した代替応答情報を受信して出力することを特徴とする応答情報提供方法。
12. 前記機能を実行するステップは、
    前記対話型サーバから、前記ユーザ音声に対応する前記応答情報に対する提供不可メッセージとともに前記ユーザ音声内に含まれた発話要素が受信されると、前記ウェブサーチ及び前記ソーシャルネットワークサービスを通じて、前記発話要素に関連した代替応答情報を受信して出力することを特徴とする請求項１１に記載の応答情報提供方法。
13. 前記機能を実行するステップは、
    前記ウェブサーチを行うためのユーザ命令が受信されると、前記発話要素に基づいたウェブサーチに対する結果を受信して出力することを特徴とする請求項１２に記載の応答情報提供方法。
14. 前記機能を実行するステップは、
    前記ソーシャルネットワークサービスに対するユーザ命令が受信されると、前記発話要素に基づいた応答要求メッセージを生成し、前記ソーシャルネットワークサービスを提供するＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サーバに伝送し、前記ＳＮＳサーバから前記応答要求メッセージに対応する応答メッセージを受信して出力することを特徴とする請求項１２に記載の応答情報提供方法。
15. 前記機能を実行するステップは、
    ユーザ命令に応じて、前記ユーザのＳＮＳアカウントに前記応答要求メッセージを伝送し、前記ユーザのＳＮＳアカウントと連動するＳＮＳアカウントから前記応答メッセージを受信して出力することを特徴とする請求項１４に記載の応答情報提供方法。

Images