[go: up one dir, main page]

WO2015146017A1 - 音声検索装置、音声検索方法、および表示装置 - Google Patents

音声検索装置、音声検索方法、および表示装置 Download PDF

Info

Publication number
WO2015146017A1
WO2015146017A1 PCT/JP2015/001257 JP2015001257W WO2015146017A1 WO 2015146017 A1 WO2015146017 A1 WO 2015146017A1 JP 2015001257 W JP2015001257 W JP 2015001257W WO 2015146017 A1 WO2015146017 A1 WO 2015146017A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
url
unit
character string
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/001257
Other languages
English (en)
French (fr)
Inventor
英明 中岡
智弘 小金井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to EP15769934.9A priority Critical patent/EP3125134B1/en
Priority to CN201580006319.8A priority patent/CN105940399B/zh
Priority to US15/110,733 priority patent/US9928030B2/en
Priority to JP2016509973A priority patent/JP6375521B2/ja
Publication of WO2015146017A1 publication Critical patent/WO2015146017A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Definitions

  • Patent Document 2 discloses an information search method for performing information search using a table (correspondence table) that associates keywords with categories.
  • a table correlates keywords with categories.
  • this information retrieval method when the voice uttered by the user can be classified into any of the categories registered in the table, the voice uttered by the user is recognized by voice, and the keyword included in the resulting character string is used. Search within a category is possible.
  • the voice search device includes a web page display control unit, a voice recognition unit, a matching unit, and a URL creation unit.
  • the web page display control unit controls the web page displayed on the display unit.
  • the voice recognition unit recognizes the input voice, converts it into character string information, and outputs it.
  • the matching unit refers to the URL list in which a character string representing a part of the URL is registered for each search category, and performs a matching process between the URL of the web page displayed on the display unit and the character string of the URL list.
  • a character string of the URL list corresponding to the URL is specified.
  • the URL creation unit creates a URL based on the character string specified by the matching unit and the character string information.
  • FIG. 1 is a diagram schematically showing a speech recognition system 11 in the first embodiment.
  • a voice search device is built in the television 10 which is an example of a display device.
  • a voice recognition device included in a voice search device built in the television 10 recognizes a voice uttered by a user and controls the television 10 according to a result of the voice recognition.
  • FIG. 2 is a block diagram illustrating a configuration example of the speech recognition system 11 according to the first embodiment.
  • the remote controller 20 and the portable terminal 30 are omitted.
  • the television 10 includes a voice search device 200, a tuner 190, a display control unit 108, a microphone 130, a display unit 140, a storage unit 181, an operation reception unit 110, and a transmission / reception unit 150.
  • the television 10 may include a wireless communication unit (not shown) that performs wireless communication with the remote controller 20 or the mobile terminal 30.
  • the remote controller 20 shown in FIG. 1 is a controller for the user 700 to remotely operate the television 10.
  • the remote controller 20 includes a microphone and an input unit in addition to a general configuration necessary for remote operation of the television 10.
  • the microphone is configured to collect a sound uttered by the user 700 and output a sound signal.
  • the input unit is configured to accept an input operation manually performed by the user 700 and output an input signal corresponding to the input operation.
  • the input unit is, for example, a touch pad, but may be a keyboard, a button, or the like.
  • An audio signal generated by the sound collected by the microphone or an input signal generated when the user 700 performs an input operation on the input unit is wirelessly transmitted to the television 10 by, for example, infrared rays or radio waves.
  • the mobile terminal 30 shown in FIG. 1 is a smartphone, for example, and can operate software for remotely operating the television 10. Therefore, in the speech recognition system 11 in the present embodiment, the mobile terminal 30 on which the software is operating can be used for remote operation of the television 10.
  • the portable terminal 30 has a microphone and an input unit. Similar to the microphone provided in the remote controller 20, the microphone built in the portable terminal 30 is configured to collect the voice uttered by the user 700 and output the voice signal.
  • the input unit is configured to accept an input operation manually performed by the user 700 and output an input signal corresponding to the input operation.
  • the input unit is, for example, a touch panel, but may be a keyboard, a button, or the like.
  • the voice recognition unit 50 is a server (for example, a server on the cloud) connected to the television 10 via the network 40.
  • the voice recognition unit 50 receives voice information transmitted from the television 10 and converts the received voice information into a character string.
  • the character string may be a plurality of characters or a single character.
  • the voice recognition unit 50 transmits character string information (text information) indicating the converted character string to the television 10 via the network 40 as a result of the voice recognition.
  • the search site 70 is a website server that is connected to the network 40 and provides a search service on the network 40.
  • the search site 70 may have one server or a plurality of servers.
  • the server of the search site 70 is configured to provide the following services.
  • a user 700 performs a user operation for the purpose of search on a terminal (for example, the television 10) connected to the network 40, a query string based on the user operation and a character string indicating a path are displayed on the web browser.
  • URL bar Uniform Resource Locator bar
  • the URL bar includes information on a character string based on a user operation and information for designating a specific server (for example, a server that performs a search).
  • the server of the search site 70 designated by the URL bar receives the character string information of the URL bar, and performs a search based on the character string information. Then, the server returns information indicating the search result (information indicating the web page obtained as a result of the search) to the terminal.
  • the web browser control unit 170 of the television 10 is configured to perform the above-described exchange with each server of the search site 70.
  • the URL server 60 is a server connected to the television 10 via the network 40.
  • the URL server 60 stores a search URL list.
  • the search URL list is a list in which character string templates (hereinafter referred to as “search URL templates”) set in the URL bar of the web browser are associated with search target categories (hereinafter referred to as “search categories”). It is a table (list).
  • the search category is a search range when searching with free words.
  • This search URL list includes a communication method (for example, “http” (Hyper Text Transfer Protocol)), each server name of the search site 70 (for example, “search.co.jp”, etc.), a search category (for example, “images”). And the like are registered as a search URL template. Details of the search URL list will be described later.
  • the search URL list of the URL server 60 is configured to be updatable.
  • the URL server 60 can update the search URL list regularly or irregularly by collecting information from the network 40 or the like.
  • the television 10 is configured to be able to acquire a search URL list from the URL server 60 via the network 40. Accordingly, the television 10 can appropriately update the search URL list D500 stored in the storage unit 180 of the television 10.
  • the voice recognition device 100 of the television 10 includes a voice acquisition unit 101, a voice processing unit 102, a recognition result acquisition unit 103, an intention interpretation processing unit 104, a reserved word processing unit 106, and a storage unit 180.
  • the reserved word table D400 includes “image”, “video”, “program”, “Web”, “news”, “map”, “restaurant”, “gas station” as reserved words. , “Forward”, “return”, “search”, etc. are registered, and “search”, “command”, etc. are registered as attributes of reserved words.
  • words used for instructions to the television 10 hereinafter referred to as “instruction information” are classified as “commands”, and words used for specifying a search category are classified as “search”. Yes.
  • the audio processing unit 102 collates the audio information with the reserved word table D400, and the reserved word included in the audio information is “image”.
  • Reserved word information indicating that the attribute is “search” is output to the recognition result acquisition unit 103.
  • the reserved word processing unit 106 When the reserved word processing unit 106 acquires information from the intention interpretation processing unit 104, the reserved word processing unit 106 is configured to confirm whether or not the information includes predetermined information.
  • the predetermined information is information indicating “reserved word whose attribute is“ search ””.
  • the web browser control unit 170 in the present embodiment switches the subsequent processing depending on whether or not the information output from the intention interpretation processing unit 104 includes a reserved word whose attribute is “search”. It is configured. Specifically, when the reserved word processing unit 106 determines that the reserved word whose attribute is “search” is included in the information output from the intention interpretation processing unit 104, the search by the web browser control unit 170.
  • the URL creation unit 171 executes processing.
  • the search URL creation unit 171 is an example of a “URL creation unit”. If the information output from the intention interpretation processing unit 104 includes a free word and a reserved word whose attribute is “search”, the search URL creating unit 171 stores the information in the storage unit 180 based on the reserved word.
  • the stored search URL list D500 is referred to.
  • the search URL matching processing unit 172 is an example of a “matching unit”.
  • the search URL matching processing unit 172 is configured to execute the following processing when the information output from the reserved word processing unit 106 does not include a reserved word whose attribute is “search”.
  • the search URL matching processing unit 172 sequentially reads the search URL templates from the search URL list D500, and checks whether the character string of the read search URL template is included in the URL acquired from the URL bar display control unit 173. Specifically, it is checked whether or not there is a character string that matches the character string of the read search URL template in the character string of the URL acquired from the URL bar display control unit 173. If there is a search URL template that is determined to have a matching character string in the search URL list D500, the search URL matching processing unit 172 determines that the matching process has been successful. Then, the search URL matching processing unit 172 reads the search URL template, and adds the free word character string output from the reserved word processing unit 106 to the end of the character string of the read search URL template. In this way, the search URL matching processing unit 172 creates a new URL (that is, a search URL) used for the search process.
  • a new URL that is, a search URL
  • the reserved word recognition processing and the free word recognition processing are performed as the speech recognition processing, and the processing based on the results is performed by the television 10.
  • search command a command associated with a search application (hereinafter referred to as “search application”) set in advance
  • search application a search application
  • the television 10 may use the search application. It is configured to perform a free word search.
  • the voice recognition unit 50 receives all voices (voice information) acquired by the voice acquisition unit 101 from the television 10, performs dictation on all the voice information, and results thereof. Are transmitted to the television 10.
  • the voice processing unit 102 of the television 10 may be configured to transmit voice information other than the reserved words recognized by the reserved word table D400 to the voice recognition unit 50.
  • the Internet search application of the web browser shown as an example in FIG. 5 may be activated based on the above-described reserved word recognition processing, or may be activated based on a user operation using the remote controller 20 or the like.
  • the television 10 Upon receiving the character string information from the voice recognition unit 50, the television 10 operates the recognition result acquisition unit 103, the intention interpretation processing unit 104, the reserved word processing unit 106, the display control unit 108, and the like based on the character string information.
  • the character string corresponding to the character string information is displayed in the input field 203. For example, when the television 10 receives character string information indicating a character string “ABC” from the voice recognition unit 50, the television 10 displays a character string “ABC” in the input field 203.
  • the voice information output from the voice acquisition unit 101 includes voice information based on the word “search” issued by the user 700, and the reserved word table D 400 has the attribute “command” as a reserved word “ If “search” is registered, the voice processing unit 102 determines that the voice information includes the word “search” which is a reserved word having the attribute “command”.
  • the voice recognition unit 50 compares the database in which free words and character strings are associated with the received voice information. If a free word registered in the database is included in the received voice information, a character string (including one character) corresponding to the free word is selected.
  • the free words in the voice recognition unit 50 may include reserved words. In this way, the voice recognition unit 50 converts the received voice information into a character string. For example, if the voice recognition unit 50 receives voice information based on the voice “search for ABC image” uttered by the user 700, the voice recognition unit 50 converts the voice information into “ABC”, “NO”, “ It is converted into character strings “image”, “to”, and “search”.
  • the voice recognition unit 50 transmits character string information (text information) representing each converted character string to the television 10 via the network 40 (step S802).
  • the recognition result acquisition unit 103 of the television 10 includes reserved word information (the reserved word information includes reserved words and attributes) output as a result of the voice recognition from the voice processing unit 102, and the voice recognition unit 50.
  • the character string information transmitted as a result of voice recognition from (the character string information includes free words and reserved words) is acquired and output to the intention interpretation processing unit 104.
  • the intention interpretation processing unit 104 removes a reserved word from character string information, for example, by collating character string information with reserved word information. Note that the intention interpretation processing unit 104 compares the reserved word table D400 shown in FIG. 3 with the character string information, and if the reserved word registered in the reserved word table D400 is included in the character string information. The word may be removed from the character string information as a reserved word.
  • the intention interpretation processing unit 104 selects free words by removing character strings such as prepositions and particles that do not correspond to free words from the remaining character string information. Therefore, the free word in the intention interpretation processing unit 104 does not include a reserved word.
  • step S702 If it is determined in step S702 that the information output from the intention interpretation processing unit 104 includes a reserved word whose attribute is “search” (Yes), the process proceeds to step S704. Then, a search URL based on the reserved words and free words included in the information output from the intention interpretation processing unit 104 is created by the search URL creation unit 171 of the web browser control unit 170 (step S704).
  • step S702 For example, if the words “ABC” and “image” are included in the information output from the intention interpretation processing unit 104, “image” is stored in the reserved word table D400 as a reserved word whose attribute is “search”. Since it is registered, “Yes” is determined in step S702.
  • step S702 If it is determined in step S702 that the information output from the intention interpretation processing unit 104 does not include a reserved word whose attribute is “search” (No), the process proceeds to step S703. Then, the search URL matching processing unit 172 of the web browser control unit 170 executes processing for determining a search category.
  • search category determination processing the processing performed in step S703 is also referred to as “search category determination processing”.
  • the search category indicates a search target range, and corresponds to a reserved word in the search URL list D500 of FIG. 4 in the present embodiment.
  • step S703 search category determination processing is performed. Specifically, the search URL matching processing unit 172 matches the search URL list D500 with the URL managed by the URL bar display control unit 173 (URL related to the web page displayed on the display unit 140). (Character string matching processing) is performed, and a search category is determined based on the result (step S703).
  • the search URL matching processing unit 172 determines whether the character string A includes a character string that matches the character string B (step S904).
  • the search URL matching processing unit 172 compares the variable n with the number of search categories (number of search URL templates) registered in the search URL list D500 (step S907).
  • step S907 when it is determined that the variable n is larger than the number of search categories registered in the search URL list D500 (Yes), the search URL matching processing unit 172 determines a search category set in advance (hereinafter, referred to as “search category”). “Default search category”) is set as a return value (step S908).
  • search category determination process described above will be described with a specific example.
  • the continuation of the above-described specific example when “No” is determined in step S702 will be described as a specific example of the search category determination process.
  • the map web page is displayed on the web browser by the search performed by the user 700 immediately before. Therefore, the search URL matching processing unit 172 sets the character string of the URL for displaying the web page of the map as the character string A in step S902.
  • co. jp / maps? q Is set to the character string B, the matching process is successful. That is, it is determined that the character string that matches the character string B is included in the character string A. Therefore, in step S905, the search URL matching processing unit 172 sets the search category “map” as a return value, and outputs the return value to the search URL creation unit 171.
  • the user 700 immediately utters or inputs “search a map with ABC”, searches for the free word “ABC” in the search category “map”, and then newly adds the free word “XYZ”.
  • search category “map” is searched with “”, there is no need to say “search map with XYZ”.
  • the user 700 only has to say “XYZ”.
  • the search URL is created so that the search for the free word “XYZ” is performed in the same search category “map” as the search category searched immediately before. That is, the user 700 can execute the same search process as when the user “utters a map using XYZ” by simply speaking “XYZ”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 音声操作の操作性を向上する。そのために、音声検索装置は、音声認識部と、マッチング部と、URL作成部と、を備える。音声認識部は、入力された音声を認識して文字列情報に変換する。マッチング部は、URLリストを参照し、表示部に表示しているウェブページのURLとURLリストの文字列とのマッチング処理を行い、そのURLに対応するURLリストの文字列を特定する。URL作成部は、マッチング部が特定する文字列と、文字列情報と、にもとづき新たなURLを作成する。

Description

音声検索装置、音声検索方法、および表示装置
 本開示は、ユーザが発した音声を認識して動作する音声検索装置、音声検索方法、および表示装置に関する。
 特許文献1は、音声認識機能を有する音声入力装置を開示する。この音声入力装置は、ユーザが発した音声を受信し、受信した音声を解析することによりユーザの音声が示す命令を認識(以下、「音声認識」とも記す)し、音声認識した命令に応じて機器を制御するように構成されている。すなわち、特許文献1の音声入力装置は、ユーザが任意に発した音声を音声認識し、その音声認識した結果である命令(以下、「コマンド」とも記す)に応じて機器を制御することができる。以下、音声認識機能を利用した機器の操作を「音声操作」と記す。
 この音声入力装置を使用するユーザは、例えば、テレビジョン受像機(以下、「テレビ」と記す)やPC(Personal Computer)等を操作する際に、インターネット上で検索サービスを提供するウェブサイト(以下、「検索サイト」とも記す)上での検索を、この音声入力装置の音声認識機能を利用して行うことができる。以下、音声操作による検索を「音声検索」と記す。このときの検索対象となるデータは、例えば、ウェブページ、画像、地図、等の複数のカテゴリに分類される。また、ユーザは、テレビ内に保存された番組表データや録画した動画等の、上述とは異なるカテゴリに属するデータの検索も、この音声入力装置の音声認識機能を利用して行うことができる。
 特許文献2は、キーワードとカテゴリとを関連付けるテーブル(対応表)を使用して情報検索を行う情報検索方法を開示する。この情報検索方法では、ユーザが発した音声が、テーブルに登録されたカテゴリのいずれかに分類可能な場合、ユーザが発した音声を音声認識し、その結果得られる文字列に含まれるキーワードを使って、カテゴリ内の検索が可能である。
 特許文献2に記載された情報検索方法を利用するユーザは、例えば、「画像」のカテゴリで画像「ABC」を音声検索する場合、「ABCの画像を検索」と発話すればよい。これにより、検索サイトでは、「画像」のカテゴリで「ABC」の検索が行われる。引き続き、画像「XYZ」を検索するときは、ユーザは、例えば「XYZの画像を検索」と発話すればよい。
日本国特許第3292190号公報 特開2001-75968号公報
 本開示は、ユーザの操作性を向上する音声検索装置および音声検索方法を提供する。
 本開示における音声検索装置は、ウェブページ表示制御部と、音声認識部と、マッチング部と、URL作成部と、を備える。ウェブページ表示制御部は、表示部に表示するウェブページを制御する。音声認識部は、入力された音声を認識して文字列情報に変換して出力する。マッチング部は、URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、表示部に表示しているウェブページのURLとURLリストの文字列とのマッチング処理を行い、そのURLに対応するURLリストの文字列を特定する。URL作成部は、マッチング部が特定する文字列と、文字列情報と、にもとづきURLを作成する。
 本開示における音声検索方法は、表示部にウェブページを表示するステップと、入力された音声を認識して文字列情報に変換するステップと、URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、表示部に表示しているウェブページのURLとURLリストの文字列とのマッチング処理を行い、そのURLに対応するURLリストの文字列を特定するステップと、特定された文字列と、文字列情報と、にもとづきURLを作成するステップと、を備える。
 本開示における表示装置は、表示部と、ウェブページ表示制御部と、音声認識部と、マッチング部と、URL作成部と、を備える。ウェブページ表示制御部は、表示部に表示するウェブページを制御する。音声認識部は、入力された音声を認識して文字列情報に変換して出力する。マッチング部は、URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、表示部に表示しているウェブページのURLとURLリストの文字列とのマッチング処理を行い、そのURLに対応するURLリストの文字列を特定する。URL作成部は、マッチング部が特定する文字列と、文字列情報と、にもとづきURLを作成する。
 本開示における音声検索装置は、ユーザが音声操作するときの操作性を向上することができる。
図1は、実施の形態1における音声認識システムを概略的に示す図である。 図2は、実施の形態1における音声認識システムの一構成例を示すブロック図である。 図3は、実施の形態1における音声認識装置の記憶部に記憶された予約語テーブルの一例を概略的に示す図である。 図4は、実施の形態1における音声認識装置の記憶部に記憶された検索URLリストの一例を概略的に示す図である。 図5は、実施の形態1における音声認識システムで行うディクテーションの概略を示す図である。 図6は、実施の形態1におけるテレビジョン受像機の表示部に表示されたウェブブラウザの一例を示す図である。 図7は、実施の形態1における音声認識システムで行う音声検索処理の一動作例を示すフローチャートである。 図8は、実施の形態1における音声認識システムで行う音声認識意図解釈処理の一動作例を示すフローチャートである。 図9は、実施の形態1における音声認識システムで行う検索カテゴリ決定処理の一動作例を示すフローチャートである。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
 (実施の形態1)
 以下、図1~図9を用いて、実施の形態1を説明する。なお、本実施の形態では、音声検索装置を備えた表示装置の一例としてテレビジョン受像機(テレビ)10を挙げているが、表示装置は何らテレビ10に限定されるものではない。例えば、PCやタブレット端末等であってもよい。
 [1-1.構成]
 図1は、実施の形態1における音声認識システム11を概略的に示す図である。本実施の形態では、表示装置の一例であるテレビ10に音声検索装置が内蔵されている。テレビ10に内蔵された音声検索装置が有する音声認識装置は、ユーザが発した音声を認識し、その音声認識の結果に応じてテレビ10の制御を行う。
 図1に示すように、本実施の形態における音声認識システム11は、テレビ10と、音声認識部50と、を備える。また、音声認識システム11は、リモートコントローラ(以下、「リモコン」とも記す)20と携帯端末30との少なくとも一方を備えていてもよい。
 テレビ10で音声認識装置が起動すると、テレビ10の表示部140には、入力映像信号や受信された放送信号等にもとづく映像とともに、音声認識アイコン201と、集音されている音声の音量を示すインジケータ202と、が表示される。これは、ユーザ700の音声にもとづくテレビ10の操作(音声操作)が可能な状態になったことをユーザ700に示すとともに、ユーザ700に発話を促すためである。
 ユーザ700がリモートコントローラ20または携帯端末30に向かって音声を発すると、その音声は、リモートコントローラ20または携帯端末30に内蔵されたマイクで集音され、テレビ10に転送される。そして、ユーザ700が発した音声がテレビ10に内蔵された音声認識装置で音声認識される。テレビ10では、その音声認識の結果に応じてテレビ10の制御が行われる。
 テレビ10は、マイク130を備えていてもよい。その場合、テレビ10が備えるマイク130に向かってユーザ700が発話すると、その音声はマイク130で集音され、音声認識装置で音声認識される。したがって、音声認識システム11を、リモートコントローラ20および携帯端末30を備えない構成にすることも可能である。
 また、テレビ10は、ネットワーク40を介して音声認識部50に接続されている。テレビ10は、ネットワーク40を介して音声認識部50と通信することができる。
 図2は、実施の形態1における音声認識システム11の一構成例を示すブロック図である。なお、図2では、リモートコントローラ20および携帯端末30を省略している。
 テレビ10は、音声検索装置200と、チューナ190と、表示制御部108と、マイク130と、表示部140と、記憶部181と、操作受付部110と、送受信部150と、を有する。テレビ10は、リモートコントローラ20または携帯端末30と無線通信を行う無線通信部(図示せず)を備えていてもよい。
 音声検索装置200は、音声認識装置100と、ウェブブラウザ制御部170と、を有する。
 音声認識装置100は、ユーザ700が発する音声を取得し、取得した音声を解析するように構成されている。そして、その音声が示す「フリーワード」および「予約語」を認識し、認識した結果に応じてテレビ10の制御を行うように構成されている。音声認識装置100の具体的な構成については後述する。なお、「予約語」とは、あらかじめ定められた用語であり、後述する予約語テーブルに登録された用語のことである。
 マイク130は、主に表示部140の表示面に対向する方向から来る音声を集音するように構成されたマイクである。すなわち、マイク130は、テレビ10の表示部140に対面しているユーザ700が発する音声を集音できるように集音の方向が設定されており、ユーザ700が発した音声を集音することが可能である。マイク130は、テレビ10の筐体内に設けられていてもよく、図1に一例を示したようにテレビ10の筐体外に設置されていてもよい。
 図1に示したリモートコントローラ20は、テレビ10をユーザ700が遠隔操作するためのコントローラである。リモートコントローラ20は、テレビ10の遠隔操作に必要な一般的な構成に加え、マイクおよび入力部を有する。マイクは、ユーザ700が発した音声を集音し、音声信号を出力するように構成されている。入力部は、ユーザ700が手動で行う入力操作を受け付け、入力操作に応じた入力信号を出力するように構成されている。この入力部は、例えばタッチパッドであるが、キーボードやボタン等であってもよい。マイクで集音された音声により生じる音声信号、または、ユーザ700が入力部に入力操作することで生じる入力信号は、例えば赤外線や電波等によってテレビ10に無線送信される。
 表示制御部108は、ウェブブラウザ制御部170が生成した画像データや、チューナ190がアンテナ(図示せず)を介して受信した放送信号にもとづく画像データ等の、複数の画像データのデコードおよび多重化等を行い、表示部140に表示する画像の画像信号を生成する。そして、表示部140を制御し、表示部140にそれらの画像信号にもとづく画像を表示する。
 表示部140は、例えば液晶ディスプレイであるが、プラズマディスプレイ、有機EL(ElectroLuminescence)ディスプレイ等であってもよい。表示部140は、表示制御部108によって制御され、外部からの入力映像信号やチューナ190で受信された放送信号等にもとづき表示制御部108で生成された画像信号にもとづく画像が表示される。
 送受信部150は、ネットワーク40に接続されており、ネットワーク40に接続された外部機器(例えば、音声認識部50、URLサーバ60、検索サイト70、等)と、ネットワーク40を通して通信を行うように構成されている。
 チューナ190は、地上放送や衛星放送のテレビジョン放送信号をアンテナ(図示せず)を介して受信するように構成されている。チューナ190は、専用ケーブルを介して送信されるテレビジョン放送信号を受信するように構成されていてもよい。
 記憶部181は、例えば不揮発性の半導体メモリであるが、揮発性の半導体メモリ、またはハードディスク、等であってもよい。記憶部181は、テレビ10の各部の制御に用いられる情報(データ)やプログラム等を記憶している。
 図1に示した携帯端末30は、例えばスマートフォンであり、テレビ10を遠隔操作するためのソフトウエアの動作が可能である。したがって、本実施の形態における音声認識システム11では、そのソフトウエアが動作している携帯端末30をテレビ10の遠隔操作に使用することができる。携帯端末30は、マイクおよび入力部を有する。携帯端末30に内蔵されたマイクは、リモートコントローラ20に備えられたマイクと同様に、ユーザ700が発した音声を集音し、音声信号を出力するように構成されている。入力部は、ユーザ700が手動で行う入力操作を受け付け、入力操作に応じた入力信号を出力するように構成されている。入力部は、例えばタッチパネルであるが、キーボードやボタン等であってもよい。そのソフトウエアが動作している携帯端末30は、リモートコントローラ20と同様に、マイクで集音された音声による音声信号、または、ユーザ700が入力部に入力操作することで生じる入力信号を、例えば赤外線や電波等によってテレビ10に無線送信する。
 テレビ10と、リモートコントローラ20または携帯端末30とは、例えば、無線LAN(Local Area Network)、Bluetooth(登録商標)等の無線通信により接続されている。
 ネットワーク40は、例えばインターネットであるが、他のネットワークであってもよい。
 音声認識部50は、ネットワーク40を介してテレビ10と接続されるサーバ(例えば、クラウド上のサーバ)である。音声認識部50は、テレビ10から送信されてくる音声情報を受信し、受信した音声情報を文字列に変換する。なお、この文字列は、複数の文字であってもよく、1文字であってもよい。そして、音声認識部50は、変換後の文字列を示す文字列情報(テキスト情報)を、音声認識の結果として、ネットワーク40を介してテレビ10に送信する。
 検索サイト70は、ネットワーク40に接続され、ネットワーク40上で検索サービスを提供するウェブサイトのサーバである。検索サイト70のサーバは、1つであってもよく、複数であってもよい。検索サイト70のサーバは、以下のサービスを提供するように構成されている。ユーザ700が、ネットワーク40に接続された端末(例えば、テレビ10)で、検索を目的としたユーザ操作を行うと、そのユーザ操作にもとづくクエリストリング(query string)やパスを示す文字列がウェブブラウザのURLバー(Uniform Resource Locator bar)に設定される。このURLバーには、ユーザ操作にもとづく文字列の情報、および、特定のサーバ(例えば、検索を行わせるサーバ)を指定する情報が含まれている。URLバーで指定された検索サイト70のサーバは、URLバーの文字列情報を受信し、その文字列情報にもとづく検索を行う。そして、そのサーバは、その検索の結果を示す情報(検索の結果として得られたウェブページを示す情報)を、その端末へ返信する。
 テレビ10のウェブブラウザ制御部170は、検索サイト70の各サーバとの間で、上述のやり取りを行うように構成されている。
 URLサーバ60は、ネットワーク40を介してテレビ10と接続されるサーバである。URLサーバ60には検索URLリストが記憶されている。検索URLリストとは、ウェブブラウザのURLバーに設定する文字列のテンプレート(以下、「検索URLテンプレート」と記す)と検索対象のカテゴリ(以下、「検索カテゴリ」と記す)とを対応付けた一覧表(リスト)のことである。検索カテゴリとは、フリーワードで検索を行う際の検索範囲のことである。この検索URLリストには、通信方法(例えば、「http」(Hyper Text Transfer Protocol))、検索サイト70の各サーバ名(例えば、「search.co.jp」等)、検索カテゴリ(例えば、「images」等)、等を示す文字列が検索URLテンプレートとして登録されている。検索URLリストの詳細は、後述する。URLサーバ60の検索URLリストは、更新可能に構成されており、URLサーバ60はネットワーク40から情報を収拾する等して、検索URLリストを定期的または不定期に更新することができる。
 テレビ10は、URLサーバ60からネットワーク40を介して検索URLリストを取得することができるように構成されている。これにより、テレビ10は、テレビ10の記憶部180に記憶された検索URLリストD500を、適宜、更新することができる。
 テレビ10の音声認識装置100は、音声取得部101と、音声処理部102と、認識結果取得部103と、意図解釈処理部104と、予約語処理部106と、記憶部180と、を有する。
 音声取得部101は、ユーザが発した音声による音声信号を取得するように構成されている。音声取得部101は、ユーザが発した音声による音声信号を、テレビ10に内蔵されたマイク130から取得してもよいし、あるいは、リモートコントローラ20に内蔵されたマイク、または携帯端末30に内蔵されたマイクから、無線通信部(図示せず)を介して取得してもよい。そして、音声取得部101は、その音声信号を、後段での各種処理に用いることができる音声情報に変換し、音声処理部102に出力する。なお、音声取得部101は、音声信号がデジタル信号であれば、その音声信号をそのまま音声情報として用いてもよい。
 音声処理部102は、「予約語認識処理」を行い、音声情報を予約語情報に変換するように構成されている。「予約語認識処理」とは、音声取得部101から取得した音声情報に、予め設定された予約語が含まれているかどうかを判断し、含まれている場合はその予約語を特定する処理である。具体的には、音声処理部102は、音声取得部101から取得した音声情報にもとづき、予め記憶部180に記憶されている予約語テーブルD400を参照する。予約語テーブルD400は、音声情報と、予約語とが関連付けられた対応表である。予約語テーブルD400には複数の予約語が登録されており、それぞれの予約語に互いに異なる音声情報が対応付けられている。したがって、音声処理部102は、音声情報を予約語テーブルD400に照合することで、音声情報に予約語が含まれているか否かを判断することができる。
 ここで、図3を用いて予約語テーブルD400を説明する。図3は、実施の形態1における音声認識装置100の記憶部180に記憶された予約語テーブルD400の一例を概略的に示す図である。
 音声認識装置100の記憶部180には、図3に一例を示す予約語テーブルD400が記憶されている。予約語テーブルD400には、複数の予約語と、予約語の属性を示す情報と、が互いに関連付けられて登録されている。
 図3に示す例では、予約語テーブルD400には、予約語として、「画像」、「動画」、「番組」、「Web」、「ニュース」、「地図」、「レストラン」、「ガソリンスタンド」、「進む」、「戻る」、「検索」、等の言葉が登録され、予約語の属性として、「検索」、「コマンド」、等が登録されている。予約語テーブルD400では、テレビ10に対する指示に使用される言葉(以下、「指示情報」と記す)は「コマンド」に分類され、検索カテゴリの指定に使用される言葉は「検索」に分類されている。予約語テーブルD400では、「画像」、「動画」、「番組」、「Web」、「ニュース」、「地図」、「レストラン」、「ガソリンスタンド」のそれぞれの属性は「検索」であり、「進む」、「戻る」、「検索」のそれぞれの属性は「コマンド」である。なお、検索カテゴリを指定する言葉とは、フリーワードで検索を行う際の検索範囲を指定する言葉のことである。
 音声処理部102は、予約語テーブルD400を参照し、音声取得部101から取得した音声情報に含まれる予約語を特定できれば、音声認識の結果として「予約語情報」を認識結果取得部103に出力する。「予約語情報」とは、音声情報に含まれる予約語と、その予約語の属性と、を表す情報のことである。
 例えば、音声情報に予約語「画像」が含まれていれば、音声処理部102は、音声情報を予約語テーブルD400に照合し、音声情報に含まれた予約語は「画像」であり、その属性は「検索」である、ということを示す予約語情報を認識結果取得部103に出力する。
 なお、図3に示す予約語テーブルD400は単なる一例であり、図3に示す予約語以外の言葉が予約語として予約語テーブルD400に登録されていてもよい。また、「検索」や「コマンド」以外の属性の予約語が予約語テーブルD400に登録されていてもよい。
 また、音声処理部102は、音声取得部101から取得した音声情報を、送受信部150からネットワーク40を介して音声認識部50に送信する。
 音声認識部50は、「フリーワード認識処理」を行い、音声情報を文字列情報(テキスト情報)に変換するように構成されている。音声認識部50は、テレビ10から送信されてくる音声情報を受信すると、フリーワードとフリーワード以外の言葉とを区別するために、その音声情報を文節毎に区切り、各文節をそれぞれ文字列へ変換(以下、「ディクテーション」という)する。フリーワード以外の言葉には、例えば、助詞、前置詞等がある。そして、音声認識部50は、ディクテーション後の文字列の情報(文字列情報)を、音声認識の結果としてテレビ10に送信する。すなわち、音声認識部50は、入力された音声を認識して文字列情報に変換して出力する。なお、音声認識部50におけるフリーワードには、予約語が含まれていてもよい。
 なお、音声認識部50は、テレビ10から送信されてくる全ての音声情報を受信し、受信した全ての音声情報についてディクテーションを行い、ディクテーションの結果として得られる文字列情報の全てをテレビ10へ送信するように構成されている。しかし、本実施の形態は何らこの構成に限定されるものでははい。例えば、音声認識部50は、受信した音声情報から、予約語以外の音声情報を取得してもよく、または、受信した音声情報から予約語以外の音声情報を文字列に変換して返信してもよい。あるいは、テレビ10から音声認識部50へ予約語を除く音声情報を送信してもよい。
 認識結果取得部103は、音声処理部102から、音声認識の結果として予約語情報を取得する。また、認識結果取得部103は、音声認識部50から、音声認識の結果としての文字列情報を、ネットワーク40および送受信部150を介して、取得する。そして、取得した予約語情報および文字列情報を意図解釈処理部104に出力する。
 意図解釈処理部104は、「選別部」の一例である。意図解釈処理部104は、文字列情報から、予約語情報と、フリーワード情報と、を選別するように構成されている。意図解釈処理部104は、認識結果取得部103から予約語情報と文字列情報とを取得すると、その予約語情報にもとづき、文字列情報から「フリーワード」と「予約語」を選別する。なお、意図解釈処理部104におけるフリーワードとは、文字列情報から、予約語および助詞、前置詞等を除いた文字列のことである。したがって、意図解釈処理部104におけるフリーワードには、予約語は含まれない。また、予約語情報から、予約語の属性を示す情報を抽出する。そして、選別されたフリーワードと予約語、および予約語の属性を示す情報にもとづき、ユーザ700が発話した音声操作の意図を特定するための意図解釈を行う。意図解釈処理部104の動作の詳細は、後述する。意図解釈処理部104から出力される、フリーワード、予約語、および予約語の属性を示す各情報(フリーワード情報および予約語情報)は、予約語処理部106に入力される。
 予約語処理部106は、意図解釈処理部104から情報を取得すると、その情報に、所定の情報が含まれているか否か、を確認するように構成されている。この所定の情報とは、「属性が「検索」の予約語」を表す情報のことである。本実施の形態におけるウェブブラウザ制御部170は、意図解釈処理部104から出力される情報に、属性が「検索」の予約語が含まれているか否かに応じて、後続の処理を切り替えるように構成されている。具体的には、意図解釈処理部104から出力される情報に属性が「検索」の予約語が含まれている、と予約語処理部106で判断されたときは、ウェブブラウザ制御部170の検索URL作成部171が処理を実行する。一方、意図解釈処理部104から出力される情報に属性が「検索」の予約語は含まれていない、と予約語処理部106で判断されたときは、ウェブブラウザ制御部170の検索URLマッチング処理部172が処理を実行する。
 なお、予約語処理部106は、意図解釈処理部104から出力される情報に、予約語が含まれておらずフリーワードだけが含まれていると判断した場合や、「検索」以外の属性の予約語だけが含まれていると判断した場合に、意図解釈処理部104から出力される情報に属性が「検索」の予約語は含まれていない、と判断する。これらの動作の詳細は後述する。
 記憶部180は、例えば不揮発性の半導体メモリであるが、揮発性の半導体メモリ、またはハードディスク、等であってもよい。記憶部180は、任意にデータの書き込みと読み出しができるように構成されている。記憶部180は、音声処理部102により参照される予約語テーブルD400、およびウェブブラウザ制御部170により参照される検索URLリストD500、等を記憶している。なお、記憶部180と記憶部181とは、一体に構成されていてもよい。
 テレビ10のウェブブラウザ制御部170は、検索URL作成部171と、検索URLマッチング処理部172と、URLバー表示制御部173と、ウェブページ表示制御部174と、を有する。
 検索URL作成部171は、「URL作成部」の一例である。検索URL作成部171は、意図解釈処理部104から出力される情報に、フリーワードと、属性が「検索」の予約語と、が含まれていれば、その予約語にもとづき、記憶部180に記憶されている検索URLリストD500を参照するように構成されている。
 検索URLリストD500には、URLの一部分を表す文字列が、予約語毎に登録されている。検索URLリストD500では、予約語は、検索の対象範囲(すなわち、検索カテゴリ)を示している。
 ここで、図4を用いて検索URLリストD500を説明する。図4は、実施の形態1における音声認識装置100の記憶部180に記憶された検索URLリストD500の一例を概略的に示す図である。
 音声認識装置100の記憶部180には、図4に一例を示す検索URLリストD500が記憶されている。検索URLリストD500には、属性が「検索」の複数の予約語と、予約語が示す検索対象範囲の検索に使用される検索URLテンプレートと、が互いに関連付けられて登録されている。すなわち、検索URLリストD500とは、URLの一部分を表す文字列が、予約語(検索カテゴリ)毎に登録された「URLリスト」であり、「予約語(検索カテゴリ)」をインデックスとする検索URLテンプレートの一覧である。
 図4に示す例では、例えば、予約語が「画像」であれば、その予約語に対応する検索URLテンプレートは、
http://search.co.jp/images?q=
である。この検索URLテンプレートにおいて、「http」は通信方法を示し、「search.co.jp」は検索を依頼する検索サイト70のサーバ名を示し、「images」は検索されるカテゴリが「画像」であることを示している。また、「?q=」の後にはフリーワードが付加される。このように、検索URLリストD500には、予約語毎に、互いに異なる検索URLテンプレートが登録されている。
 そして、検索URL作成部171は、検索URLリストD500を参照し、その予約語に対応する検索URLテンプレートを、検索URLリストD500から読み出す。
 例えば、意図解釈処理部104の出力に、予約語の「画像」とフリーワードの「ABC」という文字列が含まれていたとする。この場合、検索URL作成部171は、検索URLリストD500から予約語の「画像」に対応する検索URLテンプレートを読み出す。そして、読み出した検索URLテンプレートの最後に、フリーワードである文字列「ABC」を付加する。その結果、図4に示す例にもとづけば、
http://search.co.jp/images?q=ABC
という文字列が作成される。この文字列が、検索処理に用いる新たなURL(すなわち、検索URL)となる。
 検索URL作成部171は、このようにして、属性が「検索」の予約語(図3)と、検索URLリストD500(図4)と、フリーワードの文字列と、にもとづき、検索処理に用いるURL(検索URL)を生成する。
 検索URLマッチング処理部172は「マッチング部」の一例である。検索URLマッチング処理部172は、予約語処理部106から出力される情報に、属性が「検索」の予約語が含まれていない場合に以下の処理を実行するように構成されている。
 検索URLマッチング処理部172は、URLバー表示制御部173からURLの情報を取得する。このURLは、テレビ10の表示部140に表示中のウェブページを表示するためのURLとしてURLバー表示制御部173で管理されているURLである。
 URLバー表示制御部173で管理されているURLの一例を以下に示す。例えば、テレビ10の表示部140に、フリーワード「ABC」での地図検索のウェブページが表示されているときには、以下のURLがURLバー表示制御部173で管理されている。
http://search.co.jp/maps?q=ABC
あるいは、表示部140に、フリーワード「ABC」でのレストラン検索のウェブページが表示されているときには、以下のURLが、URLバー表示制御部173で管理されている。
http://web-navi.co.jp/search?category=restaurant&query=ABC
 そして、検索URLマッチング処理部172は、URLバー表示制御部173から取得したURLと、記憶部180に記憶されている検索URLリストD500の検索URLテンプレートとの照合(すなわち、マッチング処理)を行う。
 検索URLマッチング処理部172は、検索URLリストD500から検索URLテンプレートを順次読み出し、読み出した検索URLテンプレートの文字列がURLバー表示制御部173から取得したURLに含まれているか否かを調べる。具体的には、URLバー表示制御部173から取得したURLの文字列内に、読み出した検索URLテンプレートの文字列と合致する文字列があるか否かを調べる。合致する文字列があると判断された検索URLテンプレートが検索URLリストD500にあれば、検索URLマッチング処理部172は、マッチング処理に成功したと判断する。そして、検索URLマッチング処理部172は、その検索URLテンプレートを読み出して、読み出した検索URLテンプレートの文字列の最後に予約語処理部106から出力されるフリーワードの文字列を付加する。検索URLマッチング処理部172は、このようにして、検索処理に用いる新たなURL(すなわち、検索URL)を作成する。
 なお、音声認識装置100は、定期的または不定期にURLサーバ60から検索URLリストを取得し、取得した検索URLリストを用いて、記憶部180に記憶されている検索URLリストD500を更新してもよい。あるいは、検索URL作成部171または検索URLマッチング処理部172が検索URLリストD500を使用するタイミングで、URLサーバ60から検索URLリストを取得してもよい。なお、上述の検索カテゴリを決定するときの処理の詳細は、後述する。
 URLバー表示制御部173は、ウェブページ表示制御部174が表示制御部108を介して表示部140に表示するウェブページのURLを管理するように構成されている。また、URLバー表示制御部173は、URLバーに表示する文字列の制御を行うように構成されている。
 ウェブページ表示制御部174は、パース(parse)処理部、DOM(Document Object Model)作成部、レンダラー(renderer)、JavaScript(登録商標)エンジン(いずれも図示せず)、等を備えている。そして、ウェブページ表示制御部174は、ウェブサイトまたはローカルストレージから取得したHTML(Hyper Text Markup Language)、CSS(Cascading Style Sheets)、PNG(Portable Network Graphics)、JavaScript(登録商標)、等のファイルを、表示制御部108を介して、表示部140に表示する。
 操作受付部110は、ユーザ700がリモートコントローラ20の入力部で行った入力操作により生じる入力信号、または、ユーザ700が携帯端末30の入力部で行った入力操作による入力信号を、リモートコントローラ20または携帯端末30から無線通信部(図示せず)を介して受信する。こうして、操作受付部110は、ユーザ700が行った操作(すなわち、ユーザ操作)を受け付ける。
 [1-2.動作]
 次に、本実施の形態におけるテレビ10の音声検索装置200の動作について説明する。
 まず、テレビ10の音声認識装置100による音声認識処理の開始方法について説明する。音声認識装置100による音声認識処理の開始方法としては、主に、以下の2つの方法が挙げられる。
 1つ目の開始方法は、次の通りである。ユーザ700は、音声認識処理を開始するために、リモートコントローラ20に設けられた入力部の1つであるマイクボタン(図示せず)を押す。ユーザ700が、リモートコントローラ20のマイクボタンを押せば、テレビ10では、操作受付部110が、リモートコントローラ20のマイクボタンが押されたことを受け付ける。そして、テレビ10は、テレビ10のスピーカ(図示せず)の音量を、予め設定された音量に変更する。この音量は、リモートコントローラ20のマイクによる音声認識を妨げない程度の、十分に小さい音量である。そして、テレビ10のスピーカの音量が予め設定された音量になれば、音声認識装置100は音声認識処理を開始する。このとき、テレビ10は、スピーカの音量が予め設定された音量以下であれば、上記の音量調整を行う必要はないので、音量をそのままにする。
 なお、この方法には、リモートコントローラ20に代えて、携帯端末30(例えば、タッチパネルを備えるスマートフォン)を使用することもできる。その場合、ユーザ700は、携帯端末30に備えられたソフトウエア(例えば、テレビ10を音声操作するためのソフトウエア)を起動し、そのソフトウエアが動作することでタッチパネルに表示されるマイクボタンを押す。このユーザ動作が、リモートコントローラ20のマイクボタンを押すユーザ動作に相当する。これにより、音声認識装置100は音声認識処理を開始する。
 2つ目の開始方法は、次の通りである。ユーザ700は、テレビ10のマイク130に対して、予め設定された音声認識処理を開始するコマンド(開始コマンド)を表す音声を発話する。なお、この音声は、例えば、「ハイ(Hi)、テレビ」や「音声操作開始」、等であるが、音声認識処理の開始コマンドは何らこれらの音声に限定されるものではなく、他の音声であってもよい。マイク130により集音された音声は予め設定された開始コマンドである、と音声認識装置100が認識すれば、テレビ10は、上述と同様にテレビ10のスピーカの音量を予め設定された音量に変更し、音声認識装置100による音声認識処理が開始される。
 なお、上記の方法を組み合わせて、音声認識装置100による音声認識処理の開始方法としてもよい。
 なお、テレビ10におけるこれらの制御は、テレビ10の各ブロックを制御する制御部(図示せず)によって行われるものとする。
 音声認識装置100による音声認識処理が開始されれば、表示制御部108は、ユーザ700に発話を促すために、例えば図1に示すように、音声認識処理が開始されユーザ700による音声操作が可能になったことを示す音声認識アイコン201と、集音されている音声の音量を示すインジケータ202とを、表示部140の画像表示面に表示する。
 なお、表示制御部108は、音声認識アイコン201に代えて、音声認識処理が開始されたことを示すメッセージを表示部140に表示してもよい。あるいは、音声認識処理が開始されたことを示すメッセージをスピーカから音声で出力してもよい。
 なお、音声認識アイコン201およびインジケータ202は、何ら図1に示すデザインに限定されるものではない。目的とする効果が得られるものであれば、どのようなデザインであってもよい。
 次に、テレビ10の音声認識装置100で行う音声認識処理について説明する。
 本実施の形態において、音声認識装置100は、2種類の音声認識処理を行う。1つは、予め設定されている予約語に対応する音声を認識するための音声認識処理(以下、「予約語認識処理」と記す)である。もう1つは、予め設定されている予約語以外の言葉をフリーワードとして認識するための音声認識処理(以下、「フリーワード認識処理」と記す)である。
 予約語認識処理は、上述したように、音声認識装置100が有する音声処理部102で行われる。音声処理部102は、テレビ10に対してユーザ700が発した音声にもとづく音声情報を、予め記憶部180に記憶された予約語テーブルD400と比較する。そして、その音声情報に、予約語テーブルD400に登録された予約語があれば、その予約語を特定する。
 フリーワード認識処理は、上述したように、ネットワーク40を介してテレビ10に接続されている音声認識部50を利用して行われる。音声認識部50は、音声情報を、テレビ10からネットワーク40を介して取得する。そして、音声認識部50は、取得した音声情報を文節毎に区切り、フリーワードとフリーワード以外(例えば、助詞や前置詞、等)とに分ける。こうして、音声認識部50はディクテーションを行う。音声認識部50は、ディクテーションを行う際に、音声情報と文字列とを対応付けたデータベースを用いる。音声認識部50は、取得した音声情報を、そのデータベースと比較することによりフリーワードとフリーワード以外とに分離し、それぞれを文字列に変換する。
 このように、テレビ10の音声認識装置100では、音声認識処理として予約語認識処理とフリーワード認識処理とが行われ、それらの結果にもとづく処理がテレビ10で行われる。そして、予約語が予め設定された検索用のアプリケーション(以下、「検索アプリケーション」と記す)に関連付けられたコマンド(以下、「検索コマンド」と記す)であれば、テレビ10は、その検索アプリケーションによるフリーワード検索を行うように構成されている。
 例えば、ユーザ700が「ABCの画像を検索」と発話すれば、音声認識装置100は、取得した音声に、フリーワード「ABC」、属性が「検索」の予約語「画像」、および属性が「コマンド」の予約語「検索」、が含まれていると判断する。その結果、フリーワード「ABC」で予約語(検索カテゴリ)「画像」を検索する処理がテレビ10で行われる。
 なお、本実施の形態では、音声認識部50は、音声取得部101で取得された全ての音声(音声情報)をテレビ10から受信し、それら全ての音声情報に対してディクテーションを行い、その結果の全ての文字列情報をテレビ10へ送信するように構成されている。しかし、テレビ10の音声処理部102は、予約語テーブルD400によって音声認識された予約語以外の音声情報を音声認識部50に送信するように構成されていてもよい。
 次に、図5を用いてフリーワード認識処理について説明する。
 図5は、実施の形態1における音声認識システム11で行うディクテーションの概要を示す図である。
 図5には、テレビ10の表示部140にウェブブラウザが表示された状態を示す。例えば、ユーザ700がウェブブラウザのインターネット検索アプリケーションでフリーワードによる検索(すなわち、フリーワード検索)を行うとき、図5に一例として示す画像が表示部140に表示される。
 なお、図5に一例として示すウェブブラウザのインターネット検索アプリケーションは、上述の予約語認識処理にもとづき起動してもよく、あるいは、リモートコントローラ20等を利用したユーザ操作にもとづき起動してもよい。
 入力欄203は、ウェブブラウザ上で検索に用いるフリーワードを入力するための領域である。入力欄203にカーソルが表示されていれば、ユーザ700は、入力欄203にフリーワードを入力することができる。
 この状態で、ユーザ700がリモートコントローラ20または携帯端末30またはテレビ10のマイク130、に向かって発話すると、その音声による音声信号は、音声取得部101に入力され、音声情報に変換される。そして、その音声情報は、テレビ10から、ネットワーク40を介して音声認識部50に送信される。例えば、ユーザ700が「ABC」と発話すれば、その音声にもとづく音声情報が、テレビ10から音声認識部50に送信される。
 音声認識部50は、テレビ10から受信した音声情報を、データベースと比較することで文字列に変換する。そして、音声認識部50は、受信した音声情報による音声認識の結果として、その文字列の情報(すなわち、文字列情報)を、ネットワーク40を介してテレビ10に送信する。音声認識部50は、受信した音声情報が「ABC」という音声によるものであれば、その音声情報をデータベースと比較して「ABC」という文字列に変換し、その文字列情報をテレビ10に送信する。
 テレビ10は、音声認識部50から文字列情報を受信すると、その文字列情報にもとづき認識結果取得部103、意図解釈処理部104、予約語処理部106、表示制御部108、等を動作させて、その文字列情報に対応した文字列を入力欄203に表示する。例えば、テレビ10は、「ABC」という文字列を示す文字列情報を音声認識部50から受信すると、入力欄203に「ABC」という文字列を表示する。
 このようにして、音声認識装置100は、ユーザが発した音声を取得し、音声認識処理を行うことでその音声を文字列に変換し、その文字列をテレビ10に入力することができる。
 そして、テレビ10の表示部140に表示されたウェブブラウザは、入力欄203に表示された文字列によるフリーワード検索を行う。
 なお、本実施の形態では、テレビ10で行う検索処理の一例として、上述したようにウェブブラウザを起動させてフリーワードにもとづきインターネット検索を行う例を挙げたが、テレビ10で行う検索処理は何らこれに限定されない。例えば、番組表の中からフリーワードにもとづき番組を検索する検索処理や、録画された複数の番組の中からフリーワードにもとづき録画番組を検索する検索処理、等がテレビ10で行われてもよい。
 また、予約語が検索コマンドでないときに予約語にもとづくコマンド処理を実行するコマンド処理部をテレビ10に備える構成としてもよい。そのような予約語は、例えば、録画された番組の再生を指示する「再生」や、番組の録画を指示する「録画」、等である。
 次に、本実施の形態におけるテレビ10のウェブブラウザ制御部170で行うフリーワード検索処理について、図6~図9を用いて説明する。
 図6は、実施の形態1におけるテレビ10の表示部140に表示されたウェブブラウザの一例を示す図である。
 テレビ10でウェブブラウザを起動し、ウェブブラウザ上で検索サイトを表示すると、例えば図6に示すように、表示部140には、ウェブブラウザのURLバー301、ウェブブラウザの検索バー302、ウェブブラウザが表示する検索サイトのウェブページ303、ウェブページ303上の複数のボタン304、ウェブページ303上の検索用文字列入力エリア305、ウェブページ303上の複数の検索結果306、ウェブページ303上のログイン用文字列入力エリア307、ウェブページ303上に表示された広告308、広告308内の検索用文字列入力エリア309、等が表示される。
 図7は、実施の形態1における音声認識システム11で行う音声検索処理の一動作例を示すフローチャートである。
 図8は、実施の形態1における音声認識システム11で行う音声認識意図解釈処理の一動作例を示すフローチャートである。
 図9は、実施の形態1における音声認識システム11で行う検索カテゴリ決定処理の一動作例を示すフローチャートである。
 図7に示すように、音声認識システム11では、音声検索処理が開始すると、まず、音声認識意図解釈処理が行われる(ステップS701)。
 ステップS701の音声認識意図解釈処理について、図8を用いて説明する。
 上述したように、テレビ10では、ユーザ700が、例えばリモートコントローラ20のマイクボタンを押す等することで、音声認識装置100の音声認識処理が開始される。
 この状態で、ユーザ700が発話すると、ユーザ700の音声は、マイク130、またはリモートコントローラ20のマイク、または携帯端末30のマイク、により音声信号に変換され、その音声信号が音声取得部101に入力される。こうして音声取得部101はユーザ700の音声信号を取得する(ステップS801)。
 音声取得部101は、取得したユーザ700の音声信号を、後段での各種処理に用いることができる音声情報に変換して音声処理部102に出力する。ユーザ700が、例えば「ABCの画像を検索」と発話すれば、音声取得部101はその音声に基づく音声情報を音声処理部102に出力する。
 音声処理部102は、音声取得部101から出力される音声情報を、予め記憶部180に記憶された予約語テーブルD400と比較する。そして、音声取得部101から出力される音声情報に、予約語テーブルD400に登録された予約語に該当するものがあるかどうかを調べる(ステップS802)。
 例えば、音声取得部101から出力される音声情報に、ユーザ700が発した「検索」という言葉にもとづく音声情報が含まれ、さらに、予約語テーブルD400に、属性が「コマンド」の予約語として「検索」が登録されていれば、音声処理部102は、音声情報に、属性が「コマンド」の予約語である「検索」という言葉が含まれている、と判断する。
 そして、音声処理部102は、音声情報に含まれる予約語と、その予約語の属性と、を表す予約語情報を、認識結果取得部103に出力する。
 なお、図3に示したように、予約語テーブルD400には、テレビ10の操作や、ウェブブラウザの操作、等に使用される言葉が予約語として登録されている。
 また、予約語テーブルD400は、予約語の追加、削除等による更新が可能なように構成されている。例えば、ユーザ700が新たな予約語を予約語テーブルD400に追加することができる。あるいは、ネットワーク40を介して新たな予約語を予約語テーブルD400に追加することもできる。これにより音声認識装置100は、更新された予約語テーブルD400にもとづく音声認識処理を行うことが可能である。
 また、ステップS802では、音声処理部102は、音声取得部101から出力される音声情報を、送受信部150からネットワーク40を介して音声認識部50に送信する。
 音声認識部50は、受信した音声情報を、フリーワードとフリーワード以外のワード(例えば、前置詞および助詞、等)とに区切られた文字列に変換する。
 音声認識部50は、フリーワードと文字列とを対応付けたデータベースと、受信した音声情報と、を比較する。データベースに登録されたフリーワードが、受信した音声情報に含まれていれば、そのフリーワードに対応する文字列(1文字も含む)を選択する。なお、音声認識部50におけるフリーワードには予約語が含まれていてもかまわない。このようにして音声認識部50は、受信した音声情報を文字列に変換する。例えば、ユーザ700が発話した「ABCの画像を検索」という音声にもとづく音声情報を音声認識部50が受信すれば、音声認識部50は、その音声情報を、「ABC」、「の」、「画像」、「を」、「検索」という文字列に変換する。音声認識部50は、変換された各文字列を表す文字列情報(テキスト情報)を、ネットワーク40を介してテレビ10へ送信する(ステップS802)。
 このデータベースは、音声認識部50に備えられているが、ネットワーク40上の他の場所にあってもよい。また、このデータベースは、定期的または不定期に登録情報が更新されるように構成されていてもよい。
 テレビ10の認識結果取得部103は、音声処理部102から音声認識の結果として出力される予約語情報(この予約語情報には、予約語、属性が含まれている)と、音声認識部50から音声認識の結果として送信されてくる文字列情報(この文字列情報には、フリーワード、予約語が含まれている)とを取得し、意図解釈処理部104へ出力する。
 意図解釈処理部104は、ユーザ700が発話した音声操作の意図を特定するために、認識結果取得部103から取得した予約語情報にもとづき、文字列情報の選別を行う(ステップS803)。
 意図解釈処理部104は、例えば、文字列情報と予約語情報との照合により予約語を文字列情報から取り除く。なお、意図解釈処理部104は、図3に一例を示す予約語テーブルD400と文字列情報とを比較し、文字列情報の中に予約語テーブルD400に登録された予約語が含まれていれば、その言葉を予約語として文字列情報から取り除いてもよい。
 そして、意図解釈処理部104は、残った文字列情報から、フリーワードに該当しない前置詞、助詞等の文字列を取り除くことで、フリーワードを選別する。したがって、意図解釈処理部104におけるフリーワードには予約語は含まれていない。
 意図解釈処理部104は、例えば、「ABC」、「の」、「画像」、「を」、「検索」、といった文字列情報と、「画像」、「検索」を表す予約語情報と、を取得したときは、「ABC」をフリーワードに、「画像」を属性が「検索」の予約語に、「検索」を属性が「コマンド」の予約語に、それぞれ選別する。意図解釈処理部104でこのような選別が行われることで、テレビ10は、ユーザ700の意図(ユーザ700が発話した音声操作の意図)にもとづく動作が可能になる。上述の例では、テレビ10は、属性が「検索」の予約語「画像」に関して、フリーワード「ABC」を用いた、属性が「コマンド」の予約語「検索」、を実行することができる。
 なお、属性が「検索」の予約語は、例えば図3に一例を示すような、「画像」、「動画」、「番組」、「Web」、「ニュース」、「地図」、「レストラン」、「ガソリンスタンド」、等の、検索カテゴリの指定に用いられる用語である。また、属性が「コマンド」の予約語は、例えば図3に一例を示すような、「進む」、「戻る」、「検索」等の、テレビ10の操作に用いられる用語である。しかし、予約語は何らこれらの用語に限定されるものではない。
 なお、意図解釈処理部104は、文字列情報に含まれる助詞や前置詞等の文字列を用いて意図解釈を行ってもよい。
 このようにして、意図解釈処理部104は、ステップS701の音声認識意図解釈処理を実行する。
 次に、予約語処理部106は、ステップS701の処理にもとづき、意図解釈処理部104から出力される情報に、属性が「検索」の予約語が含まれているか否か、を判断する(ステップS702)。
 ステップS702において、意図解釈処理部104から出力される情報に、属性が「検索」の予約語が含まれている、との判断がなされたとき(Yes)は、ステップS704に進む。そして、意図解釈処理部104から出力される情報に含まれる予約語およびフリーワードにもとづく検索URLが、ウェブブラウザ制御部170の検索URL作成部171で作成される(ステップS704)。
 ステップS704では、検索URL作成部171は、記憶部180に記憶された検索URLリストD500を予約語にもとづき参照し、検索URLを作成する。
 例えば、意図解釈処理部104から出力される情報に、「ABC」、「画像」という言葉が含まれていれば、「画像」は、予約語テーブルD400に、属性が「検索」の予約語として登録されているため、ステップS702では「Yes」と判断される。
 そして、検索URL作成部171では、フリーワード「ABC」と予約語「画像」とを用いた検索URLが作成される。検索URL作成部171は、予約語「画像」にもとづき、検索URLリストD500(図4)から予約語の「画像」に対応する検索URLテンプレートを読み出す。そして、読み出した検索URLテンプレートにフリーワードを付加する。これにより、例えば図4に示した検索URLリストD500の例にもとづけば、
http://search.co.jp/images?q=ABC
という文字列の検索URLが作成される。
 URLバー表示制御部173は、ステップS704で作成された検索URLをウェブブラウザのURLバー301(図6)に入力する。これにより、その検索URLにもとづく検索が検索サイト70で行われる。その検索の結果として得られるウェブページの情報は、ウェブページ表示制御部174によってウェブブラウザに読み込まれる。そして、そのウェブページの情報は、表示制御部108により、表示部140に表示中のウェブブラウザ上に表示される(ステップS705)。
 ステップS705では、例えば図6に示すような画像が表示部140に表示される。図6には、フリーワード「ABC」で予約語の「画像」を検索した結果がウェブページ303上に表示された画像例を示している。なお、図6に示すウェブページ303は、検索サイト70から取得してウェブブラウザに表示するウェブページの一例であり、ウェブページ303内の、各要素の配置、検索結果の表示方法、広告の有無、文字列入力エリアの数、等は何ら図6に示す例に限定されない。ウェブページのデザインは検索サイト毎に異なっていても良い。
 ステップS702において、意図解釈処理部104から出力される情報に、属性が「検索」の予約語は含まれていない、との判断がなされたとき(No)は、ステップS703に進む。そして、ウェブブラウザ制御部170の検索URLマッチング処理部172において、検索カテゴリを決定するための処理が実行される。以下、ステップS703で行われる処理を「検索カテゴリ決定処理」とも記す。
 検索カテゴリとは、検索の対象範囲を示すものであり、本実施の形態では、図4の検索URLリストD500の予約語に相当する。
 ここで、どのようなときにステップS702において「No」と判断されるかを、具体例を示しながら説明する。
 ここでは、ユーザ700が、まず、「ABCの画像を検索」と発話し、フリーワード「ABC」で予約語の「画像」の検索がすでに行われたものとする。そして、その検索の結果として、例えば、図6に示すウェブページ303が表示部140に表示されているものとする。
 なお、この検索は、音声操作によるものに限定されず、例えば、リモートコントローラ20の入力部(例えば、タッチパッド)や携帯端末30の入力部(例えば、タッチパネル)を使用したユーザ操作(入力操作)にもとづき行われてもよい。
 この状態に続いて、ユーザ700が、例えば、ウェブページ303上の「Map」のボタン304を押下すると、ウェブブラウザ上で、検索カテゴリが「画像」から「地図」に変更される。この操作は、音声操作と、リモートコントローラ20や携帯端末30の入力部を使用したユーザ操作(すなわち、ユーザによる入力操作)と、のどちらで行われてもよい。
 これにより、ウェブブラウザ上に表示されるウェブページは、図6に示したウェブページ303から、検索カテゴリ「地図」に対応するウェブページ(例えば、地図のウェブページ)に移動する。すなわち、地図情報を扱うウェブサイトから送られる情報に従って、ウェブブラウザ上には、地図のウェブページが表示される。
 その後、ユーザ700がフリーワード「XYZ」という言葉のみを発話すると、ステップS701の音声認識意図解釈処理の結果、フリーワード「XYZ」という文字列を示す情報だけが、意図解釈処理部104から出力される。
 予約語処理部106は、意図解釈処理部104から出力される情報には、属性が「検索」の予約語は含まれていない、と判断する。したがって、ステップS702では、「No」の判断が下される。そして、フローチャートはステップS703に進む。
 ステップS703では、検索カテゴリ決定処理が行われる。具体的には、検索URLマッチング処理部172において、検索URLリストD500と、URLバー表示制御部173が管理しているURL(表示部140に表示中のウェブページに関連したURL)とのマッチング処理(文字列のマッチング処理)が行われ、その結果にもとづき検索カテゴリが決定される(ステップS703)。
 ステップS703の検索カテゴリ決定処理の詳細を、図9を用いて説明する。
 検索カテゴリを決定するために、検索URLマッチング処理部172では、検索URLリストD500に登録された検索URLテンプレートに対して、所定の順番で、URLバー表示制御部173が管理しているURLとのマッチング処理を行う。以下、この順番を、検索URLリストD500に検索URLテンプレートが登録された順番(図4に示す検索URLリストD500の上から順番)として説明するが、マッチング処理の順番は何らこれに限定されるものではなく、他の順番であってもよい。
 検索URLマッチング処理部172は、変数nに、初期値「1」を代入する(ステップS901)。
 次に、検索URLマッチング処理部172は、ウェブブラウザのURLバー301(例えば、図6に示したURLバー301)に表示中の、URLバー表示制御部173で管理されているURLの文字列を取得する(ステップS902)。以下、この文字列を文字列Aとする。
 次に、検索URLマッチング処理部172は、検索URLリストD500から、検索URLリストD500のn番目に登録された検索URLテンプレートの文字列を取得する(ステップS903)。
 図4に示す例では、n=1のときの検索カテゴリは、検索URLリストD500の1行目の「ウェブ」であり、その検索URLテンプレートは、
http://search.co.jp/web?q=
である。n=2のときの検索カテゴリは、検索URLリストD500の2行目の「画像」であり、その検索URLテンプレートは、
http://search.co.jp/images?q=
である。n=9のときの検索カテゴリは、検索URLリストD500の9行目の「ガソリンスタンド」であり、その検索URLテンプレートは、
http://web-navi.co.jp/search?category=gas-station&query=
である。このように、検索URLマッチング処理部172は、変数nにもとづき、検索URLリストD500から検索URLテンプレートを読み出す。以下、変数nに対応する検索URLテンプレートの文字列を文字列Bとする。
 次に、検索URLマッチング処理部172は、文字列Aの中に、文字列Bに合致する文字列が含まれているか否を判定する(ステップS904)。
 ここでは、検索URLマッチング処理部172がステップS904で行うこの判定を、マッチング処理と呼ぶ。ステップS904において、文字列Bに合致する文字列が文字列Aの中に含まれていると判定されたとき(すなわち、マッチング処理に成功したとき)は(Yes)、ステップS905に進む。そして、検索URLマッチング処理部172は、検索URLリストD500から、検索URLリストD500のn番目に登録された検索カテゴリを、返り値に設定する(ステップS905)。
 例えば、文字列Bが、
http://search.co.jp/images?q=
であり、文字列Aが
http://search.co.jp/images?q=ABC
であれば、文字列Bに合致する文字列が文字列Aの中に含まれているので、ステップS904では「Yes」の判定がなされる。
 図4に示した例では、n=1のときにステップS904で「Yes」の判定がなされれば、ステップS905では検索URLリストD500の1番目に登録された「ウェブ」が返り値に設定され、n=2ときに「Yes」の判定がなされれば、検索URLリストD500の2番目に登録された「画像」が返り値に設定される。
 ステップS904において、文字列Bに合致する文字列は文字列Aの中に含まれていないと判定されたとき(すなわち、マッチング処理に失敗したとき)は(No)、検索URLマッチング処理部172は、変数nに1を加算する(ステップS906)。
 次に、検索URLマッチング処理部172は、変数nと、検索URLリストD500に登録された検索カテゴリの数(検索URLテンプレートの数)とを比較する(ステップS907)。
 ステップS907において、変数nは、検索URLリストD500に登録された検索カテゴリの数より大きい、と判定された(Yes)ときは、検索URLマッチング処理部172は、あらかじめ設定された検索カテゴリ(以下、「デフォルトの検索カテゴリ」と記す)を返り値に設定する(ステップS908)。
 ステップS908は、文字列Bに合致する文字列が、検索URLリストD500に登録された検索URLテンプレートのいずれにも含まれていないときに実行される処理である。なお、デフォルトの検索カテゴリは、例えば「ウェブ」であるが、他の検索カテゴリであってもよい。
 ステップS907において、変数nは、検索URLリストD500に登録された検索カテゴリの数以下である、と判定された(No)ときは、検索URLマッチング処理部172は、ステップS903に戻りマッチング処理を継続する。この処理は、マッチング処理を行っていない検索URLテンプレートが検索URLリストD500に存在するときに実行される処理である。
 なお、図9に示したフローチャートでは繰り返し処理のために変数nが用いられているが、イテレータ(Iterator)を用いた繰り返し処理が行われてもよい。
 このように、ステップS702において、意図解釈処理部104から出力される情報に、属性が「検索」の予約語が含まれていない、と判断されたとき(No)は、検索URLマッチング処理部172は、ステップS703の検索カテゴリ決定処理を行うことによって、検索カテゴリを決定する。そして、検索URLマッチング処理部172は、決定された検索カテゴリを返り値に設定し、その返り値を、ウェブブラウザ制御部170の検索URL作成部171に出力する。
 ステップS703の終了後はステップS704に進む。そして、検索URL作成部171は、検索URLマッチング処理部172から出力される返り値(すなわち、ステップS703で決定された検索カテゴリ)に対応する検索URLテンプレートを検索URLリストD500から読み出し、読み出した検索URLテンプレートと、意図解釈処理部104から出力される情報に含まれるフリーワードと、にもとづき検索URLを作成する(ステップS704)。ステップS704に続くステップS705の処理は上述と同様である。
 なお、検索URLマッチング処理部172は、変数nを返り値に設定してもよい。その場合、検索URL作成部171は、変数nにもとづいて、検索URLリストD500から検索URLテンプレートを読み出せばよい。
 上述の検索カテゴリ決定処理を、具体例を挙げて説明する。ここでは、上述した、ステップS702において「No」と判断されるときの具体例の続きを説明して、検索カテゴリ決定処理の具体例とする。
 この例では、意図解釈処理部104から出力される情報に、属性が「検索」の予約語が含まれておらず、フリーワード「XYZ」という文字列を示す情報だけが含まれている。
 また、この例では、直前にユーザ700が行った検索により、ウェブブラウザ上には、地図のウェブページが表示されている。したがって、検索URLマッチング処理部172では、ステップS902において、地図のウェブページを表示するためのURLの文字列を文字列Aに設定する。この文字列は、例えば、
http://search.co.jp/maps?q=
である。仮に、フリーワード「ABC」で検索カテゴリ「地図」が検索されていれば、文字列Aに設定される文字列は、例えば、
http://search.co.jp/maps?q=ABC
となる。
 これにより、検索URLマッチング処理部172では、ステップS904において、n=5のとき、すなわち、検索カテゴリ「地図」に対応する検索URLテンプレート
http://search.co.jp/maps?q=
が文字列Bに設定されたときに、マッチング処理が成功する。すなわち、文字列Bに合致する文字列が文字列Aに含まれている、と判断される。したがって、検索URLマッチング処理部172は、ステップS905において、検索カテゴリ「地図」を返り値に設定し、その返り値を検索URL作成部171に出力する。
 検索URL作成部171は、ステップS704において、検索URLマッチング処理部172から出力される返り値(ここでは、検索カテゴリ「地図」)に対応する以下の検索URLテンプレートを、検索URLリストD500から読み出す。
http://search.co.jp/maps?q=
 そして、検索URL作成部171は、読み出した検索URLテンプレートと、意図解釈処理部104から出力される情報に含まれるフリーワード「XYZ」と、にもとづき以下の検索URLを作成する。
http://search.co.jp/maps?q=XYZ
 URLバー表示制御部173は、ステップS705において、検索URL作成部171で作成された上述の検索URLを、ウェブブラウザのURLバー301に入力する。この検索の結果として検索サイト70から得られるウェブページの情報(すなわち、検索カテゴリ「地図」をフリーワード「XYZ」で検索した結果)は、ウェブページ表示制御部174によってウェブブラウザに読み込まれる。そして、そのウェブページの情報は、表示制御部108により、表示部140に表示中のウェブブラウザ上に表示される。
 [1-3.効果等]
 以上のように、本実施の形態において、音声検索装置は、ウェブページ表示制御部と、音声認識部と、マッチング部と、URL作成部と、を備える。ウェブページ表示制御部は、表示部に表示するウェブページを制御する。音声認識部は、入力された音声を認識して文字列情報に変換して出力する。マッチング部は、URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、表示部に表示しているウェブページのURLとURLリストの文字列とのマッチング処理を行い、そのURLに対応するURLリストの文字列を特定する。URL作成部は、マッチング部が特定する文字列と、文字列情報と、にもとづきURLを作成する。
 なお、音声検索装置200は、音声検索装置の一例であり、ウェブページ表示制御部174はウェブページ表示制御部の一例であり、音声認識部50は音声認識部の一例であり、検索URLマッチング処理部172はマッチング部の一例であり、検索URLリストD500はURLリストの一例であり、検索URL作成部171はURL作成部の一例である。
 このように構成された音声検索装置200を使用するユーザ700は、検索処理を連続して行う場合、前回の検索で入力した内容を再び発話せずとも、前回の検索内容と、新たに発話する内容と、にもとづく新たな検索を行うことができる。
 例えば、ユーザ700は、直前に検索した検索カテゴリと同じ検索カテゴリで、新たなフリーワードでの検索を行う場合、前回の検索と重複する検索カテゴリの発話を省略することができる。すなわち、ユーザ700は、新たなフリーワードだけを発話すればよい。
 具体的な一例としては、ユーザ700は、直前に「ABCで地図を検索」と発話または入力操作して、検索カテゴリ「地図」でフリーワード「ABC」を検索した後、新たにフリーワード「XYZ」で検索カテゴリ「地図」の検索を行う場合、「XYZで地図を検索」と発話する必要はない。ユーザ700は、「XYZ」と発話するだけでよい。これにより、音声検索装置200では、直前に検索した検索カテゴリと同じ検索カテゴリ「地図」でフリーワード「XYZ」の検索が行われるように、検索URLが作成される。すなわち、ユーザ700は、「XYZ」と発話するだけで「XYZで地図を検索」と発話したときと同じ検索処理を実行することができる。
 このように、本実施の形態における音声検索装置200では、ユーザ700は、前回の音声操作時と重複する言葉を繰り返し発話しなくてもよくなるので、音声検索装置200を備えた機器を音声操作する際の煩雑さが軽減され、操作性が向上する。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下、他の実施の形態を例示する。
 検索URLマッチング処理部172は、「http」や「https」等のあらかじめ定められた文字列(例えば、URLスキーム)を除いた残りの部分で、マッチング処理を行っても良い。
 また、検索URLマッチング処理部172は、マッチング処理を行う際に、検索URLリストD500から1つの検索URLテンプレートを読み出してドメイン名とクエリストリングを抽出し、抽出したそれぞれの文字列が、URLバー表示制御部173が管理するURLのドメイン名とクエリストリングのそれぞれに含まれるかどうかを判定してもよい。
 具体的な一例を挙げて、この動作例を説明する。例えば、図4に示した検索URLリストD500には、検索カテゴリ「ガソリンスタンド」に対応する検索URLテンプレートとして、以下の文字列が登録されている。
http://web-navi.co.jp/search?category=gas-station&query=
 この検索URLテンプレートからは、URLスキームの区切りの「:」やクエリストリングの区切りの「?」を利用して、ドメイン名「web-navi.co.jp」と、クエリストリング「category=gas-station」と、を抽出することができる。したがって、検索URLマッチング処理部172は、このドメイン名の文字列が、URLバー表示制御部173が管理するURLのドメイン名の文字列の中に含まれ、かつ、このクエリストリングの文字列が、URLバー表示制御部173が管理するURLのクエリストリングの文字列に含まれていたときに、マッチング処理に成功したという判断を下す。なお、検索URLマッチング処理部172は、ドメイン名とクエリストリングを用いた上述のマッチング処理以外にも、ドメイン名とパスを用いたマッチング処理や、バスとクエリストリングを用いたマッチング処理を行うように構成することも可能である。
 なお、検索URLリストD500は、図4に示したデータ構造に限定されない。検索URLリストD500は、ドメイン名、パス、クエリストリングをあらかじめ分離し、検索カテゴリ決定処理に使用する要素と、そうでない要素とを区別して登録したデータ構造であってもよい。この具体的な一例を示す。例えば、図4に示した検索URLリストD500の、検索カテゴリ「ガソリンスタンド」に対応する検索URLテンプレートの例では、ドメイン名「web-navi.co.jp」と、パス「/search」と、クエリストリング「category=gas-station」と、を検索カテゴリ決定処理に使用する要素として検索URLリストD500に登録し、URLスキーム「http://」、パス「/search」、および、クエリストリングのその他の項目「q=」、を検索カテゴリ決定処理に使用しない要素として検索URLリストD500に登録する。検索URLリストD500を、このようなデータ構造にしてもよい。
 検索URLリストD500をこのようなデータ構造にすることにより、検索URLマッチング処理部172で検索カテゴリ決定処理を行うときのマッチング処理の負荷を、軽減することが可能になる。
 検索URLマッチング処理部172は、検索カテゴリ決定処理を行う際に、以下のようにマッチング処理を行ってもよい。検索URLマッチング処理部172は、デフォルトの検索カテゴリに対応する検索URLテンプレートに関してはマッチング処理を行わず、デフォルトの検索カテゴリを除く検索カテゴリに関してマッチング処理を行う。そして、そのマッチング処理が全て失敗したときに、検索カテゴリをデフォルトの検索カテゴリとする。
 また、本実施の形態では、音声検索装置200が、インターネット上で検索を行う動作例を説明したが、音声検索装置200が行う検索は何らインターネット検索に限定されない。音声検索装置200は、例えば、番組表アプリケーションによる番組検索を行ってもよい。番組表アプリケーションによる番組検索の場合、例えば、図4の検索URLリストD500の検索カテゴリ「番組」に対応する検索URLテンプレートに示すように、「file」スキーム、または「epg_app」といったアプリケーション名のスキームが使用されてもよい。あるいは、音声検索装置200は、録画番組等を検索の対象としてもよい。
 なお、テレビ10では、音声認識処理を、上述した方法で開始できる。そのため、音声認識処理が開始されれば、ユーザ700は、テレビ10で番組を視聴している途中であっても、上記のような検索を行うことができる。
 テレビ10は、検索以外のコマンド処理を実行するコマンド処理部を備えていてもよい。このコマンド処理には、例えば、テレビ10のチャンネル変更や音量変更、等がある。また、予約語テーブルD400には、このコマンド処理部で実行可能なコマンド、例えば、「チャンネルアップ」、「音量アップ」、「再生」、「ストップ」、「文字表示」、等が、属性「コマンド」の予約語として登録されていてもよい。
 本実施の形態に示す音声検索装置200は、表示部140を備えない機器に備えられていてもよい。
 本実施の形態では、音声認識部50がネットワーク40上に配置された例を説明したが、音声認識部50は音声検索装置200に備えられていてもよい。
 本実施の形態では、予約語テーブルD400と検索URLリストD500とは、記憶部180と記憶部181のどちらに記憶されていてもよい。あるいは、予約語テーブルD400と検索URLリストD500の少なくとも一方が、必要に応じて、ネットワーク40を介して取得される構成であってもよい。
 なお、図2に示した各ブロックは、それぞれが独立した回路ブロックとして構成されてもよく、各ブロックの動作を実現するようにプログラムされたソフトウエアをプロセッサで実行する構成であってもよい。
 本開示は、ユーザが指示する処理動作を実行する機器に適用可能である。具体的には、カーナビゲーションシステム、運転支援システム、携帯端末機器、テレビジョン受像機、パーソナルコンピュータ(PC)、プリンタ等のPC周辺機器、セットトップボックス、ビデオレコーダや光ディスクプレーヤ等の家庭用AV機器、リモートコントローラ、ゲーム機、スマートフォン、タブレット端末、電子レンジ等の家庭用電化機器、等に本開示は適用可能である。
10  テレビジョン受像機
11  音声認識システム
20  リモートコントローラ
30  携帯端末
40  ネットワーク
50  音声認識部
60  URLサーバ
70  検索サイト
100  音声認識装置
101  音声取得部
102  音声処理部
103  認識結果取得部
104  意図解釈処理部
106  予約語処理部
108  表示制御部
110  操作受付部
130  マイク
140  表示部
150  送受信部
170  ウェブブラウザ制御部
171  検索URL作成部
172  検索URLマッチング処理部
173  URLバー表示制御部
174  ウェブページ表示制御部
180,181  記憶部
190  チューナ
200  音声検索装置
201  音声認識アイコン
202  インジケータ
203  入力欄
301  URLバー
302  検索バー
303  ウェブページ
304  ボタン
305  検索用文字列入力エリア
306  検索結果
307  ログイン用文字列入力エリア
308  広告
309  検索用文字列入力エリア
700  ユーザ
D400  予約語テーブル
D500  検索URLリスト

Claims (3)

  1. 表示部に表示するウェブページを制御するウェブページ表示制御部と、
    入力された音声を認識して文字列情報に変換して出力する音声認識部と、
    URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、前記表示部に表示しているウェブページのURLと前記URLリストの前記文字列とのマッチング処理を行い、前記URLに対応する前記URLリストの前記文字列を特定するマッチング部と、
    前記マッチング部が特定する前記文字列と、前記文字列情報と、にもとづきURLを作成するURL作成部と、
    を備えた音声検索装置。
  2. 表示部にウェブページを表示するステップと、
    入力された音声を認識して文字列情報に変換するステップと、
    URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、前記表示部に表示しているウェブページのURLと前記URLリストの前記文字列とのマッチング処理を行い、前記URLに対応する前記URLリストの前記文字列を特定するステップと、
    特定された前記文字列と、前記文字列情報と、にもとづきURLを作成するステップと、
    を備えた音声検索方法。
  3. 表示部と、
    前記表示部に表示するウェブページを制御するウェブページ表示制御部と、
    入力された音声を認識して文字列情報に変換して出力する音声認識部と、
    URLの一部分を表す文字列が検索カテゴリ毎に登録されたURLリストを参照し、前記表示部に表示しているウェブページのURLと前記URLリストの前記文字列とのマッチング処理を行い、前記URLに対応する前記URLリストの前記文字列を特定するマッチング部と、
    前記マッチング部が特定する前記文字列と、前記文字列情報と、にもとづきURLを作成するURL作成部と、
    を備えた表示装置。
PCT/JP2015/001257 2014-03-28 2015-03-09 音声検索装置、音声検索方法、および表示装置 Ceased WO2015146017A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15769934.9A EP3125134B1 (en) 2014-03-28 2015-03-09 Speech retrieval device, speech retrieval method, and display device
CN201580006319.8A CN105940399B (zh) 2014-03-28 2015-03-09 声音检索装置、声音检索方法以及显示装置
US15/110,733 US9928030B2 (en) 2014-03-28 2015-03-09 Speech retrieval device, speech retrieval method, and display device
JP2016509973A JP6375521B2 (ja) 2014-03-28 2015-03-09 音声検索装置、音声検索方法、および表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-068183 2014-03-28
JP2014068183 2014-03-28

Publications (1)

Publication Number Publication Date
WO2015146017A1 true WO2015146017A1 (ja) 2015-10-01

Family

ID=54194571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001257 Ceased WO2015146017A1 (ja) 2014-03-28 2015-03-09 音声検索装置、音声検索方法、および表示装置

Country Status (5)

Country Link
US (1) US9928030B2 (ja)
EP (1) EP3125134B1 (ja)
JP (1) JP6375521B2 (ja)
CN (1) CN105940399B (ja)
WO (1) WO2015146017A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134935A1 (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017195388A1 (ja) * 2016-05-12 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107993650A (zh) * 2017-11-30 2018-05-04 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
JP2020087262A (ja) * 2018-11-30 2020-06-04 株式会社Nttぷらら 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
WO2020129695A1 (ja) * 2018-12-21 2020-06-25 ソニー株式会社 情報処理装置、制御方法、情報処理端末、情報処理方法
JP2022184102A (ja) * 2021-05-31 2022-12-13 サウンドハウンド,インコーポレイテッド 情報提供方法、データベースの生成方法、およびプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516190B2 (en) * 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
EP3896596A1 (en) * 2012-12-28 2021-10-20 Saturn Licensing LLC Information processing device, information processing method and program
US10149002B1 (en) * 2016-03-21 2018-12-04 Tribune Broadcasting Company, Llc Systems and methods for retrieving content files
US20180018965A1 (en) * 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US11907316B2 (en) * 2016-08-15 2024-02-20 Richard S. Brown Processor-implemented method, computing system and computer program for invoking a search
KR102542766B1 (ko) * 2016-11-17 2023-06-14 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN108986800B (zh) * 2017-05-31 2022-08-09 上海智觅智能科技有限公司 一种基于多处理器协调链表逻辑实时离线语音交互系统及方法
KR102661340B1 (ko) * 2018-09-21 2024-04-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN110085232A (zh) * 2019-03-13 2019-08-02 佛山市云米电器科技有限公司 一种基于语音的红外控制系统及其方法
US11605378B2 (en) * 2019-07-01 2023-03-14 Lg Electronics Inc. Intelligent gateway device and system including the same
US11645692B2 (en) * 2019-11-20 2023-05-09 Microsoft Technology Licensing, Llc Generating training data for a computer-implemented ranker
CN114556353A (zh) * 2019-12-16 2022-05-27 深圳市欢太科技有限公司 数据处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134580A (ja) * 1999-11-02 2001-05-18 Nippon Telegr & Teleph Corp <Ntt> データベース管理システム,データベース管理システムにおける問い合わせ処理方法およびこの方法を実現するためのプログラムを格納した記録媒体
JP2002055872A (ja) * 2000-07-27 2002-02-20 Internatl Business Mach Corp <Ibm> ウェブコンテンツを簡略化するための方法、システムおよび媒体
JP2006285855A (ja) * 2005-04-04 2006-10-19 Ntt Docomo Inc 検索サーバ
JP2009009170A (ja) * 2005-10-24 2009-01-15 Advanced Media Inc 情報検索システム及びサーバ装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192343B1 (en) 1998-12-17 2001-02-20 International Business Machines Corporation Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms
US8275617B1 (en) 1998-12-17 2012-09-25 Nuance Communications, Inc. Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
US6937984B1 (en) 1998-12-17 2005-08-30 International Business Machines Corporation Speech command input recognition system for interactive computer display with speech controlled display of recognized commands
US7206747B1 (en) 1998-12-16 2007-04-17 International Business Machines Corporation Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands
CN1176432C (zh) * 1999-07-28 2004-11-17 国际商业机器公司 提供本国语言查询服务的方法和系统
JP2001075968A (ja) 1999-08-31 2001-03-23 Toshiba Corp 情報検索方法及びそれを記録した記録媒体
CA2346231A1 (en) 2000-05-08 2001-11-08 Internet Number Corporation Method and system for accessing information on a network using message aliasing functions having shadow callback functions
US6934675B2 (en) * 2001-06-14 2005-08-23 Stephen C. Glinski Methods and systems for enabling speech-based internet searches
US8751240B2 (en) * 2005-05-13 2014-06-10 At&T Intellectual Property Ii, L.P. Apparatus and method for forming search engine queries based on spoken utterances
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
US20140372119A1 (en) * 2008-09-26 2014-12-18 Google, Inc. Compounded Text Segmentation
US8234111B2 (en) * 2010-06-14 2012-07-31 Google Inc. Speech and noise models for speech recognition
CN101989299A (zh) * 2010-08-30 2011-03-23 无锡滨达工业创意设计有限公司 基于互联网的语音搜索方法
WO2012033820A2 (en) * 2010-09-08 2012-03-15 Nuance Communications, Inc. Internet search related methods and apparatus
EP2518722A3 (en) * 2011-04-28 2013-08-28 Samsung Electronics Co., Ltd. Method for providing link list and display apparatus applying the same
CN102629246B (zh) * 2012-02-10 2017-06-27 百纳(武汉)信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
CN103020165B (zh) * 2012-11-26 2016-06-22 北京奇虎科技有限公司 可进行语音识别处理的浏览器及处理方法
CN102968992B (zh) * 2012-11-26 2014-11-05 北京奇虎科技有限公司 用于浏览器的语音识别处理方法和浏览器
WO2014197336A1 (en) * 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9646606B2 (en) * 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
US9710566B2 (en) * 2013-12-16 2017-07-18 Google Inc. User interface for webpage permission requests

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134580A (ja) * 1999-11-02 2001-05-18 Nippon Telegr & Teleph Corp <Ntt> データベース管理システム,データベース管理システムにおける問い合わせ処理方法およびこの方法を実現するためのプログラムを格納した記録媒体
JP2002055872A (ja) * 2000-07-27 2002-02-20 Internatl Business Mach Corp <Ibm> ウェブコンテンツを簡略化するための方法、システムおよび媒体
JP2006285855A (ja) * 2005-04-04 2006-10-19 Ntt Docomo Inc 検索サーバ
JP2009009170A (ja) * 2005-10-24 2009-01-15 Advanced Media Inc 情報検索システム及びサーバ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3125134A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134935A1 (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017195388A1 (ja) * 2016-05-12 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11195517B2 (en) 2016-05-12 2021-12-07 Sony Corporation Information processing apparatus and information processing method
CN107993650A (zh) * 2017-11-30 2018-05-04 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
JP2020087262A (ja) * 2018-11-30 2020-06-04 株式会社Nttぷらら 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
WO2020129695A1 (ja) * 2018-12-21 2020-06-25 ソニー株式会社 情報処理装置、制御方法、情報処理端末、情報処理方法
US12506920B2 (en) 2018-12-21 2025-12-23 Saturn Licensing Llc Information processing apparatus, control method, information processing terminal, and information processing method
JP2022184102A (ja) * 2021-05-31 2022-12-13 サウンドハウンド,インコーポレイテッド 情報提供方法、データベースの生成方法、およびプログラム
JP7705739B2 (ja) 2021-05-31 2025-07-10 サウンドハウンド,インコーポレイテッド 情報提供方法、データベースの生成方法、およびプログラム

Also Published As

Publication number Publication date
US9928030B2 (en) 2018-03-27
CN105940399A (zh) 2016-09-14
CN105940399B (zh) 2019-04-26
JPWO2015146017A1 (ja) 2017-04-13
US20160328206A1 (en) 2016-11-10
JP6375521B2 (ja) 2018-08-22
EP3125134B1 (en) 2018-08-15
EP3125134A4 (en) 2017-03-01
EP3125134A1 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6375521B2 (ja) 音声検索装置、音声検索方法、および表示装置
KR102304052B1 (ko) 디스플레이 장치 및 그의 동작 방법
CN105659318B (zh) 声音识别处理装置、声音识别处理方法以及显示装置
JP6603754B2 (ja) 情報処理装置
US9230559B2 (en) Server and method of controlling the same
KR102210933B1 (ko) 음성 신호에 따라 컨텐츠 정보를 검색하여 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 음성 입력 시스템과, 그 방법들
KR20140089836A (ko) 대화형 서버, 디스플레이 장치 및 그 제어 방법
KR102775800B1 (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
US20180276186A1 (en) Computing device and corresponding method for generating data representing text
CN109792502B (zh) 信息处理设备、信息处理方法、存储介质和信息处理系统
US11706482B2 (en) Display device
KR20120083104A (ko) 멀티미디어 장치의 음성인식을 통한 텍스트 입력 방법 및 그에 따른 멀티미디어 장치
KR102613623B1 (ko) 미디어에 포함된 정보를 제공하는 장치 및 그 방법
US20180011834A1 (en) Computing device and corresponding method for generating data representing text
KR20160050723A (ko) 문장 및 명령어의 출력 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15769934

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015769934

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015769934

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016509973

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15110733

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE