JP2005072764A - 機器制御システムとそのための装置及び機器制御方法 - Google Patents

Abstract

【課題】 クライアント・サーバ型の音声認識システムを用いて、赤外線Ｉ／Ｆの既存の家電機器を含め、音声で指定することなく、音声操作を可能とする。
【解決手段】 赤外線通信の機器２０と無線通信の機器３０と有線通信の機器４０には夫々、バーコード２１，３１，４１が設けられており、リモコン１で操作対象機器のバーコードの画像入力し、また、この操作対象機器の操作内容を音声入力すると、画像データと音声データとがサーバ１０に送られる。サーバ１０では、画像データから操作対象機器が認識され、音声データから操作内容が認識されて制御コードが形成される。この認識の基づいて、操作対象が機器３０のとき、制御コードが機器３０に無線で送信され、機器４０のとき、制御コードが機器４０に有線で送信される。機器２０のとき、制御コードはリモコン１に送信され、このリモコン１から赤外線通信で制御コードが機器２０に送信される。
【選択図】図１

Description

本発明は、音声認識機能や画像認識機能を用いた機器制御システムとそのための装置及び機器制御方法に関する。

家電機器などの被制御機器をリモートコントロールする場合、通常、この被制御機器に付属するリモートコントローラ（以下、リモコンという）が用いられる。これは、ユーザがこのリモコンに設けられている所定の操作ボタンを操作することにより、この操作ボタンに応じた制御信号が赤外線によって被制御機器に送信され、被制御機器はこの制御信号によって制御されて所定の動作を行なうものである。ところで、家電機器などは新たな機能が付加されてますます多機能化しており、これとともに、リモコンも、その操作ボタンの個数が増加して、使いづらく操作性に問題を来すようになってきている。

ところで、音声認識機能を利用し、ユーザによって入力された音声情報を認識し、これを文字情報に変換してユーザ側に提供する音声認識システムが提案されている（例えば、特許文献１参照）。

かかる音声認識システムを利用することにより、リモコンから入力された音声情報を認識して制御信号に変換し、この制御信号によって被制御機器を制御するようにしたシステムも提案されている（例えば、特許文献２参照）。

この特許文献２には、機器制御装置（リモコン）に音声入力機能や音声認識機能を持たせたリモコンとしての機器制御装置が記載されている。この機器制御装置では、ユーザによって希望する被制御機器を制御するための音声情報が入力されると、この音声情報が認識されたコマンドに変換され、予め記憶されている制御信号のうちからこのコマンドに該当する制御信号が選択され、この制御信号がユーザの希望する被制御装置に送信されるものである。これにより、ユーザが希望する被制御装置がユーザが希望するように制御される。

また、この特許文献２には、クライアント・サーバ型の音声認識システムを利用した制御システムも記載されている。この制御システムは、ホームサーバ側に音声認識機能を持たせ、クライアント側である機器制御装置に音声入力機能を持たせ、機器制御装置とホームサーバとの間で通信可能としたものである。また、このホームサーバにネットワークを介して制御対象となる被制御装置が接続されている。

かかる構成において、ユーザによって機器制御装置に希望する被制御装置を制御するための音声情報が入力されると、この音声情報が機器制御装置からホームサーバに送信される。ホームサーバでは、この音声情報が認識されたコマンドに変換され、予め記憶されている制御信号のうちからこのコマンドに該当する制御信号が選択され、この制御信号がユーザの希望する被制御装置に送信される。これにより、ユーザが希望する被制御装置がユーザの希望するように制御される。

また、複数の被操作機器をコンピュータで制御するために、画像認識技術を利用したシステムも提案されている（例えば、特許文献３参照）。

これは、ユーザ端末と被操作機器としてのターゲットとがネットワークで接続された構成をなしており、各ターゲットには、それを区別するためのビジュアル・マーカが設けられ、また、ユーザ端末は、画像認識機能を備えているとともに、ターゲットを撮影するためのカメラが接続されている。

かかる構成において、ユーザがカメラで操作したいターゲットを、そのビジュアル・マーカも含めて撮影すると、ユーザ端末はその撮影画像を認識し、このビシュアル・マーカによって対象とするターゲットを認識する。ユーザ端末には、ビジュアル・マーカとターゲットのアドレスとが対応付けられたデータベースが設けられており、カメラの撮影画像から取得したビジュアル・マーカに対応したアドレスをこのデータベースから取得し、このアドレスによってユーザが操作を希望するターゲットにアクセスすることにより、このターゲットがユーザ端末に通信可能に接続される。

このように接続されると、ユーザ端末からこのターゲットの操作が可能となる。例えば、ターゲットがプロジェクタ・ツールである場合には、ユーザ端末からの操作により、ユーザ端末に格納されているスライドページをプロジェクタで表示させることができるし、また、現在プロジェクタで表示されているスライドページをユーザ端末で表示させることができる。

なお、リアルタイムに撮像する必要はなく、ターゲットを撮影した静止画を用いてもよいし、また、ターゲットは目前の物だけでなく、ビデオ会議などでスクリーンに映った遠隔地の機器でもよい。このシステムは、複数のターゲットのうち接続しているものはユーザがユーザ端末を通して見ているものであるという、直感的に判り易いところに特徴がある。
特開平７−２２２２４８号公報 特開２０００−２３６５８５号公報 特開２００１−１４２８２５号公報

上記特許文献２に記載の技術に基づいて、被制御機器のリモコンに音声認識機能を持たせることにより、音声入力によって被制御機器の制御ができるため、操作ボタンの操作も省かれ、操作ボタンの位置を覚えることなく、ユーザは簡単に操作することができる。しかし、一般にリモコンは高価であり、リモコンに高機能は望めない。従って、音声認識アルゴリズムが向上し、ＣＰＵなどが高性能化したとしても、リモコンに音声認識機能を搭載することは、リモコンに音声認識のための処理回路や記憶装置が必要となって、リモコンが大型化するし、また、リモコンのコストアップを招くことになって問題となる。

これに対し、特許文献２に記載のように、リモコンではなく、ホームサーバ側に音声機能を持たせるクライアント・サーバ型の音声認識システムを利用することが考えられるが、このような音声認識システムを利用した機器制御システムでは、被制御機器となる家電機器にネットワーク機能がなければならない。今後、ネットワーク技術の向上やネットワーク機器の低価格化によってホームネットワークが普及していくであろうが、現在の状況では、これを実現するのにまだまだ時間がかかるものと考えられる。このため、既存の家電機器でも利用できるようなシステムが要求される。勿論、既存の家電機器でも、ネットワーク機能を備えたアダプタなどを接続することによってネットワーク化が実現できるが、このための費用がかかってしまうことになる。

また、被制御機器が複数個ある場合、音声認識機能を利用することにより、これらを１つのリモコンで制御することが考えられる。このような場合には、制御したい被制御機器を制御するためには、音声でこの被制御機器を指定しなければならないが、このためには、各被制御機器毎に名称あるいは番号を割り付けねばならず、希望する被制御機器を指定するためには、これに該当する名称あるいは番号を音声で機器制御装置に入力することが必要となる。例えば、テレビ受像機の電源をＯＮする場合には、「テレビＯＮ」などと言って音声入力されることになり、テレビ受像機が一台の場合はこれでよいとしても、複数台のテレビ受像機が制御対象となる場合には、例えば、「リビングテレビ１ＯＮ」など正確に対象とする被制御機器を指定しなければならず、ユーザとしては使いにくくなってしまう。

この問題を解決する手段として、上記の特許文献３に記載のように、画像認識技術を用いて対象とする被制御機器を指定することが考えられるが、この場合も前記のように、リモコンに画像認識機能を持たせることは、その画像認識のための大規模な処理回路やデータベースが必要となってリモコンが大型化するし、また、そのコストが大幅に上昇することになる。

また、特許文献３に記載のシステムのように、ホームサーバに画像認識機能を持たせたクライアント・サーバ型の画像認識システムを利用することが考えられるが、このようにすると、やはり既存の家電機器のようなサーバとの通信機能を持たない機器は、かかるシステムを利用して制御することはできない。

本発明の目的は、かかる問題を解消し、クライアント・サーバ型の情報認識システムを利用しながら、携帯制御端末との制御通信機能しか持たない機器をも制御対象とすることができるようにした機器制御システムとそのための装置及び機器制御方法を提供することにある。

上記目的を達成するために、本発明による機器制御システムは、音声入力手段を有し、音声入力手段から入力された被制御機器の制御のための音声データを送信する携帯制御端末と、携帯制御端末から送信された音声データを受信し、音声データを認識して、その認識結果を、制御情報として、携帯制御端末に送信するサーバとを具備し、携帯制御端末は、サーバが送信した制御情報を受信し、被制御機器に送信するものである。

また、本発明は、被制御機器の制御のための音声データを受信し、音声データを認識して被制御機器の制御情報を形成するサーバを備えた機器制御システムの携帯制御端末であって、被制御機器の制御のための音声データを入力する音声入力手段と、サーバと無線通信するための無線通信手段と、被制御機器と赤外線通信するための赤外線通信手段とを具備し、音声入力手段から入力された音声データを無線通信手段によってサーバに送信し、サーバから制御情報を無線通信手段によって受信して、赤外線通信手段により、被制御機器に送信して被制御機器を制御するものである。

また、本発明は、携帯制御端末で入力された被制御機器の制御のための音声データに基づいて、被制御機器の制御を行なう機器制御システムのサーバであって、携帯制御端末から音声データを受信する無線通信手段と、被制御機器の制御のために携帯制御端末で入力される音声データと音声データに対応する制御情報とを登録した登録データ保持手段と、登録データ保持手段の保持情報を基に、無線通信手段で受信した音声データを認識し、音声データを該当する制御情報に変換する制御情報変換手段とを具備し、制御情報を、無線通信手段により、携帯制御端末に送信するものである。

また、本発明による機器制御方法は、携帯制御端末で、被制御機器の制御のための音声データを入力し、サーバで、携帯制御端末で入力された音声データを受信し、受信した音声データを認識して被制御機器の制御情報に変換するとともに、制御情報を携帯制御端末に送信し、携帯制御端末で制御情報を受信し、制御情報によって被制御機器を制御するものである。

また、本発明は、通信方式が異なる複数の被制御機器を有し、携帯制御端末からの音声データの入力によって被制御機器を制御する機器制御システムであって、被制御機器は夫々、それ自身を識別するための可視的なコードが設けられており、携帯制御端末は、被制御機器の少なくとも１つと赤外線通信を行なうものであって、複数の被制御機器のうちの制御対象とする被制御機器の制御のための音声情報と制御対象とする被制御機器のコードについての画像データを入力し、画像データを認識して制御対象とする被制御機器を判定し、音声データを認識して制御対象とする被制御機器の制御情報を生成し、判定結果に基づいて、制御情報を制御対象とする被制御機器に、該当する通信手段で、送信するサーバを具備したものである。

そして、被制御機器の少なくとも１つは、携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、サーバは、制御対象とする被制御機器が所定の被制御機器と判定したときには、制御情報を前記携帯制御端末に無線通信で供給し、携帯制御端末は、受信した前記制御情報を赤外線による通信で所定の被制御機器に送信して制御するものである。

また、本発明は、被制御機器の制御のための音声データと被制御機器を識別するための画像データとを受信し、音声データと画像データとを認識して被制御機器の制御情報を形成するサーバを備え、被制御機器に夫々それ自身を識別するための可視的なコードが設けられた機器制御システムの携帯制御端末であって、制御対象とする被制御機器の制御のための音声データを入力する音声入力手段と、制御対象とする被制御機器のコードについての画像データを入力する画像入力手段と、サーバと無線通信するための無線通信手段と、被制御機器の少なくとも１つと赤外線通信するための赤外線通信手段とを具備し、音声入力手段から入力された音声データと画像入力手段から入力された画像データとを無線通信手段によってサーバに送信し、サーバから制御情報を無線通信手段によって受信し、赤外線通信手段により、被制御機器の少なくとも１つに送信して制御するものである。

また、本発明は、通信方式が異なる複数の被制御機器に対し、携帯制御端末で入力された被制御機器の制御のための音声データに基づいて、制御を行なう機器制御システムのサーバであって、携帯制御端末から音声データと制御対象とする被制御機器を示す画像データとを受信する無線通信手段と、画像データを認識し、制御対象とする被制御機器を判定する画像認識手段と、被制御機器の制御のために携帯制御端末で入力される音声データと音声データに対応する制御情報とを登録した登録データ保持手段と、登録データ保持手段の保持情報を基に、無線通信手段で受信した音声データを認識し、音声データを該当する制御情報に変換する制御情報変換手段とを具備し、画像認識手段によって判定された制御対象とする被制御機器に、それに該当する通信方式で、制御情報を送信するものである。

そして、複数の被制御機器のうちの少なくとも１つは、携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、画像認識手段が制御対象とする被制御機器を所定の被制御機器とする判定をしたときには、制御情報を携帯制御端末に無線通信で送信するものである。

また、本発明による機器制御方法は、携帯制御端末で、通信方式が異なる複数の被制御機器のうちの制御対象とする被制御機器の制御のための音声データと制御対象とする被制御機器を識別するための画像データとを入力し、サーバで、携帯制御端末で入力された音声データと画像データとを受信し、受信した音声データを認識して制御対象とする被制御機器の制御情報に変換するとともに、受信した画像データを認識して制御対象とする被制御機器を判定し、判定結果に基づいて制御対象とする被制御機器に、それに該当する通信方式で、制御情報を送信し、制御するものである。

そして、複数の被制御機器のうちの少なくとも１つは、携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、画像認識手段が制御対象とする被制御機器を所定の被制御機器とする判定をしたときには、制御情報を携帯制御端末に無線通信で送信し、携帯制御端末が、赤外線による通信により、所定の被制御機器に送信して制御するものである。

本発明によれば、既存の家電機器でも、ネットワーク機能を追加することなく、クライアント・サーバ型の音声認識システムを利用し、音声による機器の制御をすることを可能にする。

また、無線や有線でネットワーク接続された複数の機器に対しては、クライアント・サーバ型の音声認識システムを利用し、操作したい機器を、音声で指定することなく、制御することを可能にする。

クライアント・サーバ型の認識システムを用いるものであるから、クライアントとしてのリモコンも、音声や画像の認識機能などでもって高機能化する必要がなく、コストが上昇することもない。そして、リモコンが複数個の用いられる場合でも、音声認識や画像認識の機能はホームサーバだけに備えていればよく、システムの高コストを防止できる。

以下、本発明の実施形態を図面を用いて説明する。
図１は本発明における機器制御システムの一実施形態の概略構成図であって、１はリモートコントロール機能を有した制御機器である携帯制御端末（以下、リモコンという）、１０はホームサーバ、２０，３０，４０は被制御機器としての家電機器である。以下では、この機器制御システムは家庭内に設けられているものとするが、これに限るものではないことはいうまでもない。

同図において、ホームサーバ１０は、無線通信Ｉ／Ｆや有線通信Ｉ／Ｆ，音声認識機能，画像認識機能，データベースを装備している。リモコン１は、カメラなどの撮像機構（以下、カメラという）や無線通信Ｉ／Ｆ，赤外線Ｉ／Ｆを装備しており、ホームサーバ１０との間で無線通信が可能に構成されている。家電機器２０，３０，４０はリモコン１の制御対象となる被制御機器であり、例えば、家電機器２０はテレビ（テレビ受像機）、家電機器３０はエアコン（空気調和機）、家電機器４０はビデオ（ビデオテープレコーダ）とする。

ここで、家電機器２０は既存の赤外線Ｉ／Ｆ（赤外線による通信機能）を装備し、リモコン１との間で赤外線による通信が可能に構成されているものとする。家電機器３０は無線Ｉ／Ｆ（無線による通信機能）を装備し、ホームサーバ１０との間で無線通信が可能に構成されているものとする。家電機器４０は有線Ｉ／Ｆ（有線による通信機能）を装備し、ホームサーバ１０との間で有線通信が可能に構成されているものとする。また、これら家電機器２０，３０，４０には、それ身の通信Ｉ／Ｆの種類（赤外線か、無線か、有線かの通信方法の種類）及びその通信Ｉ／Ｆに則った自身のアドレスをコード化した２次元バーコードなどの可視識別子（以下では、２次元バーコードとする）２１，３１，４１が、その外面のユーザがよく見える場所に設けられている。

なお、リモコン１に装備されているカメラは、リモコン１に内蔵されていても、外付けであってもよい。このようなリモコンの代表例としては、携帯電話が挙げられる。携帯電話は多機能化してきており、カメラ付きはもとより、赤外線通信機能や小電力無線機能が付加されたものも現れており、また、高い普及率を誇るため、リモコン１として携帯電話は有力なものとなる。

ユーザが家電機器２０，３０，４０のいずれか希望の家電機器を操作したい場合には、ユーザはリモコン１のカメラでこの希望の被制御機器を撮像するとともに（この場合、この希望の被制御機器の可視識別子を含むように撮像する）、その操作指示を音声でリモコン１に入力する。リモコン１は、入力された音声データとカメラで撮像された画像データとを無線Ｉ／Ｆからホームサーバ１０に無線送信する。ホームサーバ１０は、リモコン１から受信した画像データと音声データとを認識処理し、画像認識の結果、画像データから２次元バーコードを検出すると、この２次元バーコードからユーザが希望した家電機器への通信手段やアドレスを読み取り、また、音声認識の結果から該当する制御コードを取得する。そして、読み取ったアドレスの家電機器に読み取った通信手段を用いてこの制御コードを送信する。

読み取ったアドレスの家電機器、即ち、ユーザが操作したい希望の家電機器が、例えば、エアコンである家電機器３０である場合には、ホームサーバ１０はそのための無線Ｉ／Ｆを選択し、この無線Ｉ／Ｆを用いて制御コードをこの家電機器３０に送信する。家電機器３０はこの制御コードに応じて制御され、これにより、ユーザの希望の操作がなされる。また、ユーザが操作したい希望の家電機器がビデオである家電機器４０である場合には、ホームサーバ１０はそのための有線Ｉ／Ｆを選択し、この有線Ｉ／Ｆを用いて制御コードをこの家電機器４０に送信する。家電機器４０はこの制御コードに応じて制御され、これにより、ユーザの希望の操作がなされる。さらに、ユーザが操作したい希望の家電機器がテレビである家電機器２０である場合には、ホームサーバ１０はリモコン１への無線Ｉ／Ｆを選択し、この無線Ｉ／Ｆを用いて制御コードをこの家電機器２０に送信する。この家電機器２０は、受信したこの制御コードを赤外線Ｉ／Ｆを用いて家電機器２０に送信する。家電機器２０はこの制御コードに応じて制御され、これにより、ユーザの希望の操作がなされる。

なお、この家電機器２０のように、赤外線通信によって制御コードを受信する被制御機器の場合、ホームサーバ１０からかかる被制御機器に赤外線送信することは、指向性の観点からホームサーバ１０とかかる被制御機器との配置関係を考慮しなければならず、これらの配置に制限が加わることになるので、ホームサーバ１０から直接かかる被制御機器に制御コードを送信するのではなく、リモコン１を介し、リモコン１の赤外線Ｉ／Ｆからかかる被制御機器に制御コードを送信する。

図２は図１における各部の一実施形態を示すブロック図であって、２は画像入力部、３は音声入力部、４はアプリケーション部、５は無線通信部、６は赤外線送信部、１１は無線通信部、１２は画像認識部、１３は対象機器識別部、１４は音声認識部、１５は制御コード変換部、１６はデータベース部、１７は制御コード送信部、１８は有線通信部、２２は赤外線受信部、２３は制御部、３２は無線通信部、３３は制御部、４２は有線通信部、４３は制御部であり、図１に対応する部分には同一符号を付けている。

同図において、リモコン１は、カメラなどの撮像機構とその撮像画像をデジタル画像データに変換するなどの処理をする画像入力部２，マイクロフォン（以下、マイクという）などの音声入力手段と入力されたアナログ音声信号をデジタル音声データに変換するなどの処理を行なう音声入力部３，画像入力部２から入力された画像データと音声入力部３から入力された音声データとを処理するアプリケーション部４，無線Ｉ／Ｆや通信プロトコルを有してホームサーバ１０と無線通信を行なうための無線通信部５及び赤外線Ｉ／Ｆや赤外線送信信号を生成する機能を備えた赤外線送信部６などを備えている。なお、画像入力部２から入力された画像を確認するために、ディスプレイなどを装備してもよい。

また、ホームサーバ１０は、無線Ｉ／Ｆや通信プロトコルを有してリモコン１や家電機器３０と無線通信を行なうための無線通信部１１，無線通信部１１によってリモコン１から受信した画像データ内の２次元バーコード２１を認識処理する画像認識部１２，画像認識部１２で認識された２次元バーコード２１からユーザの操作対象となる被制御機器（対象機器）を識別し、その通信Ｉ／Ｆ及びアドレスを読み取る機能を備えた対象機器識別部１３，無線通信部１１によってリモコン１から受信した音声データを認識処理する音声認識部１４，音声認識部１４の認識結果をそれに対応する制御コードに変換する制御コード変換部１５，登録された音声データと制御コード及び音声データ／制御コード変換対応表を保持するデータベース部１６，対象機器識別部１３で読み取られた通信Ｉ／Ｆに該当する通信部を無線通信部１１と有線通信部１８とから選択し、対象機器識別部１３で読み取られたアドレスの被制御機器に制御コード変換部１５で生成された制御コードを送信するための送信信号を生成し、選択した通信部に供給する制御コード送信部１７及びイーサネット（登録商標）（Ethernet）などの有線Ｉ／Ｆ及び通信プロトコルを備え、家電機器１４と有線通信を行なう有線通信部１８などを備えている。

なお、有線Ｉ／Ｆを備えた被制御機器が使用されない場合には、ホームサーバ１０に有線通信部１８を設ける必要はない。また、画像認識部１２や対象機器識別部１３，音声認識部１４，制御コード変換部１５，制御コード送信部１７は夫々、画像認識プログラム，対象機器識別プログラム，音声認識プログラム，制御コード変換プログラム，制御コード送信プログラムといったソフトウェアで実現できるので、ホームサーバ１０としては、専用のものでなく、汎用のＰＣ（パーソナル・コンピュータ）であってもよい。

家電機器２０は、リモコン１から赤外線で制御コードを受信する赤外線受信部２２やこの赤外線受信部２２で受信した制御コードに対応した制御動作を行なう制御部２３などから構成されており、また、ユーザがリモコン１のカメラで容易に撮像できる所に、自身の通信Ｉ／Ｆの種類（この場合、赤外線Ｉ／Ｆ）をコード化した２次元バーコード２１が設けられている。なお、このように、赤外線Ｉ／Ｆで制御コードが送られる被制御機器においては、リモコン１のカメラでこの被制御機器の２次元バーコードを撮像するときに、即ち、このカメラをこの２次元バーコードに向けたときに、この被制御機器の赤外線受信部がリモコン１からの赤外線も受信できる状態となっているように、この２次元バーコードをこの赤外線受信部の近くに設けている方が好ましい。

家電機器３０は、無線Ｉ／Ｆ及び通信プロトコルを有しホームサーバ１０から無線送信される制御コードを受信するための無線通信部３２やこの無線通信部３２で受信した制御コードに対応した制御動作を行なう制御部３３などから構成されており、また、ユーザがリモコン１のカメラで容易に撮像できる所に、自身の通信Ｉ／Ｆの種類（この場合、例えば、無線ＬＡＮなど）とその通信Ｉ／Ｆに則った自身のアドレスをコード化した２次元バーコード３１が設けられている。

家電機器４０は、有線Ｉ／Ｆ及び通信プロトコルを有しホームサーバ１０から有線送信される制御コードを受信するための有線通信部４２やこの有線通信部４２で受信した制御コードに対応した制御動作を行なう制御部４３などから構成されており、また、ユーザがリモコン１のカメラで容易に撮像できる所に、自身の通信Ｉ／Ｆの種類（この場合、例えば、Ethernetなど）とその通信Ｉ／Ｆに則った自身のアドレスをコード化した２次元バーコード４１が設けられている。

現在普及している家電は、家電機器２０のような赤外線Ｉ／Ｆのみを備えたものであり、この実施形態では、かかるかかる既存の家電機器も、２次元バーコード２１を設けることにより、被制御機器とすることができるものである。

図３は図１におけるリモコン１の動作手順の一具体例を示すフローチャートである。図２を参照してこれを説明する。

図３において、ユーザがリモコン１の電源をＯＮすると、リモコン１が起動し、まず、無線通信部５でホームサーバ１０からのデータが受信されたか否か判定し（ステップＳ３０１）、受信データがない場合には、音声入力部３から音声が入力されたか否か判定する（ステップＳ３０２）。音声入力がない場合には、ステップＳ３０１に戻る。リモコン１は、通常、かかるステップＳ３０１〜Ｓ３０２の動作を繰り返す状態、即ち、受信データや音声入力の有無をポーリングしている状態にある。

ユーザが家電機器２０，３０，４０のいずれか被制御機器を操作したい場合には、ユーザは、リモコン１に装備されたカメラをこの被制御機器に向けて、この被制御機器に対して行ないたい操作を表わす情報を音声入力部３から音声で入力する（ステップＳ３０２）。この音声入力によってトリガがかかり、このトリガによってカメラで撮像された画像が画像入力部２から入力される（ステップＳ３０３）。画像入力部２から入力された画像データと音声入力部３から入力された音声データとはアプリケーション部４に供給されて組み合わされ、送信信号として、無線通信部５からホームサーバ１０に無線送信される（ステップＳ３０４）。そして、次のデータ受信あるいは音声入力があるまで、ステップＳ３０１〜Ｓ３０２の動作を繰り返す待機状態にある。

その後、無線通信部５でホームサーバ１０からデータが受信されると（ステップＳ３０１）、この受信データがエラーコードか否か判定される（ステップＳ３０５）。受信データがエラーコードである場合には、受信を失敗した旨をユーザに通知する（ステップＳ３０６）。その通知方法としては、図示しないスピーカなどの音声出力手段を用いた音による方法でもよいし、また、ＬＥＤなどを用いた光による方法でもよいし、図示しないディスプレイでメッセージなどを表示する方法であってもよい。また、また、エラーの種類をも通知するようにしてもよい。

受信データが、エラーコードではなく、制御コードである場合には（ステップＳ３０５）、この受信データは赤外線Ｉ／Ｆを備えた被制御機器、即ち、家電機器２０への制御コードであるので、赤外線送信部６により、この制御コードを制御信号に変換し、赤外線でこの家電機器２０の赤外線受信部２２に送信する（ステップＳ３０７）。しかる後、ステップＳ３０１〜Ｓ３０２の動作を繰り返す待機状態となる。

制御コードの無線通信や有線通信が行なわれる家電機器３０，４０に対して、音声を入力し（ステップＳ３０２）、カメラで撮影した場合には（ステップＳ３０３）、ホームサーバ１０からリモコン１に制御コードの送信はないが、誤った音声入力があった場合には、エラーコードがリモコン１に送信され、その旨がユーザに通知される（ステップＳ３０５，Ｓ３０６，Ｓ３０１）。

なお、かかるエラーコードは、例えば、カメラを向けた被制御機器に関係のない音声情報を音声入力部３から入力した場合や音声入力があっても、ホームサーバ１０で画像データから２次元バーコードが認識できない場合などによるものである。例えば、リモコン１のカメラをテレビである家電機器２０に向けながら、ビデオテープレコーダである家電機器４０の操作のための「早送り」という音声入力をした場合や、全く関係のない会話の内容が入力された場合には、ホームサーバ１０からリモコン１にエラーコードが送信される。

図４は図１におけるホームサーバ１０の動作手順の一具体例を示すフローチャートである。図２を参照してこれを説明する。

図４において、ホームサーバ１０は、リモコン１から送信されるデータを無線通信部１１で受信するまで、無線受信データがあるかどうかをポーリングした状態、即ち、待機状態にある（ステップＳ４０１）。

無線通信部１１で受信データがあると、この受信データを画像データと音声データとに区分し（ステップＳ４０２）、画像データを画像認識部１２に、音声データを音声認識部１４に夫々供給する。画像認識部１２では、画像データ内に２次元バーコードがあるか否かを判定し（ステップＳ４０３）。２次元バーコードが存在しない場合には、エラーコードを作成して無線通信部１１からリモコン１に無線送信するが、２次元バーコードが存在する場合には、これを対象機器識別部１３に供給する。対象機器識別部１３では、供給された２次元バーコードからユーザが操作対象とした被制御機器の通信Ｉ／Ｆの種類（赤外線，無線及び有線）及びその通信Ｉ／Ｆに則ったこの被制御機器のアドレスが読み取られ（ステップＳ４０４）、これら通信Ｉ／Ｆの種類とアドレスとを表わす情報が制御コード送信部１７に供給される。

また、音声認識部１４では、供給された音声データがデータベース部１６に登録されたものであるか否かを判定し（ステップＳ４０５）、音声データが登録されたものでない場合には、エラーコードを作成して無線通信部１１からリモコン１に無線送信するが（ステップＳ４０６）、音声データが登録されているものである場合には、制御コード変換部１５において、データベース部１６に保持されている音声データ制御コード変換対応表をもとに、この音声データをこれに対応する制御コードに変換する（ステップＳ４０７）。この制御コードは、制御コード送信部１７に供給される。

制御コード送信部１７では、対象機器識別部１３と制御コード変換部１５とからの情報を基に、制御コードの送信信号が作成されるとともに、ユーザが操作対象としている被制御機器の通信Ｉ／Ｆの種類が赤外線と無線と有線とのいずれであるかが判定される（ステップＳ４０８）。そして、操作対象の被制御機器の通信Ｉ／Ｆが赤外線である場合には、この送信信号を無線通信部１１からリモコン１に送信し（ステップＳ４０９）、操作対象の被制御機器の通信Ｉ／Ｆが赤外線でない場合には、この送信信号に上記のアドレスが付加され、通信Ｉ／Ｆを介して送信される（ステップＳ４１０）。ここで、操作対象の被制御機器の通信Ｉ／Ｆが有線である場合には、有線通信部１８からこの送信信号が送信され、また、操作対象の被制御機器の通信Ｉ／Ｆが無線である場合には、無線通信部１１からこの送信信号が送信される。このようにして、操作対象となる家電機器２０や家電機器３０，４０に制御コードが送信される。

なお、図４において、ステップＳ４０３〜Ｓ４０４の処理とステップＳ４０５〜Ｓ４０６の処理とは順序が逆であってもよいし、また、並列に行なわれるようにしてもよい。

図５は図１における被制御機器（家電機器２０，家電機器３０及び家電機器４０）の動作手順の一具体例を示すフローチャートである。図２を参照してこれを説明する。

同図において、被制御機器は、まず、通信部（赤外線受信部２２や無線通信部３２，有線通信部４２）で制御信号または制御コードが受信されたか否か判定し（ステップＳ５０１）、受信していない場合には、ステップＳ５０１に戻る。即ち、通信部で制御信号または制御コードが受信されるまでステップＳ５０１でポーリングし、受信待ち状態となっている。通信部で制御信号または制御コードが受信されると、制御部（制御部２３や制御部３３，制御部４３）が受信した制御信号または制御コードに従った制御動作を行ない（ステップＳ５０２）、ユーザの希望する操作が行なわれる。この制御動作が終了すると、ステップＳ５０１に戻る。

ところで、例えば、部屋によっては、テレビとビデオのように、２以上の家電機器が近接して配置される場合もある。このような場合にリモコン１のカメラでいずれか一方の家電機器を撮像しようとしても、カメラの向け方によっては、２つの家電機器の２次元バーコードが同時に撮像されることもあり、ホームサーバ１０での画像認識部１２では、これら２つの２次元バーコードを認識してしまうことになる。このような撮像を防止するために、リモコン１にディスプレイを設け、これにカメラの撮像画面を表示させることにより、ユーザに２以上の家電機器を同時に撮像させないようにすることもできるが、これでも、２以上の家電機器を同時に撮像してしまうようなこともある。

このように、２つ以上の２次元バーコードを１つの画像データから認識した場合、エラーコードを発生し、リモコン１で画像や音声の再入力を指示したり、２以上の２次元バーコードに対する被制御機器の選択画面をリモコンのディスプレイに表示させ、いずれを選択させたりすることも１つの方法である。しかし、２以上の家電機器を並べて配置するような場合には、往々して２以上の２次元バーコードを同時に撮像するものであり、そのたびにエラーコードが発生されたのでは、ユーザにとって使いづらいものとなる。

そこで、かかる問題を解消するために、同じ画像データに２以上の２次元バーコードが含まれている場合、いずれの２次元バーコードがユーザが操作対象とした被制御機器のものであるかをホームサーバ１０で判別させるようにする。これは、被制御機器の種類（テレビやビデオ，エアコンなど）毎に操作の種類が異なることから（例えば、テレビでは、チャンネル切替や音量調整などが操作の種類となるが、ビデオテープレコーダでは、記録や再生，早送りなどが制御の種類となる）、音声認識の結果としての操作の種類に応じて、画像認識部１２で同時に認識される２以上の２次元バーコードから該当する１つを選択するようにするものである。

このために、データベース部１６では、家電機器２０，３０，４０毎に操作のための音声データが区分され、かつ各区分に該当する機器のアドレスが対応付けられて登録されており、音声認識部１４では、受信した音声データを認識するとき、この音声データとデータベース部１６での登録された音声データと照合されるが、このとき、この受信した音声データに該当する登録音声データとともに、この登録音声データが属する区分に該当するアドレスがデータベース部１６から読み取られる。

そして、対象機器識別部１３では、画像認識部１２で認識された２次元バーコードから通信Ｉ／Ｆの種類とアドレスを読み取るが、２次元バーコードから読み取った通信Ｉ／Ｆの種類とアドレスとの対のうちの、そのアドレスが音声認識部１４でデータベース部１６から取り込んだアドレスと合致する２次元バーコードから読み取った通信Ｉ／Ｆの種類とアドレスとの対のみを制御コード送信部１７に供給する。

これにより、同じ画像データに２以上の２次元バーコードが含まれていても、ユーザが操作対象とする被制御機器に対する制御コードをこの被制御機器に間違いなく送信することができる。

また、このように、データベース部１６にアドレス毎に区分して音声データが登録されており、しかも、ビデオテープレコーダとＤＶＤ（デジタル多用途ディスク）などのように、操作の種類が一部もしくは全部同じ被制御機器が２以上用いられる場合、例えば、リモコン１で「再生」という操作内容を音声入力した場合、ホームサーバ１０では、音声認識部１４がデータベース部１６からビデオテープレコーダに対するアドレスとＤＶＤに対するアドレスとを読み取ることになる。しかし、これらアドレスの登録音声データと同一のものであるから、制御コード変換部１５は、正しい制御コードをデータベース部１６から得ることができる。

ところで、ホームサーバ１０に上記のデータベース部１６が設けられいて、同じ種類の被制御機器、例えば、ビデオテープレコーダとＤＶＤとが近接して設置されているような状況の場合、これらの２次元バーコードをカメラで同時に撮像する場合がある。このような場合には、画像認識部１２では、これらビデオテープレコーダとＤＶＤとのアドレスを読み取るし、また、リモコン１で同じ操作内容の音声入力があるので、音声認識部１４では、データベース部１６から、同様に、これらビデオテープレコーダとＤＶＤとのアドレスを読み取ることになる。

このような場合には、ホームサーバ１１は、いずれの被制御機器がユーザの操作対象と認識することができず、リモコン１にエラーコードを送信する。この場合のエラーコードは、上記の旨のメッセージとリモコン１での音声，画像の再入力を指示するメッセージを表わすものとしてもよいし、また、これらアドレスに対する被制御機器、即ち、ビデオテープレコーダとＤＶＤとの選択画面をディスプレイに表示させ、ユーザにいずれかの被制御機器を指定させるようにする。

以上のようにして、リモコンのカメラで２以上の被制御機器の２次元バーコードを同時に撮像しても、ユーザが操作対象とする被制御機器に制御コードを送信することが可能となる。

以上の各部の処理動作により、即ち、リモコン１で入力された画像データと音声データとがホームサーバ１０で認識され、その認識結果に基づいて、操作対象の被制御機器に適切な通信Ｉ／Ｆを介して制御信号または制御コードが送られることにより、赤外線による制御が行なわれる既存の被制御機器も含めて、通信可能な全ての被制御機器の音声入力による操作が実現可能となる。

この実施形態によると、ネットワーク機能を持たない既存の家電機器でも、クライアント・サーバ型の音声認識システムを用いて、音声入力による家電機器の操作が可能となる。また、無線や有線でネットワーク接続された家電機器に対しては、クライアント・サーバ型の画像認識システムを用いることにより、ユーザは操作したい被制御機器をカメラで撮像し、音声による操作指示のみを入力するだけで、操作したい被制御機器の操作が可能となる。勿論、クライアント・サーバ型の認識システムであるから、クライアントとなるリモコンは、音声認識部及び画像認識部が必要でないので、コストもかからない。また、リモコンが複数あっても、音声認識部及び画像認識部はホームサーバ１台だけに備えておればよいので、その点に関しても、コストをかけることなく実現可能である。

また、この実施形態では、赤外線Ｉ／Ｆの被制御機器に対しては、ホームサーバ１０で音声認識された結果生成された制御コードをリモコン１を介して送信するものであるが、ホームサーバ１０に赤外線送信部を設けることにより、ホームサーバ１０から直接かかる被制御機器に赤外線Ｉ／Ｆを介して制御コードをかかる被制御機器に送信するようにしてもよい。

さらに、この実施形態では、被制御機器を家電機器としたが、その他の被制御機器であってもよい。また、赤外線Ｉ／Ｆの家電機器２０，無線Ｉ／Ｆの家電機器３０，有線Ｉ／Ｆの家電機器３０，リモコン１及びホームサーバ１０を１台ずつとして示しているが、これらの一部または全部を複数台用いたものであってもよい。

さらに、この実施形態では、音声認識部及び画像認識部としてホームサーバを用いたが、その他一般的なサーバやＰＣ，音声認識及び画像認識を重荷としないＣＰＵを持つ家電機器や電気機器であってもよい。

さらに、この実施形態では、ホームサーバにおいて、音声の認識結果をこれに対応する制御コードに変換し、この制御コードを、制御情報として、リモコンや被制御機器に送信するようにしているが、音声の認識結果をテキストデータとし、これを制御情報としてリモコンや被制御機器に送信するようにしてもよい。なお、この場合には、リモコンや被制御機器でこのテキストデータを対応する制御コードに変換する。

本発明による機器制御システムの一実施形態を示す概略構成図である。 図１における各装置の一実施形態を示すブロック図である。 図１におけるリモコンの動作手順の一具体例を示すフローチャートである。 図１でのホームサーバの動作手順の一具体例を示すフローチャートである。 図１における被制御機器の動作手順の一具体例を示すフローチャートである。

符号の説明

１ リモコン
２ 画像入力部
３ 音声入力部
４ アプリケーション部
５ 無線通信部
６ 赤外線送信部
１０ ホームサーバ
１１ 無線通信部
１２ 画像認識部
１３ 対象機器識別部
１４ 音声認識部
１５ 制御コード変換部
１６ データベース部
１７ 制御コード送信部
１８ 有線通信部
２０ 赤外線Ｉ／Ｆを持つ家電
２１ ２次元バーコード
２２ 赤外線受信部
２３ 制御部
３０ 無線Ｉ／Ｆを持つ家電
３１ ２次元バーコード
３２ 無線通信部
３３ 制御部
４０ 有線Ｉ／Ｆを持つ家電
４２ 有線通信部
４３ 制御部

Claims (11)

1. 音声入力手段を有し、該音声入力手段から入力された被制御機器の制御のための音声データを送信する携帯制御端末と、
   該携帯制御端末から送信された該音声データを受信し、該音声データを認識して、その認識結果を、制御情報として、該携帯制御端末に送信するサーバと
   を具備し、
   該携帯制御端末は、該サーバが送信した該制御情報を受信し、該被制御機器に送信することを特徴とする機器制御システム。
2. 被制御機器の制御のための音声データを受信し、該音声データを認識して被制御機器の制御情報を形成するサーバを備えた機器制御システムの携帯制御端末であって、
   該被制御機器の制御のための該音声データを入力する音声入力手段と、
   該サーバと無線通信するための無線通信手段と、
   該被制御機器と赤外線通信するための赤外線通信手段と
   を具備し、
   該音声入力手段から入力された該音声データを無線通信手段によって該サーバに送信し、該サーバから制御情報を該無線通信手段によって受信して、該赤外線通信手段により、該被制御機器に送信して該被制御機器を制御することを特徴とする携帯制御端末。
3. 携帯制御端末で入力された被制御機器の制御のための音声データに基づいて、該被制御機器の制御を行なう機器制御システムのサーバであって、
   該携帯制御端末から該音声データを受信する無線通信手段と、
   該被制御機器の制御のために該携帯制御端末で入力される音声データと該音声データに対応する制御情報とを登録した登録データ保持手段と、
   該登録データ保持手段の保持情報を基に、該無線通信手段で受信した該音声データを認識し、該音声データを該当する制御情報に変換する制御情報変換手段と
   を具備し、
   該制御情報を、該無線通信手段により、該携帯制御端末に送信することを特徴とするサーバ。
4. 携帯制御端末で、被制御機器の制御のための音声データを入力し、
   サーバで、該携帯制御端末で入力された該音声データを受信し、受信した該音声データを認識して該被制御機器の制御情報に変換するとともに、該制御情報を該携帯制御端末に送信し、
   該携帯制御端末で該制御情報を受信し、該制御情報によって該被制御機器を制御することを特徴とする機器制御方法。
5. 通信方式が異なる複数の被制御機器を有し、携帯制御端末からの音声データの入力によって該被制御機器を制御する機器制御システムであって、
   該被制御機器は夫々、それ自身を識別するための可視的なコードが設けられており、
   該携帯制御端末は、該被制御機器の少なくとも１つと赤外線通信を行なうものであって、複数の該被制御機器のうちの制御対象とする該被制御機器の制御のための該音声情報と該制御対象とする被制御機器の該コードについての画像データを入力し、
   該画像データを認識して該制御対象とする被制御機器を判定し、該音声データを認識して該制御対象とする被制御機器の制御情報を生成し、該判定結果に基づいて、該制御情報を該制御対象とする被制御機器に、該当する通信手段で、送信するサーバを具備したことを特徴とする機器制御システム。
6. 請求項５において、
   前記被制御機器の少なくとも１つは、前記携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、
   前記サーバは、前記制御対象とする被制御機器が該所定の被制御機器と判定したときには、前記制御情報を前記携帯制御端末に無線通信で供給し、前記携帯制御端末は、受信した前記制御情報を赤外線による通信で該所定の被制御機器に送信して制御することを特徴とする機器制御システム。
7. 被制御機器の制御のための音声データと該被制御機器を識別するための画像データとを受信し、該音声データと該画像データとを認識して被制御機器の制御情報を形成するサーバを備え、該被制御機器に夫々それ自身を識別するための可視的なコードが設けられた機器制御システムの携帯制御端末であって、
   制御対象とする該被制御機器の制御のための該音声データを入力する音声入力手段と、
   該制御対象とする被制御機器のコードについての該画像データを入力する画像入力手段と、
   該サーバと無線通信するための無線通信手段と、
   該被制御機器の少なくとも１つと赤外線通信するための赤外線通信手段と
   を具備し、
   該音声入力手段から入力された該音声データと該画像入力手段から入力された該画像データとを無線通信手段によって該サーバに送信し、該サーバから該制御情報を該無線通信手段によって受信し、該赤外線通信手段により、該被制御機器の少なくとも１つに送信して制御することを特徴とする携帯制御端末。
8. 通信方式が異なる複数の被制御機器に対し、携帯制御端末で入力された該被制御機器の制御のための音声データに基づいて、制御を行なう機器制御システムのサーバであって、
   該携帯制御端末から該音声データと制御対象とする該被制御機器を示す画像データとを受信する無線通信手段と、
   該画像データを認識し、該制御対象とする被制御機器を判定する画像認識手段と、
   該被制御機器の制御のために該携帯制御端末で入力される音声データと該音声データに対応する制御情報とを登録した登録データ保持手段と、
   該登録データ保持手段の保持情報を基に、該無線通信手段で受信した該音声データを認識し、該音声データを該当する制御情報に変換する制御情報変換手段と
   を具備し、
   該画像認識手段によって判定された該制御対象とする被制御機器に、それに該当する通信方式で、該制御情報を送信することを特徴とするサーバ。
9. 請求項８において、
   前記複数の被制御機器のうちの少なくとも１つは、前記携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、
   前記画像認識手段が前記制御対象とする被制御機器を該所定の被制御機器とする判定をしたときには、前記制御情報を前記携帯制御端末に無線通信で送信することを特徴とするサーバ。
10. 携帯制御端末で、通信方式が異なる複数の被制御機器のうちの制御対象とする被制御機器の制御のための音声データと該制御対象とする被制御機器を識別するための画像データとを入力し、
    サーバで、該携帯制御端末で入力された該音声データと該画像データとを受信し、受信した該音声データを認識して該制御対象とする被制御機器の制御情報に変換するとともに、受信した画像データを認識して該制御対象とする被制御機器を判定し、該判定結果に基づいて該制御対象とする被制御機器に、それに該当する通信方式で、該制御情報を送信し、制御することを特徴とする機器制御方法。
11. 請求項１０において、
    前記複数の被制御機器のうちの少なくとも１つは、前記携帯制御端末と赤外線による通信を行なう所定の被制御機器であって、
    前記画像認識手段が前記制御対象とする被制御機器を該所定の被制御機器とする判定をしたときには、前記制御情報を前記携帯制御端末に無線通信で送信し、前記携帯制御端末が、赤外線による通信により、該所定の被制御機器に送信して制御することを特徴とする機器制御方法。
    

Images