[go: up one dir, main page]

JP2010050664A - 家電機器制御装置及びそのプログラム - Google Patents

家電機器制御装置及びそのプログラム Download PDF

Info

Publication number
JP2010050664A
JP2010050664A JP2008212343A JP2008212343A JP2010050664A JP 2010050664 A JP2010050664 A JP 2010050664A JP 2008212343 A JP2008212343 A JP 2008212343A JP 2008212343 A JP2008212343 A JP 2008212343A JP 2010050664 A JP2010050664 A JP 2010050664A
Authority
JP
Japan
Prior art keywords
behavior
information
control
home appliance
behavior information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008212343A
Other languages
English (en)
Inventor
Kazuhiro Kuroyama
和宏 黒山
Tadashi Nakatani
直史 中谷
Kazunori Kurimoto
和典 栗本
Tetsuya Koda
哲也 甲田
Osamu Eguchi
修 江口
Hiroaki Kurihara
裕明 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008212343A priority Critical patent/JP2010050664A/ja
Publication of JP2010050664A publication Critical patent/JP2010050664A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)

Abstract

【課題】従来の家電機器制御装置は、家全体を一元的に管理しているため、家庭内の家電機器の一部に変更や故障などに、制御内容に不整合が発生する可能性があったため、変化に弱かった点である。
【解決手段】家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段101と、行動検出手段101で検出した行動情報を他の行動情報を受信する行動情報受信手段103を備えた装置に送信する行動情報送信手段102と、他の行動情報送信手段102を備えた装置から送信された行動情報を受信する行動情報受信手段103と、行動検出手段101及び行動情報受信手段103で検出した情報および順序を記憶する行動記憶手段104と、行動記憶手段104に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段105と、行動予測手段105にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備える。
【選択図】図1

Description

本発明は家庭内の家電機器を人の行動に合わせて自動的に制御する家電機器制御装置に関するものである。
従来、この種の家電機器制御装置は、例えば、特許文献1に示すような電力会社との契約容量を超えてブレーカが落ちないように自動的に家庭内の家電機器の消費電力量を調節するデマンドコントロール制御や、特許文献2に示すような家庭内の電力使用量を目標値に合わせるように家電機器を自動的に省エネ制御するなどの提案がなされている。また、特許文献3に示すような、家庭内に多くのセンサを配置して、センサの情報を一元的に管理することによって、収集したセンサ情報から行動パターンのクラスタリングを行うことで、家庭内のユーザの生活異常検知を行っている。
しかし、これらの家電機器制御装置は、家庭内をシステムと捉えると、システムは必要な情報を一元的に管理して、収集した情報から必要となる制御信号を発信することにより制御対象の家電機器のコントロールを行っており、例えば、制御情報を発信しているコントローラの故障や、センサの故障など、システムの一部に変化が起きた場合に、システム全体が動作できなくなる可能性があった。また、家庭内に新たに家電機器を導入した場合や、買い替えなどを行った場合に、制御装置の設定を変更する必要があり、システムとしての変化に弱いという課題があった。
特開平04−168920号公報 特開2000−067657号公報 特開2004−295861号公報
従来の家電機器制御装置は、家全体を一元的に管理しているため、家庭内の家電機器の一部に変更や故障が生じた場合、制御内容に不整合が発生する可能性があったため、変化に弱かった。
本発明は、家電機器制御装置に関するものであり、家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段と、前記行動検出手段で検出した行動情報を他の行動情報を受信する行動情報受信手段を備えた装置に送信する行動情報送信手段と、他の行動情報送信手段を備えた装置から送信された行動情報を受信する行動情報受信手段と、前記行動検出手段及び前記行動情報受信手段で検出した情報および順序を記憶する行動記憶手段と、前記行動記憶手段に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段と、前記行動予測手段にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備える。
本発明の家電機器制御装置は、他の家電機器の情報を収集しながらも、分散的に家庭内の個々の家電機器を制御することができるので、家電機器の一部に変更や故障などがあっても影響を最小限に抑えて、自動的に柔軟な対応が可能となる点である。
第1の発明は、家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段と、前
記行動検出手段で検出した行動情報を他の行動情報を受信する行動情報受信手段を備えた装置に送信する行動情報送信手段と、他の行動情報送信手段を備えた装置から送信された行動情報を受信する行動情報受信手段と、前記行動検出手段及び前記行動情報受信手段で検出した情報および順序を記憶する行動記憶手段と、前記行動記憶手段に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段と、前記行動予測手段にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備えることで、他の家電機器の情報を収集しながらも、分散的に家庭内の個々の家電機器を制御することができるので、家電機器の一部に変更や故障などがあっても影響を最小限に抑えて、自動的に柔軟な対応が可能となる。
第2の発明は、家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段と、前記行動検出手段で検出した行動情報を送信する行動情報送信手段と、前記行動情報送信手段及び他の行動情報送信手段を備えた装置により送信された行動情報を受信する行動情報受信手段と、前記行動情報受信手段で検出した情報および順序を記憶する行動記憶手段と、前記行動記憶手段に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段と、前記行動予測手段にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備えることで、他の家電機器の情報を収集しながらも、分散的に家庭内の個々の家電機器を制御することができるので、家電機器の一部に変更や故障などがあっても影響を最小限に抑えて、自動的に柔軟な対応が可能となる。
第3の発明は、特に、第1または第2の発明の前記行動検出手段はユーザが制御した家電機器の制御情報を取得することで、前記予測した行動に対応する家電機器の制御内容及び制御タイミングを自動的に生成することで、ユーザの操作に合わせた的確な学習を自動的に行うことができるようになる。
第4の発明は、特に、第1〜第3のいずれか1つの発明の前記行動予測手段は時計機能を有し、前記行動記憶手段は行動の記憶と共に時刻を記憶しておくことで、前記行動予測手段は行動時刻を比較することで、時刻毎に合わせた行動予測を行うことができるようになる。
第5の発明は、特に、第1〜第4のいずれか1つの発明の前記行動予測手段はカレンダー機能を有し、記行動予測手段は曜日や季節ごとに予測内容を切替ることで、曜日や季節に合わせた行動予測を行うことができるようになる。
第6の発明は、特に、第1〜第5のいずれか1つの発明の前記行動検出手段及び前記行動情報受信手段から取得した行動情報から、前記機器制御手段で制御した後の制御内容の効果について判定する制御効果判定手段を備え、前記制御効果判定手段の結果から前記行動の予測に使用しているパラメータ及び制御内容を更新することで、ユーザからの操作内容に基づいて日々変化する細かな制御ニーズに合わせた学習及び制御を行うことができるようになる。
第7の発明は、特に、第1〜第6のいずれか1つの発明にさらに前記制御内容を実行するときに、実行の内容をユーザに報知する報知手段を備えることで、制御内容をユーザに明示することができるので、ユーザは制御が正しく動作しているかわかるので、安心して家庭内で生活できる。
第8の発明は、特に、第1〜第7のいずれか1つの発明の前記行動検出手段は、家電機器の予め備えているセンサやスイッチを利用することで、新たに装置を追加することなしに、安価でユーザの生活に自然に溶け込んだ家電機器制御装置を導入することができるようになる。
第9の発明は、特に、第1〜第8のいずれか1つの発明の前記行動情報送信手段及び、前記行動情報受信手段の情報通信の全てもしくは一部は無線通信とすることで、施工の簡易化によるコストの削減及び、配置の柔軟性を高めることができるようになる。
第10の発明は、特に、第1〜第9のいずれか1つの発明の全てもしくは一部として機能させるためのコンピュータのプログラムにすることで、汎用的なコンピュータを用いて本発明の家電機器制御装置の全てもしくは一部を容易に実現することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。
(実施の形態1)
第1の発明における家電機器制御装置について、本実施例の家電機器制御装置の構成例1である図1を用いて説明する。
家電機器制御装置100は、少なくとも家内の人の行動を検出する行動検出部101(行動検出手段)、前記行動検出部にて検出した行動の情報を他の家電機器制御装置や他の家電機器制御装置に送るための中継装置に送信する行動情報送信部102(行動情報送信手段)、他の家電機器制御装置や人の動きを検出するようなセンサ装置などの行動情報を受信する行動情報受信部103(行動情報受信手段)、前記行動検出部101及び前記行動情報受信部103より取得した行動情報を蓄積する行動記憶部104(行動記憶手段)、前記行動記憶手段104に蓄積された過去の履歴を含む情報および順序から行動の予測を行い予測した行動に対応する家電機器の制御内容を実行するコントロール部105(行動予測手段、機器制御手段)により構成されている。
例えば図1に示すように、行動検出部101から取得した家内の人の行動情報は、行動情報送信部102にて他の家電制御装置へ送信を行い、さらに、行動記憶部104に記憶される。また、他の家電機器制御装置からの行動情報を行動情報受信部103にて受信して、行動記憶部104へ蓄積する。
コントロール部105は行動記憶部104に蓄積されている過去の履歴を含む行動情報及び順序から行動予測を行い、さらに行動予測に対応する家電機器に対して制御信号を送信することにより、対象の家電機器を自動的に制御することができるようになる。以下に各構成部の詳細について説明する。
行動検出部101(行動検出手段)は、例えば、焦電素子などを用いた人体の放出する赤外線を検知する方式の赤外線人体検知センサや、CCDカメラなどの画像情報を用いることによって人の顔などを認識する装置や、家電機器や家庭内にあらかじめ備えているスイッチなどの入力装置などである。他にも、重量の変化を検出するシート上のセンサをあらかじめ床面に敷き詰めておくことや、あらかじめ家内の人や衣服に取り付けておいた電波を発信する装置を読み取る装置など、家内の人の行動情報を取得できるものであればどのようなものでも構わない。ここで、行動情報とは、家内の人が行動したことによる変化をデジタル的に情報化したものであり、例えば、人体検知センサの検知情報や、エアコン、照明など家電機器の操作スイッチの変化情報などである。
行動情報送信部102(行動情報送信手段)は、前記行動検出部101で取得したセンサなどの情報を他の家電機器制御装置などへ送信するものである。例えば、特定小電力無線や無線LANなどの電波を媒介として通信を行う無線通信や、家庭内の電気配線(電力線)に、情報信号を乗せて送るPLC通信や、電話線などを利用した有線通信など、他の
家電機器制御装置と通信できる形態であれば、どのような通信であっても構わない。また、無線通信とPLC通信など複数の通信装置を備えることで、さまざまな行動情報を取得することが可能となる。また、無線通信あるいはPLC通信などのように通信用の施工を伴わない形態の方がユーザは安価に導入しやすい。
行動情報受信部103(行動情報受信手段)は、他の家電機器制御装置あるいは行動検出などの機能を備えたセンサ装置から送信されてきた行動情報を受信するものであり、例えば、特定小電力無線や無線LANなどの電波を媒介として通信を行う無線通信や、家庭内の電気配線(電力線)に、情報信号を乗せて送るPLC通信や、電話線などを利用した有線通信など、他の家電機器制御装置と通信できる形態であれば、どのような通信であっても構わない。また、送信及び受信の機能を備えた構成にすることで、行動情報送信部102及び行動情報受信部103は1つの構成とすることも可能である。
行動記憶部104(行動記憶手段)は、情報を記憶する機能を有するものであり、前記行動検知部101および、前記行動情報受信部からの行動情報及び順序を記憶する。また、行動に対応する家電機器の制御内容を合わせて記憶しておく。
ここで、順序とは行動検出手段で検出した行動情報の順番のことであり、例えば図4に示すような行動情報の履歴パターンのA⇒Bというのが順序になる。また順序は行動検出手段で検出した行動情報の前後関係のみの順序を記憶する場合と、さらに行動情報の検出した検出時刻などの時間も記憶することで、前後関係の時間的な関係も一緒に記憶することで、コントロール部105の行動予測の精度を高めるのに利用することも可能である。
行動記憶部104は例えば、SDカードなどに代表されるフラッシュメモリや、CPUと組み合わせて利用するDDRメモリや、ハードディスクや、光ディスクである。また、コントロール部105内に内蔵されているメモリを利用することで安価に構成することも可能である。また、無線LANや、Bluetoothなどの無線技術を利用すことで、サーバなどの外部に設けたメモリを利用することができる。さらに、メモリを複数の家電機器制御装置と共有して利用することで、行動情報の履歴を共有して利用する構成にすることも可能である。また、行動情報の記憶を行う場合に、割り当てているメモリをリング状のバッファとして扱うことで、過去の古い行動情報を削除しながら、新しい位置の記憶を継続していくことでメモリ容量をオーバすることなく有効に利用することが能となる。
コントロール部105(行動予測手段、機器制御手段)は、例えば、CPU、メモリで構成されている。前記行動記憶部104に蓄積されている過去の履歴を含む行動情報及び順序から行動予測を行うことや、行動予測に対応する家電機器に対して制御信号を送信する。構成としては、他にも、CPU、メモリを1つにした1チップマイコンや、FPGA、DSP等の他の演算可能なものであっても構わない。また、HDDやDVDやフラッシュメモリなどの記録装置と一緒に構成することで、メモリ容量を大量に利用するような複雑な処理をすることも可能にすることができる。家電機器のコントロールには、制御対象に合わせて、PWM波形などによるモータ制御やシリアル通信による位置の設定などのさまざまな形態の制御が可能である。他にもコントロール部105は汎用的に利用することができるので、例えば、音声報知やカメラなどのセンサの制御など他に付随する家電機器制御装置のさまざまなコントロールと共用で利用することが可能である。
なお、家電機器制御装置は図1に限らず図2のような構成であってもよい。家電機器制御装置200は、家内の人の行動を検出し、検出した行動の情報を送信する送信部200aおよび、前記送信部200aにより送信された行動情報及び他の家電機器制御装置から送信された行動情報を受信して家電機器の制御を行う受信部200bにより構成する。
少なくとも家内の人の行動を検出する行動検出部101(行動検出手段)、前記行動検出部にて検出した行動の情報を他の家電機器制御装置や他の家電機器制御装置に送るための中継装置に送信する行動情報送信部102(行動情報送信手段)、他の家電機器制御装置や人の動きを検出するようなセンサ装置などの行動情報を受信する行動情報受信部103(行動情報受信手段)、前記行動情報受信部103より取得した行動情報を蓄積する行動記憶部104(行動記憶手段)、前記行動記憶手段104に蓄積された過去の履歴を含む情報および順序から行動の予測を行い予測した行動に対応する家電機器の制御内容を実行するコントロール部105(行動予測手段、機器制御手段)により構成されている。なお、家電機器制御部200の行動検出部101、行動情報送信部102、行動情報受信部103、行動記憶部104及び、コントロール部105は、それぞれ前記図1の中で説明した内容と同じである。
家電機器制御装置200を送信部200aと受信部200bに分けることにより、送信部200aと受信部200bを別々の場所に設置することができるようになるので、例えば、人体検知センサを備えた送信部200aを家内の天井に取り付け、受信部200bを家電機器内に内蔵することなど、制御対象となる家電機器と取得したい行動情報との位置的な問題を解決することが可能となる。
次に、行動情報から予測を行い家電機器を制御するフローチャートを図3に示し、動作の流れについて説明する。
ステップS301から動作が開始する。ステップS301では、行動検出部101により行動の検出処理を行う。例えば、人体検知センサであれば、人体の有無のスキャンを行うような処理である。他にも、スイッチであればスイッチの状態の変化の有無を確認するなどの処理を行う。
ステップS302では、行動検出部101で行動を検出したかどうかの判断を行う。判断とは、具体的には、例えば、センサの検知信号がオンになった状態であるとか、アナログ信号であれば閾値を超えた場合など、行動として検出できるような変化があればどのようなものでも構わない。また、行動としてより複雑なパターン、例えば、カメラ画像の映像内の人物が廊下を東から西へ移動したなど、より詳しく捕らえるように構成することで、さらに知的な行動情報の検出が可能となる。但し、行動検出部101では、具体的な行動の一連の流れを取り込まなくても、行動情報を行動記憶部104にて蓄積するため、行動蓄積部104の履歴を参照することで、行動の一連の流れを予測することが可能となる。しかし、あまり詳細に変化内容を記憶してしまうと行動記憶部104に必要とされる記憶容量が多くなってしまうので、例えば、人物検知センサであれば、5秒間連続的に検知した場合など、ある程度の単位の変化を行動情報とするのが望ましい。
行動を検出していない場合は、ステップS301に動作を戻して繰り返し行動検出処理を行う。行動を検出した場合は、行動情報を行動情報送信部102より他の家電機器制御装置へ送信すると共に、行動記憶部104に記憶を行い、ステップS303へ動作を遷移する。
ステップS303では、行動記憶部104に蓄積している過去の行動情報を含む履歴との比較処理を行う。具体的には、図4の行動に対応する家電機器の制御内容の例に示すように、保存している履歴と、過去の行動情報を含む履歴を比較して、類似している度合いを比較する。例えば、過去の行動情報を含む履歴内容が「部屋A→廊下A 6秒」だった場合、類似度を下記の計算式で算出した場合に、行動No.1の類似度は、
類似度 = パターン一致度×時間一致度
= 100%(完全一致)×5秒/6秒(パターン時間/実時間)=83%
となる。
但し、類似度の計算は、扱う行動履歴パターンにあわせて計算式を適度に作成する必要がある。本例では、説明のため簡単な式を用いているが、パターン一致度の違いについては、行動情報の違い(部屋などの違いを含む)の差を例えば距離などの情報を使って計算することや、他の機器から得られる行動情報との相関を予め決めておくことなどによって、行動情報の履歴との比較ができる構成とすることが可能である。行動情報の履歴と比較できる方法であれば、どのような方法であっても構わない。
次に、ステップS304にて、ステップS303で算出した類似度が閾値以上であるか判断する。例えば、前記S303の説明の例で計算した行動No.1との類似度は図4に記載の閾値である許容類似度80%よりも大きいことがわかるので、閾値よりも大きいと判断することができる。閾値よりも大きい行動Noがある場合は、ステップS305へ遷移し、閾値よりも大きい行動Noが無ければ、ステップS301へ遷移を戻す。
ステップS305では、記憶している行動に対応する家電機器の制御内容に基づいて、対象となる家電機器の制御を行う。例えば、ステップS303で説明した例では、行動No.1の場合であれば、エアコンAをON制御することとなる。他にも、制御内容の例としてはエアコンであれば、温度制御を行う場合や、暖房/冷房/除湿などの運転モードの切替えを行うことや、照明であれば、明るさの調整や、点灯状態のON/OFFなどの制御を行う。
このような流れにより、家電機器制御装置100あるいは家電機器制御装置200は、行動検出部101から取得した家内の人の行動情報と、他の家電機器制御装置からの行動情報から、行動記憶部104に蓄積されている過去の履歴を含む行動情報及び順序より、行動予測を行い、さらに行動予測に対応する家電機器に対して制御信号を送信することにより、対象の家電機器を自動的に制御することができるようになる。
(実施の形態2)
第2の実施の形態では、ユーザが制御した家電機器の制御情報を取得することで、前記予測した行動に対応する家電機器の制御内容及び制御タイミングを自動的に生成することで、ユーザの操作に合わせた的確な学習を自動的に行う内容である。この内容について、図5の行動情報の履歴から家電機器の操作内容を記憶するフローチャートを用いて説明する。
また、行動予測手段が時計機能を有し、前記行動記憶手段は行動の記憶と共に時刻を記憶しておくことで、前記行動予測手段は行動時刻を比較することで、時刻毎に合わせた行動予測を行う内容について、図6を用いて説明する。また、行動予測手段はカレンダー機能を有し、記行動予測手段は曜日や季節ごとに予測内容を切替ることで、曜日や季節に合わせた行動予測を行う内容について、図7のカレンダー機能を有する家電機器制御装置のフローチャート及び、図8のカレンダー機能を利用した行動に対応する家電機器の制御内容の例を用いて説明する。なお、本実施例の構成は実施の形態1の構成内容と同じである。
ステップS501から動作が開始する。ステップS501は、前記ステップS301同様に、行動検出部101により行動の検出処理を行う。
次にステップS502では、前記ステップS302同様に、行動検出部101で行動を検出したかどうかの判断を行う。行動を検出していない場合は、ステップS501に動作を戻して繰り返し行動検出処理を行う。行動を検出した場合は、行動情報を行動情報送信
部102より他の家電機器制御装置へ送信すると共に、行動記憶部104に記憶を行い、ステップS503へ動作を遷移する。
ステップ503では、前記ステップ303同様に、行動記憶部104に蓄積している過去の行動情報を含む履歴との比較処理を行う。
次に、ステップS504にて、前記ステップ304同様に、ステップS503で算出した類似度が閾値以上であるか判断する。類似度が閾値以上である場合は、ステップS505へ移行する。閾値以下の場合はステップS507へ移行する。
ステップS505では、前記ステップS305同様に、記憶している行動に対応する家電機器の制御内容に基づいて、対象となる家電機器の制御を行う。
次にステップS506では、前記S503で算出した類似度に合わせて履歴の更新を行う。具体的には、例えば、図4に示す行動に対応する家電機器の制御内容の例で示すような行動Noが設定されている場合に、「部屋A→廊下A 6秒」だった場合に、実施の形態1で示したように行動No.1が選択されることとなる。この行動No.1の内容を「部屋A→廊下A 6秒」に更新することで、最新の行動情報に更新できるようになる。他にも、例えば相違点である時間に関して設定値であるXold=5秒をXnow=6秒に少しずつ近づけるように、重みWを設定することにより、下記の式で更新することも可能である。
Xnew=Xold+W(Xnow−Xold)
上記の式以外にも、行動情報に合わせた更新式を設けることで、適切に値を更新していくことが可能である。このように選択した行動情報の履歴パターンを最新の行動情報で更新していくことで、行動情報の誤差を小さくしていくことができるので、行動予測の精度を高めることが可能となる。
次にステップS507では、家電機器をユーザが操作したかどうか判断を行う。例えば、エアコンの運転を開始/停止/温度調整や、照明の点灯/消灯/調光など、予めユーザが操作する情報として行動情報の中で定義しておくことで、行動情報として取得した情報がユーザ操作の情報であるかどうか判断することができるようになる。ユーザが家電機器を操作した場合は、ステップS508へ動作を移行する。人体検知センサのようなユーザが家電機器を操作していない場合には、ステップS501へ動作を戻して繰り返し行動検出処理を行う。
ステップS508では、図4に示すような行動情報に対する家電機器の制御内容の履歴パターンとして、新たな行動情報の履歴パターンとユーザが操作した操作内容を行動記憶部104に記憶する。このようにして新しく行動情報の履歴パターンを記憶することで、家庭の構成がどのようなものであっても、汎用的に学習して行動情報を利用した家電機器の予測制御を行うことが可能となる。また、ユーザの操作内容を学習することで、ユーザの癖や好みに合わせた制御が可能となり、制御による快適性を向上させることが可能となる。
なお、新しく行動情報の履歴パターンをどんどん記憶していくと、記憶容量などの不足にも繋がるので、適宜調整することで実用性を保つことができる。例えば、発生頻度の高い行動情報の履歴パターンを優先的に記憶していくことや、パターンの一致率が高く精度のよいと思われる行動情報の履歴パターンを残していくことで、利用するユーザにマッチした行動情報の履歴パターンを蓄積していくことが可能となる。
次に、図6の時計機能を利用した行動に対応する家電機器の制御内容の例を用いて、行動予測手段が時計機能を有し、前記行動記憶手段は行動の記憶と共に時刻を記憶しておくことで、前記行動予測手段は行動時刻を比較することで、時刻毎に合わせた行動予測を行う内容について説明する。
図6に示すように、行動予測手段に時計機能を有することで、行動情報を取得した時間帯を行動記憶部104に行動情報の履歴と共に記憶しておくことで、コントロール部105で行動予測を行うときに、行動情報の履歴のパターンと共に行動情報の発生した時間帯を比較することで、時間帯別に行動情報の履歴を分類することが可能となり、予測精度を高めることが可能となる。このようにすることで、例えば、図6の例に示すように、行動No.1の7:00−23:00はエアコンAの運転を「強」にして、23:00−7:00はエアコンAの運転を「弱」にするような予測制御が可能となり、時間帯による制御内容の変化を反映することで予測精度を高め、ユーザの快適性や満足度を高めることが可能となる。
次に、図7のカレンダー機能を有する家電機器制御装置のフローチャート及び、図8のカレンダー機能を利用した行動に対応する家電機器の制御内容の例を用いて、行動予測手段はカレンダー機能を有し、記行動予測手段は曜日や季節ごとに予測内容を切替ることで、曜日や季節に合わせた行動予測を行う内容について説明する。
なお、図7のステップS701、S702は実施の形態1の図3で説明した前記ステップS301、S302と同様であり、ステップS704〜ステップS706は実施の形態1の図3で説明した前記ステップS303〜ステップS305と同様である。ステップS703は、カレンダー機能から該当する履歴を選択する。例えば図8に示すようにカレンダー機能から該当する季節の履歴パターンを選択する。
夏場であれば履歴パターンA、冬場であれば履歴パターンBを用いて行動予測を行うことで、季節による制御の相違に対応することができるので、行動予測の精度を高めることができるようになる。
(実施の形態3)
第3の実施の形態は、行動検出手段及び前記行動情報受信手段から取得した行動情報から、前記機器制御手段で制御した後の制御内容の効果について判定する制御効果判定手段を備え、前記制御効果判定手段の結果から前記行動の予測に使用しているパラメータ及び制御内容を更新することで、ユーザからの操作内容に基づいて日々変化する細かな制御ニーズに合わせた学習及び制御を行うことができる内容である。これについて、図9の制御効果判定部を備えた家電機器制御装置の構成例及び、図10の制御効果判断を備えた家電機器を制御するフローチャートを用いて説明する。
図9の制御効果判定部を備えた家電機器制御装置900は、少なくとも家内の人の行動を検出する行動検出部101(行動検出手段)、前記行動検出部にて検出した行動の情報を他の家電機器制御装置や他の家電機器制御装置に送るための中継装置に送信する行動情報送信部102(行動情報送信手段)、他の家電機器制御装置や人の動きを検出するようなセンサ装置などの行動情報を受信する行動情報受信部103(行動情報受信手段)、前記行動検出部101及び前記行動情報受信部103より取得した行動情報を蓄積する行動記憶部104(行動記憶手段)、前記行動記憶手段104に蓄積された過去の履歴を含む情報および順序から行動の予測を行い予測した行動に対応する家電機器の制御内容を実行するコントロール部105(行動予測手段、機器制御手段)、前期行動記憶手段104に蓄積された行動情報より前記コントロール部105で家電機器の制御を実行した後の制御効果を判定する制御効果判定部806(制御効果判定手段)により構成されている。なお
、家電機器制御装置900の行動検出部101、行動情報送信部102、行動情報受信部103、行動記憶部104およびコントロール部105は、それぞれ実施の形態1で説明した内容と同じである。
制御効果判定部806(制御効果判定手段)は、前記コントロール部105で行動予測(行動予測手段)及び、家電機器の機器制御(機器制御手段)を行った後の状況を、行動記憶部104に蓄積している行動情報の履歴により、自動的に行った家電機器の機器制御の効果を判断する。さらに前記行動記憶部104に蓄積している行動情報の履歴の制御内容を更新することで、ユーザからの操作内容である行動情報に基づいて、制御内容を更新する。
例えば、エアコン動作中にコントロール部105の家電機器の機器制御により、エアコンの動作を自動的に停止した場合に、ユーザがエアコンを再度動作させたことを行動検出部101で検出して、行動記憶部に蓄積された場合は、本自動制御がユーザにとってわるい効果であったと判断することができる。他にも照明を自動的に点灯した場合に、ユーザが後からリモコンなどで消灯した場合など、自動的に制御を行った後のユーザの行動を行動検知部101で検出することにより、制御効果の判定を自動的に行うことが可能となる。
制御効果の判断としては、予め機器毎に運転開始/運転停止など対照的な制御内容を決めておくことで、良否の判断の基準とすることが可能であるし、自動制御を行った後でユーザが操作した内容が、ユーザの本当に操作したかった内容であると判断することができるので、新たな制御内容として前記図4に示すような前記行動記憶部104の行動情報の履歴に対する制御内容の情報を更新するように構成することができる。
このように構成することで、自動的に制御情報の内容を新しく更新し学習することができるようになるので、ユーザの使用状況が変化しても常に追従して、ユーザの操作意図に沿った制御を行うことができるようになる。
なお、制御内容を更新する場合は、常に違った内容の操作が行われることや、ユーザのご操作によるような、非常にまれに発生するような操作が発生してもすぐに更新されないように、少しずつ更新していくあるいは学習していくことで、過度な学習を控えることができるようになる。
また、学習の詳細な手法についてはニューラルネットワークや、遺伝的学習法や、強化学習法などさまざまな手法が提案されているが、システム構成のより都合のよい方式を選択すればよく、どのような学習方法であっても構わない。
また、制御効果判定部806は前記コントロール部105のマイコンを利用することで、コントロール部105の機能の一部として構成することにより、共通で利用することでより安価に構成することも可能である。
次に図10の制御効果判断を備えた家電機器を制御するフローチャートを用いて動作の流れを説明する。なお、図10のステップS1001及びステップS1002は実施の形態1で説明した前記ステップS301及びステップS302で説明した内容と同じである。また、ステップS1005からステップS1007は、実施の形態1で説明した前記ステップS303からステップS305で説明した内容と同じである。
ステップS1002の行動を検出した場合にステップS1003へ動作を移行するところから説明する。ステップS1003では、前記制御効果判定部806で説明したように
、コントロール部105で家電機器を自動的に制御した後の効果の判断を行う。
制御後の効果判断で利用可能な行動情報があれば、ステップS1004へ動作を移行する。制御後の効果判断がなければ実施の形態1で説明したのと同様に、ステップS1005へ動作を移行して、履歴との比較処理を行い動作が続いていく。ステップS1004では、ステップS1003の制御後の効果判断により、行動情報の履歴パターンの内容を更新する。例えば図4の行動No.1に示すような、エアコンAをONにした場合に、ユーザがその後にエアコンAをOFFにした場合は、エアコンAの制御内容であるONをOFFに変更することや、許容類似度を変更することで、ユーザの操作を学習していくことができるようになる。行動情報の履歴パターンを更新した後、ステップS1005へ動作を移行して、履歴との比較処理を行う動作へと動作の流れが続いていく。なお、本実施の例では、説明のために行動検知後に、効果判断の処理を行っているが、効果判断の処理は、家電機器を制御した後であればどのようなタイミングでも構わなく、例えば1分程度などある程度ユーザの操作が発生する可能性がある時間まで経過した後に効果判断を行うあるいは、次の行動情報を行動検出部101で検出した後に効果判断を行うようにも構成することも可能である。
このように構成することで、ユーザ操作に沿った制御内容に更新していくことができるので、家電機器の追加などによるユーザの使用状況の変化に対応することができるようになる。
(実施の形態4)
第4の実施の形態は、制御内容を実行するときに、実行の内容をユーザに報知する報知手段を備えることで、制御内容をユーザに明示する内容である。この内容について、図11の報知機能を備えた家電機器制御装置の構成例を用いて説明する。
図11の報知機能を備えた家電機器制御装置1100は、少なくとも家内の人の行動を検出する行動検出部101(行動検出手段)、前記行動検出部にて検出した行動の情報を他の家電機器制御装置や他の家電機器制御装置に送るための中継装置に送信する行動情報送信部102(行動情報送信手段)、他の家電機器制御装置や人の動きを検出するようなセンサ装置などの行動情報を受信する行動情報受信部103(行動情報受信手段)、前記行動検出部101及び前記行動情報受信部103より取得した行動情報を蓄積する行動記憶部104(行動記憶手段)、前記行動記憶手段104に蓄積された過去の履歴を含む情報および順序から行動の予測を行い予測した行動に対応する家電機器の制御内容を実行するコントロール部105(行動予測手段、機器制御手段)、制御内容を実行するときに、実行の内容をユーザに報知する報知部1106(報知手段)により構成されている。なお、家電機器制御装置1100の行動検出部101、行動情報送信部102、行動情報受信部103、行動記憶部104およびコントロール部105は、それぞれ実施の形態1で説明した内容と同じである。
報知部1106(報知手段)は、ユーザに制御内容を実行するときに、実行の内容を報知するものであって、例えば、液晶ディスプレイなどの文字や画像を表示する装置や、スピーカーなどの音によって報知する装置や、LEDなどの光によって報知する装置であり、ユーザに実行の内容を伝えることができるものであればどのようなものであっても構わない。また、報知内容としては、例えばエアコンを自動的に制御した場合に、音声で「エアコンを自動制御しました」というように伝えることや、ビープ音で報知することなど、なんらかの報知をすることでユーザは勝手に動作したことに関する不信感を無くすことができるので、ユーザは制御が正しく動作しているかわかり、効果を確認すると共に、安心して家庭内で生活できるようになる。
(実施の形態5)
第5の実施の形態は、行動検出手段は、家電機器の予め備えているセンサやスイッチを利用することで、ユーザは通常利用している手段で家電機器を操作するだけで、特別な装置を操作することなく、家電機器を自動的に制御する場合の行動情報として利用することができるようになるものである。
また、情報送信手段及び、前記行動情報受信手段の情報通信の全てもしくは一部を無線通信にすることで、家電機器制御装置を設置する場合に、通信のための配線を省くことができるので、施工の短縮化や費用の軽減、さらに施工後の見た目を美しく仕上げることができるようになる。さらに、無線通信によって、家電機器制御装置以外の機器とも無線通信することができるようになるので、その他の機器からの情報を利用し、例えば他の機器が危険を検知した場合に一緒に警報を鳴らすなど他のサービスとの併用も可能とすることができる。なお、上記第1から第5の実施の形態で説明したコンピュータを家電機器制御装置の全てもしくは一部として機能させるためのプログラムにすることで、汎用的なコンピュータを用いて本発明の家電機器制御装置の全てもしくは一部を容易に実現する家電機器制御装置について説明する。コンピュータを家電機器制御装置の全てもしくは一部として機能させるためのプログラムにすることで、容易に汎用的なコンピュータを利用することができるようになり、さまざまな家電機器制御装置のプラットフォームに対応させることが容易に可能となる。
また、例えば、一部を汎用コンピュータで利用可能なプログラムにすることで、無線LANなどの通信機能を用いて、汎用コンピュータと本発明の家電機器制御装置を通信させて、コントロール部105の制御などを汎用のコンピュータ側で行うことにより、家電機器制御装置のCPUやメモリといった機能の能力を削減することができるので、より安価に本装置を提供することが可能となる。さらに、汎用コンピュータに接続されているインターネットなどの外部との通信機能を介して、外出先からユーザが家電機器制御装置を操作することを可能にすることも容易に実現が可能となる。
本発明にかかる家電機器制御装置は、他の家電機器の情報を収集しながら、分散的に家庭内の個々の家電機器を自動的に制御することができるので、家庭内の家電機器や、家庭内の制御可能な自動扉や玄関扉や自動シャッターや自動カーテンなど、家庭内で自動的に制御可能な装置に有用である。また、工場や商業向けの機器にも同様の自動制御を行うことができるので有用である。
家電機器制御装置の構成例1を示す図 家電機器制御装置の構成例2を示す図 行動情報から予測を行い家電機器を制御するフロー図 行動に対応する家電機器の制御内容の例を示す図 行動情報の履歴から家電機器の操作内容を記憶するフロー図 時計機能を利用した行動に対応する家電機器の制御内容の例を示す図 カレンダー機能を有する家電機器制御装置のフロー図 カレンダー機能を利用した行動に対応する家電機器の制御内容の例を示す図 制御効果判定部を備えた家電機器制御装置の構成例を示す図 制御効果判断を備えた家電機器を制御するフロー図 報知機能を備えた家電機器制御装置の構成例を示す図
符号の説明
100、200、900、1100 家電機器制御装置
101 行動検出部(行動検出手段)
102 行動情報送信部(行動情報送信手段)
103 行動情報受信部(行動情報受信手段)
104 行動記憶部(行動記憶手段)
105 コントロール部(行動予測手段、機器制御手段)
200a 送信部
200b 受信部
906 制御効果判定部(制御効果判定手段)
1106 報知部(報知手段)

Claims (10)

  1. 家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段と、
    前記行動検出手段で検出した行動情報を他の行動情報を受信する行動情報受信手段を備えた装置に送信する行動情報送信手段と、
    他の行動情報送信手段を備えた装置から送信された行動情報を受信する行動情報受信手段と、
    前記行動検出手段及び前記行動情報受信手段で検出した情報を記憶するとともに該情報が記憶される順番を記憶する行動記憶手段と、
    前記行動記憶手段に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段と、
    前記行動予測手段にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備えた家電機器制御装置。
  2. 家庭内の人の行動を検出する少なくとも1つ以上の行動検出手段と、
    前記行動検出手段で検出した行動情報を送信する行動情報送信手段と、
    前記行動情報送信手段及び他の行動情報送信手段を備えた装置により送信された行動情報を受信する行動情報受信手段と、
    前記行動情報受信手段で検出した情報を記憶するとともに該情報が記憶される順番を記憶する行動記憶手段と、
    前記行動記憶手段に蓄積された過去の履歴を含む情報および順序から行動の予測を行う行動予測手段と、
    前記行動予測手段にて予測した行動に対応する家電機器の制御内容を実行する機器制御手段を備えた家電機器制御装置。
  3. 前記行動検出手段はユーザが制御した家電機器の制御情報を取得することで、前記予測した行動に対応する家電機器の制御内容及び制御タイミングを自動的に生成する請求項1または2記載の家電機器制御装置。
  4. 前記行動予測手段は時計機能を有し、前記行動記憶手段は行動の記憶と共に時刻を記憶しておくことで、前記行動予測手段は行動時刻を比較することで、行動予測を行う請求項1〜3のいずれか1項に記載の家電機器制御装置。
  5. 前記行動予測手段はカレンダー機能を有し、記行動予測手段は曜日や季節ごとに予測内容を切替ることで、行動予測を行う請求項1〜4のいずれか1項に記載の家電機器制御装置。
  6. 前記行動検出手段及び前記行動情報受信手段から取得した行動情報から、前記機器制御手段で制御した後の制御内容の効果について判定する制御効果判定手段を備え、
    前記制御効果判定手段の結果から前記行動の予測に使用しているパラメータ及び制御内容を更新する請求項1〜5のいずれか1項に記載の家電機器制御装置。
  7. 前記制御内容を実行するときに、実行の内容をユーザに報知する報知手段を備える請求項1〜6のいずれか1項に記載の家電機器制御装置。
  8. 前記行動検出手段は、家電機器の予め備えているセンサやスイッチを利用する請求項1〜7のいずれか1項に記載の家電機器制御装置。
  9. 前記行動情報送信手段及び、前記行動情報受信手段の情報通信の全てもしくは一部は無線通信である請求項1〜8のいずれか1項に記載の家電機器制御装置。
  10. コンピュータを請求項1〜9のいずれか1項に記載の家電機器制御装置の全てもしくは一部として機能させるためのプログラム。
JP2008212343A 2008-08-21 2008-08-21 家電機器制御装置及びそのプログラム Pending JP2010050664A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008212343A JP2010050664A (ja) 2008-08-21 2008-08-21 家電機器制御装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008212343A JP2010050664A (ja) 2008-08-21 2008-08-21 家電機器制御装置及びそのプログラム

Publications (1)

Publication Number Publication Date
JP2010050664A true JP2010050664A (ja) 2010-03-04

Family

ID=42067403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008212343A Pending JP2010050664A (ja) 2008-08-21 2008-08-21 家電機器制御装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP2010050664A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156952A (ja) * 2011-01-28 2012-08-16 Sharp Corp コントローラおよび制御方法
WO2013062007A1 (ja) * 2011-10-25 2013-05-02 シャープ株式会社 機器管理用装置および機器の管理方法
JP2013187599A (ja) * 2012-03-06 2013-09-19 Mega Chips Corp センサーネットワークシステム
WO2013157175A1 (ja) * 2012-04-19 2013-10-24 パナソニック株式会社 生活行動推定装置、プログラム、コンピュータ読み取り可能な記録媒体
JP2015146514A (ja) * 2014-02-03 2015-08-13 パナソニックIpマネジメント株式会社 センサ管理システム、センサ管理方法及びセンサ管理プログラム
JP2016058029A (ja) * 2014-09-12 2016-04-21 株式会社東芝 行動分析装置、行動分析方法、及びプログラム
JP2017507526A (ja) * 2013-12-30 2017-03-16 クアルコム,インコーポレイテッド デバイスアクションを開始するユーザの動きベースの予測に基づくモノのインターネット(IoT)環境におけるデバイスアクションのプリエンプティブなトリガ
KR20170121221A (ko) * 2015-02-27 2017-11-01 리서치 프론티어스 인코퍼레이티드 Spd 디바이스 및 홈 오토메이션을 위한 제어 시스템
JP2018182633A (ja) * 2017-04-19 2018-11-15 三菱電機エンジニアリング株式会社 電気機器の電源操作装置
JP2019052803A (ja) * 2017-09-15 2019-04-04 リンナイ株式会社 機器制御システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0593540A (ja) * 1991-10-01 1993-04-16 Matsushita Electric Ind Co Ltd 快適空間制御システム装置
JPH087188A (ja) * 1994-06-22 1996-01-12 Tokyo Gas Co Ltd 人間活動監視補助装置
JP2002315069A (ja) * 2001-04-17 2002-10-25 Misawa Homes Co Ltd 遠隔制御装置
JP2003111157A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 統合コントローラ、機器制御方法及び機器制御プログラム
JP2004007297A (ja) * 2002-06-03 2004-01-08 Hiroshi Sato 自動制御装置及び自動制御方法及び自動制御システム、並びに端末。
JP2005110218A (ja) * 2003-09-10 2005-04-21 Matsushita Electric Ind Co Ltd 機器連携装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0593540A (ja) * 1991-10-01 1993-04-16 Matsushita Electric Ind Co Ltd 快適空間制御システム装置
JPH087188A (ja) * 1994-06-22 1996-01-12 Tokyo Gas Co Ltd 人間活動監視補助装置
JP2002315069A (ja) * 2001-04-17 2002-10-25 Misawa Homes Co Ltd 遠隔制御装置
JP2003111157A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 統合コントローラ、機器制御方法及び機器制御プログラム
JP2004007297A (ja) * 2002-06-03 2004-01-08 Hiroshi Sato 自動制御装置及び自動制御方法及び自動制御システム、並びに端末。
JP2005110218A (ja) * 2003-09-10 2005-04-21 Matsushita Electric Ind Co Ltd 機器連携装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156952A (ja) * 2011-01-28 2012-08-16 Sharp Corp コントローラおよび制御方法
WO2013062007A1 (ja) * 2011-10-25 2013-05-02 シャープ株式会社 機器管理用装置および機器の管理方法
JP2013091949A (ja) * 2011-10-25 2013-05-16 Sharp Corp 機器管理用装置およびプログラム
JP2013187599A (ja) * 2012-03-06 2013-09-19 Mega Chips Corp センサーネットワークシステム
WO2013157175A1 (ja) * 2012-04-19 2013-10-24 パナソニック株式会社 生活行動推定装置、プログラム、コンピュータ読み取り可能な記録媒体
US9721208B2 (en) 2012-04-19 2017-08-01 Panasonic Intellectual Property Management Co., Ltd. Living activity inference device, program, and computer-readable recording medium
JPWO2013157175A1 (ja) * 2012-04-19 2015-12-21 パナソニックIpマネジメント株式会社 生活行動推定装置、プログラム、コンピュータ読み取り可能な記録媒体
JP2017507526A (ja) * 2013-12-30 2017-03-16 クアルコム,インコーポレイテッド デバイスアクションを開始するユーザの動きベースの予測に基づくモノのインターネット(IoT)環境におけるデバイスアクションのプリエンプティブなトリガ
JP2015146514A (ja) * 2014-02-03 2015-08-13 パナソニックIpマネジメント株式会社 センサ管理システム、センサ管理方法及びセンサ管理プログラム
JP2016058029A (ja) * 2014-09-12 2016-04-21 株式会社東芝 行動分析装置、行動分析方法、及びプログラム
KR20170121221A (ko) * 2015-02-27 2017-11-01 리서치 프론티어스 인코퍼레이티드 Spd 디바이스 및 홈 오토메이션을 위한 제어 시스템
JP2018511980A (ja) * 2015-02-27 2018-04-26 リサーチ フロンティアーズ インコーポレイテッド Spdデバイス及びホームオートメーションのための制御システム
US10394232B2 (en) 2015-02-27 2019-08-27 Research Frontiers Incorporated Control system for SPD device and home automation
KR102135393B1 (ko) * 2015-02-27 2020-07-20 리서치 프론티어스 인코퍼레이티드 Spd 디바이스 및 홈 오토메이션을 위한 제어 시스템
JP2018182633A (ja) * 2017-04-19 2018-11-15 三菱電機エンジニアリング株式会社 電気機器の電源操作装置
JP2019052803A (ja) * 2017-09-15 2019-04-04 リンナイ株式会社 機器制御システム

Similar Documents

Publication Publication Date Title
JP2010050664A (ja) 家電機器制御装置及びそのプログラム
US12399521B2 (en) Method and apparatus for providing energy device and system status
US12449153B2 (en) Thermostat device with improved energy optimization
US9883571B2 (en) Systems and methods of controlling light sources according to location
US8364325B2 (en) Intelligence in distributed lighting control devices
US8797159B2 (en) Occupancy sensor with stored occupancy schedule
US20130300564A1 (en) Method and apparatus for providing security device and system status
US20130245837A1 (en) System for controlling HVAC and lighting functionality
JP6909961B2 (ja) 表示方法、プログラム、及び、表示システム
EP4209119B1 (en) Determining a location for a presence sensor or light switch based on a control history
JP2005258713A (ja) ホームセキュリティシステム
JP2018181270A (ja) 表示方法、プログラム、及び、表示システム
WO2017154399A1 (ja) センサネットワークにおける機器間連携装置、機器間連携方法、機器間連携プログラムおよびこれを格納した記録媒体
EP3972391B1 (en) Modeling environmental characteristics based on sensor data obtainable in a lighting system
KR102465304B1 (ko) Ai 스위치와 ai 생활 정보기를 활용한 상황 기반 인공지능 스마트 홈 시스템
AU2016336004B2 (en) Home automation system device power optimization
JP2020031333A (ja) 家電制御システム
US20250331110A1 (en) Customizable Sensor Cluster Smart Switch
JP2016071541A (ja) 情報報知システム及び情報報知方法
CN114128219A (zh) 控制系统和控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100312

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110907

A131 Notification of reasons for refusal

Effective date: 20110913

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120221