JP2010055303A - 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置 - Google Patents

Abstract

【課題】機械学習システムの学習に重要なデータのみを選択して蓄積することが可能な学習データ管理装置及び学習データ管理方法を提供する。
【解決手段】学習データ管理装置は、制御対象機器に関する状態情報とその機器に対する所定の設定の組を学習データとして蓄積する記憶部５１と、状態情報取得部３により新たな状態情報が取得されたとき、記憶部５１に蓄積されている学習データのうち、所定の設定に関連する学習データの数から、新たな状態情報を、機械学習システムに入力して求められた制御対象機器の所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部５５と、確信度が機械学習システムを学習する必要があることを示す所定の基準を満たすとき、新たな状態情報と所定の設定の組を学習データとして記憶部５１に蓄積し、確信度が所定の基準を満たさないとき、新たな状態情報を棄却するデータ蓄積判定部５６とを有する。
【選択図】図２

Description

本発明は、学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置に関し、特に、特定の状況に対応する状態情報を、制御対象機器の設定を決める機械学習システムの学習に使用する学習データとして蓄積する学習データ管理装置、学習データ管理方法及びそれらを利用した車両用空調装置及び機器の制御装置に関する。

近年、ニューラルネットワークまたはベイジアンネットワークなどを利用した機械学習システムを用いた自動制御装置の研究が盛んに行われている。このような機械学習システムでは、対象機器を適切に制御するために、想定される各種の状況に対応するそのシステムに対する入力パラメータの値と、そのシステムにより選択されるべき各種の制御値との対応関係を正確に表すようなデータ集合を用いて機械学習システムを学習することが非常に重要である。また、その集合に含まれる学習データは、想定される各種の状況に対して、できるだけ偏りなく分布していることが望ましい。

また、機械学習システムを利用した自動制御装置には、制御対象となる装置を操作する信号及びその装置に関連して設けられた各種センサからの検知信号を学習データとして定期的に取得し、新たに学習データが取得される度に機械学習システムを学習するものもある。このように動的に学習する機械学習システムは、ユーザの操作に応じて学習するので、ユーザの好みを反映した自動制御が可能という利点を有する。しかしながら、このような機械学習システムでは、事前に適切な学習データの集合を準備することができないため、その集合に含まれる学習データが偏って分布することがある。そしてそのような集合を用いて機械学習システムを学習すると、学習された機械学習システムを搭載した自動制御装置は、ユーザの好みと一致しない不適切な制御を行うおそれがある。特に、定期的に取得された操作信号及び検知信号が全て学習データとして利用されると、多数の学習データが、定常状態（すなわち、何の操作も行われていないか、ルーチン的な操作のみが行われている状態）において取得され、それらの学習データが機械学習システムの学習にとって支配的な影響を与える。そのため、そのような学習データの集合を用いて学習された機械学習システムは、外部環境の変化、あるいはユーザの意図の変化に対して迅速に対応することができないおそれがある。そこで、このような問題に対応するために、取得された時間が古いデータほど重みを減らして学習する忘却型ヒストグラム計算装置が提案されている（例えば、特許文献１を参照）。

特開２００７−１８５３０号公報

特許文献１に開示された忘却型ヒストグラム計算装置は、全ての学習データに対して、同じように忘却のための重みを乗じている。そのため、係る忘却型ヒストグラム計算装置は、ある時点で取得された特定の操作に対応する重要な学習データ（例えば、ユーザがたまにしか行わない操作に対応する学習データ）も、時間が経過するにつれて消去してしまう。そのため、機械学習システムを適切に学習するために必要な、その特定の操作に対応した学習データを十分に蓄積できないおそれがあった。

そこで、本発明の目的は、機械学習システムの学習に重要なデータのみを選択して蓄積することが可能な学習データ管理装置及び学習データ管理方法を提供することにある。

また本発明の他の目的は、そのような学習データ管理装置または学習データ管理方法を利用することにより、特定の状況に対して適切な操作を自動的に実行可能な車両用空調装置及び機器の制御装置を提供することにある。

請求項１の記載によれば、本発明の一つの形態として、機器（２）を自動制御するために、状態情報取得部（３）により取得された当該機器（２）に関する少なくとも一つの状態情報を入力することにより、その機器（２）を所定の設定にする推薦度を求める機械学習システムの学習に用いる学習データを蓄積する学習データ管理装置が提供される。係る学習データ管理装置は、状態情報と所定の設定の組を学習データとして蓄積する記憶部（５１）と、状態情報取得部（３）により新たな状態情報が取得されたとき、記憶部（５１）に蓄積されている学習データのうち、所定の設定に関連する学習データの数から、その新たな状態情報を機械学習システムに入力して求められた所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、確信度が機械学習システムを学習する必要があることを示す所定の基準を満たすとき、新たな状態情報と所定の設定の組を学習データとして記憶部（５１）に蓄積し、確信度が所定の基準を満たさないとき、新たな状態情報を棄却するデータ蓄積判定部（５６）とを有する。係る構成を有することにより、本発明に係る学習データ管理装置は、所定の設定項目に関連する機械学習システムの学習が不十分な場合の状態情報のみを選択し、学習データとして蓄積することができる。

また請求項２の記載によれば、確信度算出部（５５）は、状態情報と所定の設定に対応する学習データの数または推薦度が高くなるにつれて、確信度も高くなる関数を用いて確信度を求めることが好ましい。
この場合において、請求項３の記載によれば、その関数は、所定の設定に関連する学習データの数及び推薦度を入力とし、推薦度の所定の値に対する確信度を出力とするベータ分布またはディリクレ分布を含むことが好ましい。
これにより、機械学習システムが十分に学習されている場合は確信度が高く、機械学習システムの学習が不十分な場合は確信度が低くなるので、学習データ管理装置は、状態情報を学習データとして蓄積するか否かの判断基準となる確信度を適切に算出することができる。

また請求項４の記載によれば、データ蓄積判定部（５６）は、所定の設定の推薦度に関して求められた最新の確信度と、所定の設定の推薦度に関して求められた１回前の確信度との差の絶対値が、機械学習システムを学習することによって所定の設定の推薦度が変動することに対応する第１の閾値よりも大きいとき、所定の基準を満たすと判定することが好ましい。係る構成を有することにより、学習データ管理装置は、状態情報を学習データとして蓄積すべきか否かを適切に判定することができる。

あるいは請求項５の記載によれば、データ蓄積判定部（５６）は、所定の設定の推薦度に関して求められた最新の確信度が、その推薦度が適切であることに対応する第２の閾値以下のとき、所定の基準を満たすと判定することが好ましい。係る構成を有することにより、学習データ管理装置は、状態情報を学習データとして蓄積すべきか否かを適切に判定することができる。

また請求項６の記載によれば、本発明の他の形態として、機器の制御装置が提供される。係る制御装置は、制御対象となる機器（２）に関する少なくとも一つの状態情報を取得する状態情報取得部（３）と、少なくとも一つの状態情報を機械学習システムに入力することにより、機器（２）を所定の設定にする推薦度を算出する推論部（５３）と、推薦度に従って機器（２）を制御する制御部（５４）と、状態情報と所定の設定の組を学習データとして蓄積する記憶部（５１）と、状態情報取得部（３）により新たな状態情報が取得されたとき、記憶部（５１）に蓄積されている学習データのうち、所定の設定に関連する学習データの数から、その新たな状態情報を機械学習システムに入力して求められた所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、確信度が機械学習システムを学習する必要があることを示す所定の基準を満たすとき、新たな状態情報と所定の設定の組を学習データとして記憶部（５１）に蓄積し、確信度がその所定の基準を満たさないとき、新たな状態情報を棄却するデータ蓄積判定部（５６）と、記憶部（５１）に蓄積された学習データを用いて機械学習システムを学習する学習部（５７）とを有する。係る構成を有することにより、本発明に係る制御装置は、所定の設定項目に関連する機械学習システムの学習が不十分な場合の状態情報のみを選択し、学習データとして蓄積することができる。そのため、係る制御装置は、適切な学習データセットを用いて機械学習システムを学習できるので、特定の状況に対して適切な設定操作を自動的に実行することができる。

また請求項７の記載によれば、本発明のさらに他の形態として、車両用空調装置が提供される。係る空調装置は、空調空気を車両内に供給する空調部（２）と、車両に関する少なくとも一つの状態情報を取得する状態情報取得部（３）と、少なくとも一つの状態情報を機械学習システムに入力することにより、空調部（２）を所定の設定にする推薦度を算出する推論部（５３）と、推薦度に従って空調部（２）を制御する空調制御部（５４）と、状態情報と所定の設定の組を学習データとして蓄積する記憶部（５１）と、状態情報取得部（３）により新たな状態情報が取得されたとき、記憶部（５１）に蓄積されている学習データのうち、所定の設定に関連する学習データの数から、その新たな状態情報を機械学習システムに入力して求められた所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、確信度が機械学習システムを学習する必要があることを示す所定の基準を満たすとき、その新たな状態情報と所定の設定の組を学習データとして記憶部（５１）に蓄積し、確信度がその所定の基準を満たさないとき、新たな状態情報を棄却するデータ蓄積判定部（５６）と、記憶部（５１）に蓄積された学習データを用いて機械学習システムを学習する学習部（５６）とを有する。本発明に係る車両用空調装置は、所定の設定項目に関連する機械学習システムの学習が不十分な場合の状態情報のみを選択し、学習データとして蓄積することができる。そのため、係る車両用空調装置は、適切な学習データセットを用いて機械学習システムを学習できるので、特定の状況に対して適切な設定操作を自動的に実行することができる。

さらに請求項８の記載によれば、本発明のさらに他の形態として、機器（２）を自動制御するために、状態情報取得部（３）により取得されたその機器（２）に関する少なくとも一つの状態情報を入力することにより、その機器（２）を所定の設定にする推薦度を求める機械学習システムの学習に用いる学習データを記憶部（５１）に蓄積する学習データ管理方法が提供される。係る学習データ管理方法は、状態情報取得部（３）により新たな状態情報が取得されたとき、記憶部（５１）に既に蓄積されている学習データのうち、所定の設定に関連する学習データの数から、その新たな状態情報を機械学習システムに入力して求められた所定の設定の推薦度の確からしさを表す確信度を算出するステップと、確信度が機械学習システムを学習する必要があることを示す所定の基準を満たすとき、新たな状態情報と所定の設定の組を新たな学習データとして記憶部（５１）に蓄積し、確信度がその所定の基準を満たさないとき、新たな状態情報を棄却するステップと、を含む。本発明に係る学習データ管理方法は、所定の設定項目に関連する機械学習システムの学習が不十分な場合の状態情報のみを選択し、学習データとして蓄積することができる。

なお、上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

以下、本発明に係る学習データ管理装置を車載空調装置の自動制御に適用した例について説明する。
本発明の一つの実施形態に係る空調装置は、特定の設定操作に関する推薦度を求める機械学習システムを用いて、周囲の状況に応じて設定を自動的に修正するものである。そして係る空調装置は、その周囲の状況を表す状態情報を機械学習システムの学習に用いられる学習データとして蓄積する際、学習データとして蓄積され得る状態情報のうち、十分な数のサンプルが得られたものについては棄却し、サンプル数の少ないものだけを蓄積する。

図１は、本発明の一つの実施形態に係る空調装置１の全体構成を示す概略構成図である。図１に示すように、空調装置１は、主に機械的構成からなる空調部２と、車両に関する状態情報を取得するための情報取得部３と、操作部として機能する操作パネル４と、空調装置１の各部を制御する制御部５を有する。

空調部２は、車内の空気または車外から取り入れた空気を冷却し、または暖めて、車内に供給する。そのために、空調部２は、冷媒を冷却するための冷凍サイクル（例えば、コンプレッサ、レシーバ、膨張弁などで構成される）と、車内または車外から空気を取り入れるための吸気口およびブロアファンと、取り入れた空気と冷媒との間で熱交換するためのエバポレータと、取り入れた空気を暖房するためのヒータコアと、ヒータコアを通過した空気とヒータコアを迂回した空気の混合比率を調整して空調空気を得るためのエアミックスドアと、空調空気を車内に送出するための吹き出し口を有する。
なお、空調部２として、車載用空調装置に使用される周知の様々な構成を採用することができるため、ここでは、空調部２の構造の詳細な説明を省略する。

情報取得部３は、車両に関する各種の状態情報を取得する少なくとも一つのセンサを有する。本実施形態では、情報取得部３が有する代表的なセンサとして、内気温センサ、外気温センサ、日射センサがある。内気温センサは、車室内の温度（内気温）Trを測定するために、ハンドル近傍のインストルメントパネルなどにアスピレータとともに設置される。また、外気温センサは、車室外の温度（外気温）Tamを測定するために、車両前方のラジエターグリルに設置される。さらに、車室内に照りつける日射光の強さ（日射量）Sを測定するために、日射センサが車室内のフロントガラス近傍に取り付けられる。

さらに情報取得部３は、車室内に、湿度センサ、ドライバ及び同乗者の顔を撮影するための１台以上の車内カメラ、車外の様子を撮影する車外カメラ、乗員の生体情報を取得するための体温センサあるいは排気ガスの臭気を測定するための排ガスセンサなどを有してもよい。さらに情報取得部３は、ナビゲーションシステムなどの車載機器をセンサとして有してもよい。例えば、ナビゲーションシステムは、車両の現在位置、進行方向、周辺地域情報、Ｇｂｏｏｋ情報などの位置情報を状態情報として取得してもよい。また、車載機器は、曜日、現在時刻などの時間情報を状態情報として取得してもよい。さらに、車載機器は、アクセル開度、ハンドル、ブレーキ、パワーウインドウ開度、ワイパー、ターンレバー若しくはカーオーディオのＯＮ／ＯＦＦなどの各種操作情報、及び車速、車両挙動情報などを状態情報として取得してもよい。
情報取得部３は、定期的（例えば、１秒毎、４秒毎、１分毎など）に一つ以上の状態情報を取得する。あるいは、情報取得部３は、ユーザが空調装置に対する設定操作を行ったときに、制御部５からの情報取得要求に従って一つ以上の状態情報を取得する。そして、情報取得部３は、その取得された状態情報を制御部５へ渡す。

操作パネル４は、自動制御の対象となる空調装置に対する設定操作を行うための操作部であり、例えば、空調装置１の設定情報を調整するための各種のスイッチと、設定情報を表示するための表示部などを有する。そして操作パネル４は、ユーザが空調装置に対して何等かの設定を変更する操作（例えば、設定温度を変える、風量または風向きを調整する、内気循環モードまたは外気導入モードに設定する等）を行ったことを検知すると、その操作内容を表す信号を制御部５へ送信する。例えば、設定情報には、車内の設定温度Tset、風量W、吸気設定モード（内気循環モードまたは外気導入モード）、風向き設定などが含まれる。

図２は、空調装置１の制御部５の機能ブロック図である。
制御部５は、図示していないＣＰＵ，ＲＯＭ，ＲＡＭ等からなる１個もしくは複数個の図示してないマイクロコンピュータ及びその周辺回路と、電気的に書き換え可能な不揮発性メモリ等からなる記憶部５１と、情報取得部３の各センサなどとコントロールエリアネットワーク（ＣＡＮ）のような車載通信規格に従って通信する通信部５２を有する。そして記憶部５１は、制御部５で実行されるプログラム、そのプログラムが使用する各種設定パラメータなどを記憶する。また記憶部５１は、機械学習システムの構造を表すデータ及び機械学習システムの学習に用いられる学習データセットを記憶する。

さらに、制御部５は、このマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、推論部５３、空調制御部５４、確信度算出部５５、データ蓄積判定部５６及び学習部５７を有する。
以下、制御部５の動作を詳細に説明する。

推論部５３は、空調装置１について、特定の状況に応じて最適と考えられる設定の確からしさを表す推薦度を、機械学習システムに基づいて算出する。本実施形態では、機械学習システムとして、ベイジアンネットワークによる確率モデルを用いた。ベイジアンネットワークは、複数の事象の確率的な因果関係をモデル化するものであり、各ノード間の伝播を条件付き確率で求める、非循環有向グラフで表されるネットワークである。なお、ベイジアンネットワークの詳細については、本村陽一、岩崎弘利著、「ベイジアンネットワーク技術」、初版、電機大出版局、２００６年７月、繁桝算男他著、「ベイジアンネットワーク概説」、初版、培風館、２００６年７月、又は尾上守夫監修、「パターン識別」、初版、新技術コミュニケーションズ、２００１年７月などに開示されている。

図３に、本実施形態において使用される確率モデルの一例を示す。図３に示す確率モデル３００は、空調装置１の自動制御に使用され、車両の位置及び時刻に基づいて、空調装置１を内気循環モードまたは外気導入モードの何れかに設定する推薦度を確率として出力する。そのために、確率モデル３００は、２個の入力ノード３０１、３０２と、１個の出力ノード３０３を有し、各入力ノードがそれぞれ出力ノード３０３に接続されている。また、各入力ノード３０１、３０２には、それぞれ入力される状態情報として時間帯（x₁）、現在位置（x₂）が与えられる。そして、出力ノード３０３は、外気導入モードに設定する確率P(x₃=True|x₁,x₂)及び内気循環モードに設定する確率P(x₃=False|x₁,x₂)を出力する。なお、P(x₃=False|x₁,x₂)は、(1-P(x₃=True|x₁,x₂))と等しい。

図３に示す条件付確率表（以下、ＣＰＴという）３１１及び３１２は、それぞれ、入力ノード３０１及び３０２に対応し、入力される状態情報に対して入力ノード３０１、３０２が出力する事前確率を規定する。またＣＰＴ３１３は、出力ノード３０３に対応し、出力ノード３０３が出力する確率を、各入力ノードの状態情報の値の組ごとに割り当てられた条件付き確率分布として規定する。

ここで、時間帯が朝（x₁=1）、現在位置がユーザの自宅の近く（x₂=1）と各入力ノードに与えられる情報が全て既知の場合、空調装置を外気導入モードに設定する確率P(x₃=True|x₁=1,x₂=1)及び内気循環モードに設定する確率P(x₃=False|x₁=1,x₂=1)は、ＣＰＴ３１３より、それぞれ、0.95、0.05となる。一方、時間帯が夜（x₁=2）、現在位置が国道上（x₂=3）の場合、空調装置を外気導入モードに設定する確率P(x₃=True|x₁=2,x₂=3)及び内気循環モードに設定する確率P(x₃=False|x₁=2,x₂=3)は、ＣＰＴ３１３より、それぞれ、0.33、0.67となる。なお、時間帯または現在位置が何らかの理由で取得できない場合には、推論部５３は、ＣＰＴ３１１またはＣＰＴ３１２を参照して、その取得不可能な状態情報の事前確率を求め、確率伝播法により、その事前確率を用いてそれぞれの確率P(x₃=True|x₁,x₂)、P(x₃=False|x₁,x₂)を算出することができる。

なお、上記の例では、推論部５３は、簡単化のために２層のネットワーク構成を有する確率モデルを使用した。しかし推論部５３は、中間層を含む３層以上のネットワーク構成を有する確率モデルを使用してもよい。また、入力ノードの数、入力ノードに与えられる状態情報の種類及び状態情報の値の区分も、上記の例に限られない。
さらに、推論部５３は、パーセプトロン型のニューラルネットワークなど、他の公知の様々な機械学習システムを採用することができる。

推論部５３は、得られた推薦度にしたがって、設定温度T_set、風量Wなどの空調部２の設定パラメータを修正する。例えば、推論部５３は、空調装置を内気循環モードに設定する操作に対して得られた推薦度が所定の閾値よりも高い場合、推論部５３は、吸気設定モードに関する設定パラメータを内気循環モードに設定する。あるいは、推論部５３は、特定の設定項目に含まれる全ての設定パラメータの値（例えば、設定項目は設定温度T_setであり、設定パラメータの値は設定温度T_setが取り得る２５℃、２６℃などの各値）のうち、対応する推薦度が最も高くなる値となるように、設定パラメータを修正する。そして、推論部５３は、上記の処理によって、各設定パラメータを必要に応じて修正すると、それらの設定パラメータを制御部５の各部で利用可能なように、制御部５のＲＡＭに一時的に記憶する。

空調制御部５４は、各設定情報及び各センサから取得したセンシング情報をＲＡＭから読み出し、それらの値に基づいて、空調部２を制御する。その際、推論部５３によって修正された設定パラメータが記憶されている場合、空調制御部５４は、その修正された設定パラメータを使用する。
具体的には、空調制御部５４は、設定温度T_set及び各温度センサ及び日射センサの測定信号に基づいて、各吹き出し口から送出される空調空気の必要吹出口温度（空調温度T_ao）を決定する。その後、空調制御部５４は、その空調空気の温度が空調温度T_aoとなるように、エアミックスドアの開度を決定する。そして空調制御部５４は、エアミックスドアがその開度になるように、エアミックスドアを動かすための温調サーボモータへ、制御信号を送信する。

また空調制御部５４は、空調温度T_ao、設定温度T_set及びエバポレータ出口温度などに基づいて、冷凍サイクルを構成するコンプレッサのＯＮ／ＯＦＦを制御する。空調制御部５４は、車内を冷房する場合、あるいは、デフロスタを作動させる場合などには、原則としてコンプレッサを作動させ、冷凍サイクルを作動させる。

さらに空調制御部５４は、空調温度T_ao、設定温度T_setなどに基づいて、風量及び各吹き出し口から送出される空調空気の風量比を求める。そして空調制御部５４は、決定した風量に対応するように、空調部２のブロアファンの回転数を調整する。また空調制御部５４は、その風量比に対応するように、各吹き出し口の開度を決定する。さらにまた、空調制御部５４は、空調温度T_ao、設定温度T_set、内気温T_rなどに基づいて、空調装置１が内気吸気口から吸気する空気と外気吸気口から吸気する空気の比率を設定する。

空調制御部５４は、空調温度T_aoを決定するために、例えば、設定温度T_set、内気温T_r、外気温T_am及び日射量Sと空調温度T_aoの関係を表した温調制御式を使用する。また空調制御部５４は、風量Wを決定するために、例えば、設定温度T_set、内気温T_r、外気温T_am及び日射量Sと風量Wの関係を表した風量制御式を使用する。あるいは、空調制御部５４は、空調温度T_ao及び風量Wを決定するために、周知の様々な制御方法を用いることができる。同様に、空調制御部５４は、風量比の決定、コンプレッサのＯＮ／ＯＦＦ制御、吸気比の決定についても、周知の様々な制御方法を用いることができる。そのため、それらの制御方法の詳細な説明は省略する。

確信度算出部５５は、情報取得部３により取得された状態情報を学習データとして蓄積する必要があるか否かを判定するための基準値として、その状態情報について、特定の設定操作を行う推薦度の確からしさを表す確信度rを算出する。ここで、推薦度を求める機械学習システムを学習する必要があるのは、以下に示す場合であると考えられる。
（１）特定の状況に対応する設定操作の推薦度が低い。例えば、特定の状況における空調装置の設定が一定でない場合がある。このような場合、その特定の状況において取得された状態情報を用いて機械学習システムが学習されると、機械学習システムは、その特定の状況に対してどの設定が最適か適切に判定できず、どの設定操作に対しても低い推薦度を出力する。そのため、ユーザにとって適切な設定操作が推薦されない可能性が高い。そこで、特定の状況に対応する設定操作の推薦度が低い場合は、機械学習システムを学習する必要があると考えられる。
（２）特定の状況に対応する学習データの数が少ない。このような場合、それら学習データに基づいて、ユーザがその特定状況に対してどのような設定を好むかを特定できない可能性がある。そこで特定の状況に対応する学習データの数が少ない場合は、機械学習システムを学習する必要があると考えられる。

取得された状態情報が、特定の設定項目に関して上記の（１）または（２）に該当する場合、その状態情報の組を学習データとして蓄積し、（１）及び（２）の何れにも該当しない場合、その状態情報の組を棄却することが好ましい。そこで、確信度算出部５５は、上記の（１）または（２）に該当するか否かの基準として、記憶部５１に記憶されている学習データのうちの特定の設定項目に関する学習データの数から、以下の式に基づいて確信度rを算出する。

ここで、a_s、a_nは、それぞれ、所定の一つ以上の状態情報に対して、空調装置１の特定の設定項目について取り得る値s、nについて、学習データとして記憶部５１に蓄積されている数である（例えば、設定項目が吸気設定モードである場合、a_sは空調装置の外気導入モードに設定された回数であり、a_nは内気循環モードに設定された回数である）。またｆは、推論部５３で求められる推薦度に対応する変数である。またΒ(x,y)はベータ関数であり、Γ(x)はガンマ関数である。さらに、cmax、cminは、それぞれ、確信度rの算出対象とする推薦度fの上限及び下限を表す。例えば、特定の設定項目の値sに設定する操作が推薦される場合の確からしさを求めたい場合、cmaxを推薦度の最高値（例えば、1）に設定し、cminを推薦度の最高値と最低値の平均値（例えば、0.5）あるいはその値sに設定する操作が推薦される推薦度の下限値（例えば、0.6あるいは0.9など）に設定することができる。また、特定の設定項目の値sに設定する操作に対する所定の推薦度f₀の確からしさを求めたい場合、cmax、cminを、それぞれ、その推薦度f₀に所定のマージン値m（例えば、0.05）を加えた値及びその推薦度f₀からマージン値mを差し引いた値に設定することができる。

（１）式から明らかなように、確信度rは、特定の状況において推薦される設定操作に対応する学習データ数と推薦度を入力とするベータ分布の積分値として得られる。そのため、確信度rは、推薦度fが高いほど、あるいは、a_s、a_nの合計が多いほど高い値となる。したがって、確信度rは、取得された状態情報の組が上記の（１）または（２）に該当する場合、相対的に低い値となる。一方、取得された状態情報の組が（１）及び（２）の何れにも該当しない場合、確信度rは相対的に高い値となる。

なお、空調装置１の特定の設定項目について取り得る値が３値以上ある場合（例えば、空調装置の設定温度が設定項目である場合）、確信度算出部５５は、上記の（１）における関数ρ(f)としてディリクレ分布を用いればよい。ρ（ｆ）は学習パラメータを分布で
表現したときの推薦度ｆの分布に相当する。２層ベイジアンネットにおいては、学習パラメータはＣＰＴと１対１に対応するため、ρ（ｆ）はベータ分布（ディリクレ分布）を設定することが好ましい。一般的な機械学習システムにおいても同様に、その学習パラメータに適した分布を設定し、その推薦度ｆの分布をρ(f)とすることが好ましい。
また、それに限らず、確信度算出部５５は、確信度rを算出するために、所定の設定に関連する学習データの数または推薦度fが高くなるにつれて、確信度rも高くなる他の関数を用いてもよい。
確信度算出部５５は、情報取得部３により、状態情報が取得される度に確信度rを算出する。そして確信度算出部５５は、求めた確信度rを取得された状態情報及び設定項目と関連付けて記憶部５１に記憶する。

データ蓄積判定部５６は、確信度算出部５５により算出された確信度rに基づいて、情報取得部３により取得された一つ以上の最新の状態情報を学習データとして記憶部５１に蓄積するか、あるいは棄却するかを判定する。そのために、データ蓄積判定部５６は、情報取得部３により状態情報が取得される度に、その状態情報及び特定の設定操作に対して求められた最新の確信度r^t及び同じ状態情報及びその特定の設定操作に対して１回前に求めた確信度r^t-1を記憶部５１から読み出す。そしてデータ蓄積判定部５６は、取得された状態情報を学習データとして蓄積するか否かの判定基準として、確信度の変化量Eを算出する。なお、変化量Eは以下の式に基づいて算出される。

変化量Eが小さい場合、その特定の設定操作に対して、機械学習システムは十分に学習されていると考えられる。そこで、データ蓄積判定部５６は、変化量Eが、所定の閾値Th1よりも小さい場合、最新の状態情報を棄却する。なお、所定の閾値Th1は、これ以上機械学習システムを学習しても、得られる推薦度fの値はほとんど変化しない場合に対応する変化量Eの値（例えば、0.1）として設定される。
一方、変化量Eが大きい場合、その状態情報の値の組に対して、機械学習システムは十分に学習されていないと考えられる。そこで、データ蓄積判定部５６は、変化量Eが閾値Th1以上の場合、その状態情報に推薦度を算出した設定操作を関連付けて、記憶部５１に学習データとして蓄積する。

あるいは、データ蓄積判定部５６は、確信度rの値そのものに基づいて最新の一つ以上の状態情報を蓄積するか否かを判定してもよい。最新の状態情報に対する特定の設定操作に関連する最新の確信度r^tが所定の閾値Th2よりも高い場合、データ蓄積判定部５６はその状態情報の値の組を棄却する。なお、閾値Th2は、その状態情報の値の組と推薦度fを算出した設定操作に関して、所定の設定の推薦度が適切であることに対応する確信度rの値に設定される。一方、その最新の確信度rが閾値Th2以下の場合、データ蓄積判定部５６はその状態情報の値の組に推薦度を算出した設定操作を関連付けて、記憶部５１に学習データとして蓄積する。なお、その推薦度が適切か否かは、得られた推薦度に従って空調装置１の設定を変更した後の所定期間内（例えば、１分間）に、乗員が操作パネル４を通じて自動修正された設定を異なる設定にさらに変更した回数に基づいて判定することができる。例えば、乗員が再修正した回数が、自動修正を行った回数に占める割合が５０％を超えるとき、その推薦度は不適切であるとして、確信度の値と推薦度が不適切と判定されるときの関係を予め実験により調べることで、閾値Th2を決定することができる。
さらにデータ蓄積判定部５６は、上記の両方の判定基準について調べ、どちらか一方の判定基準を満たせば、状態情報を記憶部５１に学習データとして蓄積するようにしてもよい。

学習部５７は、記憶部５１に蓄積された学習データセットを用いて、推論部５３の機械学習システムを学習する。本実施形態では、機械学習システムとしてベイジアンネットワークを用いている。そこで、学習部５７は、特定の設定項目に含まれる各設定に対する推薦度を出力するベイジアンネットワークの各ノードに対応するＣＰＴを更新するために、学習データセットに含まれる学習データのうち、特定の設定項目に関連する学習データを抽出する。そして学習部５７は、抽出された学習データから、学習対象となるベイジアンネットワークの入力パラメータとなる状態情報の値の区分ごとに、その特定の設定項目の各設定値の出現頻度を表したクロス集計表（以下、ＣＴＴという）を作成する。そして学習部５７は、各状態情報の値の区分に含まれる、その特定の設定項目の各設定値の出現頻度を、全ての設定値の出現頻度の合計で除することにより、入力パラメータとなる状態情報の値の区分ごとに、その特定の設定項目の各設定値に対する確率を求めて、ＣＰＴを更新する。

なお、学習部５７は、予めグラフ構造が定められた複数の確率モデルに対して、上記と同様にそれぞれＣＰＴを求めてもよい。そして学習部５７は、それら複数の確率モデルに対して情報量基準を算出し、その情報量基準の値が最適となる確率モデルを選択してもよい。この場合において、学習部５７は、情報量基準として、ＡＩＣ（赤池情報量基準）、ベイズ情報量基準（ＢＩＣ）、竹内情報量基準（ＴＩＣ）、最小記述長（ＭＤＬ）基準などを用いることができる。

さらに、学習部５７は、他の公知の様々な方法を用いて、機械学習システムを学習してもよい。例えば、学習部５７は、Ｋ２アルゴリズムや遺伝的アルゴリズムを用いてベイジアンネットワークのグラフ構造の探索を行うようにしてもよい。例えば遺伝的アルゴリズムを用いる場合には、各ノード間の接続の有無を各要素とする遺伝子を複数準備する。そして、学習部５７は、上記の情報量基準を用いて各遺伝子の適応度を計算する。その後、学習部５７は、適応度が所定以上の遺伝子を選択し、交叉、突然変異などの操作を行って次の世代の遺伝子を作成する。学習部５７は、このような操作を複数回繰り返して、最も適合度の高い遺伝子を選択する。そして学習部５７は、選択された遺伝子で記述されるグラフ構造をベイジアンネットワークに使用する。
また、機械学習システムとしてパーセプトロン型のニューラルネットワークが採用されている場合、学習部５７は、バックプロパゲーションアルゴリズムを用いて機械学習システムを学習することができる。
学習部５７は、学習した機械学習システムに関連するデータ（確率モデルのグラフ構造、各ノードに対応するＣＰＴなど）を記憶部５１に記憶する。

以下、図４に示したフローチャートを参照しつつ、本発明の一つの実施形態に係る空調装置１の学習処理について説明する。なお、この学習処理は、制御部５により実行される。

先ず、情報取得部３により、一つ以上の状態情報が取得され、制御部５に渡される（ステップＳ１０１）。制御部５の推論部５３は、状態情報を受け取ると、利用可能な機械学習システムにその状態情報を入力して、その機械学習システムに対応する設定項目の各設定に対する推薦度を算出する（ステップＳ１０２）。次に、制御部５の確信度算出部５５は、推論部５３により算出された推薦度に対応する設定に関連する学習データの数から、確信度を算出する（ステップＳ１０３）。

次に、制御部５のデータ蓄積判定部５６は、算出された確信度に基づいて、取得された状態情報を学習データとして蓄積するための判定基準が満たされるか否か判定する（ステップＳ１０４）。例えば、データ蓄積判定部５６は、上記のように、確信度の変化量Eが所定の閾値以上である場合、判定基準は満たされ、確信度の変化量Eが所定の閾値未満の場合、判定基準は満たされないと判定する。

ステップＳ１０４において、データ蓄積判定部５６が上記の判定基準は満たされないと判定した場合、制御部５は学習処理を終了する。一方、ステップＳ１０４において、データ蓄積判定部５６は上記の判定基準は満たされると判定した場合、取得された状態情報を推薦度を算出した設定と関連付けて、学習データとして記憶部５１に蓄積する（ステップＳ１０５）。そして、制御部５の学習部５７は、新たに蓄積された学習データ及び既に記憶部５１に記憶されている学習データを用いて、機械学習システムを学習する（ステップＳ１０６）。その後、制御部５は学習処理を終了する。
なお、利用可能な機械学習システムが複数存在する場合、制御部５は、機械学習システムのそれぞれごとに、上記のステップＳ１０２〜Ｓ１０６の処理を実行する。そして、複数の機械学習システムに対して、学習データとして蓄積する判定基準が満たされる場合、ステップＳ１０１で得られた状態情報は、それら各機械学習システムごとに蓄積される。一方、何れの機械学習システムに対しても、学習データとして蓄積する判定基準が満たされない場合、ステップＳ１０１で得られた状態情報は、空調処理に使用された後、棄却される。また制御部５は、新たな状態情報が取得される度に、この学習処理を実行する。

以下、図５に示したフローチャートを参照しつつ、本発明の一つの実施形態に係る空調装置１の空調処理について説明する。なお、この空調処理は、制御部５により実行され、上記の学習処理と独立して動作する。

図５に示すように、まず、エンジンスイッチがＯＮとなると、制御部５は、空調装置１を稼動させる。そして、通信部５２を通じて、情報取得部３から各状態情報を取得する（ステップＳ２０１）。

次に、制御部５の推論部５３は、利用可能な機械学習システムに、取得した状態情報の値を入力することにより、その機械学習システムに対応する設定項目の各設定についての推薦度を算出する（ステップＳ２０２）。そして推論部５３は、得られた推薦度を所定の閾値と比較する（ステップＳ２０３）。推薦度がその閾値（例えば、0.9）以上の場合、推論部５３は、その設定となるように、対応する空調装置１の設定パラメータを修正する（ステップＳ２０４）。そして、制御部５の空調制御部５４は、必要に応じて修正された設定パラメータに基づいて空調部２を制御する（ステップＳ２０５）。具体的には、空調制御部５４は、所望の空調温度、風量などが得られるように、空調部２のエアミックスドア、ブロアファンの回転数、各吹き出し口のドアの開度などを調節する。
一方、ステップＳ２０３において、推薦度がその閾値未満の場合、推論部５３は、空調装置１の設定パラメータを修正せず、この場合、空調制御部５４は、通常の空調制御処理にしたがって空調部２を制御する（ステップＳ２０６）。なお、利用可能な機械学習システムが複数存在する場合、制御部５は、機械学習システムのそれぞれごとに、上記のステップＳ２０２〜Ｓ２０６の処理を実行する。

以後、制御部５は、稼動停止となるまで、一定の時間間隔で、上記のステップＳ２０１〜Ｓ２０６の処理を繰り返す。

以上説明してきたように、本発明に係る学習データ管理装置を適用した空調装置は、新たに状態情報が取得される度に、機械学習システムにより求められた所定の設定に対する推薦度と、その設定に関連する学習データの数を入力とするベータ分布またはディリクレ分布に基づいて、その推薦度の確からしさを表す確信度を算出する。そして、係る空調装置は、その確信度に基づいて、取得された状態情報を機械学習システムを学習するための学習データとして蓄積するか否か判定する。そのため、係る空調装置は、機械学習システムが十分に学習されていない場合に対応する状態情報のみを学習データとして蓄積することができる。従って、係る空調装置は、定常的な状態において得られた学習データが、機械学習システムの学習において支配的な影響を及ぼすことを防止できるので、外部環境の変化、あるいはユーザの意図または好みの変化に対して迅速に推薦する設定を変えることができる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、空調装置は、既に蓄積されている学習データセットの中から、無視する対象となった状態情報と設定情報の組に対応する学習データの一部または全てを消去してもよい。

さらに、上記の実施形態では、推論部５３は、機械学習システムに基づいて修正するパラメータを、設定温度及び風量など、操作部４を通じて乗員が直接設定できる設定パラメータとした。しかし、推論部５３は、温調制御式を用いて算出される空調温度T_ao若しくは風量制御式を用いて算出されるブロアファンの回転数、エアミックスドアの開度など、空調部２の各部の動作に直接関連する制御パラメータを修正してもよい。

また、空調装置１は、所定の設定操作を実行すべき確率を計算するための機械学習システムを、事前に登録されたユーザ毎に別個に生成して使用するようにしてもよい。同様に、空調装置１は、ユーザ毎に別個に学習データセットを記憶してもよい。この場合、空調装置１は、乗員を識別するための機構を別途有し、その機構によって乗員と識別された登録済みユーザに関連付けられた機械学習システム及び学習データセットのみを使用する。なお、乗員を識別するための機構として、例えば、乗員の顔画像を取得するカメラと、乗員の顔画像と登録済みユーザの顔画像とを、パターンマッチングなどにより比較照合する、制御部上で動作するソフトウェアモジュールとを用いることができる。

また本発明は、空調装置に限らず、他の装置、あるいは、制御対象となる機器について、特定の状況が生じたときに、機械学習システムに基づいて何等かの設定を自動的に修正するとともに、その機械学習システムを逐次学習する制御装置に適用できる。例えば、本発明を、カーオーディオに適用することができる。この場合において、乗員が、渋滞情報を知らせるＡＭ放送が受信できる地点に近づく度に、そのＡＭ放送を選局する操作を行うとする。このとき、その地点に相当する車両の位置情報とＡＭ放送を選局する設定操作の組み合わせが、学習データとして蓄積される。そして、学習データが十分に蓄積されると、車両の位置情報に基づいて、ＡＭ放送を選局する設定操作に対する推薦度が高くなるように機械学習システムが学習され、カーオーディオは、ＡＭ放送が受信できる地点に近づくと自動的にそのＡＭ放送を選局するようになる。しかし、機械学習システムが十分に学習された後においては、本発明に従って、その地点に相当する車両の位置情報が取得されても、その位置情報は学習データとして蓄積されなくなる。このため、既に蓄積されている、その地点に相当する車両の位置情報とＡＭ放送を選局する設定操作の組み合わせの学習データの数が不必要に多くなることはない。

一方、その後において上記と同じ地点を通る度に乗員があるＦＭ放送を選局するようになると、本発明を適用したカーオーディオは、その地点に相当する車両の位置情報とそのＦＭ放送を選局する設定操作の組み合わせが、学習データとして蓄積される。そのため、車両の位置情報に基づいて、そのＦＭ放送を選局する設定操作についての推薦度が高くなるように機械学習システムが迅速に再学習される。そして、カーオーディオは、その地点に近づくと自動的にそのＦＭ放送を選局するようになる。
また、自動制御によって行われる設定操作は、カーオーディオが制御対象機器である場合、カーオーディオの電源を入れる／切る、ＣＤを操作する、ボリュームを調整する等であってもよい。

さらに本発明は、車両におけるボディー制御、例えば、パワーウィンドウ、キーロック、ヘッドライト、ハザードランプ、ミラー、給油口、サンルーフ、ワイパー、車間自動制御システム（ＡＣＣ）、電子制御サスペンション（ＡＶＳ）、シフトなどの制御に使用することができる。また、制御対象となる機器が車両自体である場合、自動制御によって行われる設定操作は、車両の運転操作、例えば、ブレーキペダルを踏む、加速／減速する、ワイパーを動かす、パワーウインドウを開ける／閉じるといった操作であってもよい。

さらに、本発明は、車載機器に限られず、機械学習システムを利用して、ユーザの好みに応じて設定が修正される他の機器にも適用できる。

またさらに、本発明に係る学習データ管理装置は、自動制御の対象となる機器、あるいはそのような機器を制御する制御装置と独立して設けられ、学習データ管理装置と制御装置との間で必要な情報を互いに送受信するように構成されてもよい。この場合において、学習データ管理装置は、上述した実施形態における各部のうち、記憶部、確信度算出部及びデータ蓄積判定部のみを有してもよい。あるいは、学習データ管理装置は、記憶部、確信度算出部、データ蓄積判定部及び学習部のみを有してもよい。
上記のように、当業者は、本発明の範囲内で様々な修正を行うことが可能である。

本発明の学習データ管理装置を適用した空調装置の概略構成図である。 図１に示した空調装置の制御部の機能ブロック図である。 本実施形態において使用される機械学習システムである確率モデルの一例を示す図である。 本発明の実施形態に係る空調装置の学習処理のフローチャートである。 本発明の実施形態に係る空調装置の空調処理のフローチャートである。

符号の説明

１ 空調装置（学習データ管理装置）
２ 空調部
３ 情報取得部
４ 操作パネル
５ 制御部
５１ 記憶部
５２ 通信部
５３ 推論部
５４ 空調制御部
５５ 確信度算出部
５６ データ蓄積判定部
５７ 学習部

Claims (8)

1. 機器（２）を自動制御するために、状態情報取得部（３）により取得された当該機器（２）に関する少なくとも一つの状態情報を入力することにより、当該機器（２）を所定の設定にする推薦度を求める機械学習システムの学習に用いる学習データを蓄積する学習データ管理装置であって、
   前記状態情報と前記所定の設定の組を学習データとして蓄積する記憶部（５１）と、
   前記状態情報取得部（３）により新たな状態情報が取得されたとき、前記記憶部（５１）に蓄積されている学習データのうち、前記所定の設定に関連する学習データの数から、当該新たな状態情報を前記機械学習システムに入力して求められた前記所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、
   前記確信度が前記機械学習システムを学習する必要があることを示す所定の基準を満たすとき、前記新たな状態情報と前記所定の設定の組を学習データとして前記記憶部（５１）に蓄積し、前記確信度が当該所定の基準を満たさないとき、前記新たな状態情報を棄却するデータ蓄積判定部（５６）と、
   を有することを特徴とする学習データ管理装置。
2. 前記確信度算出部（５５）は、前記状態情報と前記所定の設定に対応する学習データの数または前記推薦度が高くなるにつれて、前記確信度も高くなる関数を用いて前記確信度を求める、請求項１に記載の学習データ管理装置。
3. 前記関数は、前記所定の設定に関連する学習データの数及び前記推薦度を入力とし、前記推薦度の所定の値に対する前記確信度を出力とするベータ分布またはディリクレ分布を含む、請求項２に記載の学習データ管理装置。
4. 前記データ蓄積判定部（５６）は、前記所定の設定の推薦度に関して求められた最新の確信度と、前記所定の設定の推薦度に関して求められた１回前の確信度との差の絶対値が、前記機械学習システムを学習することによって前記所定の設定の推薦度が変動することに対応する第１の閾値よりも大きいとき、前記所定の基準を満たすと判定する、請求項１〜３の何れか一項に記載の学習データ管理装置。
5. 前記データ蓄積判定部（５６）は、前記所定の設定の推薦度に関して求められた最新の確信度が、前記所定の設定の推薦度が適切であることに対応する第２の閾値以下のとき、前記所定の基準を満たすと判定する、請求項１〜３の何れか一項に記載の学習データ管理装置。
6. 制御対象となる機器（２）に関する少なくとも一つの状態情報を取得する状態情報取得部（３）と、
   前記少なくとも一つの状態情報を機械学習システムに入力することにより、前記機器（２）を所定の設定にする推薦度を算出する推論部（５３）と、
   前記推薦度に従って前記機器（２）を制御する制御部（５４）と、
   前記状態情報と前記所定の設定の組を学習データとして蓄積する記憶部（５１）と、
   前記状態情報取得部（３）により新たな状態情報が取得されたとき、前記記憶部（５１）に蓄積されている学習データのうち、前記所定の設定に関連する学習データの数から、当該新たな状態情報を前記機械学習システムに入力して求められた前記所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、
   前記確信度が前記機械学習システムを学習する必要があることを示す所定の基準を満たすとき、前記新たな状態情報と前記所定の設定の組を学習データとして前記記憶部（５１）に蓄積し、前記確信度が当該所定の基準を満たさないとき、前記新たな状態情報を棄却するデータ蓄積判定部（５６）と、
   前記記憶部（５１）に蓄積された学習データを用いて前記機械学習システムを学習する学習部（５７）と、
   を有することを特徴とする制御装置。
7. 車両用空調装置であって、
   空調空気を車両内に供給する空調部（２）と、
   前記車両に関する少なくとも一つの状態情報を取得する状態情報取得部（３）と、
   前記少なくとも一つの状態情報を機械学習システムに入力することにより、前記空調部（２）を所定の設定にする推薦度を算出する推論部（５３）と、
   前記推薦度に従って前記空調部（２）を制御する空調制御部（５４）と、
   前記状態情報と前記所定の設定の組を学習データとして蓄積する記憶部（５１）と、
   前記状態情報取得部（３）により新たな状態情報が取得されたとき、前記記憶部（５１）に蓄積されている学習データのうち、前記所定の設定に関連する学習データの数から、当該新たな状態情報を前記機械学習システムに入力して求められた前記所定の設定の推薦度の確からしさを表す確信度を算出する確信度算出部（５５）と、
   前記確信度が前記機械学習システムを学習する必要があることを示す所定の基準を満たすとき、前記新たな状態情報と前記所定の設定の組を学習データとして前記記憶部（５１）に蓄積し、前記確信度が当該所定の基準を満たさないとき、前記新たな状態情報を棄却するデータ蓄積判定部（５６）と、
   前記記憶部（５１）に蓄積された学習データを用いて前記機械学習システムを学習する学習部（５６）と、
   を有することを特徴とする車両用空調装置。
8. 機器（２）を自動制御するために、状態情報取得部（３）により取得された当該機器（２）に関する少なくとも一つの状態情報を入力することにより、当該機器（２）を所定の設定にする推薦度を求める機械学習システムの学習に用いる学習データを記憶部（５１）に蓄積する学習データ管理方法であって、
   前記状態情報取得部（３）により新たな状態情報が取得されたとき、前記記憶部（５１）に既に蓄積されている学習データのうち、前記所定の設定に関連する学習データの数から、当該新たな状態情報を前記機械学習システムに入力して求められた前記所定の設定の推薦度の確からしさを表す確信度を算出するステップと、
   前記確信度が前記機械学習システムを学習する必要があることを示す所定の基準を満たすとき、前記新たな状態情報と前記所定の設定の組を新たな学習データとして前記記憶部（５１）に蓄積し、前記確信度が当該所定の基準を満たさないとき、前記新たな状態情報を棄却するステップと、
   を含むことを特徴とする学習データ管理方法。

Images