JP5729345B2 - 感情モニタリングシステム - Google Patents

Description

本発明は、感情モニタリングシステムに関する。

特許文献１には、以下のような技術が開示されている。車両における複数の乗員の顔表情を取得し、各乗員における表情の良好度を、車外環境と関連付けて学習し、時系列的に検知する。そして、乗員の表情が良好に保たれるような走行ルート（車外環境）を提案する。

特開２０１１−１１７９０５号公報

特許文献１記載の技術において、乗員の顔表情に関する情報は、ルート選択支援処理に用いられるだけであり、表示されないので、各乗員は他の乗員の感情を知ることができない。本発明は以上の点に鑑みなされたものであり、上記の課題を解決できる感情モニタリングシステムを提供することを目的とする。

本発明の感情モニタリングシステムは、車両の２以上の着座位置について、その着座位置に着座する乗員の顔画像を取得可能な顔画像取得手段と、顔画像取得手段により取得した顔画像に基づいて乗員の感情を表す感情情報を取得する感情情報取得手段と、感情情報取得手段により取得した感情情報に対応する感情表示を作成する感情表示作成手段とを備えることを特徴とする。

本発明の感情モニタリングシステムは、例えば、車両に複数の乗員がいる場合、各乗員の感情を表す感情表示を作成することができる。そのため、乗員は、例えば、他の乗員が直接は見えない位置に着座していても、その乗員の異変等に容易に気付くことができる。

感情モニタリングシステム１の構成を表すブロック図である。 感情モニタリングシステム１が実行するメイン処理を表すフローチャートである。 感情モニタリングシステム１が実行する感情判定処理を表すフローチャートである。 感情モニタリングシステム１が実行する感情表示作成処理を表すフローチャートである。 乗員１０１の顔におけるＡＵ（Action Unit）を表す説明図である。 感情表示の表示例を表す説明図である。 感情表示の表示例を表す説明図である。 感情表示の表示例を表す説明図である。 感情表示の表示例を表す説明図である。

１．感情モニタリングシステム１の構成
感情モニタリングシステム１の構成を、図１に基づいて説明する。感情モニタリングシステム１は、車両に搭載される車載システムであり、カメラ（顔画像取得手段）３、着座位置検出部５、乗員識別部（乗員識別手段）７、記憶部９、特徴量抽出部１１、感情判定部（感情情報取得手段）１３、感情表示作成部（感情表示作成手段）１５、記憶部（第１の記憶手段、第２の記憶手段）１７、及びインタフェース部１９を備える。着座位置検出部５、乗員識別部７、特徴量抽出部１１、感情判定部１３、及び感情表示作成部１５は周知のコンピュータにより構成される。

カメラ３は、車室内の天井に設置され、その撮像範囲は、車室内の全着座位置（運転席、助手席、後部座席右、後部座席左等）をカバーする。よって、カメラ３は、車室内の全着座位置について、その着座位置に着座する乗員１０１の顔及び体を撮影可能である。なお、カメラ３は、着座位置ごとに１つずつ設置されていてもよい。この場合、各カメラ３が、対応する着座位置に着座する一人の乗員１０１の顔及び体を撮影する。また、カメラ３として、車室内の前方（運転席及び助手席）を撮影するカメラと、車室内の後方（後部座席）を撮影するカメラとが設置されていてもよい。

着座位置検出部５は、カメラ３により撮影された画像から、乗員１０１の着座位置を検出する。すなわち、カメラ３により撮影された画像において、着座位置ごとに、乗員１０１が着座しているか否かを画像認識により判断する。

乗員識別部７は、カメラ３により撮影された画像を用いて、乗員１０１を識別する。詳しくは後述する。
記憶部９は、乗員１０１を識別するための識別子を記憶している。この識別子は、画像から画像認識により抽出可能な各乗員固有の特徴であり、例えば、顔のパターン（目、鼻、口等の顔のパーツの形状や大きさ、顔のパーツ相互の位置関係等）、衣服の形状や色、体型等が挙げられる。記憶部９は、過去に登録された乗員１０１の識別子を、乗員ごとに記憶している。また、記憶部９には、識別子と関連付けて、着座位置、後述する感情情報、及び乗員の名称等を記憶することができる。また、記憶部９は、感情判定部１３が感情を判定する際に参照するデータベースを記憶している。

特徴量抽出部１１は、カメラ３により撮影された画像から、乗員１０１の顔を認識し、さらに、その顔において、予め設定された特徴量（ＡＵ）を画像処理によって抽出する。カメラ３により撮影された画像において複数の乗員１０１の顔を認識した場合は、それぞれの乗員について、特徴量（ＡＵ）を抽出する。なお、特徴量の抽出についての詳細は後述する。

感情判定部１３は、特徴量抽出部１１により抽出された特徴量（ＡＵ）から、乗員１０１の感情を判定し、感情情報を作成する。カメラ３により撮影された画像において複数の乗員１０１の顔を認識した場合は、それぞれの乗員について、感情情報を作成する。なお、感情情報の作成についての詳細は後述する。

感情表示作成部１５は、感情判定部１３が作成した感情情報を用いて、感情表示を作成する。また、感情表示作成部１５は、報知音も作成する。感情表示及び報知音の作成についての詳細は後述する。

記憶部１７は、感情表示作成部１５が感情表示及び報知音を作成する際に用いるマップ（感情情報の種類に関する基準、感情の強さと感情表示の態様との対応関係）を記憶している。このマップには、(i)乗員１０１ごとに記憶され、その乗員１０１の識別子と関連付けられたマップと、(ii)汎用のマップとの２種類がある。マップの内容については後に詳述する。

インタフェース部１９は、画像を表示可能なディスプレイ１９ａ、音声を出力可能なスピーカ１９ｂ、音声を入力可能なマイク１９ｃ、及び乗員１０１の入力操作を受け付ける操作部（キーボード、各種スイッチ、タッチパネル等）１９ｄを備える。インタフェース部１９は、ディスプレイ１９ａに、感情表示作成部１５が作成した感情表示を表示する。また、スピーカ１９ｂにより、感情表示作成部１５が作成した報知音を発音する。また、マイク１９ｃへの音声入力や操作部１９ｄへの入力操作により、記憶部１７に記憶されたマップの編集（新たなマップの追加、既存のマップに対する内容の追加や書き換え、マップの削除等）が可能である。

インタフェース部１９のディスプレイ１９ａは、車両の運転者が見ることができるもの（例えば他の乗員は見難いか、見えないもの）とすることができる。このようなディスプレイ１９ａとしては、例えば、メータの表示画面、ナビ画面のデュアルディスプレイ表示画面等が挙げられる。また、ディスプレイ１９ａは、運転者以外の乗員の一部又は全部が見ることができるもの（例えば運転者は見難いか、見えないもの）であってもよい。このようなディスプレイ１９ａとしては、例えば、シートの背面側や天井に設けられたディスプレイが挙げられる。また、ディスプレイ１９ａは、運転者と他の乗員の両方が見ることができるものであってもよい。

２．感情モニタリングシステム１が実行する処理
感情モニタリングシステム１が実行する処理を、図２〜図８に基づいて説明する。感情モニタリングシステム１は、それが搭載されている車両のイグニッションがＯＮである期間中、図２に示す処理を所定時間ごとに繰り返し実行する。図２のステップ１では、カメラ３が、車両の全着座位置をカバーする範囲の画像を取得する。車両における任意の着座位置に乗員が着座している場合、その乗員の顔及び体は、前記の画像に含まれる。また、車両の２以上の着座位置に、それぞれ乗員が着座している場合は、全ての乗員の顔及び体が、前記の画像に含まれる。

ステップ２では、着座位置検出部５が、前記ステップ１で取得した画像を画像解析することにより、車両の着座位置ごとに、乗員が着座しているか否かを判断する。
ステップ３では、乗員識別部７が、前記ステップ２において乗員が着座していると判断した全ての着座位置において、着座している乗員の識別を次のように実行する。まず、前記ステップ２において乗員が着座していると判断した一つの着座位置αについて、前記ステップ１で取得した画像を用いて、その着座位置αに着座している乗員の識別子を抽出する。次に、抽出した識別子を記憶部９に既に記憶されている識別子と対比する。対比の結果、記憶部９に記憶されている識別子の中に、着座位置αに着座している乗員の識別子と同一又は近似する識別子があれば、その識別子を、着座位置αと関連付けて記憶部９に記憶する。一方、対比の結果、記憶部９に記憶されている識別子の中に、着座位置αに着座している乗員の識別子と同一又は近似する識別子がなければ、着座位置αに着座している乗員の識別子を、着座位置αと関連付けて新たに記憶部９に記憶する。

上記の処理を、着座位置αだけでなく、前記ステップ２において乗員が着座していると判断した全ての着座位置β、γ・・・についても同様に実行する。
ステップ４では、前記ステップ２において乗員が着座していると判断した着座位置において、乗員の感情を表す感情情報を取得する感情判定処理を実行する。前記ステップ２において乗員が着座していると判断した着座位置が複数ある場合は、その複数の着座位置の全てにおいて、乗員の感情情報を取得する。

この感情判定処理を図３に基づいて説明する。図３のステップ１１では、カメラ３によって、車室内の全着座位置をカバーする画像を、所定時間ごとに繰り返し取得する。
ステップ１２では、特徴量抽出部１１が、前記ステップ１１で繰り返し取得した画像（乗員の顔を含む顔画像）のそれぞれに対して画像解析を行うことで、乗員の顔の特徴部（例えば、眉や瞼、口）を抽出し、さらに、時間の経過に伴う特徴部の動き（以下、ＡＵ（Action Unit）とする）を抽出する。ＡＵとしては、表１、及び図５に示すものがある。なお、図５におけるＲ、Ｌは、顔における右、左を意味する。

人の感情と、ＡＵとの間に相関関係があることが知られている（Ekmanの提唱するFacial Action Coding System）。
ステップ１３では、感情判定部１３が、前記ステップ１２で抽出したＡＵから、乗員の感情を判定する。具体的には、以下のようにする。記憶部９は、ＡＵと感情との対応関係を示すデータベースを予め記憶している。このデータベースは、例えば、以下のような対応関係を記憶している。

喜び：6R, 6L, 12R, 12L, 25
驚き：1R, 1L, 2R, 2L, 5R, 5L, 25, 27
悲しみ：1R, 1L, 4R, 4L, 15R, 15L, 17
前記ステップ１２で抽出したＡＵをこのデータベースに適用することで、乗員の感情の種類（喜び、悲しみ等）を判断することができる。また、ＡＵの大きさから、感情の強さを判断することができる。この感情の種類と感情の強さとを含む情報を、感情情報とする。感情情報は、前記ステップ２において乗員が着座していると判断した着座位置の全てにおいて作成される。また、感情情報は、記憶部９に、対応する着座位置及び識別子と関連付けて記憶される。例えば、着座位置αに着座した乗員（その識別子は識別子Ｘとする）の感情情報は、着座位置α、及び識別子Ｘと関連付けて記憶部９に記憶される。以上のように、特徴量抽出部１１が、カメラ３により取得した顔画像に基づいて乗員の感情を表す感情情報を取得する。

図２に戻り、ステップ５では、感情表示作成部１５が、前記ステップ４で取得した感情情報に対応する感情表示を作成する感情表示作成処理を行う。この感情表示作成処理を図４に基づいて説明する。図４のステップ２１では、前記ステップ１３で記憶部９に記憶した感情情報を呼び出す。感情情報が複数ある場合は全て呼び出す。

ステップ２２では、記憶部１７からマップを呼び出す。詳しくは、以下のように行う。まず、前記ステップ２において乗員が着座していると判断した一つの着座位置αについて、その着座位置αと関連付けて記憶されている識別子を記憶部９から読み出す。次に、その読み出した識別子と関連付けられたマップを記憶部１７において探し、関連付けられたマップがあれば、そのマップを読み出す。一方、関連付けられたマップがなければ、汎用のマップを読み出す。前記ステップ２において乗員が着座していると判断した着座位置が着座位置α以外にもある場合は、着座位置α以外の全ての着座位置についても、同様にマップを呼び出す。

ここで、マップは、表２〜表４に示すようなものである。

表２のマップは、ある識別子Ｘに関連付けられたマップであり、表３のマップは、識別子Ｘとは別の識別子Ｙに関連付けられたマップであり、表４のマップは、いずれの識別子にも関連付けられていない汎用のマップである。

各マップは、感情表示を作成すべき感情情報の種類に関する基準を含んでいる。すなわち、各マップは、感情の全種類のうち、一部の感情の種類を有する感情情報を、感情表示を作成する感情情報とし、他の感情の種類を有する感情情報を、感情表示を作成しない感情情報として規定している（表２〜４における「感情表示の作成」の列）。「感情表示の作成」の列における内容は、マップごと（すなわち識別子ごとに）に異なっていてもよいし、共通であってもよい。

例えば、表２のマップでは、「感情表示の作成」の列において「○」が付されている、笑顔（喜び）、怒り（イライラ）、驚き（ヒヤリハット）、退屈、眠気のいずれかの感情の種類を有する感情情報は、感情表示を作成する感情情報とし、「感情表示の作成」の列において「×」が付されている、悲しみ（泣き顔）、困惑のいずれかの感情の種類を有する感情情報は、感情表示を作成しない感情情報としている。表３、表４のマップでも同様である。

また、各マップは、感情表示の表示態様（表示色、点灯か点滅か）を規定している。すなわち、各マップにおいて、「表示色」の列は、感情表示の色を、感情情報における感情の種類ごとに規定しており、「点灯又は点滅」の列は、感情情報における感情の強さ（Ｌ１〜Ｌ１０の１０段階で表され、数値が大きいほど感情が強い）と、感情表示の点灯／点滅の態様との関係を規定している。例えば、表２のマップにおいて、感情の種類が笑顔（喜び）である感情情報に基づき作成される感情表示の色は桃色であり、感情の強さがＬ１〜Ｌ５の範囲では感情表示が点灯（輝度が一定）し、Ｌ６〜Ｌ１０では感情表示が点滅するように規定されている。表３、表４のマップでも同様である。

ステップ２３では、感情表示及び報知音を以下のようにして作成する。前記ステップ２において乗員が着座していると判断した一つの着座位置αについて、前記ステップ２２において読み出したマップと、着座位置αに関連付けられた感情情報とから、感情表示を作成する。そのために、まず、感情情報における感情の種類が、マップの「感情表示の作成」の欄において「○」が付されているものである（すなわち、感情情報の種類に関する基準に合致する）か否かを判断する。「○」が付されているものである場合は、その感情情報について感情表示を作成する。一方、「×」が付されているものである場合は、その感情情報については、感情表示を作成しない。

感情表示を作成する場合は、感情情報における感情の種類に応じて、感情表示のデザインを決定する。なお、感情の種類と感情表示のデザインとは予め関連付けられ、記憶部１７に記憶されている。例えば、感情の種類が笑顔（喜び）の場合の感情表示のデザインは、図６における感情表示２１７のデザインであり、感情の種類が怒り（イライラ）の場合の感情表示のデザインは、図６における感情表示２１９のデザインであり、感情の種類が眠気の場合の感情表示のデザインは、図６における感情表示２２１のデザインである。また、感情表示を作成する場合は、マップに基づき、感情表示の色を決定するとともに、感情情報における感情の強さに応じて、点灯／点滅の態様（感情表示の態様）を決定する。

また、着座位置αについて感情表示を作成する場合は、車室における着座位置αの位置に基づき、感情表示の表示場所を決定する。具体的には、着座位置αが運転席であれば、感情表示の表示場所を、運転席に対応する位置とし、着座位置αが助手席であれば、感情表示の表示場所を、助手席に対応する位置とし、着座位置αが後部座席右であれば、感情表示の表示場所を、後部座席右に対応する位置とし、着座位置αが後部座席左であれば、感情表示の表示場所を、後部座席左に対応する位置とする。

以上により、着座位置αにおける感情表示（デザイン、色、点灯／点滅の態様）とその表示場所とが決定される。前記ステップ２において乗員が着座していると判断した着座位置が着座位置α以外にもある場合は、着座位置α以外の全ての着座位置についても、同様に感情表示とその表示場所の作成処理を実行する。

また、本ステップ２３では、感情情報に応じて、報知音の発音の有無も決定する。感情表示を作成する感情情報の中に、感情の強さがマップにおける「報知音」の列の条件に該当するものが一つでもあれば、報知音の発音を決定する。報知音は、「報知音」の列の条件に該当した感情の種類に応じて異なるものとすることができる。一方、感情表示を作成する感情情報の中に、感情の強さがマップにおける「報知音」列の条件に該当するものが一つもなければ、報知音を発音しないことを決定する。「報知音」の種類や音量は、感情の強さがマップにおける「報知音」の列の条件に該当した乗員の識別子に応じて設定されてもよいし、その乗員の着座位置に応じて設定されてもよい。

図２に戻り、ステップ６では、感情表示作成部１５が、前記ステップ２３で決定した内容（感情表示とその表示場所、報知音の発音の有無）を表す信号をインタフェース部１９に出力する。作成した感情表示が複数ある場合は、その全てを出力する。

また、ステップ６では、前記ステップ２において、乗員が着座していいない着座位置があった場合は、その着座位置の位置情報をインタフェース部１９に出力する。この位置情報は、インタフェース部１９において、乗員が着座していない着座位置を表示するために使用される。また、前記ステップ２３において、乗員は着座しているが感情表示を作成しないと判断した着座位置があった場合は、その着座位置の位置情報をインタフェース部１９に出力する。この位置情報は、インタフェース部１９において、乗員は着座しているが感情表示を作成しなかった着座位置を表示するために使用される。

なお、インタフェース部１９では、感情表示作成部１５から入力した信号に応じて以下の表示や発音を行う。すなわち、インタフェース部１９のディスプレイ１９ａは、例えば、図６に示すように、感情表示２１５、２１７、２１９、２２１を表示する。なお、図６は４つの着座位置全てにおいて乗員を検出し、全ての着座位置において感情表示を作成した場合の表示例である。

感情表示２１５、２１７、２１９、２２１のデザイン、色、及び点灯／点滅の態様は、前記ステップ２３において決められたものである。また、感情表示２１５、２１７、２１９、２２１は、前記ステップ２３で決定した表示場所に基づき、それぞれの感情表示に対応する着座位置に関連付けて表示される。例えば、感情表示２１５は、着座位置のうち、運転席に着座した乗員（ドライバ）の感情情報から作成されたものであるが、その感情表示２１５は、模式的に運転席を表す場所２０５に表示される。同様に、助手席に着座した乗員の感情情報から作成された感情表示２１７は、模式的に助手席を表す場所２０７に表示され、後部座席右に着座した乗員の感情情報から作成された感情表示２１９は、模式的に後部座席右を表す場所２０９に表示され、後部座席左に着座した乗員の感情情報から作成された感情表示２２１は、模式的に後部座席左を表す場所２１１に表示される。

なお、インタフェース部１９のディスプレイ１９ａは、車室の外形を表す線２０３、車両の進行方向を表す矢印２１３、ハンドルを表す記号２１５等により、運転席を表す場所２０５、助手席を表す場所２０７、後部座席右を表す場所２０９、及び後部座席左を表す場所２１１をそれぞれ表現する。

また、図７は、４つの着座位置全てにおいて乗員を検出したが、運転席と助手席のみにおいて感情表示を作成し、後部座席においては感情情報を作成しなかった場合の表示例である。この場合、インタフェース部１９のディスプレイ１９ａのうち、模式的に後部座席右を表す場所２０９、及び模式的に後部座席左を表す場所２１１には、乗員を検出したが、感情情報を作成しなかった場合に特有の表示がなされる。この表示は、内部がブランクの円２２５、２２７（いずれの感情表示とも異なり、乗員を検出しない場合の表示とも異なる表示）である。

また、図８は、運転席と助手席において乗員を検出し、そこでは感情表示を作成したが、後部座席では乗員を検出しなかった場合の表示例である。この場合、インタフェース部１９のディスプレイ１９ａのうち、模式的に後部座席右を表す場所２０９、及び模式的に後部座席左を表す場所２１１には、何も表示されない（いずれの感情表示とも異なり、内部がブランクの円２２５、２２７とも異なる表示となる）。

また、インタフェース部１９は、感情表示作成部１５が警報音を発音すると決定した場合は、スピーカ１９ｂにより警報音を発音する。
ステップ７では、車両のイグニッションがオンであるか否かを判断する。オンである場合はステップ１に進み、オフである場合は本処理を終了する。

なお、記憶部１７に記憶されているマップは、インタフェース部１９のマイク１９ｃに乗員の音声を入力することにより、または、インタフェース部１９における操作部１９ｄを操作することにより変更・再設定することができる。図２に示す処理の途中でマップが変更・再設定された場合、その処理は中断され、ステップ１に戻る。なお、音声入力によるマップの変更・再設定は常時可能であるが、操作部１９ｄの操作によるマップの変更・再設定は、車両の停止時のみ可能である。

３．感情モニタリングシステム１が奏する効果
（１）感情モニタリングシステム１は、車両に複数の乗員がいる場合、各乗員の感情を表す感情表示を作成することができる。そのため、乗員は、直接は見えない位置に着座している他の乗員の異変に容易に気付くことができる。特に、ドライバは、運転に必要な注意力を保持しながら、同乗者の状況を把握することができる。

（２）感情モニタリングシステム１は、感情表示を、その感情表示に対応する乗員の着座位置に関連付けて表示する。そのため、感情表示と乗員との対応関係を容易に理解することができる。

（３）感情モニタリングシステム１は、感情情報の種類に関する基準を規定したマップを備え、その基準に合致した感情情報について感情表示を作成する。そのため、作成する感情表示を、重要度の高いものに限定できる。また、上記のマップは、各乗員ごとに記憶されているため、各乗員の事情に応じて、表示する感情表示を決めることができる。

（４）感情モニタリングシステム１は、感情の強さと感情表示の態様との対応関係を規定したマップを備え、そのマップに基づき、感情の強さに応じて感情表示の態様を変化させることができる。そのため、感情表示から、感情の強さを容易に理解することができる。また、上記のマップは、各乗員ごとに記憶されているため、各乗員の事情に応じて、感情表示の態様を決めることができる。

（５）感情モニタリングシステム１は、乗員を識別し、その識別結果に応じて、対応するマップを使用する。そのため、乗員が途中で着座位置を変えた場合でも、その乗員に対応したマップを使用することができる。

４．その他の実施形態
（１）例えば、感情モニタリングシステム１は、乗員として運転者のみを検出し、その運転者の感情情報における感情の種類が特定の種類であり、且つ感情の強さが所定の閾値以上であることを条件として、インタフェース部１９のスピーカ１９ｂにより、機械的合成音声（例えば「どうしましたか？」）を発音してもよい。

（２）また、感情モニタリングシステム１は、乗員の感情情報における感情の種類が特定の種類であり、且つ感情の強さが所定の閾値以上であることを条件として、その乗員に予め対応付けられた感情快適化手段（例えばエアコン調整、音量調整、楽曲再生、声かけ等）の一部又は全部を、その乗員又は他の乗員に提案してもよい。

（３）また、検出した乗員のうち、所定の割合を超える乗員から、所定の感情の種類を有する感情情報を取得することを条件として、報知（例えばインタフェース部１９のスピーカ１９ｂによりブザー音を鳴らす）を行ってもよい。

（４）カメラ３を着座位置ごとに設置している場合、乗員を検出しなかったカメラ３の電源をオフにすることができる。
（５）着座位置における乗員の検出は、各着座位置に設置されたセンサ（例えばシートセンサ）により行ってもよい。

（６）感情モニタリングシステム１は、インタフェース部１９を備えないものであってもよい。この場合、感情表示作成部１５から外部の機器（例えばカーナビゲーションシステム、携帯端末等）に信号を出力し、その外部の機器により感情表示を表示し、報知音を発音することができる。外部の機器における表示は、上述したディスプレイ１９ａの表示と同様のものとすることができる。

（７）インタフェース部１９のディスプレイ１９ａに感情表示を表示する態様は、図９に示すものであってもよい。感情表示３０３、３０４、３０５、３０６の左側には、それぞれ、感情表示に対応する着座位置を表す「運転席」、「助手席」、「後部座席右」、「後部座席左」が表示されている。すなわち、感情表示３０３、３０４、３０５、３０６は、その感情表示に対応する着座位置（その感情表示の元となる感情情報を取得した乗員の着座位置）に関連付けて表示されている。

また、感情表示３０３、３０４、３０５、３０６の右側には、それぞれ、その感情表示に対応する乗員の名称が表示されている。すなわち、前記ステップ３において、記憶部９に記憶されている識別子の中に、着座位置に着座している乗員の識別子と同一又は近似する識別子があった場合は、その識別子に対応する乗員の名称を感情表示の右側に表示し、記憶部９に記憶されている識別子の中に、着座位置に着座している乗員の識別子と同一又は近似する識別子がなかった場合は、「ゲスト１」、「ゲスト２」等の表示を行う。

（８）マップにおける「感情表示の作成」の列は、全ての感情の種類について、「○」であってもよい。この場合、全ての感情情報に基づき、感情表示を作成することができる。

（９）感情表示の態様は、任意に設定することができる。例えば、感情の種類が同じであっても、感情の強さに応じて、感情表示における様々な態様（例えば、感情表示の色、感情表示の明るさ、感情表示の大きさ、感情表示の動き等）を変えてもよい。また、感情の強さが所定の閾値に達しない場合は、感情表示を作成しないようにしてもよい。感情の強さが所定の閾値に達しない場合の表示は、図７における円２２５、２２７のような表示とすることができる。

（１０）マップは、記憶部１７に、着座位置に関連付けて記憶されていてもよい。この場合、前記ステップ２２では、着座位置αに関連付けられたマップを読み出し、そのマップを用いて、着座位置αにおける感情表示及び報知音を作成する。そのため、感情情報の種類に関する基準や、感情の強さと感情表示の態様との対応関係は、着座位置ごとに設定されることになる。

１・・・感情モニタリングシステム、３・・・カメラ、５・・・着座位置検出部、
７・・・乗員識別部、９・・・記憶部、１１・・・特徴量抽出部、１３・・・感情判定部、
１５・・・感情表示作成部、１７・・・記憶部、１９・・・インタフェース部、
１９ａ・・・ディスプレイ、１９ｂ・・・スピーカ、１９ｃ・・・マイク、
１９ｄ・・・操作部、１０１・・・乗員、
２１５、２１７、２１９、２２１、３０３、３０４、３０５、３０６・・・感情表示

Claims (3)

1. 車両の２以上の着座位置について、その着座位置に着座する乗員（１０１）の顔画像を取得可能な顔画像取得手段（３）と、
   前記顔画像取得手段により取得した顔画像に基づいて前記乗員の感情を表す感情情報を取得する感情情報取得手段（１３）と、
   前記乗員の前記着座位置を検出する着座位置検出手段と、
   前記感情情報の種類に関する基準を前記着座位置ごとに記憶した第１の記憶手段と、
   前記感情情報取得手段により取得した前記感情情報のうち、前記感情情報の種類に関する基準に合致した前記感情情報に対応する感情表示を作成する感情表示作成手段と、
   を備え、
   前記感情表示作成手段は、前記感情情報の種類に関する基準として、前記感情表示を作成する前記乗員の前記着座位置における前記感情情報の種類に関する基準を用いることを特徴とする感情モニタリングシステム（１）。
2. 車両の２以上の着座位置について、その着座位置に着座する乗員の顔画像を取得可能な顔画像取得手段と、
   前記顔画像取得手段により取得した顔画像に基づいて前記乗員の感情を表す感情情報を取得する感情情報取得手段と、
   前記乗員の前記着座位置を検出する着座位置検出手段と、
   前記感情の強さと前記感情表示の態様との対応関係を前記着座位置ごとに記憶した第２の記憶手段と、
   前記感情情報取得手段により取得した前記感情情報に対応する感情表示を、前記対応関係に基づき決定される態様で作成する感情表示作成手段と、
   を備え、
   前記感情表示作成手段は、前記対応関係として、前記感情表示を作成する前記乗員の前記着座位置における前記対応関係を用いることを特徴とする感情モニタリングシステム。
3. 前記感情表示を、その感情表示に対応する前記乗員の前記着座位置に関連付けて表示する表示手段（１９ａ）を備えることを特徴とする請求項１又は２に記載の感情モニタリングシステム。