JP2006061632A - 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法 - Google Patents

Abstract

【課題】 個人毎に異なる感情と性格を数値的に評価して、その人の健康、感情、知性、精神状態、欲求、人間関係などを推論し、個別的な対応がとれる感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法を提供する。
【解決手段】 ユーザの問い合わせ情報に対するオペレータの回答情報を入力するオペレータ端末３と、第1の回線４ａを通してユーザ端末２からユーザの問い合わせ情報を受信し、第２の回線４ｂを通してオペレータ端末３からオペレータの回答情報を受信し、ユーザ及びオペレータの心理状態を数値化して解析する心理解析装置１と、を備える。
【選択図】 図１

Description

本発明は、ユーザの感情や心理状態を数値化した解析データを出力する感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法に関する。

例えば、従来のイメージ評価システムは、名称等の言語表現の音声上イメージを評価する上で、発音最小単位などの音相基を「明暗（陽・陰）」「強弱（高けい性・低けい性）」といった指標で数値的に評価するが、これには相当に大掛かりな調査が必要であり、言語中の感情語を取出して「明暗」「強弱」に分類し、発音最小単位などの音相基がどこで多く使用されているかを調べて統計的手法に基づいてその傾向を数値的に表現していた。

このイメージ評価システムは、永年にわたる日本語における感情語の分類・評価に基づいて発音最小単位などの音相基がもっている「明暗」の傾向である±Ｂ値（Brightness（輝性））、「強弱」の傾向である±Ｈ値（Hardness）を求めて整理していた（特許文献１参照。）。

しかしながら、従来のイメージ評価システムは、感情語の分類・評価に基づく音相分析で新商品のネーミング分析、子供やペットの名称診断、名前による性格診断占い、ゲームキャラクタのパラメータ設定、メールの文章から言葉を切出して送信者の気分を判断し、現在の性格や感情からイメージ評価を実行していたが、より精度の高い個人の感情と性格を数値的に判定し、ユーザー毎に嗜好推論できる評価システムが長年切望されていた。

また、ユーザとの会話（又は通信）を通じて、ユーザの感情と性格を判定し、ユーザの発言内容に即したメッセージを発信させるという評価システムも待ち望まれている。
特開２００２−２０４１５３号公報（第００４１段落、表１参照）

本発明は、個人毎に異なる感情と性格を数値的に評価して、その人の健康、感情、知性、精神状態、欲求、人間関係などを推論し、個別的な対応がとれる感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法を提供する。

本発明の一態様は、例えば、ユーザの問い合わせ情報に対するオペレータの回答情報を入力するオペレータ端末と、第1の回線を通してユーザ端末からユーザの問い合わせ情報を受信し、第２の回線を通してオペレータ端末からオペレータの回答情報を受信し、ユーザ及びオペレータの心理状態を数値化して解析する心理解析装置と、を備える感情データ提供装置であることを要旨とする。

本発明の一態様は、例えば、電話回線を通して通話する電話ユーザの心理状態を数値化して解析する手段と、電話ユーザの電話番号がアドレス帳に登録されているグループユーザの端末へ解析の結果を送信する心理解析送信手段と、を備える心理解析装置であることを要旨とする。

本発明の一態様は、例えば、視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザが心理的に喜怒哀楽を含む感情数値を検知し、マッチングする解決情報を出力し、落ち込んでいる数値を検知した場合は、文字又は絵若しくは音による励ましメッセージを出力すると共に、ユーザが心理的に高揚している場合は文字又は絵又は前記五感情報若しくは音による夢想起メッセージを出力する心理解析装置を備える携帯電話であることを要旨とする。

本発明の一態様は、例えば、電話ユーザの音声データに含まれる第１〜第３の共鳴周波数帯を数値化して解析した感情解析データをディスプレイへ出力する携帯電話であることを要旨とする。

本発明の一態様は、例えば、電話用サーバが、電話ユーザの携帯電話から携帯電話交換機を経由する発呼に自動応答し音声データを記憶装置に記憶し、記憶装置から音声データを読出して通信回線を通してアプリケーションサーバへ転送し、アプリケーションサーバが感情解析エンジンに蓄積した感情解析データに基づき、音声データを分析及び比較し、合致する感情解析データを携帯電話交換機を通して携帯電話へ送信する電話ユーザ心理解析方法であることを要旨とする。

本発明の一態様は、例えば、電話ユーザの音声を携帯電話に入力するマイク音声入力ステップと、マイク音声入力ステップで入力した音声をメモリに保存する保存ステップと、マイク音声入力で混入する雑音強度を監視し、音声が感情判定用データとして有効か否かを判定する有効判定ステップと、判定ステップで有効判定された音声を通信回線を通して電子メールの添付ファイルとしてサーバへ送信するメール送信ステップと、サーバが音声のピッチ、スピード、タイミングを含むパラメータを抽出し、感情を有する解析エンジンに予め蓄積した感情解析データに基づき、音声を分析及び比較し、合致する感情解析データを通信回線を通して携帯電話へ送信するステップと、携帯電話が感情解析データをディスプレイにグラフィック又はテキスト表示させる表示ステップと、携帯電話の中で音声のピッチ、スピード、タイミングを含むパラメータを抽出し、感情解析エンジンに予め蓄積した感情解析データに基づき、音声や五感（視角、聴覚、臭覚、及び味覚）を含む五感情報を分析及び比較し合致する感情解析データをディスプレイに表示する手段を組み込むステップと、を含む電話ユーザ心理解析方法であることを要旨とする。

このように構成すると、ユーザが使用する単語や言い回し、興味のある物品、好きな店舗、日々の行動パターン、時間の過ごし方などを生体理論に基づき分析し、各ユーザを色に区分けして、人の体質から感性の方向性を予測することができ、身体と密接に結びついている人間の心を数値的に評価することができる。

本発明によれば、個人毎に異なる感情と性格を数値的に評価して、その人の健康、感情、知性、精神状態、欲求、人間関係などを推論し、個別的な対応がとれる感情データ提供装置、心理解析装置、および電話ユーザの職業又は性格の何れか一方の心理解析方法を提供することができる。

以下の実施の形態における感情解析装置及び心理解析装置は、人体カラーの数値的評価システム（以下、単に「評価システム」と略記する。）を用いることができる。例えば、評価システムは、音声情報、文章情報、オーラチェック情報などを電気信号に変換する入力部を有する。

本実施の形態に用いられる人体カラーは、例えば、人体と密接に結びついているベースカラーとしてのスタティクカラーと、何等かの事象（イベント）に応答して次の感情に移行する段階で発生するダイナミックカラーを含む、脳科学上の生体理論に基づくマインドカラーである。

入力部は、人体のエネルギー状態を示す各種情報を評価システムで演算処理できる電気信号に変換する手段であれば、キーボードや、マウスや、音声入力装置や、画像入力装置や、通信回線や、人体電流測定装置や、人体静電気測定装置や、赤外線測定装置などの手段を用いても構わない。

色辞書は、入力部から電気信号を受信し、生体理論又は音相理論の何れか一方、若しくは生体理論及び音相理論の双方に基づき複数のカラーに対応させて数値化し、色相演算部へ複数の色情報を送信する手段を用いることができる。

色相演算部は、複数の色情報１２を相互に加算して、この色情報に対応する数値に基づく色相演算結果を演算出力する。例えば、黄色の二進数「１０１００２」とオレンジ色の二進数「１００３０１」とを加算して、２色の色情報に対応する数値としての十進数「２」で除算して色相演算結果を出力する手段を用いることができる。

色相演算部に接続された出力部は、色相演算結果に基づいて、人体のスタティクカラーとダイナミックカラーに対応する色相系情報を出力する。この色相系情報は、論理演算処理手段により人体の健康、感情、心理、知性、精神状態、欲求のなどの人体パラメータや、その他人間関係のなどを推論させることができる複数の色情報を対象とする。

評価システムは、例えば、言葉の表現と人体エネルギーからその人物の感情、心理、性格を数値的に判定することができ、個々人ごとに嗜好を推論して希望するであろう言葉、サービス、環境、商品などを提供して対応することができる。

ここで、生体理論とは、人体の体質から完成の方向性を予測する手段の構成要件の１つである。人間の心理、感情は、身体と密接に結びついているので、例えば、怒りっぽい人は、何等かの事象に対し怒りの感情を刺激するホルモンが最も素早く分泌される体質であるというマインドカラーを体系化した理論である。

また、怒りっぽい人の体質は、自然科学的に肝臓細胞の活性度が高く、お酒には強いが肝臓の障害を抱え易いことが生体理論で立証されている。同様に、肝臓は怒り、腎臓は恐れ、肺は悲しみ、脾臓は憂い、心臓は喜びを誘発する少なくとも５つの臓器を５つのカラーに対応させる生体理論の色辞書を構成することもできる。

言い換えると、恐れる人は腎臓の活性度が高く、悲しむ人は肺の活性度が高く、憂いの人は脾臓の活性度が高く、喜ぶ人は心臓の活性度が高く、これら感情を刺激するホルモンが最も素早く分泌される体質であることも生体理論で立証されている。

このようなホルモンを含む体内バランスは、例えば、掌や足裏のツボ温度、帯電する静電気、電流などを測定装置を用いて推測することができ、ツボを刺激して体内バランスを調整できることも生体理論で立証されている。

評価システムは、人体の感情や行動から現れる体内エネルギー状態を判定して生体理論に基づき人体のスタティクカラーとダイナミックカラーを解析することができる。例えば、携帯電話のユーザが電子メールで頻繁に使用する単語や言い回しを入力してユーザのスタティクカラーとダイナミックカラーを解析することができる。

また、インターネット上のウエブページの検索傾向に基づいて、ユーザが興味をもつ品物やサービスや好みの店舗などの種類を特定し、ユーザのスタティクカラーとダイナミックカラーを解析することができる。

さらに、ユーザの日々の行動パターンや、一日の時間の過ごし方を特定し、ユーザのスタティクカラーとダイナミックカラーを解析することもでき、素早い行動やゆったりとした行動、品物、サービスの選択傾向からユーザ独自の性格を２つのマインドカラーにより推測定義することができる。

人間は、脳が事象を認識し次の感情に移行する段階で、怒り、悲しみ、憂い、喜び、の何れかが先に来るか、といった個体別の傾向をもっているので、評価システム１により体内エネルギー状態を生体理論で解析し色別に表現して人体の感情や体質を推測することができる。

マインドカラー白の人は、すべてのバランスがニュートラルなので、せせこましい怒りにかられたり、妬みや憂いに悩まされたり、恐れにおびえるここともなく、平常心を保ち易い。欲する食べ物や情報も、出来る限り刺激の少ないもの、素材のしっかりしたものを望むという性質である。

マインドカラー青がかかっている人は、冷静で慈悲深く、教育心に溢れている場合が多い。それは悲しみと母性を刺激するホルモンをだし易い体質に偏っているためである。

マインドカラー赤の人は、開拓精神と闘争心を持っている。これは、怒りと推進の感情を刺激するホルモンに依存しているからである。

上述したマインドカラーの人達は、自分の体質に合った食べ物や情報を欲しており、自分の体質が行き過ぎたときには、辛くても反対側の色に属する食べ物や情報を受け入れるように行動する場合が多い。

このような行動は、脳科学の分野でも、「心は、脳の中にある」というように、脳学者の主説となっている。このように人の性格を例えば１２種類のカラーに分別し、それぞれの人物の性格に合った対応を人工知能などのシステムへ学習させることもできる。

数値的感性評価システム（以下、単に「感性評価システム」と略記する。）は、顧客製品のプラットホームに個別対応する意味ネットワークと特化プログラムとを融合させ、感性推論部、データベース、人工知能対話エンジンを備えるシステムを対象とする。

感性評価システムは、対話入力部からテキストによる文章を入力し、人工知能対話エンジンを介して入力した文章の言葉を意味分析部で意味分析する。意味分析部から意味分析した言葉を感情推論部により感情解析を実行するシステムを対象とする。

また、感性評価システムは、生体理論に基づく色辞書と、音相理論に基づく音相辞書と、感性推論演算処理部とを備え、色辞書又は音相辞書に基づいて言葉の感性若しくは感情並びに心理状態を解析するシステムを対象とする。

感性推論演算処理部は、上述した怒り、悲しみ、憂い、喜びのような感情を表現する色情報としての動的な心理状態の解析結果を出力する。例えば、嬉しい色情報や悲しい色情報をデータベースに出力する手段を対象とする。

データベースは、例えば、約３０万の言葉や定型文を記憶する１．４メガバイト程度のハードディスクドライブで構成できるが、３０万の言葉を記憶できる手段であれば他の記憶装置を用いても構わない。

データベースは、動的な心理状態の解析結果に基づいて抽出した返信文章を人工知能対話エンジンを介して、対話出力部へ出力する。返信文章はテキストでも音声でも対応することができるが、本実施例ではテキストを用いた対話システムを対象とする。

テキストによる人工知能対話エンジンは、会話をしながら個人情報を収集し、会話に反映する、学習型対話形式の人工知能システムである。例えば、電子メールをテキストマイニング(形態素解析)処理を実行して、個々の言葉を音相辞書で音相解析し、文章から情緒を解析し、対話で対応することができる。

ここで、音相辞書は、所定の言語表現を構成する音声表現をその基本的な構成要素の一つである子音と母音の一方又は双方の組合わせによって表現される発音最小単位に分解し、言語表現を統計的手法によって分析することで得られる発音最小単位の有する１つまたは複数のイメージを音相理論に基づき数値化するイメージ評価に用いる辞書を用いることができる。

また、ユーザ自身の日々の行動や、人工知能対話エンジンからの質問への返答、アクセスしているウェブの傾向などを収集し、生体理論を利用する色辞書によりユーザの性格を分類し、会話の対応を変化させるシステム(例えば、マインドカラー分析システム)を提供することもできる。

さらに、音相解析とマインドカラ分析を系統立てて、基本意味ネットワークを構築することもでき、各種サービスや製品を提供する顧客のプラットホームへ個別対応する人体カラーの数値評価システムを応用する製品を提供することができる。

例えば、人体カラーの数値評価システムを携帯電話、携帯情報端末（ＰＤＡ）、デジタル家電などに搭載し、これら製品を使用するユーザの感情を汲み取ることで的確又は個別対応の会話を提供し、多様なユーザ感情を満足させることができる。

人体カラーの数値評価システムを実装した製品のターゲットユーザ層に合致する特化意味ネットワークをコンピュータサーバに構築することもでき、また製品のプラットホームに合わせた会話プログラムのカスタマイズを実施することもできる。要は、各プラットホームの企画に合致する特化プログラムを容易に提供することができる。

本実施例の生体理論を用いた人工知能対話を例示すると、「戦ってかつはたやすく勝ちを守るは難し」と入力された場合、文章から言葉を自動的に切出す。例えば、単語辞書を用いて文章から言葉を抽出し、各言葉に色を決定することができる。

入力された文章は、単語毎に括弧で括った色に該当する。例えば、「戦って(赤)かつ(赤)はたやすく(白)勝ち(赤白)を守る(緑)は難し(藍)」と対応付けされ、各色を数値演算してスタティクカラーとダイナミックカラーを決定することができる。

同様に、「小事にかかわって大事を忘れるなという文章を入力すると、「小事(青)にかかわって（緑)大事(藍)を忘れるな(白)」と各言葉に色が決定される。

また、生体理論を用いた人工知能対話では、人工知能の出力部から「今あなたは○○○な服がラツキです。」と表示させて、ユーザの体内エネルギー状態に合致した色又は色を想起させる柄の服をすすめる事ができる。

この場合、生体理論は、人体のスタティクカラーに基づき基本的な体質に合致する「○○○」部の色を決定し対応語を選択している。なお、「○○○」部を除く文章は定型文であり出力辞書に記憶されている。

さらに、ユーザから「今夜は（○○○な気分だから）○○○したいね。」という言葉が入力された場合は、生体理論を機能させて「今夜」から時間帯の色を解析し、「○○○」から行動の色を解析し、「したいね」から欲求の色を決定し、スタティクカラーとダイナミックカラーとを演算処理してから現時点のユーザの色を決定することができる。

勿論、定型文を辞書へ追加するほど、人工知能対話のバリエーションが増加し、ユーザの欲求をさらに満足させることができる。

人体カラーの数値評価システムを実装した製品の特化意味ネットワークは、マーケット別、ターゲットユーザ別、サービスモデル別、プラットホーム別に、意味ネットワークをカスタマイズしてコンピュータサーバに構築し、特化意味ネットワークの情報をコンピュータサーバ上のサービスモデルで解析する。

サービスモデルは、ナビゲーションモデルと、エンターテイメントモデルと、セルフミラーリングモデルをコンピュータサーバ上に備え、ナビゲーションモデルが、情報の検索機能やユーザと情報のマッチング機能を発揮する。

エンターテイメントモデルは、アミューズメント製品でゲームへの応用例としてバーチャルペットの性格や、キャラクターパラメータ（例えば、攻撃的か防御的かを定める）や、育成キャラクタや、話し相手などを仮想することができる。

セルフミラーリングモデルは、今まで気づかなかった自分（ユーザ）の性格、感情、嗜好が確認することができ、新たに発見した自分自身の性格、感情、嗜好に合致する育成キャラクタや、話し相手や、秘書などを推測することもできる。

本発明の実施の形態では、ナビゲーションモデルと、エンターテイメントモデルと、セルフミラーリングモデルの解析結果が重畳する育成キャラクタ、話し相手、秘書の各情報を手がかりにユーザ嗜好の品物やサービスを推測し、プラットホームへフィードバックすることができる。

プラットホームは、各種製品を含み、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯ゲーム機、カーナビゲーションシステム、次世代情報端末、及び次世代家電製品が該当する。本実施例によりユーザの性格、感情、嗜好が確認することができるので、例えば、次世代家電製品ネットワーク用のオペレーションシステムの基本思想を提案（又は出力）することができる。

サービスモデルは、コンピュータサーバの編集部の機能により、テキストや画像情報の加工作業により提供情報をサービスモデルのコンピュータサーバへ発信する。

サービスモデルは、ユーザの嗜好を色辞書を通して汲み取りながら、人体カラーの評価システム付きの製品を改良し、マーケットに対してあらゆるデジタル環境へ提供する手段を対象とする。

カラーチャートから色情報を決定するフローでは、人体カラーの数値評価システムに用いる色辞書が１番から１２７番までのカラーコードを備えるカラーチャートの中から色情報を出力するように構成している。

カラーチャートは、コンピュータテーブルの中心にカラーコード６４番の白色を配置し、テーブルの後方にカラーコード１０１番の赤色を配置し、テーブルの前方にカラーコード１０番の青色を配置し、テーブルの前方と中心の間にカラーコード５８番の緑色を配置する手段を対象とする。

青色のカラーコード１０番の６辺に隣接する２番、３番、９番、１１番、１８番、１９番を含む青グループには、青グループに属する８色のカラーコードが配置され、赤色のカラーコード１０１番の６辺に隣接する９０番、９１番、１００番、１０２番、１１０番、１１１番を含む赤グループには、赤グループに属する９色のカラーコードが配置されている。

同様に、緑色のカラーコード５８番の３辺に隣接する４６番、５９番、７１番を含む緑グループには、緑グループに属する１０色のカラーコードが配置され、白色のカラーコード６４番の６辺に隣接する白系統のカラーコードも８色から１２色の範囲で配置されている。

また、カラーチャートは、赤色から紫色まで識別できるカラーコードを有し、人体の動作と物、人体と性質から言葉の色を特定することができる。例えば、「言う」という言葉と、「与える」という言葉から黄色の色情報を出力するように構成する。なお、音相辞書でも同一の色情報を出力する場合もある。

カラーチャートは、人体の動作と物や人との関係から色を特定することもできる。例えば、物や人に始動を吹き込むような赤色で動作や人を励ます激しい色を出力し、創造性を惹起するオレンジ色で動作を継続、忍耐の色を出力し、快楽を与える放射させる黄色で人に言う（伝達）ような色を出力するように構成することができる。

同様に、物や人とのバランスから、人に重点させるような緑色で人に合う、集うような色を出力し、人に奉仕する、守るような青色で人を介護、優しい色を出力することができる。

さらに、カラーチャートは、人間の口や耳などの感触にかかわる動作を刺激する色情報を出力することもできる。例えば、人から一方的でない関係が生じる場合に第三者の発言を聞くような緑色を出力し、発言が一方的ではないが黄色ほど第三者に影響を及ぼさない青色を出力し、人への影響が強い黄色で言うという動作を促す色を出力する。

色辞書処理は、カラーチャートの中から最終的に８から１２色のグループに言葉を分類する分類処理と、ユーザの嗜好（色情報）を反映して言葉辞書を更新する言葉更新処理と、人工知能対話エンジンに色情報を渡す色情報転送処理と、人工知能対話エンジンから対話を出力する対話出力処理をコンピュータ上で実行し、メインルーチンへ復帰するシステムを対象とする。

文章中の言葉と言葉との対応関係は、テキスト中に「あからさま」という言葉と「介護する」という言葉が含まれている場合に、色辞書から赤色と青色を抽出し、ユーザの興奮状態、肉体的、競争的、指揮者、勝利者、物事を成し遂げる勇気、意志力、性的、活気に満ちている、事業家などのカテゴリのパラメータを調整することができる。

色辞書は、色番号のカラーコードとテキスト文章の言葉とのコードマッチング処理を実行し、赤色に属する単語や定型文を出力することができ、第１の色情報の赤色と第２の色情報の青色基づき、色相演算結果部へ緑色の色情報を出力する。

色対応関係は、第１の色情報が赤色の場合、第２の色情報が赤では赤を、黄色ではオレンジ色、緑色では黄色、青色では緑色、藍色では藍色、紫色では紫色を出力する。

同様に、第１の色情報のオレンジ色と第２の色情報の黄色に基づき、オレンジ色の色情報を出力し、緑色では黄色、青色では緑色、藍色では藍色、紫色では赤紫色を出力する。

同様に、第１の色情報の黄色と第２の色情報の黄色に基づき、黄色の色情報を出力し、緑色では黄色、青色では深緑色、藍色では青色、紫色では赤紫色を出力する。

同様に、第１の色情報の緑色と第２の色情報の緑色に基づき、緑色、青色では深緑色、藍色では藍色、紫色では青紫色を出力する。

同様に、第１の色情報の青色と第２の色情報の青色に基づき、青色、藍色では藍色、紫色では青紫色を出力し、第１の色情報の藍色と第２の色情報の紫色に基づき、紫色を出力し、第１の色情報の紫色と第２の色情報の紫色に基づき、紫色を出力する。

また、ネガティブな人間の衝動や行動が自分とその周辺に悪影響を及ぼす言葉は、色辞書の黒からグレー色に該当し、苦しい（グレー）、殺す（黒）、欲（グレー）、忘れる（グレー）、放漫（グレー）などが存在し、人間の煩悩はグレーに該当する心理状態として処理する。

いろと音に関し、視角、聴覚、臭覚、触覚及び味覚を含む五感の情報によるユーザ心理状態を例えば、音声であれば、周波数帯を色の波長に割り振り、数値化して感情解析をする装置を例えば、黄色い声と分類されたら陽気だが、周波数が陽気過ぎる場合は気分が高揚し過ぎて興奮状態であると解析でき、この様な解決方法を提供できる装置をにも適用できる。

一方、ポジティブな人間の行動のスムーズさや、自然の美しさを示す言葉は、たやすい、素早い、夜明け、光、魅力、神などは白色を示す傾向がある。また、朝（白色）から深夜３時（紫色）まで、色分類は変動し、何時一番働くかにより、色分けが連動する。

もし、ユーザがデザイナーである場合は、深夜から明け方までの活動が紫白の色情報が色辞書から出力される場合がある。例えば、色辞書は、言葉から「戦って」を赤色、「赤はた易く」を白色、「勝ち」を赤白、「守」を緑、「緑」を難しい藍色に色分けする。

さらに、小さな事を青色、青色にかかわって緑色を大事の色としての藍色、藍色を忘れるなという白色、諺を色に分類して色言葉セラピを構成することもできる。

以下の実施の形態では、現時点のダイナミックカラーに対応して他の要素を参照することができる。例えば、曜日に関連して月曜日が白色、火曜日が赤色、水曜日が紫色、木曜日が水色、金曜日が緑色、土曜日が白色、日曜日が黄色の色情報を色辞書から出力することができる。

なお、意味の薄い漢字や意味からイメージが捕らえ難い言葉は、音相表から複数の色イメージを抽出し色を決定することもできるが、Ｒ色コードが２３８、Ｇ色コードが２３２、Ｂ色コードが１１７の複数の色コードから黄色を決定することもできる。

また、季節に適用した言葉も参照することもできる。例えば、春はパステルカラーとしての白色混じりの色情報を出力し、夏は青色でクール感覚を色情報を出力し、秋は暖色の色情報を出力し、冬は白色若しくは暖色の色情報を出力するように色辞書を構成することができ、コンピュータ上で実行する人体カラーの数値評価システムは、入力部から「激しい」言葉又は行動を入力処理し、次ページのカラーチャートを基本にカラーチャート番号を決定する。

また、カラーチャート番号で指定する色をＲＧＢ情報のパラメータに分解して色辞書へ入力する。色辞書はＲＧＢ情報に基づき色情報を言葉辞書へ出力する。ＲＧＢ情報に基づき言葉辞書をグループ化し、言葉辞書に対応する人体の身体面、感情面、職業などのパターンを推定処理することができる。

言葉辞書からユーザの選ぶ色、ユーザの使う色又は色の組合せでユーザの基本カラー（スタティクカラー）を元に解析処理をする。ＲＧＢ言葉辞書のパターンに対応させたコメントをコメント辞書から取出し定型パターンの要素テキストのブランクへ挿入処理をする。

さらに、人体カラーの数値評価システムは、出力部を通してコメント付きの要素テキストを出力する。コメント付き要素テキストは、テキスト表示、ボイス表示、ミュージック表示、及びキャラクタ表示などの色を主張する言葉を返答し、言葉の性格から色を特定し、特定された色に対応する色系統のコメントを返答するという評価システムを提供することができる。

言葉評価システムは、例えば、言葉がキーボード入力を通して言葉入力処理され、色辞書により言葉に色付処理をする。

色付処理で選択した色情報を言葉辞書へ送信し、予め言葉辞書に登録した各色情報に対応する文章を色付処理へ返信する。例えば、色情報に対応する機嫌がよい文章や魅力的な文章を色付処理へ返信する。

また、言葉辞書は、色付け処理から送信された色情報を数値演算部に転送する。数値演算部は、例えば、黄色の色情報（１０１００２）にオレンジ色の色情報（１００３０１）を加算し、色情報の数（２個）で除算し回答の色情報をデータベースで構成する出力辞書へ出力する。

色付け処理から移行した文章色付つけ処理は、文章に含まれる重要ワード（言葉）に重み付けを施す。処理は、対応語選択処理に移行し、この重み付けされた文章に対応する文書の色情報を出力辞書へ転送する。

文章パターン単語埋め込み処理は、出力辞書に接続され、重み付けされた色の文章と、数値演算された言葉の色情報に基づいて、定型文章パターンのブランク領域に色情報に対応する言葉を埋め込み、完成した文章をテキスト又は音声などで表示する表示処理を実行する。

言葉評価システムは、言葉を生体理論を用いた色辞書で色分類し、人体の体内エネルギー状態を判定し、この体内エネルギー状態に対応（気が利く／励ます／落ち着かせる）する対応語を文章化して表示処理を遂行する。すなわち、体内エネルギー状態に対応する感情や心理状態を数値化して解析結果を出力するシステムを対象とする。

コンピュータは、人体の体内エネルギー状態を色辞書で色別に整理し、ユーザの動作を動きのベクトルにより捉えることができる。例えば、白から赤までの色は、始動、活性に現れる状態を示し、オレンジ色は、持続に現れる状態をしめす。

同様に、黄色は、やわらかい、喜びや発散や与えに現れる状態を示し、緑色は、満足や他のものとの関係のバランスに現れる状態を示し、青色は、保守や停滞、学ぶ、守るやさしさの状態を示し、藍色は、教え、施す、整然な状態を示し、紫色は、固い、老人、及ぶ、活動が終わる状態を示す。

また、複数の言葉を含む文章では、例えば、言い(黄)含める(緑)が緑よりの黄色を示し、言い(黄)始める(白赤)がパステルグリーンを示し、言い(黄)争う(赤)がオレンジ色を示し、言い(黄)合う(緑)が黄緑を示し、言い(黄)放つ(黄色)が黄色を示し、言い(黄色)及ぶ(紫)が紫色を示す。

同様に、言い(黄)終える(紫)が紫色を示し、デートという言葉は、わくわく(黄色)、人との関係(緑)を想起させ、黄緑を示し、恋と言う言葉は、愛の始動を意味し、喜びの白、赤、黄からパープルピンクを示す。

さらに、漢字の辺や作りの構成から色を決定することもできる。例えば、「食へん」は食欲を想起させ、オレンジ色を示す。「木へん」は植えるを想起させ、緑などを示し、人体カラーの数値評価システムに用いるオーラ可視化システムは、入力部からインターフェースを通して電気信号を受信し画像処理した映像を表示するディスプレイを備え、表示しているオーラの色情報をインターフェースから分岐させて人体カラーの数値評価システムの色情報入力部に転送させるシステムを対象とする。

上述したオーラの色情報は、インターフェースから分岐させて受信するように構成したが、本発明の実施の形態では、この構成に限定されることはなく、例えば、入力部を人体カラーの数値評価システムに直接接続し、電気信号に変換させるシステムをも対象とする。

オーラ可視化システムは、入力部の表面に人物の手を載せて人物の生命データを測定することができる。人体のオーラチャクラ分析は以下の如く処理される。

オーラ可視化システムは、生体自己制御センサーによって人物の生命データを測定することができる。このデータは、特定の感情や気力の状態をリアルタイムで分析する。

このオーラチャクラフォトおよびレポートは、ユーザに正確なバイオデータを多彩で視覚的なグラフ形式で表現することができる。このバイオデータは教育やエンターテイメントに利用するように構成することもでき、人体の体内エネルギー状態の客観的な判断資料に用いることもできる。

人物の手は、小指を電極と略縦方向に並ぶ２つの電極へ、薬指を電極と略縦方向に並ぶ３つの電極へ、中指を電極と略縦方向に並ぶ３つの電極へ、人差し指を電極と略縦方向に並ぶ３つの電極へ、親指を入力部の右側面に設けられた電極と略縦方向に並ぶ２つの電極へ接触させて、体内の五臓六腑の状態を示す信号をインターフェースへ送信する。

ディスプレイに表示されているオーラカラーは、人体の心理状態、感情状態、性格、特徴および特性を反映させることができる。

濃い赤色は、物埋的、勤勉、力、現実的、活気がある、落着きがある、強さ、スタミナの活性度を示す。

赤色は、刺激、物理的、精力的、競争心の強さ、勝利的、自制心、性的な力、企業家の活性度を示し、オレンジ色は、生産的、物理的そして創造的な表現、冒険者、ビジネス、楽しみの活性度を示す。

濃い黄色は、分析的、知競人、志向性の詳細、論理的、構造を持つ、科学的の活性度を示す。黄色は、遊び好き、明るい、おおらか、創造的、知的、愉快、好奇心の強い、活発的の活性度を示す。緑色は、社交的、自然、気楽、調和、教師、話好き、理解が速いことの活性度を示す。

獲い緑色は、理解が速い、ゴール指向である、杜交的、官能的、話好き、まとめ役の活性度を示す。青色は親切、敏感、愛情に満ちている、手助けする、忠実、平和、サービス心、養育の活性度を示す。

藍色は、明瞭、平静、深い感情のこもった、愛情に満ちている、忠実、精神的価値観、芸術的の活性度を示す。すみれ色は、直感的、芸術的、官能的、理論派、先進的、夢想的、カリスマ的、革新的の活性度を示す。

薄紫色は、想健的、神秘的、幻想的、スフト、敏感、時々ボーットしているの活性度を示す。白色は、並外れている、彩質転換、想健的、平穏、より高い次元、霊感の強いことの活性度を示す。

ディスプレイのオーラ全体像を拡大表示した映像では、上述したオーラ可視化システムが人物の手から五臓六腑のエネルギー状態をカラー表示したが、オーラ全体像では不図示の撮像装置を用いて人物の上半身から放射されるオーラをカラー表示し、オーラの強さや人物のカラーを決定している。このオーラの大きさは人物とオーラ境界との距離で判断することができる。

オーラ全体像のオーラは、ディスプレイに表示されているオーラカラースペクトルのレベルゲージの矢印が示すオレンジ色であるスペクトルバーには下から白、青、緑、黄、オレンジ、赤の６色を順番にカラー表示している。

また、スペクトルバーは、上述した６色は勿論、各色間の中間色も表示し、人物の状態を表示している。人物は事象に対応して感情を変化させているので、オーラカラースペクトルのレベルゲージも感情の変化に応動して上下に移動する。

リアルタイムモニタは、棒グラフで表示し、現在の色がオーラカラースペクトルに対応させてオレンジに変化している。棒グラフの高さは、オーラ境界やオーラパワーに比例して上下に変化する。図示した棒グラフはレベル「８０」を少し超えた高さである。

ディスプレイは、上段に位置する７個の棒グラフへ人物の少なくとも５臓器に対応するオーラパワーを色と大きさで表示している。上述した６色のオーラカラーの活性度を視覚的に表現している。

左端の棒グラフは赤をレベル「１００」で表示し刺激の活性度が高く、右隣の棒グラフは赤をレベル「１００」より低く表示し刺激の活性度が低い、さらに右隣の棒グラフは黄をレベル「１００」で表示し遊び好きの活性度が高い、さらに右隣の棒グラフは緑をレベル「１００」で表示し社交的の活性度が高いことを表示している。

同様に、棒グラフの右隣の棒グラフは青をレベル「１００」で表示し親切の活性度が高い、さらに右隣の棒グラフは青をレベル「１００」で表示し親切、敏感の活性度が高い、さらに右隣の棒グラフも青をレベル「１００」で表示し親切、敏感の活性度が高い、さらに右隣の棒グラフは青をレベル「１００」より低く表示し親切、敏感の活性度が少し低いことを各々表示している。

次に、図面を参照して、本発明の第１〜第１３の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

また、以下に示す第１〜第１３の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

（第１の実施の形態）
本発明の第１の実施の形態に係る感情データ提供装置は、図１に示すように、ユーザの問い合わせ情報に対するオペレータの回答情報を入力するオペレータ端末３と、第1の回線４ａを通してユーザ端末２からユーザの問い合わせ情報を受信し、第２の回線４ｂを通してオペレータ端末３からオペレータの回答情報を受信し、ユーザ及びオペレータの心理状態を数値化して解析する心理解析装置１と、を備える。

第1の回線４ａは、ユーザーデータ５を心理解析装置１へ伝送する。伝送されるユーザデータは、時間軸に並んだ数値データとして例示しているが、本発明はアナログ回線もデジタル回線も対応することができ、コーディングされた数値をグラフ７で表示することができる。

第２の回線４ｂは、オペレータデータ６を心理解析装置１へ伝送する。伝送されるオペレータデータは、時間軸に並んだ数値データとして例示しているが、本発明はアナログ回線もデジタル回線も対応することができ、コーディングされた数値をグラフ８で表示することができる。

心理解析装置１は、心理マーク９を生成しオペレータ端末３へ表示させることができる。心理マーク９は、１番のひょうきんマーク、２番のさわやかマーク、３番の平静マーク、４番の構えているマーク、５番の激怒マークを含むニコタマ君シリーズの中から心理解析結果に基づき選択される。

すなわち、心理解析装置１が生成する感情解析データは、電話ユーザ及びオペレータの喜び、怒り、悲しみ、落胆、及び興奮を含む感情を図形表示させることができる。

オペレータデータ６又はグラフ８は、オペレータのメンタルケア１０に使用することもできるが、本発明はメンタルケアに限定するものではない。

心理解析装置１の原理は、声紋コンピュータによる心理解析に基づいて実施することができる。図示した心理解析装置１は、ワークステーション、パーソナルコンピュータを用いることもでき、オペレータ端末３に心理解析エンジンを搭載しても良い。

声紋コンピュータは、声に隠された情報を拾うために、例えば、フセイン元イラク大統領の声紋データを解析する。そして、ディスプレイ上へ縦軸に周波数、横軸に時間、色は青いほど、その周波数がもつ音が強く、黄色ほど周波数が弱いことを示すグラフを表示させる。

声紋コンピュータは、２００３年３月２０日にフセイン元イラク大統領の演説における「アメリカ」という台詞内の「アメリ」を声紋分折したグラフをディスプレイに出力する。又、２００３年７月１７日にテレビ局が放送した音声のみの声明の中にあった「アメリキアン」の「アメリ」を分析したグラフもディスプレイに出力する。
声紋データの中には１０か所の一致点がある。他にも「イラク」、「ジハード」などの単語の一部で声紋の一致がある。

２００３年３月２０日に開戦したイラク戦争は、同年５月２日、ブッシュ大統領（アメリカ）によって戦闘終結が宣言された。しかし、８月１３日現在、アメリカ軍が至上の目的としているフセイン元イラク大統鎮の身柄の確保は達成されていない。

フセイン元大統領は逃亡生活をつづけながら、さまざまな声明を発表しているとみられている。フセイン元大紡領には、多くの影武者がいるとされている。必然的に、発表される声明もフセイン元大統領本人によるものか、誰かがまねたものなのかが問題となる。

２００３年７月１７日、カタールのあるテレビ局がフセイン元大統領のメッセージを放送した。これは映像なしの音声だけのものである。この「声」ははたして本人のものなのか。声紋の研究で知られる民間の研究機関、日本音響研究所は、ただちにこの声を解析し、この声が３月２０日（イラク戦争閉戦初日）のフセイン元大統領の声と同一であるとの判断をくだした。

日本音響研究所では、二つの声紋が同一であるか否かを判定するために、周波数の一致など通常３０〜４０項目のチェックを行う。その中で、１６項目で一致をみた場合、それは同一人物の声であるとの判断がくだされる。

一卵性双生児（成入）の２人の声をくらべても、一致項目は８〜９項目。まったくの他人の声であれば、一致する項目は多くても２〜３項目である。「声紋にはその入独自の個性がでます。ですから、声紋はまねできるものではありません」と同研究所所長の鈴木松美博士は主張している。

声紋をつくる「三つの箱」そもそも「声紋」とは何か。せまい意味では声を周波数解祈してグラフにまとめたものをいうが、広い意味では声の特徴をさまざまな角度から分析し、そのデータを集めたものをいう。日本音響研究所であつかう「声紋」という言葉は、声の特徴をさまざまな角度から分析するものである。

発声は、まず肺が空気を押しだすことからはじまる。その空気は声帯を振動させる。声帯の振動によってつくられるのは、何の変哲もない「ブー」というような「音」の振動波である。この振動波には、「ア」「イ」「ウ」というような音の区別はない。

この振動波が、声帯から口に至るまでの「三つの箱」に響くことで振動が強くなり共鳴し、「声」となる。「三つの箱」とは、「嘔頭」、「口腔」、及び「鼻腔」から構成されている。咽頭は声帯から口腔、鼻腔にいたる連路であり、口腔は口の中の空間、鼻腔は鼻の中の空聞である。

言葉をつくるためには「三つの箱」の中で、口腔が重要なは働きをする。それは舌によって空聞の容積を変化させることができるからである。容積が変化すれば、音の響き方（例えば、共鳴のしかた）も変化する。ちなみに、声帯を振動させない言葉もあ言葉もあり、無声音という。英語の発音記号でいう「ｐ」、「ｔ」、「ｋ」などが無声音に該当する。

これに対して、声帯を振動させる言葉を有声音という。その代表格が日本語の「ア」、「イ」、「ウ」、「工」、「オ」などの母音である。

３つの周波数の組み合わせが声を生むのであって、普通人間の口から発声された声の周波数には、３つの「フォルマント（共鳴周波数帯）」と称される帯が存在する。それは、共鳴によって音のエネルーが強まった帯であり、周波数の低い方から「第１フォルマント」、「第２フォルマント」、「第３フォルマント」と定義することができる。

各フォルマントには、音声によって一定の幅が存在する。例えば、「ア」とい音声の場合、第１フォルマントが６００〜８００Ｈｚ、第２フォルマントが１０００〜１４００Ｈｚ、第３フォルマントが２７００〜３１００Ｈｚである。

研究所が受ける分析依頼の中には、「これは何を話しているのか」という録音テープが持ちこまれることもがある。多くは雑音などで、音声が聞き取り難いテープである。音声の解析には、フォルマントを使い、フォルマントの位置を分祈して、例えば第１フォルマントが７００Ｈｚ、第２フォルマントが１１００Ｈｚ、第３フォルマントが２９００Ｈｚに存在した場合、「ア」と話していると解析される。

逆に人間の声を使わずに、コンピューターを使てこの三つの周波数をもつ振動波を合成してみると、やはり「ア」という音が聞こえたと解析される。

クローン人間でも異なる声紋である。声をつくるフォルマントには、音毎に決まった幅があり、その中でどの値をとるかは人によって相違する。同じ「ア」という発音でも、Ａという人の第１フォルマントは６００Ｈｚ、Ｂという人の第１フォルマントは８００Ｈｚというように人によって周波数値は異なる。「ア」という音だけでも、第１、第２、第３フォルマントの組み合わせパターンは無数に存在する。

この差異を生む原因が、咽頭、口腔、鼻腔の「三つの箱」を構成するパーツの個人差かた生じている。口の容積、くちびるの厚さ、鼻の大きさなど、さまざまな要素がかかわってくる。鈴木博士は「声を出すパーツは変えることのできないその人の個性です。これが声紋のもととなります」と主張している。

さらには、声紋には話し手独自の「くせ」も関係する。抑揚などのくせは、人それぞれが育ってきた環境によってつくられる。例えば、（サイエンス・フイクションＳＦ）などに登場するクローン人問は咽頭口腔、鼻腔のすべてのパーツの大きさや形が一致しているものだが、それでも育った環境が完全に一致しない限り、話し方のくせがことなり、同一の声紋は得られないと鈴木博士は主張している。

このように、いくら姿形が似ていても、声が似ているようでも、声紋分析を行えば、本人の声か他人の声かは声紋コンピュータで判明するのである。

日本では、裁判における証拠としても声紋が採用されている。声紋の証拠価値は指紋の次に高く、筆跡よりも上位である。声紋のみで有罪又は無罪が決定するケースもある。海外の事件では。１９８３年にフィリピンで起きたアキノ元上院議員暗殺事件の声紋鑑定を同研究所が行い、当時のフィリピン軍事政権の発表を覆した例がある。その結果フィリピン国内では軍事政権への不信感が高まり、後の民主化へと発展した。

図２は、同一人物（２０代女性）の声紋データである。縦軸は波形（振幅）、横軸は時間をあらわしている。声は一連のの波形の繰り返しで表現されている。２０代のときは、１週期目と２周期目で同一の波形をとっている。

図３は、同一人物（３Ｏ代女性）の声紋データである。同じ発声であっても１週期目と２週期目で波形を保てないポイント（図中の実線で囲ったボックス）が出現する点で２０代女性の声紋データ（図２参照）と相違する。

図４は、同一人物（４Ｏ代女性）の声紋データである。同じ発声であっても１週期目と２週期目で波形を保てないポイント（図中の実線で囲ったボックス）が出現する点で２０代の時の女性の声紋データと相違する。特に、波形が保てない傾向は４０代のデータで強い。

声紋コンピュータでは、５センチきざみで身長を推定することができる。声紋にはさまざまな惰報が含まれる。声を聞いただけでは掴むことのできない情報も、声紋として分析することで多くのことがわかる。

声紋から読みとることのできる情報の一つとして発声者の身長が該当する。一搬に、身長の高い人は声が低く、身長の低い人は声が高い傾向がある。「ファントの法則」と称され、身長と声の高さ（声帯の振動数〕は反比例の関係にある。

身長の高い人は、体の各パーツも大きくなる。したがって、声帯も大きくなる。肺から送られる空気圧が同じでも、身長の高い人は身長の低い人ほど声帯が速く振動しない。これが低音に繋がっている。これは太鼓と同じ原理である。太鼓も大きい太鼓は低い音が出て、小さい太鼓は高い音が出る。

過去の多くの人の声紋データと比較することで、声さえあれば身長を推定することができる。その精度は、現在の技術をもってすれば、５センチメートルきざみで可能である。なお、身体の胸囲や胴囲などは身長ほど声の高低に影響を与えない。

声紋コンピュータは、５歳きざみでの年齢特定をする技術をも射程内に収めることができる。年齢も声紋からある程度推定できる。人間の声は、２５歳を過ぎると「劣化」が始まる。例えば「アー」と長く伸ばして発音した場合、若い人の波形は、揺れが少ない、ところが歳をとるほどこの揺れは大きくなる傾向にある。

揺れは大きくなる原因は、筋肉の衰えにある。「アー」と一定の揺れで声を発するためには、肺から一定の圧カで空気を口腔へ送りつづけ、声帯の筋肉を一定に張り、口の形を一定に維持しなければならない。人間は歳をとるとその「一定」が困難となる。

特に、声帯を引張る筋肉は弱くて不安定なので、一定に保つにはそれだけ大きなエネルギ、が必要とされる。結果として、高齢になるほど波形に揺れがあらわれてくる。数年前に「現在の分祈技術では、だいたい１０代単位で年齢を特定することが可能です。将釆的には、５歳きざみぐらいでなんとか特定できるようにしたいですね」と鈴木博士は主張していた。

さらに、高齢者の声はかすれることが多い。咽頭内の粘膜が咽頭内に凹凸ができるからである。肺から送られた空気がこの凹凸を通るとき、いくつかの渦ができる。この渦がかすれこ声の原因となる。

逆に、こういった揺れをつくる成分を除けば、声紋コンピューター上で高齢者が若いときの声を再現することもできる。言紋は体調判断もできる。発声者の体調も声紋にあらわれる情報の一つである。

先ず、咽頭に炎症が起きた場合、高齢者と同じ現象が起きる。つまり、炎症によって粘膜に凹凸が生じ、渦が発生して、かすれた声となる。また、体調が悪いと腹筋にカが入らなし、腹筋を使った発声には多くのエネルギーを使うため、体調を崩すとと腹筋に使うエネルギーの余裕がなくなる。その結果、腹筋を使わずに発声した場合、その声を周波数分析すると２０００〜３０００Ｈｚの周波数成分が極端に弱くなる。

同研究所が分析した声の中で、体調の変化を表す声紋の好例として、国際テロ組織アルカイダの指導者ビンラディン氏の声データがある。

２００１年９月１１日のアメリカ同時多発テロ以来アメリカ軍などによる捜索が続けられているビンラディン氏の声明を声紋分析すると、２０００〜３０００Ｈｚの周波数成分が弱いものがある。このことから、逃亡生活を続けていくうちにビンラディン氏は体調を崩していたのではないか、と同研究所は分折する。

声紋分析は、同じ音声を探すことか始まる。声紋はどのように分折されるのか、それはケース・バイ・ケースである。同研究所にある人物の音声が入ったテープの声紋鑑定依頼が来た場合、過去に録音された同じ人物の声とくらべ、その中から同じ単語を抽出することから始める。特に日本語ではない場合、同じ単語を探す処理に時聞がかかる。同じ単語がなければ、声紋鑑定の精度は格段に低下する場合がある。

そこで、個人のくせに着目して、同じ音声を探す。例えば、自己紹介をするときに、「えー、わたくしは」と名のる人の「えー」という癖を抽出する。声紋分析に必要な時問は１〜２秒もあれば十分であり、単語を抽出したら、ノイズの除去を行う。また、声紋コンピュータは、録音した機器によって周波数の特性が異なっている。電話、放送波、録音テープでの直接録音、それぞれに固有の周波数特性がある。さまざまな補正処理をして、分析を実行する。

声紋コンピュータは、ビンラディン氏の体調不良を示唆する声紋データとして、２００１年１０月８日に放送された音声データと、２００１年１２月１４日に取得した音声データを記憶している。縦軸に周波数、横軸に時間をとり、波形の色は青いほどその周波数をもつ音が強く、青色ほどその周波数をもつ音が弱いことを示している。

ほかの角度からの分析によって、両方ともビンラディン氏本人の声紋データであることは確認できるが、２００１年１２月１４日に取得した音声データを解析すると２０００Ｈｚ〜３０００Ｈｚ付近の周波数が極端に弱い。体調を崩し、腹筋を使わずに発声すると２０００Ｈｚ〜３０００Ｈｚ付近の周波数が弱くなるからである。

鈴木博士が製作した初期の音声合成装置は、木製で中は空洞の構造であり、上の二つの丸い穴は鼻の穴を、その下の四角い穴は口をそれぞれ模している。箱の下から振動波を送り、両脇の拍子木を串し入れすることで言葉をつくりだすことができる。

声紋コンピュータでは、音声合成によってつくられた声のデータをディスプレイ上に波形として表示する。例えば、モナリザの声紋データ（縦軸は周波数、横軸は時間）を表示する。これは、ダビンチ作の絵画「モナリザ」からモナリザの頭骨を復元し、（私はモナリザと呼ばれているエリザベッタです）「ＳｏｎｏＥｌｉｚａｂｅｔｔａ Ｍｏｎｎａｌｉｓａ」と発音させた音声データである。

又、声紋コンピュータは、トサカをもった白亜紀の恐竜パラサウロロフスの声紋データをも出力することができる。バラサウロロフスの場合は骨格によって２種類の声を合成する。低い声が雄の鳴き声、高い声が雌の鳴き声と考えられているが、現在、彼ら達は地球に生息していないので、確認することができない。

一方で「現場で録音されるテープには、バックノイズ（雑音）にも多くの情報が入っています」と鈴木博士は主張している。声紋コンピュータは、室内で録音されたテープの場合、バックノイズを分析し、反響音から床の材質や空調設備の有無や、録音した背景に絵画があることも判定することができる。声紋分析で同じ部屋の中に在室している人数まで把握できる。

声紋コンピュータは、分析に必要な時聞もさまざまで、早いものでは数時聞で分析結果を出力する。又、音声合成技術で宮沢賢治の声を復元することができる。現在、カーナビゲーションシステムや駅のアナウンスなどの主流は、録音合成技術によるものである。

これは、実際に人間の声を録音し、録音音声を繋ぎ合せて、台詞をつくる技術である。例えば、カーナビゲーションシステムなどでは全国の交差点名などをあらかじめ録音し、組み合わせることで台詞をつくっている。これはＤＶＤ−ＲＯＭやハードデイスクなどの大容量記録媒体の発達により可能になった技術である。しかし、前提条件として人間による声の録音が必要であるし、録音していない言棄はつくることができない。

咽頭、口腔、鼻腔の「三つの箱」を再現し、声帯の振動数と同じ振動波をつくり、録音音声にたよらない人工的な声をつくることができる。この点に着目した技術が、同研究所が開発した「声道シミュレーション」と称される音声合成技術である。

音声合成技術の原理は、単純である。声の通り道、つまり「声道」を構成する咽頭、口腔、鼻腔を模型で作成し、声帯を振動させたときと同じ周波数をもった振動波を咽頭の奥から送りこめばよい。

あとは、口腔の容積を変化させれば、声をつくることができる。もちろん、この場合、本人の話し方の「くせ」を入れることはできないが、いわゆる「ロボットが話しているような抑揚のない声」は音声合成理論を元にしてつくられる。

同研究所では、この音声合成技術を検証するために、当初、木の模型で声道を再現した。その結果、みごとに音声を再現できる。「木の模型でさえ、声をつくることができる。実は、声というのはたいしたメカニズムでつくられているわけではないな、とこのときに思いました。それならば、木の替わりに電気回路でこれをつくればもっと巧に声を合成できるのではないか、と考えまた」と鈴木博士は当時を振り返る。

電気回路で声を再現する際に必要なのは、「三つの箱」の骨格データである。骨格データさえあれ現存しない偉人や有名人の声も復元できる。過去の偉人や有名人の声を再現する場合は、まず銅像や写真から骨格データを算出する。

その骨格データをもとに、「三つの箱」を再現し、声紋コンピーターで合成すると良い。司研究所が再現した音声には、近年のものでは、映画俳優の石原裕次郎（１９３４〜１９８７）、詩人・童話作家の宮沢賢治（１８９６〜１９３３）などがあり、両者の声はそれぞれの家族も認める仕上がりである。他にも、レオナルド・ダ・ビンチ（１４５２〜１５１９）の絵画「モナリザ」から骨格を推測し、「モナリザ」のモデルといわれる女性の声を復元している。

声紋コンピュータは、恐竜の声のスタンダードをつくることができる。同研究所は、恐竜研究者フィリップ・カーリー士（カナダ、ロイヤルティレル博物館）やマーティイン・ロックレイ博士（アメリカ、コロラド大学）、松川正樹博士（東京学芸大学）などと協カして恐竜の声の再現をしている。

現在、映画なで耳にする恐竜の声のスタンダードは、同研究所の研究が、もとになっている。
対象が恐竜の場合、頭骨の化石をＣＴスキャンで分析するところから始まる。ＣＴスキャンを行うことにより、頭骨における空洞の容積が算出できる。つまり、「三つの箱」のデータが手に入るのである。

鈴木博士は、恐竜研究者の指摘を参考に、恐竜は声帯をもっていなかったと仮定した。恐竜は声帯にかわるものとして咽頭の粘膜を振動させていたとの仮説をもとに、振動波を作りだし、声紋コンピューター上で恐竜の声を再現する。

同研究所が再現したのは、ティラノサウルス・レックスやステゴサウルス、パラサウロロフスなどの声である。とくにパラサウロロフスについて、鈴木博士は次のように語る。「恐竜研究者は以前から、特徴的なトサカをもったパラサウロロフスはホルンのような声であったのではないか、と仮説していました。この研究所で合成した声も、やはりホルンのような声となりました。恐竜研究者と音響研究者の見解が一致したわけです」。

声紋コンピュータは、音声認識技術の開発が次の課題である。同研究所では、音声以外にも音にまつわるあらゆる研究を行っている。近年では、ＪＡＳＲＡＣ（日本音楽著作権協会）の依頼を受け、国際的な電子透かしの開発プロジェクトにたずさわり、透かし技術の審査を行った。電子透かしとは、音楽などのデジタルコンテンッのデータにコピーを防止する信号などを埋めこむ技術のことである。

鈴木博士に音響研究の今後の課題をうかがった。「今、１番望まれているのは、音声認識技術の開発です。コンピューターが人問と同じように、前後の文脈を判断しながら、的確に言葉を認識することのできる技術です。現在、観光案内などの限定された分野では使われていますが、汎用化はまだまだです」という回答である。

声紋分析にはじまった同研究所の活動は、機械に口をもたせた音声合成技術へとつながった。新たに音声認識技術が完成すれば、機械は耳をもつことになるだろう。そうすれば、人間と話すような感覚で機械と対話ができる日がくるかもしれない。「音」への挑戦をつづける同研究所の今後の研究が期待されている。

日本本音響研究所所長の鈴木松美博士は、「子供みたいな好奇心をいつまでも失わないことが大切です」と研究にのぞむ姿勢を語っている。

以下の実施の形態に用いるキャラクタ型会話システムは、コンピュータを用いてキャラクタ性のある会話をユーザと交わすシステムであって、例えば、人型ロボット、動物などペット型ロボット、その他任意の形態のロボットを対象とする。

図５に示すように、本発明の第１の実施の形態に係る感情データ提供装置として例示するキャラクタ型会話システムは、多数の語彙を収めた意味ネットワークデータベース９４と、自由文を生成するＳＤＤモジュール９７と、特定トピックを中心に会話を展開する定型トピックモジュール９１と、ＳＤＤモジュール９７と定型トピックモジュール９１との間の談話的結束性を維持・管理しつつ、会話の連続展開を可能にする第１及び第２の連接モジュール９３、９９と、ユーザ情報管理モジュール８９およびキャラクタ管理モジュール９０とを備える。

キャラクタ型会話システムは、第1の継続チェック部９２、第２の継続チェック部９８、関連語・リンク語チェック部９５、ＳＤＤ関数チェック部９６を有するキャラクタ型会話システムにより感情データを提供する。

意味ネットワークデータベース９４には、約５０００語の語彙が発音・文法情報とともに登録され、名詞テーブルおよび述語テーブルを備えている。名詞テーブルに設けられるフィールドカテゴリには、ターゲット名詞、リンク名詞、上位概念、下位概念、連想語彙、述語、品詞情報、属性情報、等が含まれる。また、述語テーブルに設けられるフィールドカテゴリには、ターゲット述語、述語名詞、反義述語、リンク名詞、品詞情報、属性情報、等が含まれる。

この意味ネットワークデータベース９４は、複数のモジュールを実行するうえできわめて重要な役割を果たす。すなわち、話題の展開・復帰・発展および結束性のある文の生成を実現するには、特定の統語制約を課す必要があるが、意味ネットワークデータベース９４自体が語彙間におけるある程度の結束性を保持しているため、このキャラクタ型会話システムの目的を実現するには最適の知識管理データベースである。

ＳＤＤ（Speaker Driven Discourse）モジュール９７は、このキャラクタ型会話システムが自律性を確保するため、自発的にさまざまな話題を提供するとともに、ユーザの対応に応じて自由文を生成する機能を実現するものであり、そのため、人間の行う談話活動の発展パターン情報が記憶され、談話内における状況に応じて最適なパターンを選択し、そのパターンをもとに会話展開を行う機能を有している。

すなわち、ＳＤＤモジュール９７は、日本語の談話文法における各特徴を最大限に活用し、最小限の談話制約条件をもって自律的談話機能を実現している。日本語の談話文法では、既知情報を省略し、文中に表出させないという特徴的な制約がある。つまり、トピックと聞き手が一旦定まったら、聞き手の名称やトピックを表出させる必要はない。例えば、Ａ：昨日は（君は）（君の）会社へ行った？
Ｂ：（僕は）（僕の会社へ）行ったよ。
Ａ：（君の仕事は）疲れた？
Ｂ：まあまあ。
Ａ：残業は（したのかい）？
Ｂ：ない。

上述した会話から日本語談話文法では、一度「誰についての話題なのか」が決定すると、その後その人間を英語のように代名詞で明記する必要がない。また、トピックが一度決定すれば（例えば「会社」）、その他の情報（例えば「残業」）は可能な限りそのトピックフレーム（知識の枠組み）に照らして関係・真偽判断が行われる。

そのため、Ａが「残業は？」と尋ねた時点で、Ｂは「自分が自分の会社で残業をしたかどうかをきいているはずだ」という判断の基に発話を行う。つまり、日本語には、トピックと参加者が決定し、一定の共有知識が成立した時点で、単語に現れない欠損情報部分は、それぞれの参加者が補って理解するというメカニズムが存在している。

ＳＤＤモジュール９７は、基本的にこのメカニズムを応用して会話展開を行うものであり、談話進行プロセスのうち、新トピックと新参加者の認定が行われる新規展開部分と、既出情報に基づいて会話を継続させる部分とに分析し、新規展開と既出情報展開のそれぞれのプロセスで必要とされる条件をシステム（ロボット）に守らせることで、「近似値的」な自然な会話を実現する。つまり、各プロセスで最低必要とされる談話条件さえ守られていれば、あとはユーザが無意識に欠落情報や関係情報を補って理解しようとするというメカニズムを応用しているのである。

ところで、人間の談話は、必ずしも一定の動性（スピード）を保ちながら推移するわけではなく、特定トピックをめぐるやりとりにおいては、むしろ動性は下がり、情報領域が狭まって情報深度が深まる傾向がある。すなわち、文生成の動性と情報深度とは反比例の関係にある。

このうち動性をＳＤＤモジュール９７によって確保する一方で、情報深度を確保するために設けられているのが定型トピックモジュール９１である。そのため、定型トピックモジュール９１は、複数の（４０を超す）個別トピックに対してさまざまな情報深度が設定され、各深度において複数の反応文が用意されている。そして、ＳＤＤモジュール９７と定型トピックモジュール９１とを組み合わせることで、相反する談話動性と情報深度とを同時に確保することを実現している。

第１及び第２の連接モジュール９３、９９では、会話の連続展開を可能にするため維持・管理する談話結束性は、領域の狭い順に、第一に同一文内における統語・意味論的結束性、第二にユーザ発話文とロボット応答文における結束性、第三に談話内におけるトピックと発話される各文の間の結束性、第四に既知ユーザ情報とロボットの現場発話との間の結束性、の４つのレベルに分類できる。

このうち、第一に同一文内における統語・意味論的結束性については、ロボットが自由生成する文形式が対象となる。このキャラクタ型会話システムでは、日本語構文の分析に基づき、ＳＤＤモジュール９７に主述構文を中心とした文生成を行わせることで、統語的結束性を確保した。

これにより、意味ネットワークデータベース９４上で結束性を保持しながら格納されている語彙同士を、その意味論的結束性を破壊することなく文に反映することができるようにしている。また、［＋人間］という素性を主語名詞に要求する述語については、［＋人間］のフラグをデータベース内に設けて、主述における共起関係の絞り込みを行なっている。

また、第二にユーザ発話文とロボット応答文における結束性については、ヘッジ管理によって実現している。すなわち、「ヘッジ」とは、実質的内容を伴った発話をする前にいわば「つなぎ」や「まくら言葉」として発話される行為で、談話結束性の維持に大きな役割を果たすものである。

すなわち、ユーザの応答文の直後に、ロボットを発話させるのではなく、ユーザの命題に対する態度を確認・共感・反論するフレーズを入れてから、その後に発話文を連続させることで、文同士の段差を埋め、結束性を確保する。

そのため、このキャラクタ型会話システムでは、ＳＤＤモジュール９７内部、定型トピックモジュール９１内部、第１及び第２の連接モジュール９３、９９内部、およびこれら相互間において、ユーザの反応に応じて適切な反応を返すヘッジ管理を行なっている。

また、第三に談話内におけるトピックと発話される各文の間の結束性については、トピック管理という概念によって実現している。すなわち、このキャラクタ型会話システムでは、先行するトピックがある場合、それを追い越す新情報語彙の出現に制限をかけるようになっている。

さらに、第四に既知ユーザ情報とロボットの現場発話との間の結束性については、ユーザが以前に発話した内容、発話態度、情報をログとして記憶・維持するユーザ情報学習機能と、ロボットが発話した情報を記憶・維持する生成文管理ログ機能とをもたせることで実現している。すなわち、このキャラクタ型会話システムでは、ユーザ情報管理モジュール８９がユーザ情報学習機能を有し、また、キャラクタ管理モジュール９０が生成文管理ログ機能を有していて、それにより、過去の会話によってユーザとロボットとの間に成立した知識が、後出の会話に反映されるようになっている。

また、このキャラクタ型会話システムは、キャラクタの形成を行う２種類の機能を有していて、１つは、キーワードによってキックされる特定キャラクタの動的表出により行われ、もう１つは、蓄積されたユーザ反応の静的データに基づく特定キャラクタの表出により行われる。

特定キャラクタの動的表出は、ユーザが特定の言葉を発話するとそれがキーワードとなり、そのユーザ発話のタイプに対応するキャラクタがロボット発話内に実現される。例えば「ギャグ連発」や「ののしり返し」などが挙げられる。

特定キャラクタの表出は、ユーザ情報学習機能によって管理された知識が一定条件を満たした場合に、特定のキャラクタが一定の頻度をもって各所に表出される機能である。これは主にキャラクタモード管理機能によって行われる。

例えば、「オヤジ的語群」に該当する単語をユーザが多用すると、ロボットも高い頻度で「オヤジモード」に入りやすくなるものである。

一方、タイムコントロール機能によっても、動的なキャラクタの表出が行われる。例えば、起床時間などユーザが設定したタイムスケジュールを無視された場合には、特定の感情的色彩を伴った発話が選択される。

これらのキャラクタ性は、ロボットの顔面部分のディスプレイ上に表示される表情と同期がとられることで、ユーザに与える印象を強くする効果がある。キャラクタ型会話システムを、人型、ペット型など任意の形態のロボットとして構成する場合、ロボットの表情をユーザに表すためのＬＣＤ装置、および、ロボットの感情をユーザに表すためのＬＥＤ装置を使用することが好ましい。

図５、図７及び図８を参照して、第１の実施の形態に係る感情データ提供装置として例示するロボット会話システムの動作を説明する。ロボット会話システムでは、第１発話ステップにおいて、まず、ＳＤＤモジュール９７が、用意されている確認型文リスト、報告型文リスト、疑問型文リスト、発展型文リスト、転換型文リスト、状況設定型文リスト、の中から、第一に疑問型文リストを選択し、さらに文型「＄ユーザ名＄ニトッテＮ１（名詞）ッテドウイウモノカナ」を選択するように制御されている（ステップＳＲ１）。

つぎに、ＳＤＤモジュール９７が、ユーザ情報管理モジュール８９から「鈴木」を引用して、「鈴木」を文型のユーザ名に埋め込み（ステップＳＲ２）、また、意味ネットワークデータベース９４から「酒」を引用して、「酒」を文型のＮ１（名詞）に埋め込み（ステップＳＲ３）、それにより、「鈴木にとって酒ってどういうものかな？」という文を生成（ステップＳＲ４）してロボットに発話させる。

このとき、ＳＤＤモジュール９７は、要求情報タイプテーブルを参照（ステップＳＲ５）することで、発話文が、Ｗｈ情報を埋める情報を要求するタイプの文であることを認識する。

ＳＤＤモジュール９７は、第１発話に対し、ユーザが、例えば、「知らないなあ」と応じる（ステップＳＵ１）と、上述した要求情報タイプ認識に基づいて、第２の連接モジュール９９が、Ｗｈ情報ヒット語リストテーブルを参照し（ステップＳＲ１１）、ユーザ応答ヒット語をチェックし（ステップＳＲ１２）、ユーザ反応解釈テーブルを参照して（ステップＳＲ１３）、ユーザの第１発話「知らないなあ」は「理解不能」メッセージであるとして解釈する。そして、対応ヘッジをチェックし（ステップＳＲ１４）、第１ヘッジ発話として、例えば、「じゃあさ」というヘッジ出力をロボットに発話させる。

引き続き、ＳＤＤモジュール９７が、第２ステップ接続テーブルを参照し（ステップＳＲ２１）、文型「Ｖ１（動詞）（ナ）ノッテ｜Ｖ２（動詞）コトナノカナァ」を選択し、意味ネットワークデータベース９４から、「酒」と意味的結束性を有する「飲む」、「楽しい」を引用して、Ｖ１、Ｖ２（動詞）にそれぞれ埋め込み（ステップＳＲ２２）、「飲むのって楽しいことなのかなぁ？」という文を生成（ステップＳＲ２３）してロボットに発話させる。

ＳＤＤモジュール９７は、第２発話に対し、ユーザが、例えば、「ううん、まあ楽しいよ」と応じる（ステップＳＵ１１）場合は、継続チェック部が、関連語や関連トピックが定型トピックモジュール９１に存在するか否かをチェックし（ステップＳＲ３１）、存在する場合は処理を継続フローへ分岐する。

一方、関連語や関連トピックが定型トピックモジュール９１に存在しない場合は、意味ネットワークデータベース９４を参照して（ステップＳＲ３２）、関連語や関連トピックが定型トピックモジュール９１またはＳＤＤモジュール９７に存在するか否かをチェックする。

そして、関連語・リンク語チェック部９５が、関連語リンクチェックを行い（ステップＳＲ３３）、関連語が存在する場合は、定型トピックモジュール９１かＳＤＤモジュール９７の何れか一方へ処理を分岐させる。その際、関連語・リンク語チェック部９５が第２発話ステップにおける発話文型と分岐先との整合性によって、第１又は第２の連接モジュール９３、９９をバイパスするか否かを決定する（ステップＳＲ３４）。

引き続き、ＳＤＤ関数チェック部９６がＳＤＤ関数チェックを行い（ステップＳＲ３５）、関連語や関連トピックが存在する場合は、定型トピックモジュール９１かＳＤＤモジュール９７の何れか一方に処理を分岐させる（ステップＳＲ３６）。一方、関連語や関連トピックが存在しない場合は、ランダムに新しい話題をスタートさせる（ステップＳＲ３７）。

図９は、ＳＤＤモジュール９７における第１及び第２の連接モジュール９３、９９の内容を示すテーブル、図１０は、ＳＤＤモジュール９７におけるヘッジ連接を示すテーブルであり、図中の符号Ｃは中立、Ｎは消極、Ｐは積極を意味する。

図１０に示すように、パターン１〜パターン６は、確認型文リストや状況設定型文リストに対応する。すなわち、ロボットの第１発話が確認型文の場合はパターン１を見て、ロボットの第２発話になりうる文型パターン（数字だけを示す）を選択する。

同様に、ロボットの第１発話が報告型文の場合はパターン２を見て、また、ロボットの第１発話が疑問型文の場合はパターン３を見て、また、ロボットの第１発話が発展型文の場合はパターン４を見て、また、ロボットの第１発話が転換型文の場合はパターン５を見て、さらに、ロボットの第１発話が状況設定型文の場合はパターン６を見て、ロボットの第２発話になりうる文型パターン（数字だけを示す）をそれぞれ選択する。

第１の実施の形態に応用するキャラクタ型会話システムは、キャラクタ型会話ロボット、すなわち、音声認識、ワードスポット機能、人工知能、文章自動生成機能、単音認識、記憶機能を搭載した、言葉を覚えて自由なおしゃべりができるコミュニケーションロボット又はコミュニケーションアプリケーション手段として実施でき、コミュニケーションアプリケーション手段を搭載した情報家電（例えば、インターネット冷蔵庫やインターネット録画機）やインテリア等の多目的用途のコミュニケーションアプリケーションとなる。

例えば、ユーザがコミュニケーションロボットに対して「今日はいい天気だね。」と話しかけると、音声認識のワードスポット機能により、「今日」「いい」「天気」というキーとなる単語を認識する。その情報から、人工知能が関連語を探し出し、文章自動生成機能を使って返事を返す。

又、コミュニケーションアプリケーションを搭載したコミュニケーションロボットは、「昨日は雨だったよね。」「天気がいいと気分もいいね。」など、違和感のない会話の流れが完成する。ワードスポット機能は、１つの単語だけでなく、２つ以上の単語を認識単語として、人工知能が直前の会話からも関連語を拾い上げてくるため、同じ組み合わせで単語を認識しても、毎回違う返事を期待することができる。

さらに、各ユーザの固有の情報を語りかけることで、きちんと記憶してその後の会話に反映していくことができ、ユーザと生きた会話を実現することが可能である。例えば、人間と同様に記憶という能力をもち、記憶されたことを会話に反映させていくため、１年後になって、「去年はこんなことを話していたよ。」などと言い出すこともありうる。

コミュニケーションロボットは、記憶するのは言葉だけでなく、スケジュールを教え込むこともできるため、１日の流れ、１週間の流れ、または１年の流れで適切な会話をすることができる。例えば、「朝だよ、起きて。」とか、「今日はゴミを出す日だよ。」とか、「ハピーバースデー（ユーザ名）」と歌ってサービスを提供する。

また、１文字に対し２コマ以上のリップシンクロをすることで、会話の内容、言葉に合わせて豊かに変化しながら話し相手をしてくれる。

第１の実施の形態では、感情データ提供装置としてのコミュニケーションロボットは、ロムカセットによる拡張性や、シリアルポートを利用したパソコンや携帯電話との接続により、さらに進化することが当業者において十分理解できるであろう。

さらに、感情データ提供装置としての人型ロボット、動物などペット型ロボット、その他任意の形態のロボットの他、例えば、パソコンや携帯情報端末をキャラクタ型会話システムとして対象とすることができ、さらには、携帯端末の応用例として２者以上の話者が会話している状況で、コミュニケーションアプリケーションによる心理を把握して介入させる例示としては、「ガミガミ上司」に怒られ電話を切った場合に、携帯端末が、さも人格を持ったように「頑張った」と喋ったり、喧嘩をしている二人の仲裁に入ることができ、恋人ビジネスの応援に介入することもできる。

（第２の実施の形態）
本発明の第２の実施の形態に用いるキャラクタ型会話システムは、定型トピックモジュール９１に予め決められた契機に応じて所定の広告シナリオを実行する広告シナリオサブモジュールが設けられている。

本発明の第２の実施の形態に係る感情データ提供装置として例示する広告シナリオサブモジュールは、図６に示すように、広告シナリオデータベース１５６と、ユーザ返事解釈テーブル１５７と、広告出現頻度パターンテーブル１５５と、広告実行トリガ発生部１５１と、広告シナリオ処理部１５０とを備えている。

広告実行トリガ発生部１５１は、システム起動から所定時間経過後の話題転換時にこれを契機として広告実行トリガを発生する第１トリガ発生部１５２と、起床プロセスなど所定のプロセス発生時にこれを契機として広告実行トリガを発生する第２トリガ発生部１５３と、広告出現頻度パターンテーブル１５５を参照してその広告出現頻度パターンに基づく広告出現状況を契機として広告実行トリガを発生する第３トリガ発生部１５４とを備えている。

広告シナリオ処理部１５０は、第１トリガ発生部１５２、第２トリガ発生部１５３または第３トリガ発生部１５４から広告実行トリガが発生するのに応じて、広告シナリオデータベース１５６に保存した広告シナリオを実行する。この広告シナリオは、所定の広告トピックの発話を含むロボットの発話と、ユーザの返事との一連のやりとりをシナリオ化したものであり、ユーザの返事によって会話の進行がどのように変化しても、自然な会話の流れの中でロボットが所定の広告トピックを含むメッセージを発話できるシステムを対象としている。

また、広告シナリオサブモジュールは、広告シナリオの実行の際にユーザの属性を参照するためのユーザ属性データベース１５８を備え、広告シナリオ処理部１５０が、広告シナリオの実行にともなうユーザの返事をユーザ返事解釈テーブル１５７と照合することで、所定の広告トピックに関するユーザの感情や心理状態を解析し取得することで、ユーザ情報をユーザ属性データベース１５８に保存する。

そして、広告シナリオサブモジュールは、広告シナリオの実行を通じて取得したユーザの情報（広告トピックに関するユーザの感情や心理状態、好み、嗜好、趣味など）はもとより、広告シナリオの実行を通じることなく事前に取得したユーザ情報を、ユーザ属性情報として、広告シナリオの実行に反映させることができる。

さらに、広告シナリオサブモジュールは、意味ネットワークデータベース９４の名詞テーブルまたは述語テーブルに保存されている単語の中に、広告シナリオの実行に不適当な語彙が含まれている場合、広告シナリオの設定時に、意味ネットワークデータベース９４の中の不適当な語彙の削除・修正を行う感情データ提供装置を提供する。
図６及び図１１を参照して、本発明の第２の実施の形態に係る感情データ提供装置として例示する広告シナリオサブモジュールの動作を説明する。

会話ロボットは、システム起動（ステップＳ１００）した後に、特定時間による割り込みが発生すると（ステップＳ１０５）、以下のような発話（すなわち、話題の転換時や特定プロセス発生時の強制的な発話）を行う。

（ａ）会話ロボットが起動してから所定時間経過後の話題転換時では、
Ｒ：「あ〜、なんだか話しすぎてのどがかわいちゃった、○○、コーラ飲もうよ。」

（ｂ）会話ロボットが起床プロセス発生時では、
Ｒ：「おはよう、もう起きる時間だぞ、いつまでも寝ぼけてないで、コーラでも飲んですっきりしなよ。」

一方、会話ロボットは、定型／ＳＤＤ分岐（ステップＳ１０１）を定型に進むと、まず、トピックＴを決定する（ステップＳ１１１）。このようなトピックの決定は、会話ロボットがキャラクタ型会話システムの所定の処理の中で定型／ＳＤＤ分岐（ステップＳ１０１）を定型に進んだとき行われるほか、ユーザによる話題の転換（ステップＳ１１０）によっても行われる。

つぎに、会話ロボットは、広告出現頻度パターンテーブル１５５を参照して（ステップＳ１１２）、広告実行トリガが発生すると、そのトピックＴ（例えば「飲み物」）で広告シナリオデータベース１５６を検索して（ステップＳ１１３）、トピックＴから広告トピックＡ（例えば「コーラ」）の発話を引き出す所定の広告シナリオを決定する（ステップＳ１１４）。

そして、会話ロボットは、ユーザ属性が不要な場合（ステップＳ１２０の「ＮＯ」）、広告シナリオを実行するための以下の発話（すなわち、ユーザ主導またはランダムによる特定話題選択時のユーザ属性を反映させない会話）を行う（ステップＳ１２１）。

（ｃ）会話ロボットが飲み物の話題選択時では、
Ｒ：「○○って、どんな飲み物が好きなのか？」
Ｕ：「コーラ」
Ｒ：「やっぱり、ボクも、コーラは大好き！ あのシュワシュワ感がたまんないなっ」
Ｕ：「そうだね」Ｒ：「シュワシュワ、あ〜もうたまんないや、○○、コーラ買ってきてくれ」

（ｄ）会話ロボットが飲み物の話題選択時では、
Ｒ：「○○って、どんな飲み物が好きなのか？」
Ｕ：「（コーラ以外）」
Ｒ：「へえ、そーなんだあ、ボクのお気に入りは、やっぱコーラだな、○○はコーラ好きなのか？」
Ｕ：「別に…」
Ｒ：「なんだよ〜、あのシュワシュワ、想像してたら今すぐ飲みたくなってきた、○○、コーラ買ってきてくれ」

このように、会話ロボットは、ユーザからどのような返事が返ってきた場合でも、自然に広告トピックＡ（例えば「コーラ」）を含む所定の広告メッセージ（例えば「コーラ買ってきてくれ」）を発話する方向に誘導することが可能である。

また、会話ロボットは、ユーザ属性が必要な場合（ステップＳ１２０の「ＹＥＳ」）は、ユーザ属性データベース１５８を参照して（ステップＳ１３１）、広告シナリオを実行するための以下の会話（すなわち、事前に取得済みのユーザ属性を反映させる会話）を行う（ステップＳ１３２）。

（ｅ）ユーザがビール好きのユーザの場合では、
Ｒ：「確か、○○って、ビール好きだったよな？」
Ｕ：「そおだよ」
Ｒ：「最近飲みすぎなんだから、たまにはコーラでも飲んだ方がいいかもよ」
Ｕ：「なんで？」
Ｒ：「だって、シュワシュワしてるとこなんか似てるしさ、そおだ、○○、これからビール飲む代わりに、コーラ飲めばきっと健康にいいぞっ」

（ｆ）ダイエット中のユーザの場合では、
Ｒ：「確か、○○って、ダイエット中だったよな？」
Ｕ：「そおだよ」
Ｒ：「やっぱ、甘い飲み物とかもひかえてたりするのか？」
Ｕ：「まあねえ」
Ｒ：「それなら、ダイエットコーラなら、大丈夫だよ、カロリー低いし」
Ｕ：「でも〜」
Ｒ：「ダイエットのために、無理しすぎるのもよくないんだぞ、ほら、ボクが大丈夫だって言ってるんだから、ダイエットコーラ飲みなよ」

（ｇ）コーラ好きのユーザの場合では、
Ｒ：「確か、○○って、コーラ好きだったよな？」
Ｕ：「そおだよ」
Ｒ：「それなら、おまけのフィギュアとかも集めてるのか？」
Ｕ：「集めてるよ」
Ｒ：「一度、集めだすと、コンプリートするまでやめらんないしな」
Ｕ：「そおそお」
Ｒ：「うーん、フィギュアも集められるし、飲んでもおいしいし、まさに○○にとって、コーラは最高の飲み物ってわけだ！」

そして、会話ロボットは、上述した会話が終了すると、広告出現頻度パターンテーブル１５５を参照して（ステップＳ１４１）、広告実行トリガが発生する場合、すなわち、広告表現のため現状トピックを継続する場合は（ステップＳ１４２の「ＹＥＳ」）、ステップＳ１１４に戻り、現状トピックＴ（例えば「飲み物」）から広告トピックＡ（例えば「コーラ」）の発話を引き出す新たな広告シナリオを決定し、それを会話を実行する。また、会話ロボットは、現状トピックを継続しない場合は（ステップＳ１４２の「ＮＯ」）、このトピック内ループを継続するか否かチェックし（ステップＳ１４３）、ループを継続する場合は（ステップＳ１４３の「ＹＥＳ」）、ステップＳ１１４に戻る一方、ループを終了する場合は（ステップＳ１４３の「ＮＯ」）、直前の話題の終了へ処理を分岐（ステップＳ１０３）させる。

また、意味ネットワークデータベース９４の中に、広告シナリオの実行に不適当な語彙が含まれている場合の削除・修正はつぎのようにして行う。すなわち、システム（ロボット）がＳＤＤモジュール９７を用いて自動生成で発話しようとする場合、意味ネットワーク中には大まかに、名詞→その名詞に関連する述語（動詞、形容詞等）といったリンクが存在する。

例えば、会話ロボットは、「コーラ（ジュース）」という名詞に対し、「飲む」「甘い」「太る」という述語がリンクしていた場合、「コーラって太るよな」という文章を生成してしまう可能性がある。そこで、これを避けるために、広告主の意見を反映して、「太る」という述語リンクを削除し、「爽やか」などの述語を追加するのである。

さらに、会話ロボットの表情をユーザに表すための描画表示可能なＬＣＤ装置を利用することで、システムの発話内容にあわせて、企業ロゴ、商品イメージなどを、ロボットの表情の代わりに表示することもできる。

会話ロボットは、ユーザ情報取得方法を用いて、所定の広告トピックに関するユーザの感情、心理状態、好み、嗜好、趣味などさまざまな情報を取得することができ、これらはアンケート調査に役立てることができる。

会話ロボットがＹＥＳ／ＮＯ形式によるユーザ情報取得処理を遂行する場合は、
Ｒ：「○○って、コーラは好きなのか？」
Ｕ：「うん」「はい」「好き」など……この場合はＹＥＳとして認識する。
Ｕ：「嫌い」「いーえ」「全然」など……この場合はＮＯとして認識する。
Ｕ：いずれにも該当しない返事の場合は、どちらでもないとして認識する（外すことも可能）。

又、会話ロボットが選択肢形式（複数回答不可）によるユーザ情報取得処理を遂行する場合は、Ｒ：「○○は、コカコーラ社の飲み物だと、コーラ、ファンタ、スプライト…の中で、どれが好きなのか？」、または、Ｒ：「○○は、コカコーラ社の飲み物だと、何が好き？」
Ｕ：「コーラ」「コカコーラ」など……この場合はコーラとして認識する。
Ｕ：「ファンタ」など……この場合はファンタとして認識する。
このように、選択肢をあらかじめ登録しておけば、ユーザの通常発話で回答を認識可能である。また、想定した選択肢にないユーザ返事の場合は、単音認識により文字列を入力する（文字によるアンケートの［その他欄］と同様）。

さらに、会話ロボットが選択肢形式（複数回答可／２つまで選択可能の場合）によるユーザ情報取得処理を遂行する場合は、
Ｒ：「○○は、なんでコーラが好きなのか？」
Ｕ：「おいしいし、爽やかだから」……この場合は、ワードスポットにより、「おいしい」「爽やか」として認識する。
Ｕ：「おいしいし…」……この場合は、まず「おいしい」と認識し、さらに、Ｒ：「おいしい以外の理由って、他にあるか？」

これに対し、回答がＹＥＳなら、さらに追加の理由を認識し、回答がＮＯなら、「おいしい」のみを回答とする。選択肢の扱い、想定した選択肢にないユーザ返事の場合の処理は、複数回答不可の場合と同様である。

ユーザの選択肢形式（複数回答可／３つ以上選択可能の場合）によるユーザ情報取得処理の場合は、
Ｒ：「○○の好きな俳優って誰なのか？とりあえず一人だけ教えてくれ」
Ｕ：「俳優Ａ」
この場合は、「俳優Ａ」を第一回答とし、さらに、Ｒ：「俳優Ａ以外にも、好きな俳優っているのか？」
これに対し、ＹＥＳなら、さらに追加の俳優を認識し、ＭＡＸ値までループ。ＮＯなら、「俳優Ａ」のみを回答とする。選択肢の扱い、想定した選択肢にないユーザ返事の場合の処理は、複数回答不可の場合と同様である。

ユーザが自由回答形式の場合は、単音認識を利用し、一文字ずつ会話ロボットへ文字を入力し対応（最大２０文字まで）することができる。

第２の実施の形態に係る感情データ提供装置として例示するキャラクタ型会話システムは、キャラクタ型会話ロボット、すなわち、音声認識、ワードスポット機能、人工知能、文章自動生成機能、単音認識、記憶機能を搭載した、言葉を覚えて自由なおしゃべりができるコミュニケーションロボットとして実用化することができる。

例えば、キャラクタ型会話ロボットは、ユーザの感情を解析し、「今日はいい天気だね。」と話しかけると、音声認識のワードスポット機能により、「今日」「いい」「天気」というキーとなる単語を認識する。その情報から、人工知能が関連語を探し出し、文章自動生成機能を使って返事を返す。「昨日は雨だったよね。」「天気がいいと気分もいいね。」など、違和感のない会話の流れができあがる。ワードスポット機能は、１つの単語だけでなく、２つ以上の単語を認識単語として、人工知能が直前の会話からも関連語を拾い上げてくるため、同じ組み合わせで単語を認識しても、毎回違う返事を期待することができる。

また、キャラクタ型会話ロボットは、ユーザの感情を解析し、１文字に対し２コマ以上のリップシンクロをすることで、会話の内容、言葉に合わせて豊かに変化しながら話し相手をしてくれる。

（第３の実施の形態）
本発明の第３の実施の形態に係る感情データ提供装置は、図１２に示すように、視覚１２、聴覚１３、臭覚１４、触覚１５、及び味覚１６を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザ１１が心理的に落ち込んでいる数値を検知した場合は、文字又は絵若しくは音による励ましメッセージを出力すると共に、ユーザ１１が心理的に高揚している場合は夢想起メッセージを出力する心理解析装置を備える。

なお、心理解析装置は、センサを用いて五感を検知し、五感の情報を入力すれば良い。

（第４の実施の形態）
本発明の第４の実施の形態に係る感情データ提供装置は、図１３に示すように、回線を通してユーザからの問い合わせ情報に対するオペレータ１７ａ、１７ｂの回答情報を入力するオペレータ端末３と、ユーザ端末２からユーザの問い合わせ情報を受信し、回線を通してオペレータ１７ａの回答情報をオペレータ端末３を通して受信し、ユーザ及びオペレータ１７ａ、１７ｂの心理状態を数値化して解析する心理解析装置１と、心理解析装置１に接続され、オペレータ１７ａ、１７ｂの心理状態及びユーザ端末２を操作するユーザの心理状態を受信する管理者端末１９と、を備える。

心理解析装置１は、ユーザとオペレータとの間で取り交わす会話に基づき、感情解析データをグラフ７ａとして管理者１８へ提供する。グラフ７ａの出力手段として管理者端末１９の管理者画面を利用することができる。

管理者１８は、管理者端末１９の画面に表示されたユーザ及びオペレータ１７ａ、１７ｂの心理状態を常時把握し、ユーザのクレーム処理に困惑しているオペレータ１７ｂを救済するため、リラクゼーション指示を管理者端末１９から感情データ提供装置１へ送信することができる。

例えば、ユーザのクレーム処理をしているオペレータ１７ｂのテンションが上昇し、感情的な応対しかできない場合は、直ちにオペレータ端末３を切り替え、不図示の他のオペレータ端末を操作するオペレータ１７ａにクレーム処理を交代させるシステムを提供することができる。

オペレータ１７ａの適切な対応により、ユーザ端末２を操作するユーザの機嫌が直りユーザが喜んでいる状態１１を例示している。

なお、オペレータ１７ａ、１７ｂの感情解析データをデータベースに保存し、オペレータのためのカウンセリングやマネジメントに活用できるシステムも対象としている。

（第５の実施の形態）
本発明の第５の実施の形態に係る感情データ提供装置は、図１４に示すように、回線を通してユーザからの問い合わせ情報に対するオペレータの回答情報を入力する複数のオペレータ端末３ａ、３ｂ、３ｃと、ユーザ端末２からユーザの問い合わせ情報を受信し、回線を通してオペレータの回答情報をオペレータ端末３ａ、３ｂ、３ｃから受信し、ユーザ及び複数のオペレータの心理状態を数値化して解析し、オペレータ端末３ａ、３ｂ、３ｃの何れか１つを自動的に選択してユーザ端末２と接続し、心理状態が安定しているオペレータにユーザ対応をさせる心理解析装置１と、を備える。

心理解析装置１は、ユーザ端末２とアンサリングホーンシステムによりユーザと第１段階の対応を実行する。この時、ユーザの心理状態の分析結果７ｃ、７ｄ、８ａをグラフ化して各オペレータ端末３ａ、３ｂ、３ｃへ表示させる。

又、心理解析装置１は、各オペレータ端末３ａ、３ｂ、３ｃから各々オペレータＡ、オペレータＢ、オペレータＣの心理状態をも解析する。各解析結果に基づき心理状態が安定しているオペレータＡにユーザ対応をさせるまでの待ち時間に、ユーザ端末２に対して音楽、映像などリラックス手段を送信し、怒り状態のユーザを落ち着かせることができるという利点がある。

さらに、オペレータＡは、マッチング処理された回線接続によりユーザとの間で適切な対応が取れるという利点もあり、待機中のオペレータＣは、心理状態を安定させるため待ち時間に音楽、映像などのリラックス手段を受信し、オペレータＣのケアを遂行できるという利点もある。

（第６の実施の形態）
本発明の第６の実施の形態に係る携帯電話は、図１５に示すように、視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザが心理的に落ち込んでいる数値を検知した場合は、文字又は絵若しくは音による励ましメッセージを出力すると共に、ユーザが心理的に高揚している場合は夢想起メッセージを出力する心理解析装置を備える。

図１５を参照して、携帯電話の動作を説明する。なお、心理解析装置１（図１参照）は、システムオンチップ化され携帯電話に搭載され、外部から観察することができない。

上司の携帯電話は、ユーザの携帯電話に発呼する発呼ステップＳ２０によりユーザと上司との間で会話を開始させる。ユーザの携帯電話は上司の「ガミガミ」ご指示を受信しユーザの心理状態が「ひぇ…・・」状態へ悪化する（ステップＳ２１）。

ユーザの携帯電話は、通信キャリア企業のサーバに対して契約電話番号に対応するアドレス帳にユーザの心理状態を送信し、「おだっち」キャラクタを自動設定するちょっと見機能ステップＳ２２を実行する。心理状態の送信は、上司と会話しているときに実行しても良く、上司との通話が終了した段階で送信しても良い。

ユーザの知人の携帯電話は、発呼前ステップＳ２３によりユーザの携帯電話に発呼する前に、ユーザの心理状態を見ることができる。すなわち、知人は、「電話かけよー」とする前に相手側であるユーザの心理状態をアドレス帳を通して確認することができる。アドレス帳は、通信キャリア企業のサーバに設けても良く、アドレス帳更新プログラムにより通信キャリア企業のサーバから自動送信される情報に基づき知人の携帯電話内部に設けても良い。

ユーザの心理分析と生態カラー分析を合致させ、ユーザの健康状態を引き出し、「肝臓が弱っているから人参を食べた方が良いよ」等の健康を維持させるメッセージもディスプレイに表示させることができる。

知人は、ユーザの心理状態をちょっと見機能ステップＳ２２で確認してから、ユーザの心理状態を把握すると（ステップＳ２４）。「あ…おだっちが！」立っている事象を配慮しながらユーザの携帯電話へ電子メールで「大丈夫」の文字メッセージや癒し系の画像などの励ましメッセージを送信する（ステップＳ２５）。

なお、励ましメッセージは、「喧嘩しないで」などの文字メッセージをユーザの携帯電話が自動表示させても良い。要は、ユーザの心理状態を解析し感情を制御するプログラムを内蔵させれば良い。

ユーザは、励ましメッセージを受信又は表示させたユーザの携帯電話により心理状態が安定し「あ…ありがとう」のような心理状態に移行することができるという利点がある。

図１６を参照して、携帯電話の他のシーケンス動作を説明する。ユーザの携帯電話では、味方君プログラムが内蔵され、視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析している。五感は圧力センサやＣＣＤカメラや加速度センサにより検知することができる。

ステップＳ２６では、ユーザが落ち込んでいる心理状態を示している。味方君プログラムはユーザの心理状態に応動し（ステップＳ２７）、「大変！」状態のユーザに対して背中を押してくれる励ましメッセージをディスプレイに表示する（ステップＳ２８）。例えば、「大きく変わるチャンスだよ！」のような文字メッセージを表示すると良い。

携帯電話は、ユーザが心理的に高揚している場合は夢想起メッセージを出力する（ステップＳ２９）。例えば、ユーザが「お金持ちになりたい！」心理状態を解析し（ステップＳ３０）、夢想起メッセージとして「今日も豊かだよー！」のような文字メッセージをディスプレイに表示しても良く、「今日も豊かだよー！」に対応する映像をディスプレイに表示させると良い（ステップＳ３１）。

（第７の実施の形態）
本発明の第７の実施の形態に係る感情データ提供装置として例示するオペレータ端末３ｄは、図１７に示すように、研修用の画面を表示している。なお、上述した第１の実施の形態と重複する部材若しくは工程の説明は省略するものとする。

オペレータ端末３ｄは、画面に心理マーク９をユーザ側及びオペレータ側の心理状態に合致させて表示し、ユーザデータ７のグラフとオペレータデータ８のグラフを表示し、画面下部にシミュレーション・テキスト３２を表示し、画面最下部にマネージャからのメッセージ３３を表示している。

心理グラフ８は、オペレータデータとして、怒り、困惑、発話速度、間の適正、発話明瞭、語尾、語気、抑揚の要素をリアルタイムでグラフ化している。心理グラフ７は、ユーザデータとして、怒り、困惑、発話速度、間の適正、発話明瞭、語尾、語気、抑揚の要素をリアルタイムでグラフ化している。

シミュレーション・テキスト３２では、ユーザの質問事項として「新商品Ａを購入したいのですが、写真て、どうやって撮るんですか？」や、オペレータの回答事項として「新商品Ａで写真を撮る方法ですね？」という文字情報を表示させ研修生にオペレータ部分（ＯＰ）を読み上げて貰う。

オペレータ端末３ｄは、画面に、今、企業で必要としている知識や新商品情報、クレームの多い案件など、マネージャの意向により、変更が可能な情報を表示させることができる。
メッセージ３３は、オペレータの状況によって、マネージャからのアドバイスを自由に表示するように、例えば、「リラックスして！大丈夫」のような文字情報を表示させる。

（第８の実施の形態）
本発明の第８の実施の形態に係る感情データ提供装置として例示する管理者端末１９は、図１８に示すように、管理者用の画面を表示している。なお、上述した第４の実施の形態と重複する部材若しくは工程の説明は省略するものとする。

管理者端末３ｄは、画面に危険シグナル３５、デスクナンバー３６、ユーザ状態３７、オペレータ状態３８、勤務順アイコン３９ａ、席順アイコン３９ｂを表示する。又、図中の第８番目のデスクナンバー３６をポインティングデバイス（例えば、マウス）でクリック操作することでユーザとオペレータの心理状態を詳細画面３５ａで表示することができる。

さらに、席順アイコン３９ｂをポインティングデバイス（例えば、マウス）でクリック操作することでユーザとオペレータの心理状態をオペレータの席順で画面表示３９ｃに変換できる。同様に、勤務順アイコン３９ａをポインティングデバイス（例えば、マウス）でクリック操作することでユーザとオペレータの心理状態をオペレータの勤務時間順で画面表示に変換することができる。

図中の第８番目のディスクナンバー３６は、点滅表示され、ユーザ又はオペレータの心理状態が危険であることを報知している。又、図１９に第２番目のディスクナンバー４０が危険シグナルを点滅させユーザ又はオペレータの心理状態が危険であることを報知している。

（第９の実施の形態）
図２０に示すように、本発明の第９の実施の形態に係る感情データ提供装置として例示するオペレータ端末３ｇは、感情データ提供装置からのアドバイス情報を画面に表示する。なお、上述した第４の実施の形態と重複する部材若しくは工程の説明は省略するものとする。

オペレータ端末３ｇは、画面上にユーザ側の感情キャラクタ４１、ユーザ側の感情バロメータ４２、味方君キャラクタ４３、オペレータ側の感情キャラクタ４４、オペレータ側の感情バロメータ４５、受け答えボタン４６、味方君プログラムが生成したコメント４７を表示する。

味方君プログラムは、顔のキャラクタ表情が異なる複数のコメントを提供することができる。例えば、キャラクタ４３ａの表示と「お客さんが怒っているよ！ 飲まれないで落ち着こうね！」のコメントや、キャラクタ４３ｂの表示と「がんばれ！ もうすぐ交代時間だよ！」のコメントや、キャラクタ４３ｃの表示と「お願いだから落ち着いてぇー しくしく…」のコメントをオペレータの心理状態に対応したデータを用意している。

（第１０の実施の形態）
本発明の第１０の実施の形態に係る感情データ提供装置として例示するユーザ端末２は、図２１に示すように、電話ユーザ１１の音声アクセスに応答し、音声入力された音声データを電子メールでサーバ４８へ自動送信する音声データ送信手段と、サーバ４８から音声データを数値化して解析した感情解析データを受信する解析データ受信手段と、感情解析データをディスプレイに出力する出力手段と、を備える。

ユーザ端末２は、読み取った感情データをディスプレイへグラフィック又はテキスト表示することができる。

サーバ４８は、大量の感情解析データに基づき、ユーザの声を分析し、ユーザの感情履歴と比較し、マッチング処理を遂行してマッチングした感情データを解析データとしてユーザ端末２（例えば、Ｆ型の携帯端末）に自動送信する感情解析エンジン５０を有している。

又、サーバ４８は、データベースサーバ４９に接続し、ユーザの感情履歴を保存させることができる。ユーザ端末２、サーバ４８、データベースサーバ４９は、インターネット網により接続しデータの送受信を遂行する。

図２２に示すように、電話用サーバ４８ａが、電話ユーザ１１のユーザ端末２としての携帯電話から携帯電話交換機を経由する発呼に自動応答し音声データを記憶装置に記憶し、記憶装置から音声データを読出して通信回線を通してアプリケーションサーバ４８ｂへ転送し、アプリケーションサーバ４８ｂが感情解析エンジン５０に蓄積した感情解析データに基づき、音声データを分析及び比較し、合致する感情解析データを携帯電話交換機を通してユーザ端末２としての携帯電話へ自動送信する電話ユーザ心理解析方法を提供することができる。

なお、データベースサーバ４９は、図２１に示した構成要素と同等の手段を用いることができるので、重複する説明を省略する。

図２１、図２２、及び図２３を参照して、電話ユーザ心理解析方法を説明する。電話ユーザ１１の音声をユーザ端末２としての携帯電話に入力するマイク音声入力ステップＳ５３と、マイク音声入力ステップＳ５３で入力した音声をメモリに保存する保存ステップＳ５４と、マイク音声入力で混入する雑音強度を監視し、音声が感情判定用データとして有効か否かを判定する有効判定ステップＳ５５と、有効判定ステップＳ５５で有効判定された音声を通信回線を通して電子メールの添付ファイルとしてサーバ４８へ送信するメール送信ステップＳ５６と、サーバ４８が音声のピッチ、スピード、タイミングを含むパラメータを抽出し、感情解析エンジン５０に予め蓄積した感情解析データに基づき、音声を分析及び比較し（ステップＳ５７）、合致する感情解析データを通信回線を通してユーザ端末２としての携帯電話へ送信するステップＳ５９と、ユーザ端末２としての携帯電話が感情解析データをレスポンス用データとしてディスプレイにグラフィック又はテキスト表示させる表示ステップＳ６０と、を含む。

ユーザ端末２は、電話ユーザ心理解析の事前設定としてプロファイル設定ステップＳ５０を処理する。例えば、レスポンス内容、言い回し等の選択要因となるサーバ４８に設けた人格プロファイルを設定させ、サーバ４８がレスポンス選択ステップＳ５８を実行する。

又、ユーザ端末２は、電話ユーザ１１の操作によりアプリケーション起動のトリガー手段を特定音声コマンド又は感情起伏の発生若しくはキー操作などの中から何れか１つを選択し、ユーザ端末２としての携帯端末本体メモリに保存する。

さらに、ユーザ端末２は、電話ユーザ１１の操作によりレスポンス起動トリガー設定ステップＳ５２を処理する。レスポンスとしてディスプレイにテキスト情報を表示させるかビットマップ画像情報を表示させるか選択することができる。

出力履歴データベース（例えば、図２１のデータベースサーバ４９）は、出力履歴データベース処理ステップＳ６１で電話ユーザ１１の人格プロファイル、感情（又は状態）判定結果、過去データを参照し、レスポンスの種類や表現方法を決定するデータを蓄積する。

（第１１の実施の形態）
本発明の第１１の実施の形態に係る感情データ提供装置として例示する心理解析方法は、図２４に示すように、管理者端末１９（図１８参照）が、管理者にメニュー画面からメニューを選択させるステップＳ６２と、詳細画面を表示する表示ステップＳ６３と、シミュレーションを実施するステップ６４と、複数のユーザ及びオペレータの心理状態を管理者に同時モニタリングさせるステップＳ６５と、シミュレーション実施結果に基づいてシミュレーション処方箋を出力する出力ステップＳ６６とを含む。

管理者端末１９は、管理者に対して簡単な立ち上げでメニューをスタートさせることができる。例えば、採用、研修、管理、実施、データ、終了のメニューの中から何れか１つのメニューを選択させ心理解析を遂行する。

なお、シュミレーション処方箋は、「お疲れ様でした。もう少し、語尾をはっきりと、優しい口調で話すと好感をもたれますよ」のテキスト情報や、心理状態の解析結果グラフや、ユーザとオペレータの感情をＧＵＩ形式で表示した相関表を画面上又はプリンタへ出力すると良い。

（第１２の実施の形態）
本発明の第１２の実施の形態に係る感情データ提供装置として例示する携帯電話は、図２５に示すように、携帯電話がアプリケーションソフトウエア（例えば、見方君アプリ）のダウンロードサイトにアクセスするステップＳ６７と、アプリケーションソフトウエア（例えば、見方君アプリ）をダウンロードするステップＳ６８と、アプリケーションにユーザ設定をするステップＳ６９と、を含む。

ステップＳ６７では、携帯電話のディスプレイにハイパー見方君のダウンロードの開始を促すダウンロード画面７０ａを表示し、ステップＳ６８では、携帯電話のディスプレイにハイパー見方君のダウンロード完了を報知するダウンロード完了画面７０ｂを表示し、ステップＳ６９では、事前登録画面７０ｃを表示している。

事前登録画面７０ｃでは、ニックネーム入力ボックスと、ｉアプリ自動、手動若しくは選択を入力するｉアプリ入力ボックスと、レスポンス起動トリガーを設定する入力ボックスを表示し、各入力ボックスに電話ユーザが任意の情報をボタン操作で入力する。

図２６を参照して、第１２の実施の形態に係る感情データ提供装置として例示する携帯電話の動作を説明する。携帯電話は、アプリケーションプログラムをダウンロードし事前登録処理を完了させた状態で、アプリケーションプログラム（見方君）を立ち上げる（ステップＳ７１）。

次に、携帯電話（例えば、ムービーカメラ付き）は、電話ユーザの音声を録音する録音ステップＳ７２を実行し、携帯電話が録音データを電子メールに添付しサーバ４８（図２１参照）へ自動送信する。

引き続き、サーバ４８は、録音データを解析するステップＳ７４を処理し、解析結果を携帯電話へダウンロードさせ、解析結果をディスプレイへ画面表示させるステップＳ７５を遂行する。

ステップＳ７１では、携帯電話のディスプレイにハイパー見方君のサービスメニュー７６ａを表示させ、ステップＳ７２では、携帯電話のディスプレイにハイパー見方君のご指示画面７６ｂを表示させカウントダウン処理を遂行している。３０秒以内にご指示の言葉を音声入力しステップＳ７３で電子メールを送信する。

ステップＳ７４では、感情解析中の画面７６ｃをディスプレイに表示し、ステップＳ７５では、解析結果画面７６ｄをディスプレイに表示させている。例示の解析結果は、「前世は豚だったようです。あまり気を落とさないでね！ 昔の話だから…」というメッセージを表示する場合がある。

（第１３の実施の形態）
本発明の第１３の実施の形態に係る感情データ提供装置として例示するオペレータ端末は、図２７に示すように、オペレータ端末３ｈのディスプレイにお客様センターオペレーション画面を表示している。

オペレータ端末３ｈは、入力ボックス７７ａ、入力ボックス７７ｂ、入力ボックス７７ｃ、入力ボックス７７ｄにオペレーション画面に合わせて、画面の大きさ等を変更できる情報の入力をオペレータに促している。

図中の詳細表示７７には、ユーザとオペレータの心理状態を表わすキャラクタ表示と、心理状態グラフと、メッセージ表示を出力している。

図２８を参照して、オペレータ端末３ｈ（図２７参照）の動作を説明する。オペレータは、オペレータ端末３ｈを操作し、名乗り処理ステップＳ７８を遂行する。例えば、「お電話ありがとうございます。○○サポートセンター担当△です」と復唱する。

オペレータ端末３ｈは、音声入力されたデータを解析し心理解析結果として心理マーク９ａ、グラフ７ａをディスプレイに表示する。オペレータがゆっくり、はっきり感じよく名乗っている場合は、合格ラインを超える心理解析結果を得ることができる。

次に、オペレータ端末３ｈは、業務知識対応処理ステップＳ７９を実行する。例えば、ユーザから「ＱＲコードの使い方が分からなくて困っているんですけどー！？」という質問に対して、オペレータはオペレータ端末３ｈを通して「ＱＲコードの利用方法ですね？恐れ入りますが、どちらの機種をお使いでしょうか？」と確認を音声入力する。

オペレータ端末３ｈは、オペレータの音声入力が最初から最後まで対応が安定していると判定した場合は、合格ラインを超える心理解析結果として心理マーク９ｂ、グラフ７ｂをディスプレイに表示する。さらに、オペレータ端末３ｈは、ユーザからの音声データを解析しユーザの心理状態を解析する。例えば、ユーザが「そうですかー。分かりました」というお礼の回答であれば、相手の立場にたった良い印象で対応していると心理解析し、ステップＳ８０でオペレータの音声入力としての「お電話ありがとうございました。△△が担当させていただきました」というお礼の対応をも心理解析し、安心したような表情の心理マーク９ｃと心理解析結果のグラフ７ｃをディスプレイに表示する。

図２９を参照して、オペレータ端末３ｈ（図２７参照）の動作を説明する。オペレータ８２は、オペレータ端末３ｈを操作し、発音方法マスタプログラムを実行する。オペレータ端末３ｈは、オペレーションに適した発声ができるようにオペレータ８２（又は研修生）を誘導する。例えば、ディスプレイに心理解析結果のグラフや心理マークや日本語及び英語の文字情報を誘導情報８１として出力する。

オペレータ端末３ｈは、オペレータ８２がはっきりと強弱を均等に発音しているか否かを判定する。例えば、「あえいうけこかこ」を音声入力させ、心理状態を数値化して解析結果として心理マーク９ｂと心理解析結果のグラフ７ｂをディスプレイに出力する。

オペレータ端末３ｈは、オペレータ８２が感情をコントロールして、ユーザが納得する説明をするか否かを判定する。例えば、オペレータ端末３ｈは、ユーザから「ちょっとーー！ この製品なんなのよー！？」というクレーム電話８３を受信した場合、ユーザ側の心理マーク９ｂを激怒のキャラクタに変更しクレーム電話が発生した事象をオペレータ及び管理者（マネージャ）へ報知する。

オペレータ端末３ｈは、ステップＳ８４でユーザからのクレーム電話に対するオペレータ８２の対応が「申し訳ございません。恐れ入りますが、もう少し詳しく状況を伺えますでしょうか？」と感情をコントロールして、ユーザが納得する説明をしている場合は、心理マーク９ａ及び心理解析結果のグラフ７ａをディスプレイに表示し、まずまずの対応であったと判定する。

以上の説明の如く、本発明の第１〜第１３の実施の形態によれば、二者以上のマッチング処理により、例えば、複数のオペレータを配置するコールセンターにおけるユーザの心理状態解析や、二者以上の携帯電話を同時に会話させ各電話ユーザの心理状態を解析する心理状態解析や、ユーザとオペレータとの間で問題が生じたときは別のオペレータに代わって対応する問題可決手段を提供することができる。

なお、本発明の実施例に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施例に記載されたものに限定されるものではない。

例えば、ユーザの視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報を入力し、ユーザの肉体、精神、感情を解析して、五感の情報で解析結果を出力する感情データ提供装置にも適用することができる。

感情データ提供装置をニューロチップ化して、食器のような日用雑貨に埋め込み「言葉」、「視覚」、「味覚」などの五感に訴える情報でユーザの満足度を向上させることもでき、音ゲーム装置に埋め込みプレーヤーの満足度も向上させることもできる。

本発明は、電話オペレータ端末、オペレータ管理者端末、携帯電話、ＰＤＡ、カーナビゲータなど）に提供する用途に適用できる。

また、携帯電話に組み込んで、メール内容履歴などからユーザーの感情、心理、嗜好、情緒を汲み取り、秘書機能を備えた相談相手としての機能を発揮する用途に適用でき、メモリカードに組み込んで、メモリカードに蓄積されていく個人の嗜好を関連商品に活用する用途にも適用できる。

本発明の第１の実施の形態に係る感情データ提供装置の模式的なブロック図。 本発明の第１の実施の形態に係る感情データ提供装置の声紋データのグラフ。 本発明の第１の実施の形態に係る感情データ提供装置の声紋データのグラフ。 本発明の第１の実施の形態に係る感情データ提供装置の声紋データのグラフ。 本発明の第１の実施の形態に係る感情データ提供装置の模式的な系統図。 本発明の第１の実施の形態に係る感情データ提供装置の模式的な系統図。 本発明の第１の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１の実施の形態に係る感情データ提供装置の処理概要を説明する図。 本発明の第１の実施の形態に係る感情データ提供装置の処理概要を説明する図。 本発明の第２の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第３の実施の形態に係る感情データ提供装置の模式的な系統図。 本発明の第４の実施の形態に係る感情データ提供装置の模式的な系統図。 本発明の第５の実施の形態に係る感情データ提供装置の模式的な系統図。 本発明の第６の実施の形態に係る携帯電話の動作を説明する流れ図。 本発明の第６の実施の形態に係る携帯電話の動作を説明する流れ図。 本発明の第７の実施の形態に係る感情データ提供装置の正面図。 本発明の第８の実施の形態に係る感情データ提供装置の正面図。 本発明の第８の実施の形態に係る感情データ提供装置の正面図。 本発明の第９の実施の形態に係る感情データ提供装置の正面図。 本発明の第１０の実施の形態に係る携帯電話の模式的な系統図。 本発明の第１０の実施の形態に係る携帯電話の模式的な系統図。 本発明の第１０の実施の形態に係る携帯電話の動作を説明する流れ図。 本発明の第１１の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１２の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１２の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１３の実施の形態に係る感情データ提供装置の正面図。 本発明の第１３の実施の形態に係る感情データ提供装置の動作を説明する流れ図。 本発明の第１３の実施の形態に係る感情データ提供装置の動作を説明する図。

符号の説明

１…・心理解析装置、２…・ユーザ端末、３…・オペレータ端末、４ａ…・第１の回線、４ｂ…・第２の回線、４８…・サーバ、４９…・データーベースサーバ、５０…・感情解析エンジン。

Claims (15)

1. ユーザの問い合わせ情報に対するオペレータの回答情報を入力するオペレータ端末と、
   第1の回線を通してユーザ端末からユーザの問い合わせ情報を受信し、第２の回線を通して前記オペレータ端末からオペレータの回答情報を受信し、前記ユーザ及びオペレータの心理状態を数値化して解析する心理解析装置と、
   を備える感情データ提供装置。
2. 前記心理解析装置は、前記解析の結果をグラフィックユーザインターフェース形式に変換して出力する心理マーク出力手段をさらに備えることを特徴とする請求項１に記載の感情データ提供装置。
3. 前記心理解析装置は、前記解析の結果をグラフィック形式に変換して出力するグラフ出力手段をさらに備えることを特徴とする請求項１に記載の感情データ提供装置。
4. 前記心理解析装置は、管理者側の端末へ前記解析の結果を出力することを特徴とする請求項１に記載の感情データ提供装置。
5. 前記心理解析装置は、複数の前記オペレータ端末に前記ユーザの心理状態をグラフィック形式に変換して出力すると共に、前記ユーザ端末を複数の前記オペレータの心理状態に対応させて選択された前記オペレータ端末へ自動接続し、前記問い合わせ情報と前記回答情報とをマッチングさせることを特徴とする請求項１に記載の感情データ提供装置。
6. 電話回線を通して通話する電話ユーザの心理状態を数値化して解析する手段と、前記電話ユーザの電話番号がアドレス帳に登録されているグループユーザの端末へ前記解析の結果を送信する心理解析送信手段と、を備える心理解析装置。
7. 視覚、聴覚、臭覚、触覚、及び味覚を含む五感の情報によるユーザの心理状態を数値化して解析し、ユーザ情報管理モジュールに記憶したユーザ履歴情報に基づきユーザが心理的に喜怒哀楽を含む感情数値を検知し、マッチングする解決情報を出力し、落ち込んでいる数値を検知した場合は、文字又は絵若しくは音による励ましメッセージを出力すると共に、ユーザが心理的に高揚している場合は文字又は絵又は前記五感情報若しくは音による夢想起メッセージを出力する心理解析装置を備える携帯電話。
8. 電話ユーザの音声データに含まれる第１〜第３の共鳴周波数帯を数値化して解析した感情解析データをディスプレイへ出力する携帯電話。
9. 前記ディスプレイは、前記感情解析データをグラフィック又はテキスト表示することを特徴とする請求項８に記載の携帯電話。
10. 前記ディスプレイは、感情解析エンジンに予め蓄積した感情解析データに基づき、前記音声データを分析及び比較し、合致する前記感情解析データを表示することを特徴とする請求項８に記載の携帯電話。
11. 電話用サーバが、電話ユーザの携帯電話から携帯電話交換機を経由する発呼に自動応答し音声データを記憶装置に記憶し、前記記憶装置から前記音声データを読出して通信回線を通してアプリケーションサーバへ転送し、前記アプリケーションサーバが感情解析エンジンに蓄積した感情解析データに基づき、前記音声データを分析及び比較し、合致する前記感情解析データを前記携帯電話交換機を通して前記携帯電話へ送信する前記電話ユーザ心理解析方法。
12. 電話ユーザの音声を携帯電話に入力するマイク音声入力ステップと、
    前記マイク音声入力ステップで入力した前記音声をメモリに保存する保存ステップと、
    前記マイク音声入力で混入する雑音強度を監視し、前記音声が感情判定用データとして有効か否かを判定する有効判定ステップと、
    前記判定ステップで有効判定された前記音声を通信回線を通して電子メールの添付ファイルとしてサーバへ送信するメール送信ステップと、
    前記サーバが前記音声のピッチ、スピード、タイミングを含むパラメータを抽出し、感情解析エンジンに予め蓄積した感情解析データに基づき、前記音声を分析及び比較し、合致する前記感情解析データを前記通信回線を通して前記携帯電話へ送信するステップと、
    前記携帯電話が前記感情解析データをディスプレイにグラフィック又はテキスト表示させる表示ステップと、
    前記携帯電話が感情解析データをディスプレイにグラフィック又はテキスト表示させる表示ステップと、前記携帯電話の中で音声のピッチ、スピード、タイミングを含むパラメータを抽出し、前記感情解析エンジンに予め蓄積した感情解析データに基づき、音声や五感（視角、聴覚、臭覚、及び味覚）を含む五感情報を分析及び比較し合致する感情解析データを前記ディスプレイに表示する手段を組み込むステップと、
    を含む有する電話ユーザ心理解析方法。
13. 前記感情解析データは、電話ユーザの喜び、怒り、悲しみ、落胆、及び興奮を含む感情を図形表示することを特徴とする請求項１２に記載の電話ユーザ心理解析方法。
14. 前記感情解析データは、前記サーバに設けられた出力履歴データベースに蓄積され、過去の前記感情解析データに基づき更新感情解析データを生成することを特徴とする請求項１２に記載の電話ユーザ心理解析方法。
15. 前記マイク音声入力ステップ、保存ステップ、有効判定ステップ、メール送信ステップ、及び表示ステップを前記携帯電話で実行するアプリケーションプログラムを前記サーバからダウンロードするステップをさらに含むことを特徴とする請求項１２に記載の電話ユーザ心理解析方法。
    
    

Images