JP2002298155A - 感情による３ｄコンピュータグラフィックス表情モデル形成システム - Google Patents

Abstract

(57)【要約】 【課題】 感情に基づく３Ｄコンピュータグラフィック
ス表情モデル形成システムの提供。 【解決手段】 入力手段、記憶手段、制御手段、出力手
段、表示手段を備えるコンピュータ装置に備えられ、感
情の推移に基づき表情を合成する３Ｄコンピュータグラ
フィックス表情モデル形成システムであって、３次元の
感情パラメータをｎ次元の表情合成パラメータに展開す
るための５層ニューラルネットワークの後３層、基本感
情に対応する感情空間上３次元感情パラメータ、及び表
情を合成する３Ｄコンピュータグラフィックス表情モデ
ル形成のソースとなるシェイプデータを記憶する記憶手
段と、特定の感情に対する感情空間上の感情パラメータ
導出手段と、中間層を３ユニットとした５層ニューラル
ネットワークの後３層のデータを利用して、中間層に感
情パラメータ導出手段から導出された感情パラメータを
入力し、出力層に表情合成パラメータを出力する演算手
段とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ装置
を用いて感情による３Ｄグラフィックス表情モデルを形
成するシステム、及びこれに用いる３次元の感情空間上
の感情パラメータ構築システムであって、ｎ次元の表情
合成パラメータを３次元の感情空間上の座標データであ
る感情パラメータに圧縮するシステムを構築し、これを
用いて、感情のブレンド率を設定することにより対象と
なるシェイプデータの表情を形成し、さらに時間軸に沿
った表情の変化を実現するためのシステムに関する。

【０００２】

【従来の技術】従来、顔表情の合成には、顔の動きを顔
の各部位ごとに定義し、それらの組み合わせで顔表情を
作る手法がよく用いられる。しかし、各顔部位の動きを
定義するのは困難な作業であり、不自然な動きが定義さ
れてしまう可能性がある。

【０００３】

【発明が解決しようとする課題】例えば、特開２００１
−３４７７６「アニメーション編集システムおよびアニ
メーション編集プログラムを記録した記憶媒体」におい
ては、単位パーツを連結してアニメーションを作成する
アニメーション作成装置を用いて、自然化動作を含んだ
アニメーションを自動的に作成する技術が開示されてい
る。パーツ編成手段がパーツデータベースに蓄積された
単位パーツを連結して編成する作業を支援するアニメー
ション編集システムにおいて、情報授受を媒介する共通
インタフェース手段と、パーツ編成手段によるアニメー
ションシーケンスに対する自然化要求を共通インタフェ
ース手段に送出する第１自然化要求手段と、共通インタ
フェース手段を介して自然化要求を受け取り、指定され
たアニメーションシーケンスに適合する自然化アニメー
ションシーケンスを作成する自然化編集装置と、共通イ
ンタフェース手段を介して受け取った自然化アニメーシ
ョンシーケンスと元のアニメーションシーケンスとを合
成する合成手段とを備える。

【０００４】また、特開２０００−９９７５７「アニメ
ーション作成装置及び方法並びにアニメーション作成プ
ログラムを記録したコンピュータ読取り可能な記録媒
体」においては、キャラクタのアニメーションパーツを
使用して表情や動作がスムースに変化するアニメーショ
ン作品を簡単に編集するための技術が開示されている。
記憶手段は、人物の動作と表情を複数フレームに分割し
たアニメーションパーツパーツテーブルに記憶し、また
パーツテーブルにアニメーションパーツの属性値を記憶
する。入力手段は、ストーリの進行ステップに応じてア
ニメーションパーツの属性値を入力する。演算手段は、
入力手段から入力した属性値を用いて記憶手段からアニ
メーションパーツを選択し、ストーリに従ったアニメー
ションを作成する。

【０００５】これらはいずれも、あらかじめ形成されて
いるパーツを合成するものでしかなく、無限といえる感
情の変化に伴う各顔の部位の動きを定義し、表情の変化
を自然に表現することは困難な作業であり、不自然な動
きが定義されてしまう。あらかじめ用意されたパーツの
制約の中でしか定義を行えないという問題があった。

【０００６】こうした問題を解決するため、顔モデルの
構築を行うための研究がされている。（例えば、森島繁
生、 八木康史、「投轤 認識・合成のための標準ツー
ル」（システム/制御/情報、Vol.44、Ｎo.３、pp.119-1
26、2000-３）、P. Ekmaｎ、W.V. Friesen.「Facial Ac
tioｎ CoＤiｎg System.」（ConsultingPsychologist P
ress、 1977）。上記文献において、森島らがFACS（Fac
ial Actioｎ CoＤiｎg System）と呼ばれるプロトコル
を用いて表情の基本動作（アクションユニット、Actio
ｎ Uｎit：以下ＡＵ）を定義し、このＡＵの組み合わせ
で顔表情の合成を行う。ＡＵ は予め用意された既存の
標準モデル上で定義されているため、任意の顔モデルに
表情を合成する際、この標準モデルを個々の合成対象に
フィットさせる必要があり、表現力が低下する可能性が
出てくる。例として皺の表現に対し、この手法では表現
することは難しいために、さらなる技術開発が要望さ
れ、さらに表情やアニメーションを形成するツールが必
要とされている。

【０００７】一方、５層ニューラルネットの恒等写像層
ニューラルネットの恒等写像学習を用いて、１７次元の
表情合成パラメータをその中間層に３次元に圧縮して感
情空間と仮定し、同時に表情からこの空間への写像とそ
の逆写像(感情空間→表情)を実現して表情の分析・合成
を行うシステムが研究されている。（川上、坂口、森
島、山田、原島:”表情に基づく３次元感情空間への工
学的心理学的アプローチ”信学技報、HC9３-94(1994-0
３)）。

【０００８】また、多層ニューラルネットを利用して表
情の変化と感情空間上の軌跡の相互変換を行い、表情と
感情との相互変換を行う研究がされている。（上島信
夫、森島繁生、山田寛、原島博「多層ニューラルネット
によって構成された感情空間に基づく表情の分析・合成
システムの構築」電子情報通信学会論文誌 Ｄ-II Ｎo
３ pp.５３7-５82、1994.）（坂口辰巳、山田宏、森島
繁生「顔画像をもとにした３次元感情モデルの構築とそ
の評価」電子情報通信学会論文誌AVol.J80-A Ｎo.8 pp.
1279-1284、997.）。

【０００９】そこで、前記のように、感情状態を３次元
空間上に表現する研究がなされているが、本発明におい
ては、入力手段、記憶手段、制御手段、出力手段、表示
手段を備えるコンピュータ装置において、前記のＡＵや
ＡＵの合成による基本感情に対応するｎ次元の表情合成
パラメータを元データとして、各基本感情の表情合成パ
ラメータをニューラルネットワークの学習データとして
用い、顔の動きを表現した基本感情に対応する三次元上
の感情パラメータを用意して３次元感情空間の構築を行
う。表情を形成する際には、３Ｄコンピュータグラフィ
ックスを形成するためのプログラムを用いて、感情のブ
レンドにより表情形成の対象となるシェイプデータの表
情を形成し、さらに時間軸に沿った表情の変化を実現す
るために、基本感情や中間感情の所望のブレンド率を設
定し、表情合成パラメータを復元してシェイプデータと
合成することにより、顔表情を構築する手法を構築し、
上記問題を解決した。これにより、合成を行うシェイプ
データ（顔モデル）ごとに基本動作を定義することがで
き、皺等の表現力の高い表情表出が可能となる。以上に
より、直観的な感情の操作によって表情を合成すること
が可能になり、より自然な表情の移り変わりを表現でき
ると共に、アニメーションのデータ量を大幅に削減し
た。また本発明のシステムにおいては、前記の記憶手段
に、基本感情に対応する感情空間上の座標データである
３次元感情パラメータ、及び３Ｄコンピュータグラフィ
ックスモデル形成の対象となるシェイプデータを記憶さ
せ、各基本感情のブレンド率を設定し、前記のデータを
用いて演算を行うための機能を、既存の表情合成エンジ
ン及びプラグインソフトウェアなどにより実現できるの
で、表情合成のための技術に依存することなく実現が可
能となる。

【００１０】上記課題を解決するため、請求項１に記載
の発明においては、入力手段、記憶手段、制御手段、出
力手段、表示手段を備えるコンピュータ装置に備えら
れ、感情による３Ｄコンピュータグラフィックス表情モ
デル形成に用いるｎ次元の表情合成パラメータを３次元
の感情空間上の感情パラメータに圧縮するシステムであ
って、前記システムは、５層ニューラルネットワークの
恒等写像学習により、ｎ次元の表情合成パラメータから
３次元の感情パラメータを形成する演算手段を備え、前
記の演算手段による演算は、中間層を３ユニットとした
５層ニューラルネットワークを利用して、入力層と出力
層に同じ表情合成パラメータを与えて学習を行う演算処
理と学習したニューラルネットワークの入力層に表情合
成パラメータを入力し、中間層から圧縮された３次元の
感情パラメータを出力する演算処理であることを特徴と
する、３次元の感情空間上の感情パラメータに圧縮する
システムであることを特徴としている。

【００１１】また、上記課題を解決するため、請求項２
に記載の発明においては、請求項１に記載の発明におい
て、ニューラルネットワークの学習に使用するデータ
は、基本的な感情に対応する表情の表情合成パラメータ
であることを特徴とする、３次元の感情空間上の感情パ
ラメータに圧縮するシステムであることを特徴としてい
る。

【００１２】また、上記課題を解決するため、請求項３
に記載の発明においては、請求項１に記載の発明におい
て、ニューラルネットワークの学習に使用するデータ
は、基本的な感情に対応する表情の表情合成パラメータ
並びにこれらの表情の中間的な感情の表情合成パラメー
タであることを特徴とする、３次元の感情空間上の感情
パラメータに圧縮するシステムであることを特徴として
いる。

【００１３】また、上記課題を解決するため、請求項４
に記載の発明においては、入力手段、記憶手段、制御手
段、出力手段、表示手段を備えるコンピュータ装置に備
えられ、感情の推移に基づき表情を合成する３Ｄコンピ
ュータグラフィックス表情モデル形成システムであっ
て、３次元の感情パラメータをｎ次元の表情合成パラメ
ータに展開するための５層ニューラルネットワークの後
３層、基本感情に対応する感情空間上３次元感情パラメ
ータ、及び表情を合成する３Ｄコンピュータグラフィッ
クス表情モデル形成のソースとなるシェイプデータを記
憶する記憶手段と、特定の感情に対する感情空間上の感
情パラメータ導出手段と、中間層を３ユニットとした５
層ニューラルネットワークの後３層のデータを利用し
て、中間層に感情パラメータ導出手段から導出された感
情パラメータを入力し、出力層に表情合成パラメータを
出力する演算手段とを備えたことを特徴とする、３Ｄコ
ンピュータグラフィックス表情モデル形成システムであ
ることを特徴としている。

【００１４】また、上記課題を解決するため、請求項５
に記載の発明においては、請求項４に記載の発明におい
て、前記の感情パラメータ導出手段は、前記の入力手段
により各基本感情のブレンド率の入力を行い、前期の記
憶手段から基本感情に対応する感情空間上の３次元感情
パラメータを参照し、ブレンド率に対応する感情パラメ
ータを導出することを特徴とする、請求項４に記載の３
Ｄコンピュータグラフィックス表情モデル形成システム
であることを特徴としている。

【００１５】また、上記課題を解決するため、請求項６
に記載の発明においては、請求項４に記載の発明におい
て、前記の感情パラメータ導出手段は、前記の入力手段
により入力された音声又は画像を解析して求められた感
情に基づき感情パラメータを導出する手段であることを
特徴とする、請求項４に記載の３Ｄコンピュータグラフ
ィックス表情モデル形成システムであることを特徴とし
ている。

【００１６】また、上記課題を解決するため、請求項７
に記載の発明においては、請求項４に記載の発明におい
て、前記の感情パラメータ導出手段は、前記のコンピュ
ータ装置が備えるプログラムによる演算処理により感情
パラメータを生成する手段であることを特徴とする、請
求項４に記載の３Ｄコンピュータグラフィックス表情モ
デル形成システムであることを特徴としている。

【００１７】また、上記課題を解決するため、請求項８
に記載の発明においては、請求項４〜７に記載の発明に
おいて、３次元の感情パラメータをｎ次元の表情合成パ
ラメータに展開するための５層ニューラルネットワーク
は基本的な感情に対応する表情の表情合成パラメータを
与えることにより学習したことを特徴とする、請求項４
〜７のいずれかに記載の３Ｄコンピュータグラフィック
ス表情モデル形成システムであることを特徴としてい
る。

【００１８】また、上記課題を解決するため、請求項９
に記載の発明においては、請求項４〜７に記載の発明に
おいて、３次元の感情パラメータをｎ次元の表情合成パ
ラメータに展開するための５層ニューラルネットワーク
は基本的な感情に対応する表情の表情合成パラメータ並
びにこれらの表情の中間的な表情の表情合成パラメータ
を与えることにより学習したことを特徴とする、請求項
４〜７のいずれかに記載の３Ｄコンピュータグラフィッ
クス表情モデル形成システムであることを特徴としてい
る。

【００１９】また、上記課題を解決するため、請求項１
０に記載の発明においては、請求項４〜９に記載の発明
において、３次元の感情パラメータから展開されたｎ次
元の表情合成パラメータを３Ｄコンピュータグラフィッ
クス表情モデル形成の対象となるシェイプデータのブレ
ンド率とし、シェイプデータを幾何的にブレンドするこ
とにより表情を形成することを特徴とする、請求項４〜
９のいずれかに記載の３Ｄコンピュータグラフィックス
表情モデル形成システムであることを特徴としている。

【００２０】また、上記課題を解決するため、請求項１
１に記載の発明においては、請求項１０に記載の発明に
おいて、幾何的なブレンドのソースとなるシェイプデー
タは、感情とは独立した、顔の局所的変形（ＦＡＣＳに
基づくＡＵ等）として前記の記憶手段にあらかじめ記憶
されたデータであることを特徴とする、請求項１０に記
載の３Ｄコンピュータグラフィックス表情モデル形成シ
ステムであることを特徴としている。

【００２１】また、上記課題を解決するため、請求項１
２に記載の発明においては、請求項１１に記載の発明に
おいて、テンプレートとなる顔モデルとそれを局所的に
変形した顔モデルをあらかじめ用意し、テンプレートと
なる顔モデルと、表情を形成する対象となる顔モデルと
のマッピングを行うことにより、表情を形成する対象と
なる顔モデルを自動的に変形し、幾何的なブレンドのソ
ースとなるシェイプデータを作成することを特徴とす
る、請求項１１に記載の３Ｄコンピュータグラフィック
ス表情モデル形成システムであることを特徴としてい
る。

【００２２】また、上記課題を解決するため、請求項１
３に記載の発明においては、請求項１０〜１２に記載の
発明において、前記の感情パラメータ導出手段により設
定した感情パラメータ、及び所定時間後の感情パラメー
タを用いて、表情の時間的推移を、感情空間上のパラメ
トリック曲線として記述し、各時刻における曲線上の点
（＝感情パラメータ）から、表情合成パラメータへ展開
し、展開されたパラメータを使用して、シェイプデータ
を幾何的にブレンドすることにより表情を変化させるこ
とが可能なことを特徴とする、請求項１０〜１２のいず
れかに記載の３Ｄコンピュータグラフィックス表情モデ
ル形成システムであることを特徴としている。

【００２３】

【発明の実施の形態】以下、本発明のシステムを、図面
を用いて説明する。本発明のシステムに用いられるコン
ピュータ装置の基本的なハードウェア構成は、図１に示
したものである。ＣＰＵ、ＲＡＭ、ＲＯＭ、システム制
御手段等を有し、データを入力しあるいは操作等のため
の指示入力をするための入力手段、プログラムやデータ
を記憶しておく記憶手段、メニュー画面やデータなどの
出力表示をするための表示手段、データを出力する出力
手段より構成される。図２は、本発明のシステムの機能
を実現するプログラムの処理の機能を示すブロック図で
あり、これらの機能を実現するためのプログラムが記憶
手段に記憶されており、記憶手段に記憶されたデータを
制御することにより各機能を実現する。図２において示
される、（１）感情空間構築フェーズは、基本感情に対
する表情合成パラメータをニューラルネットワーク学習
により、感情空間を構築する処理を示す。（２）表情合
成フェーズは、基本感情のブレンド率の指定などの感情
パラメータ導出により感情空間上の３次元座標データを
取得して、ニューラルネットワークを用いて表情合成パ
ラメータを復元し、それをブレンド率とみなしシェイプ
データを幾何的にブレンドすることにより表情モデルを
形成する処理を示す。

【００２４】前記の記憶手段には、後述するように、基
本感情に対応する表情を形成する為の、人物の一連の動
作や表情等の基本的な動きを再現した複数のＡＵに対す
るブレンド率である表情合成パラメータを３次元の感情
空間上の座標データとして圧縮した感情パラメータが記
憶されている。また３次元の感情パラメータをｎ次元の
表情合成パラメータに展開するための５層ニューラルネ
ットワークの後３層のデータが記憶されている。また、
３Ｄコンピュータグラフィックスモデル形成の対象とな
るシェイプデータが記憶されている。また、３Ｄグラフ
ィックスを形成するアプリケーションプログラム、本発
明のシステムにおける演算等を実現するためのプラグイ
ンソフトウェアなどのアプリケーションプログラム、オ
ペレーティングシステム（ＯＳ）等が記憶されている。

【００２５】また、感情空間上の各基本感情の所望のブ
レンド率を設定する感情パラメータ導出手段が、コンピ
ュータ端末に備えられる。感情パラメータ導出手段は、
例えば、前記の入力手段により各基本感情のブレンド率
の入力を行うものである。入力手段は、キーボード、マ
ウス、タブレット、タッチパネル、その他の様々な入力
手段を含む。また入力のためのグラフィカルユーザーイ
ンターフェースとして、例えば液晶画面、ＣＲＴ画面な
どの表示手段上に表示される、アイコン、基本感情の選
択、後述するブレンド率等の入力フォーム、などが表示
されるなどして、ユーザーの操作を簡易にすることが望
ましい。また、感情パラメータ導出手段の別の形態とし
ては、前記の入力手段により入力された音声又は画像を
解析して求められた感情に基づくものである。さらに、
感情パラメータ導出手段の別の形態は、前記のコンピュ
ータ装置が備えるプログラムによる演算処理により感情
パラメータを生成するものである。また、コンピュータ
装置は、前記入力手段から入力した基本感情に対応する
感情パラメータの所望のブレンド率を用いて、前記記憶
手段から感情空間上の座標データを読み出して、前記の
ブレンド率に従った前記の感情空間上に求められた感情
パラメータから表情合成パラメータを復元して、表情合
成を行うための演算手段を備えている。

【００２６】本発明のシステム構成図を図６に示す。ま
た図７は処理の機能を示す機能ブロック図である。図６
において、符号ＡＵは、顔モデルおよび各ＡＵモデルの
頂点ベクトル配列のデータストアを示し、符号ＡＰは、
各基本感情を表現する各ＡＵの合成率を格納するデータ
ストアを示し、符号ＮＮは、ニューラルネットのデータ
ストアを示し、符号ＥＬは、感情空間上で各基本感情と
各層との交点を格納するデータストアを示し、データは
前記の記憶手段に記憶され、演算手段による演算処理の
対象とされる。

【００２７】次に、図７において、本発明のデータフロ
ーを示す。図７において、符号Ｔは顔モデルの頂点数を
表す定数、符号Ｕは使用するＡＵのユニット数を表す定
数、符号Ｌは感情空間を層状に区分する層の数を示して
いる。また符号ｅは感情データフロー、符号ｓは感情空
間ベクトルデータフロー、符号ａはＡＵブレンド率デー
タフロー、符号ｖはモデルの頂点ベクトルデータフロー
を示している。また符号ＥＬは、感情空間上で各基本感
情と各層との交点を格納するデータストアを、符号ＮＮ
は、ニューラルネットのデータストアを、符号ＡＵは、
顔モデルおよび各ＡＵモデルの頂点ベクトル配列のデー
タストアを示している。符号Ｅ２Ｓは、基本６感情の成
分を感情空間上のベクトルに変換する関数を、符号Ａ２
Ｓは、ＡＵブレンド率を感情空間上のベクトルに変換す
る関数を、符号Ｓ２Ａは、感情空間上のベクトルをＡＵ
ブレンド率に変換する関数を、符号Ａ２Ｖは、ＡＵブレ
ンド率を顔モデルの頂点ベクトル配列に変換する関数を
示している。関数は演算手段による演算に用いられる。

【００２８】

【実施例】（実施例１）初めに、図２における感情空間
構築フェーズ、すなわち、感情による３Ｄコンピュータ
グラフィックス表情モデル形成に用いるｎ次元の表情合
成パラメータを３次元の感情空間上の感情パラメータに
圧縮し、基本感情に対応する３次元の感情空間の構築に
ついて説明する。請求項１に記載の発明は、入力手段、
記憶手段、制御手段、出力手段、表示手段を備えるコン
ピュータ装置に備えられ、感情による３Ｄコンピュータ
グラフィックス表情モデル形成に用いるｎ次元の表情合
成パラメータを３次元の感情空間上の感情パラメータに
圧縮するシステムである。本実施形態におけるシステム
は、５層ニューラルネットワークの恒等写像学習によ
り、ｎ次元の表情合成パラメータから３次元の感情パラ
メータを形成する演算手段を備えている。前記の演算手
段による演算は、中間層を３ユニットとした５層ニュー
ラルネットワークを利用して、入力層と出力層に同じ表
情合成パラメータを与えて学習を行う演算処理と学習し
たニューラルネットワークの入力層に表情合成パラメー
タを入力し、中間層から圧縮された３次元の感情パラメ
ータを出力する演算処理である。

【００２９】コンピュータグラフィックス（以下、Ｃ
Ｇ）による基本顔モデルの合成にあたり、個々に定義さ
れた顔表情の基本動作（例：眉をあげる、口角をさげ
る）のアクション・ユニット（ＡＵ）をあらかじめ定義
し、それらのブレンド率により基本感情に対応する表情
モデルの構築を行う。各ＡＵに対応する表情モデルのブ
レンド率を表情合成パラメータとして、これをニューラ
ルネットの恒等写像能力を用いて顔に表出される感情状
態を３次元空間に表現した感情空間上の座標データに圧
縮し、感情空間の構築を図る。なお、本明細書において
は「人間の顔に表出される感情状態を空間的に表現した
表情空間」を以後すべて「感情空間」と呼ぶこととす
る。

【００３０】人間の表情を記述するための方法として前
記のFACS(FacialActioｎ CoＤiｎg System)を使うこと
ができる。FACSは人間の顔の変化を解剖学的に独立した
４４個のアクションユニット(Actioｎ Uｎit 以下ＡＵ
とする)の定量的組み合わせによって記述するものであ
る。このＡＵを十数個うまく選んで組み合わせることで
Ekmaｎらのいう基本６感情（怒り、軽蔑、恐怖、喜び、
悲しみ、驚き）に対する表情を記述することができる。
図４は１７個のＡＵの概要を示し、図３は１７個のＡＵ
に基づき表情を変化させたモデルの一例を示し、また図
５はＡＵの組み合わせによる基本６感情のブレンド率を
示す図である。

【００３１】ＦＡＣＳ（Facial Actioｎ CoＤiｎg Syst
em）と呼ばれるプロトコルを用いて表情の基本動作（Ac
tioｎ Uｎit：以下ＡＵ）を定義し、このＡＵの組み合
わせで顔表情の合成を行う。ＡＵはあらかじめ用意され
た既存の標準モデル上で定義されているため、任意の顔
モデルに表情を合成する際、この標準モデルを個々の合
成対象にフィットさせる必要があり、表現力が低下する
可能性が出てくる。例として皺の表現に対し、この手法
では表現することは難しい、本手法を用いることで、合
成を行う顔モデルごとに基本動作を定義することがで
き、皺等の表現力の高い表情表出が可能となる。具体的
なブレンド率の記述法としては、例えば怒りの表情なら
ＡＵ２＝０．７、ＡＵ４＝０．９、ＡＵ８＝０．５、Ａ
Ｕ９＝１．０、ＡＵ１５＝０．６等とＡＵの重み値を組
み合わせる。それらをブレンド率によって合成すること
で、顔表情を作り出す(図１４)。

【００３２】「上瞼を上げる」「唇両端を引き上げる」
などの複数の基本顔を個別に作成し、それらをブレンド
率により合成する。ブレンド率を変化させることで、６
基本感情の表情など様々な表情を作ることができる。各
運動単位の動作を表現したモデルをそれぞれ作成し、そ
れに皺などの複雑な表現も作リ出すことができる(図１
２)。

【００３３】請求項２に記載の発明においては、ニュー
ラルネットワークの学習に使用するデータは、基本的な
感情に対応する表情の表情合成パラメータであって、基
本感情に基づく表情は図１０における怒り・嫌悪・恐れ
・喜び・悲しみ・驚きの６基本感情などであり、学習手
法としては基本６感情（怒り・嫌悪・恐れ・喜び・悲し
み・驚き）のＡＵパラメータを入力および出力の学習パ
ラメータとする。図１４は、基本表情Ａ、Ｂ、Ｃのブレ
ンドにより恐れの基本感情に対応する表情を作り出した
例を示している。また請求項３に記載の発明において
は、ニューラルネットワークの学習に使用するデータ
は、基本的な感情に対応する表情の表情合成パラメータ
並びにこれらの表情の中間的な感情の表情合成パラメー
タであって、基本感情の中間感情の表情は図１３に一例
を示すようなものであり、基本表情モデルのブレンド率
によって再現したものである。学習手法としては基本６
感情（怒り・嫌悪・恐れ・喜び・悲しみ・驚き）のＡＵ
パラメータを入力および出力の学習パラメータとしてい
たが、本実施形態ではこれらの表情の中間表情を学習デ
ータとして加え理想的な汎化性能を実現した。「上瞼を
上げる」「唇両端を引き上げる」などの複数の基本顔を
個別に作成し、それらをブレンド率により合成する。ブ
レンド率を変化させることで、６基本感情の表情など様
々な表情を作ることができる。

【００３４】次に、表情の変化と感情空間上の軌跡の相
互変換について説明する。多層ニューラルネットを利用
して表情と感情との相互変換を行うことができる。ニュ
ーラルネットの構成を図８及び図９に示す。このニュー
ラルネットの入力信号並びに教師信号として６個の基本
感情に対応するＡＵの重み値を与え、誤差逆伝播学習法
によって収束させる（恒等写像学習）。 入力：合成した基本的な表情モデル（基本顔モデル） 出力：感情空間（３次元） <表情パラメータ>＝Ｆ（ｘ、ｙ、ｚ） （ｘ、ｙ、ｚ）：感情パラメータ 誤差逆伝播学習法の特徴は、入力信号と正しい出力教師
信号のセットを次々と与えるだけで、個々の問題の特徴
を抽出する内部構造が、中間層の隠れニューロン群のシ
ナプス結合として自己組織される点である。また、誤差
計算が前方向へ情報の流れとよく類似している点があ
る。すなわち、ある素子の学習に使われている情報は、
後の素子から得られる情報のみであり、学習の局所性が
保たれていることになる。

【００３５】図９に示す、中間層を３ユニットとした、
５層砂時計型ニューラルネットにおいて、入出力層に基
本顔のブレンド率を与えて恒等写像学習をさせ、中間層
の３次元の出力を感情空間と仮定する。入力から中間層
までの３層をブレンド率から感情空間への写像、中間層
から出力までの３層をその逆写像として、表情の分析表
情の分析・合成を行うシステムを構築する。

【００３６】先にも述べた３次元感情空間の構築手法は
恒等写像を用いる。恒等写像能力とは以下に示す通りで
ある。図９のような５層ニューラルネットワークにおい
て、入力層と出力層に同じパターンを与えて学習を行う
と、入力されたパターンをそのまま出力するモデルが構
築される。その際、入出力層よりユニット数の少ない中
間層には、入力パターンが圧縮されて入力の特徴が保存
され、出力層にはその特徴が再現されて出力される。入
出力層に基本表情モデルのブレンド率を与えて学習を行
うと、基本表情モデルのブレンド率は中間層で特徴が抽
出され３次元に圧縮される。これが感情空間であると仮
定することで、基本表情のブレンド率から感情状態の情
報を獲得することができる。

【００３７】このとき、学習させるデータは怒り・嫌悪
・恐れ・喜び・悲しみ・驚きの６基本感情(図１０)、お
よびそれらの中間感情の表情(図１３)を基本表情モデル
のブレンド率によって再現したものである。ブレンド率
は０．０〜１．０で表されるが、ニューラルネットワー
クには１．０と−１．０において収束してしまうシグモ
イド関数を用いているため、１．０付近の入力では出力
の値が小さくなってしまう恐れがある。そこで、ブレン
ド率を学習データとして用いる際に０．０〜０．８の間
の値になるように正規化している。

【００３８】学習を行う手順を以下に示す。 １）学習データは６基本表情・中間表情全てに関して感
情の度合いを０％、２５％としたものを学習させる。 ２）学習誤差が３．０×１０ｅ-３以下となったとき、
新たに感情の５０％を加え、学習データを０％、２５
％、５０％として学習を続ける。 ３）同様に７５％、１００％と学習データを増やす。 また学習データの増加は、１０％、２０％、３０％、４
０％、５０％というように１０％刻みで増加させてもよ
く、その他任意のパーセンテージを用いて学習させるこ
とでもよい。これは各感情における強力な恒等学習能力
を得るためである。このようにして恒等写像学習を行っ
た結果、前記の学習が終了し、感情空間が構築された
後、入力層にＡＵのブレンド率データを与えると中間層
からブレンド率データに対応する３次元データ、すなわ
ち感情空間上の座標を得ることができ、中間層に生成さ
れた感情空間が図１１である。図の基本感情の軌跡は、
各感情の１％から１００％までのブレンド率をニューラ
ルネットの入力層に与えたときに中間層に得られた３ユ
ニットの出力を（ｘ、ｙ、ｚ）として３次元空間にプロ
ットしたものである。

【００３９】（実施例２）次に、図２における表情合成
フェーズ、すなわち、基本感情のブレンド率の指定など
の感情パラメータ導出により感情空間上の３次元座標デ
ータを取得して、ニューラルネットワークを用いて表情
合成パラメータを復元し、それをブレンド率とみなしシ
ェイプデータを幾何的にブレンドすることにより表情モ
デルを形成する処理について説明する。図９において、
中間層に感情空間上の座標を与えて出力層からＡＵの重
み値を復元することができる。請求項４に記載の発明
は、入力手段、記憶手段、制御手段、出力手段、表示手
段を備えるコンピュータ装置に備えられ、感情の推移に
基づき表情を合成する３Ｄコンピュータグラフィックス
表情モデル形成システムである。３次元の感情パラメー
タをｎ次元の表情合成パラメータに展開するための５層
ニューラルネットワークの後３層、基本感情に対応する
感情空間上３次元感情パラメータ、及び表情を合成する
３Ｄコンピュータグラフィックス表情モデル形成のソー
スとなるシェイプデータを記憶する記憶手段と、特定の
感情に対する感情空間上の感情パラメータ導出手段と、
中間層を３ユニットとした５層ニューラルネットワーク
の後３層のデータを利用して、中間層に感情パラメータ
導出手段から導出された感情パラメータを入力し、出力
層に表情合成パラメータを出力する演算手段とを備えて
いる。

【００４０】初めに、入力手段、記憶手段、制御手段、
出力手段、表示手段を備えるコンピュータ装置を用い
て、感情パラメータ導出手段を用いて基本感情のブレン
ド率を設定する。ブレンド率の設定処理は、望ましい形
態の一例としては、請求項５に記載のように、前記の入
力手段により各基本感情のブレンド率の入力を行い、前
記の記憶手段から基本感情に対応する感情空間上の３次
元感情パラメータを参照し、ブレンド率に対応する感情
パラメータを導出する処理である。例えば、「恐れ２０
％、驚き４０％」のようにブレンド率を指定する。

【００４１】また請求項９に記載のように、基本的な感
情に対応する表情の表情合成パラメータ並びにこれらの
表情の中間的な表情の表情合成パラメータを与えること
により学習したデータを用いる場合には、基本感情及び
中間感情のブレンド率を指定することができる。

【００４２】次に、感情パラメータ導出手段を用いて設
定されたブレンド率に基づき、感情空間上の３次元座標
データである感情パラメータが得られる。図７の表情合
成のＤＦＤにおいて、感情データを、基本６感情の成分
を感情空間上のベクトルに変換する関数（Ｅ２Ｓ）を用
いて、感情空間ベクトルデータを演算により出力する処
理である。次に中間層を３ユニットとした５層ニューラ
ルネットワークの後３層のデータを利用して、中間層に
感情パラメータ導出手段から導出された感情パラメータ
を入力し、出力層に表情合成パラメータを出力する。図
２における表情合成パラメータ復元の処理であり、圧縮
された３次元データをｎ次元の表情合成パラメータ、す
なわちＡＵのブレンド率を示すデータに展開される。ま
た図７の表情合成のＤＦＤにおいて、感情空間ベクトル
データをＡＵブレンド率に変換する関数を用いて、演算
によりＡＵブレンド率データを出力する処理である。図
５は基本６感情を構成する１７のＡＵのブレンド率を示
すが、前記の例でいえば「恐れ２０％、驚き４０％」の
感情をＡＵのブレンド率を示すデータに展開する、演算
手段による処理である。

【００４３】次に、図７の表情合成のＤＦＤにおいて、
復元された表情合成パラメータ、具体的にはＡＵのブレ
ンド率を示すデータを、シェイプデータ（顔モデル）の
頂点ベクトル配列に変換する関数を用いて、シェイプデ
ータの頂点ベクトルデータとして出力することにより、
モデルの表情を形成する。請求項１０に記載の発明は、
３次元の感情パラメータから展開されたｎ次元の表情合
成パラメータを３Ｄコンピュータグラフィックス表情モ
デル形成の対象となるシェイプデータのブレンド率と
し、シェイプデータを幾何的にブレンドすることにより
表情を形成するシステムである。以上により、感情のブ
レンド率を指定することにより対象となるシェイプデー
タの表情を形成することができる。

【００４４】また本発明の他の実施形態としては、請求
項１１に記載の発明のように、幾何的なブレンドのソー
スとなるシェイプデータは、感情とは独立した、顔の局
所的変形（ＦＡＣＳに基づくＡＵ等）として前記の記憶
手段にあらかじめ記憶されたデータとして処理を行うこ
とができる。顔の局所的変形は、例えば図４のＡＵに示
すような、「眉を寄せる」「えくぼをつくる」といった
顔の部位単位において感情に基づき表情を形成する処理
である。

【００４５】（実施例３）次に、請求項１３に記載の、
ターゲットモデルを感情の変化に伴い表情を変化させ、
アニメーションを形成する処理について説明する。本実
施形態においては、前記の感情パラメータ導出手段によ
り設定した感情パラメータ、及び所定時間後の感情パラ
メータを用いて、表情の時間的推移を、感情空間上のパ
ラメトリック曲線として記述し、各時刻における曲線上
の点（＝感情パラメータ）から、表情合成パラメータへ
展開し、展開されたパラメータを使用して、シェイプデ
ータを幾何的にブレンドすることにより表情を変化させ
ることが可能なことを特徴とする。構築した感情空間に
ついて、基本感情から基本感情へ移動しながらその点に
対応する表情を出力することでアニメーションを作成す
るものであり、その結果の例が図１５と図１６である。

【００４６】３Ｄコンピュータグラフィックスではどの
ような記述法を取るにせよ（ポリゴン、メッシュ、ＮUR
BS等）モデルの形状を決めるのは頂点ベクトルである。
３Ｄコンピュータグラフィックスモデルに変形動作を行
わせるためには、時間に応じてモデルの頂点ベクトルを
移動させれば良い。図１７に示すように、アニメーショ
ンは、感情空間内のパラメトリック曲線として記述でき
る。長時間のアニメーションに対してデータ量を大幅に
削減できる。

【００４７】あるモデルの表情を変化させるにはまず次
のような準備をする。初めに、各ＡＵについて、頂点座
標の相対移動ベクトルを決定する。次に、各基本感情に
ついて、ＡＵのブレンド率データを決定する。次に、ニ
ューラルネットに学習をさせる。次に、無表情に対応す
る感情空間上の座標を求める。次に、各基本感情につい
て、感情空間上の座標を求める。

【００４８】準備が完了すれば、あとは次のようにして
表情を変化させることができる。初めに、感情空間上の
座標からＡＵのブレンド率データを求める。次に、各Ａ
Ｕについてブレンド率データと相対移動ベクトルの積を
もとめる次に、上の積を足しあわせ、モデルの頂点ベク
トルに加えると、感情空間上の座標に対応するモデルの
表情が作られる。次に、時間にそって（感情空間上の座
標→モデルの頂点ベクトル）の位置を移動させる。

【００４９】ここで、頂点座標の具体的な計算方法は以
下のようになる。例えばモデルに時間

【数１】 において怒り８０％、

【数２】 において喜び５０％となる表情動作をさせるには時間

【数３】 におけるモデルの頂点座標

【数４】 を求めればよい。その方法は次のようになる。感情空間
の座標を時間による線形補間で求める：

【数５】 感情空間の座標をＡＵのブレンド率データに変換する：

【数６】 ＡＵのブレンド率データからモデルの頂点座標の各々を
求める：

【数７】

【００５０】図１８は、本実施形態の処理フローを示
す。感情パラメータを時刻とともに記録することによっ
てアニメーションデータを作成する。アニメーションを
再生するときには、記録されたアニメーションデータか
ら特定の時刻における感情パラメータを導出し、それを
表情合成パラメータ復元への入力に与える。

【００５１】以上詳細に説明したように、本発明の３Ｄ
コンピュータグラフィックスモデル形成システムにおい
ては、基本６感情のブレンドによりターゲットモデルを
変形し、また時間軸に沿った変形によるアニメーション
を作成することができるが、その処理手順としては、下
記のような形態を加えることができる。例えば、手動操
作によるモデルの形成方法としては、表情アニメーショ
ンの対象となるモデルに対して次の手順でモデルを構築
する。各ＡＵ（図４参照）の指示に従って、それぞれの
変形モデルを手作業で作成し、次いで６基本感情を表現
するＡＵのブレンド率を手動で調整する。次に、ニュー
ラルネットの学習、収束、感情空間生成を行う。次に、
感情空間上の座標の動きによって、３ＤモデルのＡＵに
基づく定量的な表情動作を再生する。

【００５２】また、自動作成によるモデルの形成方法と
しては、表情アニメーションの対象となるモデルに対し
て次の手順でモデルを構築する。あらかじめ用意された
テンプレートモデル（各ＡＵごとに頂点移動率を設定済
み）と対象モデルとのマッピングを行うことにより、対
象モデルから各ＡＵ変形モデルを自動作成する。次に、
あらかじめ設定されているＡＵのブレンド率に従って６
基本感情を表現する表情を出力し、必要ならば手動で調
整する。以下手動作成バージョンと同様の手順による表
情アニメーションの形成を行う。

【００５３】（実施例４）本発明のさらなる実施形態と
しては、感情推定ツールとの組合わせによる展開を加え
ることができる。人間の感情を測定するツールの出力か
ら感情空間上の軌跡を生成することは容易である。人間
の感情を測定するための入力として以下のものを挙げ
る。表情（画像入力端末、リアルタイム測定と記録され
た映像からの測定）。音声（音声入力端末、リアルタイ
ムまたは記録されたもの、歌声も対象になる）。身振り
（頭部、肩、腕など、キーボードタイピングの調子の変
化なども考えられる）。

【００５４】これらを単独で、あるいは組み合わせて感
情を測定し、それを入力データとして利用することがで
きる（感情データを感情空間へ変換する関数＝図７の
「Ｅ２Ｓ」）。図１９は、本実施形態における感情パラ
メータ導出の処理を示し、認識技術を使ったリアルタイ
ムなバーチャルキャラクター表情アニメーション感情パ
ラメータ導出モジュールが、マイクを使った音声認識、
カメラを使った画像解析による感情推定モジュールにな
る。表情合成モジュールは、リアルタイム描画が可能な
３Ｄ描画ライブラリを使ったプログラムになる。

【００５５】例えば、請求項６に記載の発明において
は、前記の感情パラメータ導出手段として、前記の入力
手段により入力された音声又は画像を解析して求められ
た感情に基づき感情パラメータを導出する手段を用い
る。これは、音声の抑揚、声の大きさ、アクセント、早
口の度合、声の周波数などの要素の組み合わせにより基
本感情を示す数値を設定して記憶させておくことによ
り、望ましくは特定の個人についてのこれらの数値を予
め登録しておくことにより、マイクロフォンなどの入力
手段から入力された音声を解析して、基本感情のブレン
ド率などを導き出し、３次元の感情空間上の座標を求め
るものである。さらに、各利用者のコンピュータ端末に
これらのデータ及びデータを処理するプログラム、自分
の顔やキャラクターの顔等のシェイプデータを記憶させ
ておくことにより、後述する様々な通信において、感情
に対応する表情を送受信できるシステムを構築すること
ができる。

【００５６】（実施例５）また、請求項７に記載の発明
においては、前記の感情パラメータ導出手段として、前
記のコンピュータ装置が備えるプログラムによる演算処
理により求められた感情に基づき感情パラメータを導出
する手段を用いる。これは、例えばゲーム・プログラム
において、ゲーム競技者の得点などの数値や、ゲーム中
のイベント、アクション、操作などの要素に応じた感情
を示す数値を設定して記憶させておくことにより、ゲー
ム競技者の得点などの数値や、ゲーム中のイベント、ア
クション、操作などに応じて基本感情のブレンド率など
を導き出し、３次元の感情空間上の座標を求めるもので
ある。感情パラメータ制御によるキャラクター表情アニ
メーション再生プログラムが、感情パラメータを内部デ
ータから直接生成する。ゲームなどにおいて、現在の内
部状態から感情パラメータを算出することで、状況に応
じて変化するキャラクターの表情の表現が可能となる。

【００５７】本実施形態においても、各利用者のコンピ
ュータ端末にこれらのデータ及びデータを処理するプロ
グラム、自分の顔やキャラクターの顔等のシェイプデー
タを記憶させておくことにより、後述する様々な通信に
おいて、感情に対応する表情を送受信できるシステムを
構築することができる。例えばバーチャルキャラクター
を使ったネットワークコミュニケーションシステムであ
り、各端末が、認識技術を使った感情パラメータ導出モ
ジュールをもち、導出された感情パラメータをネットワ
ークを介して通信相手に送信する。受信した側では、送
信されてきた感情パラメータを使って表情合成を行い、
表示装置に合成された表情を描画する。通信確立時に、
感情空間（＝学習済みのニューラルネットワーク）、表
情合成に使うシェイプデータを互いに交換しておくこと
で、リアルタイムで送受信するデータは、感情パラメー
タのみとなり、通信トラフィックを低減できる。

【００５８】次に、各種入出力端末を用いることによ
り、作成したターゲットモデルは再生端末の情報処理能
力とネットワークのデータ転送能力によってさまざまな
実施形態をとることができる。パーソナルコンピュータ
などの装置や、家庭用ゲーム機、業務用ゲーム機、マル
チメディアキヨスク端末、インターネットＴＶなど、様
々な装置において、本発明を実施するためのプログラム
と、人物の一連の動作や表情等の基本的な動きを再現し
た複数のアニメーションユニット・パラメータを所定の
ブレンド率に基づき合成した基本顔である基本顔モデル
の感情空間上の座標データ、及び３Ｄコンピュータグラ
フィックスモデル形成の対象となるターゲットモデルの
座標データとを利用して、操作者が表情をターゲットモ
デルに加えることができる。なお上記のプログラムやデ
ータは、操作者の端末装置に記憶されて備えられる形態
のほか、アプリケーション・サービス・プロバイダー
（ＡＳＰ）形式のように、インターネット等を通じて接
続する記憶装置に備えられ、接続しながら利用する形態
をとることもできる。

【００５９】利用分野の一例としては、例えば、１対１
通信の例では、表情付きメール、対戦ゲームなどであ
る。また１対多通信（単方向）の例としては、ニュース
配信や、1対多通信（双方向）の例としては、インター
ネットショッピングなど、さらに多対多通信の例として
は、ネットワークゲームなどが例示できる。その他、携
帯電話（１対１）、通信カラオケマシン（１対多）など
は音声による感情入力と（液晶）画面による表情出力の
可能な通信手段として特有のサービスを提供することが
できる。

【００６０】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、感情のブレンド率を指定することにより対象と
なるシェイプデータの表情を形成し、さらに時間軸に沿
ったシェイプデータの変化を実現するためのシステムを
提供することができる。これにより、感情に基づき様々
な表情を作り出すことができる。またその表情には基本
表情モデルに作りこんだ皺なども含まれ、複雑な表現が
可能になった。

【００６１】６基本感情の基本顔のブレンド率を学習さ
せる際に、感情の度合いを０％、２５％、５０％、７５
％、１００％と徐々に増加させて学習させることで、ニ
ューラルネットの汎化性能を高めることができる。さら
に、基本顔そのものや６基本感情に分類できないような
様々な中間感情表情についても学習させたことにより、
より強力な恒等写像能力とより良い汎化性能を得ること
ができた。また、顔の基本動作を表す基本顔を個々に複
数作成し、それらをブレンド率により合成することで、
より自然な顔表情を作成することができた。また、ニュ
ーラルネットの恒等写像学習において、６基本感情だけ
でなく、それらに分類できないような様々な中間感情表
情についても学習させることでより理想的な汎化性能を
持つ感情空間を構築することができた。

【００６２】構築した感情空間について、基本感情から
基本感情へ移動しながらその点に対応する表情を出力す
ることでアニメーションを作成し、これらの結果で得ら
れた基本感情表情から基本感情表情へのアニメーション
は、それらの表情の中間的な表情で補間されており、理
想的な汎化性能が得られたと言える結果となった。顔表
面の運動単位それぞれについて各モデル毎に基本表情を
構築することで、皺などの複雑な表現を可能にした。ま
た、恒等写像学習において、６基本感情表情のみでなく
それらの中間感情表情を学習データとして与えることで
より理想的な汎化性能を持つ感情空間を構築することが
可能となった。

【００６３】また、時間の経過とともに表情を変化させ
るアニメーションは、構築された感情空間上にある、時
間をパラメータとしたパラメトリック曲線として記述可
能となり、アニメーションのデータ量を大幅に削減する
ことができる。

【図面の簡単な説明】

【図１】本発明のシステムに用いられるコンピュータ装
置の基本的なハードウェア構成を示す図である。

【図２】本発明のシステムの機能を実現するプログラム
の処理の機能を示すブロック図である。

【図３】１７個のＡＵに基づき表情を変化させたモデル
の一例を示す図である。

【図４】１７個のＡＵの概要を示す図である。

【図５】ＡＵの組み合わせによる基本６感情のブレンド
率を示す図である。

【図６】本発明のシステム構成図である。

【図７】本発明の処理のデータフローを示すブロック図
である。

【図８】ニューラルネットの構成図である。

【図９】ニューラルネットの構成図である。

【図１０】怒り・嫌悪・恐れ・喜び・悲しみ・驚きの６
基本感情を表す図である。

【図１１】恒等写像学習を行った結果、中間層に生成さ
れた感情空間を示す図である。

【図１２】各運動単位の動作を表現したモデルをそれぞ
れ作成し、それに皺などの複雑な表現も作りこんだ一例
を示す図である。

【図１３】中間感情の表情を基本表情モデルのブレンド
率によって再現した一例を示す図である。

【図１４】基本表情モデルをブレンド率によって合成す
ることで、顔表情を作り出した一例を示す図である。

【図１５】構築した感情空間について、基本感情から基
本感情へ移動しながらその点に対応する表情を出力する
ことでアニメーションを作成した結果の一例を示す図で
ある。

【図１６】構築した感情空間について、基本感情から基
本感情へ移動しながらその点に対応する表情を出力する
ことでアニメーションを作成した結果の一例を示す図で
ある。

【図１７】アニメーションを、感情空間内のパラメトリ
ック曲線として記述したことを示す図である。

【図１８】本発明の一実施形態の処理フローを示す図で
ある。

【図１９】本発明の一実施形態における感情パラメータ
導出の処理を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森島 繁生 東京都世田谷区野沢１−15−２ Ｆターム(参考） 5B050 AA10 BA08 BA12 DA10 EA13 EA24 EA28 FA02 5B057 CA13 CB13 CC04 CE08 DA16

Claims (13)

【特許請求の範囲】
1. 【請求項１】 入力手段、記憶手段、制御手段、出力手
   段、表示手段を備えるコンピュータ装置に備えられ、感
   情による３Ｄコンピュータグラフィックス表情モデル形
   成に用いるｎ次元の表情合成パラメータを３次元の感情
   空間上の感情パラメータに圧縮するシステムであって、
   前記システムは、５層ニューラルネットワークの恒等写
   像学習により、ｎ次元の表情合成パラメータから３次元
   の感情パラメータを形成する演算手段を備え、前記の演
   算手段による演算は、中間層を３ユニットとした５層ニ
   ューラルネットワークを利用して、入力層と出力層に同
   じ表情合成パラメータを与えて学習を行う演算処理と学
   習したニューラルネットワークの入力層に表情合成パラ
   メータを入力し、中間層から圧縮された３次元の感情パ
   ラメータを出力する演算処理であることを特徴とする、
   ３次元の感情空間上の感情パラメータに圧縮するシステ
   ム。
2. 【請求項２】 請求項１に記載の発明において、ニュー
   ラルネットワークの学習に使用するデータは、基本的な
   感情に対応する表情の表情合成パラメータであることを
   特徴とする、３次元の感情空間上の感情パラメータに圧
   縮するシステム。
3. 【請求項３】 請求項１に記載の発明において、ニュー
   ラルネットワークの学習に使用するデータは、基本的な
   感情に対応する表情の表情合成パラメータ並びにこれら
   の表情の中間的な感情の表情合成パラメータであること
   を特徴とする、３次元の感情空間上の感情パラメータに
   圧縮するシステム。
4. 【請求項４】 入力手段、記憶手段、制御手段、出力手
   段、表示手段を備えるコンピュータ装置に備えられ、感
   情の推移に基づき表情を合成する３Ｄコンピュータグラ
   フィックス表情モデル形成システムであって、３次元の
   感情パラメータをｎ次元の表情合成パラメータに展開す
   るための５層ニューラルネットワークの後３層、基本感
   情に対応する感情空間上３次元感情パラメータ、及び表
   情を合成する３Ｄコンピュータグラフィックス表情モデ
   ル形成のソースとなるシェイプデータを記憶する記憶手
   段と、特定の感情に対する感情空間上の感情パラメータ
   導出手段と、中間層を３ユニットとした５層ニューラル
   ネットワークの後３層のデータを利用して、中間層に感
   情パラメータ導出手段から導出された感情パラメータを
   入力し、出力層に表情合成パラメータを出力する演算手
   段とを備えたことを特徴とする、３Ｄコンピュータグラ
   フィックス表情モデル形成システム。
5. 【請求項５】 請求項４に記載の発明において、前記の
   感情パラメータ導出手段は、前記の入力手段により各基
   本感情のブレンド率の入力を行い、前期の記憶手段から
   基本感情に対応する感情空間上の３次元感情パラメータ
   を参照し、ブレンド率に対応する感情パラメータを導出
   することを特徴とする、請求項４に記載の３Ｄコンピュ
   ータグラフィックス表情モデル形成システム。
6. 【請求項６】 請求項４に記載の発明において、前記の
   感情パラメータ導出手段は、前記の入力手段により入力
   された音声又は画像を解析して求められた感情に基づき
   感情パラメータを導出する手段であることを特徴とす
   る、請求項４に記載の３Ｄコンピュータグラフィックス
   表情モデル形成システム。
7. 【請求項７】 請求項４に記載の発明において、前記の
   感情パラメータ導出手段は、前記のコンピュータ装置が
   備えるプログラムによる演算処理により感情パラメータ
   を生成する手段であることを特徴とする、請求項４に記
   載の３Ｄコンピュータグラフィックス表情モデル形成シ
   ステム。
8. 【請求項８】 請求項４〜７に記載の発明において、３
   次元の感情パラメータをｎ次元の表情合成パラメータに
   展開するための５層ニューラルネットワークは基本的な
   感情に対応する表情の表情合成パラメータを与えること
   により学習したことを特徴とする、請求項４〜７のいず
   れかに記載の３Ｄコンピュータグラフィックス表情モデ
   ル形成システム。
9. 【請求項９】 請求項４〜７に記載の発明において、３
   次元の感情パラメータをｎ次元の表情合成パラメータに
   展開するための５層ニューラルネットワークは基本的な
   感情に対応する表情の表情合成パラメータ並びにこれら
   の表情の中間的な表情の表情合成パラメータを与えるこ
   とにより学習したことを特徴とする、請求項４〜７のい
   ずれかに記載の３Ｄコンピュータグラフィックス表情モ
   デル形成システム。
10. 【請求項１０】 請求項４〜９に記載の発明において、
    ３次元の感情パラメータから展開されたｎ次元の表情合
    成パラメータを３Ｄコンピュータグラフィックス表情モ
    デル形成の対象となるシェイプデータのブレンド率と
    し、シェイプデータを幾何的にブレンドすることにより
    表情を形成することを特徴とする、請求項４〜９のいず
    れかに記載の３Ｄコンピュータグラフィックス表情モデ
    ル形成システム。
11. 【請求項１１】 請求項１０に記載の発明において、幾
    何的なブレンドのソースとなるシェイプデータは、感情
    とは独立した、顔の局所的変形（FACSに基づくＡＵ等）
    として前記の記憶手段にあらかじめ記憶されたデータで
    あることを特徴とする、請求項１０に記載の３Ｄコンピ
    ュータグラフィックス表情モデル形成システム。
12. 【請求項１２】 請求項１１に記載の発明において、テ
    ンプレートとなる顔モデルとそれを局所的に変形した顔
    モデルをあらかじめ用意し、テンプレートとなる顔モデ
    ルと、表情を形成する対象となる顔モデルとのマッピン
    グを行うことにより、表情を形成する対象となる顔モデ
    ルを自動的に変形し、幾何的なブレンドのソースとなる
    シェイプデータを作成することを特徴とする、請求項１
    １に記載の３Ｄコンピュータグラフィックス表情モデル
    形成システム。
13. 【請求項１３】 請求項１０〜１２に記載の発明におい
    て、前記の感情パラメータ導出手段により設定した感情
    パラメータ、及び所定時間後の感情パラメータを用い
    て、表情の時間的推移を、感情空間上のパラメトリック
    曲線として記述し、各時刻における曲線上の点（＝感情
    パラメータ）から、表情合成パラメータへ展開し、展開
    されたパラメータを使用して、シェイプデータを幾何的
    にブレンドすることにより表情を変化させることが可能
    なことを特徴とする、請求項１０〜１２のいずれかに記
    載の３Ｄコンピュータグラフィックス表情モデル形成シ
    ステム。