JP2001229398A - パフォーマンス動画ジェスチャーの取得及び動画キャラクター上での再生方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】動画キャラクタの動作を自然にするため、人間
のジェスチャーを取得し、キャラクタ動作に用いる 【解決手段】動作者が動作している間にジェスチャーを
取得するために、パフォーマンス動画化を利用する。ジ
ェスチャーはのちに再現するためパラメータ化され、タ
グを付され、データベースに記憶される。ジェスチャー
は動作者が行う他の動作とは別に保存される。動画キャ
ラクターを制御する計算機構、又は脳がキャラクターに
より実行されるべきジェスチャーを決定し、適切なジェ
スチャーをデータベース中で探索し、そのジェスチャー
と関連されて保存されている座標をキャラクターの身体
上の関連ポイントと関連付け、キャラクターにより実行
される他の動作又はシーケンスと並行してジェスチャー
を開始する。ジェスチャーは、ジェスチャーが開始され
ると同時にキャラクターの行う他の動作からは独立し
て、且つ協同して実行される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画オブジェクト
及び動画キャラクターの表示に関する。より詳しくは、
本発明は、動画キャラクターのジェスチャー及び動作で
ある身体運動を、動画キャラクターが行う他の動作とは
独立して表示することに関する。また、本発明は、動画
キャラクターを通じて再生(playback)するために身体運
動を取得及び記憶することに関する。

【０００２】

【従来の技術】合成/動画キャラクターは２つのカテゴ
リーに大別することができる。即ち、人間のユーザの動
作により直接制御されるキャラクターと、自律的に又は
事前にコンパイルされたスクリプトを通じてユーザの動
作と無関係な行動をとるキャラクターである。図１
（Ａ）に合成キャラクターのタイプ別分類例を示す。

【０００３】ユーザの動作により制御されるキャラクタ
ーはしばしば「アバター(avatar)」と呼ばれ、その挙動
を制御しているユーザをバーチャル環境で表示する役割
を概ね有する。これらのアバター・キャラクターは、ハ
ビタット(Habitat)、パレス(Palace)、ボディチャット
(BodyChat:[Vilhjalmsson97])、オズ・バーチャル(OzVi
rtual)、オンライヴ！テクノロジーズ・アンド・ワール
ズ(OnLive! Technologies and Worlds, Inc)などのグラ
フィカル・チャット・ルームやオンライン・バーチャル
・ワールドなどで利用されている。

【０００４】グラフィカル・バーチャル環境における実
時間相互作用の計算が複雑であることから、アバター表
示はグラフィック的に極度に単純化される傾向があり、
自発的ジェスチャー、顔の表情、及び言語によらない他
の挙動を表示するには不十分であった。更に、オンライ
ン・バーチャル・ワールドでは入力様式が概ねマウスや
キーボードなどに厳密に制限されるため、アバター・ユ
ーザはジェスチャー動作の一挙手一投足を細かく、意識
的に制御する必要がある。

【０００５】Vilhjalmssonのボディチャット・システム
は、認識モデル及びターン・テーキング動作をアバター
に組み込むことでこの障碍を克服しようとする。例え
ば、会話関係において、視線をどこに置くかという決定
を行うためにアバターにユーザの定義したパラメータに
基づいて何らかの自律性を与える。

【０００６】直接制御されるキャラクターの別の利用法
として、人間の動作者の動きに基づいて自動的に生成さ
れる動画が挙げられる。動作者の身体に定義したポイン
トと、キャラクターのグラフィカル表示上のノードとを
相関させることにより、この「パフォーマンス動画化」
技術は、細かいジェスチャーを行い、リアルな注視及び
身体運動を示す能力をキャラクターに与える。

【０００７】ユーザにより直接制御されないキャラクタ
ーは２つのグループに細別することができる。即ち、事
前にスクリプトされた行動をとるものと、ユーザ入力に
基づいて実行時に発生される本質的に自律的な行動をと
るものである。前者のタイプのキャラクターの挙動の範
囲はそのキャラクターのクリエイターにより明瞭に定義
されねばならない。事前スクリプトの１つの利点とし
て、言語行動と非言語行動の統合を実行時に計算する必
要がなく、これにより動画モデルにおいて複雑で迅速な
モータ制御計画を避けることができる点が挙げられる。

【０００８】他方、スクリプトされたキャラクターは、
ユーザとの対話や、多様な方式によるユーザ入力への反
応において限界がある。スクリプトされたキャラクター
・システムの例を以下に挙げる。 ●ドキュメント・アバター(Document Avatars)[Bickmor
e 97] これらのキャラクターはハイパーテキスト・ドキュメン
トに添付されており、ドキュメントの一定部分（例え
ば、リンク）が選択されると特定の動作を行うようスク
リプトされることができる。ドキュメント・アバター
は、ある読者の視点を表す、ドキュメントのガイド・ツ
アーを提供するのに利用することができる。ドキュメン
ト・アバターは発話したり、ドキュメント上の至る所に
移動したり、対象を指し示したり、リンクを活性化させ
たりするようスクリプトされることができる。 ●マイクロソフト・エージェント(Microsoft Agent)[Mi
crosoft 97] これらのキャラクターはテキスト・ストリングを話し、
特定の動画化シーケンスを実行し、隠れ、動き、リサイ
ズされ得るようスクリプトされることができる。ユーザ
は、キャラクターをドラッグし又はポップアップ・メニ
ューからコマンドを選択することにより、キャラクター
と対話する。 ●ジャック・プレゼンタ(Jack Presenter)[Badler 97] このシステムでは、正確な人間の形をした三次元の動画
フィギュアが、プレゼンテーションを行うようスクリプ
トすることができる。キャラクター作成者は、ジェスチ
ャーを行う場所、時期、及びジェスチャーのタイプを表
す注記を含む、ナレーティブ・テキスト(narrative tex
t)を与える。ユーザはキャラクターの事前決定された行
動を見るだけである。 ●ＰＰＰ・ペルソナ(PPP Persona)[Andre 96] このプロジェクトは、プレゼンテーションのために目標
継続時間を与えられた特定のマテリアルのチュートリア
ルを計画するためのプランニング・システムを使用す
る。プレゼンテーションは人間の作成者によりスクリプ
トされるのではなく、プランニング・システムにより作
成される。上記ドキュメント・アバターやマイクロソフ
ト・エージェントのキャラクターとは異なり、ユーザは
プレゼンテーションの間キャラクターと対話することは
できない。

【０００９】間接制御されるキャラクターの２番目のグ
ループは、自律的（或いは、半自律的）キャラクターで
ある。この分野のキャラクターは更に２つのカテゴリー
に細分される。即ち、エンターテイメント/シミュレー
ション・キャラクターと、タスク・ベースのキャラクタ
ーである。前者のカテゴリーは、人間以外のキャラクタ
ー表示を含む（例えば、ＭＩＴメディア・ラボラトリ(M
IT Media Laboratory)のアライブ・システム(ALIVE sys
tem [Maes 94])、ＰＦマジック(PF Magic)のドッグズ(D
ogz)、富士通インタラクティヴ(Fujitsu Interactive)
のフィン・フィン(Fin Fin)、ＣＭＵのオズ(Oz)な
ど）。これは、人間の形をしたバーチャル動作者を作成
するためのシステム（例えば、ＮＹＵメディア・リサー
チ・ラボラトリ(NYU Media Research Laboratory)のイ
ンプルーヴ・システム(Improv system)[Perlin 96]及び
スタンフォード(Stanford)のバーチャル・シアター・プ
ロジェクト(Virtual Theater Project)など）と同様で
ある。

【００１０】従来のタスク・ベースの自律的キャラクタ
ーとして、以下のシステムを挙げる。 ●マイクロソフト・オフィス・キャラクター(Microsoft
Office Characters) アプリケーションのＭＳオフィス・スイート(MS Office
suite)は、オンライン・ドキュメンテーションにユー
ザ支援とインタフェースを提供するための動画キャラク
ターのコレクションを含む。これらのキャラクターはタ
イプされた自由形式の質問に応答することができ、又マ
ウスでクリックすることのできるメニュー・オプション
を含むテキスト・バルーンに応答することができる。 ●マイクロソフト・ペルソナ(Microsoft Persona)[Micr
osoft 97] ペルソナ・プロジェクトでは、言語による入力に応答
し、制限付きの自発的ジェスチャーを伴う発話による出
力を生成する動画キャラクターを通じて、電子化された
(computerized)ジュークボックスを制御することが可能
である。 ●動画式会話(Animated Conversation)[Cassell 94] このシステムでは、２つの動画キャラクター即ちギルバ
ート(Gilbert)とジョージ(George)が、適切なコンテキ
ストの会話、ジェスチャー、顔の表情により対話するこ
とで、バーチャル銀行における銀行取引交渉を行うこと
ができる。 ●Ｙｍｉｒ[Thorisson 96] Ｙｍｉｒは、ターン・テーキングや他の相互作用を行う
能力を表示する、自律的キャラクターのためのアーキテ
クチャである。ユーザは自然会話やジェスチャーによ
り、Ｙｍｉｒアーキテクチャにおいて開発されたガンダ
ルフ(Gandalf)と呼ばれる動画キャラクターと自然会話
やジェスチャーを用いて対話し、太陽系に関する質問を
する。上記に引用した従来技術の中で、このガンダルフ
/Ｙｍｉｒシステムのみがジェスチャーや頭の位置など
の言語によらない自然な入力をある程度利用している。

【００１１】物理的ツール（デスクトップ又は他の比
喩）にではなく、関り合い(engagement)の社会的規則に
基づくユーザ・インタフェースを有するシステムが、Pr
evostらに与えられた米国特許出願番号０９/２２３，６
３７号（代理人事件番号ＸＥＲＸＦ１０１７ ＭＣＦ/
ＪＷＣ）に開示されている。上記出願は全内容を参照に
よって本明細書中に援用する。

【００１２】更に、Prevostらはコミュニケーション
（即ち、例えば動画キャラクターによるターン・テーキ
ング、理解又は質問）におけるジェスチャーの重要性を
説いている。ジェスチャーはキャラクターにより実行さ
れるべき出力機能に基づいて発生する。

【００１３】

【発明が解決しようとする課題】本発明の発明人は、手
動で作成されるプログラム、アルゴリズム、又は動作パ
ラメータを含むジェスチャー動作を特定するための現行
の方法は、発生したジェスチャーと関連させるよう意図
された意味を完全に与えるために必要とされる現実性(r
ealism)を示さない（例えば、自然に見せるために計算
により生成することが困難な加速度などは正確でない）
ことを認識した。また、本発明の発明人は、パフォーマ
ンスの動画化による動作者の動作の再生は、スクリプト
された制限数の動画キャラクターの用途以外の用途で利
用するには柔軟性が不十分であることを認識した。

【００１４】

【課題を解決するための手段】従って、本発明の発明人
は、パフォーマンスの動画化によりジェスチャーを取得
し、のちに動画キャラクターにより再現及び再生するた
めにジェスチャーをデータベースに記憶させることによ
り、上記課題を解決した。

【００１５】本発明は、パフォーマンスの動画化により
動作者の動作を取得し、ジェスチャーを含む前記動作の
サブセットを識別し、前記サブセットを再現可能なフォ
ーマットで保存する各ステップを含む方法として具現さ
れ得る。

【００１６】本発明は、動画キャラクターが、スクリプ
トされた或いは生成された動作を出力デバイス上で行
い、動画キャラクターの他の動作や行動と関連させてジ
ェスチャーを実行する各ステップを含む、動画化方法を
含む。

【００１７】更に、本発明は、少なくとも１つのジェス
チャーを識別するためのテーブルと、各ジェスチャーに
対応するデータ・セットとを含む、データベースを含
む。選択されたジェスチャーに対応するデータ・セット
を再生メカニズムに出力することにより、動画キャラク
ターが選択されたジェスチャーを行うように管理するた
めに、動画キャラクターを再生メカニズムに制御させる
ことができるように、データ・セットは各ジェスチャー
を記述している。また、本発明は、ジェスチャーのデー
タ格納場所と、該データ格納場所の中の少なくとも１つ
のジェスチャーを含む、動画キャラクターの動作を選択
するよう構成された中央計算機構と、該中央計算機構か
ら動作を受け取り、その動作を実行する動画キャラクタ
ーを出力するよう構成された動画化エンジンと、を含
む、動画化デバイスを含む。

【００１８】

【発明の実施の形態】本発明及びこれに付随する利点の
多くは、以下の詳細な記述を添付の図面と関連付けて参
照すれば、容易により完全な理解が得られる。

【００１９】以下図面を参照する。同一の参照数字は同
一又は対応箇所を示す。より詳細には、図１（Ｂ）で
は、本発明に従ったジェスチャーのパフォーマンス動画
化を実行するためのメカニズム１００の一実施形態が示
されている。パフォーマンス動画化メカニズム１００は
動作者１１０を含み、動作者１１０の身体の所定位置に
は相関ポイント（例えば、相関ポイント１１２、１１
４、１１６）が取り付けられている。各相関ポイント
は、空間における（例えば、固定座標系に関する）位置
を識別するためのセンサを含む。各センサは、各センサ
により収集される（位置情報を含む）データを収集及び
編成し、このデータを計算デバイス１４０に提供する収
集ボックス１３０に（例えば、ワイヤハーネス１２０に
より）取り付けられている。

【００２０】計算デバイス１４０に記憶された収集され
たデータ（１組のパフォーマンス動画データ）は、特定
のジェスチャー（例えば、手に関するデータ、又は肘に
関するデータ）の動作に関するデータについて調査され
る。特定のジェスチャーに関するデータは１組のパフォ
ーマンス動画データから抜粋され（取り出され）、別個
に記憶される。

【００２１】或いは、計算デバイス１４０は、（パフォ
ーマンス動画データの中から）動作者の行ったジェスチ
ャーを識別し、選択したジェスチャーに関連するデータ
を他のデータの中から分離させ、選択したジェスチャー
のデータを計算デバイスの記憶媒体に記憶させるための
付加的なソフトウェアを実行することもできる。ジェス
チャーの識別は、ユーザがユーザ・インタフェースを介
して計算デバイスを操作することにより、支援され得
る。

【００２２】ある実施形態では、ユーザ・インタフェー
スが動作者の動作の一部を再生し、ユーザが、その相関
ポイントから伝送されるデータが取得すべきジェスチャ
ーを表している各相関ポイントを識別することを可能と
する。この識別は、例えば、コンピュータ画面１４１上
で動作者の表示をハイライトし、又は対応ポイントを選
択するため、マウス１４２を用いてコンピュータ１４０
上で動作者の身体の一部又は対応するポイント（例え
ば、動作者の右腕、即ちポイント１１２及び１１４）を
ハイライトすることによりなされる。相関ポイントが識
別されると、ソフトウェア・プログラムが起動され、識
別された相関ポイントの中から各データを検索する。検
索されたデータはコンパイルされ、タグを付され、ジェ
スチャー・データベースに記憶される。

【００２３】ジェスチャーと関連するデータ・ポイント
の識別及び検索方法の如何を問わず、データ・ポイント
自体はのちのアクセス又は再生が可能であるように識別
され、（例えばデータベースに記憶させることにより）
保持される。各データ・ポイントは、動作者の身体上の
起点（例えば、起点１１８）に関して記憶される。取得
されたあらゆるジェスチャーの再現を行う身体、キャラ
クター又は他の再生動画は、取得されたジェスチャーを
再生動画と関連付けるための対応する起点及び他のデー
タ・ポイントを有することになる。

【００２４】図１（Ｂ）において、動作者の身体の特定
の位置に配置されたセンサにより各データ・ポイントが
収集される。この例では、正方形として区別されたセン
サは動作者の身体の背面に設置され（例えば、起点１１
６及び頭部センサ１１６）、円形として区別されたセン
サは動作者の身体の前面に設置されている（例えば、左
手及び右手１１２）。図１（Ｃ）及び図１（Ｄ）は、動
作者の動作を取得するための、実用に供されたパフォー
マンス動画化メカニズム（動作取得スーツを含む）を示
す。センサ数を増やしたり、他の位置にセンサを設置す
ることも可能である。

【００２５】図２はパフォーマンス動画化メカニズムに
より取得された動作シーケンスの概略を示す。この概略
は、動作者が歩行しながら左腕/左手を振り始める、一
連の８つのフレームを示す。動作者の肩２１０、肘２２
０、手首２３０、及び手２４０についての相関ポイント
が、動作者の左腕を振るジェスチャーを取得するための
関連相関ポイントとして識別される。

【００２６】図３のＡは、関連相関点からのデータのみ
を含む８つのフレームの再生を示す。腕を振る動作が動
作者の身体から切り離されて示されていることに留意さ
れたい。図３のＢは、動作者の肘２２０、手首２３０、
及び手２４０のみを用いてより詳細に収集した相関ポイ
ントの再生を示す。更に詳細な再生として手又は指の動
きのみを表示することもできる。

【００２７】この方法で、タイプの異なる多くのジェス
チャー（例えば、頷く、足を軽く打ち鳴らす、体を捩る
など）を取得することができる。この方法によれば、身
体運動に関する事実上全てのジェスチャーを取得し記憶
することができる。

【００２８】ジェスチャーを取得するための他の方法も
可能である。例えば、ビデオカメラで動作者のジェスチ
ャーを取得してもよい。再生にあたっては、取得したジ
ェスチャーについての相関ポイントを識別し、測定し又
は座標系に変換して保存する。

【００２９】取得方法を問わず、各ジェスチャーを取得
する際に人間の動作者をモデルとする場合には、ジェス
チャーに高度な現実性を与えることができる。この現実
性は、計算によって或いは手動入力により生成すること
の難しいジェスチャー動作の加速度曲線が現実の動作か
ら間断なく取得され、正方向及び逆方向の運動学(kinem
atics)をモデル化する必要がないために得られる。

【００３０】表１は一連のパフォーマンス動画化の間に
１つのチャネル（左肘）から取得された１組のデータの
一例を示す。

【００３１】

【表１】

【００３２】表１は検索されたデータを識別し、左列の
各時限について分離データ要素（右列）を提供する。各
時限毎に（ｘ,ｙ,ｚ,ｒ,ｐ,ｙ）位置が右列において符
号化される。従って、あるジェスチャーにおける肘に関
するデータは、そのジェスチャーが行われていた時限か
らデータを得ることにより検索することができる。例え
ば、左腕を振る動作が0.145019(…)と1.189453(…)の間
の時限において発生したとすると、それらの時限及びデ
ータ・ポイント-0.3142141(…)と0.06571(…)の間が、
左腕の振りに関するデータベース・テーブルに左肘の動
きに対応して記憶される。左腕を振るジェスチャーを行
う際に必要な別のチャネルについても、データ値とそれ
に対応する時限が同じテーブルに同様に記憶される。例
えば、手に関するデータが左腕の振りに関するデータベ
ース・テーブル（列、行、又は他のテーブルとリンクさ
れている）に左手に対応して記憶される。

【００３３】図４は上記のプロセスを説明するフローチ
ャートである。ステップ４００で、動作者のジェスチャ
ーを取得する。ステップ４１０で、取得されたジェスチ
ャーの間の各動作をコンパイルし、又は再生可能な基準
（角度、動作速度など、そのジェスチャーを描写するも
のの総合で、例えば表１の関連部分）にパラメータ化す
る。ステップ４２０で、コンパイルされたデータにジェ
スチャー名（例えば、左腕の振り）のタグが付けられ、
のちの再生に備えて記憶される。

【００３４】取得画像の記憶については多くの形態が可
能である（例えば、プログラムに直接コンパイルし、フ
ァイルに記憶する）。しかしながら、取得画像のデータ
ベース作成が最も有用であると考えられている。データ
ベースも多くの形態をとることができる。各取得画像を
再現するのに足る情報を記憶するものであればよい。表
２は、取得画像を保存するためのデータベース・テーブ
ル構造の一実施形態を示している。ここでも、ジェスチ
ャーは取得中に動作者が行った他の動作とは別に記憶さ
れることに留意すべきである。

【００３５】表２は、図３に示された左腕を振るジェス
チャーに関してパラメータ化された身体位置を記憶した
データベース・テーブルの一部の例である。

【００３６】

【表２】

【００３７】表２の１列目は左腕を振るジェスチャーの
順序番号を識別する。順序番号はジェスチャーを動画化
するために必要な部位（ここでは、上腕、前腕、手）の
第１の位置を識別する。２列目は、所要部位がその位置
に保持された時間量を識別する（ここでは秒で示した
が、他の単位、例えばフレームで表現することも可能で
ある）。

【００３８】３列目は部位（例えば、肩２１０と肘２２
０の相関ポイントの間に画定される左上腕）を識別す
る。４列目は３列目の同一行に識別された部位の位置を
識別する。３列目及び４列目と同様に、５列目及び６列
目、７列目及び８列目も、識別された（特定された）ジ
ェスチャーを実行するための部位及び位置を識別する。
この例では、各位置は紙面に図示されたキャラクター身
体部分又は紙面から外れた部分と関連して示されてい
る。例えば、順序番号２は135/5の左前腕位置を識別し
ており、これは、左前腕が紙面において（或いはキャラ
クターのディスプレイ装置の平面において）１３５度で
あり、５度が紙面から外れていることを意味している。
データの記憶に関しては他の方法も可能である。

【００３９】或いは、他の座標や体系を用いてもよい。
例えば、ｘ,ｙ,ｚ,ｒ,ｐ,ｙのような座標において、ｘ,
ｙ,ｚは起点に関する位置、ｒはロール量、ｐはピッチ
量、ｙはヨー量であるとき、この座標が、取得中のジェ
スチャーに関与している身体部位（例えば、骨）毎に記
憶される。四元法によるシステム(Quaternion system)
を用いることもできる。座標系は、記憶されたデータか
ら動作を検索して動画キャラクターとすることができる
よう、三次元空間で起点に対する身体上の位置及び向き
を与えるだけでよい（或いは、起点に対する身体上の位
置を算出し又は位置に変換されてもよい）。

【００４０】座標が絶対空間における固定点に関して記
憶されるならば、身体が取得動作と相関する正確な点に
位置しない限り、ジェスチャーを行っている腕又は他の
身体部位は身体の位置と適合しなくなる。従って、取得
したポイントを身体上の起点と相関させるための何らか
のメカニズムが必要である。動作者の身体上の起点に関
連する全てのポイントを取得することにより、これ以外
の相関を算出する必要がなくなる。

【００４１】取得される各ジェスチャーは表１や表２と
同様に構成された又は組織されたテーブルに記憶されて
もよく、或いはジェスチャー動作を識別するための他の
システム（例えば、直接ｘ,ｙ,ｚ,ｒ,ｐ,ｙシステム）
に依拠してもよい。各ジェスチャー及び対応するジェス
チャー・テーブルは、表３に示すようなマスター・リス
トで識別することもできる。

【００４２】

【表３】

【００４３】表１、表２及び表３はジェスチャーを記憶
する方法を教示する。本明細書の開示に基づき、ジェス
チャーを記憶するに当たりこの他の多くの構成又は編成
スキームを適用することもできることは当業者には明白
であろう。重要なことは、データが動画キャラクターの
座標（又は身体部位）に関連付けられたとき、ジェスチ
ャーの実行を可能とする量のデータがあることである。

【００４４】別の実施形態では、動作集合の全体（歩行
中に左腕を振り、右腕を振る）をフル・パフォーマンス
動画に記憶させてもよい。この実施形態では、個々のジ
ェスチャーはフル動画から分離され（切り離され）、再
現されてもよい。

【００４５】本発明により制御されるキャラクターは従
来の合成キャラクター又は会話型キャラクターに対し、
有利である。個々のジェスチャーは、キャラクターが行
っている他の動作又はジェスチャーとは別に記憶され、
再現される。

【００４６】フル・パフォーマンス動画又はデータベー
スに記憶された個々のジェスチャーのいずれを用いる場
合でも、そのジェスチャーを行うために動員される各々
の身体要素は、動画キャラクターの対応ポイントや対応
部位と関連付けられ（相関され）、動画キャラクター上
で再生（再現）される。上で触れたように、動作者の動
作を絶対空間において取得するのであれば、全てのポイ
ントについて、動画化デバイスは絶対空間をキャラクタ
ーの身体上のポイント/起点に変換しなくてはならな
い。従って、起点と、起点に関連して取得される他の全
ての動作を取得することにより、動画化シーケンスにお
いて実行されるべき計算の数を減らす。

【００４７】図５は本発明に従ったデバイスのブロック
図である。動画化メカニズム５００は計算メカニズム
（脳）５２０とデータ記憶装置５５０とを含む。脳５２
０は動画キャラクター５４０を出力メカニズム５３０
（例えば、コンピュータ画面、投射、ＶＲ眼鏡(VR glas
ses)など）を介してレンダリングする。動画化メカニズ
ム５００は、ユーザ入力（例えば、音声、位置、手動入
力など）を受け取るための他のデバイス５１０を含むこ
とができる。脳５２０はこのユーザ入力に従い、ユーザ
や他の環境と対話するように動画キャラクターをレンダ
リングする。

【００４８】脳５２０は、動画キャラクターが行うべき
動作や行動を決定し、適切な出力信号を出力メカニズム
５３０に送る（例えば、歩行５７０）。データ記憶装置
５５０はジェスチャーのデータベースを含む。脳５２０
が適切なジェスチャーを決定すると、そのジェスチャー
に関するデータがデータベースから検索され、動画キャ
ラクターの動作や行動に含められる（例えば、左腕の振
り５６０）。

【００４９】ある実施形態において、脳５２０は、動画
キャラクターの動作の各ポイント毎のチャネルを有する
動画化デバイスを含む。動画キャラクターの動作や行動
のために決定されたデータは、ジェスチャーを実行する
ために必要とされるチャネル以外の各チャネルに送られ
る。ジェスチャーを実行するために必要なチャネルに
は、そのジェスチャーに対応するデータが送られる。或
いは、脳５２０は、ジェスチャー動作を検索し、それを
出力メカニズム５３０に設けられたレンダリングデータ
・ストリーム５９０に加える、ファイアリング・メカニ
ズム５８０に通知する。いずれの実施形態においても、
得られるジェスチャーは動画キャラクターの他の動作や
行動と同時に行われるが、それらとは独立している。従
って、ジェスチャーはリアルタイムで起動され、動画キ
ャラクターの異なる部位を個別に制御する（即ち、ジェ
スチャーが起動され、動画キャラクターの他の動作と共
に実行される）。

【００５０】ジェスチャーの起動はリアルタイムで計算
され、任意の数の分類基準に基づいて行うことができ
る。ジェスチャーは所定セットの動作にスクリプトされ
ることができる。ジェスチャーを含む一般的なスクリプ
トされたシーケンスの例が、表４に示されている。

【００５１】

【表４】

【００５２】表４のスクリプトされたシーケンスは３つ
の部分からなる前置き（挨拶）のシーケンスである。第
１の部分は前方へ移動する動作と腕を振るジェスチャー
とであり、第２の部分は質問と手のジェスチャーであ
り、第３の部分は任意の所要のターン・テーキング・キ
ューである。スクリプトは脳５２０により読み出され、
実行される。実行されると、このスクリプトは、動画キ
ャラクターが（左腕を振るジェスチャーをしながら）ユ
ーザに向かって移動し、（左手を差し出しながら）助け
がいるか否かを訊ね、これに対しユーザが応答すること
を可能とする、挨拶シーケンスとなる。これらの動作に
伴い、ジェスチャーはスクリプトされた他のコマンドと
は独立して、且つそれらと関連して実行される。

【００５３】動画化システム又は動作スケジューラに言
語及び他の動作（例えば、ジェスチャーや環境コマン
ド）を送るために、テキスト・マークアップ言語を利用
することができる。発話された言語に関するストリング
と、ジェスチャーに関するエスケープ・シーケンスと、
他の動画関連のアイテムを有するテスト・マークアップ
言語セグメントの一例を表５に示す。テキストは、動画
キャラクターにより話されるべき会話であり、又＼＼Mr
k=…＼＼エスケープ・シーケンスは環境条件（例えば、
グラフィックス）及びキャラクター・ジェスチャーの各
々を制御する。

【００５４】

【表５】

【００５５】また、ジェスチャーはルールに基づいたテ
キスト指示言語セグメントで起動され或いは実行される
ことができる。表６に特定ジェスチャーを起動するため
の１組のルールを示す。例えば、ユーザが動画キャラク
ターのいる部屋に入ると（ユーザが部屋に入るルー
ル）、認識ジェスチャーが起動される。ルールは人間関
係の実際の社会的ルールに基づいて定式化されており、
動画キャラクターに人間に近い個性及び応答の質を与え
ている。

【００５６】

【表６】

【００５７】条件がルールの要求に適合し、或いはほぼ
適合すると、ルールが起動され、１つまたはそれ以上の
対応するジェスチャーが始動される。例えば、あるルー
ルが起動されると、エスケープ・シーケンスがダイアロ
グ管理部により準備される会話テキストに組み込まれ、
次いで例えばエスケープ・シーケンスを含む会話テキス
トが動作スケジューラに送られる。或いは、ジェスチャ
ー・シーケンスは動画化システム、又はスケジューリン
グのための動作スケジューラに直接与えられてもよい。

【００５８】動作スケジューラ及び本発明の一部を実施
するために用いることのできる他のメカニズムの例が、
本願と同日に出願されたPrevostの米国特許出願番号０
９/４４７/９３２号「STREAMLINED ARCHITECTURE FOR E
MBODIED CONVERSATIONAL CHARACTERS WITH REDUCED MES
SAGE TRAFFIC」（代理人事件番号ＦＸＰＬ１００５ＭＣ
Ｆ/ＪＷＣ）に開示されている。上記出願の全内容を参
照によって本明細書中に援用する。

【００５９】図６（Ａ）は、ジェスチャーの始動のため
の指示（エスケープ・シーケンス）を有する動画化シー
ケンスを実行するプロセスのプログラム・フローの一例
を示している。ステップ６００で、生成されたシーケン
スの実行が開始される。シーケンスに動作や会話が与え
られれば、それは動画キャラクター上で実行される。ス
テップ６１０で、ジェスチャーを識別するエスケープ・
シーケンスが存在するか否かが決定される。存在する場
合は、ステップ６２０で、エスケープ・シーケンスと関
連付けられたジェスチャーがデータベースから検索さ
れ、（ステップ６３０で）動画キャラクター上で実行さ
れる。生成されたシーケンスの実行はステップ６００に
ループバックすることにより継続される。

【００６０】動画キャラクター上で再生するためのジェ
スチャーの記憶及び検索は、動画キャラクターの動作、
動きや行動を決定するための他のモードと組み合わせる
ことができる。例えば、動画キャラクターの頭部の動
き、まばたき又は他の動作などの項目を制御するための
アルゴリズム（例えば、ノイズ、統計に基づいた又は他
のタイプのアルゴリズム）を実施してもよい。ジェスチ
ャーがこれと並行して実行される。

【００６１】別の例では、モーフィング技術により、動
画キャラクターの顔の表情を変化させることができる。
あらゆるモーフィング技術を利用することができる。あ
る実施形態では、動画キャラクターのモデルをサイバー
・スキャンし、そのモデルを表示するポリゴン・メッシ
ュを作成する（例えば、正方形や三角形を用いるモデル
の構造に近いプロセス）。サイバー・スキャンされたポ
リゴン・メッシュ６９０の一例を図６（Ｂ）に示す。サ
イバー・スキャンされたポリゴン・メッシュ６９０は顔
の表情を再現する種々の位置へ変形される。顔の各表情
はデータベースに記憶されてもよく（例えば、個々のポ
リゴン位置が記憶される）、又計算により決定すること
もできる。

【００６２】図７は、動画キャラクター７００が水溜り
を飛び越すところを図示している。キャラクター７００
は水溜り７２０に向かって進み、これを飛び越す。この
ような動作は、動画キャラクターが実行することのでき
る、可能な動作の例として示されている。

【００６３】図８は、動画キャラクターが左腕を振るジ
ェスチャーをしながら水溜りを飛び越すところを図示し
ている。左腕を振るジェスチャーは水溜りを飛び越す動
作とは独立して行われる。図８からわかるように、各フ
レームは取得され図３に示されたジェスチャーに対応す
る左腕位置を含む。従って、ジェスチャーが動画キャラ
クターの他の動作とは独立して再生されることがわか
る。左腕を振るジェスチャーは歩行中、ユーザに向かっ
て歩行中、水溜りを飛び越す間、又は他のあらゆる動作
の間、或いは動作をしていない間にも再生され得る。

【００６４】当業者には明白であるように、本発明は従
来の汎用コンピュータ、本明細書の開示内容に従ってプ
ログラムされた専用デジタル・コンピュータ又はマイク
ロプロセッサを用いて適切に実施することができる。

【００６５】ソフトウェア技術に精通した者には明らか
であるように、適切なソフトウェアの符号化は、本明細
書の開示内容に基づき熟練のプログラマにより容易に実
行され得る。又、当業者には明白であるように、本発明
は用途に合わせた集積回路を作成することにより、或い
は一般的な構成の適切なネットワーク回路を相互接続す
ることによっても実行することができる。

【００６６】本発明は、その中に記憶された命令を有す
る、１つ又は複数の記憶媒体であるコンピュータ・プロ
グラム製品を含む。該製品はコンピュータを制御し、又
本発明のあらゆる工程を実行させるために用いることが
できる。記憶媒体としては、フロッピー（登録商標）・
ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイク
ロドライブ、及びＭＯディスク、ＲＯＭ、ＲＡＭ、ＥＰ
ＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシ
ュ・メモリ・デバイス、磁気又は光カード、ナノシステ
ム（分子メモリＩＣを含む）、或いは命令及び/又はデ
ータの記憶に適したあらゆるタイプの媒体又はデバイス
を含むあらゆるタイプのディスクが挙げられるが、これ
らに限定されない。

【００６７】本発明は、コンピュータ読出し可能な１つ
又は複数の媒体のうちの何れか１つに記憶されており、
汎用コンピュータ/専用コンピュータ又はマイクロプロ
セッサのハードウェアを何れをも制御し、コンピュータ
又はマイクロプロセッサが人間のユーザ又は本発明のプ
ロセスを利用した他のメカニズムと相互作用することを
可能とするためのソフトウェアを含む。これらのソフト
ウェアとしては、デバイス・ドライバ、オペレーティン
グ・システム及びユーザ・アプリケーションなどが挙げ
られるが、これらに限定されない。結局のところ、これ
らのコンピュータ読出し可能な媒体は上述した本発明の
機能を実行するためのソフトウエアを更に含んでいる。

【００６８】汎用コンピュータ/専用コンピュータ又は
マイクロプロセッサのプログラミング（ソフトウェア）
には、本発明の教示を実行するためのソフトウェア・モ
ジュールが含まれる。ソフトウェア・モジュールとして
は、本発明に従った、パフォーマンス動画取得シーケン
スの間又は後の、実行されたジェスチャーの選択及び識
別、取得ジェスチャーのパラメータ化、ジェスチャーの
記憶及び検索、関連付け、及びジェスチャーの再生など
が挙げられるが、これらに限定されない。

【００６９】更に、本発明はあらゆる普及したシステム
において、ネットワーク（例えば、ＬＡＮ、ＷＡＮ）、
インターネット、又はウェブ・ベースのアプリケーショ
ンを通じて動作するよう開発された実施を含む。例え
ば、図９を参照すると、ある実施形態において、コンピ
ュータ９００ａ乃至９００ｃが各々接続されたネットワ
ーク９００が図示されている。本発明のプロセス（例え
ば、上述したいずれかのソフトウェア・モジュール）は
ネットワーク化されたコンピュータ９００ａ乃至９００
ｃ間で分散されることができ、これにより本発明の計算
上の作業負荷が分担される。例えば、本発明に従ったジ
ェスチャーのデータベースをネットワーク・コンピュー
タ９００ｂに記憶させ、ネットワーク・コンピュータ９
００ａは動画キャラクターの選択されたジェスチャーと
関連された全ての機能と動画キャラクターのスクリプト
を実行するようにしてもよい。

【００７０】別の実施形態では、インターネット９３０
に接続されたコンピュータ９０５が、近接して又は遠隔
に接続されたあらゆるコンピュータからの要求を受け取
るサーバ・デバイス９１０を実行する。サーバ９１０に
より受け取られる要求としては、サーバがホームページ
（例えばあらゆるグラフィックス、動画、テキスト及び
他のリンクなど）を返すホームページ要求、及び/又
は、ユーザが本発明を要求するのに必要なパラメータと
通信するためのページ（ラジオ・ボタンを含むダイアロ
グ・ボックス、記入式質問ボックスなどや他のメカニズ
ムなど）が挙げられる。本発明を起動する要求を受け取
ると、サーバ９１０は本発明を実行し、ユーザから提供
されるあらゆるパラメータをパスするためのプロセス９
１５を起動する。本発明の成果は、フォーマットし、要
求したコンピュータへ逆送するためにサーバ９１０に戻
される（例えば、ジェスチャー及び他の動作を行う動画
化ＧＩＦ(Graphics Interchange Format)を作成し、ユ
ーザ入力に応答してこの動画化ＧＩＦを要求したコンピ
ュータへ送る）。要求するコンピュータは、ワイヤ線で
インターネットに接続されたコンピュータ９４０ａ乃至
９４０ｃ、衛星又は無線により接続されたコンピュータ
９７０、パーム・サイズのデバイス９６０のいずれであ
ってもよい。

【００７１】別の実施形態では、サーバのユーザ要求は
サーバの送るアプレット、クッキー、或いは近接して又
は遠隔に接続されたコンピュータ上で実行される他のイ
ンターネット・プログラム（例えば、Ｊａｖａコード）
により応答される。各アプレット及び他のインターネッ
ト・プログラムは、本発明の１つ又はそれ以上のプロセ
スを実行するコードを含む。これにより、本発明の計算
上の負荷の一部が要求コンピュータに分散される。

【００７２】例えば、１つのアプレットは動画化エンジ
ンと、要求コンピュータにダウンロードされたジェスチ
ャーのデータベースとを含むことができる。ユーザ入力
は、決定を行い、動画化エンジン及びデータベース・ア
プレットによって再生するために要求コンピュータに返
されたスクリプトをコンパイルするためにサーバ９１０
と通信される。

【００７３】要求コンピュータで実行されるプロセス
（例えば、アプレット）を予め決定することができる
（例えば、全ての要求があるアプレットを受け取る、な
ど）。或いは、要求コンピュータで実行されるプロセス
は、要求コンピュータに存在する種々の要因（例えば、
サーバ９１０の計算能力及びその上位マシン９０５、要
求コンピュータの計算能力、インストールされたあらゆ
るベース・サプライ（プログラム、データベースな
ど））及び可能な帯域幅により変化してもよい。

【００７４】サーバ９１０との通信は、ワイヤによるイ
ンターネット接続（例えば、９３０）上で、又は（例え
ば、近接して接続された衛星デバイス９２５やインター
ネット接続された衛生デバイス９５０により）軌道周回
衛星への無線で行われてもよい。又、遠隔コンピュータ
は、衛星９５５より送られる信号を受信し、グラウンド
・ベースのあらゆるステーションからの信号を中継する
ワイヤレス・ラップトップ（又はそれ以外の）コンピュ
ータ（例えば、ラップトップ・コンピュータ９７０）、
パーム・パイロット・タイプのハンドヘルド計算デバイ
ス（例えばデバイス９６０、又は車両９８０に設置され
たデバイス）を含むことができる。本明細書の開示内容
に基づき、衛星の他の構成や他のワイヤレス及びワイヤ
による通信モードも実施できる。

【００７５】前記概要に照らせば本発明の数多くの変
更、変形が可能であることは明白である。従って、前記
請求項の範囲内において、本発明は本明細書中に特定し
た以外の方法でも実行できることを理解されたい。

【図面の簡単な説明】

【図１】（Ａ）は、合成キャラクターのタイプ別分類を
示す図である。（Ｂ）は、動作者の身体上のポイントが
グラフィカル表示上のノードと相関している、「ボディ
スーツ」を着用した動作者の例を示す図である。（Ｃ）
は、動作者の動作を取得するためのＭＯ（機械操作）キ
ャップスーツの一例を示す図である。（Ｄ）は、動作者
の動作を取得するためのＭＯキャップスーツの他の例を
示す図である。

【図２】動作者の身体の取得動作を経時順に再生した図
である。

【図３】動作者の身体の動作から取得したジェスチャー
を経時順に再生した図である。

【図４】ジェスチャーの取得及び記憶プロセスを表すフ
ローチャートである。

【図５】取得されデータベースに記憶されたジェスチャ
ーを再現し実行するためのデバイスのブロック図であ
る。

【図６】（Ａ）は、パフォーマンス動画ジェスチャーを
動画キャラクターとして再現するプロセスを示すフロー
チャートである。（Ｂ）は、顔を表示するためのポリゴ
ン・メッシュの一例を示す図である。

【図７】動画キャラクターの動作の実行を示す図であ
る。

【図８】スクリプトされ又は生成された図７の動作を示
す図であり、再生中に取得ジェスチャーが起動されてい
る。

【図９】本発明を実行する際に利用できるネットワーク
・コンピュータ及びデバイスの選択を表す図である。

フロントページの続き (72)発明者 ピーター ホジソン アメリカ合衆国 94131 カリフォルニア 州 サンフランシスコ マテオ ストリー ト 100

Claims (12)

【特許請求の範囲】
1. 【請求項１】 パフォーマンスの動画化を通じて動作者
   の動作を取得するステップと、 ジェスチャーを含む前記動作のサブセットを識別するス
   テップと、 前記サブセットを再現可能なフォーマットで保存するス
   テップと、 を含む方法。
2. 【請求項２】 前記保存するステップが、動作の前記サ
   ブセットを再現可能なジェスチャーのデータベースに保
   存することを含む、請求項１に記載の方法。
3. 【請求項３】 前記保存するステップが、動作の前記サ
   ブセットを１組のパラメータに変換するステップと、 １組のパラメータを、対応するジェスチャーを識別する
   データベーステーブルに記憶するステップと、 を含む請求項１に記載の方法。
4. 【請求項４】 前記パラメータが、身体のポイント、動
   作方向、チルト、加速度、速度のうち少なくとも１つを
   含む請求項３に記載の方法。
5. 【請求項５】 前記再現可能なフォーマットが、取得ジ
   ェスチャーと関連する前記動作者上のポイントの各位置
   を所定の時限において識別するための１組のポイントを
   座標系において含む請求項１に記載の方法。
6. 【請求項６】 少なくとも１つのジェスチャーを識別す
   るテーブルと、 選択されたジェスチャーに対応するデータ・セットを再
   生メカニズムに出力することにより、該選択されたジェ
   スチャーを行うために動画キャラクターに指示するよう
   に、該再生メカニズムに動画キャラクターを制御させる
   各ジェスチャーを記述する、各ジェスチャーに対応する
   データ・セットと、 を有するデータベース。
7. 【請求項７】 各データセットが、対応するジェスチャ
   ーのパフォーマンスに関する情報のみを提供する、請求
   項６に記載のデータベース。
8. 【請求項８】 前記データベースが、動画キャラクター
   に関する他のデータを含む、請求項６に記載のデータベ
   ース。
9. 【請求項９】 動画キャラクターのスクリプトされた又
   は生成された動作を出力デバイス上で実行するステップ
   と、 前記動画キャラクターが行う他の動作や行動に関連させ
   てジェスチャーを行うステップと、 を含む動画化方法。
10. 【請求項１０】 前記実行するステップが、 動画キャラクターの動作に適した少なくとも１つのジェ
    スチャーを決定するステップと、 前記ジェスチャーのパフォーマンスのためのデータ・セ
    ットをジェスチャーのデータベースから検索するステッ
    プと、 前記ジェスチャーを実行するために該ジェスチャーを動
    画化デバイスに提供するステップと、 を含む請求項９に記載の方法。
11. 【請求項１１】 前記ジェスチャーを行うステップが、 記憶されたジェスチャーの動作のポイントを前記動画キ
    ャラクター上の動作のポイントと関連付けるステップ
    と、 前記動画キャラクターの前記スクリプトされた又は生成
    された動作、或いは他の動作又は非動作のうちいずれか
    を実行する間に、記憶されたジェスチャーに従って該動
    画キャラクターの関連付けられたポイントの動作を実行
    するステップと、 を含む請求項９に記載の方法。
12. 【請求項１２】 ジェスチャーのデータ格納場所と、 前記データ格納場所の中の少なくとも１つのジェスチャ
    ーを含む、動画キャラクターの動作を選択するよう構成
    された中央計算機構と、 前記中央計算機構から動作を受け取り、前記動作を実行
    する動画キャラクターを出力するよう構成された動画化
    エンジンと、 を含む動画化デバイス。