JP2000089660A - 手話学習支援装置および手話学習支援プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 手話の学習を容易にする。 【解決手段】 キーワードや手形状データを入力部１０
１で入力して学習対象の手話単語が指定されると、全体
制御部１０２による制御の下、各部が次のように動作す
る。手話検索部１０３が手話辞書部１０４から手話単語
データを、手話画像検索部１０７が手話画像蓄積部１０
８から手話画像をそれぞれ取得すると共に、背景検索部
１０５が背景辞書部１０６から手話動作説明用の背景情
報を取得し、アニメ生成部１０９がアニメデータ蓄積部
１１０から素材データとアニメーション生成のためのシ
ナリオとを取得して、学習対象の手話単語の意味を視覚
的に表現する背景アニメーションを生成する。そして、
背景画像合成部１１２が合成情報蓄積部１１３における
合成情報に基づき、手話画像と背景アニメーションを合
成し、これを手話単語データ等と共に出力部１１１に接
続されたディスプレイに表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手話の学習を支援
する装置に関する。

【０００２】

【従来の技術】現在、手話を知らない聴覚障害者、もし
く健聴者が手話を学習する場合には、手話を知っている
聴覚障害者から直接学習するか、もしくは、ビデオやテ
キストなどを用いて学習を行っている。最近では、ＣＤ
−ＲＯＭなどを利用した学習システムもある。

【０００３】手話の学習システムには、手話による会話
及び各手話単語の動作の映像を表示したり、動作の解説
を文字によって説明しているシステム（例えば、日本Ｉ
ＢＭ株式会社より販売されているＣＤ−ＲＯＭ「ＮＨＫ
みんなの手話」）がある。また、手話動作の背景等の
情報を文字列によって説明する「手話学習装置」が特開
平６−８３２６４号公報に開示されている。

【０００４】

【発明が解決しようとする課題】手話の学習において
は、手話の動作やその時の手の形の意味するイメージが
非常に大切である。しかし、従来の手話の学習システム
には、動作の解説や手話動作の背景等の情報を文字によ
って説明しているものがあり、このようなシステムで
は、動作や手形状の意味するイメージがつかみにくい。
また、実際の会話において使用する手話の動作が、標準
的な動作から変化した動作となることが多い。このた
め、標準的な動作のみを学習しても、日常の会話ができ
ない。

【０００５】そこで本発明は、手話の動作や手形状の意
味するイメージをつかみやすくして手話単語の動作の意
味等を理解しやすくすることにより、手話動作の学習を
容易にし、また、手話が実際に使用されるときの手話動
作の変形についても学習できるようにした手話学習支援
装置を提供することを目的とする。

【０００６】

【課題を解決するための手段および発明の効果】第１の
発明は、手話の学習を支援する手話学習支援装置であっ
て、学習対象の手話単語を指定する入力情報を取得する
ための手段と、前記入力情報に基づき前記学習対象の手
話単語に対する手話動作を表す手話画像を表示する手段
と、前記入力情報に基づき前記学習対象の手話単語の意
味を視覚的に表現するアニメーションを表示する手段
と、を備えることを特徴とする。このような第１の発明
によれば、学習対象の手話単語につき、手話動作を示す
画像が表示されるとともに、その意味が背景アニメーシ
ョンにより視覚的に表現されるため、手話単語の動作の
意味が理解しやすくなり、手話動作を容易に学習するこ
とができる。

【０００７】第２の発明は、手話の学習を支援する手話
学習支援装置であって、学習対象の手話単語を指定する
入力情報を取得するための入力手段と、各手話単語の意
味を表す文字情報である意味情報を蓄積している手話辞
書部と、各手話単語に対する手話動作を表す手話画像を
蓄積している手話画像蓄積手段と、アニメーションに使
用する素材を示す素材データと該素材を動作させて各手
話単語の意味を視覚的に表現するためのシナリオとを蓄
積しているアニメデータ蓄積手段と、前記手話辞書部か
ら意味情報を検索する手話検索手段と、前記手話画像蓄
積手段から手話画像を検索する手話画像検索手段と、前
記アニメデータ蓄積手段から素材データおよびシナリオ
を取り出し、該シナリオに基づき該素材データを用いて
アニメーションを生成するアニメ生成手段と、画像およ
び文字を表示する出力手段と、前記入力情報に基づき、
前記学習対象の手話単語の意味情報を前記手話検索手段
により取得し、前記学習対象の手話単語に対応する手話
画像を前記手話画像検索手段により取得し、前記学習対
象の手話単語の意味を視覚的に表現するアニメーション
を背景アニメーションとして前記アニメ生成手段に生成
させ、前記意味情報、前記手話画像および前記背景アニ
メーションを前記出力手段に表示させる制御手段と、を
備えることを特徴とする。このような第２の発明によれ
ば、学習対象の手話単語につき、手話動作を示す画像が
表示され、その意味を示す文字情報が表示されるととも
に、その意味を視覚的に表現するアニメーションが背景
アニメーションとして表示される。これにより、手話単
語の動作の意味等が理解しやすくなり、手話動作を容易
に学習することができる。

【０００８】第３の発明は、第２の発明において、各手
話単語に対する手話動作を説明する文字情報である背景
説明文を蓄積している背景辞書部と、前記背景辞書部か
ら背景説明文を検索する背景検索手段とを更に備え、前
記制御手段は、前記入力情報に基づき、前記学習対象の
手話単語に対応する背景説明文を前記背景検索手段によ
り取得し、該背景説明文をも前記出力手段に表示させる
ことを特徴とする。このような第３の発明によれば、学
習対象の手話単語に対する手話動作を説明する背景説明
文も表示されるため、手話単語の動作の意味等が更に理
解しやすくなり、手話動作を容易に学習することができ
る。

【０００９】第４の発明は、第２または第３の発明にお
いて、前記手話画像検索手段により得られる手話画像と
前記アニメ生成手段により生成されるアニメーションと
を合成して合成画像を生成する背景画像合成手段を更に
備え、前記制御手段は、前記入力情報に基づき、前記背
景アニメーションを、背景画像合成手段により前記学習
対象の手話単語の手話画像と合成した合成画像として前
記出力手段に表示させることを特徴とする。このような
第４の発明によれば、学習対象の手話単語の意味を視覚
的に表現する背景アニメーションが、その手話単語の手
話画像と合成された合成画像として表示されるため、手
話単語に対する手話動作とその手話単語の意味を表現す
る背景アニメーションとの結びつきが分かりやすくな
り、手話動作を更に容易に学習することができる。

【００１０】第５の発明は、第４の発明において、前記
背景画像合成手段による合成は、前記手話画像における
手の部分から前記アニメーションにおいて前記手に対応
する素材の部分へのモーフィング処理を伴うことを特徴
とする。第５の発明によれば、背景アニメーションが学
習対象の手話単語の手話画像と合成される際に、手話画
像における手の部分から背景アニメーションにおいて手
に対応する素材の部分へのモーフィング処理を伴うた
め、手話単語に対する手話動作とその手話単語の意味を
表現する背景アニメーションとの結びつきが更に分かり
やすくなる。

【００１１】第６の発明は、第２または第４の発明にお
いて、各手話単語に対する手話動作の変形を説明する文
字情報である変形説明文を蓄積している手話変形辞書部
と、前記手話変形辞書部から前記変形説明文を検索する
変形検索手段とを更に備え、前記制御手段は、前記入力
情報に基づき、前記学習対象の手話単語に対応する変形
説明文を前記変形検索手段により取得し、該変形説明文
を前記出力手段に表示させることを特徴とする。このよ
うな第６の発明によれば、学習対象の手話単語につき変
形説明文が表示されるため、手話が実際に使用されると
きの手話動作の変形について学習することができる。

【００１２】第７の発明は、第２または第４の発明にお
いて、各種の会話文と各種の会話文における手話動作の
変形を説明する文字情報である個別変形説明文とを手話
単語に対応付けて蓄積している会話辞書部と、前記会話
辞書部から会話文および個別変形説明文を検索する会話
検索手段とを更に備え、前記制御手段は、前記入力情報
に基づき、前記学習対象の手話単語に対応する会話文お
よび個別変形説明文を前記会話検索手段により取得し、
該会話文を該会話文に対する該個別変形説明文と共に前
記出力手段に表示させることを特徴とする。このような
第７の発明によれば、学習対象の手話単語に対応する会
話文と共にその会話文に対する個別変形説明文が表示さ
れるため、実際の使用における変形がより分かり易くな
る。

【００１３】第８の発明は、第７の発明において、前記
会話辞書部に蓄積されている各会話文の意味する内容を
表す画像である会話環境画像を蓄積している環境画像蓄
積手段と、前記環境画像蓄積手段から会話環境画像を検
索する環境画像検索手段とを更に備え、前記制御手段
は、前記出力手段に表示される会話文に対応する会話環
境画像を前記環境画像検索手段により取得し、該会話環
境画像を前記出力手段に表示させることを特徴とする。
このような第８の発明によれば、学習対象の手話単語に
対応する会話文およびその会話文に対する個別変形説明
文と共に、その会話文の意味する内容を表す会話環境画
像が表示されるため、実際の使用における手話動作の変
形が視覚的に理解し易くなる。

【００１４】第９の発明は、第７の発明において、各手
話単語に対する手話動作を前記会話辞書部に蓄積されて
いる各会話文に合わせて変形させた手話動作の画像を変
形手話画像として蓄積している変形手話画像蓄積手段
と、前記変形手話画像蓄積手段から変形手話画像を検索
する変形手話画像検索手段と、前記会話辞書部に蓄積さ
れている各会話文の意味する内容を表す画像における素
材を示す素材データを蓄積している環境素材蓄積手段
と、与えられた会話文に応じて、前記変形手話画像検索
手段により変形手話画像を取得するとともに前記環境素
材蓄積手段から素材データを取得し、取得した前記変形
手話画像に取得した素材データの示す素材を合成した環
境合成画像を生成する環境合成手段とを備え、前記制御
手段は、前記出力手段に表示される会話文に応じた環境
合成画像を前記環境合成手段に生成させ、該環境合成画
像を前記出力手段に表示させることを特徴とする。この
ような第９の発明によれば、学習対象の手話単語に対応
する会話文およびその会話文に対する個別変形説明文と
共に、その会話文に合わせて変形させた変形手話画像に
その会話文の意味する内容を表す画像の素材が合成され
た環境合成画像が表示されるため、手話動作の変形の生
じた理由を容易に理解することができる。

【００１５】第１０の発明は、手話の学習を支援する手
話学習支援プログラムを、コンピュータ装置において実
行されるプログラムとして記録した記録媒体であって、
学習対象の手話単語を指定する入力情報を取得するステ
ップと、前記入力情報に基づき前記学習対象の手話単語
に対する手話動作を表す手話画像を表示するステップ
と、前記入力情報に基づき前記学習対象の手話単語の意
味を視覚的に表現するアニメーションを表示するステッ
プと、を含む動作環境を前記コンピュータ装置上で実現
するための手話学習支援プログラムを記録したことを特
徴とする。

【００１６】第１１の発明は、手話の学習を支援する手
話学習支援プログラムを、コンピュータ装置において実
行されるプログラムとして記録した記録媒体であって、
学習対象の手話単語を指定する入力情報を取得するステ
ップと、各手話単語の意味を表す文字情報である意味情
報を蓄積している手話辞書部から、前記入力情報に基づ
き前記学習対象の手話単語の意味情報を取得するステッ
プと、各手話単語に対する手話動作を表す手話画像を蓄
積している手話画像蓄積手段から、前記入力情報に基づ
き前記学習対象の手話単語に対応する手話画像を取得す
るステップと、アニメーションに使用する素材を示す素
材データと該素材を動作させて各手話単語の意味を視覚
的に表現するためのシナリオとを蓄積しているアニメデ
ータ蓄積手段から、前記入力情報に基づき前記学習対象
の手話単語に対応する素材データおよびシナリオを取り
出し、該シナリオに基づき該素材データを用いて、前記
学習対象の手話単語の意味を視覚的に表現するアニメー
ションを背景アニメーションとして生成するステップ
と、前記学習対象の手話単語の意味情報、前記学習対象
の手話単語の手話画像、および前記背景アニメーション
を表示するステップと、を含む動作環境を前記コンピュ
ータ装置上で実現するための手話学習支援プログラムを
記録したことを特徴とする。

【００１７】第１２の発明は、第１１の発明において、
前記動作環境は、前記学習対象の手話単語に対応する手
話画像と前記背景アニメーションとを合成して合成画像
を生成するステップを更に含み、前記意味情報、前記手
話画像および前記背景アニメーションを表示する前記ス
テップにおいて、前記合成画像を表示することにより前
記背景アニメーションを表示することを特徴とする。

【００１８】第１３の発明は、第１１または第１２の発
明において、前記動作環境は、各手話単語に対する手話
動作の変形を説明する文字情報である変形説明文を蓄積
している手話変形辞書部から、前記入力情報に基づき前
記学習対象の手話単語に対応する変形説明文を取得する
ステップを更に含み、前記意味情報、前記手話画像およ
び前記背景アニメーションを表示する前記ステップにお
いて、前記学習対象の手話単語に対応する変形説明文を
表示することを特徴とする。

【００１９】第１４の発明は、第１１または第１２の発
明において、前記動作環境は、各種の会話文と各種の会
話文における手話動作の変形を説明する文字情報である
個別変形説明文とを手話単語に対応付けて蓄積している
会話辞書部から、前記入力情報に基づき前記学習対象の
手話単語に対応する会話文および個別変形説明文を取得
するステップと、前記学習対象の手話単語に対応する会
話文を該会話文に対する個別変形説明文と共に表示する
ステップと、を更に含むことを特徴とする。

【００２０】第１５の発明は、第１４の発明において、
前記動作環境は、前記会話辞書部に蓄積されている各会
話文の意味する内容を表す画像である会話環境画像を蓄
積している環境画像蓄積手段から、前記個別変形説明文
と共に表示される前記会話文に対応する会話環境画像を
取得するステップと、前記ステップで取得される会話環
境画像を表示するステップと、を更に含むことを特徴と
する。

【００２１】第１６の発明は、第１４の発明において、
前記動作環境は、前記会話辞書部に蓄積されている各会
話文の意味する内容を表す画像における素材を示す素材
データを蓄積している環境素材蓄積手段から、前記個別
変形説明文と共に表示される前記会話文に応じた素材デ
ータを取得するステップと、各手話単語に対する手話動
作を前記会話辞書部に蓄積されている各会話文に合わせ
て変形させた手話動作の画像を変形手話画像として蓄積
している変形手話画像蓄積手段から、前記個別変形説明
文と共に表示される前記会話文に合わせて変形させた変
形手話画像を取得するステップと、取得された前記素材
データの示す素材を取得された前記変形手話画像に合成
した環境合成画像を生成するステップと、前記環境合成
画像を表示するステップと、を更に含むことを特徴とす
る。

【００２２】

【発明の実施の形態】以下、本発明の各実施形態につい
て添付図面を参照して説明する。

【００２３】＜実施形態の手話学習支援装置の構成＞図
１は、本発明の一実施形態である手話学習支援装置の構
成を示すブロック図である。本実施形態の手話学習支援
装置は、入力部１０１と、全体制御部１０２と、手話検
索部１０３と、手話辞書部１０４と、背景検索部１０５
と、背景辞書部１０６と、手話画像検索部１０７と、手
話画像蓄積部１０８と、アニメ生成部１０９と、アニメ
データ蓄積部１１０と、出力部１１１と、背景画像合成
部１１２と、合成情報蓄積部１１３と、変形検索部１１
４と、変形辞書部１１５と、会話検索部１１６と、会話
辞書部１１７と、環境生成部１１８と、環境画像蓄積部
１１９と、環境合成部１２０と、環境素材蓄積部１２１
とを備えている。

【００２４】上記構成の手話学習支援装置では、キーワ
ードや手形状データ等の学習条件が、入力部１０１から
入力されて全体制御部１０２に送られる。全体制御部１
０２は、この入力情報に基づき、各部を制御して学習に
必要なデータを生成し出力部１１１に送る。手話検索部
１０３は、この入力情報に基づき、手話辞書部１０４か
ら手話単語データを抽出する。背景検索部１０５は、こ
の手話単語データに基づき、背景辞書部１０６から背景
データを抽出する。手話画像検索部１０７は、この手話
単語データに基づき、手話画像蓄積部１０８から手話画
像を取り出す。アニメ生成部１０９は、アニメデータ蓄
積部１１０に蓄積されているデータを用いて背景アニメ
ーションを生成する。背景画像合成部１１２は、合成情
報蓄積部１１３に蓄積されている合成情報に基づき、手
話画像と背景アニメーションとの合成画像を生成する。
変形検索部１１４は、手話変形辞書部１１５から変形デ
ータを取り出す。会話検索部１１６は、会話辞書部１１
７から会話データと変形関係データを取り出す。環境生
成部１１８は、環境画像蓄積部１１９から環境画像を取
り出す。環境合成部１２０は、環境素材蓄積部１２１に
蓄積された環境素材データの示す素材を上記環境画像に
合成した環境合成画像を生成する。全体制御部１０２
は、このようにして得られた手話データ、背景データ、
手話画像、背景アニメーション、合成画像、変形デー
タ、会話データ、会話変形対応データ、環境画像および
環境合成画像を出力部１１１に送る。出力部１１１は、
接続されているディスプレイ等の出力装置に、これら手
話データ、背景データ、手話画像、背景アニメーショ
ン、合成画像、変形データ、会話データ、会話変形対応
データ、環境画像、環境合成画像のいずれかもしくは全
てを出力する。

【００２５】入力部１０１、全体制御部１０２、手話検
索部１０３、背景検索部１０５、手話画像検索部１０
７、アニメ生成部１０９、出力部１１１、背景画像合成
部１１２、変形検索部１１４、会話検索部１１６、環境
生成部１１８、環境合成部１２０は、１台もしくは複数
台のコンピュータによって実現可能であって、コンピュ
ータ内のＣＰＵが所定のプログラム（以下「手話学習支
援プログラム」という）を実行することにより、これら
各部の機能を実現することができる。ここで、ＣＰＵが
実行する手話学習支援プログラムは、典型的には、当該
プログラムを記憶した記憶媒体（フレキシブルディス
ク、ＣＤ−ＲＯＭ、ＤＶＤ等）によって提供される。す
なわち、ユーザは、購入した記憶媒体を上記コンピュー
タにセットし、そこに記憶されている手話学習支援プロ
グラムを読み取らせて、そのコンピュータにおけるハー
ドディスク装置等の記憶装置にインストールする。ま
た、通信回線を介してオンラインで伝送されてくる手話
学習支援プログラムを記憶装置にインストールするよう
にしてもよい。さらに、メーカがコンピュータを手話学
習支援装置として出荷する前に、予め記憶装置に手話学
習支援プログラムをインストールしておくようにしても
よい。手話辞書部１０４、背景辞書部１０６、手話画像
蓄積部１０８、アニメデータ蓄積部１１０、手話変形辞
書部１１５、会話辞書部１１７、環境画像蓄積部１１
９、環境素材蓄積部１２１は、コンピュータに接続され
たハードディスク、ＣＤ−ＲＯＭ，ＤＶＤ等の記録装置
によって実現可能である。

【００２６】入力部１０１には、文字情報等を入力する
ための入力装置が接続される。本実施形態では、入力装
置としてキーボードおよびマウスが接続されているもの
とする。出力部１１１には、画像、文字、音声を出力す
るための出力装置が接続可能である。本実施形態では、
出力装置として、ディスプレイが接続されているものと
する。

【００２７】上記のように構成された本実施形態の手話
学習支援装置は、複数の動作モードを有し、入力部１０
１から入力される指示情報に基づき動作モードが選択さ
れ、選択された各動作モードに応じた各種の態様で手話
の学習を支援する。以下、本実施形態の手話学習支援装
置の各動作モードにおける処理について説明する。

【００２８】＜第１の動作モード＞図２は、本実施形態
の手話学習支援装置の第１の動作モードにおける処理を
示すフローチャートである。以下、学習条件としてキー
ワードの「会う」とそれに関連する手形状とを設定して
この手話学習支援装置により学習を行う手順を、図２の
フローチャートにおける各ステップに沿って説明する。

【００２９】（１）ステップＳ００１の処理 入力部１０１に接続されたキーボードおよびマウスを用
いて学習条件を入力情報として入力する（以下、この入
力情報を符号「Ｉinf 」で示すものとする）。このとき
ディスプレイには、学習条件設定画面が表示される。本
実施形態では、入力情報Ｉinf としてキーワードおよび
手形状データを入力する（以下、入力情報Ｉinf として
入力されるキーワードを符号「Ｋwd」で、手形状データ
を符号「Ｈdat 」で表すものとする）。図３に、学習条
件設定画面１８の一例を示す。この学習条件設定画面１
８には、文字入力部３０１と、手形状リスト３０２と、
リセットボタン３０３と、学習開始ボタン３０４とが表
示される。学習条件として、文字入力部３０１と手形状
リスト３０２のうち必要な項目を１項目以上設定する。

【００３０】或る意味や単語等の或るキーワードに関係
する手話を学習したい場合、キーボードから、キーワー
ドの文字列を入力する。入力された文字列は、入力情報
Ｉinf を構成するキーワードＫwdとしてセットされる。
或る手形状の手話を学習したい場合、手形状リスト３０
２から学習したい手形状をマウスを使って選択する。選
択された手形状は、背景が黒で表示され（図では斜線を
付すことにより背景が黒で表示されていることを示して
いる。他の図においても同様。）、選択されていない手
形状は、背景が白で表示される。選択された手形状は、
入力情報 Ｉinfを構成する手形状データＨdat に追加さ
れる。手形状リスト３０２の下部にはスクロールバーが
設けられており、これを使うことにより、手形状リスト
３０２に表示されている手形状を切り替えることができ
る。表示されている手形状のうち背景が白の手形状の上
にカーソルを移動しマウスのボタンを押すことで、学習
したい手形状を選択する。背景が黒の手形状の上にカー
ソルを移動させてマウスのボタンを押すと、背景が白に
変わり、その手形状が、入力情報Ｉinf の手形状データ
Ｈdatから削除される。手形状データＨdatには複数の手
形状を設定することが可能である。

【００３１】設定を最初からやり直す場合は、リセット
ボタン３０３を押す。リセットボタン３０３が押される
と、文字入力部３０１および手形状リスト３０２の内容
が初期化され、入力情報ＩinfのキーワードＫwdおよび
手形状データＨdatの内容がクリアされる。

【００３２】文字入力部３０１および手形状リスト３０
２の設定終了後、学習開始ボタン３０４を押す。学習開
始ボタン３０４が押されると、入力情報Ｉinf が入力部
１０１から全体制御部１０２に送られる。

【００３３】手形状データＨdat は手形状に対応する手
形状番号で表現されており、この手形状番号が全体制御
部１０２に送られる。図４に、手形状に対応する手形状
番号の一例を示す。図４は、１つの手形状に対し１つの
番号を付けているが、手形状をグループに分けて１つの
グループに対して１つの番号を付けることも可能であ
る。図４に含まれない手形状に対しても、同様に手形状
番号を定義する。

【００３４】例えば、「会う」という行動に関係する手
形状番号“６”の手話単語を学習する場合、文字入力部
３０１に「会う」と入力し、手形状リストから手形状番
号“６”の手形状を選択する。設定後、学習開始ボタン
３０４を押すと、キーワードＫwdとして「会う」が、手
形状データＨdatとして“６”が入力情報Ｉinfとしてそ
れぞれセットされ、この入力情報Ｉinf が全体制御部１
０２に送られる。上記のようにして学習条件が設定され
ると、ステップＳ００２に進む。

【００３５】（２）ステップＳＳ００２の処理 手話検索部１０３が、手話辞書部１０４から、入力情報
Ｉinf の内容に基づき学習を行う手話単語の手話単語デ
ータを抽出する。手話辞書部１０４には、手話情報２１
が蓄積されている。図５に、手話辞書部１０４に蓄積さ
れている手話情報２１の一例を示す。この手話情報２１
は、手話番号５０１と手形状情報５０２と意味データ５
０３とキーワード５０４とから成る。手話番号５０１
は、手話辞書部１０４に蓄積されている各手話単語に一
つずつ割り当てられる。手形状は、片手で行う手話の場
合は１つだけ設定されている。両手で行う手話の場合
は、利き腕側の手(以下「強手」という)の手形状、利き
腕と反対側の手（以下「弱手」という）の手形状の順に
設定されている。意味データ５０３としては、手話単語
に対応する日本語の意味が設定されている。複数の意味
を持つ場合は、セパレータ“；”の後にくり返し意味が
設定されている。キーワード５０４としては、手話単語
の分類や関係するキーワード等が設定されている。複数
のキーワードを設定する場合は、意味データ５０３と同
様にセパレータ“；”の後にくり返しキーワードが設定
される。

【００３６】入力情報ＩinfのキーワードＫwdに文字列
が含まれている場合、入力情報ＩinfのキーワードＫwd
と、意味データ５０３として設定されている文字列とを
比較し、手話辞書部１０４の手話情報２１のうち一致す
る文字列を含むデータをキー一致データとして抽出す
る。次に、入力情報Ｉinf のキーワードＫwdと、キーワ
ード５０４に設定されている文字列とを比較し、手話辞
書部１０４の手話情報２１から一致する文字列を含むデ
ータをキー一致データに追加する。

【００３７】入力情報Ｉinf の手形状データＨdatに手
形状が含まれる場合、入力情報Ｉinfの手形状データＨd
at の手形状番号と手形状情報５０２の手形状番号とを
比較し、手話辞書部１０４の手話情報２１のうち一致す
る手形状を含むデータを手形状一致データとして抽出す
る。学習条件として複数の手形状番号が設定されている
場合は、設定されている手形状のうち少なくともいずれ
か一つを含むデータを全て抽出する。

【００３８】抽出したキー一致データと手形状一致デー
タとを比較し、共通に含まれる手話情報を抽出手話単語
データとして全体制御部１０２に返す。

【００３９】例えば、入力情報ＩinfのキーワードＫwd
に「会う」、手形状データＨdatに“６”が設定されて
いる場合について説明する。意味データ５０３に「会
う」と設定されている手話単語として、手話単語＜ａＵ
＞（本実施形態においては、手話単語に対して日本語の
代表的な意味を先頭の文字のみを小文字にしたアルファ
ベットで記述して＜＞で括ったラベルによって表現す
る）のデータがキー一致データとして抽出される。次
に、キーワード５０４に「会う」と設定されている手話
単語として、例えば、＜ｂＡＳＹＯ＞，＜ｅＫＩ＞，＜
ｏＴＯＫＯ＞，＜ｏＮＮＮＡ＞，＜ｈＡＨＡ＞，＜ｃＨ
ＩＣＨＩ＞，＜ｉＫＵ＞のデータがキー一致データに追
加される。

【００４０】次に、手話辞書部１０４の手話情報２１か
ら、手形状情報５０２に“６”が設定されている手話単
語として、例えば、手話ラベルが＜ａＵ＞，＜ｉＫＵ
＞，＜ａＫＡ＞のデータが手形状一致データとして抽出
される。

【００４１】キー一致データの｛＜ａＵ＞，＜ｂＡＳＹ
Ｏ＞，＜ｅＫＩ＞，＜ｏＴＯＫＯ＞，＜ｏＮＮＮＡ＞，
＜ｈＡＨＡ＞，＜ｃＨＩＣＨＩ＞，＜ｉＫＵ＞｝と、手
形状一致データの｛＜ａＵ＞，＜ｉＫＵ＞，＜ａＫＡ
＞｝のうち、＜ａＵ＞，＜ｉＫＵ＞が抽出手話単語デー
タとして全体制御部１０２に送られる。このようにして
手話単語データが抽出されると、ステップＳ００３に進
む。

【００４２】（３）ステップＳ００３の処理 全体制御部１０２が、抽出手話単語データを出力部１１
１に送る。出力部１１１は、出力部１１１に接続されて
いるディスプレイに、抽出手話表示画面２５を表示す
る。図６に、抽出手話表示画面２５の一例を示す。この
抽出手話表示画面２５には、手話情報数６０１と抽出手
話情報リスト６０２と学習開始ボタン６０３と初期画面
復帰ボタン６０４とが表示されている。手話情報数６０
１としては、抽出された手話単語の数が表示される。抽
出手話情報リスト６０２としては、全ての抽出手話単語
データの手話番号と意味データが表示される。

【００４３】抽出手話単語データに含まれるデータ数が
０の場合、学習条件に対応する手話情報が存在しないこ
とを、出力部１１１に接続されたディスプレイに表示す
る。図７に、入力情報Ｉinf に一致するデータがないこ
とを示す条件不一致表示画面の一例を示す。この画面に
は初期画面復帰ボタン７０１が表示されている。初期画
面復帰ボタン７０１が押されるとステップＳ００１に戻
る。

【００４４】手話情報リスト６０２の中から、学習を行
う手話単語の手話情報をマウスによって選択する。選択
された手話情報は、背景が黒に変化し、学習手話単語デ
ータにとしてセットされる。その後、手話情報リスト６
０２における未選択の手話情報を更に選択すると、その
手話情報も、背景が黒に変化し、学習手話単語データに
追加される。学習手話単語データは複数個選択可能であ
る。選択されている手話情報を再度マウスで選択する
と、背景が白に変化し、学習手話単語データから削除さ
れる。

【００４５】学習開始ボタン６０３を押すと、学習手話
単語データの手話番号が学習手話リストにセットされ
る。初期入力画面ボタン６０４を押すと、ステップＳ０
０１に戻る。

【００４６】例えば、図６の抽出手話情報リスト６０２
の｛＜ａＵ＞，＜ｉＫＵ＞｝から、＜ａＵ＞を選択し、
学習開始ボタン６０３を押すと、手話番号“１”が学習
手話リストにセットされた後、ステップＳ００４に進
む。

【００４７】（４）ステップＳ００４の処理 学習手話リストの先頭データの手話番号を学習手話番号
として設定する。例えば、学習手話リストの先頭のデー
タが、＜ａＵ＞の場合、学習手話番号として“１”を設
定する。このようにして学習手話番号が設定されると、
ステップＳ００５に進む。

【００４８】（５）ステップＳ００５の処理 背景検索部１０５が、学習手話番号に基づき背景辞書部
１０６に蓄積された背景情報２９から、表示する手話に
関する背景データを取得する。図８に、背景辞書部１０
６に蓄積されている背景情報２９の一例を示す。この背
景情報２９は、背景番号８０１と手話番号８０２と強手
の対応８０３と弱手の対応８０４と背景説明文８０５と
から成る。背景検索部１０５は、学習手話番号と手話番
号８０２の番号とが一致するデータを背景データとして
セットする。一致するデータが存在しなかった場合、背
景データに含まれる背景番号を０にセットする。

【００４９】例えば学習手話番号が“１”の場合、手話
単語番号８０２が“１”である背景番号“１”のデータ
を背景データとしてセットする。このようにして背景デ
ータが設定されると、ステップＳ００６に進む。

【００５０】（６）ステップＳ００６の処理 手話画像検索部１０７が、学習手話番号に基づき、手話
画像蓄積部１０８に蓄積されている手話画像情報から、
表示する手話単語の手話画像を取得する。手話画像蓄積
部１０８には、手話単語の動作を撮影した画像である手
話画像の画像データ、および、手話単語と手話画像との
対応を示す手話画像テーブル３３が蓄積されている。図
９に、手話画像テーブル３３の一例を示す。この手話画
像テーブル３３は、手話番号９０１と手話画像名９０２
とから成る。上記画像データは、手話画像名９０２の名
前で手話画像蓄積部１０８に保存されている。この保存
の形式は、標準化された画像形式であり、本実施形態で
はＡＶＩフォーマットが採用されている。手話画像検索
部１０７は、手話番号９０１が学習手話番号と一致する
データの手話画像名９０２を手話画像テーブル３３から
取り出して出力手話画像名としてセットする。そして手
話画像蓄積部１０８に蓄積された画像データから出力手
話画像名の画像を取り出し、出力手話画像としてセット
する。

【００５１】例えば学習手話番号が“１”の場合、手話
画像テーブル３３から手話番号９０１が“１”であるデ
ータを検索し、出力手話画像名として“Ｍｅｅｔ．ａｖ
ｉ”をセットする。そして手話画像蓄積部１０８から
“Ｍｅｅｔ．ａｖｉ”の画像を取り出し、出力手話画像
としてセットする。

【００５２】なお、上記では、手話単語の動作を撮影し
た手話画像の画像データが手話画像蓄積部１０８に蓄積
されているが、手話単語の動作を撮影する代わりに、各
手話単語に対する手話画像をコンピュータグラフィック
スにより生成しておき、生成した手話画像の画像データ
を手話画像蓄積部１０８に蓄積するようにしてもよい。
このようにして出力手話画像が設定されると、ステップ
Ｓ００７に進む。

【００５３】（７）ステップＳ００７の処理 アニメ生成部１０９が背景データの背景番号を調べる。
この背景番号が０でない場合、アニメデータ蓄積部１１
０に蓄積されているデータを用いて背景アニメーション
を生成する。アニメデータ蓄積部１１０には、情景画
像、アニメ素材、背景記述シナリオ、および背景画像テ
ーブルが蓄積されている。図１０に、背景画像テーブル
３８の一例を示す。この背景画像テーブル３８は、手話
番号１００１と情景画像名１００２と背景記述シナリオ
名１００３とから成る。情景画像は、情景画像名１００
２の名前でＪＰＥＧ等の画像フォーマットによって蓄積
されている。背景記述シナリオは、背景記述シナリオ名
１００３の名前でテキスト形式で蓄積されている。アニ
メ生成部１０９は、背景画像テーブル３８において、手
話番号１００１が学習手話番号と一致するデータ（以下
「背景画像データ」という）を検索する。

【００５４】背景画像データが存在した場合、背景画像
データの情景画像名１００２の情景画像をアニメデータ
蓄積部１１０から取り出す。次に、背景画像データの背
景記述シナリオ名１００３の背景記述シナリオをアニメ
データ蓄積部１１０から取り出す。背景記述シナリオに
は、各手話単語の意味を視覚的に表現する背景アニメー
ションを作成するために必要なアニメ素材のデータ名と
アニメ素材の動作命令が記述されている。

【００５５】背景記述シナリオの記述フォーマットの一
例について説明する。背景記述シナリオでは、アニメ素
材の動作が“ＳＴＡＲＴ”と“ＥＮＤ”の間に記述され
る（以下、このような動作を記述した行を「動作記述
行」という）。“ＳＴＡＲＴ”の前の行、及び“ＥＮ
Ｄ”の後ろの行は、コメント行として無視される。動作
記述行は、各動作に対して１行で記述され、データ名、
動作命令が記述される。例えば、アニメ素材のデータ名
が「ＭＡＮ」で左に歩く動作を記述する動作記述行は、 ＭＡＮ ＷＡＬＫＴＯＬＥＦＴ ５５０，２４０ ３５
０，２００ と記述される。“ＷＡＬＫＴＯＬＥＦＴ”が左向きに歩
く命令を示し、その後に、開始点と終了点を記述する。
必要な数だけ動作記述行を“ＳＴＡＲＴ”と“ＥＮＤ”
の間に記述する。この記述フォーマットは、一例であ
り、背景アニメーションを作成するためのアニメ素材の
動作について記述できるものであれば、他のフォーマッ
トでもよい。

【００５６】アニメ生成部１０９は、情景画像に、背景
記述シナリオに従って動作させたアニメ素材を合成し、
合成画像を出力背景アニメーションとしてセットする。

【００５７】例えば、学習手話番号が“１”の場合、背
景画像テーブル３８の手話番号１００１が“１”である
データを検索し、情景画像“Ｍｅｅｔ＿Ｂｋ. ｊｐｇ”
をアニメデータ蓄積部１１０から取り出す。次に、背景
記述シナリオ“Ｍｅｅｔ．ｓｃｅ”をアニメーデータ蓄
積部１１０から取り出す。背景記述シナリオ“Ｍｅｅ
ｔ．ｓｃｅ”には、例えば次のように記述されている。 ＳＴＡＲＴ ＭＡＮ ＷＡＬＫＴＯＬＥＦＴ ５５０，２４０ ３５
０，２４０ ＭＡＮ ＷＡＬＫＴＯＲＩＧＨＴ １００，２４０ ３０
０，２４０ ＥＮＤ

【００５８】図１１は、手話単語＜ａＵ＞の出力背景ア
ニメーションの作成手順を示す概略図である。図１１に
おいて、１１０１は情景画像を示し、１１０２はアニメ
素材“ＭＡＮ”を示し、１１０３は作成された、手話単
語＜ａＵ＞の背景アニメーションを示している。図１１
に示す例では、アニメ生成部１０９は、アニメデータ蓄
積部１１０から、情景画像１１０１と、データ名が“Ｍ
ＡＮ”である男性の素材１１０２とを取り出す。そし
て、取り出した情景画像１１０１の中で、（５５０，２
４０）から（３５０，２４０）まで左向きに歩く男性
と、（１００，２４０）から（３００，２４０）まで右
向きに歩く男性を合成した背景アニメーション１１０３
を生成し、これを出力背景アニメーションとしてセット
する。このようにして背景アニメーションの生成・設定
が行われると、ステップＳ００８に進む。

【００５９】（８）ステップＳ００８の処理 出力部１１１が、手話学習情報表示画面４４をディスプ
レイに表示する。図１２に、手話学習情報表示画面４４
の一例を示す。この手話学習情報表示画面４４は、手話
番号表示部１２０１と意味表示部１２０２と背景説明文
表示部１２０３と画像表示部１２０４と動作画像出力ボ
タン１２０５と背景画像出力ボタン１２０６と次単語表
示ボタン１２０７と学習終了ボタン１２０８とを備えて
いる。ただし、学習手話リスト内のデータの数が１つの
場合、次単語表示ボタン１２０７は表示されない。手話
番号表示部１２０１には、学習手話番号が表示される。
意味表示部１２０２には、学習手話番号の手話単語の手
話情報に設定されている意味データの文字列が表示され
る。背景説明文表示部１２０３には、学習手話番号の手
話の背景情報に設定されている背景説明文の文字列が表
示される。

【００６０】例えば学習手話番号が“１”の場合、手話
番号表示部１２０１に“１”、意味表示部１２０２に
「会う、挨拶する。」、背景説明文表示部１２０３に
「人と人が近づいて会った状態を表す。」と表示され
る。このようにして手話学習情報が画面に表示される
と、ステップＳ００９に進む。

【００６１】（９）ステップＳ００９の処理 手話学習情報表示画面４４において押されるボタンの種
類を判定し、その判定結果に応じて次のように動作す
る。動作画像出力ボタン１２０５が押されると、ステッ
プＳ０１０に進む。背景画像出力ボタン１２０６が押さ
れると、ステップＳ０１１に進む。次単語表示ボタン１
２０７が押されると、ステップＳ０１２に進む。学習終
了ボタン１２０８が押されると、全てを初期状態に戻
し、ステップＳ００１に進む。

【００６２】（１０）ステップＳ０１０の処理 全体制御部１０２が、出力手話画像を出力部１１１に送
り、手話学習情報表示画面４４の画像表示部１２０４に
表示する。出力手話画像が最後まで表示されると、ステ
ップＳ００９に進む。

【００６３】例えば学習手話番号が“１”の場合、出力
手話画像としてセットされている画像“Ｍｅｅｔ．ａｖ
ｉ”が画像表示部１２０４に表示される。

【００６４】（１１）ステップＳ０１１の処理 全体制御部１０２が、出力背景アニメーションを出力部
１１１に送り、手話学習情報表示画面４４の画像表示部
１２０４に表示する。出力背景アニメーションが最後ま
で表示されると、ステップＳ００９に進む。

【００６５】例えば学習手話番号が“１”の場合、出力
背景アニメーションにセットされている背景アニメーシ
ョン１１０３が表示される。

【００６６】（１２）ステップＳ０１２の処理 学習手話リストの次のデータの手話番号を次の学習手話
番号として設定する。ただし、現時点の学習手話番号が
学習手話リストの最後のデータに相当する場合は、学習
手話リストの先頭のデータの手話番号を次の学習手話番
号として設定する。このようにして次の学習手話番号が
設定されると、ステップＳ００５に進む。

【００６７】ステップＳ００３で、＜ａＵ＞の他に＜ｉ
ＫＵ＞も選択していた場合、学習手話リストには“１”
に続いて、＜ｉＫＵ＞の手話番号“４”が設定されてい
る。この場合において学習手話番号に手話番号“１”が
設定されているときは、次単語表示ボタン１２０７が押
されると、ステップＳ０１２で学習手話番号に“４”が
設定され、ステップＳ００５に進む。

【００６８】以上説明したステップＳ００１からステッ
プＳ０１２の手順により、手話単語の学習を行うことが
できる。

【００６９】このような本実施形態における第１の動作
モードによれば、手話単語に対する手話動作が背景説明
文により説明されるとともに、手話単語の意味が背景ア
ニメーションにより視覚的に表現されるため、手話単語
の動作の意味等が理解しやすくなり、手話動作を容易に
学習することができる。

【００７０】＜第２の動作モード＞図１３は、本実施形
態の手話学習支援装置の第２の動作モードにおける処理
を示すフローチャートである。第２の動作モードにおけ
る処理は、上記第１の動作モードにおける処理を示すフ
ローチャートのステップＳ００８からステップＳ０１２
の一部の手順を次に説明するステップに置き換えること
で実現される。以下、この第２の動作モードにおける処
理手順について図１３のステップに沿って説明する。

【００７１】第２の動作モードにおいても、まず、第１
の動作モードの場合と同様、上述のステップＳ００１か
らステップＳ００７の手順に沿って処理を行う。そして
ステップＳ００７の終了後、ステップＳ１０１に進む。

【００７２】（１）ステップＳ１０１の処理 背景画像合成部１１２が、合成情報蓄積部１１３に蓄積
されている合成情報から、合成を行う画像に関する合成
データを検索する。図１４に、合成情報６の一例を示
す。この合成情報６は、手話番号１４０１と手話先頭フ
レーム番号１４０２と背景先頭フレーム番号１４０３と
背景終了フレーム番号１４０４とから成る。背景画像合
成部１１２は、手話番号１４０１が学習手話番号と一致
するデータを検索する。そして背景画像合成部１１２
は、検索によって得られた合成データに基づいて合成画
像を生成する。

【００７３】合成画像の生成方法を手話単語<ａＵ>を例
にとって２通り示す。図１５は、手話単語<ａＵ>に関す
る合成画像の合成手順を示す概略図である。図１５にお
いて、１５０１は手話画像を示し、１５０２は背景アニ
メーションの画像（以下「背景アニメ画像」という）を
示し、１５０３は手話先頭フレーム画像を示し、１５０
４は合成中間画像を示し、１５０５は背景先頭フレーム
画像を示し、１５０６はパターン１の方法により生成し
た合成画像（以下「パターン１合成画像」という）を示
し、１５０７はパターン２の方法により生成した合成画
像（以下「パターン２合成画像」という）を示してい
る。

【００７４】まず、パターン１の方法による合成画像の
生成について説明する。背景画像合成部１１２は、合成
情報６の検索によって得られた合成データの手話先頭フ
レーム番号１４０２をＳ０とし、背景先頭フレーム番号
１４０３をＢ０として、手話画像のフレームＳ０の画像
から背景アニメ画像のフレームＢ０の画像へのモーフィ
ング処理により合成画像を生成する。すなわち、まず、
ステップＳ００７で抽出した背景記述シナリオ中の強手
及び弱手に対応するアニメ素材“ＭＡＮ”と手話先頭フ
レーム画像１５０３における手の部分とにモーフィング
処理を行い、手話先頭フレーム画像１５０３から合成中
間画像１５０４までの画像列を生成する。次にステップ
Ｓ００７で抽出した情景画像“Ｍｅｅｔ＿Ｂｋ. ｊｐ
ｇ”と合成中間画像１５０４のアニメ素材“ＭＡＮ”以
外の部分とにモーフィング処理を行い、合成中間画像１
５０４から背景先頭フレーム画像１５０５までの画像列
を生成する。手話先頭画像１５０３から合成中間画像１
５０４までの画像列、合成中間画像１５０４から背景先
頭フレーム画像１５０５までの画像列を、順にパターン
１合成画像１５０６のフレームＩ０からＩｋにセットす
る。モーフィングによる画像のフレーム数はｋ＋１であ
る。背景アニメ画像のフレームＢ０の次のフレームか
ら、合成データの背景終了フレーム番号１４０４の番号
のフレームＢｎまでの画像を、パターン１合成画像１５
０６のフレームＩ(ｋ＋１)以降にセットする。このよう
にして得られるパターン１合成画像１５０６を出力合成
画像としてセットする。

【００７５】次に、パターン２の方法による合成画像の
生成について説明する。まず、手話先頭フレーム画像１
５０３から合成中間画像１５０４までの画像列を上述の
方法で作成する。作成した画像列を、パターン２合成画
像１５０７のフレームＩ０からＩｋにセットする。次
に、手話画像１５０１のフレーム番号“Ｓ０＋１”以降
の画像における手の部分をアニメ素材“ＭＡＮ”に置き
換えた画像を作成し、順にパターン２合成画像１５０７
のフレームＩ（ｋ＋１）以降にセットする。このように
して得られるパターン２合成画像１５０７を出力合成画
像としてセットする。このようなパターン２の方法で出
力合成画像を生成することにより、手話動作における手
のイメージが理解しやすくなる。

【００７６】上記パターン１もしくはパターン２のいず
れかの方法により出力合成画像を生成し、その後にステ
ップＳ００８に進む。

【００７７】ステップＳ００８では、第１の動作モード
の場合と同様、手話学習情報が画面に表示され（図１２
参照）、その後、ステップＳ００９へ進む。

【００７８】ステップＳ００９の処理内容も、第１の動
作モードの場合と同様であって、手話学習情報表示画面
４４におけるいずれのボタンが押されたかに応じて、ス
テップＳ０１０、Ｓ１０２、またはＳ０１２のいずれか
のステップへ進む。ここで、背景画像出力ボタン１２０
６が押された場合、第１の動作モードではステップＳ０
１１へ進むが、第２の動作モードでは、これに代えてス
テップＳ１０２に進む。他の場合に進むステップは第１
の動作モードの場合と同様である。そこで、ステップＳ
１０２についてのみ以下に説明する。

【００７９】（２）ステップＳ１０２の処理 全体制御部１０２が、出力合成画像を出力部１１１に送
り、手話学習情報表示画面４４の画像表示部１２０４に
表示する。出力合成画像が最後まで表示されると、ステ
ップＳ００９に進む。

【００８０】以上の手順により第２の動作モードの処理
が実現され、これにより手話単語の学習を行うことがで
きる。このような第２の動作モードによれば、手話画像
と背景アニメ画像とを合成することにより、手話単語に
対する手話動作とその手話単語の意味を表現する背景ア
ニメーションとの結びつきをより分かりやすくすること
ができ、さらに手話動作を容易に学習することができ
る。

【００８１】＜第３の動作モード＞図１６は、本実施形
態の手話学習支援装置の第３の動作モードにおける処理
を示すフローチャートである。第３の動作モードにおけ
る処理は、上記第２の動作モードにおける処理を示すフ
ローチャートのステップＳ００５とステップＳ００６の
間に次のステップＳ２０１を追加し、ステップＳ００８
をステップＳ２０２に変更することにより、実現され
る。

【００８２】最初に、追加するステップＳ２０１につい
て説明する。 （１）ステップＳ２０１の処理 変形検索部１１４が、手話変形辞書部１１５に蓄積され
た変形情報を検索する。図１７に、変形情報４６の一例
を示す。この変形情報４６は、変形データ番号１７０１
と手話番号１７０２と変形説明文１７０３とから成る。
変形検索部１１４は、変形情報４６から、手話番号１７
０２が学習手話番号と一致するデータを取り出して、学
習変形データとしてセットする。学習手話番号と一致す
る手話番号１７０２が変形情報４６に存在しなかった場
合、学習変形データに含まれる変形データ番号を０にセ
ットする。

【００８３】例えば学習手話番号が“１”の場合、変形
検索部１１４は、手話変形辞書部１１５から、手話番号
１７０２に“１”が設定されているデータを取り出し
て、すなわち、変形データ番号１７０１が“１”のデー
タと変形データ番号１７０１が“２”のデータとを取り
出して、学習変形データとしてセットする。

【００８４】このようにして学習変形データを設定した
後は、ステップＳ００６へ進む。そしてステップＳ００
６、Ｓ００７およびＳ１０１を順に実行するが、これら
のステップの処理内容は第２の動作モードの場合と同様
である。

【００８５】次に、ステップＳ００８と置き換えられる
ステップＳ２０２について説明する。 （２）ステップＳ２０２の処理 出力部１１１が、手話学習情報表示画面４７をディスプ
レイに表示する。図１８に、第３の動作モードにおける
手話学習情報表示画面４７の一例を示す。この手話学習
情報表示画面４７は、手話番号表示部１８０１と意味表
示部１８０２と背景説明文表示部１８０３と変形説明文
表示部１８０４と画像表示部１８０５と動作画像出力ボ
タン１８０６と背景画像出力ボタン１８０７と次単語表
示ボタン１８０８と学習終了ボタン１８０９とを備えて
いる。ただし、学習手話リスト内のデータの数が１つの
場合、次単語表示ボタン１８０８は表示されない。手話
番号表示部１８０１には、学習手話番号が表示される。
意味表示部１８０２には、学習手話番号の手話単語の手
話情報に設定されている意味データの文字列が表示され
る。背景説明文表示部１８０３には、学習手話番号の手
話の背景情報に設定されている背景説明文の文字列が表
示される。変形説明文表示部１８０４には、学習手話番
号の手話の変形情報に設定されている変形説明文の文字
列が表示される。

【００８６】例えば学習手話番号が“１”の場合、手話
番号表示部１８０１に“１”、意味表示部１８０２に
「会う、挨拶する。」、背景説明文表示部１８０３に
「人と人が近づいて会った状態を表す。」、変形説明文
表示部１８０４には、「会う人の場所によって手の位置
が変化する。会う人の性別によって手形状が変化す
る。」と表示される。

【００８７】このようにして手話学習情報が画面に表示
されると、ステップＳ００９に進む。以降の処理は第２
の動作モードの場合と同様である。

【００８８】以上の手順により第３の動作モードの処理
が実現され、これにより手話単語を学習することができ
る。このような第３の動作モードによれば、学習対象の
手話単語につき変形説明文が表示されるため、手話が実
際に使用されるときの手話動作の変形について学習する
ことができる。

【００８９】＜第４の動作モード＞図１９は、本実施形
態の手話学習支援装置の第４の動作モードにおける処理
を示すフローチャートである。第４の動作モードにおけ
る処理では、上記第３の動作モードにおける処理を示す
フローチャートのステップＳ２０１の後にステップＳ３
０１、ステップＳ３０２を追加している。また、ステッ
プＳ２０２をステップＳ３０３に置き換え、ステップＳ
００９をステップＳ３０４に置き換えるとともに、ステ
ップＳ３０５を追加している。

【００９０】以下、これらの追加ステップや置き換えの
ステップについて説明する。 （１）ステップＳ３０１の処理 会話検索部１１６が、会話辞書部１１７から変形関係デ
ータを検索する。会話辞書部１１７には、変形関係情報
が蓄積されている。図２０に、変形関係情報４９の一例
を示す。この変形関係情報４９は、変形関係データ番号
２００１と手話番号２００２と変形データ番号２００３
と会話データ番号２００４と個別変形説明文２００５と
から成る。会話探索部１１６は、変形関係情報４９の手
話番号２００２が学習手話番号と一致するデータを変形
関係データとしてすべて抽出する。そして変形関係デー
タとして抽出された数を変形数としてセットする。

【００９１】例えば学習手話番号が“１”の場合、会話
検索部１１６は、手話番号２００２に“１”が設定され
ているデータを抽出して、すなわち、変形関係データ番
号２００１が“１”のデータと変形関係データ番号２０
０１が“２”のデータとを抽出して変形関係データとし
てセットし、変形数として“２”をセットする。このよ
うにして変形関係データが抽出されると、ステップＳ３
０２に進む。

【００９２】（２）ステップＳ３０２の処理 会話検索部１１６が、会話辞書部１１７から会話データ
を抽出する。会話辞書部１１７には会話情報が蓄積され
ている。図２１に、会話情報５１の一例を示す。この会
話情報５１は、会話データ番号２１０１と会話文２１０
２とから成る。会話文中の単語のうち変形関係情報４９
にデータが存在する単語は＜＞で囲み、最初の括弧＜の
直後に、対応する変形関係情報の変形関係データ番号２
００１を記述する。変形関係データとしてセットされて
いる全ての会話データ番号のデータを学習会話データと
して抽出する。この学習会話データの数を会話数として
セットする。

【００９３】例えば学習手話番号が“１”の場合、変形
関係データの会話データ番号２００４に“１”，“２”
が設定されているため、会話情報５１における会話デー
タ番号２１０１が“１”のデータと“２”のデータとを
学習会話データとしてセットし、会話数として“２”を
セットする。

【００９４】このようにして学習会話データが設定され
ると、ステップＳ００６に進む。以降、第３の動作モー
ドの場合と同様、ステップＳ００６、Ｓ００７、Ｓ１０
１を実行し、その後、ステップＳ３０３を実行する。こ
のステップＳ３０３は、第３の動作モードにおけるステ
ップＳ２０２を置き換えたものである。

【００９５】（３）ステップＳ３０３の処理 出力部１１１が、手話学習情報表示画面４４ｂをディス
プレイに表示する。図２２に、第４の動作モードにおけ
る手話学習情報表示画面４４ｂの一例を示す。手話学習
情報表示画面４４ｂは、手話番号表示部２２０１と意味
表示部２２０２と背景説明文表示部２２０３と変形説明
文表示部２２０４と画像表示部２２０５と動作画像出力
ボタン２２０６と背景画像出力ボタン２２０７と会話例
出力ボタン２２０８と次単語表示ボタン２２０９と学習
終了ボタン２２１０とを備えている。ただし、学習手話
リスト内のデータの数が１つの場合、次単語表示ボタン
２２０９は表示されない。手話番号表示部２２０１に
は、学習手話番号が表示される。意味表示部２２０２に
は、学習手話番号の手話単語の手話情報に設定されてい
る意味データの文字列が表示される。背景説明文表示部
２２０３には、学習手話番号の手話の背景情報に設定さ
れている背景説明文の文字列が表示される。変形説明文
表示部２２０４には、学習手話番号の手話の変形情報に
設定されている変形説明文の文字列が表示される。

【００９６】例えば学習手話番号が“１”の場合、手話
番号表示部２２０１に“１”、意味表示部２２０２に
「会う、挨拶する。」、背景説明文表示部２２０３に
「人と人が近づいて会った状態を表す。」、変形説明文
表示部２２０４には、「会う人の場所によって手の位置
が変化する。会う人の性別によって手形状が変化す
る。」と表示される。

【００９７】このようにして手話学習情報が画面に表示
されると、ステップＳ３０４に進む。このステップＳ３
０４は、第３の動作モードにおけるステップＳ００９を
置き換えたものである。

【００９８】（４）ステップＳ３０４の処理 手話学習情報表示画面４４ｂにおいて押されるボタンの
種類を判定し、その判定結果に応じて次のように動作す
る。動作画像出力ボタン２２０６が押されるとステップ
Ｓ０１０に進む。背景画像出力ボタン２２０７が押され
るとステップＳ１０２に進む。会話例出力ボタン２２０
８が押されるとステップＳ３０５に進む。次単語表示ボ
タン２２０９が押されるとステップＳ０１２に進む。学
習終了ボタン２２１０が押されると全てを初期状態に戻
し、ステップＳ００１に進む。

【００９９】ここで、ステップＳ０１０、Ｓ１０２、Ｓ
０１２の処理内容は、第３の動作モードの場合と同様で
ある。ステップＳ３０５は第４の動作モードで追加され
たステップであるので、このステップの処理を以下に説
明する。

【０１００】（５）ステップＳ３０５の処理 出力部１１１が、会話例表示画面５３をディスプレイに
表示する。図２３に、会話例表示画面５３の一例を示
す。この会話例表示画面５３は、手話番号表示部２３０
１と意味表示部２３０２と会話文表示部２３０３と変形
説明文表示部２３０４と会話例文選択ボタン２３０５と
画面消去ボタン２３０６とを備える。手話番号表示部２
３０１には、学習手話番号が表示される。意味表示部２
３０２には、手話番号表示部２３０１における学習手話
番号の手話単語の意味が表示される。会話例文選択ボタ
ン２３０５により会話例文を選択すると、会話文表示部
２３０３には、選択された会話例文として対応する学習
会話データの会話文が表示される。会話例文選択ボタン
２３０５には、ステップＳ３０２で抽出された学習会話
データの数（会話数）だけボタンが表示され、会話数が
６以上の場合すなわち６個以上の会話例文が存在する場
合は、会話例文選択ボタン２３０５の下端の下向き三角
のボタンを押すと、次の５個の会話例文を選択するボタ
ンが表示される。選択された会話例文は、対応する会話
文において＜＞で囲まれた部分が下線付きで表示され、
下線の下には＜の後ろの数字が丸で囲まれて表示され
る。変形説明文表示部２３０４には、会話文表示部２３
０３に表示された会話例文中の下線付きの部分に対応す
る変形関係データの個別変形説明文２００５の文字列が
表示される。画面消去ボタン２３０６を押すと、会話例
表示画面５３は消去され、ステップＳ３０３に戻る。

【０１０１】例えば学習手話番号が“１”の場合、手話
番号表示部２３０１に“１”、意味表示部２３０２に
「会う、挨拶する。」が表示される。会話例文選択ボタ
ン２３０５で例１を選択すると、会話文表示部２３０３
には、会話データ番号２１０１が“１”の会話文が会話
例文として表示される。この会話例文は、会話データ番
号２１０１が“１”の会話文の中で＜＞で囲まれた「会
う」は下線付きで表示され、＜の後に設定されている番
号１が丸で囲まれて下線の下に表示される。変形説明表
示部２３０４には、丸で囲まれた“１”の表示に続いて
「父を示した位置に依存。」と表示される。

【０１０２】以上の手順により第４の動作モードの処理
が実現され、これにより手話単語を学習することができ
る。このような第４の動作モードによれば、図２３の会
話例表示画面５３に示すように会話文と個別変形説明文
を結び付けて表示することにより、実際の使用における
変形をより分かり易くすることができる。

【０１０３】＜第５の動作モード＞図２４は、本実施形
態の手話学習支援装置の第５の動作モードにおける処理
を示すフローチャートである。第５の動作モードにおけ
る処理では、上記第４の動作モードにおける処理を示す
フローチャートのステップＳ００７の後にステップＳ４
０１が追加されている。まず、このステップＳ４０１に
ついて説明する。

【０１０４】（１）ステップＳ４０１の処理 環境生成部１１８が、環境画像蓄積部１１９から会話環
境画像を取り出す。環境画像蓄積部１１９には環境画像
テーブルと環境画像ファイルが蓄積されている。図２５
に、環境画像テーブル５６の一例を示す。この環境画像
テーブル５６は、会話データ番号２５０１と環境画像フ
ァイル名２５０２とから成る。会話データ番号２５０１
は、会話情報蓄積部１１７に蓄積されている会話データ
番号２１０１と同一である。環境画像ファイルは、ファ
イル名が環境画像ファイル名２５０２の画像ファイルと
して、標準の画像ファイルフォーマットで蓄積されてい
る。本実施形態では、ＡＶＩ形式で蓄積されているもの
とする。画像は、実際の映像でも、コンピュータで作成
した２次元もしくは３次元のコンピュータグラフィック
でもよい。環境生成部１１８は、ステップＳ３０２で抽
出された学習会話データの会話データ番号と一致する会
話データ番号２５０１を環境画像テーブル５６において
検索し、一致する会話データ番号２５０１に対応する環
境画像ファイル名２５０２を環境画像テーブル５６から
得る。そして、その環境画像ファイル名２５０２の環境
画像ファイルを環境画像蓄積部１１９から取り出し、会
話環境画像としてセットする。

【０１０５】例えば学習手話番号が“１”の場合、学習
会話データの会話データ番号“１”，“２”の画像“Ｅ
ＸＰ００１．ａｖｉ”と“ＥＸＰ００２．ａｖｉ”を取
り出し、会話環境画像としてセットする。

【０１０６】このようにして会話環境画像が設定される
と、ステップＳ１０１へ進む。以降、第４の動作モード
の場合と同様、ステップＳ１０１、Ｓ３０３を実行す
る。次のステップＳ３０４の動作も第４の動作モードの
場合と同様であって、図２２の学習情報表示画面４４ｂ
において押されるボタンの種類に応じて各ステップへ分
岐するが、会話例出力ボタン２２０８が押された場合、
第５の動作モードでは、ステップＳ３０５に代えてステ
ップＳ４０２へ進む。以下、ステップＳ４０２以降の処
理について説明する。

【０１０７】（２）ステップＳ４０２の処理 出力部１１１が、会話例表示画面５８をディスプレイに
表示する。図２６に、第５の動作モードにおける会話例
表示画面５８の一例を示す。この会話例表示画面５８
は、手話番号表示部２６０１と意味表示部２６０２と会
話文表示部２６０３と変形説明文表示部２６０４と会話
環境画像表示部２６０５と会話例文選択ボタン２６０６
と会話画像再生ボタン２６０７と画面消去ボタン２６０
８とを備える。手話番号表示部２６０１には、学習手話
番号が表示される。意味表示部２６０２には、学習手話
番号の手話単語の手話情報に設定されている意味データ
の文字列が表示される。

【０１０８】会話例文選択ボタン２６０６により会話例
文を選択すると、会話文表示部２６０３には、選択され
た会話例文として対応する学習会話データの会話文が表
示される。会話例文選択ボタン２６０６には、ステップ
Ｓ３０２で抽出された学習会話データの数（会話数）だ
けボタンが表示され、会話数が６以上の場合すなわち６
個以上の会話例文が存在する場合は、会話例文選択ボタ
ン２６０６の下端の下向き三角のボタンを押すと、次の
５個の会話例文を選択するボタンが表示される。選択さ
れた会話例文は、対応する会話文において＜＞で囲まれ
た部分は下線付きで表示され、下線の下には、＜の後ろ
の数字が丸で囲まれて表示される。変形説明文表示部２
６０４には、会話例文中の下線付きの部分に対応する変
形関係データに設定されている個別変形説明文２００５
の文字列が表示される。

【０１０９】例えば、学習手話番号が“１”の場合、手
話番号表示部２６０１に“１”、意味表示部２６０２に
「会う、挨拶する。」が表示される。会話例文選択ボタ
ン２６０６で例文１を選択すると、会話例文表示部２６
０３には、会話データ番号が“１”の会話文が会話例文
として表示される。この会話例文は、会話データ番号２
１０１が“１”の会話文の中で、＜＞で囲まれた「会
う」は下線付きで表示され、＜の後に設定されている番
号“１”が丸で囲まれて下線の下に表示される。変形説
明表示部２６０４には、丸で囲まれた“１”の表示に続
いて「父を示した位置に依存。」と表示される。このよ
うな会話例表示画面５８が表示されると、ステップＳ４
０３へ進む。

【０１１０】（３）ステップＳ４０３の処理 会話例表示画面５８において押されるボタンの種類を判
定し、その判定結果に応じて次のように動作する。会話
画像再生ボタン２６０７が押されると、ステップＳ４０
４に進む。画面消去ボタン２６０８が押されると、会話
例表示画面５８が消去され、ステップＳ３０３に戻る。

【０１１１】（４）ステップＳ４０４の処理 会話環境画像表示部２６０５に、会話例文選択ボタン２
６０６で選択された会話例文の会話環境画像を表示す
る。例えば、学習手話番号が“１”で、例文１が選択さ
れていた場合、“ＥＸＰ００１．ａｖｉ”の画像が会話
環境画像表示部２６０５に表示される。すなわち、図２
７（ａ）に示す手話画像に対する会話環境画像として、
図２７（ｂ）から（ｄ）へと変化する動画像が表示され
る。この会話環境画像は、会話例文選択ボタン２６０６
で選択された例文１の意味する内容を表すものであっ
て、学習手話番号に対応する手話動作が例文１の会話文
の文脈によってどのように変形するかを説明するために
表示される。「会う」という手話は、通常、前に手を動
かすことで表現されるが、実際の会話内容に応じて手話
動作が変形する。すなわち、会話途中で父を表現したと
すると、その会話の間は、父を表現した位置に父が存在
する状態となり、「父に会いに行く」というときの「会
う」は、手を動かす方向が前ではなく、父を表現した位
置（図２７に示した例では話し手から見て右前）に向け
て動かす。この場合の会話環境画像は、図２７（ｂ）〜
（ｄ）に示すように、手話で父を表した右前の位置に父
が居て、左奥の初期位置に自分が居て、自分が父の居る
右前に歩いて移動することを表す映像となる。なお、図
２７（ｂ）〜（ｄ）に示した会話環境画像では、父の後
方に父の家の周囲の素材が配置されているが、これを省
略してもよい。会話環境画像が最後まで表示されると、
ステップＳ４０２に戻る。

【０１１２】以上の手順により第５の動作モードの処理
が実現され、これにより手話単語の学習を行うことがで
きる。このような第５の動作モードによれば、手話動作
の変形を伴う実際の会話の意味する内容が会話環境画像
として表示されるため、実際の使用における手話動作の
変形を視覚的に理解し易くすることができる。

【０１１３】＜第６の動作モード＞図２８は、本実施形
態の手話学習支援装置の第６の動作モードにおける処理
を示すフローチャートである。第６の動作モードでは、
第５の動作モードにおける処理を示すフローチャートの
ステップＳ４０４をステップＳ５０１およびステップＳ
５０２に置き換える。以下、これらのステップＳ５０１
およびＳ５０２について説明する。

【０１１４】（１）ステップＳ５０１の処理 環境合成部１２０が、環境素材蓄積部１２１から会話環
境合成素材を取り出し、これを手話画像蓄積部１０８か
ら取り出された変形手話画像と合成することにより、会
話環境合成画像を生成する。

【０１１５】環境素材蓄積部１２１には、会話環境テー
ブルと会話環境合成素材が蓄積されている。図２９に、
会話環境テーブル６１の一例を示す。この会話環境テー
ブル６１は、会話環境データ番号２８０１と会話データ
番号２８０２と素材ファイル名２８０３と合成命令２８
０４と合成パラメータ２８０５と合成開始フレーム番号
２８０６と合成終了フレーム番号２８０７とから成る。
会話データ番号２８０２には、素材を合成する会話の会
話番号２５０１（図２５の環境画像テーブル参照）が設
定されている。素材ファイル名２８０３には、素材デー
タを蓄積しているファイル名が設定されている。合成命
令２８０４には、会話環境合成素材を合成する際の会話
環境合成素材の動きを規定する素材合成命令が設定され
ている。合成パラメータ２８０５には、素材合成命令を
実行するために必要なパラメータが設定されている。合
成開始フレーム番号２８０６には、素材の合成の最初の
フレーム番号が設定されている。合成終了フレーム番号
２８０７には、素材の合成を終了するフレーム番号が設
定されている。会話環境画像の最終フレームまで合成す
る場合は、“ＦＦ”と設定する。“ＦＦ”でなくても、
最終フレームまでを明示できれば、他の文字列もしくは
空としてもよい。

【０１１６】手話画像蓄積部１０８には、既述のように
各手話単語に対する手話動作を撮影した手話画像の画像
データが蓄積されている他、これらの手話動作を会話辞
書部１１７に蓄積されている各会話文に応じて変形させ
た手話動作の画像である変形手話画像の画像データが、
各会話文の会話データ番号と対応付けて蓄積されてい
る。この変形手話画像の画像データの形式にもＡＶＩフ
ォーマットが採用されている。

【０１１７】なお、手話画像蓄積部１０８に蓄積する変
形手話画像の画像データは、各手話単語に対する手話動
作を各会話文に合わせて変形させた手話動作を撮影する
ことにより作成される。しかし、変形させた手話動作を
撮影する代わりに、各会話文に応じた変形手話画像をコ
ンピュータグラフィックスにより生成しておき、生成し
た変形手話画像の画像データを手話画像蓄積部１０８に
蓄積するようにしてもよい。

【０１１８】会話環境合成素材は、手話動作の変形を説
明するためのものであって、前記第５の動作モードにお
ける会話環境画像の素材に相当し、図２９に示した会話
環境テーブル６１により会話データと対応づけられてい
る。環境合成部１２０は、会話環境テーブル６１から、
会話データ番号２８０２がステップＳ４０２で選択され
ている会話例文の会話データ番号と一致するデータをす
べて抽出し、会話環境データとしてセットする。そし
て、会話環境データの１データの会話データ番号、素材
ファイル名、合成命令、合成パラメータ、合成開始フレ
ーム番号、合成終了フレーム番号を取り出し、これらの
情報に基づいて会話環境合成画像を生成する。すなわ
ち、まず、その素材ファイル名のファイルを環境合成部
１２０が環境素材蓄積部１２１から抽出するとともに、
その会話データ番号の会話文に応じて変形させた変形手
話画像を手話画像検索部１０７が手話画像蓄積部１０８
から抽出する。そして環境合成部１２０が、その変形手
話画像における合成開始フレーム番号から合成終了フレ
ーム番号までの全フレームの画像に、その合成命令に従
って素材を合成する。このようにして会話環境データの
全ての素材データの示す素材を対応する変形手話画像に
合成することにより、会話環境合成画像を生成する。

【０１１９】学習手話番号が“１”で例文１が選択され
ていた場合の会話環境合成画像の作成例について説明す
る。この場合、会話環境テーブル６１から、会話データ
番号２８０２が“１”のデータを会話環境データとして
全て抽出し、抽出した会話環境データに基づいて会話環
境合成画像を生成する。すなわち、まず、会話環境テー
ブル６１に設定されているファイル名“Ｍａｎ１．ｄａ
ｔ”の素材データを環境素材蓄積部１２１から取り出
す。次に、手話単語＜ａＵ＞の動作を例文１の会話文に
合わせて変形させた変形手話画像を手話画像蓄積部１０
８から取り出す。そして、この変形手話画像における１
０フレームから最終フレームまでの画像中に“Ｍａｎ
１．ｄａｔ”の素材データの示す素材を合成する。この
とき、会話環境データの合成命令として設定された命令
“ＬｉｎｅＭｏｖｅ”に従って合成する。“ＬｉｎｅＭ
ｏｖｅ”は、直線運動命令であり、会話環境データの合
成パラメータに設定された開始位置と終了位置の間を直
線運動させる。図２９の例では、開始位置が（５００，
２４０）、終了位置が（１００，３５０）となっている
ので、１０フレームから最終フレームまでの間に、（５
００、２４０）から（１００、３５０）まで直線運動す
るように、“Ｍａｎ１．ｄａｔ”の示す素材を合成す
る。同様にして、“Ｆａｔｈｅｒ．ｄａｔ”および“Ｈ
ｏｕｓｅ．ｄａｔ”の示す各素材が合成される。このと
き、図２９の例における合成命令の“Ｓｔａｔｉｃ”は
静止命令であり、合成パラメータに設定された位置に素
材を静止させる。したがって、“Ｆａｔｈｅｒ．ｄａ
ｔ”の示す素材は（５０，３５０）の位置に、“Ｈｏｕ
ｓｅ．ｄａｔ”の示す素材は（５０，２５０）の位置
に、１０フレームから最終フレームまで合成される。こ
のようにして会話環境合成画像が生成されると、ステッ
プＳ５０２に進む。

【０１２０】（２）ステップＳ５０２の処理 ステップＳ５０１で生成した会話環境合成画像を、図２
６に示した会話例文表示画面５８の会話環境画像表示部
２６０５に表示する。

【０１２１】例えば、学習手話番号が“１”で例文１が
選択されていた場合、手話単語＜ａＵ＞の動作を例文１
の会話文に合わせて変形させた変形手話画像に、“Ｍａ
ｎ１．ｄａｔ”、“Ｆａｔｈｅｒ．ｄａｔ”および“Ｈ
ｏｕｓｅ．ｄａｔ”の示す各素材を前述の作成例のよう
にして合成した会話環境合成画像が表示される。すなわ
ち、図３０（ａ）に示す手話画像に対する会話環境合成
画像として、図３０（ｂ）から（ｄ）へと変化する動画
像が合成され、この会話環境合成画像が、例文１の会話
文の文脈によって手話動作がどのように変形するかを説
明する画像として表示される。

【０１２２】このような会話環境合成画像の全てのフレ
ームを表示し終えた後、ステップＳ４０２に戻る。

【０１２３】以上の手順により第６の動作モードの処理
が実現され、これにより手話単語の学習を行うことがで
きる。このような第６の動作モードによれば、手話動作
の変形を伴う実際の会話の手話画像中に説明用の素材が
合成されるため、変形の起こった理由をより容易に理解
することができる。

【０１２４】＜変形例＞以上説明した実施形態では、各
種の画像データを所定のフォーマットで予め所定の蓄積
部に蓄積しておき、学習対象の手話単語や選択された会
話例文等に応じて必要な画像データを蓄積部から検索し
抽出していたが、これに代えて、コンピュータグラフィ
ックスにより、学習対象の手話単語や選択された会話例
文等に応じて、所定の画像を生成するようにしてもよ
い。例えば、上記実施形態では、手話単語の動作を撮影
した手話画像やその動作を各会話文に合わせて変形させ
た手話動作の画像である変形手話画像の画像データが手
話画像蓄積部１０８に蓄積されているが、このように画
像データを蓄積する代わりに、コンピュータグラフィッ
クスにより、学習対象の手話単語に応じて手話画像を生
成するとともに、選択された会話例文に応じて変形手話
画像を生成し、生成したこれらの画像を手話学習情報表
示画面４４や会話例表示画面５８に表示するようにして
もよい。

【図面の簡単な説明】

【図１】本発明の一実施形態である手話学習支援装置の
構成を示すブロック図。

【図２】上記実施形態の第１の動作モードにおける処理
を示すフローチャート。

【図３】上記実施形態における学習条件設定画面の一例
を示す図。

【図４】手形状に対応する手形状番号の一例を示す図。

【図５】上記実施形態における手話辞書部に蓄積されて
いる手話情報の一例を示す図。

【図６】上記実施形態における抽出手話表示画面の一例
を示す図。

【図７】上記実施形態において入力情報に一致するデー
タがないことを示す条件不一致表示画面の一例を示す
図。

【図８】上記実施形態における背景辞書部に蓄積されて
いる背景情報の一例を示す図。

【図９】上記実施形態における手話画像テーブルの一例
を示す図。

【図１０】上記実施形態における背景画像テーブルの一
例を示す図。

【図１１】上記実施形態における背景アニメーションの
作成手順の一例を示す概略図。

【図１２】上記実施形態の第１および第２の動作モード
における手話学習情報表示画面の一例を示す図。

【図１３】上記実施形態の第２の動作モードにおける処
理を示すフローチャート。

【図１４】上記実施形態における合成情報蓄積部に蓄積
されている合成情報の一例を示す図。

【図１５】上記実施形態における背景画像合成部による
合成手順の一例を示す概略図。

【図１６】上記実施形態の第３の動作モードにおける処
理を示すフローチャート。

【図１７】上記実施形態における変形情報蓄積部に蓄積
されている変形情報の一例を示す図。

【図１８】上記実施形態の第３の動作モードにおける手
話学習情報表示画面の一例を示す図。

【図１９】上記実施形態の第４の動作モードにおける処
理を示すフローチャート。

【図２０】上記実施形態における会話辞書部に蓄積され
ている変形関係情報の一例を示す図。

【図２１】上記実施形態における会話辞書部に蓄積され
ている会話情報の一例を示す図。

【図２２】上記実施形態の第４の動作モードにおける手
話学習情報表示画面の一例を示す図。

【図２３】上記実施形態の第４の動作モードにおける会
話例表示画面の一例を示す図。

【図２４】上記実施形態の第５の動作モードにおける処
理を示すフローチャート。

【図２５】上記実施形態における環境画像蓄積部に蓄積
されている環境画像テーブルの一例を示す図。

【図２６】上記実施形態の第５の動作モードにおける会
話例表示画面の一例を示す図。

【図２７】上記実施形態の第５の動作モードにおける会
話環境画像の一例を示す図。

【図２８】上記実施形態の第６の動作モードにおける処
理を示すフローチャート。

【図２９】上記実施形態における環境素材蓄積部に蓄積
されている会話環境テーブルの一例を示す図。

【図３０】上記実施形態の第６の動作モードにおける会
話環境合成画像の一例を示す図。

【符号の説明】

１８ …学習条件設定画面 ２１ …手話情報 ２５ …抽出手話表示画面 ２９ …背景情報 ４４，４４ｂ…手話学習情報表示画面 ４６ …変形情報 ４９ …変形関係情報 ５１ …会話情報 ５８，５３ …会話例表示画面 １０１ …入力部 １０２ …全体制御部 １０３ …手話検索部 １０４ …手話辞書部 １０５ …背景検索部 １０６ …背景辞書部 １０７ …手話画像検索部 １０８ …手話画像蓄積部 １０９ …アニメ生成部 １１０ …アニメデータ蓄積部 １１１ …出力部 １１２ …背景画像合成部 １１３ …合成情報蓄積部 １１４ …変形検索部 １１５ …手話変形辞書部 １１６ …会話検索部 １１７ …会話辞書部 １１８ …環境生成部 １１９ …環境画像蓄積部 １２０ …環境合成部 １２１ …環境素材蓄積部 ５０３ …意味データ ８０５ …背景説明文 １１０１ …情景画像 １１０２ …アニメ素材データ １２０２ …意味表示部 １２０３ …背景説明文表示部 １２０４ …画像表示部 １５０１ …手話画像 １５０２ …背景アニメ画像 １７０３ …変形説明文 １８０４ …変形説明文表示部 ２００５ …個別変形説明文 ２３０３ …会話文表示部 ２３０４ …変形説明文表示部 ２６０５ …会話環境画像表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長嶋 祐二 東京都武蔵野市境４丁目16番19号 Ｍ２ハ イツ102 Ｆターム(参考） 2C028 AA12 BA01 BB04 BC01 BD03 CA12

Claims (16)

【特許請求の範囲】
1. 【請求項１】 手話の学習を支援する手話学習支援装置
   であって、 学習対象の手話単語を指定する入力情報を取得するため
   の手段と、 前記入力情報に基づき前記学習対象の手話単語に対する
   手話動作を表す手話画像を表示する手段と、 前記入力情報に基づき前記学習対象の手話単語の意味を
   視覚的に表現するアニメーションを表示する手段と、を
   備えることを特徴とする手話学習支援装置。
2. 【請求項２】 手話の学習を支援する手話学習支援装置
   であって、 学習対象の手話単語を指定する入力情報を取得するため
   の入力手段と、 各手話単語の意味を表す文字情報である意味情報を蓄積
   している手話辞書部と、 各手話単語に対する手話動作を表す手話画像を蓄積して
   いる手話画像蓄積手段と、 アニメーションに使用する素材を示す素材データと該素
   材を動作させて各手話単語の意味を視覚的に表現するた
   めのシナリオとを蓄積しているアニメデータ蓄積手段
   と、 前記手話辞書部から意味情報を検索する手話検索手段
   と、 前記手話画像蓄積手段から手話画像を検索する手話画像
   検索手段と、 前記アニメデータ蓄積手段から素材データおよびシナリ
   オを取り出し、該シナリオに基づき該素材データを用い
   てアニメーションを生成するアニメ生成手段と、 画像および文字を表示する出力手段と、 前記入力情報に基づき、前記学習対象の手話単語の意味
   情報を前記手話検索手段により取得し、前記学習対象の
   手話単語に対応する手話画像を前記手話画像検索手段に
   より取得し、前記学習対象の手話単語の意味を視覚的に
   表現するアニメーションを背景アニメーションとして前
   記アニメ生成手段に生成させ、前記意味情報、前記手話
   画像および前記背景アニメーションを前記出力手段に表
   示させる制御手段と、を備えることを特徴とする手話学
   習支援装置。
3. 【請求項３】 各手話単語に対する手話動作を説明する
   文字情報である背景説明文を蓄積している背景辞書部
   と、 前記背景辞書部から背景説明文を検索する背景検索手段
   とを更に備え、 前記制御手段は、前記入力情報に基づき、前記学習対象
   の手話単語に対応する背景説明文を前記背景検索手段に
   より取得し、該背景説明文をも前記出力手段に表示させ
   ることを特徴とする請求項２に記載の手話学習支援装
   置。
4. 【請求項４】 前記手話画像検索手段により得られる手
   話画像と前記アニメ生成手段により生成されるアニメー
   ションとを合成して合成画像を生成する背景画像合成手
   段を更に備え、 前記制御手段は、前記入力情報に基づき、前記背景アニ
   メーションを、背景画像合成手段により前記学習対象の
   手話単語の手話画像と合成した合成画像として前記出力
   手段に表示させることを特徴とする請求項２または３に
   記載の手話学習支援装置。
5. 【請求項５】 前記背景画像合成手段による合成は、前
   記手話画像における手の部分から前記アニメーションに
   おいて前記手に対応する素材の部分へのモーフィング処
   理を伴うことを特徴とする請求項４に記載の手話学習支
   援装置。
6. 【請求項６】 各手話単語に対する手話動作の変形を説
   明する文字情報である変形説明文を蓄積している手話変
   形辞書部と、 前記手話変形辞書部から前記変形説明文を検索する変形
   検索手段とを更に備え、 前記制御手段は、前記入力情報に基づき、前記学習対象
   の手話単語に対応する変形説明文を前記変形検索手段に
   より取得し、該変形説明文を前記出力手段に表示させる
   ことを特徴とする請求項２または４に記載の手話学習支
   援装置。
7. 【請求項７】 各種の会話文と各種の会話文における手
   話動作の変形を説明する文字情報である個別変形説明文
   とを手話単語に対応付けて蓄積している会話辞書部と、 前記会話辞書部から会話文および個別変形説明文を検索
   する会話検索手段とを更に備え、 前記制御手段は、前記入力情報に基づき、前記学習対象
   の手話単語に対応する会話文および個別変形説明文を前
   記会話検索手段により取得し、該会話文を該会話文に対
   する該個別変形説明文と共に前記出力手段に表示させる
   ことを特徴とする請求項２または４に記載の手話学習支
   援装置。
8. 【請求項８】 前記会話辞書部に蓄積されている各会話
   文の意味する内容を表す画像である会話環境画像を蓄積
   している環境画像蓄積手段と、 前記環境画像蓄積手段から会話環境画像を検索する環境
   画像検索手段とを更に備え、 前記制御手段は、前記出力手段に表示される会話文に対
   応する会話環境画像を前記環境画像検索手段により取得
   し、該会話環境画像を前記出力手段に表示させることを
   特徴とする請求項７に記載の手話学習支援装置。
9. 【請求項９】 各手話単語に対する手話動作を前記会話
   辞書部に蓄積されている各会話文に合わせて変形させた
   手話動作の画像を変形手話画像として蓄積している変形
   手話画像蓄積手段と、 前記変形手話画像蓄積手段から変形手話画像を検索する
   変形手話画像検索手段と、 前記会話辞書部に蓄積されている各会話文の意味する内
   容を表す画像における素材を示す素材データを蓄積して
   いる環境素材蓄積手段と、 与えられた会話文に応じて、前記変形手話画像検索手段
   により変形手話画像を取得するとともに前記環境素材蓄
   積手段から素材データを取得し、取得した前記変形手話
   画像に取得した素材データの示す素材を合成した環境合
   成画像を生成する環境合成手段とを備え、 前記制御手段は、前記出力手段に表示される会話文に応
   じた環境合成画像を前記環境合成手段に生成させ、該環
   境合成画像を前記出力手段に表示させることを特徴とす
   る請求項７に記載の手話学習支援装置。
10. 【請求項１０】 手話の学習を支援する手話学習支援プ
    ログラムを、コンピュータ装置において実行されるプロ
    グラムとして記録した記録媒体であって、 学習対象の手話単語を指定する入力情報を取得するステ
    ップと、 前記入力情報に基づき前記学習対象の手話単語に対する
    手話動作を表す手話画像を表示するステップと、 前記入力情報に基づき前記学習対象の手話単語の意味を
    視覚的に表現するアニメーションを表示するステップ
    と、 を含む動作環境を前記コンピュータ装置上で実現するた
    めの手話学習支援プログラムを記録した記録媒体。
11. 【請求項１１】 手話の学習を支援する手話学習支援プ
    ログラムを、コンピュータ装置において実行されるプロ
    グラムとして記録した記録媒体であって、 学習対象の手話単語を指定する入力情報を取得するステ
    ップと、 各手話単語の意味を表す文字情報である意味情報を蓄積
    している手話辞書部から、前記入力情報に基づき前記学
    習対象の手話単語の意味情報を取得するステップと、 各手話単語に対する手話動作を表す手話画像を蓄積して
    いる手話画像蓄積手段から、前記入力情報に基づき前記
    学習対象の手話単語に対応する手話画像を取得するステ
    ップと、 アニメーションに使用する素材を示す素材データと該素
    材を動作させて各手話単語の意味を視覚的に表現するた
    めのシナリオとを蓄積しているアニメデータ蓄積手段か
    ら、前記入力情報に基づき前記学習対象の手話単語に対
    応する素材データおよびシナリオを取り出し、該シナリ
    オに基づき該素材データを用いて、前記学習対象の手話
    単語の意味を視覚的に表現するアニメーションを背景ア
    ニメーションとして生成するステップと、 前記学習対象の手話単語の意味情報、前記学習対象の手
    話単語の手話画像、および前記背景アニメーションを表
    示するステップと、 を含む動作環境を前記コンピュータ装置上で実現するた
    めの手話学習支援プログラムを記録した記録媒体。
12. 【請求項１２】 前記動作環境は、前記学習対象の手話
    単語に対応する手話画像と前記背景アニメーションとを
    合成して合成画像を生成するステップを更に含み、 前記意味情報、前記手話画像および前記背景アニメーシ
    ョンを表示する前記ステップにおいて、前記合成画像を
    表示することにより前記背景アニメーションを表示する
    ことを特徴とする請求項１１に記載の手話学習支援プロ
    グラムを記録した記録媒体。
13. 【請求項１３】 前記動作環境は、各手話単語に対する
    手話動作の変形を説明する文字情報である変形説明文を
    蓄積している手話変形辞書部から、前記入力情報に基づ
    き前記学習対象の手話単語に対応する変形説明文を取得
    するステップを更に含み、 前記意味情報、前記手話画像および前記背景アニメーシ
    ョンを表示する前記ステップにおいて、前記学習対象の
    手話単語に対応する変形説明文を表示することを特徴と
    する請求項１１または１２に記載の手話学習支援プログ
    ラムを記録した記録媒体。
14. 【請求項１４】 前記動作環境は、 各種の会話文と各種の会話文における手話動作の変形を
    説明する文字情報である個別変形説明文とを手話単語に
    対応付けて蓄積している会話辞書部から、前記入力情報
    に基づき前記学習対象の手話単語に対応する会話文およ
    び個別変形説明文を取得するステップと、 前記学習対象の手話単語に対応する会話文を該会話文に
    対する個別変形説明文と共に表示するステップと、を更
    に含むことを特徴とする請求項１１または１２に記載の
    手話学習支援プログラムを記録した記録媒体。
15. 【請求項１５】 前記動作環境は、 前記会話辞書部に蓄積されている各会話文の意味する内
    容を表す画像である会話環境画像を蓄積している環境画
    像蓄積手段から、前記個別変形説明文と共に表示される
    前記会話文に対応する会話環境画像を取得するステップ
    と、 前記ステップで取得される会話環境画像を表示するステ
    ップと、を更に含むことを特徴とする請求項１４に記載
    の手話学習支援プログラムを記録した記録媒体。
16. 【請求項１６】 前記動作環境は、 前記会話辞書部に蓄積されている各会話文の意味する内
    容を表す画像における素材を示す素材データを蓄積して
    いる環境素材蓄積手段から、前記個別変形説明文と共に
    表示される前記会話文に応じた素材データを取得するス
    テップと、 各手話単語に対する手話動作を前記会話辞書部に蓄積さ
    れている各会話文に合わせて変形させた手話動作の画像
    を変形手話画像として蓄積している変形手話画像蓄積手
    段から、前記個別変形説明文と共に表示される前記会話
    文に合わせて変形させた変形手話画像を取得するステッ
    プと、 取得された前記素材データの示す素材を取得された前記
    変形手話画像に合成した環境合成画像を生成するステッ
    プと、 前記環境合成画像を表示するステップと、を更に含むこ
    とを特徴とする請求項１４に記載の手話学習支援プログ
    ラムを記録した記録媒体。