JP2002361576A

JP2002361576A - ３次元空間内サービス提供システム

Info

Publication number: JP2002361576A
Application number: JP2001169793A
Authority: JP
Inventors: Yujiro Naruse; 雄二郎成瀬
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-06-05
Filing date: 2001-06-05
Publication date: 2002-12-18

Abstract

(57)【要約】【課題】種々の施設内で業務に従事する人や病室内の患
者等に対して、より高度の情報や作業などのサービスを
提供可能なシステムを提供する。【解決手段】３次元空間内サービス提供システムは、人
間１０の身体に装着され人間の生体情報及び音声を検出
する機能を有するウェアラブルシステム１１と、３次元
空間の任意の場所に移動可能に構成された部分を含み、
人間１０の顔情報及び３次元空間内部の情報を検出する
機能を有する３次元空間ロボットシステム１２とを有
し、３次元空間ロボットシステム１２が通信システム１
３を介してウェアラブルシステム１１と通信を行うこと
により、人間１０の意図理解を把握して該人間の求める
情報や作業などのサービスを提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば各種工場、
オフィス及び病院などの施設の３次元空間内で作業者、
職員、患者などの人間に対して種々のサービスを行う３
次元空間内サービス提供システムに関する。

【０００２】

【従来の技術】従来、人間の意図理解を行うことは、ウ
ェアラブルコンピュータや知能ロボットなどを用いるこ
とにより、一定のレベルまでは可能である。例えば、ウ
ェアラブルコンピュータは音声認識、表情認識といった
認知技術によって人間の意図を予測することができる。
知能ロボットは、同様に音声認識及び表情認識によって
人間の意図を探り、その結果に基づいて人間の作業をサ
ポートする支援作業を行うことができる。

【０００３】

【発明が解決しようとする課題】上述のように従来で
は、ウェアラブルコンピュータ、知能ロボットがそれぞ
れ個別に人間の意図理解を行うことは技術的に可能とな
っている。しかし、ウェアラブルコンピュータと知能ロ
ボットの密接な連携動作や、意図理解後の行動予測に基
づく作業、あるいは人間に対する身体的救助活動といっ
たより高度の処理を行う仕組みは未発達である。

【０００４】本発明は、種々の施設内で業務に従事する
人や病室内の患者等に対して、より高度の情報や作業な
どのサービスを提供可能な３次元空間内サービス提供シ
ステムを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の課題を解決するた
め、本発明に係る３次元空間内情報提供システムは、人
間の身体に装着されたウェアラブルシステムと、３次元
空間の任意の場所に移動可能に構成された部分を含む３
次元空間ロボットシステムにより構成される。

【０００６】ウェアラブルシステムは、少なくとも人間
の生体情報及び音声を検出する第１センサ群と、該第１
センサ群からの検出信号を３次元空間ロボットシステム
に送信し、該３次元空間ロボットシステムから送信され
てきた信号を受信する第１送受信装置、及び該第１送受
信装置が送受信する信号を処理する第１コンピュータを
含んで構成される。

【０００７】一方、３次元空間ロボットシステムは、少
なくとも人間の画像情報及び３次元空間内部の情報を検
出する第２センサ群と、該第２センサ群からの検出信号
をウェアラブルシステムに送信し、該ウェアラブルシス
テムから送信されてきた信号を受信する第２送受信装
置、及び該第２送受信装置が送受信する信号を処理する
第２コンピュータを含んで構成される。そして、３次元
空間ロボットシステムがウェアラブルシステムと通信を
行うことにより、人間の意図を理解して該人間の求める
情報及び作業の少なくとも一方を含むサービスを提供す
る。

【０００８】ウェアラブルシステムは、第１センサ群の
一部として人体の腕、手首、掌及び手指の少なくとも一
つの動きと力の入れ具合を求めるための腱センサを有
し、第１コンピュータは該腱センサの出力信号から演算
処理によって腕、手首、掌及び手指の少なくとも一つの
動きと力の入れ具合を求め、第１送受信装置は該動きと
力の入れ具合の情報を３次元空間ロボットシステムへ送
信する。

【０００９】また、この腱センサは人体の腕、手首、掌
及び手指の少なくとも一つである被検出部位の表面上
に、該被検出部位の内部組織に向けて光を照射するよう
に配置された発光波長スペクトルが６００ｎｍ〜１２０
０ｎｍの範囲内にある少なくとも一つの発光素子と、発
光素子から発光され、かつ内部組織で相互作用した後に
被検出部位の表面から出射した光を受光して該受光した
光に応じた出力信号を該腱センサの出力信号として発生
するように被検出部位の表面上に配置される少なくとも
一つの受光素子から構成される。

【００１０】本発明における３次元空間ロボットシステ
ムは、一つの態様によると３次元空間内を浮遊して移動
可能に設けられた空間移動システムと、３次元空間内の
地上を走行可能に設けられた地上走行システムを有し、
地上走行システムが人間の意図理解を把握してサービス
を提供する処理を自身であるいは空間移動システムを介
して行う。空間移動システムは、例えば気球と該気球に
推進力を与える推進装置とから構成される少なくとも一
つの空間移動ロボットを有し、気球に第２センサ群と第
２送受信装置及び第２コンピュータを搭載する。

【００１１】さらに、本発明によると人体の腕、手首、
掌及び手指の少なくとも一つである被検出部位の表面上
に、該被検出部位の内部組織に向けて光を照射するよう
に配置された発光波長スペクトルが６００ｎｍ〜１２０
０ｎｍの範囲内にある少なくとも一つの発光素子と、発
光素子から発光され、かつ内部組織で相互作用した後に
被検出部位の表面から出射した光を受光して該受光した
光に応じた出力信号を発生するように被検出部位の表面
上に配置される少なくとも一つの受光素子と、受光素子
の出力信号から演算処理によって人体の腕、手首、掌及
び手指の少なくとも一つの動きと力の入れ具合を求める
手段とを具備する新規なセンサ装置が提供される。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１に、本発明の一実施形態に係
る３次元空間内サービス提供システムの概念図を示す。
この３次元空間内サービス提供システムは、例えば工場
内で作業に従事する作業者、オフィス内で働く職員、病
院内の患者などの人間１０の身体に装着されたウェアラ
ブルシステム１１と、３次元空間ロボットシステム１
２、及びウェアラブルシステム１１と３次元空間ロボッ
トシステム１２との間の通信を行う無線または有線の、
あるいは無線と有線を併用した通信システム１３から構
成される。

【００１３】ウェアラブルシステム１１は、身体に装着
される物体（例えば、眼鏡、帽子、イヤリング、ネック
レス、ネクタイ、ペンダント、バッチ、ネームプレー
ト、腕時計、上着、ベルト、靴、靴下など）に内蔵され
たセンサ群、コンピュータ、ディスプレイ、及び通信シ
ステム１３の一部を構成する送受信装置を含んで構成さ
れ、これらの各構成要素が相互に自動認識し（wear and
play mode）、複数のコマンドを定義して、３次元空間
ロボットシステム１２との通信による会話を円滑に進め
ることがのできる知能的なウェアラブルシステムであ
る。

【００１４】３次元空間ロボットシステム１２は、人間
１０が居る３次元空間の任意の場所に移動する部分を含
み、人間１０に対して種々の情報の提供や作業の提供と
いったサービスの提供を行うロボットシステムであり、
人間１０の身体に関する情報と周囲環境をモニタリング
するセンサ群、コンピュータ、及び通信システム１３の
他の一部を構成する送受信装置を搭載している。

【００１５】ウェアラブルシステム１１と３次元空間ロ
ボットシステム１２とは、通信システム１３により無線
あるいは有線で通信を行いつつ、協調・連携して動作す
る。従って、ウェアラブルシステム１１や３次元空間ロ
ボット１２に組み込まれている各種のセンサ群からの信
号に基づいて、人間１０が置かれている状況を踏まえて
人間１０の意図理解をコンピュータが行い、その意図理
解に基づいて人間１０の欲する情報や作業の提供をコン
ピュータや３次元ロボットシステム１２が遂行すること
ができる。

【００１６】図２は、図１に概念を示した本実施形態に
係る３次元空間内サービス提供システムのシステム構成
の一例を示している。３次元空間ロボットシステム１２
は、空間移動システム２１と地上走行システム２２及び
基地システム２３から構成される。

【００１７】空間移動システム２１は、例えば気球の浮
力と、気体の噴出を利用した推進装置により３次元空間
内を移動するロボットシステムであり、人間１０の顔を
含む３次元空間内の画像情報や環境情報を取得して、地
上走行システム２２に送信する機能を有する。

【００１８】地上走行システム２２は、車輪を使用して
地上走行を行うロボットシステムであり、本実施形態で
は地上走行システム２２が後述するように情報収集解析
センタとしての役割を果たし、また人間１０に対して、
それ自身が直接にサービスを提供したり、あるいは空間
移動システム１２を介してサービスを提供する。さら
に、地上走行システム２２は空間移動システム２１に対
する移動指令などのコマンドを発行する。

【００１９】基地システム２３は、地上、壁面及び天井
の少なくとも一つに設置されるロボットシステムであ
り、主として空間移動システム２１とドッキングして空
間移動システム２１への充電やガスの補給を行う。ま
た、基地システム２３は壁面や天井面から定点観測や作
業を行うことも可能である。

【００２０】これら３次元空間ロボットシステム１２を
構成する各ロボットシステム２１，２２，２３は、通信
システム１３によりウェアラブルシステム１１との通信
を行うほか、相互間でも通信を行うことができる。通信
システム１３の通信方式は無線でも有線でもよく、両者
を併用した方式でもよい。

【００２１】図３には、ウェアラブルシステム１１のシ
ステム構成を示す。ウェアラブルシステム１１に備えら
れるセンサ群としては、まず人間１０の健康管理を司る
センサである温度センサ（体温計）１０１、血圧センサ
１０２、心拍数センサ１０３及び脳波センサ１０４が設
けられる。次に、ＭＶ(Micro Vibration)センサ１０５
は人体の体表面微細振動を検出するセンサであり、人間
１０の心理状態を把握するために用いられる。腱センサ
１０６は、後に詳述するように人体の手首の屈筋などの
腱の状態を検出するセンサであり、人間１０の手首の動
き（ジェスチャー）や力の入れ具合を検知するために用
いられる。これらのセンサ１０１〜１０６が人間１０に
関して検出する情報を総称して生体情報と呼ぶものとす
る。マイクロフォン（音響センサ）１０７は、人間１０
が音声によりサービス内容の要求などのコマンドを入力
するために設けられている。

【００２２】これらの各センサ１０１〜１０７の出力信
号は、増幅器及びアナログ信号からディジタル信号への
変換を行うＡ／Ｄ変換器を含むセンサインタフェース１
０８を介して、ＣＰＵとメモリ（ＲＡＭ／ＲＯＭ）を含
むコンピュータ１０９に取り込まれる。

【００２３】コンピュータ１０９には、人間１０がコン
ピュータ１０９にコマンドを入力するためのキーボード
のような入力装置１１０と、送受信装置１１１、ディス
プレイ１１３及びスピーカ１１４が接続される。ディス
プレイ１１３は、例えば人間１０の頭部に装着されるヘ
ッドマウントディスプレイであり、スピーカ１１４は人
間１０の耳に装着されるヘッドフォンが用いられる。

【００２４】送受信装置１１１は、アンテナ１１２を介
して例えばBluetooth（ブルートゥース）規格に基づく
無線通信をウェアラブルシステム１１と３次元空間ロボ
ットシステム１２の空間移動システム２１及び基地シス
テム２３との間で行う装置であり、符号化／復号化器、
変／復調器及び増幅器を含んで構成される。

【００２５】例えば、センサインタフェース１０８を介
してコンピュータ１０９に取り込まれたセンサ群１０１
〜１０７からの出力信号や、入力装置１１０からのコマ
ンドは、コンピュータ１０９による制御の下で送受信装
置１１１からアンテナ１１２を介して３次元空間ロボッ
トシステム１２のうちの地上走行システム２２に直接送
信されるか、あるいは空間移動システム２１を経由して
地上走行システム２２に送信される。

【００２６】また、３次元空間ロボットシステム１２の
うちの空間移動システム２１や地上走行システム２２か
らウェアラブルシステム１１に送信されてきた信号は、
アンテナ１１２を介して送受信装置１１１で受信され、
コンピュータ１０９に取り込まれた後、ディスプレイ１
１３やスピーカ１１４に出力される。

【００２７】センサ１０１〜１０７、センサインタフェ
ース１０８、コンピュータ１０９、入力装置１１０、送
受信装置１１１、ディスプレイ１１３及びスピーカ１１
４への電源供給は、２次電池１１５によって行われる。

【００２８】上記構成において、センサインタフェース
１０８、コンピュータ１０９、入力装置１１０及び送受
信装置１１１については、人間１０が履く靴下に実装し
てもよい。例えば、靴下の足の裏の指に対応する部分に
入力装置１１０を構成する小型・薄型キーボード、踵骨
隆起に対応する部分に２次電池１１５（圧力充電型２次
電池）、踵骨隆起と中足骨頭の間にセンサインタフェー
ス１０８とコンピュータ１０９及び送受信装置１１１を
含む集積回路により構成される電子回路モジュールをそ
れぞれ実装することができる。

【００２９】図４は、本実施形態に係る３次元空間内サ
ービス提供システムの実空間でのより具体的な構成を示
している。地上（床）３１Ａ、壁面３１Ｂ及び天井３１
Ｃで形成される３次元空間内に、図２中に示した空間移
動システム２１として気球を利用して３次元空間内を自
由自在に移動する複数（図の例では３つ）の空間移動ロ
ボット２１Ａ，２１Ｂ，２１Ｃが設けられている。地上
走行システム２２は、車輪３１３によって地上３１Ａを
走行するロボットである。また、図２中に示した基地シ
ステム２３として、３つの地上基地システム２３Ａ、壁
面基地システム２３Ｂ及び天井基地システム２３Ｃが設
けられている。以下、図４の各部について詳細に説明す
る。

【００３０】まず、図５〜図７を用いて空間移動システ
ム２１の具体的な構成例について述べる。ここでは、図
４において天井付近を移動している空間移動ロボット２
１Ｃについて説明するが、他の空間移動ロボット２１
Ａ，２１Ｂについても同様の構成である。

【００３１】図５において、断面楕円状の気球２００は
空気よりも軽い元素の気体、例えばＨｅガスあるいは水
素ガスなどが封入されている。この気球２００の下部に
フード２０１が設けられ、このフード２０１内に図６に
も示されるように、小型軽量のモータ２０２と、モータ
２０２によって駆動される推進用の主プロペラ２０３
と、アクチュエータ２０４及びアクチュエータ２０４に
よって駆動される方向蛇２０５が設けられている。ま
た、気球２００の推進方向の前後には図示しないモータ
により駆動される副プロペラ２０６が設けられ、さらに
気球２００の上面には軽量の車輪２０７が取り付けられ
ている。

【００３２】気球２００には、内部圧を調整するための
図示しない圧力調整弁が取り付けられている。この圧力
調整弁による調整によって、気球２００の大きさや形状
を適宜変更することができる。また、本実施形態では主
プロペラ２０３及び副プロペラ２０５によって、３次元
空間内の大気の気流との相互作用によって推進力を得る
ようにしているが、人体に無害に気体を噴出するジェッ
ト推進機を用いてもよい。さらに、空間移動ロボット２
１Ｃを移動させる際に、図示しないバネによって初速を
与える構成とすれば、推進装置のパワーを必要以上に大
きくすることなく、空間移動ロボット２１Ｃを速やかに
所望位置に移動させることができる。

【００３３】図６は、気球２００の本体の一部の断面を
拡大して示している。なお、図６ではフード２０１を省
略して示している。ポリエステルのような絶縁体膜２１
１の図で下側の面に薄膜太陽電池２１２が被着され、こ
の太陽電池２１２の薄膜が気球２００の外皮を構成して
いる。太陽電池２１２上の薄膜上に後述するセンサ群２
１３と上述したモータ２０２、主プロペラ２０３、アク
チュエータ２０４及び方向蛇２０５が配置されている。

【００３４】絶縁体膜２１１の図で上側の面には、気球
２００の内皮を構成する薄膜プリント基板２１８が配置
され、この薄膜プリント基板２１８上に集積回路からな
る電子回路モジュール２１９及び２次電池２２０が設け
られている。電子回路モジュール２１９には、後述する
センサインタフェース、コンピュータ及び送受信装置が
実装されている。電子回路モジュール２１９相互間の配
線及び電子回路モジュール２１９と２次電池２２０との
間の配線は、薄膜プリント基板２１８上の配線層２２１
によって行われる。

【００３５】図７は、空間移動ロボットのシステム構成
を示すブロック図である。まず図６中に示したセンサ群
２１３として、可視イメージセンサ２３１、赤外イメー
ジセンサ２３２、温度センサ２３３、湿度センサ２３
４、音響センサ２３５及び位置センサ２３６が設けられ
ている。可視イメージセンサ２３１は、ビデオカメラで
もよいし、一定時間間隔で撮影を行う電子スチルカメラ
であってもよい。

【００３６】可視イメージセンサ２３１は、主として人
間１０の顔を撮像するためのものであり、例えばＴＶ会
議やＴＶ電話に用いられる。赤外イメージセンサ２３２
は、３次元空間内全体の赤外線画像を撮像するためのも
のであり、例えば火災予知、侵入者検知などの目的で設
けられている。温度センサ２３３と湿度センサ２３４
は、３次元空間内の環境（快適度）をモニタするために
用いられる。音響センサ２３５は、音声入力や環境測定
（騒音の状態把握）に用いられ、また位置センサ２３６
は空間移動ロボットの位置を検出し、その位置制御を行
うために設けられている。

【００３７】各センサ２３１〜２３６の出力信号は、図
３の場合と同様に、増幅器やＡ／Ｄ変換器を含むセンサ
インタフェース２３８を介して、ＣＰＵとメモリ（ＲＡ
Ｍ／ＲＯＭ）を含むコンピュータ２３９に取り込まれ
る。

【００３８】コンピュータ２３９には、気球２００を推
進する推進装置２４０のドライバ回路、すなわち図５及
び図６に示した主プロペラ２０３を駆動するモータ２０
２、方向蛇２０５を駆動するアクチュエータ２０４及び
副プロペラ２０６を駆動する図示しないモータ等のドラ
イバ回路が接続され、さらに送受信装置２４１が接続さ
れる。ドライバ回路は、送受信装置２４１を介して地上
走行システム２２から送信されてくる移動指令信号と位
置センサ２３６からの位置検出信号に基づいてコンピュ
ータ２３９により制御される。これにより推進装置２４
０は、移動指令信号によって指令された３次元空間内の
位置に空間移動ロボットが移動するように動作する。

【００３９】送受信装置２４１は、アンテナ２４２を介
して例えばBluetooth規格に基づく無線通信をウェアラ
ブルシステム１１や、地上走行システム２２及び基地シ
ステム２３との間で行う装置であり、符号化／復号化
器、変／復調器及び増幅器を含んで構成される。

【００４０】例えば、センサインタフェース２３８を介
してコンピュータ２３９に取り込まれたセンサ群２１３
の出力信号のうち、可視イメージセンサ２３１、赤外イ
メージセンサ２３２、温度センサ２３３、湿度センサ２
３４及び音響センサ２３５からの信号は、コンピュータ
２３９による制御の下で送受信装置２４１からアンテナ
２４２を介して地上走行システム２２に送信される。

【００４１】また、ウェアラブルシステム１１や地上走
行システム２２から空間移動システム２１に送信されて
きた信号は、アンテナ２４２を介して送受信装置２４１
で受信され、コンピュータ２３９に取り込まれる。コン
ピュータ２３９は、地上走行システム２２からの移動指
令信号を取り込むと、前述したように移動指令信号と位
置センサ２３６からの位置検出信号に基づいて推進装置
２４０の制御を行う。さらに、コンピュータ２３９はウ
ェアラブルシステム１１から送信されてくる信号につい
ては、単に中継するか適当な処理を施した後、情報収集
解析センタである地上走行システム２２に送受信装置２
４１を介してアンテナ２４２から送信する中継制御を行
う。

【００４２】センサ２３１〜２３６、センサインタフェ
ース２３８、コンピュータ２３９、推進装置２４０のド
ライバ回路及び送受信装置２４１への電源供給は、図６
で説明した太陽電池２１２、あるいは太陽電池２１２か
らのエネルギーにより充電される２次電池２２０によっ
て行われる。

【００４３】次に、図８を用いて空間移動システム２１
を構成する空間移動ロボット２１Ａ，２１Ｂ，２１Ｃの
３次元空間内での動作例を説明する。図８（ａ）は空間
移動ロボット２１Ａが上昇、下降を行い、また地上走行
システム２２によって高さ制御が行われるときの状態を
示している。すなわち、気球２００に充填された気体の
浮力により空間移動ロボット２１Ａが浮遊している状態
で、気球２００の両側部に取り付けられた副プロペラ２
０６を例えば正回転させると、下方に気体が噴射するこ
とにより空間移動ロボット２１Ａは上昇し、副プロペラ
２０６を例えば逆回転させると、上方に気体が噴射する
ことにより空間移動ロボット２１Ａは下降する。この状
態で主プロペラ２０３を正回転または逆回転させると、
空間移動ロボット２１Ａは水平面内を移動し、その水平
面内の移動方向は方向蛇２０５によって制御できる。

【００４４】また、図８（ａ）の下側に示すように、例
えば地上走行システム２２に備えられた巻き上げレンチ
２４を用いて、空間移動ロボット２１Ａに連結されたワ
イヤ２５を巻き取ることにより、気球２００の浮力に抗
して空間移動ロボット２１Ａを引き下げて、その高さ位
置を制御することが可能である。なお、ワイヤ２５に通
信ケーブルを内蔵させ、空間移動ロボット２１Ａと地上
走行システム２２との間の通信を有線通信により行うよ
うにしてもよい。

【００４５】さらに、ここでは空間移動ロボット２１Ａ
の下面に連結されたワイヤ２５を地上走行システム２２
で巻き取るものとしたが、空間移動ロボット２１Ａの上
面にワイヤを連結し、それを天井基地システム２３に備
えられた巻き上げレンチにより巻き取ることで、空間移
動ロボット２１Ａを引き上げることにより、高さ位置を
調整することもできる。勿論、これら両者を併用して空
間移動ロボット２１Ａの高さ位置調整を行うことも有効
である。

【００４６】図８（ｂ）は、空間移動ロボット２１Ｂが
壁面３１Ｂに沿って走行する状態を示している。この場
合、主プロペラ２０３を回転させることによって主たる
推進力を得ると共に、副プロペラ２０５を例えば正回転
させて壁面３１Ｂと反対方向へ気体を噴射させることに
よって、空間移動ロボット２１Ｂは車輪２０７が壁面３
１Ｂに適度な力で押しつけられつつ、方向蛇２０５によ
って制御された方向に壁面３１Ｂに沿って走行する。

【００４７】図８（ｃ）は、空間移動ロボット２１Ｃが
天井３１Ｃに沿って走行する状態を示している。基本的
には図８（ｂ）の場合と同様に、主プロペラ２０３を回
転させることによって主たる推進力を得ると共に、副プ
ロペラ２０５を例えば正回転させて天井３１Ｃと反対方
向へ気体を噴射させることにより、空間移動ロボット２
１Ｃは車輪２０７が天井３１Ｃに適度な力で押しつけら
れつつ、方向蛇２０５によって制御された方向に天井３
１Ｃに沿って走行する。

【００４８】このように図８（ａ）（ｂ）（ｃ）のいず
れの場合も、気球２００の浮力ベクトルと、推進装置２
４０を構成する主プロペラ２０３及び副プロペラ２０５
の回転による２方向の推力ベクトルとの３成分のベクト
ル合成によって、所望の位置及び方向に空間移動ロボッ
ト２１Ａ，２１Ｂ，２１Ｃを移動させることが可能とな
っている。

【００４９】図９は、地上走行システム２２のシステム
構成例を示すブロック図である。センサ群として可視イ
メージセンサ（ビデオカメラでもよい）３０１、地上走
行システム２２自身の地上での位置を検出するための位
置センサ３０２、及び地上走行システム２２の走行時の
加速度を検出するため加速度センサ３０３が設けられて
いる。可視イメージセンサ３０１は、人間１０を撮像し
てそのジェスチャーを入力したり、あるいは侵入者検知
に用いられる。

【００５０】各センサ３０１〜３０３の出力信号は、図
３及び図７の場合と同様に、増幅器やＡ／Ｄ変換器など
を含むセンサインタフェース３０８を介して、ＣＰＵと
メモリ（ＲＡＭ／ＲＯＭ）を含むコンピュータ３０９に
取り込まれる。コンピュータ３０９には、人間がコンピ
ュータ３０９にコマンドを入力するためのキーボードの
ような入力装置３１０、送受信装置３１１、コンピュー
タ３０９の出力結果を出力するディスプレイ、プリンタ
または電子的画像記録機器などからなる出力装置３１
３、車輪３１５を駆動するモータ３１４のドライブ回路
やロボットアーム３１７を駆動するアクチュエータ３１
６のドライブ回路が接続される。ロボットアーム３１７
は、人間１０が希望する種々の作業を行うためのもので
ある。

【００５１】送受信装置３１１は、アンテナ３１２を介
して例えばBluetooth規格に基づく無線通信をウェアラ
ブルシステム１１や空間移動システム２１（空間移動ロ
ボット２１Ａ，２１Ｂ，２１Ｃ）及び基地システム２３
との間で行う装置であり、符号化／復号化器、変／復調
器及び増幅器を含んで構成される。

【００５２】例えば、入力装置３１０により空間移動シ
ステム２１（空間移動ロボット２１Ａ，２１Ｂ，２１
Ｃ）に対する移動指令を入力すると、コンピュータ３０
９による制御の下で送受信装置３１１からアンテナ３１
２を介して移動指令信号が空間移動システム２１に送信
される。また、ウェアラブルシステム１１や空間移動シ
ステム２１から送信されたきた信号はアンテナ３１２を
介して送受信装置３１１により受信され、コンピュータ
３０９に取り込まれる。

【００５３】センサ３０１〜３０３、センサインタフェ
ース３０８、コンピュータ３０９、入力装置３１０、送
受信装置３１１、出力装置３１３及び上記各ドライバ回
路への電源供給は、２次電池３１８によって行われる。

【００５４】上述した地上走行システム２２は、前述し
たように情報収集解析センタとしての役割も有する。具
体的には、例えば可視イメージセンサ３０１で撮像され
た画像のデータや、空間移動ロボット２１Ａ，２１Ｂ，
２１Ｃに搭載された図７中の可視イメージセンサ２１３
によって撮像され、無線通信によって送信されてきた画
像のデータに対してコンピュータ３０９により画像認識
を行ったり、ウェアラブルシステム１０に搭載された図
３中のマイクロフォン１０７や、空間移動ロボット２１
Ａ，２１Ｂ，２１Ｃに搭載された図７中の音響センサ２
３５によって検出され、無線通信によって送信されてき
た音声のデータに対して、コンピュータ３０９によって
音声認識を行う。また、地上走行システム２２は無線通
信ネットワークの管理も行う。

【００５５】さらに、地上走行システム２２においては
可視イメージセンサ３０１及び出力装置３１３に含まれ
るディスプレイを備えているため、地上走行システム２
２を管理している人間と、ウェアラブルシステム１１を
装着している人間１０との間でＴＶ会議やＴＶ電話を行
うことができる。

【００５６】図１０は、基地システム２３（２３Ａ，２
３Ｂ，２３Ｃ）のシステム構成を示すブロック図であ
る。センサ群としては、３次元空間内を監視する可視イ
メージセンサ（ビデオカメラでもよい）４０１と、基地
システム２３への空間移動ロボット２１Ａ，２１Ｂ，２
１Ｃの近接を検知するための近接センサ４０２が設けら
れている。

【００５７】センサ４０１，４０２からの出力信号は図
３、図７及び図９の場合と同様に、増幅器やＡ／Ｄ変換
器などを含むセンサインタフェース４０８を介して、Ｃ
ＰＵとメモリ（ＲＡＭ／ＲＯＭ）を含むコンピュータ４
０９に取り込まれる。コンピュータ４０９には、人間が
コンピュータ４０９にコマンドを入力するためのキーボ
ードその他の入力装置４１０と、送受信装置４１１、ド
ッキング装置４１３、充電器４１４及び圧縮ボンベ４１
５が接続されている。

【００５８】送受信装置４１１は、アンテナ４１２を介
して例えばBluetooth規格に基づく無線通信をウェアラ
ブルシステム１１や、空間移動システム２１（空間移動
ロボット２１Ａ，２１Ｂ，２１Ｃ）及び地上走行システ
ム２２との間で行う。

【００５９】ドッキング装置４１３は、可視イメージセ
ンサ４０１によって監視される３次元空間内で空間移動
ロボット２１Ａ，２１Ｂ，２１Ｃが基地システム２３
Ａ，２３Ｂ，２３Ｃに近接したことが近接センサ４０２
によって検知されたとき、移動ロボット２１Ａ，２１
Ｂ，２１Ｃを図示しないロボットハンド等により捕捉し
てドッキングを行う装置である。

【００６０】充電器４１４は、ドッキング装置４１３に
よって空間移動ロボット２１Ａ，２１Ｂ，２１Ｃが基地
システム２３Ａ，２３Ｂ，２３Ｃとドッキングした状態
で、コンピュータ３０９からの指令に基づいて、空間移
動ロボット２１Ａ，２１Ｂ，２１Ｃ内の図６及び図７中
に示した２次電池２２０に充電を行う。

【００６１】圧縮ボンベ４１５は、例えば圧縮Ｈｅガス
（液化ガス）を充填しており、ドッキング装置４１３に
よって空間移動ロボット２１Ａ，２１Ｂ，２１Ｃが基地
システム２３Ａ，２３Ｂ，２３Ｃとドッキングした状態
で、コンピュータ３０９からの指令に基づき、空間移動
ロボット２１Ａ，２１Ｂ，２１Ｃの図５に示した気球２
００の内部にＨｅガスまたは水素ガスなどの気体の充填
を行う。

【００６２】次に、ウェアラブルシステム１０内の図３
中に示した腱センサ１０６について具体的に説明する。
腱センサ１０６は、例えば発光波長スペクトル帯域が６
００ｎｍ〜１５００ｎｍの近赤外光の範囲内にある発光
素子（例えば近赤外発光ダイオード）と、この発光素子
からの光の散乱光を受光する受光素子（例えばフォトダ
イオード）とから構成され、これら発光素子と受光素子
は手首、腕あるいは足首に配置される。

【００６３】このような構成の腱センサ１０６によっ
て、手首や足首の動き、あるいは手または足の指の動き
や力の入れ具合をリアルタイムで電気信号に変換して取
り出すことができる。この腱センサ１０６の出力信号を
センサインタフェース１０８を介してコンピュータ１０
９に取り込むことにより、送受信装置１１１を介して空
間移動ロボット２１Ａ，２１Ｂ，２１Ｃの移動や、地上
走行システム２２におけるロボットアーム３１５の動き
を遠隔操作することができる。

【００６４】以下、手首と指に適用される腱センサの例
につき、図１１及び図１２を用いて検出原理を説明す
る。腱は通常、腱鞘に包まれており、腱鞘は滑液を含む
滑液鞘を有している。近赤外光に対して、腱は散乱体で
あるが、滑液は光の散乱と吸収の少ない媒体である（文
献１：「解剖学」金原出版、文献２：山本克之他「近赤
外光組織酸素モニタによる筋代謝の測定」計測と制御、
第３９巻第４号、ｐ．２８３、２０００年４月参照）。

【００６５】従って、人体表面から発光素子で近赤外線
を腱に向けて照射すると、光が腱と滑液で相互作用し
て、再び人体表面に戻ってくる。この戻り光（後方散乱
光）の強度は、腕、手首、掌あるいは指の動きに応じて
移動した腱と腱鞘の位置や腱の伸縮具合に依存するの
で、これを受光素子で電気信号に変換することで腱セン
サとして機能することができる。

【００６６】さらに詳細に説明すると、本実施形態にお
ける腱センサ１０６は、人体の腕、手首、掌及び手指の
少なくとも一つである被検出部位の表面上に、該被検出
部位の内部組織（浅指屈筋（腱）、深指屈筋（腱）、手
根屈筋（腱）、総指伸筋（腱）、母指内転筋、虫様筋、
腱鞘、滑液鞘、滑液、外転筋、肘筋、手根屈筋、尺骨、
上腕骨など）に向けて光を照射するように配置された発
光波長スペクトルが６００ｎｍ〜１２００ｎｍの範囲内
にある少なくとも一つの発光素子と、前記発光素子から
発光され、かつ前記内部組織で相互作用（後方散乱、前
方散乱あるいは吸収）した後に前記被検出部位の表面か
ら出射した光を受光して該受光した光に応じた出力信号
をセンサの出力信号として発生するように前記被検出部
位の表面上に配置された少なくとも一つの受光素子とか
ら構成される。

【００６７】この腱センサ１０６からの出力信号に対し
て、この出力信号をセンサインタフェース１０８を介し
て取り込むコンピュータ１０９において演算処理により
人体の腕、手首、掌及び手指の少なくとも一つの動きと
力の入れ具合が求められる。こうして求められた動きと
力の入れ具合の情報は、送受信装置１１１によって空間
移動システム２１や地上走行システム２２、さらには基
地システム２３に送信されることにより、３次元空間ロ
ボットシステム１２が人間１０によって遠隔操作され
る。

【００６８】図１１では、滑液鞘に包まれた前腕から手
掌に至る屈筋の腱を腱に対して垂直の方向から近赤外発
光ダイオード（ＬＥＤ）５０１で照射し、後方散乱光を
複数のフォトダイオード（ＰＤ）５０２で検出する。図
１２では、同様に滑液鞘に包まれた前腕から手掌に至る
屈筋の腱を近赤外発光ダイオード５０１で腱に対して平
行の方向から照射し、後方散乱光をフォトダイオード５
０２で検出する。基本原理としては、いずれの場合も腱
と滑液で構成される光導波路の変形や移動を近赤外光を
用いて検出することであり、この場合、腱鞘の滑液は光
透過媒体、腱は光散乱媒体である。

【００６９】図１１の場合、指の動きにより腱が移動と
伸縮をするので、それに伴って滑液も移動と変形を行
う。発光ダイオード５０１からの光が体表面から腱に垂
直の方向から入射すると、腱と滑液の領域で多重散乱、
透過及び吸収などが起こり、光の一部が様々な光路を経
て複数のフォトダイオード５０２に入射する。このとき
３各フォトダイオードの信号出力をＳ１，Ｓ２，Ｓ３と
し、Ｆを伝達関数とすると、Ｓ１＝Ｆ（薬指の動きと力の入れ具合）Ｓ２＝Ｆ（中指の動きと力の入れ具合）Ｓ３＝Ｆ（人差指の動きと力の入れ具合）となる。

【００７０】従って、Ｆの逆伝達関数ＲＦを実験により
求めておけば、Ｓ１，Ｓ２，Ｓ３から指の動きと力の入
れ具合を再現できる。

【００７１】一方、図１２は浅指屈筋（腱）に平行に光
を入射する場合であり、この場合にはフォトダイオード
５０２からの信号出力Ｓ４は、手首の曲がりと力の入れ
具合で散乱光の強度が変化するので、伝達関数Ｆを用い
てＳ４＝Ｆ（手首の曲がり角度と力の入れ具合）となる。Ｓ４から従って、Ｆの逆伝達関数ＲＦを演算す
ることで、手首の曲がり角度と力の入れ具合を求めるこ
とができる。

【００７２】図１３は、このような原理に基づく筋セン
サ１０６の具体的な実装例を示す図であり、この例では
全体として腕時計型に構成されている。腕時計のバンド
状をなす基体６００に、上述した発光素子である発光ダ
イオード６０１，６０２及び受光素子であるフォトダイ
オード群６０３が実装され、さらに集積回路からなる電
子回路モジュール６０４とアンテナ６０５及び電源とし
ての２次電池６０６が実装されている。

【００７３】電子回路モジュール６０４は、図１４に示
すようにフォトダイオード群６０３の出力信号を多重化
するためのマルチプレクサ６１１、マルチプレクサ６１
１の出力信号によって励振される発信器６１２、発信器
６１２の出力信号を電力増幅してアンテナ６１４に供給
する電力増幅器６１３を含んで構成される。また、発光
ダイオード６０１，６０２を駆動する図示しないＬＤ駆
動回路も電子回路モジュール６０４に含まれる。

【００７４】筋センサ１０６が図３に示したように、図
１及び図２に示した３次元空間情報提供システムにおけ
るウェアラブルシステム１１の一部として用いられる場
合、フォトダイオード群６０３の出力信号を筋センサ１
０６の出力として図３中のセンサインタフェース１０８
に入力すればよいし、アンテナ６０５から送信される電
波を受信する受信機をセンサインタフェース１０８に含
ませてもよい。

【００７５】図１３及び図１４で説明した筋センサ１０
６は、ロボットハンドの制御にも適用が可能である。図
１５は、この場合の受信側の構成を示す図であり、筋セ
ンサ１０６が設置された位置から離れた遠隔地に設置さ
れている。筋センサ１０６のアンテナ６０５から送信さ
れる電波は、アンテナ６２０により受信され、受信器６
２１で増幅及び検波された後、デマルチプレクサ６２３
によってフォトダイオード群６０３のそれぞれの出力信
号に相当する成分が分離される。デマルチプレクサ６２
３の出力信号は、例えばコンピュータを用いて構成され
たデータ処理装置６２４に入力され、このデータ処理装
置６２４の出力によってロボットハンド６２５が制御さ
れる。

【００７６】このような構成により、筋センサ１０６に
よって検出される人間の腕、手首あるいは指の動きに基
づいてロボットハンド６２５を制御することによって、
マニピュレータ装置を実現することが可能となる。

【００７７】従来のマニピュレータ装置の例として、人
体の手首付近に皮膚表面電極を配置して表面筋電信号
（ＥＭＧ：Electromyography）を検出し、この信号に対
して周波数分析とニューラルネットワーク処理を行い、
５本の指の動きに対応する信号に変換してロボットハン
ドを動かした実験例が報告されている（文献３：「筋電
操作ハンドの制御のための皮膚表面筋電信号のニューラ
ルネットワークによる認識」計測自動制御学会論文集Ｖ
ｏｌ．３０，Ｎｏ２，ｐ２１６，１９６４）。

【００７８】この従来例では、指操作に関する複雑な作
用が総和として重畳された表面筋電信号を検出している
ので、その信号に意味を持たせる（指の動きに対応させ
る）ために、複雑な信号処理を行う必要がある。また、
認識率を上げるためにシステムが大規模になり、携帯化
に適さず、また動作速度にも限界がある。

【００７９】これに対し、本実施形態で説明した筋セン
サ１０６では、腕、手首、掌あるいは指の動きや力の入
れ具合を力学的に伝達している人体内部の腱の伸縮と位
置の変動を直接検出しているため、文献３で必要とした
ような複雑な信号処理を必要とすることなく、ロボット
ハンド６２５を制御することが可能となる。

【００８０】次に、本実施形態に係る３次元空間内サー
ビス提供システムの具体的な応用例について説明する。
ここでは、工場、オフィス（事務所）及び病院に適用し
た場合について説明するが、これ以外の用途にも３次元
空間サービス提供システムを適用することができる。

【００８１】（工場の場合）まず、本実施形態の３次元
空間内サービス提供システムを製造工場の生産ライン
や、自動車、航空機、船舶等の整備工場に適用した場合
について説明する。生産ラインに本実施形態の３次元空
間サービス提供システムを適用する場合、生産ラインで
作業する作業者がウェアラブルシステム１１を装着す
る。生産ラインを３次元空間ロボットシステム１２によ
り３次元空間からモニタすることで、作業者の安全・衛
生管理を行い、作業能率向上を図ることができる。ま
た、ウェアラブルシステム１１を介して３次元空間ロボ
ットシステム１２により作業者の疲労状態をモニタする
こともできる。

【００８２】一方、整備工場に本実施形態の３次元空間
サービス提供システムを適用する場合には、作業者が整
備対象をウェアラブルシステム１１のディスプレイ１１
３によって見ながら作業を行うことができる。作業者の
安全・衛生管理や作業能率向上及び作業者の疲労度のモ
ニタに関しては、生産ラインへの応用の場合と同様であ
る。

【００８３】（オフィスの場合）本実施形態の３次元空
間内サービス提供システムを適用する場合、３次元空間
ロボットシステム１２によって職員が業務を遂行してい
る居室の任意の場所からＴＶ会議、ＴＶ電話を行うこと
が可能である。また、ウェアラブルシステム１１を介し
て３次元空間ロボットシステム１２により居室環境モニ
タと心理状態や健康状態のモニタを同時に行うことがで
きるので、例えば職員が一人で残業している場合におい
ても、安全確保と健康管理を行うことができる。さら
に、３次元空間ロボットシステム１１の地上走行システ
ム２２や空間移動システム２１に対してコピー、資料の
検索、お茶のサービスなどを依頼することが可能であ
る。すなわち、この場合には３次元空間サービス提供シ
ステムは有能な秘書として機能する。

【００８４】（病院の場合）本実施形態の３次元空間サ
ービス提供システムを適用すれば、例えば通常のベッド
に患者が寝たままの状態で、患者の生体情報をウェアラ
ブルシステム１１を介して３次元空間ロボットシステム
１２により常時モニタできる。

【００８５】患者が音声で要求すれば、３次元空間ロボ
ットシステム１１の特に空間移動システム２１（空間移
動ロボット２１Ａ，２１Ｂ，２１Ｃ）が天井から患者に
接近して、医者とのＴＶ対話を行うことができる。ま
た、空間移動システム２１と地上走行システム２２は、
協調して介護ロボットとしての機能を果たすことができ
る。さらに、患者の生体情報や表情、動きをウェアラブ
ルシステム１１を介して総合判断し、医師への連絡を必
要に応じて自動的に行うことも可能となる。

【００８６】

【発明の効果】以上説明したように、本発明によれば例
えば各種の工場、オフィス及び病院といった種々の施設
内で業務に従事する人や病室内の患者等に対して、より
高度の情報や作業などのサービスを提供することが可能
な３次元空間内サービス提供システムを提供することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る３次元空間内サービ
ス提供システムの概要を示す図

【図２】同実施形態に係る３次元空間内サービス提供シ
ステムの概略構成を示す図

【図３】同実施形態におけるウェアラブルシステムの具
体的な構成例を示すブロック図

【図４】同実施形態に係る３次元空間内サービス提供シ
ステムのより具体的な構成例を示す図

【図５】同実施形態における空間移動ロボットの構成を
示す図

【図６】同実施形態における空間移動ロボットの実装構
造を示す断面図

【図７】同実施形態における空間移動ロボットの具体的
なシステム構成例を示すブロック図

【図８】同実施形態における空間移動ロボットの種々の
動作例を示す図

【図９】同実施形態における地上走行システムの具体的
な構成例を示すブロック図

【図１０】同実施形態における基地局システムの具体的
な構成例を示すブロック図

【図１１】同実施形態における腱センサ原理説明図

【図１２】同実施形態における腱センサの原理説明図

【図１３】同実施形態における腱センサの実装例を示す
図

【図１４】同実施形態における腱センサをハンドロボッ
トの遠隔制御に用いる場合の送信側のシステム構成例を
ブロック図

【図１５】同実施形態における腱センサをハンドロボッ
トの遠隔制御に用いる場合の受信側のシステム構成例を
ブロック図

【符号の説明】

１１…ウェアラブルシステム１２…３次元空間ロボットシステム１３…通信システム２１…空間移動システム２２…地上走行システム２３…基地システム２４…巻き上げレンチ２５…ワイヤ２１Ａ，２１Ｂ，２１Ｃ…空間移動ロボット２３Ａ…地上基地システム２３Ｂ…壁面基地システム２３Ｃ…天井基地システム１０１〜１０７…センサ群１０９…コンピュータ１１０…入力装置１１１…送受信装置１１２…アンテナ１１３…ディスプレイ１１４…スピーカ２００…気球２０１…フード２０２…プロペラ駆動モータ２０３…主プロペラ２０４…アクチュエータ２０５…方向蛇２０６…副プロペラ２０７…車輪２１１…絶縁体膜２１２…薄膜太陽電池２１３…センサ群２１９…集積回路２２０…薄膜２次電池２３９…コンピュータ２４０…推進装置２４１…送受信装置２４２…アンテナ３０１〜３２３…センサ群３０９…コンピュータ３１０…入力装置３１１…送受信装置３１２…アンテナ３１３…出力装置３１４…モータ３１５…車輪３１６…アクチュエータ３１７…ロボットアーム３１８…２次電池４０１〜４０２…センサ群４０９…コンピュータ４１０…入力装置４１１…送受信装置４１２…アンテナ４１３…ドッキング装置４１４…充電器４１５…圧縮ボンベ５０１…発光素子５０２…受光素子６０１，６０２…発光素子６０３…受光素子６０４…集積回路６０５…アンテナ６０６…２次電池６１１…マルチプレクサ６１２…発信器６１３…電力増幅器６２１…受信器６２３…デマルチプレクサ６２４…データ処理装置６２５…ロボットハンド

Claims

【特許請求の範囲】

【請求項１】人間の身体に装着されたウェアラブルシス
テムと、３次元空間の任意の場所に移動可能に構成され
た部分を含む３次元空間ロボットシステムとを具備し、前記ウェアラブルシステムは、少なくとも前記人間の生
体情報及び音声を検出する第１センサ群と、該第１セン
サ群からの検出信号を前記３次元空間ロボットシステム
に送信し、該３次元空間ロボットシステムから送信され
てきた信号を受信する第１送受信装置、及び該第１送受
信装置が送受信する信号を処理する第１コンピュータを
含み、前記３次元空間ロボットシステムは、少なくとも前記人
間の画像情報及び３次元空間内部の情報を検出する第２
センサ群と、該第２センサ群からの検出信号を前記ウェ
アラブルシステムに送信し、該ウェアラブルシステムか
ら送信されてきた信号を受信する第２送受信装置、及び
該第２送受信装置が送受信する信号を処理する第２コン
ピュータを含み、前記３次元空間ロボットシステムが前記ウェアラブルシ
ステムと通信を行うことにより、前記人間の意図を理解
して該人間の求める情報及び作業の少なくとも一方を含
むサービスを提供することを特徴とする３次元空間内サ
ービス提供システム。
【請求項２】前記ウェアラブルシステムは、前記第１セ
ンサ群の一部として人体の腕、手首、掌及び手指の少な
くとも一つの動きと力の入れ具合を求めるための腱セン
サを有し、前記第１コンピュータは該腱センサの出力信
号から演算処理によって前記腕、手首、掌及び手指の少
なくとも一つの動きと力の入れ具合を求め、前記第１送
受信装置は該動きと力の入れ具合の情報を前記３次元空
間ロボットシステムへ送信することを特徴とする請求項
１記載の３次元空間内サービス提供システム。
【請求項３】前記腱センサは、人体の腕、手首、掌及び
手指の少なくとも一つである被検出部位の表面上に、該
被検出部位の内部組織に向けて光を照射するように配置
された発光波長スペクトルが６００ｎｍ〜１２００ｎｍ
の範囲内にある少なくとも一つの発光素子と、前記発光
素子から発光され、かつ前記内部組織で相互作用した後
に前記被検出部位の表面から出射した光を受光して該受
光した光に応じた出力信号を該腱センサの出力信号とし
て発生するように前記被検出部位の表面上に配置される
少なくとも一つの受光素子とを有することを特徴とする
請求項２記載の３次元空間内サービス提供システム。
【請求項４】前記３次元空間ロボットシステムは、前記
３次元空間内を浮遊して移動可能に設けられた空間移動
システムと、前記３次元空間内の地上を走行可能に設け
られた地上走行システムを有し、前記地上走行システムが前記人間の意図理解を把握して
前記サービスを提供する処理を自身であるいは前記空間
移動システムを介して行うことを特徴とする請求項１記
載の３次元空間内サービス提供システム。
【請求項５】前記空間移動システムは、気球と該気球に
推進力を与える推進装置とから構成される少なくとも一
つの空間移動ロボットを有し、前記気球に前記第２セン
サ群と第２送受信装置及び第２コンピュータを搭載して
いることを特徴とする請求項４記載の３次元空間内サー
ビス提供システム。
【請求項６】人体の腕、手首、掌及び手指の少なくとも
一つである被検出部位の表面上に、該被検出部位の内部
組織に向けて光を照射するように配置された発光波長ス
ペクトルが６００ｎｍ〜１２００ｎｍの範囲内にある少
なくとも一つの発光素子と、前記発光素子から発光され、かつ前記内部組織で相互作
用した後に前記被検出部位の表面から出射した光を受光
して該受光した光に応じた出力信号を発生するように前
記被検出部位の表面上に配置される少なくとも一つの受
光素子と、前記受光素子の出力信号から演算処理によって人体の
腕、手首、掌及び手指の少なくとも一つの動きと力の入
れ具合を求める手段とを具備するセンサ装置。