WO2004106009A1

WO2004106009A1 - 物品操作システムおよび方法、並びに物品管理システムおよび方法

Info

Publication number: WO2004106009A1
Application number: PCT/JP2004/008019
Authority: WO
Inventors: Shusaku Okamoto; Osamu Yamada; Tomonobu Naruoka; Yoshihiko Matsukawa; Satoshi Sato
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-02
Filing date: 2004-06-02
Publication date: 2004-12-09
Anticipated expiration: 2005-12-02
Also published as: US7209803B2; US7187999B2; US20060111812A1; US7206668B2; JPWO2004106009A1; US20060184279A1; US20060112034A1; US7187998B2; US20060111811A1; US20060116973A1; US7191035B2

Abstract

カメラなどのセンシング手段（１）は、家庭などの生活空間における物品や、人を含む移動体の状況をセンシングする。物品管理・操作サーバ（２）はセンシング手段（１）の情報から、各物品について、現在位置、操作者などを含む属性情報を物品データベース（３）に管理する。そしてサーバ（２）は、操作手段（４）から入力されたユーザの指示を受け、この指示を、物品データベース（３）を参照して制御コマンドに変換し、生活支援ロボット（５）に送信する。

Description

明細書物品操作システムおよび方法、並びに物品管理システムおよび方法技術分野

本発明は、生活空間、すなわち一般家庭、オフィス、ホテル、店舗および病院等の、人間が生活を営む空間において、物品の管理や操作を支援する技術に属する o 背景技術

従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボヅトが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持 ·運搬や、自動化された倉庫での在庫品の運搬 ·管理等にロボヅトが利用されており、その例を挙げるときりがない。

こうした産業用のロボットは、扱う物品の形状，大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献 1には、物品の荷積み.荷降ろし作業を行うロボヅトシステムが開示されている。

(特許文献 1 ) 特開平 7— 2 3 7 1 5 9号公報

(特許文献 2 ) 特開 2 0 0 0— 2 3 8 9 0 6号公報

(特許文献 3 ) 特開 2 0 0 0 - 1 2 7 0 7 0号公報解決課題

今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボッ卜の研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すェン夕ティメント用ロボヅ卜や、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボッ卜が実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。

さて、我々の日常生活を振り返ってみると、現代人は、まさに、物に振り回されながら生活している、と言える。例えば家庭内においては、ゴミ捨て、食器運び、子供のおもちやの片付け、洗濯物の取り込みや片付けなど、物品の移動に明け暮れている。あるいは、宅配荷物や郵便物の受け取り、発送など、物品を人から受け取ったり、渡したりする、といった仕事も多い。

また、家電製品のリモコン、鍵、携帯電話や時計などをどこに置いたか忘れてしまうこともよくあり、その場合には、家中を探し回る羽目になる。さらに、キヤンプなどのレジャーに使う物や、冠婚葬祭に必要な物などを、昔どこにしまつたのか忘れてしまい、いざというときに間に合わなくて困ることもある。

このような、物品に関する煩雑な仕事、物品操作や物品管理を支援できる仕組みができたら、人間の生活は、より便利に、より快適になるものと考えられる。そしてこのような仕組みは、家庭以外であっても、例えば、レストランの閉店後の椅子やテーブルの片付け、ホテルの清掃やべヅドメイキング、スーパ一マ一ケヅトゃコンビニの商品整理などにも、適用できる。

ただし、上述のような産業用技術をそのまま、家庭等の生活空間に適用することは困難である。なぜなら、工場や倉庫等の産業上の作業現場と、家庭やオフィス等の生活空間とでは、物品について、大きな相違があるからである。

その 1つとしてまず、産業用途では物品の置き場所に規則性があり、その位置も例えばベル卜コンベア上というように限定されているのに対して、生活空間では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する点が挙げられる。例えば食器の皿を例にとると、普段は食器棚の中に重ねて置かれており、調理中には台所に置かれ、食事の際にはテーブルの上に並べられる。そして、食事の後は、流しに置かれたり、食器洗浄機に入れられたりして、洗浄後は再び食器棚に戻される。

また、産業用途では物品の種類や形状が予め予定されており、形状等の統一を図ることが比較的容易であるのに対し、家庭やオフィス等では、取り扱われる物品の種類や形状が多岐に渡っている。

したがって、ロボットを生活空間に適用させるためには、ロボット技術の進歩自体も不可欠であるが、それとともに、生活空間における各物品の、現在位置などの属性情報を、リアルタイムで管理できるような仕組みが必要になる。

また、ロボットによる物品操作を行わなくても、生活空間における各物品の属性情報をリアルタイムで管理できる仕組みを用いて、ユーザに、物品の現在位置などの情報を提供するだけでも、人間の生活の利便性は大きく向上する。発明の開示

本発明は、生活空間において、物品を管理したり操作したりする作業を支援するシステムを提供することを課題とする。

具体的には、本発明は、所定の生活空間における物品および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品デ一夕べ一スを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボヅトに送信するものである。

この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置を含む属性情報が物品デ一夕べ一スに管理される。そしてサーバは、操作手段から入力されたユーザの指示を受け、この指示を、物品データべ一スを参照して制御コマンドに変換し、ロボヅトに送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、ロボヅトは、的確な動作を実行することができ、したがって、人間の物品操作作業を支援することがでぎる。

また、本発明は、所定の生活空間における物品、および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データペースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するものである。

この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置および移動体による操作履歴を含む属性情報が物品データベースに管理される。そしてサーバは、操作手段から入力されたユーザの問合せを受け、この問合せに応、じて、物品データペースを参照してユーザに提供するための倩報を生成し、操作手段に送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、物品の現在位置や操作履歴から的確な情報が提供ができ、したがって、人間の物品管理作業を支援することができる。図面の簡単な説明

図 1は本発明を概念的に示す図である。

図 2は本発明の第 1の実施形態に係る物品操作システムまたは物品管理システムの全体構成の一例を示すブロック図である。

図 3は背景差分法の原理を示す説明図である。

図 4は物品移動体検索 ·管理手段の構成の一例を示すプロック図である。図 5はゲ一ト型リ一ダライ夕をドアや窓に配置した例を示す図である。

図 6は物品/移動体データベースのうち物品デ一夕ベースの構成と記載内容例を示す図である。

図 7は物品 Z移動体デ一夕ベースのうち移動体データベースの構成と記載内容例を示す図である。

図 8は持出 ·持込デ一夕ベースの構成と記載内容例を示す図である。

図 9は環境内で物品が移動する一例を説明する説明図である。

図 1 0は環境マップの例を示す図である。

図 1 1は環境マップに付随する設備デ一夕ベースの構成と記載内容例を示す図である。

図 1 2は作業ロボットの構成の一例を示す概略図である。

図 1 3は作業ロボヅ卜の制御手段の動作を示すフローチャートである。

図 1 4は仮想空間操作モードで表示された操作画面の一例を示す図である。図 1 5は画像データと、画面マスクデ一夕とからなる操作画面の構成を示す図である。

図 1 6は環境内に設定された実世界座標系と仮想視点座標系との関係を示す図である。

図 1 7は操作画面上で、ロボッ卜に実行させる物品の移動作業を指定する手順を示す図である。 .

図 1 8は図 1 7とは異なる物品の移動作業を指定する手順を示す図である。図 1 9は操作画面における物品アイコンの表示形態の例を示す図である。図 2 0は第 3の実施形態に係る物品移動システムの全体構成の一例を示すプロヅク図である。

図 2 1は仮想空間操作モードで表示される操作画面の一例を示す図である。図 2 2は場所アイコン操作モードで表示される操作画面の一例を示す図である ο

図 2 3は場所アイコン操作モードの操作画面上で、ロボヅトに実行させる物品の移動作業を指定する手順を示す図である。

図 2 4は環境内でロボットが指定された移動作業を実行する様子を示す図である。

図 2 5は図 2 3とは異なる形態の場所アイコン操作モードで表示される操作画面の一例を示す図である。

図 2 6は作用アイコン操作モードで表示される操作画面の一例を示す図である ο

図 2 7は作用/場所変換テーブルの一例を示す図である。

図 2 8は条件分岐を含めた作用/場所変換テーブルの一例を示す図である。図 2 9は第 4の実施形態に係る物品管理システムの構成図である。

図 3 0は物品移動体検索 ·管理手段の基本構成を概念的に示すプロヅク図である。

図 3 1は物品移動体デ一夕ベースのデ一夕構造の説明図である。

図 3 2は物品の形状及び姿勢を説明するための図であり、（a) は本来の物品の形状を示し、（b ) はモデル化された物品の形状を示し、（c ) は実世界に置かれた状況下でのモデル化物品の形状を示す。

図 3 3は実世界の座標と物品座標との関係を示す図である。

図 3 4は環境マップを説明するための図であり、（a) は実際の状況を表し、 ( b ) は（a) の立体モデルを表し、（c ) は（a ) の平面モデルを表している図 3 5は環境マップのデ一夕構造を説明するための図である。

図 3 6は作業ロボヅトの斜視図である。

図 3 7は本棚に本を収納する動作を説明するための図である。

図 3 8は設置位置に他の物品が存在する場合の設置位置の修正を説明するための図であり、（a ) は設置物品の斜視図、（b ) は設置位置を修正する前の物品の平面図、（c ) は設置位置を修正した後の物品の平面図である。

図 3 9はメッセ一ジ書式の一例を示す図である。

図 4 0は A C K及び NA C Kメヅセージ書式の一例を示す図である。

図 4 1は制御手段におけるメッセージのやりとりを説明するための共通の処理構成図である。

図 4 2は制御手段におけるメヅセージハンドラの動作を示すフローチャートでめる。

図 4 3は操作端末の制御手段における処理構成図である。図 4 4は操作端末で物品を操作する一例を示した表示画面図である。

図 4 5は操作端末の操作メッセージ生成部で生成されるメヅセージの一例を示す図である。

図 4 6は操作端末の制御手段におけるメヅセージ処理部の動作を示すフローチャ一トである。

図 4 7は作業ロボットに作業単位を送るときのメッセージの一例を示す図である o

図 4 8は作業ロボヅトの制御手段における処理構成図である。

図 4 9は作業ロボヅトに対するメッセージの一例を示す図である。

図 5 0は作業ロボ.ッ卜の制御手段におけるメッセージ処理部の動作を示すフロ一チャートである。

図 5 1は作業ロボヅトの設置姿勢決定手段の動作を示すフローチャートである ο

図 5 2は作業ロボヅトの設置姿勢決定手段の具体的な動作を示すフローチヤ一卜である。

図 5 3は作業ロボッ卜の設置位置決定手段の動作を示すフローチャートである図 5 4は作業ロボットの設置位置決定手段の具体的な動作を示すフローチヤ一卜める o

図 5 5は環境管理サーバの制御手段における処理構成図である。

図 5 6は環境管理サーバに対するメヅセージの一例を示す図である。

図 5 7は環境管理サーバの制御手段におけるメヅセージ処理部の動作を示すフ口—チヤ—トである。

図 5 8は第 5の実施形態に係る物品管理システムの構成図である。

図 5 9は物品移動体デ一夕ベースにおける移動体デ一夕のデ一夕構造の説明図である。

図 6 0は物品の形状及び姿勢を説明するための図であり、（a ) は本来の物品の形状を示し、（b ) はモデル化された物品の形状を示し、（c ) は実世界に置かれた状況下でのモデル化物品の形状を示す。図 6 1は作業ロボットの把持手段の斜視図である。

図 6 2は操作端末で物品を操作する一例を示した表示画面図である。

図 6 3は操作端末の操作メヅセージ生成部で生成されるメヅセ一ジの一例を示す図である。

図 6 4は作業ロボヅ卜の制御手段における処理構成図である。

図 6 5は作業ロボヅトに対するメッセージの一例を示す図である。

図 6 6は作業ロボヅトの制御手段におけるメヅセージ処理部の動作を示すフロ —チャートである。

図 6 7は作業ロボットの把持位置決定手段の動作を示すフローチャートである図 6 8は設置位置の空きスペースを求める方法の説明図である。

図 6 9は接地面と把持面との関係を説明するための説明図である。

図 7 0は第 6の実施形態に係る物品取扱いシステムの全体構成の一例を示すブロック図である。

図 7 1は物品データベースの構成とその記載内容例を示す図である。

図 7 2は更新された物品デ一夕べ一スを示す図である。

図 7 3は環境内の様子を示す説明図である。

図 7 4は図 7 3とは時刻が異なる環境内の様子を示す説明図である。

図 7 5は環境の実状況と、それに対応する環境マップとを例示する図である。図 7 6は環境属性デ一夕及び設備属性デ一夕の構成とその記載内容例を示す図である。

図 7 7は設備の状態と、設備属性デ一夕との対応を示す図である。

図 7 8は設備動作コマンドの一例を表形式で示す図である。

図 7 9は操作画面の一例を示す図である。

図 8 0は図 7 9に示す操作画面に対応する画面マップを示す図である。

図 8 1は操作画面上で設備内に収容されている物品を表示する例を示す図である。

図 8 2は作業ロボットの構成の一例を示す概略図である。

図 8 3は設備の動作に係るロボヅト制御コマンドの一例を表形式で示す図であ図 8 4は作業計画作成手段の処理手順を示すフローチヤ一トである。

図 8 5は作成されたロボット制御コマンド列の一例を示す図である。

図 8 6は作業内容を表示する画面の一例を示す図である。発明を実施するための最良の形態

本発明の第 1態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品デ—夕ベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品デ一夕ベースを参照して、物品に対する作業をロボヅトに実行させるための制御コマンドに変換し、前記ロボヅトに送信する物品操作システムを提供する。

本発明の第 2態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、前記ロボットに設置されたカメラ、および、電子タグの発信情報を受信する夕グセンサのうち少なくともいずれか 1つを含む第 1態様の物品操作システムを提供する。

本発明の第 3態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を物品デ一夕ベースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サ —バは、前記操作手段から入力されたュ一ザの問合せを受け、この問合せに応じて、前記物品デ一夕ベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する物品管理システムを提供する。

本発明の第 4態様によれば、前記物品データべ一スは、各物品について、その操作履歴を示す物品履歴デ一夕を有しており、前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第 3 態様の物品管理システムを提供する。

本発明の第 5態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか 1つを含む第 3態様の物品管理システムを提供する。

本発明の第 6態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボヅトが実行可能な制御コマンドに変換し、サーバが前記制御コマンドを前記ロボットに送信する物品操作方法を提供する。

本発明の第 7態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する問合せを行い、操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の現在位置および操作履歴を少なくとも含む属性情報を管理する物品デ一夕ベースを参照して、ユーザに提供するための情報を生成し、サーバが、生成した倩報を前記操作端末に送信する物品管理方法を提供する。

本発明の第 8態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と通信可能に構成されており、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品デー夕ベースに管理し、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボヅトに実行させるための制御コマンドに変換し、前記ロボヅトに送信するサーバを提供する。本発明の第 9態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置および前記移動体による操作履歴を少なくとも含む属性倩報を物品デ一夕ベースに管理し、前記操作手段から入力されたュ一ザの問合せを受け、この問合せに応じて、前記物品データべ一スを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するサーバを提供する。

本発明の第 1 0態様によれば、前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、前記物品履歴デ一夕は、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第

9態様のサーバを提供する。

まず、本発明の概念について、説明する。

図 1は本発明を概念的に示す図である。図 1では、所定の生活空間としての家庭に、本発明に係る物品操作システムが構成された場合を想定している。実空間には、生活支援ロボット 5が配置されている。なお、本発明でいう「生活空間」とは人間が活動を行う空間、人間が生活を営む空間のことをいい、一般家庭だけでなく、オフィス、ホテル、店舗および病院等を含み、工場や倉庫などの産業用の空間を含まない。

図 1において、センシング手段 1ば、家庭内における物品や人を含む移動体の状況をセンシングするものであり、例えば、天井に設置されたカメラ、電子タグの発信情報を受信するタグセンサ等によって構成される。サーバとしての物品管理 *操作サーバ ₂は、センシング手段 1からの情報を受けて、家庭内の状況をリアルタイムで常時管理する。この管理には、家庭内の物品の属性情報を記憶する物品データベース 3が用いられる。図 1の例では、ゴミ箱、ケ一夕ィおよびビールについて、操作時刻、操作内容、操作者、操作後の位置などが属性情報として管理されている。

家庭内の生活者すなわちユーザは、操作手段 4を介して、指示を行う。この指示は、操作手段 4に設けられた各種インターフェースによって、文字入力、音声入力、画面入力などによって行うことができる。サーバ 2は、操作手段 4から入力されたユーザの指示を受け、この指示を、物品デ一夕べ一ス 3を参照して、口ボヅ卜 5に作業を実行させるための制御コマンドに変換し、ロボヅト 5に送信する。ロボヅト 5は送信された制御コマンドに従って、ユーザに指示された作業を実行する。

例えば、ユーザが、外出先から携帯電話を介して部屋の片付けを指示した場合、サーバ 2は、指示された部屋の中の現在状態や、ゴミ箱の場所などの情報を物品デ一夕ベース 3を参照して把握し、ロボット 5に片付け作業を指示する。また、自宅の居間にいるユーザがビールを持ってくるように指示した場合、サーバ 2 は、冷蔵庫の中の現在状態などの情報を物品デ一夕ベース 3を参照して把握し、ロボット 5にビールを運ぶように指示する。

このように、センシング手段 1と物品データべ一ス 3とを用いて、物品の属性情報をリアルタイムに管理することによって、家庭内の複雑な状況においても、ロボットに的確な動作を実行させることができる。したがって、ユーザは、快適な生活をおくることができる。

また、ユーザから例えば、携帯電話を探してほしい、といった問合せを受けたとき、サーバ 2は、物品データベース 3を参照して、携帯電話の現在位置や直近の操作者といった情報を生成して、ユーザに提供することもできる。したがって、図 1のシステムを物品管理システムとして利用し、ロボットによる物品操作を行わず、ユーザに対して情報提供を行うことによつても、生活の利便性は大きく向上する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

(第 1の実施形態）

図 2は本発明の第 1の実施形態に係る物品操作システムまたは物品管理システムとしてのシステムの構成を示すブロック図である。図 2に示すように、本システムは、大きく分けて、環境内の状況を把握するセンシング手段 1 2 0と、サ一バとしての環境管理サーバ 1 0 1、ロボヅトとしての作業ロボット 1 0 2、および操作手段としての操作端末 1 0 3の 3個のサブシステムから構成される。サブシステム 1 0 1〜1 0 3はそれそれ送受信手段 1 0 9を備えており、この送受信手段 1 0 9によって、無線または有線のネットワークを介して、情報ゃデ一夕、信号などのやり取りを行う。なお、各送受信手段 1 0 9は共通の処理を行うため、図 2では同一の符号を付している。

なお、ここでの説明では、「環境」は、家庭内の部屋とする。

各サブシステムの構成と動作について、順に説明する。

<環境管理サーバの構成 > 環境管理サーバ 1 0 1は、センシング手段 1 2 0によって把握した状況のうち、環境内に存在する物品と、人やロボット 1 0 2を含む移動体との状況を管理する物品/移動体検索 ·管理手段 1 0 5およびその物品および移動体のデータを蓄積する物品 Z移動体デ一夕ベース 1 0 6と、物品および移動体以外の環境全体の状況を管理する環境マップ管理手段 1 0 7およびその環境全体のデータを蓄積する環境マップ 1 0 8とを備えている。送受信手段 1 0 9は、物品/移動体デ一夕ベース 1 0 6のデ一夕や環境マップ 1 0 8のデ一夕の問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボヅト 1 0 2に対する制御コマンドを送信したりする。制御手段 1 1 0は物品 Z移動体検索.管理手段; I 0 5、環境マヅプ管理手段 1 0 7および送受信手段 1 0 9をコントロールする。

センシング手段 1 2 0は、環境内に存在する家具などの物品、および璟境内に存在する人やロボット 1 0 2について、その位置と状態を常時監視する。また、センシング手段 1 2 0は、人やロボヅト 1 0 2によって、環境内に物品が持ち込まれたことや、璟境外へ物品が持ち出されたことも検出可能である。センシング手段 1 2 0は具体的には、環境内に設置されたカメラ（画像センサ）や、タグセンサ等があるが、詳細については後述する。そして、物品や移動体を検出したとき、センシング手段 1 2 0はその情報を物品 Z移動体検索 ·管理手段 1 0 5に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置および向き等がある。

物品/移動体検索 ·管理手段 1 0 5は、センシング手段 1 2 0によって検出された物品および移動体の情報を、物品/移動体デ一夕べ一ス（D B ) 1 0 6に蓄積して管理する。物品 /移動体 D B 1 0 6に管理する情報は、少なくとも物品および移動体の現在位置を含む。物品 Z移動体 D B 1 0 6の詳細、およびその更新方法については後述する。

また、物品/移動体検索 ·管理手段 1 0 5は、センシング手段 1 2 0からの情報に基づいて、物品の操作（移動などの取扱い）を行っている移動体（人 .ロボット）を推論し、その推論結果を物品/移動体 D B 1 0 6に蓄積する。

さらに、物品/移動体検索 ·管理手段 1 0 5は、制御手段 1 1 0から物品/移動体 D B 1 0 6に問い合わせがあつたとき、その問い合わせの内容に応じて必要な情報を物品/移動体 D B 1 0 6から取り出し、制御手段 1 1 0に送る。

また、環境マップ管理手段 1 0 7は、センシング手段 1 2◦からの情報に基づいて、環境マ.ヅプ 1 0 8を作成するとともに、その作成した環境マヅプ 1 0 8の管理を行う。環境マップ 1 0 8はロボット 1 0 2が環境内を移動する際に利用するものであり、ロボヅト 1 0 2はこの環境マップ 1 0 8をサーバ 1 0 1から取得して、移動経路計画を立てる。

さらに、環境マップ管理手段 1 0 7は、制御手段 1 1 0から環境マヅプ 1 0 8 に問、合わせがあつたとき、その問レ、合わせの内容に応じて必要な情報を環境マヅプ 1 0 8から取り出し、制御手段 1 1 0に送る。

また、制御手段 1 1 0はサ一バ 1 0 1全体を制御する要素であり、主な制御内容としては以下のものがある。

1 ) 送受信手段 1 0 9が、サーバ 1 0 1内にある各種デ一夕に関する問い合わせを受信したとき、その問い合わせ内容を判断し、その判断結果に応じて、物品 //移動体検索 .管理手段 1 0 5や環境マップ管理手段 1 0 7にデータの参照要求を出す。

2 ) 上記要求に対して物品/移動体検索管理手段 1 0 5または環境マップ管理手段 1 0 7から送られてきた結果を、送受信手段 1 0 9を介して問い合わせ元にる。

3 ) 操作端末 1 0 3から送受信手段 1 0 9を介して送信されたロボヅ卜の作業内容メヅセージを解釈し、そのロボヅト 1 0 2に動作を実行させるためのロボット制御ュマンド列を生成して、ロボット 1 0 2に送信する。なお、ロボヅト制御コマンド列については、後述する。

4 ) 必要に応じて、一定時間毎に、物品/移動体 D B 1 0 6で管理している物品の一部または全部の状況や、環境マップ 1 0 8の状況を、送受信手段 1 0 9を介してロボヅト 1 0 2やユーザ（操作端末 1 0 3 ) にプロ一ドキャス卜する。例えば、上の 1 ) ， 2 ) の制御は、ユーザが操作端末 1 0 3を操作して物品の検索を行う場合に利用される。この際、サーバ 1 0 1に対する問い合わせ内容として、ユーザは例えば「〇月△曰 X時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キ一を入力してもよい。

このような問い合わせに対して、環境管理サーバ 1 0 1は物品/移動体 D B 1 0 6からその物品を検索する。そして、操作端末 1 0 3に、例えば「それは、〇〇さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。

なお、その物品が環境の外に持ち出されているときは、その持出者の情報を出力してもよい。このとき、持出者が人であるときは、サーバ 1 0 1がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ 1 0 1が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。

(センシング手段の具体例）

本システムが対象にする環境は、家庭などの生活空間である。したがって、この環境では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する。また、人やロボットのような移動体も、その移動経路に制限がなく、自由に動き回る。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。

-画像センサ

物品の検出に最も良く用いられるセンサの一つが、画像センサ（カメラ）である。室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を用いて、室内の物品等の検出を行うのが一般的である。

カメラ画像を用いて環境内の物品や移動体を検出する一般的な手法として、背景差分法がある。背景差分法とは、背景としてのモデル画像を予め準備しておき、現在のカメラ画像とモデル画像との差分を取ることによって、対象物を検出する方法である。本システムでは、環境内の物品や移動体を検出 ·監視することが目的であるので、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品 '移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。

図 3を参照して、背景差分法による物品検出について具体的に説明する。同図中、（a ) はモデル画像の例、（b ) はある時点でカメラが撮影した画像の例、 ( c ) は（b ) のカメラ画像から（a ) のモデル画像を差.し引くことによって得られた背景差分画像の例である。図 3 ( c ) から分かるように、背景差分画像では、カメラ画像とモデル画像とで差がある部分（網掛け部分）が浮き出ている。このため、この浮き出た部分のみをそれぞれ取り出すことによって、環境内に存在する物品を検出することができる。さらに、この背景差分画像を画像処理することによって、その物品の種類も特定できる。このように、背景差分法を用いて、環境内の物品や移動体の状況を検出することは可能である。さらに、環境内に 2つのカメラを設けるようにすれば、ステレオ視による≡次元計測技術を用いて、物品の形状及び姿勢の情報を取得することも可能になる。

しかしながら、画像センサを用いた物品検出には、一般に、明るさの変化に弱い、解像度が低い、物品が他の物に隠れて見えなくなる（死角の問題）、重なつた複数の物品が一個の物品として検出されてしまう等、多くの問題がある。例えば死角の問題に関しては、璟境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能なようにすれば解決する。ところが、死角が無くなるだけでは、物品検出を確実に行い得るとは限らない。つまり、カメラ台数をいくら増やしても、解像度の問題や物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを特定することが必ずしもできない。

•電子夕グの利用

近年では、電子タグを用いて物品や移動体の位置検出を行う手法が開発されつつある。電子タグとは、データを蓄える I Cと、デ一夕を無線で送受信するアンテナとから構成されるデバイスである。リーダライタと呼ばれる装置によって、電子タグに書き込まれた情報を読みとつたり、電子タグに情報を書き込んだりすることができる。そこで、電子タグを各物品に付し、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデ一夕を埋め込む。また、移動体（人およびロボット）にも電子タグを付し、その移動体に関するデ一夕、例えば人の名前や生年月日等の情報を書き込む。人の場合は、常時携帯するもの（例えば腕時計等）に電子夕グを埋め込んでもよい。一方、環境内には、リーダラィ夕を多数設置する。リ一ダラィ夕が物品や移動体に付された電子夕グの情報を読みとることによって、カメラがなくても、環境内に存在する物品等の検出が可 ν·_ る。

また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子夕グを用いる場合は、物品の存在を検出できるだけでなく、電子夕グに埋め込まれた当該物品のデ一夕を利用することができる。例えば物品の形状データを利用することによって、ロボヅト 1 0 2による物品の把持を容易にすることができる。また、製造年月日デ一夕を利用することによつて品質期限の管理が可能になつたり、物品の種類デ一夕を利用することによって捜し物を見つけるのが容易になつたりする等、ユーザに大きなメリットをもたらす。

しかしながら、電子夕グを用いた物品検出には、通信距離が短いという問題がある。すなわち、電子夕グとリーダライ夕とのデ一夕のやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数 1 0 c mと非常に短い。また、通信距離の問題を解消するために、リーダライ夕を環境内に多数設置することも考えられるが、リーダライタはカメラに比べてコストが高いため、現実的ではない。

•画像センサと電子タグとの組合せ

以上、説明したように、画像センサを用いた方法と、電子タグを利用する方法とには、一長一短がある。そこで、画像センサと電子タグの両方を利用する方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子夕グを用いてその物品を特定する、というハイプリッド処理を行うのである。

具体的な処理の例を、 2つ挙げる。

1つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット 1 0 2にリ —ダライタを取り付けるというものである。また、各物品および移動体には電子夕グを取り付けておく。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。そして、特定した物品の近傍にロボット 1 0 2を移動させて、そのロボヅト 1 0 2に取り付けたリーダライ夕によって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。

もう 1つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリ一ダライタを略均等に設置するというものである。このリーダライ夕は、電子タグのデ一夕読みとりに関して指向性を有し、かつ、その読み取り方向が可変であるものとする。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリ一ダライタを選択し、そのリーダライタの読みとり方向をその物品に向ける。そして、その物品に取り付けられた電子夕グから情報を読み取り、その物品を特定する。なお、この例では、リーダライ夕と電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いる必要がある。このため、環境内に人がいないことを例えば背景差分法によつて確認した上で、電子夕グからの情報読み取りを行うのが好ましい。

なお、本システムにおけるセンシングには、ここで説明した画像センサや電子夕グを用いた方法以外の方法を採用してもよい。

また、ドアや窓等の環境と外部との出入り口に、センシング手段 1 2 0としてリ一ダライタを設置し、これによつて、環境内への物品の持ち込みや持ち出しを検出することもできる。詳しくは後述する。

(物品/移動体検索管理手段）

図 4は物品 Z移動体検索■管理手段 1 0 5の内部構成を概念的に示す図である。図 4において、物品取扱検出手段 3 1は物品が移動体によって取り扱われていること（物品取扱状態）を検出し、取扱者特定手段 3 2は物品取扱検出手段 3 1 の検出結果に応じて、物品を取り扱つている移動体（取扱者）を特定する。物品取扱検出手段 3 1はセンシング手段 1 2 0からの情報に基づいて、物品取扱状態を検出する。例えば、上述したような画像センサと背景差分法を利用して物品検出を行っている場合は、カメラ画像とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出する。もちろん、例えば電子夕グを利用して、物品取扱状態を検出してもよい。

取扱者特定手段 3 2は、物品取扱検出手段 3 1が物品取扱状態を検出したとき、その物品を取り扱つている取扱者を特定し、その取扱者の情報を物品/移動体 D B 1 0 6に蓄積する。

取扱者の特定は、具体的には次のようにすればよい。センシング手段 1 2 0としてカメラを利用している場合は、物品取扱状態が検出された領域をそのカメラによって撮像する。そして、撮像画像に対して人かロボヅトかの判断、そして次に顔認証処理を行い、移動体を特定する。特定された移動体は、取扱いがなされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定する。なお、センシング手段 1 2 0としては通常、広域を撮影するために広角カメラが利用されるが、広角カメラの撮像画像の解像度は比較的低く、顔認証処理を行うには十分でない可能性がある。そこで、広角カメラとは別個に、顔認証処理用のカメラとして狭角の高分解能カメラを璟境内またはロボット 1 0 2に設置してもよい。物品取扱検出手段 3 1が物品取扱状態を検出した領域をこの狭角力メラによって撮像し、その撮像画像について顏認証処理を行うことによって、取扱者を精度よく特定できる。，

なお、物品取扱者の特定は、顔認証処理に限らず、例えば虹彩認証等その他の認証処理によって行ってもよい。また、認証処理を行わずに、そのカメラ画像自体を物品/移動体 D B 1 0 6に蓄積してもよい。これは、認証処理によって移動体を特定できなかった場合に限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。

また、電子タグとリーダライ夕とを用いて、環境内への物品の持ち込みや持ち出しを管理することもできる。

すなわち、図 5に示すように、環境と外部との出入り口である窓 5 1やドア 5 2の開口部にそれぞれ、ゲート型のリーダライ夕（R Fアンテナ） 4 1 , 4 2を配設する。そして、物品や移動体がこの窓 5 1やドア 5 2を通過したとき、リ一ダライタ 4 1 , 4 2がその物品や移動体に取り付けられた電子タグからの情報を読み取る。物品取扱検出手段 3 1はリーダライ夕 4 1， 4 2からの情報によって、物品の持ち込みや持ち出しを検出する。また、取扱者特定手段 3 2は、リーダライ夕 4 1， 4 2からの情報に基づいて、物品と一緒に窓 5 1やドア 5 2を通過した移動体を取扱者として特定し、その取扱者の情報を物品 Z移動体 D B 1 0 6 に蓄積する。このような処理によって、物品の持込者 ·持出者の管理を自動的に簡単な処理で行うことができる。 - なお、図 5では、窓 5 1やドア 5 2の開口部の上下左右を囲むようにリーダライタ 4 1 , 4 2を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライ夕 4 1 , 4 2は、窓 5 1やドア 5 2の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。

このようなリーダライ夕を用いた特定の場所における物品の管理は、窓 5 1やドア 5 2に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等のような，物品の収納場所の開口部にリーダライ夕を設置すれば、収納場所への物品の持込やその収納場所からの物品の取り出しの管理が可能になる。

また、このようなリーダライタを窓 5 1やドア 5 2に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第 1のリーダライ夕を環境外である、窓 5 1やドア 5 2の開口部の外側に設置する一方で、第 2リーダライタを環境内である、窓 5 1やドア 5 2の開口部の内側に設置する。こうすることで、外側の第 1リーダライタが電子タグからの情報を検出した後に、内側の第 2リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第 2リーダライタが電子タグからの情報を検出した後に、外側の第 1リーダライ夕が電子夕グからの情報を検出したときには、その電子夕グが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。

なお、本システムでは、物品の取扱いは人に限られず、人が操作端末 1 0 3において指定した作業内容に応じてロボット 1 0 2も物品の取扱いを行う。ロボット 1 0 2が物品を取扱う場合、ロボヅト 1 0 2を取扱者としてもよいし、その口ボヅ卜 1 0 2を操作する人を取扱者としてもよい。例えば、ロボヅト 1 0 2を操作する人を取扱者とする場合には、ロボヅト 1 0 2の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行い、その認証結果に基づいて、ロボット 102の操作者（物品取扱者）を特定すればよい。また、ロボット 102の操作の開始時に、操作端末 103においていわゆる LOG I N、 LOGON処理によるユーザ認証を行う場合には、そのユーザ情報からロボット 102の操作者を特定してもよい。

(物品 Z移動体 JDB)

物品 Z移動体 DB 106は、物品および移動体の情報を蓄積する DBであり、例えば、図 6に示すような物品を扱う物品データべ一ス（DB) と、図 7に示すような移動体を扱う移動体デ一夕べ一ス（DB) とを備えている。

図 6の物品 DBは、物品デ一夕、物品履歴デ一夕、および物品属性デ一夕をそれそれ蓄積する 3個のサブデ一夕べ一スからなる。

1)物品データ

個々の物品を区別するための ID、物品履歴データへのポインタ、および物品属性デ一夕へのポインタ、を含む。図 6の例では、同種類であっても物理的に異なる物品は異なる IDが割り当てられ、別の物品として扱われる。ただし、同種の物品は同じ物的属性を持っため、 IDは異なるが、物品属性データへのポイン夕は共通である。.これにより、データベースの容量が節約できる。

2)物品履歴デ一夕

物品が取り扱われた履歴を表すものであり、図 6では、取扱時刻、取扱内容、取扱者、取扱後の位置、の 4項目からなる。なお、位置デ一夕の表現は様々なものが考えられるが、図 6の例では、物品の位置（重心位置等を用いる）を表す 3 つのパラメ一夕（xl， 1 , ζ 1) と、物品の向きを表す 3つのパラメ一夕（ 11， ml, n 1) とを合わせた 6つのパラメ一夕で位置を表現している。また、取扱者は、取扱者特定手段 32によって特定された移動体である。

3)物品属性データ

物品が有する物理的な属性情報を表すものであり、例としては、図 6に示すように、物品の重さ、形状、外観画像デ一夕等が挙げられる。

また、特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。図 8はドアを介した物品の持ち出しおよび持ち込み履歴を格納する持出 · 持込 D Bの例である。図 8の履歴データは、取扱時刻、取扱物品、取扱内容、取扱者、の 4項目からなる。図 8において、取扱物品の項目に「物品名 @カバン C 」とあるのは、その物品がカバン Cの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライ夕を設置することによって検出可能である。図 8の持出 ·持込 D Bから、時刻 t 2に、お父さんが衣類 A、夕オル C , かさ Bをカバン Cに入れて部屋から持ち出したことが分かる。

また、持出 ·持込 D Bには、そのカバン Cを持ったお父さんの行き先や、目的 (例えば出張）を登録しておいてもよい。これにより、以後、行き先や目的を指定すれば、持出 '持込 D Bを参照することによって、必要な物品（例えば出張に必要な物品）を特定することができる。さらには、必要な物品をカバン Cに入れる作業をロボヅト 1 0 2に実行させることも可能になる。

また、図 7の移動体 D Bは、移動体デ一夕、および移動体履歴デ一夕をそれそれ蓄積する 2つのサブデータベースからなる。

1 ) '移動体デ一夕

個々の移動体を区別するための I D、およぴ移動体履歴デ一夕へのポインタ、を含む。移動体デ一夕に格納される移動体は、ユーザが手動で予め登録するようにすればよい。

2 ) 移動体履歴デ一夕

時刻、その時刻における位置、およびその時刻における状態の 3項目からなる。移動体は物品と異なり、空間内に占める体積が大きいため、ロボット 1 0 2の移動の障害物になりやすい。このため、ロボヅト 1 0 2が障害物を避けつつ移動できるように、移動体の位置はできるだけ現実に則して表すのが好ましい。図 7 では、必要最小限の情報で表すべく、移動体が床面上で占める領域を円で近似し、円の中心座標と半径によって移動体の位置を表している。もちろん、さらに厳密に表現してもよく、例えば移動体が床面上で占める領域の輪郭を複数個の線分べクトルを用いて近似してもよい。

また、移動体の状態は、人の場合は「座る」「立つ」「寝る j 「歩く」等の一般的な人の動作によって表し、ロボット 1 0 2の場合は、「把持」「解放」等のロボヅト 1 0 2が物品に対して行う動作によって表す。なお、ロボヅト 1 0 2に関しては、その動作だけでなく、作業対象の物品 I Dと併せて「物品 I D：動作内容」と表現する。具体的には例えば、「kan— smalし 0001把持」となる。状態の特定は、例えば移動体の状態候補を予め複数準備しておき、センシング手段 1 2 0による検出結果等に基づいて、移動体の状態がどの状態候補に当てはまるかを判断して行えばよい。

物品/移動体検索 ·管理手段 1 0 5は、物品 Z移動体 D B 1 0 6に物品や移動体の情報を格納し、また各物品や移動体の位置が変更される毎に、その情報を更新する。なお、更新のタイミングはこれに限るものではなく、適宜設定すればよい。

なお、物品履歴デ一夕および移動体履歴デ一夕は、できるだけ長時間に亘つてデ一夕蓄積するのが好ましい。これにより、より過去に遡って履歴を調べることができる。また、移動体データは、できるだけ短い時間間隔でデ一夕を蓄積するのが好ましい。これにより、人やロボット等の移動体の移動経路をより細かく管理することができる。ただし、デ一夕べ一スの容量には限界があるため、ある所定期間のデ一夕を蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、デ一夕を蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。

(物品 Z移動体 D Bの更新の例）

ここで、物品 Z移動体 D B 1 0 6 pデータがどのように更新されていくかについて、図 6， 7および図 9を参照して、具体的に説明する。

図 9はある部屋に 2つの缶ジュース 2 1 , 2 2が持ち込まれた状況を表している。図 9において、各缶ジュース 2 1， 2 2の移動は矢線によって示され、時刻は t l〜t 6の順で進んだものとする。図 9の部屋にはセンシング手段 1 2 0として電子タグのリーダライ夕が配設されており、各缶ジュース 2 1 , 2 2、並びに部屋に出入りする人およびロボット 1 0 2にはそれぞれ電子タグが取り付けられている。各缶ジュース 2 1， 2 2の物品属性デ一夕は、電子タグから読みとられる。

物品/移動体 D B 1 0 6では、移動体デ一夕への各移動体の登録および移動体履歴データの初期化はすでに行われているものとする。また、物品 Z移動体 DB 106の物品データは、何も記録されていない空の状況であるとする。

まず、移動体であるお父さん（図示省略が、缶ジュース 21を持って部屋に入ってくる。センシング手段 120がお父さんと缶ジュース 21を検出すると、その検出結果は物品/移動体検索 ·管理手段 105に送られる。物品/移動体検索 ·管理手段 105は、缶ジュース 21に [kan_smalし 0001]という I Dを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これとともに、缶ジュース 21の物品属性デ一夕を格納する。また、その缶ジュース 21 の移動履歴を格納するための「位置履歴リスト 1」を作成する（図 6参照）。この時点では位置履歴リスト 1の中身はまだ空のままである。一方、お父さんの移動体履歴を更新するために、移動体デ一夕における ID 「お父さん」の位置履歴を参照することによって、「位置履歴リスト 3」が呼び出される（図 7参照）。次に時刻 t lにおいて、お父さんがテーブル近傍の位置 P 4 (x4, y 4) に座り、持っていた缶ジュース 21をテーブル上の位置 P 1 (x 1 , 1 , ζ 1) に置く。これをセンシング手段 120 が検出すると、物品 Ζ移動体検索 ·管理手段 105は、物品履歴デ一夕の位置履歴リスト 1の内容をセットする（図 6参照）。具体的には、

時刻： t 1

取扱内容：新規

取扱者：お父さん

取扱後の位置： P I (x l, y 1 , z l, 11, ml, n 1)

をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また物品移動体検索 ·管理手段 105は、移動体履歴データの位置履歴リスト 3の内容をセットする（図 7参照）。具体的には、

時刻： t 1

位置：（X 4， y 4， r 1)

状態：座る

をセットする。次に時刻 t 2において、別の移動体である息子（図示省略）が、テ一ブルの上の位置 P 1 (X 1 , 1 , z 1 ) に置かれた缶ジュース 21を床の上の位置 P 2 (x2， y 2, z 2) に移動させる。これをセンシング手段 120が検出すると、物品/移動体検索 ·管理手段 105は、物品履歴データの位置履歴リスト 1の新たな内容をセットする（図 6参照）。具体的には、

時刻： t 2

取扱内容：移動

取扱者：息子

取扱後の位置： P2 (x2， y2， z2, 12, m2， n2)

をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴デ一夕に登録されている物品が、移動されたことを意味する。なお、時刻 t 2では、息子の位置が変わるため、物品 Z移動体検索.管理手段 105は、息子の移動体履歴デ一夕（位置履歴リスト 4) の内容をセットする（図示省略）。

次に時刻 t 3において、お父さんが部屋の外に出る。これをセンシング手段 1 20が検出すると、物品 Z移動体検索 ·管理手段 105は、移動体履歴デ一夕の位置履歴リスト 3の新たな内容をセットする（図 7参照）。具体的には、

時刻： t 3

位置：一

状態：外出

をセットする。ここで、位置が「一」となっているのは、環境外に出たため、その位置が本システムの管理外になつたことを意味する。

また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュ一ス 21を元のテ一ブルの上 P 1 (xl， yl， z 1) に戻すように、操作端末 1 03を操作してロボヅト 102に指示をする（このロボヅト 102に対する指示については後述する）。指示を受けたロボヅト 102が、缶ジュースの位置 P 2 (x2, y 2, z 2) まで移動し、時刻 t 4にその缶ジュースを把持する。物品 Z移動体検索 ·管理手段 105は、ロボヅト 102の移動体履歴データ（位置履歴リスト 5) の内容をセットする（図 7参照）。具体的には、

時刻： t 4 ' 位置：（x2, y 2, r 2)

状態： [kan— smalし 0001]：把持

をセヅトする。なお、ロボヅト 102の動作は、センシング手段 120が検出してもよいし、サーバ 101がロボヅト 102からの動作情報をネットワークを介して受信することによって、検出してもよい。

次に時刻 t 5において、ロボヅト 102が缶ジュース 21を把持した状態でテ一ブルの近傍 P 4 (x4, y 4) に移動し、テーブルの上 P 1 (x 1 , yl, z 1)でその把持した缶ジュースを解放する。物品/移動体検索 ·管理手段 105 は、移動体履歴デ一夕の位置履歴リスト 5の新たな内容をセヅトする（図 7参照 ) 。具体的には、 .

時刻： t 5

位置：（x4, y 4, r 2)

状態： [kan_smalし 0001]：解放

をセヅトする。また、物品/移動体検索 ·管理手段 105は、物品履歴データの位置履歴リスト 1の新たな内容をセヅトする（図 6参照）。具体的には、

時刻： t 5

取扱内容：.移動

取扱者：ロボヅト

取扱後の位置： P I (xl, y 1 , 1 , 11, ml, η 1)

しばらくして、別の移動体であるお母さんが、新たな缶ジュース 22を持って部屋に入ってくる。センシング手段 120がお母さんと新たな缶ジュース 22とを検出すると、物品/移動体検索 ·管理手段 105は、その新たな缶ジュース 2 2に [kan_smallj)002]という IDを割り当て、物品属性デ一夕へのポインタと対応付けて物品デ一夕に格納する。新たな缶ジュース 22の物品属性デ一夕は、缶ジュース 21と同じである。また、新たな缶ジュース 22の移動履歴を格納するための「位置履歴リスト 2」を作成する（図 6参照）。この時点では位置履歴リスト 2の中身はまだ空のままである。

次に時刻 t 6において、お母さんが新たな缶ジュース 22を床の上である P 3 (x3, y 3, z 3) に置く。これをセンシング手段 120が検出すると、物品 /移動体検索 ·管理手段 105は、物品履歴デ一夕の位置履歴リスト 2の内容をセットする（図 6参照）。具体的には、

時刻： t 6

取扱内容：新規

取扱者：お母さん

取扱後の位置： P3 (x3， y 3 , z3， 13， m3， n3)

をセットする。なお、図 7では、お母さんの移動体デ一夕および移動体履歴は省略している。

(環境マヅプと設備デ一夕ベース）

図 10は環境マヅプ 108の例である。同図中、（a) は実環境の例、（b) は（a) の実環境を立体モデルで簡略化した環境マップ、 (c) はさちに平面モデルで簡略化した環境マヅプである。

環境マヅプ 108は、その用途や、作成にかかる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マヅプを極めて短時間で作成する必要があるときは、図 10 (b) のように、環境内に存在する立体物を、それを覆う最小の直方体でモデル化すればよい。図 10 (b) では、テーブルと本棚はそれぞれ直方体でモデル化され、ゴミ箱は略円柱でモデル化されている。平面モデルからなる環境マヅプも同様であり、図 10 (c) では、テ一ブルと本棚は平面に正射影した矩形領域（斜線を付した領域）でそれそれモデル化され、ゴミ箱は円領域（斜線を付した領域）でモデル化されている。これら 2つの矩形領域および円領域は、ロボヅト 102が移動不可能な領域に設定される。さらに、図 10 (a) に示すような実環境をそのまま立体モデル化したものを、環境マップ 10 8としてもよい。

図 11は璟境マヅプに付随する設備データベースの一例を示す図であり、図 1 0の環境に対応したものである。この設備データベースは、設備データと、設備属性デ一夕とをそれそれ蓄積する 2つのサブデ一夕べ一スからなる。

1 ) 設備データ

環境それ自体、およびこの環境内の個々の設備（物品とは異なり、環境に固定または設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するための I Dと、設備属性デ一夕へのポインタとを含む。図 1 1では、環境（部屋）には I Dとして「roomj)001」が付され、環境内に存在するテーブル、本棚およぴゴミ箱にはそれそれ I Dとして「table_0001」「bookshelf—0001」「 trash_0001」が付されている。

2 ) 設備属性デ一夕

環境自体に係る設備属性デ一夕は、その環境内の床面デ一夕を含む。例えばその環境内に互いに高さの異なる複数の床面が存在するときは、その床面の数だけ床面デ一夕（図 1 1の床面 1，床面 2 ) が蓄積される。床面デ一夕は、例えば次のように表される。

( (XI, Yl, Zl) , . (X2, Y2， Ζ2) ，（Χ3, Υ3， Ζ3) , (Χ4, Υ4, Ζ4) ，2200,0) ここで、最初の 4組の座標値は、床面を構成する各頂点の実世界座標を表し、次の値（2 2 0 0 ) は、その床面から天井までの距離（mm) を表す。また、最後の値（0 ) は床面の材質を意味する。例えば、「0」はフローリング、「1」は畳、「2」は絨毯等とすればよい。

家具等の設備に係る設備属性デ一夕は、その設備を構成する各面のデータ（面 1 , 面 2 ) 、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主物品の形状とその姿勢を含む。具体的には例えば、設備を構成する面のデ一夕は次のように表される。

( (XI , Yl, Zl) , (X2, Y2， Ζ2) ， (Χ3, Υ3， Ζ3) , 1,400)

ここで、最初の 3組の座標値は、その面を構成する各頂点の実世界座標を表す。次の値（1 ) はその面に物品が載置可能な否かのフラグであり、「1」は物品が載置可能、「0」は載置不可能を示す。最後の値（4 0 0 ) は、その面に物品が載置可能であるとき、その載置可能な物品の上限高さ（mm) を示す。例えばその面がテーブルの天板であるときは、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。

設備属性デ一夕における「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。設備属性デ一夕に「主な物品の形状と姿勢」のデ一夕を蓄積することによって、例えば、作業ロボヅト 1 0 2に本を本棚に移動させる作業を指定したとき、その作業ロボット 1 0 2は「主な物品の形状と姿勢」デ一夕を基にして、指定された本を立てた姿勢で本棚の棚に載置することができる。

ただし、設備の種類によっては、この「主な物品の形状と姿勢」デ一夕を有しない場合がある。例えばテーブルやゴミ箱は、物品の形状や姿勢には限定がない

。このため、テ一プルゃゴミ箱の設備属性デ一夕は、「主な物品の形状と姿勢」のデ—夕を有しない。

ぐ作業ロボツトの構成 >

作業ロボット 1 0 2は、環境内で物品の取扱い作業を行う。ここでは特に、ュ一ザの指示に従って、環境内で物品を移動させる作業を行うものとする。

図 2に示すように、ロボット 1 0 2は、ロボットの近辺の障害物等を検知する障害物センサ 1 1 1と、物品を把持する把持手段 1 1 2と、環境マップ 1 0 8を参照して移動計画を立てる移動計画作成手段 1 1 3と、ロボヅト 1 0 2自体を移動させる移動手段 1 1 4とを備えている。送受信手段 1 0 9は環境管理サーバ 1 0 1や操作端末 1 0 3との間で種々のデ一夕の送受信を行う。制御手段 1 1 5は障害物センサ 1 1 1、送受信手段 1 0 9，把持手段 1 1 2、移動計画作成手段 1 1 3および移動手段 1 1 4をコントロールする。

図 1 2はロボット 1 0 2の構造の一例を示した模式図であり、このロボット 1 0 2は、移動計画作成手段 1 1 3や制御手段 1 1 5等を収容する略箱型の本体部 1 0を備えている。以下、図 1 2における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。

把持手段 1 1 2は、多関節アーム 1 2 aとそのアーム 1 2 aの先端に配設されたハンド 1 2 bとから構成され、本体部 1 0の上面に取り付けられている。ァ一ム 1 2 aおよびハンド 1 2 bは、モー夕制御によるァクチユエ一夕を用いたものとしてもよいし、その他のァクチユエ一夕、例えば人工筋肉によるァクチユエ一夕を用いてもかまわない。また、本システムでは、環境内に存在する各物品に電子タグが付されているとして、把持手段 1 1 2にセンシング手段 1 2 0としてのリーダライ夕を取り付けている。これにより、把持手段 1 1 2が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによつて、その把持した物品が何であるかを特定することができる。なお、把持手段 1 1 2に取り付けるリ一ダライタは省略してもよい。

移動手段 1 1 4は車輪 1 4によって構成されており、この車輪 1 4は本体部 1 0の左右両側にそれそれ 2つずつ取り付けられている（図例では、左側の車輪の図示を省略する）。なお、移動手段 1 1 4の構成は、そのロボヅトが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段 1 1 4をクローラ型ゃ多足歩行型に構成することが好ましい。障害物センサ 1 1 1はここでは、超音波センサ 1 l a、視覚センサとしての力メラ 1 l b、および衝突センサ 1 l cから構成される。超音波センサ 1 l aは、超音波を発してその反射波を受信するまでの時間を測定することによって障害物までのおおよその距離を計算し、近距離の障害物を衝突前に検知する。超音波センサ 1 l aは本体部 1 0の各側面（前面、後面、左右側面）に 3個ずつ取り付けられている。また.カメラ 1 1 bはロボヅト 1 0 2の周囲の状況を画像として入力する。この画像に対して認識処理等を行うことによって、障害物の有無を判断したり、把持対象物品についてより正確な情報を得たりする。カメラ 1 l bは本体部 1 0の前部に取り付けられている。さらに衝突センサ 1 1 cは、ロボット 1 0 2に所定の衝撃力が加わったことを検知する。例えば障害物がロボット 1 0 2に衝突してきたり、ロボット 1 0 2自体が移動中に障害物に衝突したことを、衝突センサ 1 によって検知する。衝突センサ 1 1 cは本体:部 1 0の前面と後面にそれそれ取り付けられている。

なお、本実施形態では、作業ロボヅト 1 0 2を、車輪 1 4によって構成された移動手段 1 1 4を有する自走ロボヅ卜としたが、作業ロボット 1 0 2は、この構成に限るものではない。例えば上述したアーム 1 2 aとハンド 1 2 bとからなる把持手段 1 1 2を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット 1 0 2を構成してもよい。この構成の作業ロボヅト 1 0 2は、上記把持手段 1 1 2がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによつて、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。

また、作業ロボヅト 1 0 2は、複数の把持手段 1 1 2 (アーム 1 2 aとハンド 1 2 bとからなる.もの）を、環境内の所定の位置にそれそれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段 1 1 2によって把持可能となるように、各把持手段 1 1 2を配置する。この構成の作業ロボット 1 0 2は、指定された物品を指定された位置に移動させるときには、複数の把持手段 1 1 2の中から、その物品にハンド 1 2 bを届かせることのできる把持手段 1 1 2を選択し、その選択した把持手段 1 1 2が物品を把持すると共に、そのアーム 1 2 aとハンド 1 2 bとによって把持した物品を指定された位置に移動させるようにすればよい。なお、指定された位置が、選択した把持手段 1 1 2のアーム 1 2 aの届かない位置であるときには、複数の把持手段 1 1 2間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。

移動計画作成手段 1 1 3は、物品の移動作業やその他の作業に伴う移動が指定されたとき、ロボット 1 0 2の現在位置から目的位置までの移動経路を、環境マヅプ 1 0 8を参照して作成する。環境マップ 1 0 8には、図 1 0 ( c ) に示すように、移動不可領域（斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成できる。例えば図 1 0 ( c ) において、 A 1地点から A 2地点までの移動の際には、ロボット 1 0 2の大きさを考慮して、矢線で示すような移動不可領域を回避するルートが作成される。移動経路の作成には、最も一般的なダイクストラ法を用いればよいし、環境が複雑な場合は、ダイクストラ法を改良した経路探索ァルゴリズムを用いてもよい。なお、環境が複雑すぎるため、移動経路の算出ができない、あるいは、その算出に多大な時間を要するような場合の対策として、ュ —ザがロボヅト 1 0 2の移動経路を指定するモードを設けてもよい。

(ロボヅトの制御コマンド）

制御手段 1 1 5は、主に環境管理サーバ 1 0 1から送受信手段 1 0 9を介して送られてきたロボヅト制御コマンド列を解釈し、その制御コマンドを順に実行する。

ロボヅト制御コマンドとは、物品の把持や、ロボット 102自体の移動の制御を行うためのコマンドであり、大きくわけると主として「移動」「把持」「解放」の 3種類がある。この 3種類のコマンドについて簡単に説明する。

1)移動：（move,座標）または（move，設備 ID)

ロボヅト 102の現在位置から座標で指定された位置、または設備 I Dで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段 113が計画する。また、設備 IDで指定された設備の位置に移動するときは、その設備に対して所定の距離まで近づくような経路を作成するが、この場合、環境マップ内の設備属性デ一夕を利用する。

2)把持：（gr ab，物品 ID)

物品 I Dで指定された物品を、ハンド 12 bによって把持するコマンドである。物品の位置は、物品 DBを参照して求め、把持計画は把持手段 112が作成する o

3 ) 解放： (release)

ハンド 12 bを解放するコマンドである。

例えば、ある物品をある場所に移動させる作業がユーザから指示されたときは、その作業は、「（物品の位置 B 1への）移動」「（物品の）把持」「（移動先 B2への）移動」「（物品の）開放」という 4つの作業単位に分解される。この場合のロボヅト制御コマンド列は、

move, B 1 (物品が置かれている位置 B 1にロボットを移動する） grab, 物品 ID (B 1の位置にある物品を把持する）

move, B 2 ( (物品を把持した状態で）移動先である B 2に移動する） release (把持している物品を解放する）

となる。複数の物品の移動を指示されたときは、コマンド列は、上記 4つのコマンドを一組として物品の数だけ並べられ、制御手段 115は、その順番に従って制御コマンドを順に実行する。もちろん、ロボット御コマンドはこの 3種類に限られるものではなく、必要に応じて増やしてもよいことはいうまでもない。

図 13は制御手段 115の動作例を示すフローチャートである。制御手段 11 5は、サーバ 101から送信された制御コマンド列を送受信手段 109が受信したとき、どの作業単位であるかを判定し（S2401〜S 2403)、その作業単位に応じた処理を実行する。

まず、作業単位が「移動」のときは（S 2401で YES)、指定された位置までの経路を移動計画作成手段 113に作成させる（S 2404) 。そして、移動計画作成手段 113によつて作成されて経路に応じて移動制御コマンドを移動手段 114に送り、.指定された位置までの移動処理を実行する（S 2405) 。また、作業単位が「把持」のときは（S 2402で YES)、障害物センサ 1 11によって把持対象物品の姿勢を検出する（S2406) とともに、その検出結果に応じてアーム 12 aとハンド 12 bの動作を計算する（S 2407) 。そして、把持制御コマンドを把持手段 112に送り、物品の把持処理を実行する（ S 2408)。なお、ステップ S 2406において、物品の姿勢は環境管理サ一バ i 01の物品 DB 106に記録されているので、サーバ 101に物品の姿勢を問い合わせるようにしてもよい。

また、作業単位が「解放」のときは（S 2403で YES)、指定された移動先に物品が設置されるようにアーム 12 aとハンド 12 bの動作を計算する（S 2409) 。そして、解放制御コマンドを把持手段 112に送り、物品の解放処理を実行する（S 2410) 。

移動、把持および解放の各動作が終了したとき、その旨をメヅセ一ジとして作業指示元であるサーバ 101に送信する（S2411) 。このようにして、操作端末 103によって指示された作業内容が、ロボット 102によって実行される o

<操作端末の構成 >

操作端末 103は、本システムにおけるユーザィン夕フヱ一スであり、ユーザが、ロボヅト 102に対して物品の取扱い作業を指示したり、物品に闋する問合せをしたりするために操作する端末である。図 2に示すように、操作端末 1 0 3は、操作画面を表示する、例えば C R Tや液晶ディスプレイからなる表示部 1 1 7と、操作画面上でロボヅト 1 0 2に対して作業内容を指示するための例えばポインティングデバイスからなる入力部 1 1

6と、表示部 1 1 7に表示される操作画面の作成等の表示制御を行う表示制御手段 1 1 8とを備えている。送受信手段 1 0 9は入力部 1 1 6に入力されたロボット 1 0 2の作業内容や問合せ内容をサーバ 1 0 1に送るとともに、問合せに対する回答をサーバ 1 0 1から受信する。制御手段 1 1 9は送受信手段 1 0 9、入力部 1 1 6、表示部 1 1 7および表示制御手段 1 1 8をコントロールする。

この操作端末 1 0 3としては、例えば汎用 P Cを用いることも可能である。この場合、各処理を実行させる制御プログラムを P Cに読み込ませることによって、操作端末 1 0 3として用いることが可能になる。

表示制御手段 1 1 8は、サーバ 1 0 1から送信された情報、具体的には、センシング手段 1 2 0としてのカメラが環境内を撮像した画像のデータ、物品 Z移動体デ一夕べ一ス 1 0 6に蓄積されたデ一夕、環境マップ 1 0 8に基づいて、操作画面を作成する。作成された操作画面は、表示部 1 1 7に表示される。

(操作モード）

本システムは、ロボヅトに実行させる作業内容をユーザに指定させる操作モ一ドをいくつか備えており、各操作モードは、ユーザが入力部 1 1 6を操作することによって切り替えられる。ここでは、操作モードの一例として、「仮想空間操作モード」について説明する。

図 1 4は仮想空間操作モードにおいて操作端末 1 0 3の表示部 1 1 7に表示される操作画面の一例である。この操作画面は、実環境に則した仮想空間によって構成されている。この仮想空間は、環境内に設置されたカメラ（図示省略）によつて撮像された画像デ一夕に基づいて作成される。

また図 1 4の操作画面は、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。具体的には、空き缶（kan_smalし 0001) 、レモン（lemon_smalし 0001) 、手帳（note— smalし 000 1) 、バナナ（banana_smalし 0001) 、および紙くず（trash_smalし 0001) の各ァイコンが含まれている。なお、仮想空間操作モードでは、操作画面上で物品アイコンとされるものは、ロボット 1 0 2が取扱い可能な物品であり、家具等の設備は、操作画面上には表示されるが、物品アイコンとはならない。。

この操作画面では、ュ一ザは、操作端末 1 0 3の入力部 1 1 6の操作によって操作画面内のカーソルを操作し、それによつてロボヅ卜 1 0 2に実行させる作業内容を指定する。ロボット 1 0 2に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、各物品アイコンは、いわゆるドラヅグ操作によって、仮想空間内を移動可能に構成されている。このため、力一ソルによって仮想空間内の所望の物品ァイコンを指定するとともに、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。

図 1 4の矢線は、空き缶アイコン（kan_smalし 0001) をリサイクル用ゴミ箱 5 3 1に、レモンアイコン（lemon_small_0001) 、手帳アイコン（note_small_000 1) およびバナナアイコン（banana_small_0001) をテーブル 5 5 1に、紙くずァイコン（trash_smalし 0001) を一般用ゴミ箱 5 4 1にそれぞれ移動させる場合の、ドラヅグアンドド口ヅプ操作を示している。

ここでの操作爾面を構成する仮想空間は、カメラが撮像した画像デ一夕であるため、画像デ一夕のどの領域が物品アイコンに対応するかを特定する必要がある。そこで、操作画面は、仮想空間を構成する画像データに加えて、画像デ一夕に 1対 1に対応し、かつ、仮想空間内における物品アイコンの位置を特定する画面マスクデ一夕を有している。

画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデ一夕が設定されており、操作画面上でカーソルによって物品アイコンの位置（座標値）が指定されると、画面マスクデータにおいて同じ座標値が参照され、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。また、画面マスクデ一夕におけるマスクデータの座標には、物品デ一夕ベースの物品データ（図 6参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品デ一夕を参照し、それによつて、操作画面上で力一ソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデ一夕は、背景差分画像によって作成することができる。なぜなら、背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。

そして、操作画面上で、物品アイコンのドラヅグアンドド口ヅプ操作によって当該物品の移動作業が指定されたとき、操作端末 1 0 3から環境管理サーバ 1 0 1にその作業内容のメヅセージが送信される。このメヅセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標と.を含めればよい。

サ一バ 1 0 1はメッセージを受信したとき、物品データべ一スを参照して、そのメッセージ内容に従ってロボヅト制御コマンド列を生成し、生成したロボヅト制御コマンド列をロボヅト 1 0 2に送信する。ロボヅト 1 0 2の制御手段 1 1 5 は、図 1 3に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット 1 0 2は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行する。

このように、仮想空間操作モードでは、操作端末 1 0 3の表示部 1 1 7に表示される操作画面が、実環境に則した仮想空間によって構成されるとともに、仮想空間内の物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロヅプ操作するという、直感的な操作によって、物品の移動作業を指定することができる。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。もちろん、操作モードは、ここで説明した仮想空間操作モ ―ドに限られるものではない。

すなわち、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、ロボットに送信する。このような物品操作方法によって、ユーザは、生活空間の複雑な状況において、生活支援ロボットに的確な動作を、容易に実行させることができる。

また、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する問合せを行い、操作. 端末から送信されたユーザの問合せを受けて、サーバが、物品データベースを参照して、ユーザに提供するための情報を生成し、操作端末に送信する。このような物品管理方法によって、ユーザは、生活空間の複雑な状況において、物品についての的確な情報を、容易に取得できる。

—発明の効果—

以上のように本発明によると、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況において、生活支援ロボットに的確な動作を実行させることができ、また、ュ一ザに、物品についての的確な情報を提供できる。したがって、人間の物品操作や物品管理作業を、支援することができる。

(第 2の実施形態）

ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舖及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、その生活空間内の状況を的確にユーザに提示すると共に、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。

本発明による物品取扱いシステムは、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによつて、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行するものである。

この構成によると、操作手段の表示部には操作画面が表示される。この表示部に表示される操作画面は生活空間の実状況に則した仮想空間からなる。ここで、仮想空間が生活空間の実状況に則しているとは、仮想空間の状況と生活空間の実状況とが互いに一致していることである。ユーザは入力部を操作することによつて、上記操作画面の仮想空間内で、ロボットに実行させる作業内容を指定する。こうして、作業内容が指定されれば、上記ロボットは、その作業内容に基づいて生活空間内で物品の取扱い作業を実行する。

このように本発明では、操作画面が生活空間の実状況に則した仮想空間によつて構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。

さらに本発明では、ロボットの作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボットの作業内容を、容易に指定可能になる。

すなわち、ここでの態様 1では、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステムを提供する。

態様 2では、態様 1において、ロボットが実行する作業は、生活空間内での物品の移動作業であることを特徴とする。

態様 3では、態様 2において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、物品の移動作業は、上記物品アイコンの操作によって指定されることを特徴とする。

態様 4では、態様 3において、物品の移動作業は、所望の物品アイコンを仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定されることを特徴とする。

態様 5では、態様 1において、生活空間を撮像する撮像手段をさらに備え、操作画面の仮想空間は、上記撮像手段が撮像した画像のデ一夕によって構成されることを特徴とする。態様 6では、態様 5において、操作画面は、仮想空間を構成する画像のデ一夕と、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデ一夕に対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成されることを特徴とする o

態様 7では、態様 6において、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段をさらに備え、画面マスクデータは、上記センシング手段により検出された物品の位置に基づいて作成されることを特徴とする。

態様 8では、態様 1において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示することを特徴とする。

態様 9では、態様 1において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品に関する情報を表示することを特徴とする。

態様 1 0では、態様 1において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、上記操作画面上で物品アイコンが指定されることによりロボットの作業対象となる物品が指定されたときには、その物品アイコンを強調表示することを特徴とする。

態様 1 1では、態様 1において、操作画面を構成する仮想空間は、その視点が切り替え可能であることを特徴とする。

態様 1 2では、所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置として、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させるものを提供する。態様 1 3では、所定の生活空間内に存在する物品の移動作業を行うロボットを用いた物品取扱い方法として、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品ァイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグァンドドロヅプ操作するステップと、上記生活空間内で上記ロボットが、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含むものを提供する態様 1 4では、態様 1 3において、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含むことを特徴とする。

本発明の第 2の実施形態は、生活空間において、その空間内に存在する物品の取扱い作業を作業ロボヅ卜に実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットが実行する物品の取扱い作業としては種々の作業が考えられるが、本実施形態では、作業口ボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。

本実施形態に係るシステムの構成は、第 1の実施形態で示した図 2と同様である。第 1の実施形態と共通の構成要素については、ここではその詳細な説明は省略する。

まず、表示制御手段 118で作成されて表示部 117 に表示される操作画面について説明する。図 1 5は、操作画面の一例を示しており、この操作画面は、環境の実状況に則した仮想空間によって構成されている。

また、上記仮想空間は、互いに異なる複数の視点を有しており、本実施形態では、図 1 5 ( a ) に示すように、仮想空間を略水平方向に見る視点と、図 1 5 ( b ) に示すように、仮想空間を見下ろす視点との 2つの視点を有している。操作画面を構成する仮想空間の視点は、ユーザが操作端末 103 を操作することによつて切り替えられる。上記操作画面を構成するこれらの仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像デ一夕に基づいて作成される。このように、力メラ画像によつて仮想空間の視点を複数にするには、例えば次のような手法が挙げられる。

一つは、環境内に、複数のカメラを設置することで、各カメラが撮像した画像デ一夕によって仮想空間を構成するものである。例えば、環境（部屋）の側壁と天井とのそれそれにカメラを設置して、側壁に設置したカメラが撮像した画像デ

—夕によって、図 1 5 ( a ) に示す視点の仮想空間を構成する一方、天井に設置したカメラが撮像した画像デ一夕によって、図 1 5 ( b ) に示す視点の仮想空間を構成するようにしてもよい。

もう一つは、環境内の適当な場所に少なくとも一つのカメラを設置し、その力メラ画像を変形合成することによって、任意の視点からの画像（仮想空間）を作成するものである。このようなカメラ画像を用いて任意の仮想的な視点から見た画像を合成する手法は、特許第 3 2 8 6 3 0 6号公報に記載されているため、ここではその詳細な説明は省略する。

本実施形態では、璟境内の側壁に、センシング手段 1 2 0 として設置された力メラが撮像した画像デ一夕（以下これをカメラ視点画像ともいう）によって、図 1 5 ( a ) に示す仮想空間を構成する一方、上記カメラが撮像した画像デ一夕を変形合成した画像データ（以下これを仮想視点画像ともいう）によって、図 1 5 ( b ) に示す仮想空間を構成することとする。このように、操作画面を構成する仮想空間が有する視点の数と、その仮想空間を構成する画像デ一夕を撮像する力メラ視点の数とは一致させる必要はない。

上記操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコン（図 1 5では、バナナが物品アイコンである）とを有している。この物品アイコンは、ユーザが物品であることを認識可能なものであればよく、例えば物品をアニメーション化（イラストレーション化）したアイコンで構成したり、物品を撮像したカメラ画像からその物品の部分を自動又は手動で切り出した画像で構成したりすればよい。

ユーザは、操作端末 103 の入力部 116 の操作によって操作画面内のカーソルを操作し、それによるアイコン操作によってロボッ卜に実行させる作業内容を指定するように構成されている。操作画面上で作業内容を指定する手順については後述するが、本実施形態では、上記物品アイコンは、いわゆるドラッグ操作によつて操作画面を構成する仮想空間内を移動させることが可能に構成されており、口ボット 102 に物品の移動作業を実行させる場合は、上記力一ソルによって仮想空間内の所望の物品アイコンを指定すると共に、仮想空間内の所望の移動先を上記カーソルによって指定することで、移動作業の指定がなされる。尚、環境内に存在する家具等の設備は操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット 102 が取扱い可能な物品である。.

ここで、操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データ、又はその画像デ一夕を変形合成した画像デ一夕であるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像デ一夕（及び変形合成した画像デ一夕）に加えて、仮想空間内における物品アイコンの位置を特定する画面マスクデ一夕を有している。この画面マスクデ一夕は、上記画像デ一夕（仮想空間）に 1対 1に対応するものである。ここで、「1対 1に対応する」とは、両デ一夕の座標値が対応しているという意味である。

図 1 5には、仮想空間（操作画面）を構成する画像のデ一夕に 1対 1に対応した画面マスクデ一夕の例を示す。この画面マスクデ一夕には、操作画面上で物品アイコンが配置される領域に対応して、マスクデ一夕（同図の網掛け部分参照）が設定されており、このマスクデ一夕の座標には物品デ一夕ベースの物品デ一夕 (図 6参照）へのポインタが記載されている。このポインタは、その物品アイコンに係る物品に対応するものであり、これにより、操作画面に含まれる各物品ァイコンが、どの物品を表しているかが判断可能になる。

そして、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。これと共に、物品アイコンの位置が指定されているときには、その座標に記載されたポインタをキーとして物品デ一夕を参照し、それによつて、操作画面上で力一ソルが指している物品アイコンが、どの物品を表しているかを特定する。操作画面を構成する仮想空間を、センシング手段 120 としてのカメラが撮像した画像（図 15 (a)参照）によって構成する場合は、背景差分画像によって、その仮想空間に 1対 1に対応する画面マスクデータを作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。

一方、操作画面を構成する仮想空間を、カメラ画像を変形合成した画像、言い換えると仮想視点画像（図 15 (b)参照）によって構成する場合は、それに 1 対 1に対応する画面マスクデ一夕は、次のようにして作成すればよい。

図 16は仮想視点画像によって構成される操作画面の画像マスクデ一夕を作成するための説明図である。図 16 (b) において、 Owを原点とし X軸、 Y軸、 Z軸で構成された座標系は実世界座標系である。この座標系において、仮想視点 (この仮想視点は環境の天井に対応する）の位置を（xl，yl，zl) で表す。また仮想視点 Oeを原点とする仮想視点座標系を設定する。また、図 16 (a) に示す座標値（X ,γ ,ζ ) は、センシング手段 120 によって検出された物品を構成する領域内の任意の 1点の実世界座標系における座標値である。さらに図 15 (b ) に示す座標値（u ,ν) は、上記座標値（X ,y，ζ ) を仮想視点画像からなる操作画面上に変換したときの座標値である。次式（1) , (2) , (3) はそれぞれ、変換のための式である。

U =—— X_e (2)

f

— y_e (³) ここで式（1) における Rは、仮想視点座標系を構成する 3つの軸周りの回転行列であり、この行列に仮想視点座標系における座標値を乗じることにより、その座標値が実世界座標系における座標値に変換されるように、回転行列の値が設定されている。また式（2) , (3) における: Πま仮想視点の焦点距離を示す。さて、仮想視点画像によつて構成される操作画面の画面マスクデ一夕の作成を、具体的な処理として言い換えると、センシング手段 120 によって得られた物品の占める領域を、仮想視点で見たときに物品の占める領域に変換し、その領域を操作画面上の座標値に変換して、それをマスクデータとするということである。これはすなわち、

1) 実世界座標系の座標値で表された物品領域の点（X ,y ,ζ ) を、式（1) によって仮想視点座標系における座標値（xe,ye,ze) に変換し、

2) 上記変換された座標値（xe,ye,ze) を、式（ 2 ) , (3) によって仮想視点画像からなる操作画面の座標値 (u，v )に変換する

という計算を、実世界座標系の座標値で表された物品領域の全ての点に対して行うことに他ならない。

上記変換により仮想視点画像からなる操作画面の画面マスクデ一夕を作成することができるが、より正確なマスクデ一夕を作成するには、 2) で得られた (u， V )の座標値をプロヅトし、それらを囲む最小の多角形領域をマスクデ一夕としてもかまわない。

尚、本実施形態では、操作端末 103 の表示制御手段 118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ 101 が作成してもよい。この場合、サーバ 101 が作成した操作画面は、ネットワークを介して操作端末 103 に送信し、操作端末 103 は、受信した操作画面を表示部 117 に表示すればよい。また、入力部 116 の操作によって、仮想空間の視点の切り替え操作がされたときには、操作端末 103 からサーバ 101 に、視点切り替え要求信号を送信し、それに応じて上記サーバ 101 が視点を切り替えた操作画面を作成し、これを操作端末 103 に送信するようにすればよい。

一口ボットの作業内容の指定手順一

次に、操作端末 103 の表示部 117 に表示される操作画面上で、ロボット 102 に実行させる物品の移動作業を指定する手順について、 2つの例を挙げて具体的に説明する。

先ず、図 1 7を参照しながら、部屋の床の B 1位置に置かれているバナナを、テーブルの手前側である B 2位置に移動させる場合を例に、ロボット 102 の移動作業の指定手順 ¾説明する。

この移動操作の指定は、操作画面上で、バナナ（物品アイコン）を選択する操作と、この選択したバナナアイコンを、仮想空間内の所望の移動先に移動（ドラヅグ）させると共に、その移動先位置でバナナアイコンをドロヅプする、というアイコンのドラヅグアンドドロップ操作によって行われる。

(操作画面の表示ステップ： P 1001)

操作端末 103 の表示部 117 には、操作画面が表示される。ここでは、操作画面を構成する仮想空間を、カメラが撮像したカメラ視点画像によって構成している。この仮想空間は部屋の実状況に則しているため、操作画面には、部屋内に存在する設備（テーブル等）が表示される。また、部屋内に存在する物品（バナナ等 ) は、物品アイコンとして仮想空間内に配置されている。

ユーザは、操作端末 103 の入力部 116 を操作することにより、操作画面上で力 —ソルを移動させることができる。この力一ソルが物品アイコンを指していると 6 きには、その物品アイコンを強調表示する。具体的に、力一ソルがバナナアイコンを指しているときには、そのバナナアイコンの色を変える、また、図 1 9 ( a ) に示すように、バナナアイコンの輪郭を強調して表示する、さらに、図 1 9 ( b ) に示すように、物品アイコンに対応する物品の名称として、「バナナ」の文字をポップアップ表示する。一方、上記力一ソルがテ一プル等の設備を指していても、これらは物品アイコンではないため強調表示はされない。こうすることでユーザは、操作画面上で、例えばバナナがロボット 102 の取扱い可能な物品であることを認識することができ、ロボットの作業内容の指定が容易になる。その結果、ユーザの利便性が向上する。

尚、物品の名称をポヅプアップ表示する場合は、その物品に関する他の情報を併せて表示するようにしてもよい。例えば、その物品が食料品であれば、賞味期限や品質保持期限、購入年月日等の情報をポップアップ表示してもよい。こうすることで、ユーザは、その情報に応じてロボットに対する作業内容を指定することができる（例えばその物品の移動場所を変える等）。また、その物品に関する情報の内容に応じて、その物品に対するお勧めの作業内容をポップアップ表示してもよい。例えば力一ソルが指している物品アイコン（物品）が、賞味期限切れ間近の食料品であるときには、「当該物品を冷蔵庫内に移動させる」旨の作業内容をポップアップ表示する、等である。

また、カーソルが物品アイコンを指しているときに、物品の領域の色を変えたり、物品の領域の輪郭を強調して表示するだけでなく、その物品を拡大表示するようにしてもよい。また、力一ソルが物品アイコンを指しているときには、例えば「〇〇があります」というように、その物品の名称を音声でユーザに報知してもよい。こうすることで、目の不自由なユーザにも使いやすいシステムとなる。また、ここでは物品アイコンの表示形態をかえるようにしているが、例えば力一ソルが物品アイコンを指しているときには、そのカーソルの形態を変えるようにしてもよい。こうすることでも、その力一ソルが指している物品アイコンが、ロボヅトが取扱い可能な物品であることを、ユーザに認識させることが可能になる o

さらに、ここでは、力一ソルが物品アイコンを指しているときに、物品アイコンを強調表示するようにしているが、例えば、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。特に、ユーザが操作画面における操作を開始する際に、全ての物品アイコンを所定時間だけ強調表示してもよいし、ユーザの要求操作に応じて、全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることで、ユーザは、仮想空間内の物品アイコン、つまり

、ロボット 102 が取扱い可能な物品が、環境内のどこに置かれているかを一目で確認することができる。

(物品の指定操作ステップ： P 1002)

ロボット 102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。この物品アイコンの指定操作がされたときには、「対象物品はバナナでよろしいですか？」等の確認を促す表示を行い、ュ一ザに「O K/キャンセル」の操作を行わせるようにしてもよい。

こうして物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンを強調表示する。この強調表示としては種々の表示形態が考えられるが、例えば、図 1 7に示すように、物品アイコンの色を変える、そのアイコンを塗りつぶす等の、その物品が指定されていることが一目で判るような形態であればどのような表示形態でもよい。但し、対象物品を指定したときの強調表示の形態は、カ^ソルが物品アイコンを指しているときに行う強調表示とは異ならせることが好ましい。これは、その物品がロボット 102 の取扱い可能な物品であることと、その物品がロボット 102 の作業対象として指定されたこととを区別するためである。

(移動先指定ステップ： P 1003)

ロボット 102 に移動させる物品を指定すれば、その物品の移動先を指定する。この移動先の指定は、図 1 7に示すように、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテ一プルの手前側の Β 2位置）に、ドラヅグアンドドロップ操作することによって行う（同図の矢線参照）。この操作が行われたときには、「移動先はここでよろしいですか？」等の確認表示を行つてもよい。「ここ」には具体的な移動先名を明示してもよいし、その場所を強調してもよい。こうして、ユーザによる移動作業の指定が完了することになる。このように、物品の移動作業は、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって指定されるため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。

次に、図 1 8を参照しながら、部屋の床の B 1位置に置かれているバナナを、テ一プルの奥側である B 2位置に移動させる場合を例に、ロボヅト 102 の移動作業の指定手順を説明する。

(操作画面の表示ステップ： P2001)

操作画面の表示ステヅプは、上記の P 1001と同様であり、カメラ視点画像によつて構成された仮想空間からなる操作画面が、操作端末 103 の表示部 117 に表示される。

(物品の指定操作ステップ： P 2002)

物品の指定操作ステヅプも、上記の P 1002と同様であり、物品アイコンをクリヅク操作することによってロボット 102 に移動させる物品を指定する。これにより、指定された物品アイコンは強調表示される。

(視点切り替えステップ： P2003)

ロボット 102 に移動させる物品を指定すれば、その物品の移動先を指定する。ここで、本例では、移動先がテーブルの奥側である: B 2位置であり、カメラ視点画像からなる操作画面には B 2位置が表示されていない。そこで、操作画面を構成する仮想空間の視点を切り替える。

視点の切り替え時には、図 1 8に示すように、操作画面に視点位置にカメラァイコンが表示される。ュ一ザは、このカメラアイコンをクリック操作することによって、操作画面を構成する仮想空間の視点を切り替えることが可能である。尚、ここでは、仮想空間の視点が 2つであるため、カメラアイコンは一つしか表示されないが、仮想空間の視点が 3以上であるときには、各視点位置に対応して、複数のカメラアイコンを操作画面に表示すればよい。

(移動先指定ステツプ： P2004)

仮想空間の視点を切り替えることにより、操作画面を構成する仮想空間は、力メラ画像を変形合成した仮想視点画像に切り替わる。そして、こめ新たな操作画面において、力一ソルの操作により、物品アイコンを仮想空間内の所望の移動先

(ここではテ一ブルの奥側の B 2位置）に、ドラッグアンドドロヅプ操作する（同図の矢線参照）。こうして、ユーザによる移動作業の指定が完了することになる。

このように、操作画面を構成する仮想空間の視点が複数あることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、一般家庭等の生活空間では、設備の配置や物品の置かれる位置の自由度が高く、カメラ画像に死角が生じやすいが、ュ一ザは、口ポットに実行させる作業内容を仮想空間からなる操作画面上で的確に指定することができる。

—ロボットの作業内容の実行制御一

以上のようにして、ュ一ザが操作端末 103 を操作することにより、ロボット 10 2 に実行させる作業内容が指定されれば、操作端末 103 は環境管理サーバ 101 にその作業内容のメッセ一ジを送信する。このメヅセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。尚、操作端末 103 からサーバ 101 に送信する移動先の座標は、操作画面上の座標でもよいし、操作画面上の座標を環境の実世界座標に変換した座標でもよい。

上記サーバ 101 はメッセージを受信したときには、そのメッセ一ジ内容に従つてロボヅト制御コマンド列を生成し、生成したロボット制御コマンド列を上記口ボヅト 102 に送信する。物品の移動作業は、「（物品の位置への）移動」、「（物品の）把持」、「（移動先への）移動 j、「（物品の）開放 j という 4つの作業単位に分解される。従って、上記の例では、ロボット制御コマンド列は、 move.Bl (バナナが置かれている位置 B 1にロボットを移動する）

grab，バナナ（B 1の位置にあるバナナを把持する）

move₅B2 ( (バナナを把持した状態で）移動先である B 2に移動する） release (把持しているバナナを解放する）

となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記 4つの作業単位を一組として、物品の数だけ並べる。作業ロボヅト 1 0 2の制御手段 1 1 5の動作例は、第 1の実施形態の図 1 3に示すとおりであり、ここでは説明を省略する。

こうして、操作端末 103 で指定した作業内容が、ロボット 102 によって実行され、位置 B 1に置かれたバナナが、位置 B 2に移動されることとなる。

上記ロボット 102 が動作をしているときには、操作端末 103 の表示部 117 に表示される操作画面をカメラ画像と連動させることで、そのロボヅト 102 が作業をしている様子を操作画面において映し出すようにしてもよい。こうすることで、ユーザは、指定した作業内容がロボット 102 によって実行されているか否かを操作画面上で確認することができ、例えばロボット 102 が間違った作業をしているときには'、その作業をすぐに中止させることも可能になる。

これに対し、ロボット 102 が動作をしているときには、上記操作画面をロボヅト 102 の動作開始前のカメラ画像で固定してもよい。こうすることで、新たな作業を指定しょうとしても、操作画面内でロボヅト 102 が動作していると指定操作がし難くなる場合があるが、それが解消される。

これらの表示形態の切り替えは、ユーザの指定に応じて切り替えればよい。また、ロボット 102 が動作をしているときには、カメラ画像と連動した操作画面の変更頻度を調節可能にしてもよい。

以上説明したように、本発明による物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱い作業を行うロボット 102 と、操作画面を表示する表示部 117及びユーザが操作をする入力部 116 を有する操作手段（操作端末 10 3 ) とを備え、上記表示部 117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記仮想空間内でロボット 102 に行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボット 102 が上記生活空間内で物品の取扱い作業を実行するものである。

このように本発明では、操作画面が生活空間の実状況に則した仮想空間によつて構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物 1 品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくュ一ザに提示される。

さらに本発明では、ロボット 102 の作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボット 102 の作業内容を、容易に指定可能になる。

また、ロボットが実行する作業が、生活空間内での物品の移動作業であるときに、本発明による物品取扱いシステムでは、操作画面を、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有するものとして、物品の移動作業を、上記物品アイコンの操作によって指定する。

このように、生活空間に存在する物品に対応して物品アイコンを仮想空間内に配置することにより、生活空間内で様々な位置に置かれる物品の中から、ロボットに移動させる物品を容易に指定することが可能になる。また、物品アイコンの操作によってロボット 102 の作業内容を指定することで、的確かつ容易に作業内容を指定可能になる。

また、本発明による物品取扱いシステムでは、物品の移動作業を、所望の物品アイコンを上記仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定する。このためユーザは、物品の移動作業を指定するときには、操作画面の仮想空間内に配置される物品アイコンの中から、所望の物品アイコンを選択すると共に、その選択した物品アイコンを、仮想空間内の所望の移動先にドラヅグアンドドロヅプ操作することになる。この操作によってロボット 102 は、指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する生活空間内の位置に移動させる作業を行うことになる。

このように、指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定されるため、ロボット 102 に実行させる作業内容を極めて容易に指定可能になる。また、本発明による物品取扱いシステムは、生活空間を撮像する撮像手段（センシング手段 1 2 0 としてのカメラ）をさらに備えており、操作画面の仮想空間は、上記撮像手段が撮像した画像のデ一夕によつて構成される。

こうすることで、生活空間の実状況に則した仮想空間を簡便に作成可能になる。尚、仮想空間は、例えばコンピュータグラフィックスによって構成してもよいさらに、本発明による物品取扱いシステムでは、操作画面を、仮想空間を構成する画像のデ一夕と、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデ一夕に対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデ一夕とから構成する o

すなわち、仮想空間を画像のデ一夕によって構成したときに、操作画面上で物品アイコンを操作するには、その画像のどの領域が物品アイコンに対応するかを特定する必要がある。このため、画像のデ一夕と、物品アイコンと、画面マスクデータとから操作画面を構成することにより、画面マスクデータによって、仮想空間内における物品アイコンの位置が特定され、その結果、画像デ一夕から構成される操作画面上で物品アイコンを操作することが可能になる。

本発明による物品取扱いシステムは、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段 1 2 0 をさらに備えている。そして、画面マスクデ一夕は、上記センシング手段 1 2 0 により検出された物品の位置に基づいて作成される。

センシング手段 1 2 0 によって生活空間内に存在する物品の位置を検出すれば、その検出した位置に対応する仮想空間内の位置が特定されるため、仮想空間内における物品アイコンの位置を特定する画面マスクデ一夕が作成可能になる。本発明による物品取扱いシステムのように、一般家庭等の生活空間を対象とするシステムでは、その生活空間内には種々の物品が存在する。例えばその空間に固定 '設置された固定 '設置物等も物品である。しかしながら、こうした固定 - 設置物等は、ロボット 102 によって移動させることができない。このように、生活空間内に存在する物品は、ロボット 102 が取扱い可能な物品と、取扱い不可能な物品とに分けることができるが、仮想空間からなる操作画面には、ロボット 10 2 が取扱い可能な物品と、取扱い不可能な物品との双方が表示される。

そこで、本発明による物品取扱いシステムでは、操作画面上でポインタ（力一ソル）が、ロボット 102 の取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示する、又は、その物品に関する情報を表示する。

こうすることでユーザは、操作画面内に表示される多数の物品の中から、ロボット 102 の取扱い作業可能な物品を容易に特定することができる。それによつて、ロボヅト 102 に実行させる作業内容を容易に指定することが可能になる。尚、ロボヅト 102.の取扱い作業可能な物品と、取扱い作業不可能な物品との分別基準は、その取扱い作業の内容によって異なる。例えば物品の移動作業については、ロボット 102 が移動させることのできない固定 ·設置物や、大型物 .重量物は、ロボッ卜 102 の取扱い作業不可能な物品となり、それ以外の物品はロボヅト 102 の取扱い作業可能な物品となる。

また、そのシステムにおける作業ロボット 102 が変更されたときには、その口ボット 102 の変更に伴い取扱い可能な物品が変更される場合がある。ここで、口ボット 102 の変更には、例えばロボット 102 が新機種に置き換わるというハードウェア上の変更だけでなく、ロボヅト 102 の制御プログラムが変更されるというソフトウェア上の変更も含む。

このように、ロボット 102 の取扱い可能な物品が変更されたときには、そのことをュ一ザに報知すべく、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることでユーザは、ロボット 102 が取扱い可能な物品を、一目で把握することができる。

本発明による物品取扱いシステムは、ロボット 102 の取扱い可能な物品が変更されたときには、そのロボット 102 の取扱い可能な物品に対応する全ての物品ァィコンを強調表示するように構成してもよい。

また、本発明による物品取扱いシステムでは、上記操作画面上で物品アイコンが指定されることによりロボット 102 の作業対象となる物品が指定されたときには、その物品アイコンを強調表示する。

こうすることでユーザは、物品アイコンの指定を確認することができ、これにより、ロボット 102 が誤って指定された物品の取扱い作業を実行してしまうことが、未然に防止される。

本発明による物品取扱いシステムは、上述したように、一般家庭、オフィス、ホテル、店舗及び病院等の生活空間における物品取扱いシステムである。このため、その生活空間内には、例えば家具等の固定，設置物が存在していると共に、ロボットの取扱い作業の対象である物品も様々な位置に存在する。

この場合、操作画面を生活空間の実状況に則した仮想空間から構成するときに、その仮想空間の視点が一つだけに定められていると、例えばその視点からは家具等に隠れて物品が見えない、又は、その物品を所望の移動先に移動させる場合にその移動先が死角になっている、等の問題が生じる。この問題は、工場や倉庫等の産業用のシステムでは通常生じない問題である。なぜなら、産業用のシステムでは、物品が定められた位置に配置されることが多く、さらには、空間の状況を見る視点が一つであっても、死角が生じないようにその空間の状況を予め設定しているためである。

そこで、本発明による物品取扱いシステムでは、上記操作画面を構成する仮想空間は、その視点を切り替え可能にする。

仮想空間の複数の視点が相互に切り替え可能であることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、状況が複雑な生活空間での物品取扱いシステムにおいて、ロボット 102 に実行させる作業内容を操作画面上で的確に指定することが可能になる。

また、本発明によるロボット操作装置（操作端末 103 ) は、所定の生活空間内に存在する物品の取扱い作業を行うロボット 102 の作業内容を指定するための装置である。

上記ロボット操作装置は、操作画面を表示する表示部 117 と、ユーザが操作をする入力部 116 とを備え、上記表示部 117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記仮想空間内でロボット 102 に行わせる作業内容を指定させるものである。

この構成により、上述したように、表示部 117 には、生活空間の実状況に則した仮想空間からなる操作画面が表示される。これにより、生活空間内の複雑な状況が的確にかつ分かりやすくユーザに提示される。

また、ロボット 102 の作業内容の指定は、その仮想空間からなる操作画面において行われるため、ュ一ザは、ロボッ卜 102 の作業内容を容易に指定可能になる ο

本発明による物品取扱い方法は、所定の生活空間内に存在する物品の移動作業を行うロボット 102 を用いた方法である。

そして、上記物品取扱い方法は、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラヅグアンドド口ップ操作するステヅプと、上記生活空間内で上記ロボット 102 が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含む。本発明による物品取扱い方法は、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含む。この視点を切り替えるステップは、上記実施形態では、仮想空間内の所望の移動先に物品アイコンをドラッグアンドド口ヅプ操作するステップの前としたが、これに代えて、又はこれと併せて、所望の物品アイコンを指定するステップの前としてもよい。

—他の実施形態—

尚、本実施形態では、環境管理サーバ 101 が操作端末 103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット 102 に送信するようにしたが、例えば、操作端末 103 が操作画面上で指定された作業内容に応じてロボヅト制御コマンドを作成し、これを作業ロボット 102 に送信するようにしてもよい。

また、本実施形態では、物品取扱いシステムを、環境管理サーバ 101 、ロボヅト 102 、操作端末 103 の 3つのサブシステムからなり、それらサブシステム 101 -103 が無線又は有線等のネヅトワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末 103 が環境管理サーバ 101 に一体となった構成でもよい。

またロボット 102 も 1台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。さらに、本実施形態では、ロボット 102 は物品の移動作業を行うものとし、環境の実状況に則した仮想空間からなる操作画面において、物品アイコンのドラッグアンドドロップ操作により、ロボット 102 の作業内容を指定するようにした。しかし、仮想空間からなる操作画面において指定するロボット 102 の作業内容は、物品の移動作業に限るものではなく、物品の移動を伴わない作業を含め、その他の作業としてもよい。例えば、操作画面上で、ロボット 102 に作業をさせる対象となる物品アイコンを指定したときに、ロボット 102 が実行し得る作業内容をメニュー形式で操作画面に表示し、そのメニューから作業内容を選択させることによって、ロボット 102 に実行させる作業内容を指定するようにしてもよい。

一発明の効果一

以上説明したように、本発明による生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置では、生活空間の実状況に則した仮想空間からなる操作画面が、操作端末（ロボット操作装置）の表示部に表示される。これによりユーザは、生活空間内の複雑な状況を、的確に把握することができる。また、ユーザはこの操作画面上で、ロボットに実行させる作業内容を指定することができる。例えば物品の移動作業を指定するときには、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを操作することにより、例えば仮想空間内の所望の移動先にドラッグアンドド口ップ操作をすることにより、移動作業の指定ができる。このような直感的な操作によって、ロボットに実行させる作業内容が指定できるため、誰もが容易に、作業内容の指定をすることができる。

また、操作画面上で、力一ソルがロボットの取扱い可能な物品アイコンを指しているときには、そのことをユーザに明示する表示がなされるため、ユーザは口ボットに作業させる物品の指定を確実に行うことができる。

さらに、ロボットに作業させる物品（物品アイコン）を指定したときには、操作画面上で、そのことをユーザが認識可能となる表示がされるため、ロボットが誤って指定された物品の取扱い作業を実行してしまうことを、未然に防止することができる。

加えて、操作画面を構成する仮想空間の視点は切り替え可能に構成されているため、例えば、ある視点からは死角になっている物品を、視点を切り替えることで見ることができ、ある視点からは死角になっている位置を、視点を切り替えることで見ることができる。すなわち、操作端末の表示部に、生活空間の複雑な実状況に則した仮想空間内全てを、確実に表示することができる。

また、生活空間の実状況に則した仮想空間を、カメラが撮像した画像デ一夕によつて構成することで、仮想空間を容易に作成することができる。

(第 3の実施形態）

ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、.人が活動を行う生活空間内でロボットに物品の移動作業を実行させる非産業用の物品移動システムにおいて、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。

本発明による物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画 ®上で指定された作業内容に基づいて、上記ロボヅ卜が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。

この構成によると、操作手段の表示部には、操作画面が表示される。操作手段における操作モードが場所アイコン操作モ一ドであるときには、生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示部に表示される。ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する。例えば口ボットに移動させる物品とその物品の移動場所とを指定すべく、操作画面上で、所望の物品アイコンと所望の場所アイコンとをそれぞれ指定する操作を行う。こうして、物品とその移動場所とが指定されれば、上記ロボットは生活空間内で、指定された作業内容に基づいて物品の移動作業を実行する。

一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品ァイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボットが指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボットの作業内容を指定可能になる。

すなわち、ここでの態様 1では、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びュ一ザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ュ一ザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行し、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有することを特徴とする物品移動システムを提供する。

態様 2では、態様 1において、場所アイコン操作モードは、操作画面上で物品アイコンと場所アイコンとをそれそれ指定する操作をすることによって、ロボヅ卜に移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする。

態様 3では、態様 1において、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含み、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、'指定された物品の属性に応じた場所を選択し、ロボットは、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。

態様 4では、態様 1において、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部に表示する仮想空間操作モードをさらに有することを特徴とする。

態様 5では、態様 4において、仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする o

態様 6では、態様 1又は態様 4において、操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部に表示する作用アイコン操作モードをさらに有することを特徴とする。

態様 7では、態様 6において、作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれそれ指定する操作をすることによって、ロボヅトに扱わせる物品と、その物品に施す作用との指定を行うモードであり、上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、口ボットは、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。

態様 8では、態様 2 , 3，及び 7のいずれか 1態様において、操作画面は、物品アイコンを他のアイコンにドラヅグァンドドロップ操作可能に構成されることを特徴とする。

態様 9では、態様 8において、操作画面は、複数の物品アイコンを一括して他のアイコンにドラヅグァンドドロヅプ操作可能に構成されることを特徴とする。態様 1 0では、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システムを提供する。

態様 1 1では、態様 1 , 4， 6及び 1 0のいずれか 1態様において、生活空間内に存在する物品を検出するセンシング手段をさらに備え、操作画面には、上記センシング手段により検出された物品に対応する物品アイコンを含めることを特徴とする。

態様 1 2では、所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボヅト操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードを有するものを提供する。

態様 1 3では、態様 1 2において、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有することを特徴とする。

態様 1 4では、態様 1 2又は態様 1 3において、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有することを特徴とする。

態様 1 5では、所定の生活空間内に存在する物品の移動作業を行うロボッ卜の作業内容を指定するためのロボット操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モ一ドを有することを特徴とする。

本発明の第 3の実施形態は、生活空間において、その空間内に存在する物品の移動作業を作業ロボットに実行させる物品移動システムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品移動システムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットは、移動作業に限らず、種々の物品取扱い作業を実行するものとしてもよいが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。

図 2 0は本実施形態に係る物品移動システムの構成を示すブロック図である。図 2 0では、図 2と共通の構成要素には、図 2と同一の符号を付しており、ここではその詳細な説明を省略する。

ロボヅト 1 0 2は、第 1の実施形態ですでに説明した障害物センサ 1 1 1、把持手段 1 1 2、移動計画作成手段 1 1 3、移動手段 1 1 4および送受信手段 1 0 9に加えて、後述する場所アイコン操作モ一ドでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性に応じて移動場所の選択を行う移動場所 ¾択手段 1 3 0を備えている。制御手段 1 1 5は、これらのセンサ 1 1 1及び各手段 1 0 9， 1 1 2 - 1 1 4 , 1 2 0をコント口一ルする。また、本実施形態では、環境内に存在する各物品に電子タグが付されているとして、把持手段 1 1 2にリーダライ夕を取り付けている。こうすることで、把持手段 1 1 2が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによつて、その把持した物品が何であるかを特定することができる。なお、把持手段 1 1 2に取り付けるリーダライ夕は省略してもよい。

操作端末 1 0 3は、第 1の実施形態ですでに説明した表示部 1 1 7、入力部 1 1 6、表示制御手段 1 1 8、送受信手段 1 0 9に加えて、後述する作用アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性とその物品に対する作用とに応じて移動場所を決定する作用 Z場所変換手段 1 3 1を備えている。制御手段 1 1 9は、これらの各手段 1 0 9 , 1 1 6〜1 1 8， 1 2 1をコントロールする。本システムは、操作端末 103 において、ロボットに実行させる作業内容を指定する操作モードとして、 1 ) 仮想空間操作モード、 2 ) 場所アイコン操作モード、 3 ) 作用アイコン操作モード、の 3つの操作モードを有している。各操作モ一ドは、ユーザが入力部 116 を操作することによって切り替えられる。

各操作モードは、表示部 117 に表示される操作画面上で、ユーザに作業内容を指定させる点は同じであるが、表示部 117 に表示される操作画面の構成が、各モードで互いに異なる。以下、上記 3つの操作モードそれぞれについて順に説明する ο

(仮想空間操作モード）

図 2 1は、仮想空間操作モードにおいて、操作端末 103 の表示部 117 に表示される操作画面の一例を示している。この操作画面は、環境の実状況に則した仮想空間によって構成されている。この操作画面を構成する仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。本実施形態では、上記カメラは、センシング手段 1 2 0 として環境内の側壁に設置されたカメラとされている。

この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図 2 1に示す操作画面には、物品アイコンとして、空き缶（kan_smallj)001) 、レモン（lemon_smal 1—0001) ヽ手帳 (note_small_0001) 、バナナ（banana_s脆 11— 0001) 、紙くず（ tras _small_0001 ) の各アイコンが含まれている。尚、仮想空間操作モードでは、環境内に存在する家具等の設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット 102 が取扱い可能な物品である。

この仮想空間操作モードにおける操作画面では、ユーザは、操作端末 103 の入力部 116 の操作によって操作画面内の力一ソルを操作し、それによつてロボット 10 に実行させる作業内容を指定する。ロボット 102 に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によつて、操作画面を構成する仮想空間内を移動させることが可能に構成されている 63 08019

。このため、物品アイコンと仮想空間内の場所とを堉定するときには、上記力一ソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドド口ヅプ操作する

。これにより、物品とその物品の移動先とが指定されることになる。図 2 1の矢線は、空き缶アイコン（kan— smalし 0001) を、仮想空間内のリサイクル用ゴミ箱 531 に、レモンアイコン（lemon_smalし 0001) 、手帳アイコン（note— small_000 1) バナナアイコン（banana_smalし 0001) を、仮想空間内のテ一ブル 551 に、紙くずアイコン（trash_smalし 0001) を、仮想空間内の一般用ゴミ箱 541 にそれそれドラッグアンドドロヅプ操作するときの操作例を示している。

ここで、仮想空間操作モードの操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像デ一夕であるため、その画像デ一夕のどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像デ一夕に加えて、上記画像データ（仮想空間）に 1対 1に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデー夕を有している。この画面マスクデ一夕には、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデ一夕において同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断するようにしている。また、画面マスクデータにおけるマスクデ一夕の座標には、物品デ一夕ベースの物品デ一夕（図 6 参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポイン夕をキ一として物品デ一夕を参照し、それによつて、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデ一夕は、背景差分画像によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。

そして、この操作画面上で物品アイコンのドラヅグアンドド口ップ操作を行うことにより、物品の移動作業が指定されたときには、操作端末 103 から環境管理サ一バ 101 にその作業内容のメッセージが送信される。このメッセ一ジには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。

上記サーバ 101 はメヅセージを受信したときには、そのメッセージ内容に従つてロボット制御コマンド列を生成し、生成したロボヅト制御コマンド列を上記口ボッ卜 102 に送信する。

ロボット制御コマンド列を受信した作業ロボット 102 の制御手段 115 は、図 1 3に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット 102 は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行することになる。

このように、仮想空間操作モードでは、操作端末 103 の表示部 117 に表示される操作画面が、環境の実状況に則した仮想空間によって構成されると共に、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業が指定される。このため、ユーザは、極めて容易に口ボットに実行させる作業内容を指定することができる。

また、後述する場所アイコン操作モードや、作用アイコン操作モードとは異なり、仮想空間操作モードでは、仮想空間内で、物品の移動先を自由に指定することができる。これにより、ロボットに実行させる作業内容の自由度が高まる。

(場所アイコン操作モード）

図 2 2は、場所アイコン操作モードにおいて、操作端末 103 の表示部 117 に表示される操作画面の一例を示している。

この操作画面には、物品アイコンと、環境内における物品の移動場所を表す場所アイコンとが含まれている。上記物品アイコンは、センシング手段 1 2 0 によつて環境内で検出された物品に対応するものである。すなわち、操作画面に含まれる物品アイコン（それに対応する物品）は、環境内に実際に存在しているものである。物品アイコンは、物品 I Dと対応付けた状態でリスト形式に表示されている。図 2 2に示す操作画面には、物品アイコンとして、空き缶（kan_smalし 00 01) 、レモン (lemon— small— 0001) 、手帳（note_smalし 0001) 、バナナ (banan a smalし 0001) 、紙くず（trash_small_0001) の各アイコンが含まれている。こうすることでユーザは、環境内に存在する物品を一目で認識することが可能になる。尚、環境内に存在する物品が多数であり、一画面内に全ての物品アイコンを表示することができないときにはスクロ一ルバ一を利用すればよい。また、これとは異なる他の方法としては、環境内に存在する物品を、食品、衣類といった力テゴリ一毎に木構造で分類しておき、上位のカテゴリ一から下位のカテゴリ一に階層をたどることで、物品アイコンが表示されるようにしてもよい。

また、物品アイコンは、例えば物品の名称順や、指定される頻度の高い順等に並べ替え可能にしてもよい。さらに、物品の内容に応じて、物品アイコンの表示の順序を自動的に設定するようにしてもよい。例えば、上述したよに、カテゴリ一毎に物品アイコンを表示するときに、そのカテゴリ一が食品である場合は、そこに含まれる物品アイコンを賞味期限の早い順番で表示することをデフォルトで設定しておいてもよい。この場合でも、物品アイコンをその他の基準に従って並び替え可能にすることが好ましい。

また、この物品アイコンは、センシング手段 1 2 0 としてのカメラによって撮像した、物品の実際の画像によって構成してもよいし、その物品の付された電子タグにアイコンデータが記録されているときには、そのアイコンデ一夕を利用してもよい。

場所アイコン操作モードの操作画面に含まれる場所アイコンは、上述したように、環境内における物品の移動場所を表すものであり、例えば、物品が頻繁に移動され得る場所として予め指定しておけばよい。図 2 2に示す操作画面には、場所アイコンとして、ゴミ箱及びテ一ブルの各アイコンが含まれている。ここで、場所アイコンの一つであるゴミ箱アイコンは、環境内に存在する一般用ゴミ箱とリサイクル用ゴミ箱とを包括する包括アイコンとなっている。この包括アイコンとは、環境内に存在する複数の場所を包括して操作画面上に示すアイコンである。尚、図 2 2に示す操作画面に含まれる場所アイコンの一つであるテーブルアイコンは、包括アイコンではなく、環境内のテ一プルそのものを示す場所アイコンである。

場所アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと場所アイコンとをそれそれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。このため、物品アイコンと場所アイコンとをそれぞれ指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の場所アイコン（包括ァイコン）にドラッグアンドドロップ操作する。これにより、物品と、その物品の移動先が指定される。また、この場所アイコン操作モードにおける操作画面では、複数の物品アイコンを一度に所望の場所アイコンにドラッグアンドド口ップ操作可能に構成されている。

次に、場所アイコン操作モードの操作画面における、作業内容の指定手順について、図 2 3を参照しながら説明する。ここでは、空き缶と紙くずとをゴミ箱に移動させる（ゴミ箱に捨てる）作業を指定する場合を例に説明する。尚、同図に示す矢線は、カーソルの移動軌跡を示している。

ロボヅト 102 に移動させる物品は、力一ソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。ここでは、力一ソルを空き缶アイコンの位置に移動させ、その空き缶アイコンをクリック操作する（同図の P 0001参照）。物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンが強調表示される。これによりュ一ザは、どのアイコンが指定されたかを一目で認識可能になる。

ロボット 102 に移動させる別の物品を指定するときには、力一ソルをその別の物品アイコンの位置に移動させて、その物品アイコンをクリック操作する。ここでは、力一ソルを紙くずアイコンの位置に移動させ、その紙くずアイコンをクリヅク操作する（同図の P 0002参照）。このときも指定された物品アイコンが強調表示される。従って、ここでは、空き缶アイコンと紙くずアイコンとが、それそれ強調表示される。尚、さらに別の物品を指定するときには、その物品アイコンをさらにクリック操作すればよい。

こうして、ロボヅト 102 に移動させる全ての物品アイコンを指定すれば、その指定した物品アイコンを、場所アイコンにドラヅグアンドドロップ操作する。このドラッグアンドドロップ操作は、一度行えば指定した全ての物品が操作される。ここでは、空き缶アイコンと紙くずアイコンとを、ゴミ箱アイコンにドラヅグアンドドロップ操作する（同図の P 0003参照）。

こうして、空き缶と紙くずとをゴミ箱（リサイクル用ゴミ箱又は一般用ゴミ箱 ) に移動させるという作業内容が指定されることになる。

このようにしてロボヅト 102 に実行させる作業内容が指定されれば、上述したように、操作端末 103 から環境管理サーバ 101 にその作業内容のメヅセージが送信されると共に、上記サーバ 101 から作業ロボット 102 にロボヅト制御コマンド列が送信される。

そして、上記作業ロボヅト 102 の制御手段 115 は、受信したロボヅト制御コマンドを、図 1 3に示すフローチャートに従って実行する。これにより、操作画面上で指定した物品が指定した場所に移動される。

ここで、場所アイコン操作モードでは、物品の移動先が包括アイユン（上記の例ではゴミ箱アイコン）で指定される場合がある。このように移動先が包括アイコンで指定されたときには、作業ロボット 102 の移動場所選択手段 1 3 0 が、指定された物品の実際の移動先を選択する。

上記作業ロボット 102 の移動場所選択手段 1 3 0 は、ユーザによって指定された物品の属性に応じて、包括アイコンに含まれる移動先の内から、実際の移動先を選択するものである。この移動場所選択手段 1 3 0 には、移動場所選択知識が記憶されており、移動場所選択手段 1 3 0 は、この移動場所選択知識に基づいて移動場所の選択を行う。この移動場所選択知識は、例えば if一 thenルールを利用して記述することができる。具体的に、上記のリサイクル用ゴミ箱と一般用ゴミ箱とを包括するゴミ箱アイコンの例では、

if (移動場所 ==ゴミ箱) {

if (把持物 = リサイクル品) {

移動場所 - リサイクル用ゴミ箱；

}else{

移動場所 =一般用ゴミ箱；

}

と記述することができる。これは、「もし移動場所がゴミ箱に指定されたとき、その移動対象の物品（把持手段 112 が把持した物品）がリサイクル品であれば、上記移動場所のゴミ箱とはリサイクル用ゴミ箱であり、一方、移動対象の物品（把持手段 112 が把持した物品）がリサイクル品でなければ、上記移動場所のゴミ箱とは一般用ゴミ箱である」、という意味である。尚、移動場所選択知識は、 if —thenルールに限らず、その他の記述としてもよい。

本システムでは、上述したように、作業ロボット 102 の把持手段 112 にリーダライ夕が取り付けられている。物品の属性（上記の例では、リサイクル品であるか否か）は、把持手段 112 が物品を把持したときにその物品に取り付けられた鼋子タグの情報を読み取って判定する。 '

図 2 3に示すように、空き缶と紙くずとをゴミ箱に移動させる作業が指定されたときには、作業ロボット 102 は次のようにして指定された作業を実行する（図 2 4参照）。尚、上記空き缶には電子タグが付されている一方、紙くずには電子タグが付されていないものとする。

すなわち、作業ロボット 102 の把持手段 112 が、指定された 2つの物品の内、先ず空き缶 2 4を把持したとする。. このときに、把持手段 112 に取り付けられたリーダライ夕が空き缶 2 4に取り付けられた電子タグから情報を読み取る。その情報に基づいて、作業ロボット 102 の制御手段 115 はその空き缶 2 4がリサイクルゴミであることを認識する。こうして物品の属性が判別されれば、移動場所選択手段 1 3 0 は移動場所選択知識に基づいて移動先を判断する。ここでは、空き缶 2 4がリサイクルゴミであるため、移動先としてリサイクル用ゴミ箱 5 3が選択される。移動先が選択されれば、そのリサイクル用ゴミ箱 5 3の位置まで、空き缶 2 4を把持した状態で上記ロボット 102 が移動する（同図の番号「1」が付された矢線参照）と共に、その空き缶 2 4を解放することによって、空き缶 2 4 をリサイクル用ゴミ箱 5 3に捨てる。

次に、作業ロボット 102 は指定されたもう一つの物品である紙くず 2 3の位置まで移動し（同図の番号「2」が付された矢線参照）、その紙くず 2 3を把持する。このときに、把持手段 112 に取り付けられたリーダライ夕が物品に取り付けられた電子タグから情報を読み取るが、紙くず 2 3には電子タグが取り付けられていないため、情報が得られない。この場合、作業ロボット 102 の制御手段 115 はその紙くず 2 3がー般ゴミであると認識する。移動場所選択手段 1 3 0 は移動場所選択知識に基づいて、紙くず 2 3の移動先を一般用ゴミ箱 5 4に選択する。こうして、上記ロボヅト 102 は、一般用ゴミ箱 5 4の位置まで紙くず 2 3を把持した状態で移動し（同図の番号「3」が付された矢線参照）、そこで紙くず 2 3 を解放する。こうして、その紙くず 2 3を一般用ゴミ箱 5 4に捨てる。

尚、ここでは、把持手段 102 にリーダライタを取り付けて、各物品に取り付けられた電子タグの情報からその物品の属性を判断するようにしたが、例えば物品デ—夕べ—スに蓄積されたデ一夕に基づいて、物品の属性を判断するようにしてもよい。

このように、場所アイコン操作モードでは、操作画面に、環境内に存在する物品に対応する物品アイコンと環境内の特定の場所を示す場所アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の場所アイコンにドラヅグアンドドロヅプ操作することによって、ロボヅ卜に実行させる作業内容を指定することができる。このため、誰もが容易に、ロボットの作業内容を指定することができる。また、場所アイコン操作モードでは、複数の物品アイコンを一度にドラッグァンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、包括アイコンを指定するときには、各物品の属性に応じて移動先が設定されるため、複数の物品ァィコンの一括操作が効果的である。

さらに、場所アイコン操作モードの操作画面には、包括アイコンが含まれるため、この包括アイコンを利用すれば、ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品の属性に適した移動場所に自動的に物品が移動される。特に上述したように、複数のゴミ（空き缶と紙くず）をゴミ箱に捨てるとき等、複数の物品の移動を行いたいときに包括アイコンを利用すれば、一度の操作だけで、各物品の属性を考慮しなくても、属性に応じた移動場所（上記の例ではリサイクル用ゴミ箱と一般用ゴミ箱）に各物品が移動される。こうして、作業内容の指定が、より一層容易になる。また、例えば一般ゴミをリサイクル用ゴミ箱に移動させたり、リサイクルゴミを一般用ゴミ箱に移動させたりする操作ミスがなくなる。このような包括アイコンは、上述したように、一般用ゴミ箱とリサイクル用ゴミ箱と包括するゴミ箱アイコンに限らず、その他の場合にも適用可能である。一例を挙げると、冷蔵室と野菜室と冷凍室とを含む冷蔵庫が環境内に設置されている場合において、その冷蔵室、野菜室及び冷凍室の 3つの場所を包括する包括ァイコンとして、冷蔵庫アイコンを操作画面に表示してもよい。つまり、食品を冷蔵庫に保存する際には、その食品の属性（種類）に応じて、冷蔵室、野菜室及び冷凍室を選択して保存するが、操作画面上に包括アイコンとしての冷蔵庫アイコンを含めておく。このことで、その冷蔵庫アイコンに物品アイコンがドラッグァンドドロヅプ操作されたときには、その物品アイコンに対応する物品の属性に応じて、移動場所選択手段 1 3 0 は、その物品が冷凍食品であれば冷凍室を選択し、その物品が野菜であれば野菜室を選択し、その他であれば冷蔵室を選択する。こうして、ユーザが具体的に指定しなくても、物品に適した場所（室）にその物品が保存されることになる。

尚、上記の場所アイコン操作モードでは、操作画面に包括アイコン（ゴミ箱ァイコン）を含めていたが、例えば図 2 5に示す操作画面のように包括アイコンを用いずに、環境内の実際に場所（リサイクル用ゴミ箱と一般用ゴミ箱）に対応するリサイクル用ゴミ箱アイコンと一般用ゴミ箱アイコンとをそれそれ、操作画面に含めてもよい。

この操作画面で、ロボット 102 に空き缶と紙くずとをゴミ箱に移動させる作業を指定する場合は、空き缶アイコンをリサイクル用ゴミ箱アイコンにドラッグァンドドロヅプ操作し、紙くずアイコンを一般用ゴミ箱アイコンにドラヅグァンドドロップ操作すればよい（同図の矢印参照）。

(作用アイコン操作モード）

作用アイコン操作モードは、物品に施す作用を指定するモードであり、これによりロボット 102 は、その物品を、指定された作用に応じた移動先に移動する作業を実行する。物品に施す「作用」とは、例えば物品を「捨てる」ということであったり、物品を「片付ける」ということであったり、物品を「保存する」ということであったりする。そして「作用に応じた移動先」とは、具体的に例を挙げて説明すると、物品が「リサイクルゴミ」であり、それに対する作用が「捨てる」であるときには、作用に応じた移動先は「リサイクル用ゴミ箱」となる。また、物品が「食器」であり、それに対する作用が「片付ける」であるときには、作用に応じた移動先は「台所」となる。つまり、「作用に応じた移動先」は、その物品の属性に基づいて決定されることになる。

図 2 6は、作用アイコン操作モードにおいて、操作端末 103 の表示部 117 に表示される操作画面の一例を示している。この操作画面には、物品アイコンと、物品に施す作用を表す作用アイコンとが含まれている。

上記物品アイコンは、上記場所アイコン操作モードの操作画面（図 2 2参照）に表示される物品アイコンと同じである。図 2 6に示す操作画面には、物品アイコンとして、空き缶（kan_smalし 0001) 、積み木（toy_small_0001) 、グラス（ glass_smalし 0001) 、 Tシャツ（tshirts_smalし 0001) 、紙くず（trash_smalし 0001) の各アイコンが含まれている。

作用アイコン操作モードの操作画面に含まれる作用アイコンは、物品に施す作用を表すものである。図 2 6に示す操作画面には、作用アイコンとして、「捨てる」アイコンと、「片づける」アイコンとが表示されている。

この作用アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと作用アイコンとをそれそれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラヅグ操作によって、操作画面内を移動させることが可能に構成されている。物品の移動作業を指定するときには、上記力一ソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作する。これにより、物品と、その物品に施す作用とが指定される。

また、この作用アイコン操作モードにおける操作画面でも、複数の物品アイコンを一度に所望の作用アイコンにドラッグアンドドロヅプ操作可能に構成されている。これにより、ユーザによる作業内容の指定操作を簡便にしている。

尚、図 2 6に示す矢線は、空き缶（kan_small_0001) 、紙くず（trash_small— 0001) を、「捨てる」アイコンに、積み木（toy_si0alし 0001) 、グラス（glass_ smalし 0001)、 Tシャヅ（tshirts_smalし 0001) を「片づける」アイコンにそれそれドラッグアンドドロヅプ操作するときの操作例を示している。このようにしてロボット 102 に実行させる作業内容が指定されれば、上述したように、操作端末 103 は環境管理サーバ 101 にその作業内容のメヅセ一ジを送信するが、作用アイコン操作モードでは、メッセ一ジを送信する前に、操作端末 10 3 の作用/場所変換手段 1 3 1 が、指定された物品の移動先を、指定された作用に応じて決定する。

上記作用 Z場所変換手段 1 3 1 には、例えば図 2 7に示すような、作用/場所変換テーブルが保存されており、作用/場所変換手段 1 3 1 は、この作用 Z場所変換テ一ブルに基づいて、指定された物品の移動先を決定する。作用/場所変換テーブルは、作用アイコン名の列、物品属性の列、移動場所の列からなる。

ここで、この作用 Z場所変換手段 1 3 1 における処理を、図 2 6に示す操作画面上で指定されたように、積み木、グラス及び Tシャヅを「片づける」と指定された場合を例に、説明する。

操作画面上で、物品とそれに対する作用とが指定されれば、上記作用/場所変換手段 1 3 1 は先ず、作用/場所変換テーブルにおける作用アイコン名の列から、指定された作用アイコンを選択する。尚、指定された作用アイコンがテーブルに存在しないときには、その旨をユーザに報知して処理を終了すればよい。ここでは、物品に対する作用として「片づける」が指定されたため、図 2 7に示す作用 Z場所変換テーブルの作用アイコン名の列から、「片づける」の行を選択する。「片づける」は、作用アイコン名の列の上から 2行目である。

次に、指定された物品アイコンに対応する物品の属性を特定し（例えば、物品デ一夕ベースに蓄積されている情報に基づいて特定すればよい）、作用/場所変換テーブルにおける物品属性の列から、その物品の属性と一致する属性、又はその物品の属性を含む属性（上位概念属性）を選択する。この「物品の属性を含む上位概念属性」とは、具体例を挙げて説明すると、物品の属性が「グラス」のときには、その属性は上位概念属性である「食器」に含まれる、という意味である。こうした上位概念属性と、物品の属性との関係は、例えば、木構造（階層構造 ) 等で構成して、作用 Z場所変換手段 1 3 1 に予め記憶しておけばよい。尚、作用/場所変換テ一ブルにおける物品属性の列に、「*」と記されているものは、物品の属性を問わない（どんな物品でも良い）ことを示す。ここで指定された物品は「グラス」であるため、物品属性の列から、その「グラス」の上位概念属性である「食器」の行を選択する。

こうして、作用アイコンと物品属性とが決定されることにより、作用 z場所変換テ一プルにおける場所の列で、その物品の移動場所が決定されることになる。尚、この場所の列において、「―」と記されているものは、移動場所が決定できない（適当な場所が無い）ことを意味する。この場合は、その旨をユーザに報知して処理を終了すればよい。ここで、場所の列における「食器」の行に対応する行を参照すると「台所」であるため、「食器」の移動先は「台所 J に決定されるまた、指定された別の物品「積み木」を含む上位概念属性は、「玩具」であるため、場所の列において「玩具」の行に対応する行は「押入」であり.、「玩具」の移動先は「押入」に決定される。さらに、指定された別の物品「丁シャヅ」の上位概念属性は「衣類」であるため、場所の列において、その「衣類」の行に対応する行は「洗濯かご」であり、「τシャツ」の移動先は「洗濯かご」に決定され ο

図 2 7に示す作用 Ζ場所変換テーブルは、比較的簡単な構成のものであるが、作用ズ場所変換テーブルには、例えば図 2 8に示すように、さらに複雑な条件分岐を入れてもよい。この図 2 8に示す作用/場所変換テーブルでは「片付ける」という作用を「衣類」に施す場合に、その衣類の移動場所が 2つ存在し、その衣類の条件に応じて、移動場所が決定されるように構成されている。具体的には、その衣類が使用後であるときには、物品属性の列において「衣類（使用後）」の行が選択され、それによつて、その使用後の衣類の移動場所が「洗濯かご」に決定される。一方、その衣類が使用後でないときには、物品属性の列において「衣類（* ) 」の行が選択され（尚、「*」は衣類に設定されたいずれの条件にも適合しないことを示す）、それによつて、その衣類の移動場所が「洋服夕ンス」に決定される。尚、物品の条件（上記の例では、使用後の衣類であるという条件）は、物品デ一夕ベースに蓄積されているその物品の物品履歴デ一夕を参照することによって判断可能である。

このようにして作用 Ζ場所変換手段 1 3 1 が、指定された物品の移動先を、指定された作用に応じて決定すれば、操作端末 103 からサーバ 101 に作業内容のメヅセージが送信されると共に、上記サーバ 101 から作業ロボット 102 にロボット制御コマンド列が送信される。

そして、上記作業ロボット 102 の制御手段 115 は、受信したロボヅト制御コマンドを、図 1 3に示すフローチャートに従って実行することになる。

このように、作用アイコン操作モ一ドでは、操作画面に物品アイコンと作用ァイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作することによって、ロボヅトに実行させる作業内容を指定することができる。ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品に施す作用を指定するだけでよい。こうすることで、物品の属性と作用とに基づいて、最適な移動場所に自動的に物品が移動されため、誰もが容易に、ロボットの作業内容を指定することができる。

また、作用アイコン操作モードでも、複数の物品アイコンを一括してドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、作用アイコン操作モードでは、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。

ところで、作用アイコン操作モードでは、物品とそれに対する作用との関係で、適切な移動場所が存在せず、ユーザが指定した作業内容を実行することができない場合も生じ得る。そこで、作用アイコン操作モードでは、その操作画面を次のように構成してもよい。

すなわち、操作端末 103 の表示部 117 に表示する操作画面には、先ず、物品ァイコンのみを表示し、作用アイコンは表示しない。そして、物品アイコンがユーザの操作により指定されたときに、作用 Z場所変換手段 1 3 1 が、作用 Z場所変換テーブルを参照することにより、その指定された物品アイコン（物品）に対してロボットが行い得る作用を選択し、その選択した作用アイコンを操作画面に表示する。ユーザは、操作画面に表示された作用アイコンに、指定した物品アイコンをドラッグァンドドロップ操作することにより、作業内容の指定を行う。

またこれとは異なり、操作端末 103 の表示部 117 に表示する操作画面には、物品アイコンと作用アイコンとの双方を表示する一方で、物品アイコンがユーザの操作により指定されたときに、その指定された物品に対してロボット 102 が行い得る作用を表す作用アイコンのみを、操作画面に表示し、ロボヅト 102 が行い得ない作用を表す作用アイコンは、操作画面に表示しないように.してもよい。また、ロボット 102 が実行し得ない作用を表す作用アイコンを、操作画面上で薄暗く表示することで、その作用が選択不可能であることをユーザに報知してもよい。その作用アイコンが選択不可能であることをユーザが認識可能であれば、どのような表示形態であってもよい。ユーザが、ロボット 102 が実行し得ない作用を表す作用アイコンに、物品アイコンをドラッグアンドドロップ操作したときには、「操作不可能」等のメッセージを操作画面上に表示してもよい。例えば物品デ一夕ベースに、各物品について、ロボット 102 が施すことの可能な作用を予め蓄積しておくことで、作用アイコンの表示 ·非表示を行うことが可能になる。

このようにして、ユーザが指定した作業内容をロボット 102 が実行できないということを、未然に防止することができる。

そして、本システムでは、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの 3つの操作モードを有することで、指定する作業内容に応じて、操作モードを使い分けることができ、物品移動システムの利便性が问よ ' 。

尚、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モ —ドの 3つの操作モードは、ユーザの要求に応じて切り替えるとしたが、これら 3つの操作モードは選択的に実行しなくてもよい。例えば、仮想空間操作モードで表示される操作画面と、場所アイコン操作モードで表示される操作画面又は作用アイコン操作モードで表示される操作画面とを、操作端末 103 の表示部 117 に並べて表示してもよい。また、場所アイコン操作モードで表示される操作画面と作用アイコン操作モードで表示される操作画面とを、操作端末 103 の表示部 117 に並べて表示してもよい。

尚、本実施形態では、操作端末 103 の表示制御手段 118が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ 101 が作成してもよい。この場合、サーバ 101 が作成した操作画面は、ネットワークを介して操作端末 103 に送信し、操作端末 103 は、受信した操作画面を表示部 117 に表示すればよい。また、入力部 116 の操作によって、操作モードの切り替え操作がされたときには、操作端末 103 からサーバ 101 に、モード切り替え要求信号を送信し、それに応じて上記サーバ 101 が指定された操作モード用の操作画面を作成し、これを操作端末 103 に送信するようにすればよい。

以上説明したように、本発明による物品移動システムは、所定の生活空間（環境）内に存在する物品の移動作業を行うロボット 102 と、操作画面を表示する表示部 117及びュ一ザが操作をする入力部 116 を有する操作手段（操作端末 103 ) とを備え、上記表示部 117 に操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記操作画面上で、上記ロボヅト 102 に行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボット 10 2 が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部 117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。

一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品ァイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボット 102 が指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボット 102 の作業内容を指定可能になる o

本発明では、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含むものであり、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボット 102 は、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。生活空間内にリサイクルゴミ用のリサイクル用ゴミ箱と、一般ゴミ用の一般用ゴミ箱との 2つのゴミ箱（場所）が存在したときに、操作画面に場所アイコンのみ（リサイクル用ゴミ箱のアイコンと、一般用ゴミ箱のアイコンと）が含まれるときには、例えば、生活空間内のゴミをゴミ箱に捨てる作業をロボット 102 に実行させるときに、ュ一ザは、そのゴミが、リサイクルゴミであるか一般ゴミであるかを判別した上で、リサイクル用ゴミ箱のアイコンか、一般用ゴミ箱のアイコンかのいずれか一方を指定する操作をしなければならない。

これに対し、これら 2つのゴミ箱を包括する包括アイコンとして、ゴミ箱アイコンを操作画面に含める。そして、操作画面上で物品アイコンと、そのゴミ箱ァイコンとが指定操作されたときには、その物品の属性に応じて、リサイクルゴミの物品アイコンが操作されたときには、リサイクル用ゴミ箱を選択し、一般ゴミの物品アイコンが操作されたときには、一般用ゴミ箱を選択する。

こうして、包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択すれば、ロボット 102 は、生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。

このように包括アイコンを操作画面に含めることで、ユーザは、ゴミの属性を考慮しなくても、「ゴミをゴミ箱に捨てる（移動させる）」という作業内容を、操作画面上で指定するだけで、ロボット 102 が、指定されたゴミを、その属性に応じたゴミ箱に捨てる作業を実行する。このように包括アイコンを用いることで、ユーザによる作業内容の指定が、より一層容易になる。

本発明による物品移動システムは、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部 117 に表示する仮想空間操作モードをさらに有する。

このように、操作画面を生活空間の実状況に則した仮想空間によつて構成することにより、一般家庭等の生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品アイコンが配置される。このことにより、生活空間内で様々な位置に置かれる物品の中から、ロボット 102 に移動させる物品を容易に指定することが可能になる。そして、ロボット 102 の作業内容をこの仮想空間内で指定することで、複雑な状況下の生活空間内におけるロボット 102 の作業内容を、容易に指定可能になる。

そして、場所アイコン操作モードと、仮想空間操作モードとの 2つの操作モ一ドを有することで、ロボット 102 に実行させる作業内容に応じて操作モードを使い分け可能になる。その結果、簡単な操作でロボヅト 102 に所望の作業を確実に実行させることが可能になる。

本発明による物品移動システムは、上記操作手段における操作モ一ドとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部 117 に表示する作用アイコン操作モードをさらに有する。すなわち、作用アイコン操作モードの操作画面には、場所アイコン操作モードの操作画面に含まれる場所アイコンに代わって、物品に施す作用を示す作用アイコンが含まれる。

そして、この作用アイコン操作モ一ドでは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作がされることによって、ロボット 102 に扱わせる物品と、その物品に施す作用との指定が行われ、物品と、その物品に施す作用との指定が行われれば、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択する。従って、作用アイコン操作モードでは、例えば、指定された物品が「積み木（玩具）」であり、指定された作用が「片付ける」であったときには、「押入れ」がその移動場所として選択される。また、指定された物品が「グラス（食器）」及び「Tシャツ（衣類）」であり、指定された作用が「片付ける」であったときには、「グラス」については「台所」がその移動場所として選択され、「Τシャツ」については「洗濯かご」がその移動場所として選択される。さらに、指定された物品が「空き缶（リサイクルゴミ）」であり、指定された作用が「捨てる」であったときには、「リサイクル用ゴミ箱」がその移動場所として選択される。

こうして移動場所が選択されれば、ロボット 102 は、指定された物品を、上記選択した場所に移動する作業を実行する。このように、作用アイコン操作モードでは、操作画面上で、物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、口ボット 102 によって選択された移動場所に移動される。このため、ユーザは具体的な移動場所を指定する必要がない。その結果、ユーザによる作業内容の指定が、極めて容易になる。

そして、場所アイコン ί喿作モードと作用アイコン操作モードとの 2つの操作モ ―ド、又は場所アイコン操作モードと作用アイコン操作モ一ドと仮想空間操作モードとの 3つの操作モードを有することで、ロボヅト 102 に実行させる作業内容に応じた操作モ一ドの使い分けが可倉になる。

また本発明による物品移動システムは、操作画面上で物品アイコンを、他のァイコン（場所アイコン又は作用アイコン）にドラッグアンドドロヅプ操作することによって、ロボット 102 に移動させる物品と、その物品の移動場所又はその物品に施す作用との指定が行われる。このように、物品アイコンのドラッグアンドドロヅプ操作という、直感的な操作によって、操作画面上でロボヅト 102 の作業内容の指定がなされる。これにより、ロボット 102 の作業内容の指定がより一層谷 (こ ¾:る。

さらに仮想空間操作モ一ドを、所望の物品アイコンを仮想空間内の所望の場所にドラッグアンドド口ヅプ操作することによって、ロボット 102 に移動させる物品と、その物品の移動場所との指定を行うモードとすることにより、物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定可能になる。このため、ロボヅト 102 に実行させる作業内容を極めて容易に指定可能になる。さらに、場所アイコン操作モードとは異なり、仮想空間操作モードでは、物品を移動させる移動場所の指定を仮想空間内で行うことになるため、移動場所を自由に指定可能になる。本発明による物品移動システムでは、場所アイコン操作モードや、作用アイコン操作モードの操作画面は、複数の物品アイコンを一括してドラヅグァンドド口ヅプ操作可能に構成される。そして、複数の物品アイコンを、一括して場所アイコンにドラヅグァンドドロヅプ操作したときには、各物品がその場所アイコンで示される場所に移動される。また、複数の物品アイコンを、一括して包括アイコンにドラヅグアンドドロヅプ操作したときには、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。さらに、複数の物品アイコンを、一括して作用アイコンにドラヅグアンドドロップ操作したときにも、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。こうして、複数の物品アイコンを一括してドラッグアンドドロヅプ操作可能にすることにより、ユーザによる作業内容の指定がより簡便化される。

本発明による他の物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボット 102 と、操作画面を表示する表示部 117及びユーザが操作をする入力部 116 を有する操作手段（操作端末 103 ) とを備えるものである。そして、上記物品移動システムは、上記表示部 117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記操作画面上でロボット 102 に扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の塲所を選択し、上記ロボット 102 が上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行するものである。

この構成によると、上述したように、ユーザは、操作画面上で、物品とその物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボヅト 102 によって選択された移動場所に移動される。このように、ユーザは具体的な移動場所を指定する必要がないため、ユーザによる作業内容の指定が容易になる。

本発明による物品移動システムは、生活空間内に存在する物品を検出するセンシング手段 1 2 0 をさらに備え、操作画面には、上記センシング手段 1 2 0 により検出された物品に対応する物品アイコンを含めるものである。

本発明によるロボット操作装置（操作端末 103 ) は、所定の生活空間内に存在する物品の移動作業を行うロボット 102 の作業内容を指定するための装置であり、上記ロボット操作装置は、操作画面を表示する表示部 117 と、ユーザが操作をする入力部 116 とを備え、上記表示部 117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記操作画面上でロボット 102 に行わせる作業内容を指定させる場所アイコン操作モードを有するものである。

これにより、上述したように、ロボット 102 の作業内容の指定は、操作画面上で、物品アイコンと場所アイコンとを指定することによって行われるため、誰もが容易に、ロボット 102 の作業内容を指定可能になる。

また、本発明によるロボット操作装置は、その表示部 117 に、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部 116 を操作させることによって、上記仮想空間内でロボット 102 に行わせる作業内容を指定させる仮想空間操作モードをさらに有する。

さらに、本発明によるロボヅト操作装置は、その表示部 117 に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ュ一ザに上記入力部 116 を操作させることによって、上記操作画面上でロボッ卜 102 に行わせる作業内容を指定させる作用アイコン操作モードをさらに有する。

本発明による他のロボット操作装置は、操作画面を表示する表示部 117 と、ュ —ザが操作をする入力部 116 とを備え、上記表示部 117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ュ一ザに上記入力部 116 を操作させることによって、上記操作画面上でロボヅト 102 に行わせる作業内容を指定させる作用アイコン操作モードを有するものである。

この構成により、上述したように、ロボット 102 の作業内容の指定は、操作画面上で、物品とその物品に対する作用を指定することだけでよいため、ロボット 102 の作業内容が容易に指定可能になる。

一他の実施形態—

尚、本実施形態では、環境管理サーバ 101 が操作端末 103 からの作業内容メヅセージに応じてロボット制御コマンドを作成し、これを作業ロボット 102 に送信するようにしたが、例えば、操作端末 103 が操作画面上で指定された作業内容に応じてロボヅト制御コマンドを作成し、これを作業ロボヅト 102 に送信するようにしてもよい。

また、本実施形態では、物品移動システムを、環境管理サーバ 101 、ロボヅト 102 、操作端末 103 の 3つのサブシステムからなり、それらサブシステム 101 〜 103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品移動システムはこの構成に限らず、例えば操作端末 10 3 が環境管理サーバ 101 に一体となった構成でもよい。

またロボット 102 も 1台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。

さらに、本システムでは、移動場所選択手段 1 3 0 を 2番目のサブシステムである作業ロボット 102 に設けたが、この移動場所選択手段 1 3 0 は、， 1番目のサブシステムである環境管理サーバ 101 に設けてもよいし、 3番目のサブシステムである操作端末 103 に設けてもよい。

また、作用/場所変換手段 1 3 1 を操作端末 103 に設けたが、この作用 Z場所変換手段 1 3 1 は、環境管理サ一バ 101 に設けてもよいし、作業ロボヅト 102 に設けてもよい。

さらに、本システムでは、操作モードとして、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モ一ドの 3つの操作モ一ドを有しているが、例えば、これら 3つの操作モードの内のいずれか 2つの操作モードだけを有していてもよいし、場所アイコン操作モード及び作用アイコン操作モードのいずれか一方のみを有していてもよい。

—発明の効果一

以上説明したように、本発明による生活空間用の物品移動システム、及びロボヅト操作装置では、場所アイコン操作モードにおいては操作端末（ロボヅト操作装置）の表示部に、生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、ロボットに移動させる物品と、その移動先とを指定することができる。このため、誰もが容易に、作業内容の指定をすることができる。また、操作画面に包括アイコンを含めることで、ユーザは、具体的な移動先を指定しなくても、物品の属性に適した移動先に、所望の物品を移動させることができる。

また、仮想空間操作モードでは、生活空間の実状況に則した仮想空間からなる操作画面が操作端末の表示部に表示され、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、仮想空間内の場所とを指定操作するという、直感的な操作によって、物品とその移動先とを指定することができる。また、仮想空間操作モードでは、物品の移動先を仮想空間内で自由に指定することができる。

作用アイコン操作モードでは、操作端末（ロボット操作装置）の表示部に、物品アイコンと場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、物品と、その物品に施す作用とを指定することができる。そして、指定された作用と、物品の属性とに応じて、その物品が所定の移動先に移動される。これにより、ユーザは作業内容の指定を極めて容易に行うことができる。

そして、これら複数の操作モードを有することにより、ロボヅトに実行させる作業内容に応じて操作モードを使い分けることができ、物品移動システムの利便性を向上させることができる。

(第 4の実施形態）

ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボッ卜に物品の移動作業を行わせる際に、移動対象物品を指定された位置に適切な状態で設置することにある。

本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデ一夕ベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボヅトと、前記デ一夕ベースの情報に基づいて、前記作業ロボ、ソトによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである

上記物品管理システムによれば、移動対象物品は設置位置付近の他の物品の状況に応じた姿勢で設置されることになり、物品を整理する場合や、場所を効率的に使用するなど、適切な状態に設置される。

また、本発明に係る物品管理システムは、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記物品操作手段と、前記作業ロボットと、前記デ一夕ベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである。

上記物品管理システムによれば、移動対象物品は設置位置付近の状況に応じた姿勢で設置されることになり、適切な状態に設置される。

また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前言 3設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。

上記物品管理システムによれば、指定された設置位置が他の物品に占有されている場合等において、移動対象物品を無理に他の物品と重ねて設置することが防止され、移動対象物品は適切な状態に設置される。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができるまた、本発明に係る物品管理システムは、前記デ一夕ベースと、前記物品操作手段と、前記作業ロボットと、前記デ一夕ベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。

上記物品管理システムによれば、移動対象物品を他の物品の上に積載できる場合には、そのように積載することにより、移動対象物品を適切な状態に設置することができる。

また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記デ一夕ベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである上記物品管理システムによれば、設置位置として移動対象品が設置できないような位置が指定された場合であっても、移動対象物品を指定位置付近の設置可能な位置に設置することができる。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができる。

なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる o

また、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間を言う。

すなわち、ここでの態様 1では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデ一夕ベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものを提供する。

態様 2では、態様 1において、前記データベースは、物品の種類及び形状の少なくとも一方の情報と、物品の位置及び姿勢の情報とを有し、前記設置姿勢決定手段は、前記移動対象物品と種類及び形状の少なくとも一方が同一又は類似する同一類似物品が前記設置位置付近に存在するか否かを判断し、存在する場合には前記移動対象物品の設置姿勢を前記同一類似物品の姿勢に合わせる。

態様 3では、態様 2において、前記設置姿勢決定手段は、移動先に指定された設置位置がゴミ箱内である場合には、前記移動対象物品の設置姿勢を前記ゴミ箱内の他の物品の姿勢に合わせないように決定する。

態様 4では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する。

態様 5では、態様 4において、前記設置姿勢決定手段は、前記設置位置の設置スペースが限られているときには、前記移動対象物品の姿勢を前記移動対象物品が前記設置スペースに収まるように決定する。

態様 6では、態様 4において、前記設置姿勢決定手段は、前記移動対象物品の設置姿勢を前記移動対象物品が前記設置位置において安定する姿勢に決定する。態様 7では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記デ一夕ベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならな、位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。態様 8では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記デ一夕ベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する態様 9では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記デ一夕ベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。本発明の第 4の実施形態は、居住空間内に存在する物品を管理する物品管理システムに関するものである。ここで、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間をいう。

図 2 9は本実施形態に係る物品管理システム 1 0 0の全体構成の例を示したブロック図である。図 2 9では、図 2と共通の構成要素には、図 2と同一の符号を付しており、.ここではその詳細な説明を省略する。

物品移動体データベース 1 0 6及び環境マップ 1 0 8は、本発明でいうところの「デ—夕べ—ス」を構成している。また、本実施形態における環境とは、いわゆる居住空間を意味する。

また、マヅプ情報は、部、屋ゃ家具など、通常ほとんど移動しない物体（不動物体）の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）を言う。領域情報は、座標系表示、座標系と形状とによる表示などにより表される。

図 3 0は本実施形態に係る物品移動体検索 ·管理手段 1 0 5の基本構成を概念的に示すブロック図である。図 3 0の物品移動体検索 ·管理手段 1 0 5は、前記物品移動体データべ一ス 1 0 6に登録されている物品が移動体によって操作されていることを検出する物品操作者検出手段 4 0 1と、物品操作者検出手段 4 0 1 により検出された、操作物品を操作している移動体の情報を取得する移動体情報取得手段 4 0 2とを備えている。

物品操作者検出手段 4 0 1は、センシング手段 1 2 0を利用することにより、物品が移動体によって操作されていることを検出する。例えば、前述のようにセンシング手段 1 2 0が背景差分法を利用している場合には、入力画像とモデル画像とを比較し、経時的に差のある部分が生じたときに、その領域で物品が操作されていると推定する。もちろん、物品操作者検出手段 4 0 1による検出方法は上記方法に限ったものではなく、例えば電子タグを使ってもかまわない。

移動体情報取得手段 4 0 2は、物品が移動体によって操作されていることを物品操作者検出手段 4 0 1が検出したときに、その物品を操作している移動体の情報を取得する。例えば、前述のようにセンシング手段 1 2 0としてカメラを利用している場合、操作の行われた領域の画像をカメラで取得し、その画像に対して顔認証処理を行なう。こうして同定された移動体は、物品が操作された際にその近傍にいたと考えられるので、この移動体を操作者と推定する。もちろん、背景差分法では通常、広域を撮影するカメラを利用するため、顔認証を行なうには解像度が足りない場合もある。そこで、背景差分法のためのカメラとは別に顔認証用に狭角の高分解能カメラを設置し、物品操作者検出手段 4 0 1によって物品の操作が検出された領域に上記狭角カメラを向けて、認証を行なうようにしてもよい。もちろん、移動体の同定を行なう方法は顔認証に限ったものではなく、虹彩認証などであっても構わない。また、認証まで行なわず、操作が行なわれている領域の画像をカメラで撮影し、その画像を他の手段で利用するようにしてもよい。これらの画像を、認証がうまくいかなかったときにのみ利用するようにしてもよい。

センシング手段 1 2 0として電子タグを用いる場合には、図 5のように、タグリ一ダライ夕を適宜配置することにより、物品及び移動体の情報を収集することができる。また、特定の場所での物品の操作を管理する場合、夕グリーダライタを特定の場所に配置することにより、物品情報と移動体情報とを取得することが望ましい。

このようなタグリーダライ夕を利用する場合、物品とー緖にドァゃ窓を通過した移動体の情報を、その物品の持出者として物品移動体データベース 1 0 6に蓄積していくことが望ましい。このことにより、物品の持出者の管理を自動的に簡単な処理で行うことができる。

<物品移動体データべ一ス>

図 3 1は物品移動体デ一夕べ一ス 1 0 6の構成とデ一夕の記載内容例を示した概念図である。物品移動体デ一夕べ一ス 1 0 6は、大別すると、物品を扱うデー夕べ一ス（図 3 1 ( a) 参照）と移動体を扱うデータベース（図 3 1 ( b) 参照 ) とからなる。

物品を扱うデ一夕べ一スは、各々種類の異なるデータを蓄積する 3種類のサブデータベース、すなわち物品デ一夕 3 0 1と物品履歴データ 3 0 2と物品属性デ —夕 3 0 3とをそれぞれ蓄積するデ一夕ベースからなり、それぞれのデ一夕内容は下記の通りである。

物品データ 3 0 1は、個々の物品を区別するための I Dと、当該物品の操作履歴である物品履歴デ一夕 3 0 2へのボイン夕と、その物品の物的属性が記載された物品属性デ一夕 3 0 3へのポインタとから構成される。種類の同じ物品であつても物理的に別の存在であれば、それらを別の物品として扱う必要がある。そのため、同種の物品であっても、異なる I Dが割り当てられる。一方、種類の同じ物品は I Dが異なるが、同じ物的属性を持つ。そのため、同種物品であれば同じ物品属性データ 3 0 3へのポインタを指し示すようにし、デ一夕ベースの容量を無こ使わないようにしている。

物品履歴データ 3. 0 2は、当該物品の操作履歴を格納するものであり、操作が行われた時刻、操作内容、操作者、及び操作後の位置の 4項目からなる。位置のデ一夕については様々な表し方があるが、本例では 6つのパラメ一夕で位置を表すこととする。最初の 3つのパラメ一夕（X 1， y 1， z 1 ) は、物品の位置（例えば物品の重心位置等を代表位置として用いることができる）を表し、後の 3 つのパラメ一夕（ひ 1， /3 1 , ァ 1 ) は物品の姿勢を表している。なお、物品の姿勢の表し方については後述する。これら、位置及び姿勢のデ一夕は、前記センシング手段 1 2 0又は後述するロボヅ卜のセンサ 1 1 1 (図 2 9参照）によって取得される。なお、操作者は、後述する移動体データとして登録された移動体のいずれかから、前述したような推論によつて選ばれる。

物品属性データ 3 0 3は、当該物品の持つ固有の物理属性情報を蓄えるものであり、図 3 1 ( a ) では形状、重さ、外観の画像等が一例として挙げられている。これらの属性データは、事前に人手を介してそれそれの属性に適した計測方法で取得され、登録されている。

次に、図 3 2を参照しながら、物品の形状デ一夕及び姿勢データについて説明する。

まず、物品の形状データについて説明する。図 3 2 ( a ) は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図 3 2 ( b ) のように物品の表面を複数の面で近似したポリゴンデ一夕を得ることができる。各面は適当に定めた物品座標（図中の X '、 Y，、 z，）上での頂点の座標の集合として記述される。

次に、物品の姿勢デ一夕について説明する。図 3 2 ( c ) は、この物品が実世界に置かれている状況を示している。なお、座標 X— Y— Zは実世界の座標を示し、座標 X， _ Υ， - Ζ ' は物品を基準とした座標（物品座標）を示している。実世界に置かれた物品の形状は、前述したように、環境管理サーバ 1 0 1のセンシング手段 1 2 0又は作業ロボット 1 0 2のセンサ 1 1 1を 2つのカメラで構成し、ステレオ視による三次元計測を行うこと等により得ることができる。そして、前記物品の形状デ一夕（ポリゴンモデル）とのマッチングを取ることにより、物品が実世界上でどのように 3次元的に回転させられているかを知ることができ、そのマッチングに基づいて物品の姿勢デ一夕を得ることができる。 .

具体的には、物品の形状デ一夕（ポリゴンモデル）と実世界上での形状デ一夕とのマヅチングを行った後に、物品の形状デ一夕に付随する前記物品座標が実世界上でどのように 3次元的に回転しているかを求める。そのために、まず、 X ' 軸が X軸に対して水平方向に角度 αだけ回転し、上下方向に角度^だけ回転していると仮定し、それら角度ひ及び/?の値を求める。図 3 3 ( a ) は、 X，軸を水平方向に一ひだけ回転し、上下方向に一 ?だけ回転した図である。次に、図 3 3 ( b ) に示すように、 Z，軸が Z軸に対して角度 yだけ回転しているとし、その角度ァの値を求める。このようにして、物品が実世界に置かれている時の姿勢デ —夕を、変数（ひ、 β ァ）を用いて特定することができる。

なお、このような姿勢データは、ロボット 1 0 2により把持物品を設置する際、設置位置の状況と物品の把持姿勢とが合致しないときに、当該物品を適正な姿勢に変更する等の目的で使用される。例えば、後述する図 3 7のように、把持した本 5 0を本棚 5 5に収納する際、本 5 0を上下方向に立てた姿勢（姿勢 2 ) では本の高さが本棚 5 5の収納高さよりも高くなるような場合に、把持姿勢を上記姿勢 2から本棚に収まる姿勢（前後方向に立てた姿勢 3 ) へと変更する。上記姿勢デ一夕は、このような場合などに用いられる。

次に、移動体を扱うデ一夕ベース（図 3 1 ( b ) 参照）について説明する。移動体を扱うデ一夕ベースは、それそれ移動体デ一夕 3 0 4、移動体履歴デ一夕 3 0 5、及び移動体属性デ一夕（図示せず）の 3種類のデータを蓄積するサブデ一夕ベースからなり、それそれのデータ内容は下記の通りである。

移動体デ一夕 3 0 4は、個々の移動体を区別するための I Dと、当該移動体の移動履歴を格納した移動体履歴デ一夕 3 0 5へのポインタとから構成される。移動体履歴データ 3 0 5は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（X、 Y) と、向き rの 3値によって表される。

図示は省略するが、移動体属性データは、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられる。

なお、移動体履歴データ 3 0 5において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボットであれば「把持」、「解放」など、ロボットが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品 I Dと操作内容とを組にして表すこととする。

後述するように、本物品管理システム 1 0 0の機能の一つとして、ロボヅト 1 0 2が把持物品を目的の位置に設置する際、その物品の姿勢を設置位置の状況等に応じて変更する機能がある。例えば、設置位置付近に既に他の物品が置かれている場合に、把持物品を他の物品と並べて設置する機能等である。このような機能を発揮するためには、物品の情報として、物品がどの場所にどのような姿勢で置かれているかを逐次記録し、データベースに蓄えておく必要がある。しかし、そのためには、必ずしも過去にさかのぼった履歴デ一夕までは必要とせず、常に最新の情報を把握していれば足りる。

物品移動体データベース 1 0 6のデ一夕更新の例については、第 1の実施形態で示したとおりである。

<環境マップ管理手段 >

環境マップ管理手段 1 0 7は、作業環境内のマヅプの管理を行う。図 3 4は環境マヅプの例を実状況と対比して示したネ既念図であり、図 3 4 ( a) は実際の状況を表した図、図 34 (b) は環境マヅプとして実際の状況を簡略化した立体モデルで示した図、図 34 (c) は実際の状況をさらに簡匕して平面モデルで示した図である。環境マップは、このように立体データとして表してもよいし、もつと簡単に平面デ一夕としてもよい。デ一夕はマヅプの用途やマ Vプ作成に要する手間に応じて作成すればよく、例えば立体モデルを非常に短時間で作る必要があれば、立体物に関してはそれを覆う最小の直方体でモデル化するなどすればよい。例えば、図 34 (b) のモデルはそのような例である。図 34 (b) では、図 34 (a) において中央に位置するテーブルは直方体でモデル化されている。平面デ一夕でも同様であり、図 34 (c) のモデルにおいては、中央に位置するテーブルを平面に正射影した矩形領域（図 34 (c) のハッチ部分の矩形領域）で表し、この領域をロボット移動不可領域として定めている。

<環境マップ >

図 35は環境マップ 108のデータの一例を示した図であり、図 34に対応したデータを示している。環境マヅプ 108は、環境マップ 901及び家具属性デ —タ 906を備えている。

環境マップ 901には、部屋の広さを示すデ一夕 902が保存されている。また、本例では部屋の中に "テーブル" と "本棚" と "ゴミ箱" とが存在するので、環境マップ 901にはそれそれのデ一夕 903〜905が保存されている。家具属性データ 906には、部屋や家具等のそれそれの属性が保存されている。例えば、家具属性デ一夕 906中の部屋の属性 907には、部屋内に高さの異なる床面が複数ある時にはその床面の数だけの床面データが記録されている。

前記床面のデ一夕は、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、天井までの高さ、及び床面の材質が面毎に付されている。例えば、長方形の床面のデータの場合、デ一夕は、

( (XI, Yl, Z 1) , (X2, Y2, Z 2) , (X3, Y3, Z3) (X 4， Υ4, Ζ4) ,2200, 0)

と表される。但し、高さの基準としては、その部屋で最も低い床の高さを 0とする。最初の 4つの座標は頂点の座標を表し、次の値 2200は天井までの高さ（ 2200mm) を表し、最後の数値は床面の材質を表している。床面の材質は、例えば、「0」はフローリング、「1」は畳、「2」は絨種、等であり、材質毎に予め対応する数字が定められている。

また、各家具の属性には、家具の表面を多面体で近似したときの複数の面のデ一夕、家具の種類、物品の設置可能面、設置可能面に設置される主な物品の形状と姿勢等が記録されている。

前記家具の面のデ一夕は、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、その面に物品が設置できるか否かを示すフラグ、及びその面が物品を設置できる面であれば上方への高さが付されている。上方への高さとは、例えばテーブルの天板であれば天井までの高さ、棚であればもう一つ上の棚までの距離を示す。

例えば、頂点の数が 3つの面のデータの場合、

( (X 1 , Y 1 , Z 1 ) , (X 2 , Y 2 , Z 2 ) , (X 3 , Υ 3 , Ζ 3 ) ， 1， 4 0 0 )

と表される。最初の 3つの座標は頂点の座標、次の数値「1」は物品が設置できることを意味する。この数が「0」の面は、物品が設置できない面である。最後の数値 4 0 0は上方への高さ 4 0 0 mmを示している。また、家具の種類のデ一夕は、その位置にある家具がどの家具（テーブル、本棚、ゴミ箱等）かを判定するのに利用される。

家具の設置可能面に設置される主な物品形状と姿勢等とは、例えば、その家具が本棚の場合、主に収納される物品である「本」の形状（通常本棚に立てかけられた状態において、幅に比べて奥行きと高さが極端に長い直方体）と、その本を設置するときの通常の姿勢とを表している。ただし、テ一ブルゃゴミ箱のように、そこに設置される物品の形状や姿勢に限定がない場合もある。家具属性データ 9 0 6がこのような属性を持つことで、作業ロボット 1 0 2が把持物品を設置する際に、設置姿勢を良好なものにすることができる。例えば、作業ロボヅト 1 0 2が把持した物品が本に似た形状であり、その設置位置に本棚が指定された場合に、通常本棚に本を立てかけるが如く把持物品を設置することができる。もちろん、本棚と本との関係以外にも、例えば靴棚と靴、食器乾燥機（あるいは食器棚 ) と食器といった収納にも用いることが可能である。ロボット 1 0 2がこの環境内で移動する際には、これらの環境マヅプ 1 0 8を用いながら移動経路計画を立てていく。例えば、図 3 4 ( c ) の平面モデルを用いた環境マップを用いてロボヅト 1 0 2を A 1地点から A 2地点まで移動させる際には、ロボヅ卜 1 0 2の形状や大きさを踏まえて、前記移動不可領域を回避するルート（図 3 4 ( c ) の曲線矢印）を計算して決めればよい。

<環境管理サーバの制御手段 >

環境管理サーバ 1 0 1の制御手段 1 1 0は、サーバ 1 0 1の全体を制御する部分であり、前述したように、主な制御内容として以下のものが挙げられる。すなわち、制御手段 1 1 0は、サーバ 1 0 1内の各種データに関して送受信手段 1 0 9を介して外部から問い合わせがあった場合に、その内容に応じて物品移動体検索 ·管理手段 1 0 5または環境マップ管理手段 1 0 7に対し、前記デ一夕の参照要求を出す。また、制御手段 1 1 0は、前記要求に対して物品移動体検索 •管理手段 1 0 5または環境マップ管理手段 1 0 Ίから送られてきた結果を、送受信手段 1 0 9を介して問い合わせ元に送る。また、制御手段 1 1 0は、送受信手段 1 0 9を介して外部から送られてきたサーバ内にある各種デ一夕に関する登録 ·更新の要請を解釈し、その内容に応じて物品移動体検索 ·管理手段 1 0 5または環境マップ管理手段 1 0 7に対し、前記デ一夕の登録 ·更新要求を出す。なお、この制御手段 1 1 0の詳細な動作については後述する。

一作業ロボットの構成一

作業ロボヅト 1 0 2は、物品管理システム 1 0 0において、環境内の物品を実際に把持して持ち運ぶ役目を担う。ロボット 1 0 2による物品把持および運搬操作は、その一部又は全部が自動化されていてもよい。本実施形態では、後述する操作端末 1 0 3を通じてユーザによって指示が出され、ロボヅト 1 0 2はその指示に従って作動する。

図 2 9に示すように、口ポヅト 1 0 2はその基本構成として、ロボットの周囲近辺の障害物などを検知したり、把持する物品の情報を得るセンサ 1 1 1と、物品を把持する把持手段 1 1 2と、環境マップ 1 0 8を使って移動計画を立てる移動計画作成手段 1 1 3と、把持物品の設置姿勢を設置位置の状況等に合わせて計算する設置姿勢決定手段 1 4 0と、把持物品を設置する際に設置位置に既に他の物品が置かれているかどうか等を判定し、必要ならば設置位置を変更する設置位置決定手段 1 4 1と、移動のための移動手段 1 1 4と、環境管理サーバ 1 0 1や操作端末 1 0 3とデ一夕の送受信を行う送受信手段 1 0 9と、それら各手段をコントロールする制御手段 1 1 5とからなる。

ここで設置位置とは、例えば実空間上の 1点を示し、その位置に物品を設置するということは、例えば物品の代表点 (例えば重心）をその設置位置に合わせて設置することを意味する。従って、例えば重心を代表点とした場合、設置されている物品の位置は、物品の重心を表している。ただし、物品の代表点は重心に限らず、形状上の中心点等、他の点であってもよい。

図 3 6は、本実施形態に係るロボヅト 1 0 2の一例を示した模式図である。以下、図においてアーム 2 0 1の先端が向いている方向をロボットの前面として、ロボット 1 0 2の各手段の説明を行う。

移動手段 1 1 4は、ロボット本体の片側に 2つずつ設けられ、両側で合計 4つの車輪によって構成されている。本例では移動手段 1 1 4として車輪の例を示したが、移動手段 1 1 4としては、ロボットの使われる場所や環境に応じて最適な手段を選べばよい。例えば凹凸の多い地面を移動する場合ならば、クロ一ラ型ゃ多足歩行の移動手段を使ってもかまわない。なお、アーム 2 0 1やハンド 2 0 2 からなる把持手段 1 1 2が家屋内全域を可動域とする場合には、この移動手段 1 1 4は必ずしも必要とはしない。

センサ 1 1 1はボット周囲の近辺の障害物などを検知するものであり、本例では超音波センサ 1 1 1 a、視覚センサとしてのステレオカメラ 1 1 l b、及び衝突センサ 1 1 1 cからなる。超音波センサ 1 1 1 aは前面、背面、左右の側面にそれぞれ 3力所ずつ取り付けられ、超音波を発してその反射波を受信するまでの時間を測定することで、当該センサから障害物までのおおよその距離を計算するものである。本実施形態では、超音波センサ 1 1 1 aにより、近距離の障害物を衝突前に検知することとしている。ステレオカメラ 1 1 l bは、周囲の状況を画像として入力し、その画像に認識などの処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得る。衝突センサ 1 1 1 cは、当該センサ 1 1 1 cに所定の力の衝撃があったことを検知するセンサであり、他のセンサで検知できない障害物に対して、それが外部からぶっかつてきたことやロボヅト自身が移動中にぶっかつたことを検知する。

移動計画作成手段 1 1 3は、指定された場所への移動命令がロボットに対して発せられたとき、現在位置から指定場所への移動経路を、前記環境管理サーバ 1 0 1から取得した環境マップ 1 0 8のデータを使って作成する。当然のことながら、現在位置から目的地までの間に障害物が存在する場合はそれを回避するための経路が必要となるが、環境マップには前述のようにロボッ卜が移動可能な領域が予め記されているので、その領域内での移動経路を作成すればよい。また移動経路作成に当たっては、最も一般的なダイクストラ法等が用いられる。

設置姿勢決定手段 1 4 0は、ロボットが把持した物品を設置する際の把持姿勢 (設置姿勢）を、設置位置の状況に応じて決定する。例えば、その設置位置付近に把持物品と同様の他の物品が置かれていれば、他の物品の姿勢に合わせて把持物品の姿勢を変更する。また、把持したときの姿勢のままでは把持物品を設置位置に置くことができない場合（例えば、把持物品が設置位置の空間内に収まらない場合等）に、設置位置に設置できるように把持物品の姿勢を変更する。この時、設置位置の状況（どれだけの幅、奥行、高さがあるかなど）や設置位置付近に置かれた他の物の情報が必要となるが、それらの情報は前記環境管理サーバ 1 0 1に問い合わせることで得ることができる。

図 3 7を参照しながら、本 5 0を本棚 5 5に収納する例を説明する。本物品管理システム 1 0 0では、ロボット 1 0 2で把持した本 5 0 (姿勢 1 ) を本棚 5 5 に入れる時、まず、指定された設置位置 5 6の付近に他の本 5 7があるか否かを調べ、ある場合には前記他の本 5 7の姿勢を調べる。そして、把持した本 5 0の姿勢を他の本 5 7の姿勢に合わせる。ここでは、他の本 5 7は立った姿勢で収納されているので、把持した本 5 0も立った姿勢に合わせられる。

しかし、立った姿勢には、本 5 0の長辺が縦方向に延びる姿勢（姿勢 2 ) と横方向に延びる姿勢（姿勢 3 ) とがあり得る。しかし、本棚 5 5の設置スペースは限られており、本 5 0の高さが本棚 5 5の収納高さを超えている場合は、本 5 0 の長辺が縦方向に延びる姿勢（姿勢 2 ) では本 5 0を収納することができない。そこで、他の本 5 7に合った姿勢でかつ本棚 5 5の設置スペースに収まる姿勢（姿勢 3 ) を選択し、把持した本 5 0をその姿勢に変更してから設置する。なお、設置スペースが限られているか否かは、例えば、設置スペースが仕切られた空間であることや、設置スペースの最大長さが物品の最大長さよりも短いこと等によつて判断することができる。また、本を本棚に設置するだけでなく、食器を食器棚や食器洗い乾燥機に効率よく設置する場合にも応用することが可能である。従来技術では、設置する場所には扱う物品と比較して十分な広さがあることが前提となっていたが、例えば本棚のように高さに制約がある場合等では、従来技術をそのまま応用することはできない。また、産業用途では物品の形は画一化されていたので、移動に際して特別な処理をしなくても、結果的に整理された態で物品を設置することができていた。しかし、家庭やオフィス内で使用される多様な形状の物品を整理された状態で設置するには、上記設置姿勢決定手段 1 4 0 が行うような処理を必要とする。この設置姿勢決定手段の詳しい動作については後述する。

設置位置決定手段 1 4 1は、ロボットが把持した物品を設置する際、その設置位置に既に他の物品が置かれているか否かを調べる。そして、設置位置に他の物品が置かれていれば、他の物品の上面がフラヅト（水平）であるかどうか、その上面の大きさが把持物品を積載するのに十分であるかどうか、他の物品の材質が堅いものであるのかどうか等を判定し、前記物品の上に把持物品が設置できないと判断すれば設置位置を前記物品付近の設置可能な位置に変更する。この時、設置位置の物品情報や設置位置付近の設置可能なスペースの情報は、前記環境管理サーバ 1 0 1に問い合わせることで得ることができる。

ここで、図 3 8を参照しながら、「設置位置に他の物品が存在するかどうか」の判断、及び設置位置の変更の具体例を説明する。図 3 8は、指定された設置位置に平積みされている複数の本 6 1が既に存在している場合に、把持した本 6 0 の設置位置を変更する例である。本例では、「設置位置に他の物品が存在するかどうか」は、設置位置に把持物品 6 0の重心を合わせた場合に、把持物品 6 0と既に設置された物品 6 1とが重なるかどうかで判断される（図 3 8 ( b ) 参照）。また、「設置位置付近の設置可能な位置」は、把持物品 6 0と他の物品 6 1とが全く重ならないような位置が最も望ましいが、必ずしもこのような位置に限定されるものでもない。例えば、物品の種類によっては、設置した物品 6 0が姿勢を崩さない（倒れない）程度に重なったり、互いに接触する程度は、許容範囲内と見なされる場合もある。図 3 8に示した例は、物品が本であり、姿勢を崩さない程度に積み重ねることに問題はな、ため、そのように重ねた場合の例である。図 3 8 ( a ) 及び（b ) に示すように、本が多数平積みされている状況で設置位置（本 6 0の重心 G) を平積みされた本 6 1の少し外側に設定したとする。この場合、本 6 0をそのまま設置位置に設置したのでは、本 6 1の平積み状態は崩れてしまい、本 6 0自体も安定せず、転倒することになる。そこで、このような場合は、設置位置を平積みされた本 6 1の重心の位置に変更する。これについても詳しい動作については後述する。

把持手段 1 1 2は物品を把持する手段であり、本実施形態では、図 3 6に示すように多関節からなるアーム 2 0 1と、アーム 2 0 1の先端に配設されたハンド 2 0 2とから構成される。ただし、作業口ポゾト 1 0 2の保持手段は、物品を把持する手段に限定されるものではない。例えば、皿状の支持手段を備え、その支持手段に物品を載せて目的位置まで移動させるようにしてもよい。

作業ロボヅト 1 0 2の制御手段 1 1 5は、外部から送受信手段 1 0 9を介して送られてきたロボヅト操作コマンドリストを解釈し、順にコマンドを実行していく。環境管理サーバ 1 0 1の制御手段 1 1 0と同様、作業ロボヅト 1 0 2の制御手段 1 1 5についても、その動作は後で詳しく述べることとする。

—操作端末の構成—

3番目のサブシステムである操作端末 1 0 3は、物品管理システム 1 0 0においてユーザが環境内の物品操作を指示する為の端末である。

図 2 9に示すように、操作端末 1 0 3はその基本構成として、物品操作を指示する物品操作手段 1 4 2と、操作画面を表示する表示手段 1 4 3と、物品操作手段 1 4 2にて入力された物品操作の指示内容を環境管理サーバ 1 0 1に送信する等の送受信動作を行う送受信手段 1 0 9と、それら各手段をコントロールする制御手段 1 4 4とからなる。

オペレータは、物品操作手段 1 4 2及び表示手段 1 4 3を用いて物品の移動操作を指示したり、物品や移動体の情報を入力する。物品に対する移動操作であれば、物品操作手段 1 4 2を介して入力された前記移動操作の命令は、送受信手段 1 0 9を介して作業ロボヅト 1 0 2に送られ、当該命令を受けた作業ロボヅト 1 0 2は、移動先の状況等を考慮したうえで指示通りに物品を移動させる。また、物品操作手段 1 4 2を介して物品や移動体の情報を入力した場合、及び物品の検索を行った場合には、前記環境管理サーバ 1 0 1に対してこれらの要求が送信され、環境管理サーバ 1 0 1から回答を受信する。制御手段 1 4 4は上記各手段の制御を行うものであり、その動作に関しては後で詳しく述べる。

以上、物品管理システム 1 0 0の全体構成について、各サブシステム 1 0 1， 1 0 2， 1 0 3毎に順に説明を行った。

なお、図 2 9では、本物品管理システム 1 0 0が環境管理サーバ 1 0 1、作業ロボヅト 1 0 2、及び操作端末 1 0 3の 3つのサブシステムからなり、それらサブシステムが無線または有線などのネットヮ一クを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末 1 0 3が環境管理サーバ 1 0 1あるいは作業ロボヅト 1 0 2に付随されている構成であってもよい。また、ロボッ卜 1 0 2も 1台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボヅ卜 1 0 2の移動計画作成手段 1 1 3 、設置姿勢決定手段 1 4 0、設置位置決定手段 1 4 1を環境管理サーバ 1 0 1にもたせることで、データべ一スアクセスに伴う通信量を減らすことも可能である ο

一物品管理システムの動作一

以降では、本物品管理システム 1 0 0の動作、すなわち、環境管理サーバ 1 0 1、作業ロボヅト 1 0 2、及び操作端末 1 0 3の各サブシステムにおける制御手段 1 1 0 , 1 1 5 , 1 1 8がどのように動作するかを説明する。

本実施の形態では、統一性を持たせるために、環境管理サーバ 1 0 1、作業口ボット 1 0 2、及び操作端末 1 0 3は全て、後述するメッセージをやりとりすることで命令 ·質問 ·回答等の要求を行う。

図 3 9は、そのようなメヅセージの書式の一例を示している。本例では、上から順に、メヅセージ開始符号（S T X) 、電文長、総パケット数、パケット番号、送信日時、メッセージ I D、送信元、送信先、コマンド番号、弓 I数、メヅセ一ジ終了符号（ETX) である。通信プロトコルにパケット通信を行う UDP/I P等を利用する場合、パケット毎に送信先に到着するとは限らないので、総パケット数及びパケット番号を用いて、受信側で分割されて受信したパケットからメヅセ一ジを再構築する。また、電文長及び総パケット数は全てのパケットを受信したことの確^:に用い、前記メッセージを正しくやりとりできるようにする。また、上記メヅセージを受信できたかどうかを、 ACK又は NACKメッセ一ジとして送信元に送り返す。図 40は A C K及び N A C Kメヅセージの一例を示している。番号 6のメヅセージ I Dを、受け取ったメッセージのメッセージ I D と同じくすることで、 ACK又は NACKメッセージを受け取った方は、自分が送ったどのメッセ一ジに対するものかを知ることができる。全パケヅ.トを受信しメッセ一ジが受け取られると、 A CKメッセージを送信元に返す。もし全パケヅトを所定の時間内に受信できないなど通信に何らかの障害が発生したと思われる場合には、番号 10にエラ一コードを代入して NACKメッセ一ジを送信元に送り返す。送信元では ACK又は NACKメッセ一ジを所定の時間待ち、時間内にどちらのメッセ一ジも返ってこなければ再送を試みる。また、何度か再送を試みても ACK又は NACKメヅセージが返ってこない場合には、通信エラ一となり、例えばシステムを停止させる等の措置をとる。

以下では、各サブシステムに共通に用いられるメヅセージの送受信と処理の仕組みについて説明し、その後、各サブシステム毎に固有の構成、具体的メヅセ一ジとそのメッセージを受け取った時の動作について説明する。

図 41は、環境管理サーバ 101、作業ロボヅト 102、及び操作端末 103 の各制御手段 1 10, 1 15, 1 18において共通に利用されるメヅセージ処理の構成 1300を示している。本構成 1300は、送受信手段 109から入力されたパケヅトをメッセージとして再構築するメヅセージ受信部 1301と、再構築されたメヅセージを蓄積するメヅセージキュー 1302と、メヅセージキューの先頭から一つずつメッセージを取り出して解釈し、メッセージ処理部 1303 に引き渡すメヅセージハンドラ 1304とを備えている。前記メヅセ一ジ受信部 1301及び前記メヅセージハンドラ 1304は、それぞれスレヅドプログラム等として実装することで、メヅセージ受信を行いながら他のメッセージを処理することが可能である。

図 4 2は、図 4 1の構成 1 3 0 0におけるメヅセージをやりとりする動作を示したフローチャートである。本動作では、ステップ S 1 4 0 1でメッセ一ジキュ —1 3 0 2にメッセージが蓄積されているかをチェックし、蓄積されていれば上から一つメヅセ一ジを取り出す。ステップ S 1 4 0 2では、そのメヅセージが停止メヅセージかどうかを判定し、もし前記メヅセージが停止メヅセージであれば

、終了処理（ステップ S 1 4 0 3 ) を行い、停止する。ここで終了処理とは、他のスレッド（例えば、メヅセージ受信部 1 3 0 1等）を停止させることである。ステップ S 1 4 0 2の判定の結果、前記メヅセージが停止メヅセージでなければ、ステップ S 1 4 0 4のメッセ一ジ処理を前記メヅセージ処理部 1 3. 0 3で行う。メッセージ処理部 1 3 0 3では、それぞれの構成要素に応じた動作を実行したり、内部変数の値（例えば、環境管理サーバ 1 0 1であれば物品や移動体の位置等）を問い合わせ先にメッセ一ジとして送信する。なお、各サブシステム毎に動作が異なるので、それらについては後述する。

以上で、各サブシステムにおけるメヅセージの基本的なやりとりの仕組みを説明した。ところで、図 4 1に示したメヅセージハンドラ 1 3 0 4のメッセ一ジ処理部 1 3 0 3は、環境管理サーバ 1 0 1、作業ロボット 1 0 2、及び操作端末 1 0 3の各々のサブシステム毎に、理解できるメヅセージ及びメヅセージに対するアクションが異なる。そこで、具体的な作業を取り上げ、その作業に沿って各サブシステムの制御手段の処理構成及び処理されるメヅセ一ジ毎にその動作を説明することとする。

ここでは具体的な作業として、オペレー夕がある物品（例えば空き缶）を指定した場所（例えばゴミ箱）に移動させる例を取り上げる。

まず、操作端末 1 0 3の制御手段 1 4 4の動作について述べる。図 4 3は操作端末 1 0 3の制御手段 1 4 4の処理構成を示している。操作端末 1 0 3の制御手段 1 4 4では、前述した共通の構成に加えて、物品操作手段 1 4 2から入力された操作指示をメッセージとして生成する操作メヅセージ生成部 1 5 0 1と、最新の環境情報（部屋の映像や物品の位置など）を取得し前記表示手段 1 4 3に表示するための表示制御部 1502とを有する。操作メッセージ生成部 1501は、オペレー夕からの操作指示を上記メヅセージの書式に合わせてメヅセージとして生成し、メッセージキュー 1302に蓄積する。表示制御部 1502は、環境情報を環境管理サーバ 101に常に問い合わせており、表示手段 143に視覚情報として表示している。オペレータは、前記物品操作手段 142 (例えばマウス、夕ツチパネル又は夕ブレット等のポインティングデバイスなど）を用い、前記表示手段 143を見ながら物品の移動等の操作指示を行う。ここでは物品操作手段 142として GUIを用いたが、音声認識 ·合成を用いた音声 IZF (イン夕一フェース）やキーボード等の I Fを用いることも可能である。前 Ϊ3操作メヅセ —ジ生成部 1501.は、メッセージ受信部 1301と同様、スレッドプログラムとして他のスレツドと並列で実行されており、オペレー夕からの操作指示を常に受け付けることが可能となっている。

操作端末 103は、電源が ONされるとその直後に一度だけ初期設定を行う。これには、例えば、他のサブシステムとの通信路の確立等や、各スレッドプログラムの実行などが含まれる。

まず、操作メヅセージ生成部 1501は、物品操作手段 142にォペレ一夕からの指示が入力されると、指示を含んだメッセ一ジをメッセージキュー 1302 にため込む。図 44は、ォペレ一夕が前記表示手段 143を参照しながら、マウスを用いて物品（空き缶）を床（座標 (X0, Υ0， Ζ 0) ) からゴミ箱（座標 (XI, Yl， Z D ) にドラッグ操作した例を示している。図 45は、この時に操作メヅセージ生成部 1501で生成されるメヅセージの一例を示している。図 45中の番号 1〜 6及び 11の項目は、正しくメヅセージを受信するのに必要な項目であるが、メッセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（ォペレ一夕を示す "P0" ) から送信先（操作端末を示す "I 0" ) にコマンド（ロボヅ卜への物品移動コマンド "01" ) を送るメッセ —ジが表されている。番号 10の引数は、一つ（最初の "001"は移動する物品の個数）の物品（座標（X0, Y0, Z 0) にある物品）を座標 (XI, Y1 , Z 1) の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。図 46は、操作端末 103におけるメヅセージ処理部 1303の処理のフロ一チヤ一トを示す。メヅセージハンドラ 1304は、メヅセージキュー 1302からメヅセージを一つ取り出した後、ステップ S 1801において、その内容が作業ロボヅト 102に対する指示であることを判断し、ステヅプ S 1802でその指示を作業単位に分解する。ここで、「物品の移動」の指示は、移動する各物品にっき、「移動（物品の位置）」、「把持（物品）」、「移動（移動先の場所）」、「設置」という 4つの作業単位に分解される。複数の物品に対して移動の指示が与えられた場合、前記 4つの作業単位を一組として物品の数だけ並べられたものとなる。ステヅプ S 1803では、次に実行すべき作業単位が存在するかを判定する。ステヅ s 1804では、一つの作業単位を前記作業ロボヅト 102 に送信する。 '

図 47は、一つの作業単位を作業ロボヅト 102へ送る場合のメヅセージの一例を示している。本例は、送信元（操作端末を示す "I 0" ) から送信先（作業ロボヅトを示す "H0" ) にコマンド（ロボヅ卜移動コマンド "01" ) を送ることを意味し、番号 10の引数（座標（X0, Y0, Z 0) ) はその移動先を示している。

次に、ステップ S 1805において、作業ロボット 102からその作業単位の終了状態（ACK又は NACKメッセージ）を受け取り、ステヅプ S 1806で作業単位が正常に終了したか否かを判定し、もし NACKメッセージを受け取つたか、あるいは所定の時間以上メッセージが返ってこなければ、エラ一処理（ステヅプ S 1807) を行う。このエラ一処理とは、例えば、作業ロボヅ卜 102 が障害物などが原因で移動できなくなつたとか、指定した物品が把持できなかつた等のトラブルが発生したときに、オペレー夕にその旨を G U Iを通じて提示する処理である。ここで、音声 IZFがあれば音声で提示しても構わない。そして、再びステップ S 1803に戻り、処理する作業単位がなければメッセージ処理部を終了し、次のメヅセージをメヅセージキュー 1302から取り出し、処理を行う。

ここで、前記作業単位は 1つずつ送信することとしたが、すべての作業単位を —度に送信し、作業ロボヅト側で各作業単位の終了確認を行うように実装することも可能である。

次に、作業ロボヅト 1 0 2の制御手段 1 1 5の動作について説明する。図 4 8 は作業ロボヅト 1 0 2の制御手段 1 1 5の処理構成を示している。

作業ロポヅト 1 0 2は、電源が O Nされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立ゃ各スレヅドプログラムの実行等が含まれる。.メッセ一ジ受信部 1 3 0 1は、上述した操作端末 1 0 3から送られた作業単位を含んだメッセージ（図 4 7参照）を送受信手段 1 0 9で受け取り、そのメヅセージをメヅセージキュー 1 3 0 2に蓄える。図 4 9に、作業ロボット 1 0 2が理解できるメヅセージの一例を示す。

図 5 0は、作業ロボヅト 1 0 2におけるメッセージ処理部 1 3 0 3の処理のフローチャートである。メヅセージ処理部 1 3 0 3に入力されるメヅセージは、例えば、前記操作端末 1 0 3から送られた作業単位を含むメッセ一ジである。ここではまず、ステップ S 2 2 0 1、 S 2 2 0 2及び S 2 2 0 3においてどの作業単位かを判定し、それそれの作業単位に合った処理を実行する。

まず、ステップ S 2 2 0 1で作業単位が「移動」であった場合、ステップ S 2 2 0 4に進み、指示位置までの経路を移動計画作成手段 1 1 3を用いて求める。次にステップ S 2 2 0 5において、移動計画作成手段 1 1 3で求まった経路に従つて移動する制御コマンドを移動手段 1 1 4に送り、前記指示位置まで移動処理を実行する。例えば図 4 7のメッセージを受け取った場合には、このようなフロ —が実行される。

一方、ステヅプ S 2 2 0 2で作業単位が「把持」であった場合、ステップ S 2 2 0 6に進み、把持を行うために前記センサ（例えばカメラ） 1 1 1を用いて物品の姿勢を検出し、アーム 2 0 1及びハンド 2 0 2の動作を計算し（ステップ S 2 2 0 7 ) 、物品を把持するコマンドを把持手段 1 1 2に送り、物品を把持する (ステップ S 2 2 0 8 ) 。なお、ステヅプ S 2 2 0 6ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サ一バ 1 0 1に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴デ一夕（図 3 1参照）に記録されている。

さらに、ステップ S 2 2 0 3で作業単位が「設置」であった場合、設置姿勢決定手段 1 4 0を用いて物品の設置姿勢を計算し（ステップ S 2 2 0 9 ) 、設置位置決定手段 1 4 1を用いて物品の設置場所の状況を調べ、設置できなければ適切な設置位置を探し出す（ステップ S 2 2 1 0 ) 。そして、前記設置姿勢と設置位置に合うようにアーム 2 0 1とハンド 2 0 2の動作を計算し（ステップ S 2 2 1 1 ) 、アーム 2 0 1及びハンド 2 0 2を動作させる制御コマンドを発行して把持物品を設置する（ステヅプ S 2 2 1 2 ) 。

最後に、ステップ S 2 2 1 3において、移動、把持及び設置が終了した旨をメヅセージとして作業指示元（操作端末）に送信する。

本発明の特徴の一つは、この作業ロボット 1 0 2のメヅセージ処理部 1 3 0 3 における設置メッセ一ジを受けた時の処理にある。すなわち、本物品管理システム 1 0 0においては、設置姿勢決定手段 1 4 0と設置位置決定手段 1. 4 1とを用いて、把持した物品とその設置位置の状況とに応じて、設置位置や設置姿勢を適宜変更する。この処理は、従来技術に挙げたような工場内での自動倉庫の処理とは大きく異なっている。

図 5 1は、設置姿勢決定手段 1 4 0の一般的な動作を示すフローチャートである。ステップ S 2 6 0 1では、設置姿勢を決める必要があるかどうかを判定する。例えば、設置位置が箱の内部であり、把持物品が箱よりも小さいような場合には、設置姿勢はあまり問われないので、把持した時の姿勢を保つ。一方、ステツプ S 2 6 0 1において設置姿勢を決める必要があると判定された場合、ステップ S 2 6 0 2において、設置位置の状況と把持物品の属性とに基づき、把持物品の設置姿勢を計算する。

図 5 2は、設置姿勢決定手段 1 4 0の具体的な動作の一例を示すフローチヤ一卜である。本動作例では、まずステップ S 2 3 0 1において、設置位置が箱（例えばゴミ箱）であるかどうかを判定する。これは、環境管理サ一バ 1 0 1にメッセージ（図 5 6のコマンド番号 1 2参照）で問い合わせることにより実現できる。ここで、設置位置が箱であった場合、設置姿勢は問われないので、把持した時の姿勢を保つ。もし、ステップ S 2 3 0 1において設置位置が箱でなかった場合、さらにステップ S 2 3 0 2において、把持物品と属性（例えば、物品の種類や形状等）が同一又は類似した物品が設置位置付近に存在するか否かを調べる。なお、「類似」とは、例えば、種類が同じであるとか、種類が異なっていても形状が類似していること等を意味する。また、形状が類似しているとは、形状のパラメ一夕（円柱であれば高さと底面の半径、球であれば半径、また、直方体であれば 3辺（幅、高さ、奥行き）の長さ）が類似していることを言う。形状のパラメ一夕が類 (しているか否かは、例えば、各パラメ一夕の差が所定の閾値以下に収まっていること等に基づいて判定することができる。なお、このような判定も、環境管理サーバ 1 0 1にデータを問い合わせることにより実現できる（図 5 6のコマンド番号 2 3参照）。

ここで、把持物品と類似した物品が設置位置付近に存在する場合には、ステツプ S 2 3 0 3で設置姿勢を前記類似物品の姿勢と同様にする。類似物品の姿勢は、物品履歴データ 3 0 2における姿勢デ一夕を参照することで得られる。ステヅプ S 2 3 0 2において設置位置に把持物品と類似した物品が存在しないと判断されると、予め決められた設置姿勢を用いる（ステップ S 2 3 0 4 ) 。ここで予め決められた設置姿勢とは、設置位置の家具に適した姿勢であり、環境マップ 1 0 8の家具属性デ一夕 9 0 6 (図 3 5の家具属性データ 9 0 6の「主な物品の形状と姿勢」参照）に記録されたデ一夕を利用して定められる。そのような姿勢が環境マップ 1 0 8の家具属性データ 9 0 6に記録されていなければ、例えば、物品の形状を計測したときの姿勢を用いる。例えば、図 3 3 ( b ) における物品座標が実世界座標と一致するように物品を設置する。

このように、指定された設置位置付近に把持物品と類似した物品が置いてある場合には、把持物品の設置姿勢を類似物品の姿勢と合わせることで、整然と物品を並べることができ、家庭内において省スペース化が図られ、外観も見栄えもよくすることができる。

次に、図 5 3を参照しながら、設置位置決定手段 1 4 1の一般的な動作を説明する。まず、ステップ S 2 8 0 1において、設置したときに物品の姿勢が崩れてもいいかどうかを、設置位置の状況及び把持物品の属性から判定する。もし設置後の姿勢が崩れてはいけないならば、ステップ S 2 8 0 2に進み、設置位置に他の物品が存在するかを判定する。設置位置に他の物品が存在すれば、ステヅプ S 2 8 0 3に進み、把持物品が設置位置にある他の物品と重なってもよいかどうかを判定する。他の物品と重なってはいけない場合には、ステップ S 2 8 0 4において、設置位置付近で設置可能な新しい設置位置を探し出す。

次に、図 5 4を参照しながら、設置位置決定手段 1 4 1の具体的な動作の一例を説明する。本動作例では、まず、ステップ S 2 4 0 1において、設置位置が箱であるかどうかを調べる。もし箱でなければステップ S 2 4 0 2に進む。一方、設置位置が箱であれば、設置位置は変更せずに設置位置決定手段 1 4 1の処理から抜け出る。

ステップ S 2 4 0 2では、設置位置に他の物品が存在するかを調べる。ここでも、他の物品が存在しなければ設置位置の変更は行わない。なお、設置位置に他の物品が存在するか否かは、環境管理サーバ 1 0 1に問い合わせのメヅセージ（図 5 6のコマンド番号 2 3参照）を送ることで調べることができる。 .もし、設置位置に他の物品が存在するならば、ステップ S 2 4 0 3に進み、他の物品の上面が把持物品の設置必要面積よりも大きいか否かを判定する。そして、もし大きければ、ステップ S 2 4 0 4において、前記他の物品の上面はフラットであるかどうかを判定する。なお、ここでいう「フラット」には、完全に平坦な状態のみでなく、実質的に平坦な状態も含まれる。つまり、ここでいう「フラット」には慣習上平坦と見なされる状態も含まれ、多少の傾斜や凹凸があつたとしても、把持物品を設置できる程度であれば平坦と見なされる。設置されている物品の上面の面積及びフラットであるかどうかは、環境管理サーバ 1 0 1に形状デ一夕や設置姿勢（物品の履歴デ一夕として記録されている）を問い合わせることにより知ることができる（図 5 6のコマンド番号 2 3参照）。

もし、前記他の物品の上面がフラットであった場合は、設置位置を変更することなく、前記他の物品の上に把持物品を積み重ねる。ステップ S 2 4 0 3において前記他の物品の上面面積が把持物品の必要設置面積より小さいと判定されるか、またはステップ S 2 4 0 4において前言 3他の物品の上面がフラヅトでないと判定されると、ステヅプ S 2 4 0 5に進み、設置位置付近で何も置かれていない場所を探し、この場所を新しい設置位置とする。なお、ステップ S 2 4 0 2において設置位置に他の物品が存在しないと判定された場合、近傍に同じ種類あるいは同じ形状の物品があるか否かを判断し、把持物品の設置位置をそれら物品の隣の位置に設定するようにしてもよい。

このように、設置位置に既に他の物品が存在する場合、その設置物品の上に把持物品を積み重ねられるかどうかを判定し、積み重ねることができない場合には設置位置を変更することで、作業者が物品の設置先の状況を知らずに適当に設置位置を指示しても、ロボヅトは柔軟に対応することができる。

なお、図 4 4に示す例では設置位置がゴミ箱であるので、結果的に作業ロボヅト 1 0 2は、空き缶を把持した時の姿勢のままでゴミ箱の中に落とすことになるまた、その他の例として、床の上に置かれた書籍を本棚に設置する例を説明する。この場合、環境管理サーバ 1 0 1に問い合わせることによって、設置位置にその他の書籍があり、それら書籍が把持物品である書籍と同じ種類の物品であることが分かると、把持した書籍の姿勢を既に収納されている他の書籍の姿勢と同じになるように変更し（この場合、本棚内に収納されている書籍は立った姿勢で収納されているので、把持した書籍も立った姿勢に変更し）、本棚内に設置する。一方、設置位置に書籍が積み上げられていれば、把持した書籍が安定した姿勢で設置できる限り、把持した書籍を他の書籍と同じ姿勢で積み上げることができる。また、設置位置に書籍ではなくテレビがあり、このテレビの上面がフラットであれば、把持した書籍を安定した姿勢で設置できるため、把持した書籍をテレビの上に設置する。一方、設置位置に花瓶のような上面がフラットでない物品が置かれてあれば、花瓶の上に設置するのではなく、書籍をその横の空きスペースに設置する。

なお、作業ロボヅト 1 0 2が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末 1 0 3 ) に対してエラ一メッセ一ジを送信し、作業を一時中断する。また、作業ロボヅト 1 0 2は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ 1 0 1に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボヅト 1 0 2の自己位置、あるいは、移動計画作成手段 1 1 3に必要な環境マップ 1 0 8等を、環境管理サーバ 1 0 1に問い合わせてもよい。なお、これらの問い合わせも、環境管理サーバ 1 0 1に問い合わせのメヅセージを送り、その回答を受け取ることで実現される。

最後に、環境管理サーバ 1 0 1の制御手段 1 1 0の動作について説明する。図 5 5は、環境管理サーバ 1 0 1の制御手段 1 1 0の処理構成を示している。環境管理サーバ 1. 0 1は、電源が O Nされるとその直後に一度だけ初期設定を行う。これには、例えば、通信路の確立等や各スレッドプログラムの実行が含まれる。そして、上述した作業ロボヅト 1 0 2や操作端末 1 0 3からの問い合わせを含んだメッセ一ジを送受信手段 1 0 9で受け取り、メッセージ受信部 1 3 0 1 がそのメヅセージをメッセージキュー 1 3 0 2に蓄える。図 5 6は、環境管理サ —バ 1 0 1が理解できるメヅセージの一例である。

図 5 7は、環境管理サーバ 1 0 1におけるメヅセージ処理部 1 3 0 3の処理のフローチャートである。本処理ではまず、メッセージキュ一 1 3 0 2から先頭のメヅセージを取り出し、このメヅセ一ジをメヅセージ処理部 1 3 0 3に入力する o そして、ステップ S 2 7 0 1、 S 2 7 0 2、 S 2 7 0 3、 S 2 7 0 4及び S 2 7 0 5において、このメヅセージが何を要求しているかを判断する。

ステヅプ S 2 7 0 1において、ロボヅト位置の問い合わせがあつたと判定すると、物品移動体デ一夕ベース 1 0 6からロボット位置の情報を取り出して、問い合わせ先にロボヅト位置を送信する（ステップ S 2 7 0 5 ) 。ステップ S 2 7 0 2で、マヅプ問い合わせと判断されれば、環境マヅプ 1 0 8からマヅプを取り出して、問い合わせ先に送信する（ステップ S 2 7 0 6 ) 。マヅプの情報は、例えば作業ロボヅト 1 0 2の経路探索などに使用される。ステップ S 2 7 0 3で、前記メッセージが環境情報を問い合わせていると判断すれば、指定した位置の情報を環境マヅプ 1 0 8から検索し（ステヅプ S 2 7 0 7 ) 、問い合わせ先に送信する（ステップ S 2 7 0 8 ) 。ステップ S 2 7 0 4で、前記メヅセージが物品情報を問い合わせていると判断すれば、指定した物品の必要な情報を物品移動体デー夕ベース 1 0 6から検索し（ステップ S 2 7 0 9 ) 、問い合わせ先に送信する（ステップ S 2 7 1 0 ) 。ステップ S 2 7 0 5において、前記作業ロボット 1 0 2 などから得られた物品に対する情報を物品移動体デ一夕ベース 1 0 6に登録するメッセージであると判断されると、物品移動体デ一夕ベース 1 0 6に、指定した物品の属性値を登録する（ステップ S 2 7 1 1 ) 。

ここで、物品移動体デ一夕ベース 1 0 6及び璟境マヅプ 1 0 8への問い合わせや情報登録は、前記物品移動体検索 ·管理手段 1 0 5及び環境マップ管理手段 1 0 7を介して行われる。なお、センシング手段 1 2 0は常に最新の情報をセンシングしており、物品移動体データベース 1 0 6及び環境マップ 1 0 8には、物品移動体検索 ·管理手段 1 0 5や環境マップ管理手段 1 0 7を介して情報の更新が常時行われている。

以上、本発明の実施形態に係る物品管理システム 1 0 0について、その構成及び動作の説明を行った。

この物品管理システム 1 0 0 (こより、家庭やオフィス等において作業ロボヅトに物品の運搬作業を行わせる際、どのような物品でも荷崩れすることなく整理された状態で設置することができる。また、曖昧な指示を受けた場合であっても、物品を適切な状態で設置することができる。例えば、本棚に本を設置するときには本を縦に入れたり、設置位置がゴミ箱ならば姿勢を気にせずに入れたり、設置位置がいわゆる食器洗い機なら食器を所定の姿勢で入れたり等、指定された設置位置と物品との関係に応じて、物品を適切な状態で設置することができる。

一発明の効果一

本発明によれば、居住空間内に存在する物品を作業ロボットで移動させる際、移動対象物品の設置姿勢を、設置位置付近の他の物品や設置位置付近の状況に応じて決定するようにしたので、同じ種類や形状の物品を秩序正しく整理する等、物品を適切な状態に設置することができる。また、物品と設置位置との関係を考慮に入れた適切な設置が可能となる。

さらに、本発明によれば、指定された設置位置に他の物品が置いてあったり、指定された設置位置に移動対象物品が置けないような場合には、設置位置を指定された位置の近傍に変更することとした。また、移動対象物品を他の物品の上に積載できる場合には、設置位置を変えずに移動対象物品を他の物品の上に積載するようにした。そのため、設置位置の状況を細かく把握せずに物品の設置位置を指定したとしても、作業ロボットに適切に設置作業を行わせることができ、物品を適切な状態に設置することができる。

(第 5の実施形態）

ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボットに物品の移動作業を行わせる際に、持ち替え動作を伴うことなく移動対象物品を円滑に移動させることにある。

本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデ一夕べ一スと、前記デ一夕べ —ス内の前記移動対象物品及ぴ前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。

上記物品管理システムによれば、デ一夕ベース内の移動対象物品及び設筐位置に関する情報に基づいて移動対象物品の保持位置が予め適切な位置に決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。

また、本発明に係る物品管理システムは、少なくとも前記居住空間内の物品の情報を有するデ一夕べ一スと、前記物品操作手段と、前記作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものである。

上記物品管理システムによれば、データベース内の移動対象物品に関する情報に基づいて、移動対象物品の保持位置が接地領域を覆わない適切な位置に予め決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。

また、本発明に係る物品管理システムは、前記物品操作手段と、前記作業ロボットと、前記居住空間内の物品の情報と前記作業ロボッ卜の動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、前記デ一夕ベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。

上記物品管理システムによれば、データべ一ス内の作業ロボッ卜の動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、移動対象物品の保持位置が予め適切な位置に予め決定されるので、作業ロボヅトは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。

なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる。

すなわち、ここでの態様 1では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデ一夕ベースと、前記デ一夕べ一ス内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する。

態様 2では、態様 1において、前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定する。

態様 3では、態様 2において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定する。

態様 4では、態様 2において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスぺ —スを除外した残りのスペースに前記移動対象物品を収める接地領域を選定する ο

態様 5では、態様 1において、前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定する。

態様 6では、態様 1において、居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とする。

態様 7では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動^] "象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものを提供する。

態様 8では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデ一夕ベースと、前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボ、ソトが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する ο

本発明の第 5の実施形態も、居住空間内に存在する物品を管理する物品管理システムに関するものである。上述の第 4の実施形態等と重複する部分については、詳細な説明は適宜省略する。

図 5 8は本実施形態に係る物品管理システム 1 0 0の全体構成の例を示したブロック図である。図 5 8では、第 1の実施形態における図 2と共通の構成要素については、図 2と同一の符号を付している。

まず、本実施形態における物品の形状デ一夕について説明する。図 6 0 ( a ) は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図 6 0 ( b ) のように物品の表面を複数の面で近似したポリゴンデ一夕を得ることができる。各面は適当に定めた物品座標（図中の X，、 Y，、 Z ' ) 上での頂点の座標の集合として記述される。また、各面には、いくつかの属性が付与されている。具体的には、その面が接地面としてふさわしい面かどうかのフラグ、人がその物品を掴むときに通常使用される面かどうかのフラグ等である。接地面としてふさわしい面とは、例えばコップの底面やジュース缶の底の面などである。人が掴むときに通常使用される面とは、例えば刃物の柄の部分ゃコップの取っ手部分などである。このような属性は、物品デ一夕の入力時に、他の属性と同様、人手で入力されること等によって付与される。このように、居住空間内に存在する物品には、人が掴む部分と人が掴まなレ、部分とからなる特定の物品が含まれる。

例えば、ある一つの面（例えば三角形ポリゴンの場合）のデータは、以下のように表される。

( P I D , 1 ' , 1 ' ， z 1 ' , x 2，， y 2 ' , ζ 2，， χ 3 ' ， y 3 ，， z 3，， 1， 0 )

上記データのうち、最初の P I Dは、その面の番号（物品データから一意に定まる番号）を示している。次の 9値は物品座標での面の 3頂点位置を示し、次の値「1」は、接地にふさわしい面であることを示している。なお、接地面としてふさわしくない場合は、この値は「0」となる。最後の値「0」は、人が通常掴まない面であることを示している。人が通常掴む面である場合には、この値は「 1」となる。

物品の姿勢デ一夕については、第 4の実施形態と同様であり、ここではその説明を省略する。 .

次に、移動体を扱うデ一夕べ一ス（図 5 9参照）について説明する。移動体を扱うデータベースは、それそれ移動体デ一夕 6 0 1、移動体履歴データ 6 0 2、及び移動体属性データ 6 0 3の 3種類のデ一夕を蓄積するサブデ一夕ベースからなり、それそれのデ一夕内容は下記の通りである。

移動体データ 6 0 1は、個々の移動体を区別するための I Dと、当該移動体の移動履歴を格納した移動体履歴デ一夕 6 0 2へのポインタとから構成される。移動体履歴データ 6 0 2は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（X、 Y) と、向き]?の 3値によって表される。

移動体属性データ 6 0 3は、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられている。

なお、移動体履歴デ一夕 6 0 2において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボヅトであれば「把持」、「解放」など、ロボヅトが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品 I Dと操作内容とを組にして表すこととする。

移動体属性データ 6 0 3には、例えば、それが作業ロボヅトであった場合、作業ロボットの重量、形状、及び把持手段の占有空間情報（動作制約情報の一部）等が記録されている。ここで把持手段の占有空間情報とは、物品を把持するために必要となる把持手段自身が占める空間の情報である。

図 6 1は作業ロボットの把持手段 1 1 2が物品 7 0 1を把持するときに占有する空間を説明する図である。この具体例では、物品 7 0 1の把持方法として、物品 7 0 1を上方から把持する方法と、側方から把持する方法とがあり得る。上方から把持する場合には、把持物品 7 0 1の上方に長さ aの占有高さ 7 0 2、横方向に長さ b (ロボヅトハンドの厚み）の 2倍分だけの占有領域 7 0 3が必要となる。一方、側方から把持する場合には、横方向に長さ bの 2倍分だけの占有領域 7 0 3を考慮しておけばよい。

後述するように、本物品管理システム 1 0 0の機能の一つとして、ロボヅト 1 0 2が把持物品を目的の設置位置に移動させる際、設置位置の状況を踏まえて、把持物品の持ち替えが不要なように予め把持位置を決定しておく機能がある。このような機能を発揮するためには、例えば、指定された設置位置にどれくらいのスペースがあるか等を予め知っておく必要があり、物品の情報として、物品がどの場所にどのような姿勢で置かれているか等をデ一夕ベースに蓄えておくことが望ましい。しかし、そのためには、必ずしも過去にさかのぼった履歴デ一夕までは必要とせず、常に最新の情報を把握していれば足りる。ただし、以下に説明する例は、最新の情報だけでなく、物品及び移動体の履歴も記録する例である。物品移動体デ一夕べ一ス 1 0 6のデ一夕更新の例については、第 1の実施形態で示したとおりである。

く環境マップ > 環境マップは、部屋や家具などの通常ほとんど移動しない不動物体の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚 ) の領域情報（例えば、その面の外接多角形の頂点）と上部の高さを言う。ただし、上方への高さとは、設置面に対して実質的に垂直な方向への距離を言い、必ずしも上下方向の距離のみを意味する訳ではない。

環境マップのデータ例、環境マップ管理手段、および環境管理サーバの制御手段については、第 4の実施形態と同様であり、ここでは説明を省略する。

一作業ロボットの構成一

作業ロボッ卜の構成も上述の第 4の実施形態等と同様であるが、設置位置決定手段 1 1 9および設置位置決定手段 1 2 0に代えて、把持手段 1 1 2 (保持手段のより具体的な形態）による物品の把持位置を決定する把持位置決定手段 1 5 0 (把持手段 1 1 2ではなく、より一般的に保持手段を用いる場合は保持位置決定手段）を備えている。

把持位置決定手段 1 5 0は、把持物品の情報や指定された設置位置の情報を環境管理サーバ 1 0 1に問い合わせ、把持手段 1 1 2が把持物品を持ち替えずに設置位置に設置できるように、把持手段 1 1 2の把持位置を決定する。

また、把持位置決定手段 1 5 0は、把持手段 1 1 2が移動対象物品を把持する前に、移動対象物品が設置位置と接する領域である接地領域を予め選定し、上記把持手段 1 1 2が前記接地領域を覆わないように把持位置を決定する。

把持位置決定手段 1 5 0は、環境管理サーバ 1 0 1に問い合わせることにより、指定された設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収めるような接地領域を選定する。なお、ここで「スペース」とは、 2次元領域、高さ、又は 2次元領域と高さとで規定される 3次元空間を意味し、設置位置の許容スペースとは、例えば当該スペースが直方体状の空間の場合には、設置可能領域 X上方高さを意味する。

また、把持位置決定手段 1 5 0は、環境管理サーバ 1 0 1に問い合わせることにより、指定された設置位置の許容面積を調べ、前記接地領域として、前記許容面積よりも小さな面積を有する接地領域を選定することが好ましい。また、設置の際における把持手段 1 1 2自身の占有面積を考慮し、前記接地領域として、前記許容面積から把持手段 1 1 2の必要面積（設置動作に必要な設置面上の面積）を除外した残りの面積よりも小さな面積を有する接地領域を選定することが好ましい。

把持位置決定手段 1 5 0は、環境管理サーバ 1 0 1に問い合わせることにより、指定された設置位置の許容高さを調べ、前記接地領域として、設置時の移動対象物品の高さが前記許容高さ以下になるような接地領域を選定する。また、設置の際における把持手段 1 1 2自身の占有高さを考慮し、前記接地領域として、設置時の移動対象物品の高さが前記許容高さから把持手段 1 1 2の必要高さ（設置動作に必要な高さ） .を除外した残りの高さ以下になるような接地領域を選定することが好ましい。

なお、把持位置決定手段 1 5 0の詳しい動作については後述する。

なお、図 5 8では、本物品管理システム 1 0 0が環境管理サーバ 1 0 1、作業ロボット 1 0 2、及び操作端末 1 0 3の 3つのサブシステムからなり、それらサブシステムが無線または有線などのネットヮ一クを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末 1 0 3が環境管理サーバ 1 0 1あるいは作業ロボヅト 1 0 2に付随されている構成であってもよい。また、ロボヅト 1 0 2も 1台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボット 1 0 2の移動計画作成手段 1 1 3 および把持位置決定手段 1 5 0を環境管理サーバ 1 0 1に持たせて、その計算結果を送信するようにしてもかまわない。

—物品管理システムの動作—

以降では、本物品管理システム 1 0 0の動作、すなわち、環境管理サーバ 1 0 1、作業ロボット 1 0 2、及び操作端末 1 0 3の各サブシステムにおける制御手段 1 1 0 , 1 1 5 , 1 1 8がどのように動作するかを説明する。

各サブシステムにおけるメヅセージの基本的なやりとりの仕組みは、第 4の実施形態と同様であり、ここではその詳細な説明を省略する。

ここでは具体的な作業として、オペレー夕が指定した物品を指定した場所に移動させる例として、本を本棚に移動させる例を取り上げる。なお、本棚が複数段あるときには、操作端末 103の操作により、何段目の棚に設置するかを指定できるようになっているものとする。

操作端末 103の制御手段 14 の処理構成は、第 4の実施形態で示した図 4 3と同様である。

操作メッセージ生成部 150 1は、物品操作手段 142にォペレ一夕からの指示が入力されると、指示を含んだメヅセージをメヅセージキュー 13 02にため込む。図 62は、オペレータが前記表示手段 143を参照しながら、マウスを用いて物品（本）を床（座標（X0, Y0, Z 0) ) から本棚（座標（X 1， Y 1 , Z 1) ) にドラヅグ操作した例を示している。図 63は、この時に操作メッセ —ジ生成部 150 1で生成されるメヅセージの一例を示している。図 63中の番号 1〜6及び 1 1の項目は、正しくメッセ一ジを受信するのに必要な項目であるが、メヅセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（オペレータを示す "P 0" ) から送信先（操作端末を示す "I 0" ) にコマンド（ロボットへの物品移動コマンド "0 1" ) を送るメヅセージが表されている。番号 10の引数は、一つ（最初の "001" は移動する物品の個数）の物品（座標（X0., Υ0， Ζ 0) にある物品）を座標 ( I , Y 1, Ζ 1) .の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。

操作端末 103におけるメッセージ処理部 1303の処理は、第 4の実施形態で示した図 46と同様であり、一つの作業単位を作業ロボット 102へ送る場合のメヅセージの一例は図 47のとおりである。

次に、作業ロボヅト 102の制御手段 1 15の動作について説明する。図 64 は作業ロボヅト 102の制御手段 1 15の処理構成を示している。

作業ロボヅト 102は、電源が ONされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立や各スレッドプログラムの実行等が含まれる。メッセージ受信部 130 1は、上述した操作端末 103から送られた作業単位を含んだメッセージ（図 47参照）を送受信手段 109で受け取り、そのメヅセ一ジをメヅセ一ジキュー 1302に蓄える。図 65に、作業ロボット 1 0 2が理解できるメヅセージの一例を示す。

図 6 6は、作業ロボヅ卜 1 0 2におけるメヅセ一ジ処理部 1 3 0 3の処理のフローチヤ—トである。メヅセージ処理部 1 3 0 3に入力されるメヅセージは、例えば、前記操作端末 1 0 3から送られた作業単位を含むメッセージである。ここではまず、ステップ S 2 4 0 1、 S 2 4 0 2及び S 2 4 0 3においてどの作業単位かを判定し、それぞれの作業単位に合った処理を実行する。

まず、ステヅプ S 2 4 0 1で作業単位が.「移動」であった場合、ステップ S 2 4 0 4に進み、指示位置までの経路を移動計画作成手段 1 1 3を用いて求める。次にステヅプ S 2 4 0 5において、移動計画作成手段 1 1 3で求まった経路 (こ従つて移動する制御コマンドを移動手段 1 1 4に送り、前記指示位置まで移動処理を実行する。例えば図 4 7のメッセージを受け取った場合には、このようなフロ —が実行される。

—方、ステヅプ S 2 4 0 2で作業単位が「把持」であった場合、ステップ S 2 4 0 6に進み、把持を行うために前記センサ（例えばカメラ） 1 1 1を用いて物品の姿勢を検出し、ステップ S 2 4 0 7において、前記物品の把持位置を計算する。把持位置は、予め設置位置の状況に応じて前記物品の設置姿勢を想定し、前記物品を当該設置姿勢で設置するのに適した位置に決定される。ここで、想定した前記物品の設置姿勢はメモリ等に記憶しておき、次に述べる設置作業時（図 6 6のステップ S 2 4 1 1参照）のアーム 2 0 1及びハンド 2 0 2の動作計算に用いる。次に、ステップ S 2 4 0 8においてアーム 2 0 1及びハンド 2 0 2の動作を計算し、ステップ S 2 4 0 9において、物品を把持するコマンドを把持手段 1 1 2に送り、物品を把持する。なお、ステップ S 2 4 0 6ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サーバ 1 0 1に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴データ（図 6参照）に記録されている。

さらに、ステップ S 2 4 0 3で作業単位が「設置」であった場合、把持作業時にメモリに記憶した設置姿勢又は指定された設置姿勢に合うように、アーム 2 0 1及びハンド 2 0 2の動作を計算し（ステップ S 2 4 1 0 ) 、アーム 2 0 1及ぴハンド 2 0 2を動作させる制御コマンドを発行して把持物品を設置する（ステツプ S 2 4 1 1 ) 。

最後に、ステップ S 2 4 1 2において、移動、把持及び設置が終了した旨をメヅセージとして作業指示元（操作端末）に送信する。

本発明の特徴の一つは、この作業ロボヅト 1 0 2のメヅセージ処理部 1 3 0 3 における把持メッセ一ジを受けた時の処理にある。この処理は、持ち替えを必要とする従来の技術と異なっている a すなわち、本物品管理システム 1 0 0においては、把持位置決定手段 1 5 0を用いて、把持する物品の設置位置の状況等に応じて把持位置を計算し、持ち替えを必要としない物品の移動を行う。

図 6 7は、把持位置決定手段 1 5 0の動作を示すフローチャートである。本動作では、まずステップ S 2 5 0 1において、設置位置が箱の内部であるかどうかを判定する。これは、環境管理サーバ 1 0 1にメッセ一ジ（図 7 1のコマンド番号 1 2参照）で問い合わせることにより実現できる。設置位置が箱の内部であつた場合、設置姿勢は問われないので、把持位置も特に限定されない。そこで、ステヅプ S 2 5 0 2において、把持可能な任意の部分を把持位置に設定する。なお、把持位置を見つける方法は後述する。

一方、設置位置が箱の内部でなかった場合、ステップ S 2 5 0 3に進み、設置位置が人の存在する位置であるか否かを判定する。つまり、移動対象物品を人に手渡す場合であるか否かを判定する。設置位置における人の有無は、前記物品移動体デ一夕ベース 1 0 6に問い合わせることで知ることができる。設置位置が人の存在する位置である場合、ステップ S 2 5 0 4に進み、人が持たない部分を把持位置に設定する。物品のどの部分を人が持つかは、前述したような前記物品移動体デ一タペース 1 0 6の形状デ一夕等を参照することにより知ることができる o ステヅプ S 2 5 0 3の判定の結果、設置位置が人の存在する位置でなかった場合には、ステップ S 2 5 0 5に進み、設置位置の許容領域の形状や上方への高さ (許容高さ）に関する情報を取得する。

設置位置の許容領域は、前記環境マップ 1 0 8と物品移動体データベース 1 0 6とに問い合わせることで知ることができる。図 6 8は、設置位置 2 6 0 1の許容領域を求める方法の説明図である。具体的には、環境管理サーバ 1 0 1から環境マップ 1 0 8 (図 3 5参照）の情報を取得し、次に物品移動体デ一夕べ一ス 1 0 6から物品及び移動体（図示せず）の位置、形状及び姿勢の情報を取得し、物品及び移動体の存在領域を平面モデル化された環境マヅプ（図 6 8参照）に上方から投影する。その結果、環境マップに何も投影されていない領域として、許容領域 2 6 0 3 (図 6 8においてハヅチングで示された領域）を得ることができる。ただし、許容領域 2 6 0 3は設置位置と同じ Z座標値を持つ平面に限るので、図 6 8の場合、異なる高さを持つ家具 2 6 0 4や移動体（図示せず）などの領域は許容領域から除外される。また、設置位置の上方への高さ（この例では、本棚の棚間の高さ）は環境マップの家具デ一夕 1 1 0 5から得ることができる。前述したように、家具を構成する面にはその上方への高さに閧する情報が付加されている。

以上のようにして、ステップ S 2 5 0 5において、設置位置の許容領域や上方への高さを知ることができる。次に、ステップ S 2 5 0 6において、作業ロボット 1 0 2の属性データから把持手段 1 1 2の占有空間情報を得る。

最後に、ステップ S 2 5 0 7で、移動対象物品が前記設置位置の許容領域の形状及び上方への高さに収まるよう把持位置を決める。具体的には、まず、設置位置の許容領域の形状に収まる物品の接地面の候補を探す。ただし、実際には把持手段 1 1 2は自分自身の占有領域を必要とするので（例えば、側方から把持する場合）、把持手段 1 1 2の占有領域を考慮して、物品の接地面の候補を探し出す。例えば、ステップ S 2 5 0 6で得た前記占有空間情報に基づき、前記許容領域の横幅をロボットハンド 2 0 2の厚み b (図 6 1参照）の 2倍分だけ狭めた形状に収まるように、物品の接地面候補を探す。

ここで、前述したように、物品の形状はポリゴンモデルとして前記物品属性デ一夕 3 0 3に記憶されており、接地面の候補は、各面（ポリゴン）に付与されたフラグを用いることで知ることができる。もちろん、全ての面を接地面の候補としてもよい。

次に、各接地面の候補を接地させた場合の物品の高さが前記上方への高さに収まるかを判定し、収まらない接地面を前記接地面の候補から排除する。そして、残された接地面を前記設置位置の許容領域に接地した時の物品の姿勢を想定し、前記把持手段が物品をその姿勢で無理なく設置できる位置を把持位置とする。本例では、各接地面に対して予め把持面として所定の 2面を 1組又は複数組定めておき、それら 2面の各重心位置をロボヅトハンド 202の把持位置とする。図 69 (a) は、図 69 (b) に示す物品 2800を例として、接地面と把持面との関係を示したテーブルである。例えば、面 A 1を接地面とする場合、把持面として、（A3, A8) 、（A4, A9) 、（A5, A10) 、 (A6, A 11 )、 (A7, Al 2) の 5組の組み合わせが考えられる。このようなテーブルを参照することで、把持位置を決定することができる。本例では、各接地面に対し複数の把持位置が存在するが、 .このうちの一つとして、例えば、 2面間の距離が小さいものでかつハンド 202の姿勢をできるだけ変更しなくてもよいものを選ベばよい。

なお、指定した設置位置が他の物品に囲まれていることを想定し、基本的には、物品は設置姿勢に対して上方から把持するものとする。しかし、設置したときの物品の高さと前記占有空間情報から得られる把持手段 112の上方の占有高さ a (図 61参照）とを合わせた長さが、前記設置位置の上方の高さを上回っている場合には、物品の設置姿勢に対して側方から把持することが好ましい。

また、ここでは接地領域（面）を選択する際、移動対象物品が設置位置の許容領域と許容高さとを共に満足する空間に収まるように選択したが、許容領域又は許容高さのどちらかに収まるように選択してもよい。

このように、物品を把持する際、設置位置の状況及び設置姿勢を先に考慮して把持することで、持ち替えを必要としないスムースな物品の運搬が可能となる。本物品管理システム 100では、結果的に、事前に設置姿勢を考慮して物品を把持するので、接地面を把持手段 112で覆うことを避けることができ、持ち替えをせずに物品を運搬することができる。例えば、無造作に置いてある本を本棚に運んで並べる場合、事前に本棚の高さを考慮し、その高さに収まるように本を把持することができるので、持ち替えを行わずに本を本棚に並べることが可能となる。また、はさみや包丁などの刃物を人に渡す場合、事前に人が持つ部分（包丁であれば柄の部分）を把持せず刃の部分を把持するので、持ち替え動作を伴うことなく、人にとって安全かつ便利に物品を渡すことができる。

なお、作業ロボヅト 102が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末 1 0 3 ) に対してエラ一メヅセージを送信し、作業を一時中断する。また、作業ロボット 1 0 2は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ 1 0 1に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボット 1 0 2の自己位置、あるいは、移動計画作成手段 1 1 3に必要な環境マップ 1 0 8等を、環境管理サ —バ 1 0 1に問い合わせてもよい。なお、これらの問い合わせも、環境管理サ一バ 1 0 1に問い合わせのメッセージを送り、その回答を受け取ることで実現される o

環境管理サーバ 1 0 1の制御手段 1 1 0の動作は、第 4の実施形態と同様であり、ここでは説明を省略する。

これにより、家庭やオフィス等において作業ロボットに物品の運搬作業を行わせる際、どのような形状又はどのような種類の物品でも持ち替えを行わないよう把持することができ、効率的かつ安全な運搬作業を行わせることができる。一発明の効果一

本発明によれば、居住空間内に存在する物品を管理するシステムにおいて、作業ロボヅトに物品を移動させる際に移動対象物品の持ち替えが不要になるので、物品の移動をスムーズに行うことができる。また、持ち替えが不要であるので、作業ロボットの保持手段の構成を簡単化することができる。また、作業者が物品の把持姿勢や設置姿勢を指定する煩わしさを軽減することができる。

(第 6の実施形態）ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、ロボヅトに実行させる作業内容の指定を容易化して、誰もが容易にロボットの操作を可能にすることにある o

本発明の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。

この構成によると、入力手段で入力される作業命令は、ロボットの作業対象物品とその対象物品の移動先とで構成される。

この作業命令を受けて、作業計画作成手段は、口ポットが対象物品を移動先に移動させるための作業計画を、その移動先への作業を補完しつつ作成する。つまり、ユーザが「物品を所望の移動先に移動させる」という作業内容を指定すれば、作業計画作成手段が、ロボットがその物品をその移動先に移動させるという作業計画を作成するため、ユーザが指定した対象物品が指定した移動先に移動される作業が実行される。このときに、上記作業計画作成手段は、移動先に応じた、その移動先への作業を補完した作業計画を作成するため、ユーザは、物品の移動先を考慮した作業を追加して指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定が容易化されて、誰もが容易にロボットの操作が可能になる。

上記移動先は、物品を収容する収容部を有する設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追加してもよい。ここで、「設備」とは、生活空間内に置かれていて、物品に対する特定の機能を果たすものを含む。例えば家電機器や収納家具は、ここでいう設備に含まれ、家電機器の一つである冷蔵庫は、物品を収納してその物品の冷却を行う機能を果たす。家電機器の一つである電子レンジは、物品を収納してその物品を加熱する機能を果たす。また、収納家具は、物品を収納する機能を果たす。

上記対象物品は、設備の収容部に収容された物品を含み、上記作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追カロしてもよい。

上記設備の収容部にはドアが設けられており、上記作業計画作成手段は、上記ドアの開閉動作を作業計画に追カ卩してもよい。

上記移動先は、物品に対する作用を施す設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追加してもよい。

このとき、上記作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加してもよい。

上記設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行するものとしてもよい。

上記システムは、ロボットが作業内容に従って作業を鬨始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備えてもよい。

上記システムは、生活空間内の状況を管理する空間管理デ一夕べ一スをさらに備え、上記作業計画作成手段は、上記空間管理データべ一スを参照しながら作業計画を作成するのがよい。

本発明の他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。

このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボッ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。

本発明のさらに他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。

このシステムは、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、上記ロボッ卜の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容デ一夕べ一スを参照しながら作成する作業計画作成手段と、を備える。

本発明の物品取扱いサーバは、所定の生活空間内に存在する物品の取扱いを行うためのサーバである。

この物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボッ卜の作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。

本発明の他の物品取扱いサーバは、上記物品の取扱い作業を行うロボヅトの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。

本発明のさらに他の物品取扱いサーバは、上記物品の取扱い作業を行うロボッ卜の作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記口ボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データべ一スを参照しながら作成する作業計画作成手段を備える。

すなわち、ここでの態様 1では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。

態様 2では、態様 1において、移動先は、物品を収容する収容部を有する設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追カ卩する。

態様 3では、態様 1において、対象物品は、設備の収容部に収容された物品を含み、作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追加する。

態様 4では、態様 2又は態様 3において、設備の収容部にはドアが設けられており、作業計画作成手段は、上記ドアの開閉動作を作業計画に追加する。

態様 5では、態様 1において、移動先は、物品に対する作用を施す設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追カ卩する。態様 6では、態様 5において、作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。

態様 7では、態様 2〜態様 6のいずれか 1態様において、設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。

態様 8では、態様 1〜態様 6のいずれか 1態様において、ロボヅトが作業内容に従って作業を開始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備える。

態様 9では、態様 1〜態様 6のいずれか 1態様において、生活空間内の状況を管理する空間管理デ一夕ベースをさらに備え、作業計画作成手段は、上記空間管理デ一夕ベースを参照しながら作業計画を作成する。

態様 1 0では、所定の生活空間内に存在する物品の取扱いを行うシステムであつて、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボヅ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する o

態様 1 1では、所定の生活空間内に存在する物品の取扱いを行うシステムであつて、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容デ一夕ベースと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボヅトが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容デ一夕べ一スを参照しながら作成する作業計画作成手段と、を備えるものを提供する。

態様 1 2では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボヅ卜の作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボッ卜の作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。

態様 1 3では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボヅ卜の作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボッ卜の作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボッ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものを提供する。

態様 1 4では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容デ一夕ベースを参照しながら作成する作業計画作成手段を備えるものを提供する。

本発明の第 6の実施形態は、いわゆる生活空間において、その空間内に存在する物品の移動作業を作業ロボヅトに実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。

図 7 0は本実施形態に係る物品取扱いシステムの全体構成の例を示すプロヅク図である。図 7 0では、第 1の実施形態における図 2と共通の構成要素については、図 2と同一の符号を付している。本システムは、図 7 0に示すように、環境管理サーバ 101 (以下、単にサーバと省略することもある）、作業ロボヅト 102 (以下、単にロボッ卜と省略することもある）、及び操作端末 103、設備 104 の大きく分けて 4つのサブシステムから構成される。これら 4つのサブシステム 10 1〜104 は、無線又は有線のネヅトワークを介して接続されていて、このネヅトワークを介して情報のやり取りを行うように構成されている。

4つのサブシステム 101〜104 はそれぞれ、制御手段 110 ， 115 , 119 , 1 6 2 と送受信手段 109 とを備えている。ここで、各サブシステム 101 〜； 104 の送受信手段 109 は処理が同じであるため、同じ符号を付すことにする。

センシング手段 1 2 0については、第 1の実施形態と同様であり、ここでは説明を省略する。

一環境管理サーバの構成一

1番目のサブシステムである環境管理サーバ 101 は、センシング手段 120 によつて把握した状況のうち、環境内に存在する物品（ロボット 102 が取扱い作業可能なもの）と移動体（人や作業ロボット 102等の主として物品の取扱いを行うもの）との状況を管理する物品/移動体検索 ·管理手段 105及びその物品及び移動体のデ一夕を蓄積する物品 Z移動体デ一夕べ一ス 106 と、上記物品及び移動体以外の環境全体の状況管理する環境マップ管理手段 107及びその環境全体のデ一夕を蓄積する環境マップ 108 と、物品 Z移動体デ一夕ベース 106 のデ一夕や環境マップ 108 のデ一夕の問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したりする送受信手段 109 と、これらの手段 120 , 105 , 107， 10 9 をコントロールする制御手段 110 とからなる。

物品/移動体検索 ·管理手段 105 は、センシング手段 120 によって検出されたり、ユーザによって入力されたりした環境内に存在する各物品及び移動体の情報を、物品 Z移動体デ一夕ベース（D B ) 106 に蓄積するものである。この D B 10 6 の詳細は後述するが、 D B 106 に蓄積する情報には、少なくとも物品及び移動体の現在位置が含まれる。

また、上記物品/移動体検索 ·管理手段 105 は、環境管理サーバ 101 の外部から送受信手段 109 及び制御手段 110 を介して、物品/移動体 D B 106 に問い合わせがあった場合には、その問い合わせの内容に応じて必要な情報を物品/移動体 D B 106 から取り出し、その情報を制御手段 110 に送る処理も実行する。これによりユーザは、操作端末 103 に、日付や物品の種類等の、物品の属性を絞り込むための検索キ一を入力することで、物品 Z移動体 D B 106 に蓄積されている情報によってその物品の現在位置を検索することも可能になる。

さらに、後述するロボット 102 及び操作端末 103 からサーバ 101 に対して物品の情報登録 '更新の要請を受けたときには、物品/移動体検索 ·管理手段 105 は、上記物品/移動体 D B 106 の登録 ·更新を行う。

上記物品 Z移動体 D B 106 へのアクセスは、物品/移動体検索 ·管理手段 105 のみに許可されており、これによつて、本システムは、同じデ一夕に対して書き込みと読み出しが同時に行われないようにしている。

環境管理サーバ 101 の物品 Z移動体 D B 106 は、物品及び移動体の情報を蓄積する D Bであり、物品を扱う物品デ一夕ベース 106a (図 7 1 ) と、移動.体を扱う移動体デ一夕ベース（図示省略）とからなる。

上記物品 D B 106aは、個々の物品について次の 5つの属性を有するように構成される。

1 ) 物品 I D ：個々の物品を区別するための I Dであり、各物品に一つずつ割り当てられる。従って、環境内に同じ種類の物品が複数存在していても物理的に別の存在であれば、それらは別の物品として扱うため互いに異なる I Dが割り当てられる。

2 ) 物品名称：当該物品の種類を表す名称であり、上記物品 I Dとは異なり、環境内に同じ種類のものが複数存在しても割り当てられる名称は同じである。

3 ) 時刻：当該物品が最も最近に移動体（人 ·ロボット 102 ) によって取り扱われた時刻である。

4 ) 場所：当該物品が最も最近に移動体によって移動した位置（物品の現在位置）である。場所は、後述する環境マップ 108 に登録されている環境属性データ 602 又は設備属性デ一夕 603 の I D番号で指定する。また、その I D番号だけでは物品の空間的位置が特定し難い、又は特定できないときには、 I D番号に物品の現在位置を示す座標値（図 7 6に示す世界座標系）を付加することで物品の空間的位置を特定する。物品の現在位置が、例えば「冷蔵室」内や「冷凍室」内といった設備の内部であるとき（物品の現在位置が、後述する設備属性デ一夕 603 に含まれるとき）には、その「冷蔵室」や「冷凍室」を示す I D番号だけで、物品がそれらの中に存在していることが特定可能になり、物品の空間的位置が特定できる。このため、 I D番号に座標値を付加する必要はない（図例では、「Free zer-0001」）。一方、物品の現在位置が、例えば「床」上であるとき（物品の現在位置が後述する環境属性データ 602 に含まれるとき）には、床の範囲は比較的広いため「床」を示す I D番号だけでは物品の空間的位置を特定し難い又は特定できない。この場合は、 I D番号に座標値を付加することによって、物品の空間的位置を特定可能にする（図例では、「floor- 0001 (xl、yl,0 ) 」）。 I D番号に座標値を付加するか否かの判断は、物品の現在位置が、環境属性データ 602 に含まれるか、設備属性データ 603 に含まれるかだけに基づくのではなく、上記物品の取扱い作業を実行するロボット 102 の性能を考慮して判断するのが好ましい。例えば物品が冷蔵室内に収容されているときであっても、ロボット 102 の性能が非常に低く、ロボット 102 が物品を把持するには冷蔵室内におけるその物品の正確な座標値が必要であるときには、冷蔵室を示す I D番号で物品の現在位置が特定できるとしても、その I D番号に座標値を付加することが好ましい。

また、物品 D B 106aに置ける物品の現在位置の初期設定や、その物品が移動したときの現在位置の更新は、可能な限りは上記センシング手段 120 によって検出した検出結果に基づいて自動で行うことが好ましい。但し、自動で行うことができないときには手動で行ってもよい。 5 ) 物品画像：当該物品を示す画像である。

ここでは、物品 D B 106aが、各物品の特徴を区別するために 5つの属性を有する例を示したが、物品 D B106aは、必要に応じてそれ以外の属性を有するようにしても良い。例えば物品 D B 106aが、物品の 3次元形状のデ一夕、物品のより正確な位置デ一夕、及び物品の姿勢デ一夕を有していれば、ロボット 102 は、これらのデ—夕を利用して物品を把持する動作をより容易に実行することができる。次に、図 7 1〜図 7 4を参照しながら、物品 D B 106aの更新について具体的に説明する。図 7 3及ぴ図 7 4は、本システムの対象となる環境内の様子を示す図であり、図 7 3と図 7 4とでは、その時刻が互いに異なる。ここでは、図 7 3は 2 0 0 2年 1 0月 1 0日、 9 ： 0 0の時点での環境内の様子を示し、図 7 4は 2 0 0 2年 1 0月 1 0日、 2 0 : 0 0の時点での環境内の様子を示すものとする。また、図 7 1に示す物品 D B 106aは、図 7 3に示す時刻の環境に対応するものであり、図 7 2に示す物品 D B 106aは、図 7 4に示す時刻の環境に対応するものである。

図 7 1に示す物品 D B 106aには、 2 0 0 2年 1 0月 1 0日、 9 ： 0 0の時点で璟境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くず、アイスクリーム、アイスキャンデー、の 7つの物品が登録されている。このうち、缶ジュース（D-0001) 、弁当（F- 0001) 、手帳（S- 0001) 、バナナ（F-0002) 、紙くず（0-0001) の 5つの物品は、図 7 3に示すように、環境内の床上に置かれている。このため、これらの物品についての場所の属性は「床」の I D番号である rfloor-OOOlj となる。これと共に、その I D番号にはその各物品の現在位置に対応する座標値が付カ卩されている。一方、アイスクリーム、アイスキャンデーの 2つの物品は、図; 7 3には明示されていないが冷凍室内の収容されている。このため、これらの物品についての物品デ一夕ベースの場所の属性は「凍室」の I D番号である「Freezer-0001」となる。この I D番号には座標値は付加されていない。

2 0 0 2年 1 0月 1 0日、 1 0 : 0 0の時点に、ユーザによる指示に応じて口ボット 102 が床上に置かれている、缶ジュース、弁当、手帳、バナナ、紙くずの各物品を片付ける作業を実行する（ユーザの指示に応じてロボット 102 が行う作業については後述する）と共に、ユーザが冷凍室内のアイスクリームおよびアイスキャンデ一を食べたとする。これにより、図 7 4に示すように環境内の様子は変化する。また、物品データベース 106aには、図 7 2に示すように、 2 0 0 2年 1 0月 1 0日、 2 0 : 0 0の時点で環境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くずの 5つの物品が登録されている。このうち、缶ジュ —スはロボット 102 によってゴミ箱（リサイクルゴミ箱）に移動されたため、場所の属性はリサイクルゴミ箱を示す「wastebasket-0002」に変わる。同様に、弁当及びバナナの場所の属性はそれそれ冷蔵室を示す「refrigerator-0001 」に変わり、手帳の場所の属性はテーブルを示す「table-0001」に変わり、紙くずの場所の属性は一般ゴミ箱を示す「wastebasket-0001」に変わる。

これに対し、ユーザが食べることで環境内から消滅したアイスクリーム、及びアイスキャンデーは、物品 D B 106aから削除されている。こうした物品 D B 106a から物品を削除する処理は、ユーザが物品が消滅したことを入力することによつて行ってもよいし、その物品に付与された電子タグによって物品が消滅したことを判定して自動で行ってもよい。具体的には、ゴミ箱に電子タグのリーダライ夕を取り付けておき、物品に付された電子タグがゴミ箱に入れられたことをゴミ箱に取り付けたリーダライ夕が検出したことを受けて、その電子タグに対応する物品を物品 D B 106aから削除するようにすれば、物品 D B 106aから物品を削除する処理を自動的に行うことができる。

また、食品が典型的であるが、実世界から事実上消滅する場合がある物品は、上記の例のように、その消滅時点で物品 D B 106aから削除してもよいが、物品 D B 106aから削除するのではなく、 D B 106aに登録したままにする一方で、 D B 10 6aの場所の属性には、設備や環境の I Dを記述する代わりに、物品を消滅させた移動体を記述する（例えば、食べられたことで消滅したのであれば、その食べた人物の I Dを記述する）ようにしてもよい。

このように物品データベース 106aは、物品 Z移動体検索 ·管理手段 105 によつて、環境内での物品の移動や消滅に伴い逐次更新される。それによつて、物品デ —夕ベース 106aは、常に最新の情報が登録された状態にされる。

一方、移動体デ一夕ベースは、図示は省略するが、少なくとも、移動体 I D、移動体名称、時刻、場所の属性を有するように構成される。また、移動体データベースも、物品/移動体検索'管理手段 105 によって、璟境内の状態に応じて逐次更新され、それによつて、移動体デ一夕べ一スは、常に最新の情報が登録された状態にされる。

環境管理サーバ 101 の環境マップ管理手段 108 は、環境全体のデ一夕を蓄積する環境マップ 108 を、センシング手段 120 からの情報や、ユーザが入力した情報に基づいて作成すると共に、その作成した環境マップ 108 の管理を行うものである o

また、上記環境マップ管理手段 107 は、制御手段 110 から環境マップ 108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段 110 に送ることも行う。

上記環境マヅプ 108 は、上述したように、設備や環境の I Dを参照するために利用されるだけでなく、ロボット 102 が環境内を移動する際に利用されるものである。ロボット 102 は、後述するように、この環境マップ 108 をサーバ 101 から取得して移動経路の計画を立てる。

環境マヅプ 108 は、例えば環境の実状況が、図 7 5 ( a ) に示される場合に、その実状況を立体モデルで簡略化したもの（図 7 5 ( b ) ) を環境マップ 108 としてもよい。また、図 7 5 ( c ) に示すように、さらに平面モデルで簡匕したものを環境マヅプ 108 としてもよい。さらに、図 7 5 ( a ) に示される環境の実状況をそのまま立体モデル化したものを、環境マップ 108 としてもよい。すなわち、環境マップ 108 は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図 7 5 ( b ) に示す環境マップ 108 はその例であり、例えばテーブルは直方体でモデル化している。平面モデルからなる環境マップも同様であり、図 7 5 ( c ) に示す環境マップ 108 では、テーブルは平面に正射影した矩形領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ 108 では、こうして設定した領域をロボヅ卜 102 が移動不可能な領域に設定する。図 7 6は環境マップ 108 のデ一夕の一例を示した図で、図例のデータは、図 7 5に示す環境に対応するデ一夕である。環境マップ 108 のデ一夕は、環境に含まれる床面の I D番号と環境内に存在する設備 104 の I D番号とのリストである環境デ一夕 601 と、環境属性デ一夕 602 と設備属性デ一夕 603 との 3つのデ一夕から構成される。

環境データ 601 には、環境に互いに高さ異なる複数の床面が存在するときには、その床面の数だけ床面データが登録される（floor-0001， floor- 0002， ···）。上記環境属性デ一夕 602 とは、環境（部屋）の詳細なデ一夕であって、環境デ —夕 601 に登録されている床面毎にデ一夕が蓄積されている。環境属性デ一夕 60 2 は、床面を構成する各頂点の座標値（実世界座標での座標値であり、その部屋で最も低い床面の高さ位置を 0とする）と、その床面の材質を示すデ一夕とで構成される。床面の形状が四角形のときには、環境属性デ一夕は、

( (XI , Yl， Zl) , (Χ2， Υ2， Ζ2) , (Χ3， Υ3， Ζ3) , (Χ4, Υ4， Ζ4) , 0) となる。最初の 4つの座標は床面を構成する各頂点の座標であり、最後の値「0 」は床面の材質を示している。例えば、「0」はフローリング、「1」は畳、「 2」は絨毯とすればよい。

上記設備属性デ一夕 603 とは、環境（部屋）の中に存在する各設備 104 の詳細なデ一夕である。ここでいう設備 104 とは、人やロボット 102 が移動させる物品とは異なり、通常は、移動させることのないものである。一例を挙げると家具や家電機器がここでいう設備に該当する。この設備 104 は、上述したように、本システムのサブシステムの一つであり、この設備 104 についての詳細は後述する。図 7 5に示すように、環境内にテーブル（table-0001) 、冷凍室（refrigerat or-0001) 、冷蔵室 (freezer-0001) 、ゴミ箱 (wastebasket-0001 , wastebasket -0002) 、電子レンジ（Microwave- oven-0001) が存在しているため、図 7 6に示す環境デ一夕 601 には、その各設備の I Dが登録されている。設備属性デ一夕 60 3 には、その設備毎の詳細なデ一夕が登録されている。尚、「冷凍室」と「冷蔵室」は一体となって一つの「冷蔵庫」を構成するが、本システムでは、物品を収容する場所単位で設備を区別する。このため、冷蔵庫を一つの設備 104 として扱うのではなく、冷凍室と冷蔵室とをそれぞれ独立した一つの設備 104 として扱う設備属性データ 603 には、その設備 104 を構成する各面のデータ（面 1 , 面 2 ， ···）、設備の種類が登録される。設備を構成する面のデ一夕は、その面を構成する頂点の座標値（実世界座標での座標値）と、その面に物品が載置できるか否かを示すフラグとによって構成される。例えば面を構成する頂点の数が 4つであるときには、.その面のデ一夕は次のようになる。

( (XI , Yl , Zl) , (X2， Y2， Ζ2) , (Χ3, Υ3， Ζ3) , (Χ4, Υ4, Ζ4) , 1) 最初の 4つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「1」はその面上に物品が載置可能な否かのフラグである。物品が載置可能なときには「1」となり、載置不可能なときには「0」となる。この識別フラグは通常は切り替わることはないが、設備 104の種類によっては識別フラグが状況に応じて切り替わるようにする。例えば、その設備が、開口部にドァが取り付けられた収容部であるときには、その収容部内の面の識別フラグは、ドアの開閉状態に応じて切り替わるようにする。

このことについて具体的に、図 7 7を参照しながら説明する。図 7 7に示す冷凍室 7 1は、開口部にドア 7 2を有する収容部からなる設備 104 の一例である。図 7 7 ( a ) は、冷凍室 7 1のドア 7 2が閉じているときの設備属性デ一夕を示している。このように、冷凍室 7 1のドア 7 2が閉じている状態では、ドア 7 2 に阻まれて冷凍室 7 1内の面に物品を載置することができない。このため、設備属性デ一夕の識別フラグは「0」となる。これに対し、図 7 7 ( b ) は冷凍室 7 1のドア 7 2が開いているときの設備属性デ一夕を示している。このように、冷凍室 7 1のドア 7 2が開いている状態では、その冷凍室 7 1内の面に物品を載置することができる。このため、設備属性デ一夕の識別フラグは「1」に切り替わる o

尚、図 7 7に示す冷凍室 7 1のように、収容部を構成する各設備 104 は、受け台 7 3を備えるようにしてもよい。この受け台 7 3は、ドア 7 2の開閉に応じてその収容部内に収容される位置と収容部外に突き出る位置とに移動するものである。こうすることでロボット; 102 は、その設備 104 内への物品の出し入れ作業を実行し易くなる。こうした受け台 7 3を有するときの設備属性デ一夕は、図 7 7 ( b ) に示すように、受け台 7 3が収容部外に突き出た位置にあるときの、その各頂点の座標値としてもよい。ロボット 102 は、設備属性デ一夕 603 に登録されている座標値を参照することで、収容部外に突き出た受け台 7 3上に物品を載置したり、その受け台 7 3上の物品を把持したりするためである。尚、受け台 7 3 が移動することで、その各頂点の座標値は変化するが、ドア 7 2を閉じて受け台 7 3が収容部内に収容された状態では、ロボット 102 はその収容部内に物品を入れたり、収容部内から物品を出したりすることを行わないため、設備属性デ一夕 603 の座標値を変更させる必要はなく、識別フラグのみを変更すればよい。尚、面上に物品が満載されているか否か（その面上にさらに別の物品を載置することができないか否か）を認識する処理を加えて、収容部内の面の識別フラグを、その認識処理の結果に応じて切り替えるようにしてもよい。すなわち、面上に物品が満載されているときにはその面上に新たな物品を載置することができないため、ドアが開いた状態でも識別フラグを「0」とし、面上に物品が満載されておらず、その面上に新たな物品を載置することができるときには、ドアの開閉状態に応じて識別フラグを切り替わるようにする。

また、ここでは、設備属性デ一夕 603 に、物品の設置が可能か否かの識別フラグのみを付加したが、その他のフラグを必要に応じて付加してもよい。例えば環境属性デ一夕 602 と同様に、面の材質を示すフラグを付加してもよい。

また、ロボット 102 が面に物品を載置したり、その面に載置された物品を把持するときの当該面へのアームのアプローチ軌跡を、設備属性デ一夕 603 に追加してもよい。さらに、そのアームのアプローチ軌跡に係るアーム動作のプログラムを、設備 104毎に設備属性データ 603 に追加してもよい。具体的には、設備 104 毎にロボヅト 102 のアーム動作のプログラムコードを予め登録し、これを設備属性デ一夕 603 に追加しておく。ロボット 102 は、設備属性デ一夕 603 に記憶されているプログラムコードを必要なときに無線等の通信によつて読み込み、その読み込んだプログラムに従ってアームを制御する。こうすることで、ロボヅト 102 (又はサ一バ 101 ) に、設備 104 の一つ一つについてのアーム動作のプログラムを記憶させる必要がなくなり、プログラムを記憶するためのメモリ容量を節約することができる。環境管理サーバ 101 における制御手段 110 はサーバ全体を制御する部分であり

、主な制御内容としては以下のものがある。

1 ) 送受信手段 109 が、サーバ内にある各種デ一夕に関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品/移動体検索 .管理手段 105 や環境マップ管理手段 107 にデータの参照要求を出す。

2 ) 上記要求に対して物品/移動体検索 ·管理手段 105又は環境マップ管理手段 107 から送られてきた結果を、送受信手段 109 を介して問い合わせ元に送る。

3 ) 送受信手段 109 を介して外部から送られてきたサーバ 101 内にある各種デ —夕に関する登録 ·更新の要求を解釈し、その内容に応じて物品 Z移動 ί*Ι食索 - 管理手段 105 や環境マップ管理手段 107 にデータの登録 ·更新要求を出す。

一設備の構成一

2番目のサブシステムである設備 104 は、上述したように、環境内に設置 -固定されて通常は移動させることのないものであり、ここでは特に、各種の物品を収容する収容部を有するものを意味する。例えば冷蔵室や冷凍室は、食品を収容する部分を有するため、ここでいう設備 104 に含まれる。また、設備 104 には収容された物品に対する作用を施すものが含まれる。例えば電子レンジは、庫内に収容された食品に加熱するという作用を施す設備 104 の一例である。尚、ここでいう「収容」は、物品を比較的長期間かたづけてしまう意味も、物品を一時的にしまいいれる意味も含む。

上記設備 104は、図 7 0に示すように、外部からの設備動作コマンド（このことについては後述する）を受信すると共に、その設備動作コマンドに従って行つた動作結果をコマンド送信元に送信する送受信手段 109 と、当該設備 104 を動作させるための設備動作コマンドデ一夕べ一ス 1 6 3 と、後述するように、その設備が有するドアの開閉動作や、物品に対する作用を施す動作を行う動作手段 1 6 4 と、これら各手段 109 ， 1 6 4 をコントロールする制御手段 1 6 2 とからなる。尚、図 7 0では、設備 104 を一つのみ記載しているが、環境内に複数の設備 10 が設定されているときには、その設備 104 それそれがネヅトワークに接続されることになる。

上記動作手段 1 6 4 は、その設備 104 が例えば冷蔵室及び冷凍室であるときには、ドアの開閉動作をするものである。つまり、本システムにおける冷蔵室や冷凍室は、後述する設備動作コマンドを受けたときには、ドアを自動で開閉する。尚、そのドアは手動でも開閉される。また、上記動作手段 1 6 4 は、その設備 1 04 が例えば電子レンジであるときには、ドアの開閉動作と、庫内に収容された物品（食品）の加熱動作とを行う。

設備動作コマンド D B 1 6 3 は、設備動作コマンドとそれに対応する処理手続をを記憶するものである。この設備動作コマンドは、当該設備 104 を外部からリモートで動作させるためのコマンドである。制御手段 1 6 2 は設備動作コマンド D B 1 6 3 を参照することで、動作手段 1 6 4 に、設備動作コマンドに応じた処理を実行させるようにする。

図 7 8は、設備動作コマンド D B 1 6 3 に記憶されている設備動作コマンドを表形式で示した図であり、表の記述情報は左の列から順に

1 ) 環境内に存在する設備 104 を区別するための設備 I D

2 ) 外部から当該設備 104 を制御するための設備動作コマンド名

3 ) 上記コマンドに対応する処理手続き

4 ) 上記処理を行った結果の外部への戻り値

となっている。図 7 8には、設備 104 の一例として、冷蔵室、冷凍室、電子レンジの、 3つの設備 104 それぞれについて、設備動作コマンド D B 1 6 3 に記憶されている設備動作コマンドを示している。

この内、冷蔵室および冷凍室の設備動作コマンドは、 1 ) door-open , 2 ) do or-close, の 2種類のコマンドが用意されている。冷蔵室又は冷凍室の送受信手段 109 が、外部から送信された door-open のコマンドを受信したときには、その制御手段 1 6 2 は動作手段 1 6 4 、に冷蔵室又は冷凍室の「ドアを開く」処理を実行させる。また、 door-closeのコマンドを受信したときには、その制御手段 1 6 2 は動作手段 1 6 4 に、冷蔵室又は冷凍室の「ドアを閉める」処理を実行させる。

上記制御手段 1 6 2 は、それぞれの設備動作コマンドの処理が無事に終了したときには、そのコマンドの発信元に Ack を、また設備動作コマンドの処理が失敗したときには、そのコマンドの発信元に Nackを、送受信手段 109 を介して戻り値として返す。

一方、電子レンジの設備動作コマンドは、 1 ) door-open , 2 ) door-close, 3 ) warm-start, 4 ) warm-end, 5 ) is-object 、の 5種類のコマンドが用意されている。この内、 door- open, door-close のコマンドについては、冷蔵室及び冷凍室の場合と同じであるためその説明を省略する。

電子レンジの送受信手段 109 が、外部から送信された warm-startのコマンドを受信したときには、制御手段 1 6 2 は、動作手段 1 6 4 に電子レンジの機能である「庫内食品の加熱」処理を実行させる。このときに、庫内に食品（物品）が入っていて加熱処理が開始できたときには、制御手段 1 6 2 は、コマンドの発信元に Ack を、それ以外のときにはコマンドの発信元に Nackを、それそれ戻り値として返す。

また、 warm-endのコマンドを受信したときには、制御手段 1 6 2 は、動作手段 1 6 4 に庫内食品の加熱が終了したか否かを判断させ、加熱完了のときには Tru eを、加熱完了でない（未だ加熱処理中）のときには False を、コマンドの発信元に戻り値として返す。

さらに、 is-object のコマンドを受信したときには、制御手段 1 6 2 は、動作手段 1 6 4 に、庫内に物品があるか否かを、画像センサや重量センサなどを用いて判断させ、物品があるときには Trueを、無いときには False を、コマンドの発信元に戻り値として返す。

以上、 3種類の設備 104の例で設備動作コマンドについて説明したが、この設備動作コマンドは、各設備 104 の機能に応じて必要なコマンドを用意すればよい設備動作コマンド D B 1 6 3 は、必要に応じて更新すればよく、その D B 1 6 3 の更新は、例えば更新情報を記録媒体を介して設備 104 に読み込ませてもよいし、更新情報をネットワークを介して設備 104 に読み込ませてもよい。こうすることで、設備動作コマンドのバ一ジョンアップにも対応可能になる。また、設備 10 4 が外部ネットワークに接続されているときには、更新情報を外部ネヅトワークを介して設備 104 に読み込ませることも可能になる。例えば設備 104 の製造元からバ一ジョンアップされた設備動作コマンドを、外部ネヅトワークを介してその設備 104がダウンロード可能になる。

—操作端末の構成—

3番目のサブシステムである操作端末 103 は、本システムにおけるュ一ザインタフエースであり、主にロボヅト 102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。

操作端末 103 はその基本構成として、図 7 0に示すように、操作画面を表示する、例えば C R Tや液晶ディスプレイからなる表示部 117、上記操作画面上で口ボット 102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部 Π6、上記表示部 Π7 に表示される操作画面の作成等の表示制御を行う表示制御手段 118、上記入力部 116 にて入力されたロボット 102 の作業内容をロボヅト 102 に送る送受信手段 109 、これらの各手段 109 , 116 〜118 をコントロ一ルする制御手段 119 からなる。

この操作端末 103 として、例えば汎用 P Cを用いることが可能である。この場合、後述する各処理を実行させる制御プログラムを P Cが読み込むことによって、汎用 P Cを操作端末 103 として用いることが可能になる。

上記表示制御手段 118 は、上記サーバ 101 から送信された情報、具体的には、環境内を撮像した画像のデ一夕、物品/移動体データベース 106 に蓄積されたデ —夕、環境マヅプ 108 に基づいて、操作画面を作成する。こうして表示制御手段 118 で作成された操作画面が、表示部 117 に表示されることになる。

本システムでは、操作端末 103 の表示部に表示される操作画面は、図 7 9に一例を示すようにしており、環境の実状況に則した仮想空間によって構成されている。

この仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このため、図 7 9に示す操作画面は、図 7 3 に示す環境と見た目は同じになる。尚、上記カメラは、例えばセンシング手段 12 0 として環境内の側壁に設置されたカメラを利用してもよい。

この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図 7 9に示す操作画面には、物品アイコンとして、缶ジュース（D-0001) 、弁当（F- 0001) 、手帳（ S - 0001) 、バナナ（F-0002) 、紙くず（0-0001) の各アイコンが含まれている。この操作画面には、環境内に存在する設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボヅト 102 が取扱い可能な物品である。

この操作画面では、ユーザは、. 操作端末 103 の入力部 116 の操作によって操作画面内のカーソルを操作し、それによつてロボット 102 に実行させる作業内容を指定する。具体的には、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラヅグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、ロボット 102 の作業対象の物品とその物品の移動先とが指定されることになる。例えば、図 7 9に示す各矢線は、缶ジュースアイコン（D- 0001) を、仮想空間内のリサイクルゴミ箱に、弁当アイコン（F-0001) 及びバナナアイコン（F-0002).を、仮想空間内の冷蔵室に、手帳アイコン（S- 0001) を、仮想空間内のテーブルに、紙くずアイコン（0-0001) を、仮想空間内の一般用ゴミ箱にそれぞれドラッグァンドド口ップ操作するときの操作例を示している。

このような操作画面上での指定操作を、ロボット 102 に対する作業内容の指示デ一夕に変換するには、少なくとも次の 1 ) , 2 ) の 2点の処理が必要になる。

1 ) 操作画面を構成する仮想空間が画像デ一夕であるため、その画像デ一夕のどの領域が物品アイコンに対応するかを特定すると共に、操作画面上で指定した物品アイコンが環境内の何を示しているかを特定する処理、及び、操作画面上で指定した物品の移動先が環境内のどこに対応するかを特定する処理

2 ) 設備の内部に収容されている物品は、カメラ映像には陽に撮影されないため、こうした設備の内部に収容されている物品をュ一ザが指定可能にするための処理

先ず、上記 1 ) の処理を行うために、操作画面は、次のように構成される。画像デ一夕のどの領域が物品アイコンに対応するかを特定する処理のために、上記操作画面は、仮想空間を構成する上記画像データに加えて、この画像データ（仮想空間）に 1対 1に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデ一夕を有するものに構成される。ここで「1対1に対応」とは

、座標値が互いに対応していることを意味する。

この画面マスクデ一夕には、操作画面上で物品アイコンが配置される領域に対応してマスクデ一夕が設定されており、仮想空間からなる操作画面上で、力一ソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデ一夕において同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断する。この画面マスクデ一夕は、背景差分画像（図 2 ( c ) 参照）によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。

次に、操作画面上で指定した物品アイコンが何を示しているかを特定する処理のために、上記画面マスクデ一夕におけるマスクデータの座標には、物品デ一夕ベース 106a (図 7 1参照）へのポインタを記載する。こうすることで、物品アイコンが指定されているときには、その座標に記載されたポインタをキ一として物品データべ一ス 106aを参照し、それによつて、操作画面上で力一ソルが指している物品アイコンが、どの物品を表しているかを特定する。

一方、操作画面上で指定した物品の移動先がどこであるかを特定する処理のために、操作画面は、仮想空間を構成する上記画像デ一夕（図 7 9 ) に加えて、図 8 0に示すように、この画像デ一夕と座標値が対応する画面マップを備える。この画面マップは、環境マップ 108 の環境属性デ一夕 602 に含まれる床面、及び設備属性データ 603 に含まれる各設備 104 が、操作画面上でどの位置に相当するかを特定するためのデ一夕である。この画面マップは、画像デ一夕として作成することが可能である。つまり、画面マップを各画素が整数値で表された画像デ一夕とし、その整数値と設備とを、例えば、 0 ：何もなし、 1 ：床（floor-0001)、 2 ：テ一ブル（table-0001) 、 3 ：冷蔵室（refrigerator-0001 )、 4 ：冷凍室 (freezer-0001)、 5 ：一般ゴミ箱（wastebasket-0001)、 6 ：リサイクルゴミ箱（wastebasket-0002) 、 7 ：電子レンジ（Microwave -oven- 0001 ) というように、互いに対応付ければよい。こうすることで、カーソルによって、操作画面上の適当な位置を指定したときには、上記画面マップにおける同じ座標値の画素の整数値を参照する。このことによって、その指定された位置が環境のどの設備に対応するかを特定することが可能になる。但し、この処理は、操作画面上で指定された位置に、物品が存在するかを確認し、その位置には物品が存在しないときに行う。

こうした画面マップは、各設備 104 の立体モデルが既知でありかつ、その設置場所が正確に計算可能であるときには、自動で作成することができる。また、画面マップを自動で作成することが困難なときは手動で作成してもよい。環境内の各設備 104 は、通常、環境内に一度設置すれば、ほとんど動かすことがないため、一旦、画面マップを作成すれば、それを変更することはほとんどない。

上記 2 ) の処理が必要となるのは、上述したように、操作画面がカメラ画像に基づいて構成されるためであり、設備 104 の内部に収容されている物品はカメラ画像には陽に撮影されないことで、操作画面上にも物品アイコンが現れないためである。操作画面上に現れない物品アイコンを指定可能にするために、操作画面は次のように構成される。

上述したように、本システムでは、物品 Z移動体データベース 106 に、環境内の各物品の現在位置が登録されている。このため、物品が設備 104 の内部に収容されていても、物品/移動体デ一夕べ一ス 106 を参照することで、その物品の存在を把握することができる。

このことを利用して、操作画面上で力一ソルが設備を指しているときには、物品/移動体デ一夕ベース 106 を参照する。そして、その設備 104 に物品が収容されているか否かを判断し、物品が収容されているときには、例えば図 8 1に示すように、その物品に対応する物品アイコンを、ポップアップ形式で操作画面上に表示する。図 8 1 ( a ) の例は、力一ソルが冷凍室を指しているときに、その冷凍室に収容されているアイスクリームを示す物品アイコンとアイスキャンデーを示す物品アイコンとがポップアップ表示されている例を示し、図 8 1 ( b ) の例は、力一ソルが冷蔵室を指しているときに、その冷蔵室に収容されている弁当を示す物品アイコンとバナナを示す物品アイコンとがポップアップ表示されている例を示している。このように、物品アイコンがポヅプアップ表示されている間に、力一ソルによつてその物品アイコンをクリヅクすることで、その物品が対象物品に指されるように構成される。尚、物品アイコンの表示形態はこれに限るものではなく、その他の表示形態を採用してもよい。また、物品アイコンを表示する代わりに、物品名称を表示するようにしてもよい。

また、図 8. 1の例では、冷蔵室又は冷凍室内に、 2つの物品しか収容されていないため、収容されている全ての物品（物品アイコン）を一度に表示可能である。しかし、例えば多数の物品が設備 104 内に収容されているときには、全ての物品アイコンをポヅプアヅプ形式で表示したのでは、操作画面が極めて煩雑になつてしまい、ユーザが望の物品アイコンを指定することが困難になることが予想される。そこで、設備 104 内に収容されている物品が多数であるときには、例えば、その物品をカテゴリー毎に木構造で分類しておき、上位のカテゴリ一から下位のカテゴリ一に階層をたどることで、物品アイコンが表示されるようにしてもよい。冷蔵室や冷凍室の例では、そこに収容される物品は、通常、食品であるため、例えば、肉、野菜、等のカテゴリーを操作画面に表示し、ュ一ザにカテゴリ —を選択させる。そして、いずれかのカテゴリ一が選択されれば、その選択されたカテゴリ一に含まれる食品の物品アイコンを表示する。このときに、食品であれば、賞味期限の早い順に所定数ずつ物品アイコンを表示してもよいし、冷蔵室や冷凍室であれば、出し入れの頻度の多い順に所定数ずつ物品アイコンを表示してもよい。こうすることで、ユーザが見やすい操作画面を構成することができる。尚、出し入れの回数に応じて表示するというのは、例えば食品の場合、出し入れ回数が多いほど品質劣化が激しくなるので、そういう食品ほど目立つように表示する、という意味があり、また良く使われる食品をより優先的に表示する、という意味もある。

尚、操作画面上に現れない物品アイコンを指定する構成は、ポップアップ表示に限るものではない。

操作端末 103 の制御手段 119 は、上述したように、操作画面上で対象物品とその移動先とが指定されたときには、それに応じて指示データを作成し、これを送受信手段 109 を介して作業ロボット 102 に送信する処理を行う。この指示デ一夕は、ロボヅト 102 の作業計画作成手段 1 6 1 が、ロボヅ卜制御コマンドを作成する際の基になるデ一夕であり、

(対象物品、対象物品の移動先）

の 2つの値からなる。例えば、操作画面において手帳アイコンがテ一ブルの上にドラッグアンドドロップ操作されて、手帳をテーブルに移動させる作業内容が指定されたときの指示データは、

(手帳 S-0001 (対象物品）、テーブル table- 0001 (移動先））

とする。尚、この移動先としては、上記環境属性デ一夕 602 又は設備属性データ 603 に登録されている場所（床、又は設備 104 ) のみが指定可能である。

また、例えば床に代表されるように、移動先が比較的広い範囲を有し、その移動先の名称（I D ) だけでは具体的な位置を特定することができないときには、その座標値（図 7 6に示す世界座標系）を移動先に付加する。例えば、手帳を床上に移動させるときの指示データは、

(手帳 S -議 1、床 floor-0001 (xl,yl，0 ) )

とする。

尚、操作画面で指定した位置と、世界座標系の座標値との対応は、図 7 5 ( b ) に示すように、環境マップ 108 として用いられる環境内の状況をモデルィ匕した立体モデルと、操作画面を構成する画像デ一夕を撮影する力メラの各種パラメ一夕（カメラの位置、カメラの姿勢、カメラの画角等）と、に基づいて演算することが可能である。この演算方法は、コンピュータグラフィックスの技術分野における周知技術であるので、その説明は省略する。

尚、ここでは、操作画面上で、物品アイコンのドラヅグアンドド口ヅプ操作をすることにより、対象物品と移動先とが指定される操作イン夕一フェースとしたが、対象物品と移動先とを指定する操作は、ドラッグアンドドロップ操作に限るものではなく、その他の操作を適宜採用することが可能である。

—作業ロボットの構成—

4番目のサブシステムである作業ロボット 102 は、ユーザに指定された作業内容に従って、環境内で物品の取扱い作業を行うものである。

図 7 0に示すように、ロボヅト 102 はその基本構成として、ロボヅト 102 の近辺の障害物等を検知したり、取り扱う物品の情報を得るためのセンサ 111 、物品を把持する把持手段 112 、環境マップ 108 を使って移動計画を立てる移動計画作成手段 113 、上記ロボット 102 自体を移動させる移動手段 114、環境管理サーバ 101 や操作端末 103 との間で種々のデータの送受信を行う送受信手段 109 、ユーザによって指定された作業内容を実行するための、ロボット 102 の作業計画を作成する作業計画作成手段 1 6 1 、設備 104 の動作に係るロボヅト制御コマンドが格納されたロボヅト制御コマンドデ一夕べ一ス 1 6 5 、これらのセンサ 111 及び各手段 109 ， 112 〜114 ， 1 6 1 をコントロールする制御手段 115 とからなる。物品の把持作業及び物品の移動作業を始めとする、ロボット 102 が実行する各作業は、後で詳細を述べるが、コード化された指示デ一夕を送受信手段 109 が受け、その受信した指示デ一夕に基づいて作業計画作成手段 1 6 1 がロボット制御コマンド列を作成し、その作成したロボット制御コマンド列を、制御手段 115 が順に処理することによって行われる。

図 8 2は、本システムにおけるロボヅト 102 の構造の一例を示した模式図であり、このロボヅト 102 は、移動計画作成手段 113 、制御手段 115 、その他を収容する略箱型の本体部 1 0を備えている。以下、図 8 2における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。

把持手段 112 は、多関節アーム 12a とそのアーム 12aの先端に配設されたハンド 12b とから構成され、上記本体部 1 0の上面に取り付けられている。上記ァ一ム 12a及びハンド 12b は、モ一夕制御によるァクチユエ一夕を用いたものとしてもよいし、その他のァクチユエ一夕、例えば人工筋肉によるァクチユエ一夕を用いたものとしても構わない。把持手段 112 は、後述のロボヅト制御コマンドによつて物品の把持位置が指示されたときには、その場所までアーム 12aの先端を移動させハンド 12b による物品の把持動作を行う。ハンド 12b を移動させるためのアーム制御は把持手段 112 自身が行えばよい。また同じく後述のロボット制御コマンドで把持している物品の解放が指示されたときには、把持手段 112 はハンド 12b の解放動作を行う。

移動手段 114 は車輪 1 4によって構成されており、この車輪 1 4は、上記本体部 1 0の左右両側にそれぞれ 2つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段 114 を車輪 1 4で構成したが、移動手段 11 の構成は、そのロボット 102 が使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段 114 をクロ一ラ型や多足歩行型に構成することが好ましい。尚、把持手段 112 が環境内の全域を可動域とする場合にはこの移動手段 114 を省略してもよい。

障害物センサ 111 は、本システムでは、超音波センサ 11a、視覚センサとしてのステレオカメラ lib、及び衝突センサ 11c から構成される。

上記超音波センサ 11aは、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ 11aから障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサ 11aは、.本体部 1 0の各側面（前面、後面、左右側面）に、 3つずつ取り付けられている。

上記ステレオカメラ libは、ロボット 102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このステレオカメラ lib は、本体部 1 0 の前部に取り付けられている。

上記衝突センサ 11c は、ロボット 102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボヅト 102 に衝突してきたことや、ロボヅト 102 自体が移動中に障害物に衝突したことを、この衝突センサ 11c で検知する。この衝突センサ 11c は、本体部の前面と後面とのそれぞれに取り付けられている ο

移動計画作成手段 113 は、ロボット 102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット 102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マヅプ 108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マヅプ 108 には、上述したように、ロボヅトが移動不可領域（例えば図 7 5 ( c ) の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図 7 5 ( c ) の平面モデルを用いた環境マップ 108 を用いてロボットを A 1 地点から A 2地点まで移動させる際には、ロボット 102 の大きさを考慮して移動不可領域を回避するルート（図 7 5 ( c ) に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法あるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。また、移動経路を作成してそれに基づいて移動を開始した後に、上記センサ 111 が障害物を検知したときには、その都度、障害物を避けるための新たな経路を作成し直すようにする。

尚、環境の状況が複雑すぎてロボヅト 102 の移動経路の算出ができない、又はその算出に多大な時間を要するような場合等の対策として、ュ一ザがロボット 10 2 の移動経路を指定するモードを設けてもよい。

作業ロボット 102 の制御手段 115 は、外部から送受信手段 109 を介して送られてきた指示デ一夕をロボット制御コマンドに変換すべく、作業計画作成手段 1 6 1 に送ると共に、この作業計画作成手段 1 6 1 によって変換されたロボット制御コマンド列を受けて、それを順次実行するものである。

上記ロボット制御コマンドとは、物品の把持やロボット 102 自体の移動、及び設備 104 の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」「設備操作」の 4種類がある。この 4種類のコマンドについて簡単に説明する。 -

1 ) 移動：（move，座標）又は（move,設備 I D )

ロボット 102 の現在位置から座標で指定された位置、又は設備 I Dで指定された設備の位置まで移動するコマンドである。座標は、状況に応じて最適な座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段 113 が計画する。

また、設備 I Dで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マヅプ 108 の設備属性デ一夕 603 を利用する。

2 ) 把持：（grab,物品 I D )

物品 I Dで指定された物品を、ハンド 12b によって把持するコマンドである。物品の場所は物品 D B 106aを参照し、把持計画は把持手段 112 が作成する。 3 ) 解放： (release)

ハンド 12h を解放するコマンドである。

4 ) 設備操作： (ロボットの I D，設備 I D ,設備動作コマンド）

設備 I Dで指定された設備 104 に、指定された設備動作コマンドを送信するコマンドである。設備動作コマンドとは、上述したように、個々の設備 104が外部から受ける指示コマンドであり、設備動作コマンドを受けた各設備 104 は、そのコマンドに対応する処理を実行する。ここで、設備操作のコマンドにロボヅトの I Dを添付する理由は、上述したように、設備動作コマンドを受けた設備 104 は、そのコマンドの送信元に戻り値を送信するためである。

以上、簡単に 4種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの 4種類に限らず、必要に応じて増やしてもよいことはいうまでもない。

作業ロボヅト 102 の作業計画作成手段 1 6 1 は、操作端末 103 から送信された指示データを受けて、必要に応じてロボヅト制御コマンド D B 1 6 5 を参照しながち、その指示データをロボット制御コマンドに変換して、作業計画を作成するものである。

この作業計画作成手段 1 6 1 及びロボット制御コマンド D B 1 6 5 を設けることによって本システムでは、ユーザは操作端末 103 において所望の物品と、その物品の移動先を指定することだけで、ロボット 102 に適切な作業を実行させることができる。 " つまり、指示デ一夕は、上述したように、

(対象物品、対象物品の移動先）

の 2つの値からなるデータであり、「指定された対象物品を、指定された移動先に移動させる」ことを意味する。ここで、指定された対象物品が、ロボット 102 がそのまま把持できる状態にあると共に、指定された移動先が、ロボット 102 がそのまま物品を解放できる状態にあるとき、つまり、指定した作業内容をロボッ卜 102 が実行するに際してロボット 102 の動作が妨げられないときには、ロボヅト制御コマンド D B 1 6 5 は必要ない。

これに対し、指定された対象物品がドアが閉じた状態にある収容部内に収容されているときには、ロボット 102 がその対象物品を把持する前にドアを開けなければならない。逆に、指定された移動先がドアが閉じた状態にある収容部内であるときには、ロボット 102 が把持している対象物品を解放する前にドアを開けなければならない。このように、例えば収容部に収容されている物品を、別の収容部に移動させる作業をユーザが指定するときに、ドアの開閉操作まで指定しなければならないのでは、使い勝手が悪くなつてしまう。

また、指定された移動先が、電子レンジのように収容された物品に対する作用を施すものであるときには、ユーザは、物品をその電子レンジの庫内に収容するだけでなく、その物品を加熱したいという要求があると考えられる。ユーザが口ボット 102 の作業内容を指定するときに、対象物品と移動先と、さらにその対象物品に対する作用とを指定しなければならないのでは、ユーザによる指定操作が煩雑になってしまう。

これを解消するには、対象物品と移動先との 2つで構成される指示デ一夕に基づいて、設備 104 の操作を含むロボット制御コマンドを作成するための知識デー夕が必要になる。ロボヅト制御コマンド D B 1 6 5 は、上記の知識デ一夕を格納するものである。設備 104 の構成やそれが有する機能は、設備 104毎に互いに異なることから、こうした知識デ一夕は、設備 104毎に設定しなければならない。ロボヅト制御コマンド D B 1 6 5 には、設備動作に係るロボヅト制御コマンドが、設備 104 毎に個別に格納されている。

図 8 3は、上記ロポヅト制御コマンド D B 1 6 5 に格納されているロボヅト制御コマンドの例を示す図である。このロボヅト制御コマンド D B 1 6 5 は、設備 I D、場所の属性、ロボット制御コマンドが対応付けられて構成されている。この内、「設備 I D」には、設備 104 の I Dが格納されている。「場所の属性」は、移動元と移動先とに分けられていて、「移動元」は、その設備 104 が、指定デ一夕で指定された対象物品を収容しているときに対応し、「移動先」は、その設備 104 が、対象物品をこれから収容する移動先に指定されているときに対応する ο

ロボット制御コマンドは、上記の「移動元」「移動先」のそれぞれに対応して個別に記載されている。その各コマンドは基本的に、 (ロボット I D、設備 I D、設備動作コマンド）

の 3つの値からなる。

冷蔵室（Refrigerator-0001 ) が移動元であるときを例に、ロボット制御コマンドリスト（列）について具体的に説明する。このロボット制御コマンドは、操作端末 103 からの指示データで、冷蔵室内に収容されている物品の移動が指定されたときのコマンドである。

このロボヅト制御コマンド列は 3つのコマンドから構成されており、それそれ次の動作の実行を意味する。

1 ) (Robot-0001 , Refrigerator- 0001， door-open) ：冷蔵室に、ドアを開けさせる

2 ) (grab, $object) ：ロボットが、物品を把持して取り出す

3 ) (Robot-0001, Refrigerator-0001 , door-close ) ：冷蔵室に、ドアを閉めさせる

ここで、（grab, $object) における「$object」には、対象物品の I Dが入る。このように、状況によって値が変わる情報は「$」を付けることで変数扱いとしておき、指示データによって対象物品が設定されたときに、上記変数に物品 I Dを入れる。こうして、ロボット制御コマンドに一般性を持たせている。

また、電子レンジ（Microwave -oven-0001 ) が移勤先であるときは、ロボット制御コマンド列は次のようになる。

1 ) (Robot-0001 , Microwave-oven-0001 , is-ob ect) ：電子レンジに、庫内に物品が存在するかを確認させる

2 ) (Robot-0001 , Microwave-oven-0001 , door-open) ：電子レンジに、ドアを開けさせる

3 ) (release, $object) ：物品を解放する

4 ) (Robot - 0001， Microwave-oven-0001 , door-close ) ：電子レンジに、ドァを閉めさせる

5 ) (Robot-0001 , Microwave-oven-0001 , arm-start ) ：電子レンジに、庫内物品の加熱を開始させる

の 5つのコマンドから構成されている。このうち、 1 ) のロボット制御コマンドは、移動先である電子レンジの庫内に、既に別の物品が入っていたのでは、さらに対象物品を入れることができないため、電子レンジの庫内に物品が存在しているか否かを電子レンジに確認させるコマンドである。電子レンジからの戻り値が「False 」であるときは、庫内に物品が入っていないため、制御手段 1 6 2 は続く 2 ) 〜5 ) のコマンドを順に実行すればよいが、.電子レンジからの戻り値が「True」であるとき、つまり、電子レンジの庫内に物品が入っているときには、制御手段 1 6 2 は、電子レンジの庫内に物品が入っている旨をユーザに報知した上で、続く 2 ) 〜5 ) のコマンドを実行を中止する、ことが好ましい。

また、上記電子レンジが、物品を「加熱する」機能として、「温め」モードや「解凍」.モード等の、複数のモードを有しているときには、それに応じて、設備動作コマンド（ロボット制御コマンド）を複数備えることが好ましい。このように、設備動作コマンドを複数備えている場合には、ロボヅト 102 が対象物品の属性を認識し、それに応じた設備動作コマンドが電子レンジに送信されるように、ロボヅト制御コマンド列を作成してもよい。

例えば、画像処理や、温度センサ、の物品に付与された電子タグの情報に基づいて、その物品が冷凍物であれば、電子レンジに.「解凍」モードの設備動作コマンドを送信するようにしてもよい。尚、これとは異なり、電子レンジが、庫内の物品の属性を画像処理や電子夕グの情報に基づいて判断するようにして、設備動作コマンドとしての「warm-startj を受信したときには、その物品の属性に応じて、電子レンジが「温め」モードと「解凍」モードとを切り替えるようにしてもよい。

次に、作業ロボヅト 102 の作業計画作成手段 1 6 1 が行う、ロボヅト制御コマンドの作成手順について、図 8 4に示すフローチャートを参照しながら説明する上述したように、ユーザが操作端末 103 において作業内容を指定したときには、操作端末 103 から作業ロボヅト 102 に、ネットワークを介して指示デ一夕が送信される。ステップ S 1201では、その指示デ一夕の読み込みを行う。

続くステヅプ S 1202では、読み込んだ指示データに基づいて、指定された対象物品の現在位置を、サーバ 101 の物品デ一夕ベース 106aを参照することによって確認する。対象物品の現在位置を確認すれば、ステップ S 1203では、ロボット 10 2 の現在位置からその対象物品の現在位置まで移動するためのロボヅト制御コマンドを作成する。

次にステップ S 1204では、指定された対象物品が、設備 104 内に収容されているか否かを判定する。これは、対象物品の現在位置が、環境マップ 108 の設備属性デ一夕 603 に登録されている設備 104 である否かによって判定し、対象物品が設備 104 内に収容されているの Y E Sのときには、ステップ S 1205に移行する一方、対象物品が設備 104 内に収容されていないの N〇のときには、ステップ S 1206に移行する。 . "

上記ステップ S 1205では、上述したように、ロボット制御コマンド： D B 1 6 5 から、その設備 104が移動元であるときのロボット制御コマンド（列）を読み込み、これを既に生成しているロボット制御コマンド列に追カ卩する。

上記ステップ S 1206では、指示データによって指定された移動先まで移動するためのロボヅト制御ュマンドを生成する。生成したロボヅト制御コマンドは、既に生成しているロボット制御コマンド列に追加する。

ステップ S 1207では、移動先が設備 104 内であるか否かを判定する。これは、ステップ S 1204と同様に、移動先が環境マップ 108 の設備属性デ一夕 603 に登録されている設備 104 であるか否かによって判定し、移動先が設備 104 内であるの Y E Sのときには、ステップ S 1208に移行する一方、移動先が設備 104 内でない N Oのときには、ステップ S 1209に移行する。

上記ステップ S 1208では、上述したように、ロボヅト制御コマンド D B 1 6 5 から、その設備が移動先であるきのロボット制御コマンド（列）を読み込み、これを既に生成しているロボヅト制御コマンド列に追加する。

上記ステップ S 1209では、生成したロボット制御コマンド列を、制御手段 115 に送信する。

以上のように構成された本システムにおいて、ユーザが指定した作業内容が、ロボット 102 によって実行される手順を、具体例を挙げて説明する。ここでは、「冷蔵室（Refrigerator- 0001 ) に収容されている弁当（F-0001) を、電子レンジ（Microwave- oven-ΟΟΟΓ ) 内に移動させる（温める）」という作業内容をュ一ザが指定する場合を例にする。

先ず、操作端末 103 の表示部 117 には、例えば図 7 9に示す操作画面が表示される。ュ一ザが入力部 116 を操作することによって、仮想空間内の冷蔵室を力一ソルで指し示すと、図 8 1 ( b ) に示すように、冷蔵室内に収容されている物品 (物品アイコン）がポップアップ形式で表示される。入力部 116 の操作により弁当アイコンを選択することで、対象物品が「弁当」に指定される。

次にユーザは、入力部 116 の操作によって、上記弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップする。これにより、移動先が「電子レンジ」に指定され、ユーザによる作業内容の指定が完了する。'

こうして作業内容が指定されれば、操作端未 103 は、指示デ一夕を作成し、これを作業ロボット 102 に送信する。この指示デ一夕は、対象物品が弁当（F-0001 ) であり、移動先が電子レンジ（Microwave- oven- 0001 ) であるため、

(F-0001 , Microwave- oven- 0001 )

となる。

作業ロボヅト 102 の作業計画作成手段 1 6 1 は、操作端末 103 から送信された指示データを読み込み（ステップ S 1201) 、対象物品である弁当の現在位置を、サーバ 101 の物品データベース 106aを参照することによって確認する（ステップ S 1202) 。弁当は、冷蔵室（Refrigerator -0001 ) 内に収容されているため、その冷蔵室まで移動するロボット制御コマンド.

(move, Refrigerator- 0001)

を生成する（ステヅプ S 1203)。

次に、作業計画作成手段 1 6 1 は、上記弁当が、設備 104 内に収容されているか否かを判定する（ステップ S 1204) 。冷蔵室（Refrigerator-0001 ) は、図 7 6に示すように、設備属性デ一夕に登録されているため、弁当は、設備 104 内に収容されている。そこで、ロボヅト制御コマンド D B 1 6 5 から、冷蔵室が移動元であるときのロボット制御コマンド（列）を読み込む（ステップ S 1205) 。具体的には、図 8 3に示すように、

(Robot - 0001， Refrigerator - 0001， door -open) (grab, F-0001)

(Robot- 0001， Refrigerator -0001, door-close)

を読み込む。尚、変数「$object 」には、弁当の I Dである -0001」が既に代入されている。このロボット制御コマンド列は、既に生成しているロボット制御コマンド列に追加される。

指示データで指定された移動先は電子レンジであるため、作業計画作成手段 1 6 1 は、電子レンジまで移動するためのロボヅト制御コマンドを生成する（ステヅプ S 1206) 。具体的には、

(move , Microwave- oven- 0001)

を生成 U、これを既に生成しているロボット制御コマンド列に追加する。

作業計画作成手段 1 6 1 は次に、移動先が設備 104 内であるか否かを判定する (ステップ S 1207) 。電子レンジ（Microwave-oven-0001 ) は設備属性デ一夕 60 3 に登録されている設備 104であるため（図 7 6参照）、移動先は設備 104 内である。作業計画作成手段 1 6 1 は、ロボヅト制御コマンド D B 1 6 5 から、電子レンジがが移動先であるときのロボヅ卜制御コマンド（列）を読み込む（ステヅプ S 1208) 。具体的には、図 8 3に示すように、

(Robot- 0001, Microwave - oven - 0001 , is - object)

(Robot - 0001， Microwave -oven-0001 , door-open)

(release, F-0001)

'(Robot - 0001, Microwave - oven- 0001， door-close)

(Robot - 0001, Microwave - oven- 0001， warm-start)

を読み込む。尚、変数「$object」には、弁当の I Dである「F- 0001」が既に代入. されている。このロボヅト制御コマンド列は、既に生成しているロボヅト制御コマンド列に追加される。

以上のようにして、冷蔵室内の弁当を、電子レンジに移動させる作業内容に対応して、作業計画作成手段 1 6 1 が生成したロボヅト制御コマンド列は、図 8 5 に示" 5よつになる。

制御手段 115 は、こうして生成されたロボヅト制御コマンド列に基づいて、移動手段 114及び把持手段 112 の制御を行う。その結果、冷蔵室内の弁当を、電子レンジの庫内に移動しかつ、その電子レンジによって弁当を温める、という作業が、ロボヅト 102 によって行われることになる。

このとき、上記制御手段 115 は、ロボヅト制御コマンド列の各コマンドを、順番に実行するが、各コマンドの実行タイミングは状況に応じて適宜設定する。例えば上記のロボット制御コマンド列には、

1 ) (move, Refrigerator -0001) ：ロボヅト 102 が冷蔵室に移動する

2 ) (robot- 0001， Refrigerator- 0001 , door-open) ：ロボット 102 から冷蔵室に、ドアを開ける設備動作コマンドを送る

の 2つのロボット制御コマンドが順に並んでいるが、制御手段 115 は、上記 1 ) の処理が完了してから、上記 2 ) の処理を実行するようにしてもよい。また、これとは異なり、上記 1 ) の処理が完了する所定時間前に、上記 2 ) の処理を実行するようにしてもよい。つまり、ロボット 102 が冷蔵室の位置に到達する前に、冷蔵室のドアを開けるようにしてもよい。こうすることで、作業がよりスムースに実行され、作業時間が短縮化される。尚、各コマンドの実行タイミングは、そのコマン卞と、直前のコマンド又は直後のコマンドとの関係によって予め設定し, てもよいし、推論可能であるならば、その都度推論して各コマンドの実行夕イミングを決定してもよい。

また、作業計画作成手段 1 6 1 がロボット制御コマンド列を生成した後、直ちに制御手段 115 がそのロボヅト制御コマンド列を実行するようにしてもよいが、制御手段 115 がそのロボット制御コマンド列を開始する前に、作業計画作成手段 1 6 1 が生成したロボヅト制御コマンド列の内容を外部に報知するようにしてもよい。

例えば図 8 4に示すフローチャートにおいて、ステップ S 1208の後でかつ、ステツプ S 1209の前に、作成したロボヅト制御コマンド列をネヅトワークを介して操作端末 103 に送信してもよい。ロボット制御コマンド列を受けた操作端末 103 は、そのロボット制御コマンド列を解釈して、そのロボヅ十制御コマンド列によつて実行される作業内容を、表示部 117 に表示させる。例えば図 8 6に示すように、対象物品の物品アイコンを表示すると共に、その移動元及び移動先の名称をそれぞれ文字で表示する。図 8 6は上述した具体例に対応しており、対象物品として弁当アイコンが表示され、移動元として「冷蔵室」の文字が、移動先として「電子レンジ」の文字がそれぞれ表示されている。また、図例では、物品の移動元と移動先とを明確にすべく、仮想空間内における移動元から移動先に向かって、矢線を表示している。さらに、移動先において対象物品に作用が施されるときには、その作用を文字で表示する。図 8 6では「加熱」の文字が表示されている。尚、物品の移動元及び移動先が、設備 104でないとき（設備 104 としての名称がないとき）には、「冷蔵室」や「電子レンジ」とった、移動元及び移動先を表す文字の表示は省略すればよい。また、作業内容をユーザに確認させるための表示形態は、図 8 6に示す例に限らず、対象物品の名称を文字で表示したり、仮想空間における移動元や移動先を強調表示するようにしてもよい。また、例えば「冷蔵室内の弁当を電子レンジの庫内に移動させ、その弁当を加熱する」というように、作業内容を示す文章を表示部 117 に表示してもよい。さらに、作業内容の報知は表示に限らず、音声による報知でもよい。

作業内容を外部に報知する処理を行うことによって、ロボットの作業内容をュ —ザ（作業内容を指定したユーザを含む）に知らせることになり、ユーザが操作画面上で操作ミスをしたとき、例えば、上述した具体例において、例えば弁当ァイコンを仮想空間内の電子レンジにドラッグァンドドロヅプするつもりが、誤つて冷凍室にドラヅグアンド.ドロップしてしまったときでも、誤った操作に基づく作業が実行されてしまうことを未然に防止することが可能になる。

また、移動先が電子レンジのように、対象物品に対する作用を施す設備 104であるときには、対象物品に対する作用をシステムが誤ることも生じ得る。例えば、対象物品である「冷凍肉」を移動先である電子レンジに移動させる、という作業内容を指定したときに、「冷凍肉」を電子レンジで「解凍」するのではなく、「冷凍肉」を電子レンジで「温める」というロボット制御コマンドが生成されてしまう場合である。こうした場合も、ュ一ザへの報知処理を行うことによって、誤った作業が実行されてしまうことを未然に防止することが可能になる。

また、作業内容に誤りがあった場合や、ユーザが指定した作業内容を変更したい場合には、操作端末 103 の入力部 116 を操作することによって、操作画面において作業内容を適宜修正可能に構成することが好ましい。以上の説明では、ユーザは操作端末 103 において、所望の一つの物品を所望の一つの移動先に移動させるという、単一の作業内容を指定するようにしているが、複数の作業内容を一度に指定した方が、ユーザの指定操作が容易 ίこなる場合がある。例えば、

1 ) 冷蔵室に収容されている弁当を、電子レンジに入れて温める

2 ) 弁当の温めが完了したら、その電子レンジ内の弁当をユーザめ位置に移動させる .

という、一つの物品に対して複数の作業を連続して行わせる場合である。こうした場合には、操作画面において、上記の 1 ) ， 2 ) の作業内容を一度に指定し、作業ロボット 102 は、指定された複数の作業を順次実行するように構成するのがよい。操作画面上における複数作業の指定操作としては、例えば物品アイコンのドラッグアンドド口ップ操作を連続して行うようにしてもよい。具体的に上記の例では、弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップすると共に、その電子レンジにドロップした弁当アイコンを、仮想空間内のユーザ位置に 1 'ラッグアンドドロヅプすることで、上記の 1 ) ， .2.) の作業が指定されるようにすればよい。

また、複数の物品に対する作業を並列に行わせる場合もある。例えば、

1 ) 冷蔵室内の弁当を電子レンジに移動させる一方で、

2 ) 冷蔵室内のバナナをテ一ブルに移動させる

という場合である。この場合も、操作画面において、上記の 1 ) ， 2 ) の作業内容を一度に指定し、作業ロボット 102 は、指定された複数の作業を順次実行するように構成するのがよい。このとき、ロボヅト 102 が、複数の作業のスケジュ一リングをすることによって、作業全体の効率化を図るようにしてもよい。上記の例では、冷蔵室内の弁当を電子レンジに移動させた後に、再び冷蔵室内のドアを開けてバナナを取り出し、そのバナナをテーブルに移動させる、という作業を行うのではなく、冷蔵室のドアを開けて、指定された弁当とバナナとを一度に取り出し、取り出した 2つの物品の内、弁当は電子レンジに移動させ、バナナはテ一ブルに移動させる、という作業を行うようにするのである。このような作業の実行を可能とするために、作業ロボット 102 は、一つのアーム 12a及びハンド 12b を有するもの（図 8 2.参照）に限らず、複数のアーム 12a及びハンド 12b を有するものとして、複数の物品を同時に把持可能に構成してもよい。

以上説明したように、本発明の物品取扱いシステムは、所定の生活空間（環境 ) 内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボット 102 と、上記 bボット 102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段 116 と、上記作業命令を受けて作業計画を作成する作業計画作成手段 1 6 1 と、を備える。.

そして、上記作業計画作成手段 1 6 1 は、上記ロボヅト 102 が作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものである。

この構成にり、ュ一ザは、入力手段 116 において、ロボット 102 .の作業対象物品とその対象物品の移動先とだけを入力すれば、ロボット 102 の作業対象物品とその対象物品の移動先とを.含む作業命令（指定デ一夕）が作成される。

この作業命令を受けて、作業計画作成手段 1 6 1 は、ロボット 102 が対象物品を移動先に移動させるための作業計画を、その移動先に応じた、移動先への作業を補完しつつ作成する。このため、ユーザは物品の移動先を考慮した作業を追加して指定しなくてもよい。こうして、ロボット 102 に実行させる作業内容の指定が容易化されて、誰もが容易にロボット 102 の操作が可能になる。

本発明では、上記作業命令に含まれる移動先には、物品を収容する収容部を有する設備 104 が含まれ、作業計画作成手段 1 6 1 は、作業命令に含まれる移動先が上記収容部を有する設備 104 であるときには、上記収容部に物品を入れるために必要な設備 104 の動作を作業計画に追加する。

こうすることで、移動先が収容部を有する設備 104であって、その収容部に物品を入れるために必要な設備 104 の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備 104 を動作させる作業を入力する必要がない。

本発明では、上記作業命令に含まれる対象物品には、設備 104 の収容部に収容された物品が含まれ、作業計画作成手段 1 6 1 は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、'上記収容部から物品を取り出すために必要な設備 104 の動作を作業計画に追加する。こうすることで、作業命令に含まれる対象物品が収容部を有する設備 104 に収容されていて、その収容部から物品を取り出すために必要な設備 104 の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備 104 を動作させる作業を入力する必要がない。

本発明では、上記移動先には、物品に対する作用を施す設備 104 が含まれ、作業計画作成手段 1 6 1 は、作業命令に含まれる移動先が上記作用を施す設備 104 であるときには、対象物品に作用を施すための設備の動作を作業計画に追加する ο

こうすることで、ユーザが、物品に対し所定の作用を施すことを目的として、その物品を設備 104 に移動させること作業内容として指定したときでも、ユーザはその設備 104 を動作させる作業を入力する必要はない。一例を挙げると、ユーザが、食品を加熱することを目的として、その食品を電子レンジに移動させることを指定したときには、「食品を電子レンジで加熱する」という作業を指定しなくても、作業計画には、食品を電子レンジで加熱することが追加される。こうして、ロボット 102 に実行させる作業内容の指定がさらに容易化される。

本発明では、上記作業計画作成手段 1 6 1 は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。

こうすることでユーザは、対象物品に施す作用を指定しなくても、その物品に応じた作用がその物品に施される。一例を挙げると、移動先が電子レンジであつて、対象物品が冷凍物であるときには、冷凍物を解凍するための設備の動作が作業計画に追加される。これに対し、移動先が電子レンジであって、対象物品が調理済み食品であるときには、調理済み食品を温めるための設備の動作が作業計画に追加される。このように、対象物品に施す作用はその対象物品に応じて決定されて、そのための設備の動作が作業計画に加されるため、ユーザはその物品に施す作用を指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定がさらに容易化し、ユーザフレンドリ一なシステムにすることができる。本発明では、上記設備 104 は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。こうすることで、ロボヅト 102 がアーム 12a を使って設備 10 のドアを開閉したり、アーム 12a を使って設備 104 に設けられた各種スイツチの操作を行ったりする場合と比べて、ロボヅト; 102 の構成を単純化することができる。

本発明では、物品取扱いシステムが、ロボット 102 が作業内容に従って作業を開始する前に、作業計画作成手段 1 6 1 が作成した作業内容を報知する報知手段 117 をさらに備えている。 - 本発明のシステムは作業計画の補完を行うため、ユーザが意図していない作業をロボット 102 が実行してしまうことも予想される。また、ユーザが作業内容の指定操作を誤ることも考えられる。そこで、報知手段 117 は、作業計画作成手段 1 6 1 が作成した作業計画を、ロボットが作業を開始する前に報知する。こうすることで、ユーザは作業計画を確認することができ、それにより、誤った作業がロボットによって実行されてしまうことを未然に防止することができる。

本発明の他の物品取扱いシステムは、上記物品の取扱い作業を行うロボヅト 10 2 と、上記ロボット 102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段 116 と、上記作業命令を受けて作業計画を作成する作業計画作成手段 1 6 1 と、を備える。

そして、上記作業計画作成手段 1 6 1 は、上記ロボット 102 が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものとする。.

この構成により、上述したように、ユーザは、入力手段 116 において、ロボット 102 の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段 1 6 1 は、ロボット 102 が対象物品を移動先に移動させるための作業計画を、その対象物品の移動前の状態に応じた、移動元への作業を補完しつつ作成する。このため、ユーザは、物品の移動元を考慮した作業を追カ卩して指定しなくてもよい。こうして、ロボット 102 に実行させる作業内容の指定が容易化されて、誰もが容易にロボヅト 102 の操作が可能になる。

本発明のさらに他の物品取扱いシステムは、上記物品の取扱い作業を行うロボット 102 と、上記生活空間内に存在する設備 104 の動作内容が蓄積された動作内容デ一夕ベース 1 6 5 と、上記ロボット 102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段 116 と、上記作業命令を受けて、上記ロボット 102 が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベース 1 6 5 を参照しながら作成する作業計画作成手段 1 6 1 と、を備える。

この構成により、ユーザは、入力手段 116 において、ロボヅト 102 の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段 1 6 1 は、設備 104 の動作内容が蓄積された動作内容データベース 1 6 5 を参照しながら、作業計画を作成する。このため、ユーザは、設備 104の動作を考慮せずに、ロボット 102 に実行させる作業内容の指定が可能になる。

—他の実施形態- 尚、本実施形態では、操作端末 103 が指示データを作業ロボット 102 に送信し、作業ロボヅト 102 がロボヅト制御コマンドを作成するようにしたが、例えば、操作端末 103 からサーバ 101 に指示デ一夕を送信し、サーバ 101 がロボヅト制御コマンドを作成すると共に、その作成したコマンドを作業ロボヅト 102 に送信するようにしてもよい。この場合、ロボヅト制御コマンドの内、設備動作に係るコマンドは、サーバ 101 から設備 104 に直接送信するようにしてもよい。また、操作端末 103 が操作画面上で指定された作業内容に応じてロボヅト制御コマンドを作成し、これを作業ロボヅト 102 (及び Z又は設備 104 , ) に送信するようにしてもよい。 . ' .

また、本実施形態でほ、物品取扱いシステムを、環境管理サーバ 101 、ロボヅト 102 、操作端末 103 、設備 104 の 4つのサブシステムからなり、それらサブシステム 101 〜104 が無線又は有 ϋ等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末 103 が環境管理サーバ 101 に一体となった構成でもよい。また、操作端末 103 が作業ロボト 102 に一体となった構成でもよい。

以上説明したように、本発明による物品取扱いシステム及び物品取扱いサーバでは、入力された移動先への作業を補完しつつ作業計画を作成するため、ユーザはロボッ卜の作業対象物品とその対象物品の移動先とだけを入力すればよく、口ボットに実行させる作業内容の指定が容易化し、誰もが容易にロボットの操作をすることができる。

Claims

請求の範囲

1 . 所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、

前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ュ一ザが作業を指示するための操作手段とを備え、

前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品デ一夕べ一スを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボヅトに送信する

ことを特徴とする物品操作システム。

2 . 請求項 1において、

前記センシング手段は、前記生活空間に設置されたカメラ、前記ロボットに設置されたカメラ、および、電子タグの発信情報を受信する夕グセンサめうち少なくともいずれか 1つを、含む

ことを特徴とする物品操作システム。

3 . 所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、

前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品デ一夕ベースに管理するサ一バと、

. 前記サーバと通信可能であ.り、ユーザが問合せを入力するための操作手段とを備え、 .

前記サーバは、前記操作手段から入力されたュ一ザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する

ことを特徴とする物品管理システム。

4 . 請求項 3において、

前記物品デ一夕べ一スは、各物品について、その操作履歴を示す物品履歴デー夕を有しており、

前記物品履歴デ一夕は、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む

ことを特徴とする物品管理システム。

5 . 請求項 3において、

前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのう少なくともいずれか 1つを、含むことを特徴とする物品管理システム。

6 . ί桑作端末が、所定の生活空間を表す画像を表示部に表示し、 '

ュ一ザが、前記操作端末から、前記画像に含まれた物品に対する操作の指示を行い、

操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の，少なくとも現在位置を含む属性情報を管理する物品デ一夕べ一スを参照して、ロボットが実行可能な制御コマンドに変換し、

サーバが、前記制御コマンドを、前記ロボヅトに送信する

ことを特徴とする物品操作方法。

7 . 操作端末が、所定の生活空間を表す画像を表示部に表示し、

ュ一ザが、前記操作端末から、前記画像に含まれた物品に^する問合せを行い操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の，現在位置および操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、

サーバが、生成した情報を、前記操作端末に送信する

ことを特徴とする物品管理方法。

8 . 所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と、通信可能に構成されており、前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理し、

前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品デー夕ベースを参照して、物品に対する作業をロボヅトに実行させるための制御コマンドに変換し、前記ロボヅ卜に送信する

ことを特徴とするサーバ。

9 . 所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、

前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品デ一夕ベースに管理し、

前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品デ一夕べ一スを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する

ことを特徴とするサ一バ。 . . .

:1 0 . 請求項 9において、

前記物品データべ一スは、各物品について、その操作履歴を示す物品履歴デ一夕を有しており、

前記物品履歴デ^夕ば、過去の各操作について、少なくとも、操作者と、操作内容と、操作锋の位置とを含む

ことを特徴とするサーバ。

1 1 . 所定の生活空間内に存在する物品の取扱い作集を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、

上記表示部に、上記生活空間の実状況に則した仮想空からなる操作画面を表示し、

ユーザに上記入力部を操作させることによって、上記仮想空間内でロボヅトに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステム。

1 2 · 所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボヅト操作装置であって、

操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、

ュ一ザに上記入力部を操作させることによって、上記仮想空間内でロボヅトに行わせる作業内容を指定させることを特徴とするロボット操作装置。

1 3 . 所定の生活空間内に存在する物品の移動作業を行うロボットを用いた物品扱い方法であって、

上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、

上記操作画面上で、所望の物品アイコンを指定するステツプと、

上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグァンドド口ヅプ操作するステップと、

上記生活空間内で上記ロボッ卜が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含むことを特徴とする物品取扱い方法。

1 4 . 所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、

上記表示部に操作画面を表示し、

ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、

上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行し、

上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有することを特徴とする物品移動システム。

1 5 . 所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、 '

上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、

ユーザに上記入力部を操作させることによって、上記操作画面上でロボヅトに扱わせる物品とその.物品に施す作用とを指定させ、

上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、

上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システム。

1 6 . 所定の生活空間内に存在する物品の移動作業を行うロボッ卜の作業内容を指定するためのロボヅト操作装置であって、

操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、

ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作乇一ドを有す ¾ことを特徴とするロボット操作装置。

1 7 . 所定の生活空間内に存在する物品の移動作業を行うロボヅ卜の作業内容を指定するためのロボヅト操作装置であって、

操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、

ユーザに上記入力部を操作させることによって、上記操作画面上でロボヅトに行わせる作業内容を指定させる作用アイコン操作モードを有することを特徴とするロボット操作装置。

1 8 . 居住空間内に存在する物品を管理するシステムであって、

少なくとも前記居住空間内の物品の情報を有するデ一夕ベースと、

移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、

物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設犛する作業ロボットと、

前記デ一夕ベースの情報に基づいて、前記作業ロボヅトによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、

前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する物品管理システム。

1 9 . 居住空間内に存在する物品を管理するシステムであって、

前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデ一夕ベースと、 ,

'移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、

物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、

前記データペースの情報に基づいて、前記作業ロボヅトによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、

2 0 . 居住空間内に存在する物品を管理するシステムであって、

前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、

移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、

前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、

前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。 .

2 1 . 居住空間内に存在する物品を管理するシステムであって、

前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデ一夕ベースと、

物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボヅ卜と、

前記データベースの倩報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、 '

前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。

2 2 . 居住空間内に存在する物品を管理するシステムであって、

前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータ ' ベースと、

前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、

2 3 . 居住空間内に存在する物品を管理するシステムであって、

前記デ一夕ベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えている物品管理システム。

2 4 · 居住空間内に存在する物品を管理するシステムであって、

物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボヅトと、

前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えている物品管理システム。

2 5 . 居住空間内に存在する物品を管理するシステムであって、

移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、 —— 、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボヅトと、

前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデ一夕ベースと、

前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えている物品管理システム。

2 6 . 所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボヅトと、

上記ロボヅトの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、

上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を.、上記移動先への作業を補完しつつ作成する物品取扱いシステム。

2 7 . 所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、

上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、

上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボッ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する物品取扱いシステム。

2 8 . 所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、

上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、

上記作業命令を受けて、上記ロボッ卜が上記作業命令に含まれる対象物品を.移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える物品取扱いシステム。

2 9 . 所定の生活空間内に存在する物品の取扱いを行うためのサーバであつて、

上記物品の取扱い作業を行うロボッ卜の作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボッ卜の作業計画を作成する作業計画作成手段を備え、

上記作業計画作成手段は、上記ロボッ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する物品取扱いサーバ。

3 0 . 所定の生活空間内に存在する物品の取扱いを行うためのサーバであつて、

上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボヅ卜の作業計画を作成する作業計画作成手段を備え、

上記作業計画作成手段は、上記ロボッ卜が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する物品取扱いサーバ。

3 1 . 所定の生活空間内に存在する物品の取扱いを行うためのサーバであつて、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロポヅトがよ記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容デ一夕べ一スを参照しながら作成する作業計画作成手段を備える物品取扱いサ一バ。