WO2006109423A1

WO2006109423A1 - 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム

Info

Publication number: WO2006109423A1
Application number: PCT/JP2006/305401
Authority: WO
Inventors: Shusaku Okamoto; Osamu Yamada; Tomonobu Naruoka; Toru Tanigawa
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-04-01
Filing date: 2006-03-17
Publication date: 2006-10-19
Anticipated expiration: 2007-10-01
Also published as: JPWO2006109423A1; US20070247321A1; JP4006471B2; US7545278B2

Abstract

　物品検出装置（１０１）で検出し物品管理データベース（１０２）に格納した物品の場所と時間の情報と人検出装置（１０３）で検出し人管理データベース（１０４）に格納した人の場所と時間の情報を物品存在領域推定手段（１０７）が参照し、物品の存在する可能性がある場所を推定する。物品位置候補重み付け手段（１０８）で人の動き、物品が通常置かれる場所などの情報を基に重み付けを行うこともできる。

Description

明細書

物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム

技術分野

[0001] 本発明は、一般家屋やオフィス内などにある物品を管理する物品位置推定装置、物品位置推定方法及び物品検索システムに係り、特に一般家庭内にある生活に使用する日用品やオフィスなどで使用する可搬性の物品などの各種物品の位置を、 R FIDタグ技術などを用いて管理する場合にぉ、てユーザが探し物を問、合わせた時に前記探し物の位置を適切に提示する物品位置推定装置、物品位置推定方法及び物品検索システムに関する。

背景技術

[0002] 近年、ネットワーク技術や情報処理技術、また、物品を自動で管理するための RFI Dタグ技術開発により、物流などの業務分野を中心に在庫管理をはじめとする物品管理の自動化の技術開発が進んで、る。

[0003] このような物品検索システムの一般的な構成例を示した従来技術としては、例えば特許文献 1 (特開平 07— 146362号公報）がある。本例では、まず構成として、物品には RFIDタグ (以下、タグ）を付け、また、環境には前記タグの読み取り装置（以下、タグリーダ)を散在させておき、物品検索を行う端末を備える。そして、前記端末から探したい物品を指定すると、前記各タグリーダが、物品に付与されたタグと交信を試み、タグからの返事をうけたタグリーダの場所でもって探している物品の場所とするものである。

[0004] この構成を例えば図書館での本の管理に応用すると次のようになる。すなわち、管理する書籍にはタグを、また、図書館の書籍ラックの各棚にタグリーダを設置しておく。利用者が検索したい本を端末など力入力すると、それぞれのタグリーダは、前記検索対象本の IDを含むタグを探す。そして、タグリーダからの問いかけに対してタグ力の返事が無い場合には、当該タグリーダの通信可能範囲には該当する本は無く、逆にタグリーダからの問いかけに対してタグからの返事を受けた場合には、該当する本が見つかったということで、前記タグからの返事を受けたタグリーダの場所力探している本のおおよその場所というふうにすることができる。したがって、ユーザはそのリーダの場所まで行き、そのリーダの周囲にある本のみを探すことで目的の本を手に人れることができる。

[0005] このように従来のシステムでは非常に簡単な構成でありながら物品の場所を管理することができるため、主に業務用において様々な分野で使われ始めている。しかしながら、本例の欠点は、検索位置の精度を高めるには、物品に付けられたタグは、前記物品を管理する環境内のどこにおいても、いずれかのタグリーダと通信できる程度にまで、タグリーダを細力べ設置する必要があることである。従って、コストがある程度高くつくことを許される業務用途では使える力コストが重要な問題となる家庭用には使えな、ことが大きな問題である。

[0006] これに対して、家庭内での物品管理を目的とした従来技術である特許文献 2 (特開 2000— 357251号公報）では、前記問題を回避するための一つの方策が開示されている。特許文献 2では、物品管理装置と、複数のセンサユニット（タグリーダ）と、物品に付与したタグユニットを持ち、複数のセンサユニットを通してタグユニットから発信されるタグ情報を受信する際の、受信感度を物品管理装置で管理することで物品位置の指定又は推測を可能とし、複数の物品の現在位置を把握可能としたものである。この技術では、比較的距離が離れた複数のセンサユニットまでタグの電波を到達させる必要があるため、電池を内蔵したアクティブタグを使用するものである。電池の消耗を抑えるため、予め定めたタイミング（1日 1回〜月 1回）にて発信させるという方法を採っている。

[0007] 同じぐ家庭内での物品管理を目的とした従来技術である特許文献 3 (特開 2003 — 233715号公報)では、天井の 4隅などに観察機 (タグリーダ)を設置し、部屋の中での人の行動履歴や管理対象物の位置情報などの生活情報を収集して管理している。管理対象物にはデータタグを取り付け、人は手先などにパーソナルタグを携帯する。これらのデータタグやパーソナルタグは、管理対象物や人の識別情報を保持し、複数の通信距離で観察機と無線による情報通信が可能なようになって、る。

[0008] 特許文献 1 :特開平 07— 146362号公報特許文献 2 :特開 2000— 357251号公報

特許文献 3：特開 2003— 233715号公報

発明の開示

発明が解決しょうとする課題

[0009] ところで、前記特許文献 2では、タグは予め定めたタイミングでし力発信しないため、物品の位置は、物品に付与したタグとタグリーダとが最後に交信した記録に基づいて決定される。従って、タグ力 Sタグリーダと交信したのち、前記タグが付いた物品がどこに運ばれたかは次に当該タグ力 Sタグリーダと交信するまで分力もなくなる。さらには、最後にタグリーダと交信してから時間が経てば経つほど、当該タグ付き物品が前記最後に交信したタグリーダの近辺に存在する可能性が低くなることは言うまでもない。従って、このようなシステムでユーザが物品を見つけるには、検索の問い合わせによつて知らされた物品の場所から、ユーザ自身がどう動いてどこに当該物品を置いたか等を記憶をたどって思い出す必要があり、必ずしも物品が簡単に見つけられるとは言い難ぐこの点が従来技術の大きな問題である。力！]えて、物品位置の測定には部屋に複数のタグリーダを設置する必要があるため、コスト面で不利になる。また、電池内蔵のアクティブタグを用いているため、タグ自体の大きさが大きくなり小型物品には装着しづらいという問題、タグ自身のコストが高くなるという問題も存在する。さらに部屋の中にタグが付与された物品数が多い場合、全てをセンシングするためには、各タグの発信タイミングの制御が大変になる。

[0010] 前記特許文献 3では、特許文献 2と同じぐ部屋に複数のタグリーダを設置する必要があるため、コスト面で不利になる。また、データタグやパーソナルタグもそれ自身が無線発信できるため、タグ自体の大きさが大きくなり、コストも高くなるという問題がある。

[0011] 従って、本発明の目的は、前記従来技術のような簡易な構成、すなわち物品にタグ

、物品を管理する環境に最小限のタグリーダを設置し、タグは前記タグリーダの交信範囲を通過した場合にのみ、その情報が記録されるという構成を基に、一方でユーザが物品を探す場合に過去の記憶をたどるという思考を必要としない、物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムを提供することにある。

課題を解決するための手段

[0012] この課題解決に向けて、まず、本発明者らは、家庭やオフィスなど内においては物品を扱うのは、主にその家庭で暮らす人やオフィスなどで働いてする人であることから、その人の動きと物品の存在場所には重要な相関関係があるはずであることに着目した。従って、人の動き情報を何らかの手段によって入手することができれば、その情報を用いて物品の存在場所を絞り込むことができるはずであると考えた。

[0013] 本発明は、前記課題を解決するために、この考えを具現化する技術に関するものである。

[0014] 前記課題を解決するために、本発明によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品が区別されるように識別し検出する物品検出装置と、

前記物品検出装置にて検出された物品の識別情報と検出場所の情報と検出時刻の情報とを物品管理情報として格納する物品管理データベースと、

前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、前記人検出装置にて検出された人の移動履歴情報を格納する人管理データべ一スと、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、を備えたことを特徴とする、物品位置推定装置を提供する。

[0015] また、本発明によれば、検索する対象物品の入力が行われる入力装置と、

前記物品存在領域推定手段で前記物品の物品存在領域を推定するとともに、推定処理された物品の中から、前記入力装置で入力された検索対象物品を検索する前記物品位置推定装置と、前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び物品位置候補重み付け手段での推定結果を用いて、前記検索対象物品の存在する物品存在領域を表示する表示装置と、

を備える物品検索システムを提供する。

[0016] 本発明の物品検索システムによれば、物品検出装置が物品を検出し、その場所と時間とを物品管理データベースに格納する。人検出装置が人を検出し、その場所の情報と時刻の情報とを人管理データベースに格納する。物品存在領域推定手段は、これら物品管理データベースに格納された情報及び人管理データベースに格納された情報を参照し、前記物品存在領域として、人が移動した経路のうち物品の存在する可能性がある場所を推定することができる。そして、必要ならば、物品位置候補重み付け手段が、人の動きの履歴データや機器の操作情報などの情報を利用することで、前記物品の存在する可能性があるそれぞれの場所について、存在可能性の高さの重み付けを行うこともできる。当該システムのユーザは、前記重み付けされた物品の存在場所を参照することで、探すべき場所の優先順位をつけ、その高いところ力順に検索対象物品を探すことができる。

発明の効果

[0017] 本発明の物品位置推定装置及び方法並びに物品検索システム並びに物品位置推定用プログラムにより、ユーザは探そうとしている物品を簡単に早く探し出すことができるようになる。すなわち、従来の物品検索システムでは、物品検出装置の検出範囲でのみしか物品が検出できないため、それ以外の場所に物品がある場合は、前記物品検出装置の検出結果を見ながらユーザが物品の場所を思い出しつつ探すという、思考力を要する作業を強要された。しかしながら、本発明では、物品の存在場所をさらに絞り込むことができるうえ、さらに必要に応じて、絞り込んだ場所に物品有無の可能性の高さを示す重み付けも行うこともできる。従って、ユーザは、従来のようにユーザの過去の行動を思い出すという思考作業を必要とせず、より簡単で早く目的の物品を探すことが可能となる。また、前記物品を検出する物品検出を少なくとも人が出入り可能な部屋の出入り口付近で行えばよぐ例えば 1つの部屋に複数の物品検出装置を設置する必要が無いため、物品検出装置の個数を最小限にすることができて、全体的なコストを安価なものとすることができ、かつ、物品検出装置同士の干渉ち防止することができる。

図面の簡単な説明

本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、

[図 1]図 1は、本発明の第 1及び第 2実施形態による物品検索システムの代表的な構成例を示したブロック図であり、

[図 2]図 2は、本発明の第 1実施形態に力かる前記物品検索システムの物品検出装置の一例であるタグリーダがそれぞれの部屋の出入口に設置された環境の例を示した見取り図であり、

[図 3]図 3は、物品検出装置の一例であるゲート型のタグリーダが「居間」の入り口に設置されている例を示した説明図であり、

[図 4A]図 4Aは、物品の一例としての書籍にタグが付いている例を示した概念図であり、

[図 4B]図 4Bは、物品の別の例としてのジュースにタグが付いている例を示した概念図であり、

[図 5A]図 5Aは、前記物品検索システムの物品管理データベースに含まれる物品管理情報の例を表形式で示した図であり、

[図 5B]図 5Bは、物品管理データベースに含まれる物品管理情報の例を表形式で示した図であり、

[図 6]図 6は、前記物品検索システムの人検出装置の一例として重さセンサを使って人の位置を検出するためのシステム構成を示した概念図であり、

[図 7]図 7は、前記物品検索システムの人検出装置の別の例としてタグを使って人の位置を検出するためのシステム構成を示した概念図であり、

[図 8]図 8は、前記物品検索システムの人検出装置のさらに別の例として背景差分法を具体的に説明するための補助図であり、

[図 9A]図 9Aは、前記背景差分法を具体的に説明するため、背景画像を撮影したのと同じカメラを用いて撮影されたある時点における入力画像を示した図であり、圆 9B]図 9Bは、前記背景差分法を具体的に説明するため、背景画像の例を示した図であり、

圆 9C]図 9Cは、前記背景差分法を具体的に説明するため、図 9Aの入力画像から図 9Bの背景画像を差し引いて得られた背景差分画像に、当該環境の座標系を付加して示した図であり、

[図 10]図 10は、カメラ画像における切り出した人の位置座標を世界座標系に変換する計算を説明するための説明図であり、

[図 11A]図 11Aは、前記物品検索システムでの人管理データベースに含まれる人管理情報の例を表形式で示した図であり、

[図 11B]図 11Bは、前記物品検索システムでの人管理データベースに含まれる人管理情報の例を表形式で示した図であり、

[図 12]図 12は、前記物品検索システムでの人移動履歴情報の例を表形式で示した図であり、

[図 13]図 13の（a) , (b)は、それぞれ、前記物品検索システムにおいて人移動履歴情報を参照し、各時刻毎に当該時刻における移動量 (移動距離)をプロットしたダラフ及び図 2の見取り図から「居間」だけを取り出した見取り図に前記人移動履歴情報をプロットした図であり、

[図 14]図 14の（a) , (b)は、それぞれ、前記物品検索システムにおいて 2人分のデータをプロットした場合であって、人移動履歴情報を参照し、各時刻毎に当該時刻における移動量 (移動距離)をプロットしたグラフ及び図 2の見取り図から「居間」だけを取り出した見取り図に前記人移動履歴情報をプロットした図であり、

[図 15A]図 15Aは、前記物品検索システムにおいて、収納機能を持つ機器に対して

、機器操作検出装置が設置された機器の例を示した概念図であり、

[図 15B]図 15Bは、前記物品検索システムにおいて、収納機能を持つ機器に対して

[図 16A]図 16Aは、前記物品検索システムにおいて、機器管理データベースに含まれる機器管理情報の例を表形式で示した図であり、

[図 16B]図 16Bは、前記物品検索システムにおいて、機器管理データベースに含まれる機器管理情報の例を表形式で示した図であり、

[図 17]図 17は、前記物品検索システムにおける物品存在領域推定手段での処理の流れを示すフローチャート図であり、

[図 18]図 18は、前記物品検索システムにおける物品存在領域推定手段での処理結果を表形式で示した図であり、

[図 19]図 19は、前記物品検索システムにおける人の移動速度を用、て重み付けを行う処理を示すフローチャート図であり、

[図 20]図 20は、前記物品検索システムにおける物品位置候補重み付け手段での処理結果を表形式で示した図であり、

[図 21]図 21は、前記物品検索システムにおける表示装置にて物品検索結果を CG ( コンピュータグラフィック)表示した例を示す概念図であり、

[図 22]図 22は、前記物品検索システムにおける機器管理情報を用いて重み付けを行う処理を示すフローチャート図であり、

[図 23]図 23は、前記物品検索システムにおける機器の場所を管理するデータベースを表形式で示した図であり、

[図 24]図 24は、環境内に置かれた機器を示した見取り図であり、

[図 25]図 25は、前記物品検索システムにおける人の滞留位置と機器との距離に応じた重み付け処理を説明する図であり、

[図 26]図 26は、前記物品検索システムにおける人の滞留位置と機器との距離に応じた重み付け処理の結果を表形式で示した図であり、

[図 27]図 27は、本発明の第 2実施形態に力かる前記物品検索システムにおける表示装置にて物品検索結果を CG (コンピュータグラフィック)で表示した例で示す概念図であり、

[図 28]図 28は、本発明の第 2実施形態に力かる前記物品検索システムにおける動画をタイムスタンプを付与して蓄積している様子を示した概念図であり、

[図 29]図 29は、本発明の第 2実施形態にカゝかる前記物品検索システムにおける画像検索手段における処理の流れを示したフローチャート図であり、

[図 30A]図 30Aは、本発明の第 2実施形態に力かる前記物品検索システムにおける図 28の画像データベースから 19時 31分の画像を検索して表示している様子を示した概念図であり、

[図 30B]図 30Bは、本発明の第 2実施形態に力かる前記物品検索システムにおける図 28の画像データベースから 19時 32分の画像を検索して表示している様子を示した概念図であり、

[図 31]図 31は、前記第 1実施形態の前記物品検索システムにおいて、物品管理データベースに蓄積される情報であってかつ物品名とそれに付与されたタグの IDがぺァになっている状態の説明図であり、

[図 32]図 32は、前記第 1実施形態の前記物品検索システムの人検出装置の一例として重さセンサを使って人の位置を検出するためのシステム構成を示した概念図であり、

[図 33]図 33は、前記第 2実施形態の前記物品検索システムでの物品所有者情報の説明図であり、

[図 34]図 34は、前記物品検索システムにおける物品検出装置が設置されたオフィス環境の例を示した見取り図であり、

[図 35]図 35は、前記物品検索システムの一部を実現することが可能な物品位置推定用プログラムのフローチャートであり、

[図 36A]図 36Aは、時刻とその時刻における人の実際の位置との関係を示すグラフであり、

[図 36B]図 36Bは、時刻間隔 Atで記録した人の位置 Pを示すグラフであり、

k

[図 37]図 37は、滞留前の所定の時間帯における平均移動速度よりも滞留後の所定の時間帯における平均移動速度が大きければ、持ち運んでいた物品を手放した可能性が大きいと判定することができるアルゴリズムを示すフローチャートであり、 [図 38]図 38は、図 37のステップ 3705での処理結果を示すグラフであり、

[図 39A]図 39Aは、 2人の人物 Hl、 H2の移動速度の時間変化を示すグラフであり、 [図 39B]図 39Bは、 2人の人物 HI, H2の移動経路を部屋の見取り図上に重ねて表示した図であり、

圆 40]図 40は、受け渡しの可能性を考慮した物品存在領域推定手段での処理を説明するフローチャートであり、

圆 41]図 41は、受け渡しの可能性を考慮した物品存在領域推定手段での処理を行うときに利用するデータを示す図であり、

[図 42A]図 42Aは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理に用いる、 2名の人物 HI, H2の移動速度の変化を表わすデータを示す図であり、

[図 42B]図 42Bは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、 2名の人物 HI, H2の移動軌跡データを部屋の見取り図に重ねて表現した図であり、

[図 42C]図 42Cは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、表示装置に提示される移動軌跡を示す図であり、圆 43]図 43は、受け渡しの可能性を考慮した物品位置候補重み付け手段での処理を示すフローチャートであり、

[図 44A]図 44Aは、図 42Aと同様に、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理に用いる、 2名の人物 HI, H2の移動速度の変化を表わすデータを示す図であり、

[図 44B]図 44Bは、図 42Bと同様に、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、 2名の人物 HI, H2の移動軌跡データを部屋の見取り図に重ねて表現した図であり、

圆 44C]図 44Cは、物品の受け渡しを考慮した場合の、物品位置候補重み付け手段での物品存在領域推定処理において、得られた物品存在領域を環境の見取り図上に物品存在領域推定手段によりマッピングした結果を示す図であり、

[図 45A]図 45Aは、 2人の人物 HI, H2の移動速度の時間変化を示すグラフであり、 [図 45B]図 45Bは、図 45Aのグラフを基にして、時間帯 S1〜S5における平均移動速度を求めた表を示す図であり、

[図 45C]図 45Cは、 2人の人物 HI, H2の移動軌跡を部屋の見取り図上に重ねて表示する図であり、

[図 46]図 46は、滞留状態前後の移動速度変化を重み付けに反映する処理を示すフローチャートである。発明を実施するための最良の形態

[0019] 本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。

[0020] 以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する前に、本発明の種々の態様について、まず、説明する。

[0021] 本発明の第 1態様によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品（例えば、異なる種類の物品）が区別されるように識別し検出する物品検出装置と、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間（この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。 )内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、を備えたことを特徴とする、物品位置推定装置を提供する。

[0022] 本発明の第 2態様によれば、前記物品存在領域推定手段は、前記人管理データベースに格納された前記移動履歴情報を参照して得られる前記人の移動速度の変化によって、前記物品の前記物品存在領域を推定する、第 1の態様に記載の物品位置推定装置を提供する。

[0023] 本発明の第 3態様によれば、前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記推定された複数の物品存在領域に対して前記物品の存在する可能性に基づき、前記物品の存在する可能性の高、物品存在領域の重みが高くなるように重み付けを行う、物品位置候補重み付け手段をさらに備える、第 1又は 2の態様に記載の物品位置推定装置を提供する。

[0024] 本発明の第 4態様によれば、前記物品位置候補重み付け手段は、

前記人の移動履歴情報にお!、て、予め定めた所定値 (滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態としてそれぞれ抽出し、前記滞留状態を構成する各情報を参照して得られる前記人の移動速度の平均値を用いて、前記人の移動速度の平均値が低い領域ほど前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第 3の態様に記載の物品位置推定装置を提供する。

[0025] 本発明の第 5態様によれば、前記物品位置候補重み付け手段は、

前記人の移動履歴情報にお!、て、予め定めた所定値 (滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、前記滞留状態の前後における検出場所の情報と検出時刻の情報を参照して得られる前記人の移動速度の変化を用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第 3の態様に記載の物品位置推定装置を提供する。

[0026] 本発明の第 6態様によれば、前記物品位置候補重み付け手段は、

前記物品の存在する可能性の重み付けを行う際に前記滞留状態が持続する時間を併せて用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第 4又は 5の態様に記載の物品位置推定装置を提供する。

[0027] 本発明の第 7態様によれば、前記物品存在領域推定手段は、

前記人の移動履歴情報にお!、て、予め定めた所定値 (滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、複数の前記人に対する前記滞留状態間の関係により、複数の前記人の間の前記物品の受け渡しを考慮して、前記物品の存在領域を推定する、第 2〜6のいずれか 1つの態様に記載の物品位置推定装置を提供する。

[0028] 本発明の第 8態様によれば、前記物品を収納管理する機器の機器操作を検出する機器操作検出装置と、

前記機器操作検出装置にて検出された各々の機器の操作情報を格納する機器管理データベースを備え、前記機器管理データベースに格納された情報を前記操作情報中の前記機器の操作の有無の情報に基づき、前記使用していた機器の重みが高くなるように前記物品位置候補の機器に対して重み付けを行う、第 3の態様に記載の物品位置推定装置を提供する。

[0029] 本発明の第 9態様によれば、前記物品存在領域推定手段は、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合以降において、前記検出された人の移動領域を、前記物品の物品存在領域として推定するとともに、前記検出された人が前記部屋から出た後は、前記物品の物品存在領域の推定を停止する、第 1又は 2の態様に記載の物品位置推定装置を提供する。

[0030] 本発明の第 10態様によれば、検索する対象物品の入力が行われる入力装置と、前記物品存在領域推定手段で前記物品の物品存在領域を推定するとともに、推定処理された物品の中から、前記入力装置で入力された検索対象物品を検索する第 1〜9のいずれか 1つの態様に記載の前記物品位置推定装置と、

前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び前記物品位置候補重み付け手段での推定結果を用いて、前記検索対象物品の存在する物品存在領域を表示する表示装置と、

を備える物品検索システムを提供する。

[0031] 本発明の第 11態様によれば、当該物品検索を行う環境を撮影する撮像装置と、前記撮像装置で撮影された画像情報を蓄積する画像データベースと、前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び前記物品位置候補重み付け手段が検索要求のあった前記物品が置かれたと推定される場所と時刻とを推定し、前記推定結果を用いて、前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベース力抽出する画像検索手段とを備え、前記表示装置は、前記画像検索手段にて検索された画像情報を表示することを特徴とする、第 10の態様に記載の物品検索システムを提供する。

[0032] 本発明の第 12態様によれば、少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品（例えば、異なる種類の物品）が区別されるように識別し物品検出装置で検出するステップと、

前記物品検出装置にて検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップと、

前記部屋内での前記人の位置を個人毎に区別して人検出装置にて検出するステップと、

前記人検出装置にて検出された人の移動履歴情報を人管理データベースに格納するステップと、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間（この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。 )内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップと、

を備えたことを特徴とする、物品位置推定方法を提供する。

[0033] 本発明の第 13態様によれば、前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記物品存在領域を推定するステップによつて推定された複数の前記物品存在領域に対して、前記物品の存在する可能性に基づき、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行うステップ、

をさらに備えたことを特徴とする、第 12の態様に記載の物品位置推定方法を提供する。

[0034] 本発明の第 14態様によれば、コンピュータに、

少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品（例えば、異なる種類の物品）が区別されるように識別し物品検出装置で検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップと、

前記部屋内での前記人の位置を個人毎に区別して人検出装置で検出された人の移動履歴情報を人管理データベースに格納するステップと、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間（この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。 )内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップとを実行させるための物品位置推定用プログラムを提供する。

[0035] 本発明の第 15態様によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品（例えば、異なる種類の物品）が区別されるように識別し検出する物品検出装置と、

前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間（この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。 )内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、

を備える、物品位置推定装置を提供する。

[0036] 次に、本発明の実施形態を図面に基づいて詳細に説明する。

[0037] まず最初に本発明による物品検索システムの全体構成及び各構成要素について説明する。

[0038] 図 1は、本発明の第 1実施形態による物品検索システムの代表的な構成例を示したブロック図で、図 1では本発明の前記種々の態様に記載の全ての手段又は装置を含む構成となっている。本発明の第 1実施形態による物品検索システムは、全体としては基本的に 3つの部分、すなわち、

•検索する物品の入力が行われる入力装置 109と、

•物品の位置を推定する処理を行うとともに、推定処理された物品の中から、前記入力装置 109で入力された検索対象物品を検索する物品位置推定装置 140と、

•前記物品位置推定装置 140による推定処理結果を用いて、前記入力装置 109 で入力された検索対象物品の存在する場所を表示する表示装置 110と、

より構成されている。

[0039] なお、図 1では、ユーザが物品を検索する時、入力装置から入力された検索対象の物品の情報に加えて時刻の情報を物品位置推定装置 140で検索できるようにすることも実現可能である。すなわち、具体的には、本発明の第 2実施形態として後述する力本発明の前記第 11態様を特徴付ける 3つの構成要素、すなわち、

•タイマー手段 120から出力された時刻の情報が入力されかつ当該物品検索を行う環境を撮影する撮像装置 111と、

•前記撮像装置 111により撮影された画像情報を時刻の情報と共に蓄積する画像データベース 112と、

•前記画像データベース 112に蓄積された画像情報に基づく物品存在領域推定手段又は後述する物品位置候補重み付け手段での処理結果を用いて、検索要求のあった物品が置かれたと推定される場所と時刻を推定し、前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベース 112の蓄積された画像情報から検索して抽出する画像検索手段 113と、

を含む構成を図 1に示してヽる。

[0040] 次に、本発明の前記第 1実施形態による物品位置推定装置の各構成要素並びに当該装置を用いた物品位置推定の処理について説明する。

[0041] 図 1の実線で囲まれた部分 140内が本発明の前記第 1実施形態による物品位置推定装置 140に相当するブロック図であり、この物品位置推定装置 140は、本発明の第 1〜第 15の態様に記載されている各手段又は装置及び各種データベースを全て含んだ構成を示しており、

'現在の時刻の情報を出力するタイマー手段 120と、

•タイマー手段 120から出力された時刻が入力されかつ異なる物品が区別されるように識別し検出する物品検出装置 101と、

•前記物品検出装置 101にて検出された物品の識別情報 (ID)とその物品の検出場所の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報 )とを物品検出毎に物品管理情報として格納する物品管理データベース 102と、

•タイマー手段 120から出力された時刻の情報が入力されかつ人の位置を個人毎に区別して検出する人検出装置 103と、

•前記人検出装置 103にて検出された人の識別情報 (ID)とその人の検出場所の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報)とを、単位時間毎に、人管理情報 (人移動履歴情報）として格納する人管理データベース 104と、

'タイマー手段 120から出力された時刻の情報が入力されかつ機器操作を検出する機器操作検出装置 105と、

'前記機器操作検出装置 105にて検出された各々の機器の識別情報 (ID)とその機器の操作状態の情報 (操作情報)と機器操作時にタイマー手段 120から出力された時刻の情報 (操作時刻情報)とを機器操作検出毎に機器管理情報として格納する機器管理データベース 106と、

•前記物品管理データベース 102及び人管理データベース 104に格納された情報を (必要に応じて、さらに機器管理データベース 106に格納された機器管理情報をも)参照し、物品の物品存在領域を推定するとともに、物品存在領域が推定された物品の中から、前記入力装置 109で入力された検索対象物品を検索する物品存在領域推定手段 107と、

'前記物品管理データベース 102又は人管理データベース 104又は機器管理データベース 106に格納された情報を参照して、前記物品存在領域推定手段 107によつて推定された複数の前記物品存在領域のうち、前記物品の存在する可能性の高い領域に重み付けを行う、物品位置候補重み付け手段 108と、を有する。

[0042] 以下、前記各構成要素の詳細を説明する。

[0043] 《物品検出装置 101》

物品検出装置 101は、タイマー手段 120から出力された時刻の情報 (検出時刻情報）が入力されかつ異なる物品が区別されるように識別し検出する結果、検出された物品の識別情報 (ID)とその物品の検出場所の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報）とを物品検出毎に物品管理データベース 102に出力する。物品が区別できるように識別検出するためには様々な方法が考えられる力本第 1実施形態では、物品の識別能力やコストの面で優位性を有し、物流業界などで最近注目されて、るタグシステムを用いた方法を説明する。

[0044] 図 2は、物品検出装置 101が設置された環境の例（一般家庭の家屋の部屋の例）を示した見取り図である。後の説明の都合上、本見取り図では図に示してあるように、図 2の縦方向を Y軸とし横方向を X軸とする X—Y座標系を設定している。図 2において、 TGRと記載されている部分が物品検出装置 101の一例としてのタグリーダであり、「玄関」、「居間」、「書斎」、「浴室」、「トイレ」、「寝室」の各出入り口付近にそれぞれ設置されている。このように、少なくとも人が出入り可能な部屋の出入り口付近に物品検出装置 101の一例としてのタグリーダを配置すれば、物品検出装置 101の個数を最小限にすることができて、全体的なコストを安価なものとすることができるとともに、物品検出装置 101同士の干渉も防止することができる。なお、より詳細なタグリーダ T GRの設置態様例として、図 3では、ゲート型のタグリーダ TGR力 ^居間」の人が出入り可能な出入り口付近に設置されている例を示している。また、ゲート型のタグリーダ TGRは、単独でも機能するが、タグ TGの読み取りミスをなるベく防ぐなどの理由のため、ここでは、一対のペアでゲート型のタグリーダ TGRが対向して設置される例を図 3に示している。

[0045] このようなタグシステムを使って物品を検出するためには、環境内で扱う物品にはタグ TG (例えば、比較的近距離 (例えば、出入り口付近)でし力検知されないパッシブタグ）が付いている必要がある。図 4A,図 4Bは、いずれも物品にタグ TGが付いている例を示した概念図で、それぞれ図 4Aは「書籍」に、また、図 4Bは「ジュース」にタグ TGが付与されている例を示している。ユーザは、このようなタグ TG付きの物品を持つて環境内を移動しながら、ゲート型のタグリーダ TGRのゲートを通過したら、タグ、 J ーダ TGRが前記物品に付けられたタグ TGを自動的に読み込み、読み込まれたタグ TGの情報が、読み込まれた時刻とともに物品管理データベース 102に蓄積される。なお、後の説明の便宜上、図 3の「居間」には、図 3に示すように、本棚 (BS)、冷蔵庫 (RF)、キッチンシステム（KS)、食卓（DT)、ソファ 1 (SF1)、ソファ 2 (SF2)、ローテ一ブル (LT)が設置されて!ヽるものとする。

[0046] このようにして、タグ付けされた物品は、図 31に示すように、物品名とそれに付与されたタグの IDがペアになって物品管理データベース 102に蓄積される。この物品管理データベース 102を参照することによって、タグリーダ TGRでタグ TGの IDを読み取ったときに、その IDに相当する物品が何であるかが判定できることになる。もちろん、この物品管理データベース 102には他の情報を追加して蓄積するようにしてもよい。他の情報とは、当該物品のカテゴリ、重さ、形状、色、などの情報である。

[0047] 《物品管理データベース 102》

物品管理データベース 102は、前記物品検出装置 101にて検出された物品の識別情報 (ID)とその物品の検出場所 (部屋内の検出位置)の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報)とを、物品検出毎に、物品管理情報として格納する。図 5A,図 5Bは、本発明の前記第 1実施形態による物品管理データベース 102に含まれる物品管理情報の例を表形式で示した図で、物品管理データベース 102とは、これら物品管理情報を集めたものである。ここでいう「物品」とは、ユーザが日常生活で使う持ち運び可能な物品（又はオフィスなどにおいて通常使用する持ち運び可能な物品）のことを言い、宅内にある家具や家電機器など (又はオフィスなどにおける机や書棚など）は物品ではなぐ「機器」又は「設備」という呼び名で「物品」とは区別する。

[0048] さて、図 5A,図 5Bでは、それぞれ図 4Aの「書籍」、図 4Bの「ジュース」に対応した物品管理情報が示されている。例えば図 4Aの「書籍」に関する物品管理情報としては、

•時刻 19： 29に「玄関」のタグリーダ TGRで、 •時刻 19： 30に「居間」のタグリーダ TGRで、

•時刻 23： 01に「居間」のタグリーダ TGRで、

•時刻 23： 02に「書斎」のタグリーダ TGRで、

それぞれ「書籍」が検出されたことが蓄積されている。また、図 5Bの「ジュース」に関する物品管理情報としては、

•時刻 19： 29に「玄関」のタグリーダ TGRで、

•時刻 19： 30に「居間」のタグリーダ TGRで、

それぞれ「ジュース」が検出されたことが蓄積されている。これらは、それぞれのタグリーダ TGRがそれぞれの物品のタグ TGを検出し、タグリーダ TGRが、それぞれの物品の IDを取得した都度、タグ TGの IDと物品とをペアにした、タグ TGの IDと物品の対応関係データベース（図 31参照）の対応情報を参照して、前記タグ TGの IDに相当する物品が何かを調べ、その結果を時間とともに物品管理データベース 102に書き込む。タグ TGの IDと物品の対応関係データベースは、タグリーダ TGRが参照可能に配置されておればよぐ物品管理データベース 102とは別に配置してもよいし、物品管理データベース 102内に物品管理情報を蓄積する領域又は部分とは別の領域又は部分に配置するようにしてもよい。もし新たな物品が外部力前記環境内に持ち込まれた際には、その新たな物品に相当する対応情報を物品管理データベース 1 02内に新規作成する。この新規作成はユーザが入力装置 109を使用して手作業で行ってもよい。また、詳細な説明は省くが、近年のタグシステムの技術の進歩により、このような新規作成操作は自動化も可能である。一方、既存の物品が廃棄されたことが認識できれば、当該物品に対応する物品管理情報は物品管理データベース 102 力も削除すればよい。物品管理情報の削除は入力装置 109を使用して手作業で行つてもいいし、また、ゴミ箱にタグリーダ TGRを設置し、前記タグリーダ TGRがタグ T Gを検出した場合には、タグリーダ TGRにより、前記タグ TGに対応する物品管理情報を物品管理データベース 102から削除するようにしてもよい。

《人検出装置 103》

人検出装置 103は、タイマー手段 120から出力された時刻の情報が入力されかつ人の位置を個人毎に区別して検出する結果、検出された人の識別情報 (ID)とその人の検出場所の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報）とを、単位時間毎に、人管理データベース 103に出力する。一般に人の検出というと、例えば画像中に含まれる人を画像から切り出す場合や、ある環境にいる人の環境内での場所を求めるなど、いろいろな捉えられ方がある力ここでは、環境内での人の位置座標を求めるという意味で用いる。そのための検出方法は各種提案されているが、本第 1実施形態ではそのうち、重さセンサを使う方法、タグ TGを使う方法、及び、画像を使う方法の 3種類を以下に説明する。

[0050] <重さセンサを使う方法 >

重さセンサを使って人の位置を検出する方法の一例を図 6を用いて説明する。図 6 及び図 32は、重さセンサ WSENを使って人の位置を検出するためのシステム構成を示した概念図である。このシステムでは、人検出装置 103は、重さセンサ WSENと、重さセンサ WSENからの出力情報が入力されかつ物品管理データベース 102と接続可能なセンサ処理装置 141とより構成される。

[0051] 重さセンサ WSENを使って人の位置を検出する場合、図 6及び図 32に示したように、重さセンサ WSENを環境内の床に例えば格子状に敷き詰める。これら各重さセンサ WSENは、人の足等によって加重が力かるとその値が出力されるようになっており、全てがセンサ処理装置 141につながっている。センサ処理装置 141は、予め各重さセンサ WSENの座標を登録しておき、重さセンサ WSENのデータを常にセンシングするようになされており、もし、ある重さセンサ WSENに加重が力かっていることが検出された場合には、当該重さセンサ WSENの置かれている座標をセンサ処理装置 141により直ちに求める。

[0052] このようなシステムを用いて最も簡単に人の位置を知るには、加重が力かった重さセンサ WSENの座標値をそのまま人の位置とすればよい。しかしながら、これでは複数人の人が環境内に居る場合にそれらが区別できな、と、う問題もでてくる。このような問題に対応するためには、例えば重さセンサ WSENの加重がほぼ等しいセンシングデータをグルーピングし、時間順に並べるなどの処理をセンサ処理装置 141で追加すればよい。これにより、人検出の精度を高めることができる。

[0053] <タグ TGを使う方法 > タグ TGを使って人の位置を検出する方法の一例を、図 7を用いて説明する。図 7は、タグ TGを使って人の位置を検出するためのシステム構成を示した概念図である。タグ TGを使って人の位置を検出する場合は、人は環境内をタグリーダ TGR付きの履き物（例えばスリッパ） 142を履いて移動するという前提が許される場合に有効である。このシステムでは、人検出装置 103は、タグ TGと、タグ TGを検出可能でかつ無線などにより物品管理データベース 102と接続可能なタグリーダ TGRとより構成される。

[0054] 本方法では、まず、図 7に示すように、タグ TGを環境内の床に例えば格子状に敷き詰める。一方、履き物 142には、床に敷き詰められたタグ TGの HD情報を読み取るためのタグリーダ TGRが設置され、このタグリーダ TGRには、前記 Iひ f青報と、前記 ID 情報を持つタグ TGの置かれてヽる場所の位置情報 (例えば位置座標情報）とを対応づけた対応付け情報（図示しな、）が格納されて、る。

[0055] このような構成の基で、人が環境内を歩くと、足を床に踏みつけた瞬間に履き物 14 2につ、たタグリーダ TGR力その下にあるタグ TGと通信して前記タグ TGの ID情報を読み取り、前記情報の値を前記対応付け情報に照らし合わせることで、人の位置を特定することができる。もちろん、これはあくまで一例であり、履き物 142以外の他の場所にタグリーダ TGRを付け、人の足以外の他の場所にタグ TGをつけるという構成でもよ、。例えば手首につけた腕時計に個人の IDが付与されたタグ TGを埋め込めば、先ほど説明した物品検出装置 101用タグリーダ TGRで、人も検出することも可能となる。もし複数人の検出に対応させるためには、それぞれの人が所有する ID を区別してやればよい。なお、本例とは逆に、床にタグリーダ TGRを敷き詰め、スリツノ 142にタグ TGを貼り付けるという構成でも人の検出は可能である。

[0056] <カメラ画像を使う方法 >

カメラ画像を用いても、人の位置を検出することが可能である。その大まかな手順は、（ステップ 1)画像中から人の切り出し、（ステップ 2)カメラ画像における切り出した人の位置座標を世界座標系に変換する、 t 、うステップで行われる。

[0057] まず、ステップ 1において、画像中力もの人の切り出しである力これも様々な方法が開発されているが、ここではそのうち最も単純な背景差分という方法を説明する。

[0058] 背景差分法とは、予め背景としてのモデル画像を用意しておき、現在の入力画像と前記モデル画像との差分を取ることで、処理する対象物を画像から得る方法である。

[0059] まず、背景画像の作成だが、例えば環境変動が無い場合は、環境内に人の全く存在しない一枚の画像を使ってもよいし、また、環境変動が激しい場合は、ある時間に連続して撮影された画像を平均して得られた画像を使っても良ヽ。図 8及び図 9A〜図 9Cは背景差分法を具体的に説明するための補助図である。図 8はカメラ 143を環境内に設置し、また、環境に世界座標系を設定したことを表した概念図、図 9Bは前記背景画像の例を示した図、図 9Aは、図 9Bを撮影したのと同じカメラ 143を用いて撮影されたある時点における入力画像 (撮影画像)を示した図、図 9Cは、図 9Aの入力画像から図 9Bの背景画像を差し引いて得られた背景差分画像に、当該環境の座標系を付カ卩して示した図である。図 9C力も分力るように、図 9Aの入力画像には人 14 4が含まれており、図 9Bの背景画像には人 144が含まれていないので、これら 2枚の画像の差である図 9Cの背景差分画像力も人 144が浮き出てくる。この浮き出た部分のみを取り出すことで、環境内の人 144が検出できるという仕組みである。

[0060] こうして検出された人 144については、画像処理によって画像中での人 144の足元の座標を求めることが可能である。し力しながら、人検出装置 103によって最終的に求めたいのは、人 144の世界座標系における座標であるので、その方法を図 10を用いて説明する。

[0061] 図 10は、カメラ画像における切り出した人 144の位置座標を世界座標系に変換する計算を説明するための図である。図 10において、 O

wを原点とし X軸、 Y軸、 Z軸で構成された座標系は世界座標系で、この座標系において、人 144の位置座標を (X w

, y , z )で表す。また、 Oはカメラ 143のレンズ中心を原点とするカメラ座標系で、こ w w e

の座標系において人 144の位置座標を (x , y , z )で表す。また、（u, V)は、カメラ e e e

画像における人 144の足元位置を検出した座標であるとする。以上の定義のもとで、 (X , y , z )、（X , y , z )、（u, v)には、式（1) ,式（2) ,式（3)の関係が成り立つこ w w w e e e

とが知られている。ここで、式（1)における (r ,〜， r )は、カメラ座標系を構成する 3

1 9

つの軸周りの回転行列、また、（t , t , t )は、カメラ座標系の原点を世界座標系の原

X y z

点に合わせるための平行移動ベクトルであり、カメラ 143の外部パラメータと呼ばれるものの一部である。一方、式（2) ,式（3)における fはカメラ 143の焦点距離を示すもので、カメラ 143の内部パラメータと呼ばれるものの一部である。そして、これら外部及び内部パラメータは、カメラキャリブレーションという技術を用いて事前に求めることが可能である。

[0062] さて、カメラ画像における人 144の足元位置を検出した座標（u, V)をこれらの式（1 )〜式（3)に入力してできる連立方程式は、実世界での人 144の足元位置を求めるには不十分である。なぜなら、前記連立方程式では (X , y , z )と Oとを結ぶ直線上 e e e e

のどこかにある、という不定解し力得られないからである。従って、さらに実世界座標系において z =0という拘束条件を付カ卩してやることで、人 144の位置座標（X , y , z )を求めることができる。この拘束条件は、人 144の足元位置が床面（つまり z =0) になるように実世界座標系を決めて、ることに他ならな、。

[0063] 以上が、カメラ画像を使って人 144を検出する方法の概要である。もしカメラ 143内に複数人が検出されたならば、前記処理を個別に行えばよい。また、人検出装置 10 3にカメラ画像を使う場合は、本発明の前記第 1実施形態の他の構成要素である撮像装置 111で撮影された画像を共用しても力まわない。このシステムでは、人検出装置 103は、カメラ 143と、カメラ 143からの画像情報が入力されかつ前記背景差分処理並びに座標変換処理などの演算処理を行うことができかつ物品管理データベース 102と接続可能な演算手段 145とより構成される。

[0064] 以上、人の検出方法の例として、重さセンサを使う方法、タグ TGを使う方法、画像を使う方法の 3種類を説明したが、いずれの方法も人を完全に検出することが保証されたものではない。従って、より高い精度の人検出を行うために、これらの方法を組み合わせて使用したり、また、これ以外の方法を用いたり、これらの方法とこれ以外の方法とを組み合わせても力まわない。例えば、物品検出装置 101で使われる手法と人検出装置 103で使われる方法を互いに共用しても構わない。ここでは、それぞれの手段に適した方法の一例を紹介したまでであり、実際に本発明が適用される環境やコストに応じて組み合わせて使えばよい。

[0065] 《人管理データベース 104》

人管理データベース 104は、前記人検出装置 103にて検出された人の識別情報 (I D)とその人の検出場所の情報と検出時にタイマー手段 120から出力された時刻の情報 (検出時刻情報)とを、単位時間毎に、人移動履歴情報 (人管理情報)として格納する。図 11A,図 11Bは本発明の前記第 1実施形態による人管理データベース 1 04に含まれる人管理情報 (例えば、人の識別情報、位置座標とその時刻などの情報を含む人移動履歴情報）の例を表形式で示した図で、人管理データベース 104とは、これら人管理情報を集めたものである。本例ではそれぞれ図 11 Aのお父さん、図 1 1Bのお母さんに対応した人管理情報 (人移動履歴情報）が示されている。例えば図 11 Aのお父さんに関する人管理情報 (人移動履歴情報）は、

•時刻 19 : 29に「玄関」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— DataOlに格納されて、ること、

•時刻 19 : 30に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data02に格納されていること、

•時刻 22 : 29に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data03に格納されて、ること、

•時刻 22 : 30に「浴室」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data04に格納されていること、

•時刻 22 : 59に「浴室」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data05に格納されて、ること、

•時刻 23 : 00に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data06に格納されて!、ること、

•時刻 23 : 01に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data07に格納されていること、

'時刻 23 : 02に「書斎」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data08に格納されて!、ること、

'時刻 23 : 29に「書斎」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data09に格納されて、ること、

•時刻 23 : 30に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— DatalOに格納されていること、

•時刻 23 : 50に「居間」のタグリーダ TGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データ MF— Data 11に格納されて、ること、がそれぞれ記載されている。図 11Bのお母さんの例も同様であるので、説明は省略する。人移動履歴情報は、後の処理のために、人がタグリーダ TGRを通過する毎に新たに人移動履歴情報が人管理データベース 104に追加されるようにしておく。

[0066] なお、人管理情報 (人移動履歴情報）と前記の物品管理情報との違いは、人管理情報には、単位時間毎に人の検出場所と検出時刻とが検出されてそれらの情報が人移動履歴情報として含まれている点である。この人移動履歴情報とは、実際に人が移動している様子を細力べ検出し、その検出された情報 (人の識別情報と場所 (位置座標）とその時刻などの情報）が蓄積されたものであり、次に、図 12を用いて人移動履歴情報の詳細を説明する。

[0067] 図 12は人移動履歴情報の例を表形式で示したものである。説明の都合上、図 12 の例はお父さんの人移動履歴情報（図 11A)に含まれる「居間」での履歴データ MF — Data02を示しているものとする。この履歴データ MF— Data02は、お父さんが時刻 19： 30に「居間」のタグリーダ TGRを通過した後、次の時刻 22： 29に「居間」のタグリーダ TGRを通過するまでの人移動履歴情報が記載されて、る。表の各人移動履歴情報は、時刻、 X座標値、 Y座標値の 3つの要素より構成されており、時刻は記録を開始してからの経過時間、 X, Yの座標値は図 2に示した見取り図の座標系における座標値を mm単位で示したものである。例えば、この図 12の例では、お父さんが時刻 19 : 30に「居間」のタグリーダ TGRを通過した後、時刻 1において座標（5766, 23 04)に居たことがこの表に記載されている。時刻の単位は省略している力これは情報記録の間隔はシステムの能力によって異なるためであり、システムの能力などに応じて適当に（例えば 1秒間隔などと)決めればょ、。

[0068] この人移動履歴情報に、様々な処理を施すことにより、いろいろな情報を得ることができる。その例を図 13を用いて説明する。

[0069] 図 13の上側のグラフ（a)は、人移動履歴情報を参照し、連続する 2つの時刻の間（以下、これを単位時間と呼ぶ。）での移動距離を計算し、その移動距離を縦軸に、横軸に時間をとつてプロットしたグラフである。従って、この図 13の上側のグラフ（a)では、縦軸の値が大きいものは単位時間での移動量が大きぐ値が小さいものは単位時間での移動量が小さいことを表している。言い換えると、値の小さくないところが続いていると、その時間は移動していること力また、値の小さいところが続いていると、その時間は滞留して!/、る ( (家屋内にお!、て）局所に (短時間）留まる） t 、うことがわ力るわけである。例えば、図 13の上側のグラフ（a)の例では、横軸の少し上に横軸に並行して点線 Aが描かれて、るが、単位時間の移動量がこの点線 A以下の場合は、点線 A以下が続、て、る部分をひと固まりとして「滞留」と!、う定義をすると、図 13の上側のグラフ（a)の例では図示して、るように 3つの「滞留」部分 (すなわち、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」）があることが分かる。

この点線 Aの縦軸での値をいくらにするかによって、「滞留」か移動かを判定する基準が変わってくるが、一番単純な方法としては、点線 Aの縦軸での値を一定の値に固定するという方法が考えられる。しかし、人に応じて値を変更したり、また、当該人力 Sどんな物品を扱っているかに応じて変更しても構わない。例えば、検出対象者が老人の場合や、検出対象物品が重い物品や壊れやすい物品を扱っている場合には、移動距離が小さい部分が連続していても、「滞留」ではなく移動中を意味することが多ぐ誤って「滞留」と判定しないためにも、そのような人の場合やそのような物品を扱つている場合には、点線 Aの縦軸での値を、他の人又は物品の場合よりももっと小さくすることが望ましい。扱っている物品の情報は、物品検出装置及び物品管理データベースから得ることができる。また、検出対象者別に基準を変更するということは、検出対象者の通常の移動速度に応じて基準を決定するということである。即ち、通常の移動速度とある時点での移動速度との差異に着目していることにも相当する。また、人が存在する位置 (例えば部屋単位）に応じて基準の値を変更しても構わない。例えば、図 2で表されるような家全体を考えた場合、通常、廊下は移動し易いように障害物などが置かれていない場合が多いため、同じ人であっても、移動速度が大きくなり易い。居間の場合は、ソファ、テーブル、日常的に使う物品 ·小型家具などが置かれている場合が多いため、移動速度は小さくなり易い。浴室の場合は狭く滑りやすいため、さらに移動速度が小さくなる傾向がある。蓄積された人の移動履歴力部屋ごとの平均移動速度を計算し、その平均移動速度を基にして基準の値を決定することができる。なお、以上述べた、検出対象者別、検出対象物品別、部屋別の決定方法を自由に組み合わせて基準の値を決定してもよ、。

[0071] 前記人の移動履歴情報を検出して蓄積するとき、蓄積時刻間隔に比較して大きい移動速度で移動する人が局所領域にて繰り返し移動（回転、往復など)する場合、計測値における移動速度 (蓄積時刻間の移動距離)が小さくなり、誤って「滞留」と判定されることがある。図 36Aに、時刻とその時刻における人の実際の位置との関係を示すグラフ PHを示す。また、図 36Bに、時刻間隔 Atで蓄積した人の位置座標 Pを示 k す。人の移動速度は、図 36A,図 36Bにおいて、それぞれ、線の傾きで表されるが、図 36Bの線分 (P— P )は、実際の移動速度よりも小さくなつている。よって、蓄積 k k+ 1

の間隔を、予め計測しておいた人の移動速度によって決定してもよい。なお、人が局所領域にて繰り返し移動をする場合を意図的に「滞留」に含めたい場合は、蓄積間隔を大きめにすればよい。

[0072] 逆に、人が局所領域にて繰り返し移動をする場合を意図的に「滞留」に含めない場合には、蓄積間隔を小さくすればよい。例えば、日常の生活において、局所領域にて繰り返し移動をする具体的な例として、キッチンシステムの近くで、買い物してきて食品が入ったバッグ又はショッピングカートから、母と娘の二人が、食品を冷蔵庫や食品収納庫に入れたり、雑貨をテーブルなどに置いたりする場合を想定する。このような場合には、ノッグ又はショッピングカートの位置と、冷蔵庫や食品収納庫ゃテーブルとの位置の間を母と娘が繰り返し移動することになるが、このような場合を意図的に「滞留」に含めないときには、蓄積時刻間隔を十分に小さくすればよい。

[0073] また、図 13の下側の平面図（b)は、図 2の見取り図から「居間」だけを取り出した見取り図に、図 13の上側のグラフ（a)での人移動履歴情報をプロットした図である。もともと人移動履歴情報には時刻の情報が含まれているため、図 13の上側のグラフ（a) と対応付けることが可能である。本例では、図 13の上側のグラフ（a)の「滞留」部分を図 13の下側の平面図 (b)である見取り図に対応付けると (矢印付き点線を参照）、時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ 1」の近辺で滞留していることが判定できる。

[0074] なお、本図 13では、一人の移動履歴情報に関する例のみを示した力もちろん 2人以上の場合でも同様に処理すればよい。例えば図 14の上側のグラフ（a)は、 2人分のデータをプロットした図で、一人は図 13のデータと同じ実線 Bで示されており、もう一人のデータが一点鎖線 Cで示されている。この一点鎖線 Cのデータでは、最初だけ動きがあり、その後の動きが全くないことが示されてるが、それに対応した実空間での動きが図 14の下側の平面図（b)で同じく一点鎖線 Cで示されている。すなわち、この図 14の下側の平面図（b)を見てみると、一点鎖線 Cで示されるもう一人の人は、部屋に入った直後に「ソファ 2」に座って、ることから、図 14の上側のグラフ（a)の結果と対応がとれて!/ヽることが分力ゝる。

[0075] このように人が移動した人移動履歴情報を分析した結果を用いて物品の位置を絞り込む点が本発明の前記第 1実施形態の大きな特徴であり、その具体的な処理が、本発明の前記第 1実施形態の構成要素である物品存在領域推定手段 107及び物品位置候補重み付け手段 108で行われる。その詳細は後ほど説明する。

[0076] 《機器操作検出装置 105》

機器操作検出装置 105は、タイマー手段 120から出力された時刻の情報 (操作時刻情報)が入力されかつ機器操作を検出する結果、検出された各々の機器の識別情報 (ID)とその機器の操作状態の情報 (操作情報)と操作時にタイマー手段 120から出力された時刻の情報 (操作時刻情報)とを機器操作検出毎に機器管理データべース 106に出力する。ここでいう「機器」とは、物品を閉じこめる態様で収納する機能を持つものと定義し、それ以外でかつ物品ではないものを「設備」と呼ぶことにする。例えば、図 3の例では「本棚」、「冷蔵庫」が「機器」であり、また、「キッチンシステム」、「食卓」、「ソファ 1」、「ソファ 2」、「ローテーブル」が「設備」である。なお、「キッチンシステム」をさらに細力べ区分して、「キッチンシステム」の収納棚や収納庫を「機器」とし、調理台を「設備」と捉えることも可能である。

[0077] 機器操作を検出するためには様々な方法が考えられるが、本例では、簡単な接触センサ TSENを用いた方法を説明する。

[0078] 図 15A,図 15Bは、いずれも収納機能を持つ機器に対して、機器操作検出装置 1 05が設置された機器の例を示した概念図である。図 15A,図 15Bにおいて、 TSEN と示されている部分が機器操作検出装置 105の一例としてのセンサで、ここでは、接触センサ TSENを使った例を示している。具体的には、図 15Aでは、収納部に 2つのタイプの開閉式のドア 150, 151力あり、それらのドア 150と固定支持枠 153のそれぞれに接触センサ TSENが設置された様子力また、図 15Bでは収納部に引き戸式のドア 152力あり、それのドア 152側と固定枠 154側のそれぞれに接触センサ TS ENが設置された様子力それぞれ示されている。図 15A,図 15Bいずれの場合も、ドア 150, 151, 152側の接触センサ TSENと固定枠 153, 154側の接触センサ TS ENとが互いに接触する接触状態になると、収納部のドア 150, 151, 152が閉まってヽる一方、ドア 150, 151, 152佃 Jの接虫センサ TSENと固定枠 153, 154佃 Jの接虫センサ TSENが互いに離れた非接触状態になると、収納部のドア 150, 151, 152が開いている、という具合に機器の状態を知ることができ、この状態が変化したときに機器の操作が行われたとみなし、その旨が機器管理データベース 106に蓄積される。

[0079] ここでは、接触センサ TSENの例を示した力もちろんそれ以外のセンサ、例えば光学式の非接触センサを用いても良、し、センサ以外の手法を用いても構わな、。

[0080] 《機器管理データベース 106》

機器管理データベース 106は、前記機器操作検出装置 105にて検出された各々の機器の識別情報 (ID)とその機器の操作状態の情報 (操作情報)と操作時にタイマ一手段 120から出力された時刻の情報 (操作時刻情報)とを、機器操作検出毎に、機器管理情報として格納する。図 16A,図 16Bは、本発明の前記第 1実施形態にか力る前記物品検索システムの機器管理データベース 106に含まれる機器管理情報の例を表形式で示した図である。図 16A,図 16Bは機器として、「本棚」、「冷蔵庫」の例を挙げており、それぞれが独立した機器管理情報である。機器管理情報の内容としては、機器が操作された時刻の情報と、操作状態の情報 (操作情報)として開閉のいずれかの情報が記載されている。本例は最も単純な例である力図 15Aのように一つの機器に 2つ以上の機器操作検出装置 105が設置されている場合は、それぞれ独立して機器管理情報を用意すればよ！ヽ。

[0081] 《物品存在領域推定手段 107》

物品存在領域推定手段 107は、前記物品管理データベース 102に格納された物品管理情報及び人管理データベース 104に格納された人管理情報を (必要に応じて、さらに機器管理データベース 106に格納された機器管理情報をも)参照し、人の移動領域を、検索対象の物品の物品存在領域であると、推定する。物品の存在領域の推定は、「課題を解決するための手段」の欄でも述べたように、人の動きと物品の存在場所には重要な相関関係があるはずという点に着眼して行う。これを、もう少し具体化すると、次に示す 2つの原則に基づいて物品の位置が推定可能であるといえる。

[0082] (原則 1)物品は、人の移動した経路上もしくはその周辺に存在する可能性が最も高く、人の移動経路から外れれば外れるほど存在する可能性は低くなる。

[0083] (原則 2)物品を検出したい環境において、物品を検出する装置力 Sいくつか配置されている前提のもとでは、それらの装置で検出された複数の物品検出情報のうちは新、物品管理情報ほど信頼性は高、 (その物品がある可能性が高、)。

[0084] これらの原則に基づいて物品存在領域を推定する場合の処理を次に説明する。図 17は、物品存在領域推定手段 107での処理の流れを示すフローチャートである。以下、本フローチャートに従い、物品の存在領域を推定する処理の流れを説明する。

[0085] ステップ S1701において、ユーザが、位置を検出したい検出対象物品を入力装置 109で指定し、入力装置 109で指定された検出対象物品が物品存在領域推定手段 107に入力される。

[0086] 次いで、ステップ S1702において、指定された検出対象物品に基づき物品管理データベース 102の物品管理情報を物品存在領域推定手段 107が参照して、前記指定された物品が最後に検出された時刻と場所を取得する。具体的には、前記物品の物品管理情報の最後の行 (表形式の物品管理情報では最新の情報が記載されて、る行)を物品存在領域推定手段 107が参照すればよい。これは前記 (原則 2)に従つて行われる処理である。

[0087] 次いで、ステップ S1703において、物品存在領域推定手段 107により人管理データベース 104の人管理情報を参照して、前記時刻を含む所定の時間（前記時刻と同じ時間及びその前後の時間）内に、前記場所で検出されたすベての人を、前記指定された物品の取り扱いの候補者として物品存在領域推定手段 107が取得する。前記時刻と同じ時間に検出された人のみならず、その前後の時間に検出された人も含めて検索する理由は、物品検出装置 101と人検出装置 103とで検出の処理自体に時間差が出る場合や、物品と人の間に距離があることにより物品検出装置 101と人検出装置 103とでの検出処理に時間差が出る場合にも対応できるようにするためである。物品と人の間に距離が生じる例として、物品が大きいなどの理由により、手を伸ばして物品を持っていたりする例や、カートなどの運搬器具に物品を載せて運んでいたりする例が考えられる。なお、前記、所定の時間（前後の時間幅）は、物品の識別情報 (ID)や人の識別情報 (ID)により可変にしてもよい。例えば、人が老人の場合や、物品が重量が重い物品、大きさが大きい物品の場合などは、移動速度が小さくなる可能性が考えられるため、前記時間幅を大きめにするとよい。よって、本明細書及び請求の範囲では、前記人と前記物品とが前記人検出装置と前記物品検出装置とで前記物品が最後に検出された時刻を含む所定の時間、すなわち、前記物品が最後に検出された時刻と同じ時間及びその前後の時間に検出される場合のことを、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出される場合と、必要に応じて言い換えることにする。

[0088] 次いで、ステップ S1704において、前記検出されたすベての候補者について、物品存在領域推定手段 107が人管理データベース 104の人管理情報を参照して、前記時刻と人の移動とが関連付けられた人移動履歴情報を取得する。

[0089] ステップ S 1703によって得られた人移動履歴情報が示す時刻順に人の位置座標をつな、だ移動経路 (言、換えれば、人の移動領域)が物品存在領域の推定結果であり、前記 (原則 1)に従った結果となっている。なお、ステップ S1701において、位置を検出したい物品を指定するのが入力装置 109である力この入力装置 109としては、携帯端末やパーソナルコンピュータなどを使い、前記物品名を音声やキーボードによって入力するか、又は前物品リストを表示してその中から選択するなどの、従来の物品検索における入力方法を用いればよい。

[0090] 次に、図 5A,図 5Bの物品管理データベース 102及び図 11A,図 11Bの人管理データベース 104を用い、ユーザがお父さんで、検索したい検出対象物品としてジユースが指定された場合を例として、具体的に物品存在領域推定手段 107での処理が行われる様子を説明する。

[0091] ステップ S1701において、お父さんが、入力装置 109を使用して、位置を検出したい検出対象物品としてジュースを指定するように、物品存在領域推定手段 107に入力する。

[0092] 次いで、ステップ S1702において、物品管理データベース 102のジュースについての物品管理情報である図 5Bの最後の行を参照し、前記指定されたジュースが最後に検出された時刻「19： 30」と場所「居間」の情報をそれぞれ物品存在領域推定手段 107により取得する。

[0093] 次いで、ステップ S1703において、人管理データベース 103の図 11A,図 11Bの人管理情報を物品存在領域推定手段 107により参照し、前記時刻「19 : 30」を中心に所定の時間内に、「居間」で検出されたすベての人を、前記指定された物品の取り扱いの候補者として物品存在領域推定手段 107により取得する。ここでは、前記所定の時間を 3分とすると、 19 : 27から 19 : 33までの間に「居間」で検出された人を人管理データベース 104の図 11A,図 11Bの人管理情報から物品存在領域推定手段 107により検索することになり、結果として時刻「19 : 30」に場所「居間」で検出された「お父さん」だけが物品存在領域推定手段 107により取得される。

[0094] 次いで、ステップ S1704において、物品存在領域推定手段 107により、前記検出された人管理情報に対応した図 12の履歴データ「MF— Data02jを取得する。

[0095] 図 18は、このようにして得られた物品存在領域推定手段 107による物品存在領域推定の結果を表形式で示したものである。本例で取得された履歴データは一つだけであるが、当該物品を持って移動した可能性のある人が複数人居れば、それら複数人に対応する履歴データを全て取得すればょヽ。

[0096] 以上が物品存在領域推定手段 107での物品存在領域推定処理であり、これにより得た履歴データを前記環境の見取り図上に物品存在領域推定手段 107によりマツピングした結果 (例えば図 13の下側の平面図（b)の画像)などを表示装置 110にて提示するだけでも十分に役に立つ。すなわち、ユーザは画面に示された自身の過去の移動経路を見て、その経路を順にトレースする力、もしくはその経路上の近辺にある機器又は設備を見ながら、物品を探していくことができるわけである。目的の物品を探す場所が部屋全体ではなぐ自身の過去の移動経路近辺に絞り込まれるので、探す手間が非常に効率化されることが期待できる。 [0097] 一方で、本発明の前記第 1実施形態による履歴データのさらなる詳細分析結果や、機器操作などの情報を用いることで、探している物品が、自身が過去に移動した経路上のどこにある可能性が高いか、までも絞り込むこと、言い換えれば、物品位置候補の重み付け処理が可能である。以下では、その処理を行う物品位置候補重み付け手段 108について詳細に説明する。

[0098] 《物品位置候補重み付け手段 108》

物品位置候補重み付け手段 108は、前記物品管理データベース 102に格納された物品管理情報又は人管理データベース 104に格納された人管理情報又は機器管理データベース 106に格納された機器管理情報を参照して、前記物品存在領域推定手段 107によって推定された複数の前記物品存在領域に対して、前記物品の存在する可能性の高、物品存在領域の重みが高くなるように重み付けを行う。言、換えると、直前で説明した物品存在領域推定手段 107によって物品の位置をある程度絞り込んだ中から、さらに存在の可能性が高い物品存在領域を絞り込むこととも言える。本発明の前記第 1実施形態では、この物品存在可能性の高い低いを行うことを「物品位置候補の重み付け」と呼ぶことにする。この重み付けにあたっては色々な方法が考えられるが、前記 (原則 1)、すなわち、人の動きと物品の位置とに関連性があるという考え方をさらに踏み込んで考えると、 2つの適当な絞り込みの方法が考えられる。一つ目の絞り込みの方法は、物品を人が置いたり取ったりするときには、人の移動速度は低下もしくはゼロになるという一般的な観察結果から、この結果を活用する方法である。もう一つの絞り込みの方法は、同じく物品を人が置いたり取ったりするときには、前記物品を格納する（又はしていた)機器の操作を行うことが多いため、この機器の操作情報 (例えば、操作の有無の情報）を活用する方法である。これら 2つの方法と本発明の前記第 1実施形態との関連付けは、前者は本発明の第 3態様に、後者は本発明の第 8態様にそれぞれ対応している。

[0099] 以下で、これら各方法の処理例を順に説明する。

[0100] 一つ目の方法は、人がゆっくり動いていればいるほど (極端な場合止まっていれば

)、そこで物品を扱って、る可能性が高、とする考えに基づ、て、る。

[0101] この考えに基づき、図 19は、物品位置候補重み付け手段 108による、人の移動速度を用いて重み付けを行う処理をフローチャートの形式で示した図である。

[0102] ステップ S1901において、検索対象物品を取り扱った人の履歴データは物品存在領域推定手段 107で得ることができるので、前記履歴データを使って前記人の移動速度を物品位置候補重み付け手段 108により計算する。移動速度の計算は、例えば図 12の例の履歴データでは各時刻の位置座標値力も単位時間に移動した距離が計算できるため、この距離を単位時間で物品位置候補重み付け手段 108により割ることにより、簡単に求めることができる。

[0103] 次いで、ステップ S1902において、物品位置候補重み付け手段 108により求められた移動速度が、所定値 (しき、値)以下の場所群を人の滞留状態として物品位置候補重み付け手段 108により抽出し、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 1 02内に重み付けリストとして登録する。

[0104] 次いで、ステップ S1903において、物品位置候補重み付け手段 108により、前記重み付けリストから場所を、まず、一つ選ぶ。

[0105] 次いで、ステップ S1904において、物品位置候補重み付け手段 108により、ステツプ S 1903で選んだ場所において、

•当該場所での平均移動速度と、

•当該場所の中心位置座標と、

の 2項目を物品位置候補重み付け手段 108により計算する。中心位置座標の計算としては、物品位置候補重み付け手段 108により、前記しきい値以下の滞留状態中の位置座標の例えば平均を求めるなどすればよい。一つ目の平均移動速度は重み付けの指標に、また、もう一つの中心位置座標は、ユーザに物品の場所を提示する時に、それぞれ用いる。前記計算結果は、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データべース 102内の前記重み付けリストに登録する。

[0106] 次いで、ステップ S1905において、ステップ S1902で抽出した各々の場所について、ステップ S 1904をまだ行っていない場所があれば、ステップ S 1906に進み、ステップ S 1904をまだ行って!/、な!/、場所が無ければステップ S 1907に進む。 [0107] ステップ S1906においては、ステップ S1902で抽出した各々の場所について、ステツプ S 1904をまだ行って!/、な!/、場所を前記リストから一つ選び、ステップ S 1904を繰り返したのち、ステップ S1905に進む。

[0108] 一方、ステップ S1907においては、ステップ S1902で抽出された全ての場所について、ステップ S 1904で計算された平均移動速度の低い方から、優先順位を高ぐ物品位置候補重み付け手段 108により、重み付けをする。これは、人がゆっくり動いてヽれば、るほど (極端な場合止まって!/、れば）、そこで物品を扱って、る可能性が高いとする考えに基づいている。前記重み付け結果は、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストに登録する。

[0109] 次に、具体例によって処理を説明する。例としてここでは物品「ジュース」を検索するという前提で、物品存在領域推定手段 107での物品存在領域推定処理にて図 12 の履歴データ MF— Data02を得て、物品位置候補重み付け手段 108での物品位置候補重み付け処理を行う様子を取り上げる。

[0110] ステップ S1901において、人の履歴データ MF— Data02から、前記人の移動速度を物品位置候補重み付け手段 108により計算する。その計算結果が示されたのが前述のグラフ（図 13の上側のグラフ（a) )である。

[0111] 次いで、ステップ S1902において、物品位置候補重み付け手段 108により求められた移動速度が所定値 (しき、値)以下の場所群を人の滞留状態として物品位置候補重み付け手段 108により抽出し、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102 内に重み付けリストとして登録する。本例では、図 13の上側のグラフ（a)から 3つの滞留部分があることが判定できる。これらは見取り図にプロットした図 13の下側の平面図 (b)と関連付けると、それぞれ時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ 1」の近辺で滞留していることが判定できるので、便宜的にここでは、各滞留状態を、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」と呼ぶ。

[0112] 次いで、ステップ S1903〜ステップ S1906の処理によって、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」の滞留状態での、

，平均移動速度と、

'中心位置座標と、

の 2項目をそれぞれ物品位置候補重み付け手段 108により計算する。前記計算結果は、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストに登録する。

[0113] 次いで、ステップ S1907において、前記計算結果により、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」の重み付けが物品位置候補重み付け手段 108により行われる。

[0114] 図 20は、このようにして得られた物品位置候補重み付けの結果を表形式で示したものである。表は、抽出された 3つの滞留状態に対して、左から順に、

•当該場所での平均移動速度と、

•当該場所の中心位置座標 (本例では、その座標が部屋のどの場所かを示す場所名を付記)と、

•重み付け結果 (順位を表して、る）と、

からなつており、それぞれ図 19のステップ S 1904、ステップ S1907の結果力物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストに格納されている。

[0115] なお、重み付けを行うための情報として、併せて人の滞留時間を利用してもよい。これは、人が物品を置いたり取ったりするときには、人の移動速度が低下もしくはゼロになるという知見の他に、物品の取扱にはある程度の時間が力かるという知見も利用するものである。例えば、平均移動速度が最小の場合でも、その滞留状態が持続する時間がわずかである場合は、物品の取扱が行われな力つた可能性が高いとして、候補順位力も外してもよい。この滞留時間に対するしきい値は、物品の取扱者 (検出対象者)や取り扱う物品 (検出対象物品）の ID、場所に応じて決定することができる。例えば取扱者が老人の場合や、取り扱う物品が重い物又は壊れ易い物の場合は、物品の取扱時間が長くなることが予想されるので、しきい値を大きめにする。また、扉付きの収納機器がある場所では、扉の開閉にも時間を要するため、滞留の時間が長くなることが予想される。その場合もしきい値を大きめにする。一方、滞留の時間が長 V、場合は (ソファなどでの滞留の時間が長、場合)、取扱者が休息して、る可能性が考えられるため、特に情報として利用しなくてもよい。

[0116] また、取扱者の滞留の前後での平均移動速度の差に応じても重み付けを行うことができる。重量が重い物品、壊れ易い物品、又は、液体の入った容器などを取扱者が持っている場合、取扱者の移動速度が低下する場合が多い。よって、滞留前の所定の時間帯における平均移動速度よりも、滞留後の所定の時間帯における平均移動速度が大きければ、持ち運んでいた物品を取扱者が手放した可能性が大きいと考えることができる。この考えを利用して物品位置候補重み付け手段 108により行うァルゴリズムを、図 37のフローチャートを用いて説明する。

[0117] ステップ S3701〜S3704の処理は、物品位置候補重み付け手段 108による、図 1 9におけるステップ S 1901〜S 1904の処理とそれぞれ同様であるため、説明を省略する。

[0118] ステップ S3705では、物品位置候補重み付け手段 108により、当該場所の直前及び直後の所定時間帯における平均移動速度 V , V を計算する。ステップ 3705で

bef aft

の処理結果を、横軸：時刻，縦軸:移動速度のグラフ上で見ると、図 38のようになる。図 38は、取扱者の一例として、ある人物における、時刻に対する移動速度の変化のグラフ VHを表している。移動速度のしきい値 TH以下の時刻に対応する移動履歴データが「滞留」と、物品位置候補重み付け手段 108により判定されている。ここで、物品位置候補重み付け手段 108により、滞留の直前及び直後における所定時間帯を決定する時間幅として滞留時間の長さを用いている。もちろん、予め定めた所定の値でもよい。

[0119] ステップ S3706では、ステップ S3702で抽出した各々の場所について、物品位置候補重み付け手段 108によるステップ S3704及び S3705をまだ実行していない場所があれば、ステップ S3707に進み、実行していない場所が無ければステップ S370 8に進む。 [0120] ステップ S3707では、物品位置候補重み付け手段 108が、ステップ S3702で抽出した各々の場所について、ステップ S3704及び S3705をまだ行っていない場所を前記リス卜力も一つ選び、ステップ S3704及び S3705を繰り返した後、ステップ S3706 に進む。

[0121] ステップ S3708では、ステップ S3702で抽出した各々の場所について、（V — V

aft bef

)の値が大きいほうから優先順位を高ぐ物品位置候補重み付け手段 108により、重み付けをする。

[0122] なお、業務用などで物品を急いで運ぶ必要がある場合は、物品を置いた後の方が移動速度が小さくなることもある。このような場合にも対応しょうとすれば、（V — V )

aft bef の絶対値を物品位置候補重み付け手段 108により計算すればよい。

[0123] なお、これまで説明した、平均移動速度、滞留時間、滞留時間前後での平均移動速度の差、の 2つ以上を組み合わせて用いることも可能である。滞留時間は、先に述ベたように滞留時間がしき!、値 TH未満であれば、候補順位から外すことにより用いることができる。また、平均移動速度と、滞留時間前後での平均移動速度の差とを組み合わせて用いる場合は、例えば、次の（数 1)のような評価式を用いることにより、評価値 Sが大きい順に候補順位を物品位置候補重み付け手段 108により設定することで実現できる。

[0124] [数 1] 丄 + ^— /

[0125] ここで、 V：平均移動速度、 V ：滞留時間後の平均移動速度、 V ：滞留時間前の平

aft bef

均移動速度 α、 j8は重み係数である。ひ、 j8は事前実験により予め定めておくものとする。

[0126] なお、複数の人物が取扱者として存在する場合、複数の人物間で取扱物品の受け渡しを行う可能性がある。本発明はこの場合についても対処可能である。図 39A及び図 39Bを利用して、物品の受け渡しを行う場合について説明する。

[0127] 図 39Aのグラフは、取扱者の例として 2人の人物 Hl、 H2の移動速度の時間変化を示している。人物 HIはステップ S1703にて検索対象物品の取扱候補者として選択された人物、人物 H2は前記ステップ S1703にて検索対象物品の取扱候補者として選択されな力つた人物であるとする。 THは滞留である力否かを物品位置候補重み付け手段 108により判定するための移動速度に関するしきい値であり、人物 HI, H2 共に、しきい値 TH以下の移動速度で、ある時刻で滞留していると物品位置候補重み付け手段 108により判定することができる。図 39Bは、 2人の人物 HI, H2の移動経路を部屋の見取り図上に重ねて表示したものであり、図 39Aの滞留時刻では、 2 人の人物 HI, H2共に図 39Bのソファ 1の近辺に存在していることが物品位置候補重み付け手段 108により判定される。即ち、人物 HIと H2は同一時刻及び同一場所において滞留しており、この時、物品の受け渡しが発生した可能性がある、と物品位置候補重み付け手段 108により判定する。人物 HIは検出対象物品の取扱候補者であるので、人物 HIから H2へ受け渡しが発生した可能性がある、と物品位置候補重み付け手段 108により判定する。人物 H2が取扱候補者でな、場合は新たに取扱候補者に準じた扱いをする必要があり、人物 H2の受け渡し発生以降の移動経路においても、検索対象物品の存在の可能性がある、と物品位置候補重み付け手段 108により判定するものである。

[0128] 以下、図 40のフローチャート及び図 41のデータを利用して、受け渡しの可能性を考慮した物品存在領域推定手段 107での処理について説明する。なお、特に明記しな、場合、各ステップの動作主体は物品存在領域推定手段 107である。

[0129] 《物品存在領域推定手段 107》

ステップ S4001からステップ S4003までの処理は、ステップ S1701からステップ S1 703までの処理と同様である。ステップ S4001において、ユーザが、位置を検出したい検出対象物品を入力装置 109で指定し、入力装置 109で指定された検索対象物品が物品存在領域推定手段 107に入力される。

[0130] 次いで、ステップ S4002において、物品存在領域推定手段 107は、指定された検索対象物品に基づき物品管理データベース 102の物品管理情報を参照して、前記指定された物品が最後に検出された時刻と場所 (部屋内の位置)を取得する。図 41 は、前記指定された物品が最後に検出された場所における検出結果を時系列で表現して、るものであり、前記指定された物品が最後に検出された時刻が Txであることを示している。

[0131] 次いで、ステップ S4003において、物品存在領域推定手段 107は、人管理データベース 104の人管理情報を参照して、前記時刻 Txを含む所定の時間帯 TZ1内に、前記場所で検出された全ての人を、前記指定された物品の取り扱いの候補者 (以下、取扱候補者）として取得する。図 41では、人物 Η3 (検出対象の部屋に時刻 T1に入室。）と人物 Η4 (当該部屋に時刻 Τ2に入室。）が、物品の取扱候補者として取得される。

[0132] 次いで、ステップ S4004では、物品存在領域推定手段 107は、人管理データべ一ス 104の人管理情報を参照して、ステップ S4003で取得された候補者 (人物 Η3、人物 Η4)力ステップ S4002で取得された場所で 1度目（即ち入室時）に検出された時刻（時間帯 TZ1内)から 2度目（即ち退出時）に検出された時刻までの間に前記場所で検出された全ての人を、物品の受け渡しを受けた候補者 (以下、受渡候補者)として取得し、受渡候補者リストを作成する。図 41では、物品存在領域推定手段 107は、時間帯 TZ1の間に検出された候補者 (人物 Η3、人物 Η4)のうち人物 Η3が最後に退出した時刻 Τ5までの時間帯 ΤΖ2の間に、検出された人物 Η5 (入室及び退室は問わない。）を物品の受渡候補者として取得し、受渡候補者リストに入れることになる。

[0133] 次いで、ステップ S4005では、物品存在領域推定手段 107は、ステップ S4003で取得された取扱候補者の全て、及び、ステップ S4004で取得された受渡候補者の全てについて、人管理データベース 104の人管理情報 (人移動履歴情報)を参照して、前記時刻と人の移動とが関連づけられた人移動履歴情報 (履歴データ）を取得する。

[0134] 次!、で、ステップ S4006では、ステップ S4005で取得された取扱候補者の履歴データから、前記人 (取扱候補者)の移動速度を物品存在領域推定手段 107により計算する。移動速度の計算は、ステップ S1901での処理と同様であるため説明を省略する。

[0135] 次、で、ステップ S4007では、物品存在領域推定手段 107は、前記取扱候補者の移動速度が所定以下である（時刻，場所)の組み合わせデータを、滞留点として滞留点リストに登録する。図 12で表される人移動履歴データの場合、前記滞留点リストの要素 (言い換えれば、移動履歴情報の要素）は（時刻， X座標値， Y座標値)の 3次元データとなる。

[0136] 次!、で、ステップ S4008では、物品存在領域推定手段 107は、ステップ S4004で作成された受渡候補者リストから候補者を 1人選択する。

[0137] 次いで、ステップ S4009では、物品存在領域推定手段 107は、ステップ S4008で選択された候補者について、ステップ S4005で取得された履歴データを参照し、前記人 (選択された候補者)の移動速度を計算する。移動速度の計算は、ステップ S19 01での処理と同様であるため説明を省略する。

[0138] 次、で、ステップ S4010では、物品存在領域推定手段 107は、前記候補者の移動速度が所定以下である（時刻，場所)の組み合わせデータを滞留点として全て抽出し、前記滞留点の各々を前記滞留点リストに登録された滞留点の各々と比較する。この比較においては、同時刻における場所同士が所定の距離以内であるかどうかの判定を物品存在領域推定手段 107により行い、同時刻における場所同士が所定の距離以内であるものがある場合は、ステップ S4011に進む。同時刻における場所同士が所定の距離以内であるものがなければ、ステップ S4012に進む。なお、前記所定の距離、すなわち、距離のしきい値としては、人物間が物品の受け渡しを行える距離か否かを判定基準にして決定することができる。例えば、人が物品を受け渡しするときに腕を伸ばしたりすることから、人の腕の長さを基準にすることができる。人の腕の平均的な長さを使用することもできるし、人検出装置 103により人の IDが取得されている場合には、取得された IDを基に人管理データベース 104に格納されている人の腕の長さなどを基にして決定することもできる。勿論、人の位置のセンシング結果に誤差が重畳されている可能性もあるため、誤差を考慮して前記しきい値を決定すればよい。以上は、移動履歴を記録する際の時刻が、複数の人物間で同期している場合について説明を行ったが、同期していない場合は、時刻差が所定のしきい値 (時刻が同時的であるとみなせる範囲）内であるデータ同士を比較すればよい。

[0139] ステップ S4011では、物品存在領域推定手段 107は、選択された候補者の履歴データについて、滞留点リストに登録された滞留点と比較して、同時刻における場所同士が所定の距離以内である滞留点が複数存在する場合は、最も時刻が早い滞留点以前の履歴データ全てに不使用フラグを付与する。これは、受渡候補者の履歴データについて、受け渡しが発生した可能性のある時刻以前の場所には検索対象物品は存在し得な、と、う知見を物品存在領域推定処理に反映させたものである。その後、ステップ S4013に進む。

[0140] ステップ S4012では、物品存在領域推定手段 107は、受渡候補者リストから現在選択されている候補者を削除する。これは、現在選択されている候補者の履歴データが取扱候補者の履歴データと場所及び時間の重複を持たな、ため、物品の受渡が発生しないという知見を物品存在領域推定処理に反映させたものである。その後、ステップ S4013に進む。

[0141] 次いで、ステップ S4013では、物品存在領域推定手段 107は、候補者リストに登録された全員について、 S4010の処理を終了したか否かのチェックを行う。 Yesの場合 (S4010の処理を終了した場合）は、本物品存在領域推定処理を終了し、 Noの場合 (S4010の処理を終了していない場合）は、ステップ S4014に進む。

[0142] ステップ S4014では、物品存在領域推定手段 107は、受渡候補者リストに登録された各々の人について、ステップ S4010の処理が未だの人を受渡候補者リストから 1 人選択し、ステップ S4009に戻る。

[0143] 以上が、物品の受け渡しを考慮した場合の、物品存在領域推定手段 107での物品存在領域推定処理であり、これにより得た、取扱候補者及び受渡候補者の履歴データを前記環境の見取り図上に物品存在領域推定手段 107によりマッピングした結果などを表示装置 110にて提示することで、ユーザが移動経路 (言い換えれば、人の移動領域)沿いの近辺について、検出対象物品を探すことができる。

[0144] 図 42A、図 42B、図 42Cに、前記物品存在領域推定処理に用いるデータと表示結果の例を示す。図 42Aは、 2名の人物 HI, H2の移動速度の変化を表したデータ（図 42Aの実線は人物 HIのデータ、点線は人物 H2のデータ）である。人物 HIは、ステツプ S4003にて物品の取扱候補者として選択された人物であり、人物 H2は、ステップ S4003にて物品の取扱候補者として選択されな力つた人物である力ステップ S 4004にて受渡候補者として選択された人物である。 THは滞留力どうかを物品位置候補重み付け手段 108により判定するための移動速度に関するしきい値であり、図 4 2Aにお、て、時間帯 T、 T 、 T に含まれるデータがそれぞれ滞留点であると物

j j+ l j+2

品位置候補重み付け手段 108により判定されている。時間帯 Tにおけるデータは、人物 HI及び人物 H2の両方が滞留点を含んでいる。時間帯 T におけるデータは、

j+ i

人物 HIのみが滞留点を含んでいる。時間帯 T におけるデータは、人物 H2のみが

j + 2

滞留点を含んでいる。また、図 42Bは、同じく 2名の人物 HI, H2の移動軌跡データを部屋の見取り図に重ねて表現した図である。時間帯 Tに対応する人物 HIの移動軌跡（図 42Bの実線）、及び、人物 H2の移動軌跡（図 42Bの点線）は共に場所群 P を通過しており、時間帯 T に対応する人物 HIの移動軌跡は場所群 Qを通過して

j + i

おり、時間帯 T に対応する人物 H2の移動軌跡は場所群 Rを通過している。ステツ

j + 2

プ S4010において、場所群 Pに含まれる、同時刻に対応する、人物 HI及び H2の滞留点が、互いに所定内の距離であると物品存在領域推定手段 107により判定された場合、人物 H2の移動履歴データに関しても、物品が存在する可能性があるとして最終的に物品存在領域推定手段 107により選択される。最終的に、表示装置 110に提示される移動軌跡は、図 42Cのようになる。ここで、人物 H2の移動履歴データにおける時間帯 T以前のデータに関しては不使用フラグが物品存在領域推定手段 107 により付与されるため、表示装置 110での表示からは除外される。このように、受渡候補者の履歴データにおいて不使用フラグが付与されているデータに関しては、表示装置 110にお、て非表示とすることで、物品の存在の可能性がな!、領域をユーザに提示するのを避けることができる。

[0145] 以上のように、受け渡しを考慮することで、物品の受け渡しを受けた可能性がある人物の移動経路 (言い換えれば、人の移動領域)も同時に表示されるので、受け渡しを受けた他人の移動経路 (言い換えれば、他人の移動領域)も探すことができる。

[0146] 同様にして、受け渡しの可能性を考慮した物品位置候補の重み付けも行うことができる。以下、図 43のフローチャートを利用して、受け渡しの可能性を考慮した物品位置候補重み付け手段 108での重み付け処理について説明する。なお、特に明記しな、場合、各ステップの動作主体は物品位置候補重み付け手段 108である。

[0147] 《物品位置候補重み付け手段 108》

まず、ステップ S4301において、物品位置候補重み付け手段 108は、物品存在領域推定手段 107 (図 40のフローチャート)で取得した、取扱候補者の滞留点データ、及び、受渡候補者の滞留点データ (不使用フラグが付与されているものを除外)を用意し、同一人のデータであり、かつ、場所及び時刻が近接しているデータ集合を、滞留状態として重み付けリストに登録する。重み付けリストは、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内に設ける。場所及び時刻が近接している力否かの判定には、例えば、場所同士の距離が所定のしきい値内であるかどうか、及び、時刻同士の時間差が所定のしきい値内であるかどうかを利用すればよい。

[0148] 次いで、ステップ S4302において、物品位置候補重み付け手段 108は、前記重み付けリストから滞留状態を、まず、一つ選ぶ。

[0149] 次いで、ステップ S4303において、物品位置候補重み付け手段 108は、ステップ S 4302で選んだ滞留状態にぉ、て、

•当該滞留状態での平均移動速度と、

•当該滞留状態の中心位置座標と、

の 2項目を計算する。中心位置座標の計算としては、前記しきい値以下の滞留状態中の位置座標の例えば平均を物品位置候補重み付け手段 108により求めるなどすればよい。一つ目の平均移動速度は重み付けの指標に、また、もう一つの中心位置座標は、ユーザに物品の場所を提示する時に、それぞれ用いる。前記計算結果は、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データべース 102内の前記重み付けリストに登録する。

[0150] 次いで、ステップ S4304において、物品位置候補重み付け手段 108は、前記重み付けリストに登録された各々の滞留状態について、ステップ S4303をまだ行っていない滞留状態があれば、ステップ S4305に進み、ステップ S4303をまだ行っていない滞留状態が無ければ、ステップ S4306に進む。

[0151] ステップ S4305においては、物品位置候補重み付け手段 108は、前記重み付けリストに登録された各々の滞留状態について、ステップ S4303をまだ行っていない滞留状態を前記重み付けリストから一つ選び、ステップ S4303に戻る。

[0152] 一方、ステップ S4306においては、物品位置候補重み付け手段 108により、前記重み付けリストに登録された全ての滞留状態ついて、ステップ S4303で計算された平均移動速度の低い方から、優先順位が高くなるように重み付けを行う。これは、人がゆっくり動いていればいるほど (極端な場合、人が止まっていれば）、そこで人が物品を扱っている可能性が高いとする考えに基づいている。前記重み付け結果は、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストに登録される。

[0153] 図 44A、図 44B、図 44Cに、前記受け渡しの可能性を考慮した物品位置候補重み付け手段 108での重み付け処理に用いるデータと表示結果の例を示す。図 44A、図 44Bはそれぞれ図 42A、図 42Bと同一である。図 44Cは、ステップ S4306での処理を実行したことにより求められた優先順位を、対応する場所に表示したものである。この場合、ステップ S4306の優先順位の重み付けの結果として、「場所群 Pでの平均移動速度 <場所群 Rでの平均移動速度 <場所群 Qでの平均移動速度」であることから、優先順位が最も高いのは場所群 Pであり、次いで、場所群 R、場所群 Qの順であることがわ力る。物品の受け渡しを考慮しない場合は、物品が存在する可能性がある場所として、物品の取扱候補者である人物 HIの移動履歴上の場所群 P, Q付近しか選ばれない（場所群 Rは、人物 HIの移動履歴上に無いため選ばれない）が、物品の受け渡しを考慮した場合は、物品の受渡候補者である人物 H2の移動履歴上の場所群 R付近も選択される (場所群 Rは、人物 HIの移動履歴上に無いが、場所群 Rの付近を人物 HIが移動しているため選ばれる）ことになる。

[0154] 以上が、物品の受け渡しを考慮した場合の、物品位置候補重み付け手段 108での物品存在領域推定処理である。これにより得た物品存在領域を前記環境の見取り図上に物品存在領域推定手段 107によりマッピングした結果 (例えば図 44C)などを、表示装置 110にて提示することで、ユーザが、自分が移動した経路上の候補場所だけでなく受け渡しが行われた可能性がある人の経路上の候補場所についても物品を探すことができる。

[0155] 最初に物品を取り扱つていた本人力途中で他の人物に物品を渡したことを失念した場合でも、以上の処理を行うことにより、受け渡しを受けた可能性のある人物の移動軌跡上の場所においても物品の存在場所の候補として提示することが可能である [0156] なお、重量の大きい物品や壊れ易い物品などを持ち運んでいる場合には、何も持ち運んでいない場合に比べて、人の移動速度が低下することが多い。このことを利用して、人物間の物品の受け渡しがどれくらいの確力もしさで行われたかどうかの評価を行い、ステップ S4306での物品位置候補重み付け手段 108による重み付けに反映させることちでさる。

[0157] 例えば、図 45A、図 45B、図 45Cのような、 2人の人物 Hl、 H2の移動履歴を考慮する。人物 HIは取扱候補者、人物 H2は受渡候補者である。図 45Aは、 2人の人物 HI, H2の移動速度の時間変化を表したデータ（図 45Aの実線は人物 HIのデータ、点線は人物 H2のデータ）を示している。ここで、 THは滞留と物品位置候補重み付け手段 108により判定するための移動速度に関するしきい値である。時間帯 S2, S4 , S5が滞留状態であると物品位置候補重み付け手段 108により判定される。時間帯 Sl、 S3については後述する。図 45Bは、図 45Aのグラフを基にして、時間帯 S1〜S 5における人物 HI, H2の平均移動速度 V , V を物品位置候補重み付け手段 10

HI H2

8によりそれぞれ求め、それを表にしたものである。図 45Cは、 2人の人物 HI, H2の移動軌跡を部屋の見取り図上に重ねて表示したものである。時間帯 S2における、人物 HI, H2の場所が、共通に場所群 Pに対応していることが物品位置候補重み付け手段 108により判定できる。 2人物間で、その時刻及び場所においてそれぞれ重複のある滞留状態である時間帯 S2が存在するので、滞留状態である時間帯 S2にて人物 HIから人物 H2へ受け渡しが行われた可能性があることが物品位置候補重み付け手段 108により判定できる。

[0158] ここで、共通の滞留状態である時間帯 S2の前後における、人物 HI, H2それぞれの移動速度の変化について注目する。図 45Aから、人物 HIに関しては、滞留状態である時間帯 S2より前の移動速度と比較して、滞留状態である時間帯 S2より後の移動速度が増力 tlしており、人物 H2に関しては、滞留状態である時間帯 S2より前の移動速度と比較して、滞留状態である時間帯 S2より後の移動速度が減少していることが判定できる。本処理はこの事実も利用して、人物 HIから人物 H2への物品の受け渡しが行われた可能性が大き!/、と、うことを利用するものである。 [0159] また、重量の大きい物品や壊れ易い物品などを持ち運んでいる場合のみ、このような速度変化が生じると考えれば、物品検出装置 101で検出された物品 ID及び物品管理データベース 102に格納された物品情報 (例えば重量や壊れ易さなどの付帯情報）を利用してもよい。即ち、重量が大きい物品や壊れ易い物品の場合のみ以下の処理を実行することも可能である。

[0160] 以下、図 46のフローチャートを利用して、物品位置候補重み付け手段 108による、滞留状態前後の移動速度変化を重み付けに反映する処理について説明を行う。なお、特に明記しない場合、各ステップの動作主体は物品位置候補重み付け手段 10 8である。

[0161] まず、ステップ S4601にて、物品位置候補重み付け手段 108は、物品存在領域推定手段 107 (図 40のフローチャート）で取得した、取扱候補者の滞留点データ、及び、受渡候補者の滞留点データ (不使用フラグが付与されているものを除外)を用意し、同一人のデータであり、かつ、場所及び時刻が近接しているデータ集合を、滞留状態として、物品位置候補重み付け手段 108により、重み付けリストに登録する。この処理は、図 43のフローチャートにおけるステップ S4301における処理と同様であるため、説明を省略する。

[0162] 次に、ステップ S4602にて、 S4601で取得した滞留点データに対応する取扱候補者、受渡候補者全員の履歴データを物品位置候補重み付け手段 108により取得する。履歴データの取得に関しては、図 40のフローチャートにおけるステップ S4005と同様であるため、説明を省略する。

[0163] 次に、ステップ S4603にて、物品位置候補重み付け手段 108により、ステップ 460 1で作成した重み付けリストから滞留状態を 1つ選ぶ。本処理は、図 43のフローチヤートにおけるステップ S4302と同様であるため説明を省略する。

[0164] 次に、ステップ S4604において、物品位置候補重み付け手段 108により、ステップ S4603で選択された滞留状態について、

，当該滞留状態での平均移動速度、及び、

•当該滞留状態の中心位置座標 (人の滞留位置座標）

を計算する。本処理は、図 43のフローチャートにおけるステップ S4303と同様であるため説明を省略する。

[0165] 次に、ステップ S4605において、選択されている滞留状態が、取扱候補者と受渡候補者において共通のものであるか否かを、物品位置候補重み付け手段 108により判定する。この判定に際しては、両滞留状態に含まれる滞留点が、図 40のフローチヤートにおけるステップ S4010で用いた判定基準を満たす力どうかを利用することができる。取扱候補者と受渡候補者にぉ、て共通であると物品位置候補重み付け手段 108により判定された場合は、ステップ S4606に進み、共通でないと判定された場合 ίま、ステップ S4607に進む。

[0166] ステップ S4606では、物品位置候補重み付け手段 108により、取扱候補者及び受渡候補者の履歴データにおける、滞留状態である時間帯の時間的前後にお、て、平均移動速度を計算する。例えば、図 45Αの履歴データ (移動速度の時間変化）において、人物 HI及び人物 Η2の履歴データに関して、共通の滞留状態である時間帯 S2の長さと同じ長さの分だけ、時間帯 S2の以前に時間帯 S1を、時間帯 S2の以後に時間帯 S3を、物品位置候補重み付け手段 108により、それぞれ設定する。これらの時間帯の長さは、共通である滞留状態の時間帯 S2の長さではなぐ予め定めた所定の値でもよい。次に、前記設定された時間帯 S1及び S3における、取扱候補者及び受渡候補者全員（図 45Aでは人物 HI及び H2)の平均移動速度を物品位置候補重み付け手段 108により計算する。計算された結果は、図 45Bの V 、V 、

HI, SI H2, SI

V 、V になったとする。即ち、人物 HIにおける、滞留状態である時間帯 S2

HI, S3 H2, S3

の直前及び直後の所定時間帯 SI, S3における平均移動速度が、それぞれ V ,

HI, SI

V のように物品位置候補重み付け手段 108により計算され、同様に、人物 H2に

HI, S3

おける、滞留状態である時間帯 S2の直前及び直後の所定時間帯 S1, S3における平均移動速度が、それぞれ V , V のように物品位置候補重み付け手段 108

H2, SI H2, S3

により、計算されている。その後、ステップ S4607に進む。

[0167] ステップ S4607では、前記重み付けリストに登録された各々の滞留状態について、 S4604の処理を終了したか否かについて判定を物品位置候補重み付け手段 108により行う。 S4604の処理力終了して!/ヽる場合 ίまステップ S4609に進み、 S4604の処理が終了して、な、場合はステップ S4608に進む。 [0168] ステップ S4608では、物品位置候補重み付け手段 108により、前記重み付けリストに登録された各々の滞留状態について、 S4604の処理が未だの滞留状態を前記重み付けリストから 1つ選択して、ステップ S4604に戻る。

[0169] ステップ S4609では、物品位置候補重み付け手段 108により、前記重み付けリストに登録された各々の滞留状態について、平均移動速度、及び、共通の滞留状態前後の平均移動速度を利用して、重み付けを行う。先に説明した、図 43におけるステツプ S4306では、取扱候補者、受渡候補者の区別無ぐ平均移動速度の小さい方から順位付けをしている。ここでは、平均移動速度に加えて、受け渡しの可能性を考慮した順位付けを行うものである。

[0170] 人物 HIについての滞留状態である時間帯 S2, S4における平均移動速度がそれぞれ V , V であり、人物 H2についての滞留状態である時間帯 S2, S5にお

HI, S2 HI, S4

ける平均移動速度がそれぞれ V , V である時、共通の滞留状態である時間

H2, S2 H2, S5

帯 S 2にお、て、物品の取扱候補者である人物 H 1から物品の受渡候補者である人物 H2へ物品の受け渡しが行われた可能性を、評価値 Z= (V -V ) + (V

HI, S3 HI, SI H2

-V )の式を使用して物品位置候補重み付け手段 108により評価する。即ち

， SI H2, S3

、人物 HIにつ、ては滞留後の平均移動速度が滞留前の平均移動速度に比べて大きぐ人物 H2については滞留前の平均移動速度が滞留後の平均移動速度に比べて大きいならば、人物 HIから人物 H2へ物品の受け渡しが行われた可能性が大きいと、物品位置候補重み付け手段 108により判定するわけである。人物 HIと H2に関して共通の滞留状態である時間帯 S2以後の各人物の滞留状態（図 45Aの場合、人物 HIの滞留状態である時間帯 S4と、人物 H2の滞留状態である時間帯 S5)について、この評価値 Zを物品位置候補重み付け手段 108により反映させる。具体的には、共通の滞留状態である時間帯 S2後の、ある滞留状態における平均移動速度 Vに対し、取扱候補者である人物 HIは人物 H2に物品を受け渡した可能性があるために、 [数 2] スコア丄

V 力も評価値 Zの定数 a倍を物品位置候補重み付け手段 108により減じる。受渡候補者である人物 H2は人物 HIから物品を受け取った可能性があるために、

[数 3] スコア丄

V

に評価値 Zの定数 y倍を物品位置候補重み付け手段 108により加算する。よって、物品の存在領域候補である滞留状態である時間帯 S2、 S4、 S5の 3状態についてのスコアはそれぞれ、

画

― ~_ γ τ ~ _ γ Ζ , —^— + γ Ζ

V V V となり、このスコア順に物品の存在可能性の順位付けを物品位置候補重み付け手段

108により行う。ここで、人物 Hl、 H2に対して共通の滞留状態である S2に関しては、物品取扱者である HIの平均移動速度 V を用いてスコアを物品位置候補重み

HI, S2

付け手段 108により計算している。もちろん、物品受渡者である H2の平均移動速度 V も併せて用い、例えば、滞留状態である時間帯 S2のスコアとして、

H2, S2

[数 5]

7 "—— ΧΓ~ ^{γ Ζ} を用いてもよい。

[0171] 以上の処理を用いることで、単に滞留状態における平均移動速度だけでなぐ物品の受渡可能性も考慮した順位付けを物品位置候補重み付け手段 108により行うことができる。

[0172] ここで、定数 yとして、事前実験などにより適切な値を決定しておくものとする。

[0173] 本発明の前記第 1実施形態の前記物品検索システムの表示装置 110では、この物品位置候補重み付け手段 108での物品位置候補重み付け処理結果を基に実際の検索結果を表示する。図 21は、表示装置 110にて物品検索結果を CG (コンピュータグラフィック)表示した例を示す概念図である。図 21では、物品の存在場所全体を表す鳥瞰図に、実際に物品が存在する可能性のある場所を、その可能性の高い順位（物品位置候補重み付け処理結果として求められた順位)を表す数値を重ね書きしている様子を示している。ユーザはこの結果を表示装置 110にて見ることで、まず、「本棚」を含むその近辺を探し、そこで見つからなければ、次に「冷蔵庫及びキッチンシステム」近辺、さらに見つからなければ、「ソファ 1」近辺というふうに、予め探す場所絞り込んで物品探しを効率良く行うことができる。

[0174] さて、以上説明した人の移動速度に基づく物品位置候補の重み付けでは、もし仮に滞留した場所の近辺に、物品を置いたり取り出したりする機器や設備が複数ある場合には、ユーザはそれらすベての機器や設備をくまなく探していく必要があり、場合によっては手間がかかるという問題がある。この問題に対処する一つの方法として、機器の操作情報をも用いることで、実際に物品を置いたり取り出したりした場所をさらに絞り込むことが有効と考えられる。

[0175] 以下では、この機器の操作情報を活用して物品位置候補重み付け手段 108により重み付けを行う方法を説明する。図 22は前記機器の操作情報を用いて重み付けを行う処理をフローチャートの形式で示した図である。本処理では、人の位置に対して十分近!、とする機器の位置を検索するために、予め機器の場所を管理する機器管理情報を用意しておく。図 23は機器 (但し設備も含む)の場所を管理するデータべ一スを表形式で示した図である。表は、環境内にある機器に対してその位置を長方形で簡略管理した様子を示しており、前記長方形の左上及び右下の位置座標が与えられた形式となって、る。もちろんこのように全ての機器の位置を長方形で簡略ィ匕することが適当でない場合もあるので、その際には機器の占有領域を多角形で決め、その頂点をベクトルデータで表すなどしてもょ、。

[0176] 続いて物品位置候補の重み付け処理を説明する力このうちステップ S2201〜ステツプ S2203についてはそれぞれ図 19のフローチャートのステップ S1901〜ステツプ S 1903と同じであるため、詳細な説明は省略する。

[0177] ステップ S2201において、検索対象物品を取り扱った人の履歴データから、前記人の移動速度を物品位置候補重み付け手段 108により計算する。

[0178] 次いで、ステップ S2202において、物品位置候補重み付け手段 108により求められた移動速度が所定値 (しき、値)以下の場所群を人の滞留状態として物品位置候補重み付け手段 108により抽出し、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102 内に重み付けリストとして登録する。

[0179] 次いで、ステップ S2203において、物品位置候補重み付け手段 108により、前記重み付けリストから場所を、まず、一つ選ぶ。

[0180] 次いで、ステップ S2204において、物品位置候補重み付け手段 108により、ステツプ S1903で選んだ場所にぉ、て、当該場所に居た時刻及び当該場所の中心位置座標を物品位置候補重み付け手段 108により計算する。

[0181] 次いで、ステップ S2205において、前記中心位置に対して、所定範囲内の機器群を物品位置候補重み付け手段 108により検索する。機器の検索は様々な方法が考えられるが、ここでは簡単な例を図 24を用いて説明する。図 24は環境内に置かれた機器を示した見取り図で、図 24内の X印が前記中心位置であるとする。この中心位置に対して適当に決められる所定範囲の大きさを半径とした円（図 24内の点線の円）を描いたときに、もし前記円内に機器の領域が一部でも含まれたとき、前記機器を検索結果として物品位置候補重み付け手段 108により抽出するようにすればよい。図 2 4の例では、物品位置候補重み付け手段 108により見つ力つた機器は「本棚」だけであるが、もちろん複数の機器が物品位置候補重み付け手段 108により見つかれば、それらを全て抽出する。

[0182] 次いで、ステップ S2206において、もし少なくとも一つの機器が見つかればステツプ S2207に進み、見つ力らなければステップ S2208に進む。

[0183] ステップ S2207において、見つ力つた各々の機器について機器管理情報を物品位置候補重み付け手段 108により参照し、ステップ S2204で計算した時刻と、機器を開いて力も閉じるまでの時間とに重なりがない機器を物品位置候補重み付け手段 108により、前記重み付け結果が格納された、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストから削除する。これは、もし人がある場所で滞留したとしても、物品収納を行わな力つた機器がある場合には、その機器には物品存在の可能性がないということを反映した処理であり、これにより実際に人が滞留して物品収納を行った機器を絞り込むことができる。

[0184] ステップ S2208において、もし処理 2202で抽出した全ての場所群について、ステップ S2204〜ステップ S2207力終了していれば、ステップ S2210に進み、まだであればステップ S2209に進む。

[0185] ステップ S2209において、ステップ S2202で抽出した各々の場所について、ステツプ S2204がまだの場所を、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102内の前記重み付けリストから一つ選び、ステップ S2204を繰り返す。

[0186] ステップ S2210において、ステップ S2207で抽出された全ての機器について、物品位置候補重み付け手段 108により、人の滞留位置と機器との距離に応じて、距離力 S小さいほど優先順位を高くするように重み付けする。

[0187] この距離に応じた重み付け処理の具体的な説明を図 25を用いて行う。図 25では、環境内に 3つの機器 (機器 1、機器 2、機器 3)が存在し、ステップ S2202で 2つの滞留位置 (それぞれ滞留位置 2501,滞留位置 2502)が見つ力ており、前記「機器 1 」は滞留位置 2501から r (滞留位置 2504)の距離に、前記「機器 2」は滞留位置 250 2から r (滞留位置 2503)の距離に、前記「機器 3」は滞留位置 2501から r (滞留位

2 3 置 2505)の距離に、それぞれあることを表している。なお、 r (滞留位置 2504)〉r (

1 2 滞留位置 2503) >r (滞留位置 2505)である。このとき、人の滞留位置と機器との距

3

離に応じて、距離が小さいほど優先順位を高くなるように重み付けするため、結果としては、 r (滞留位置 2504)、 r (滞留位置 2503)、 r (滞留位置 2505)の大きさを比

1 2 3

較し、「機器 3」、「機器 2」、「機器 1」の順に 1、 2、 3の順位が付くことになる。この結果を表したのが図 26の表である。なお、この例では、非常に単純に人の滞留位置と機器との距離という尺度によって重み付けを行ったが、もちろん人の滞留時間などをさらにカ卩味して重み付けを行ってもよい。

[0188] 次に、具体例によって処理を説明する。例としてここでは先ほどと同様に、物品「ジユース」を検索するという前提で、物品存在領域推定手段 107での物品存在領域推定処理にて人の履歴データ MF— Data02を得て、物品位置候補重み付け手段 10 8での物品位置候補重み付け処理を行う様子を説明する。 [0189] ステップ S2201において、人の履歴データ MF—Data02から、前記人の移動速度を物品位置候補重み付け手段 108により計算する。その計算結果が示されたのが前述のグラフ（図 13の上側のグラフ（a) )である。

[0190] 次いで、ステップ S2202において、物品位置候補重み付け手段 108により求められた移動速度が所定値 (しき、値)以下の場所群を人の滞留状態として物品位置候補重み付け手段 108により抽出し、物品位置候補重み付け手段 108により、例えば、物品位置候補重み付け手段 108内の一時記憶部又は物品管理データベース 102 内に重み付けリストとして登録する。本例では、 3つの滞留部分があることが判定できる。これらは見取り図にプロットした図 13の下側の見取り図と関連づけると、それぞれ時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ 1」の近辺で滞留していることが判定できるので、ここでは、便宜的に各滞留状態を、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」と呼ぶ。なお、ここでは説明の便宜上、それぞれの滞留状態の時刻を下記の通りとする。

[0191] 「本棚」：19 : 31〜19 : 32

「冷蔵庫及びキッチンシステム」：19 : 32〜19 : 33

「ソファ 1」：19 : 34〜19 : 35

[0192] 次いで、ステップ S2203〜ステップ S2209の処理〖こよって、物品存在の可能性がある機器として「本棚」、「冷蔵庫」の 2つを得る。具体的な処理プロセスを下記に示す

[0193] 次いで、ステップ S2204において、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ 1」において、滞留していた時刻及び中心位置座標を物品位置候補重み付け手段 108により計算する。

[0194] 次いで、ステップ S2205において、この中心位置に対して、所定範囲内の機器群を物品位置候補重み付け手段 108により検索して、「本棚」、「冷蔵庫」を物品位置候補重み付け手段 108により抽出する。

[0195] 次いで、ステップ S2206〖こおいて、少なくとも一つの機器が見つかつたので、ステツプ S2207に進み、見つ力つた各々の機器について、機器管理情報を物品位置候補重み付け手段 108により参照し、ステップ S2204で計算した時刻を挟む開閉操作のペアが無、機器を物品位置候補重み付け手段 108により削除する (ステップ S 2208 〜S2204〜S2208)。

[0196] 次いで、ステップ S2210において、以上の処理の結果、ジュースの収納場所として「本棚」、「冷蔵庫」の 2つの機器が得られたので、前記機器付近に滞留した位置との距離に応じて、これら 2つの機器の重み付けを物品位置候補重み付け手段 108により行う。

[0197] 本発明の前記第 1実施形態の前記物品検索システムの表示装置 110では、この物品位置候補重み付け手段 108での物品位置候補重み付け処理結果を基に実際の検索結果を表示する。図 27は、表示装置 110にて物品検索結果を CG (コンピュータグラフィック)で表示した例を示す概念図ある。この図 27では、物品の存在場所全体を表す鳥瞰図に、実際に物品が存在する可能性のある場所としての機器を色分けして表示し、さらにその可能性の高い順位をあらわす数値を重ね書きしている様子を示している。図 21との違いは、物品の存在場所を機器レベルまで絞り込んでいる点である。もし仮に一つの機器に複数の収納部分があり、それぞれの収納部分について機器管理情報を蓄積することができるならば、本処理によりさらに細力べ絞り込むことが可能である。例えば図 27の例で 2番目の候補として示されている「冷蔵庫」は、単体の機器としてではなぐ「冷蔵庫」のうちのどの収納部分力、までも区別して表示しており（図 27では、冷蔵庫の最上部の収納部分を表示している。）、これによりユーザは検索場所を絞り込んで、さらに効率よく物品の検索を行うことが可能である。

[0198] 以上説明したように、物品存在領域推定手段 107及び物品位置候補重み付け手段 108が本発明の前記第 1実施形態の大きな特徴であり、これにより、人の履歴データさらには機器の操作情報を分析した結果を用いて物品の位置を絞り込むことが可能となる。

[0199] なお、本第 1実施形態では、物品の存在場所の重み付けを、人の履歴データ、機器の操作情報を用いて行う方法について詳細を説明したが、もちろんこれ以外の方法を用いて重み付けを行ってもょ、。そのような例を 2つ示す。

[0200] 一つ目の他の有用な方法は、物品存在領域推定手段 107によってある物品の存在する領域が推定されたときに、その領域内にあり、かつ当該物品が置かれる可能性のある場所が高い順に重み付けていくという方法である（図示せず)。この場合は、それぞれの物品に対して通常置かれる場所を 1つ以上格納した通常位置情報をも物品管理情報として物品管理データベース 102に予め蓄えておき、また、場合によっては人が物品を扱う状況に応じて前記通常位置情報を更新していき、その更新された通常位置情報を使うようにすればょ、。

[0201] 二つ目の他の有用な方法は、物品存在領域推定手段 107によってある物品の所有者に関する物品所有者情報を利用する方法で、物品存在領域推定手段 107にて取得された履歴データが複数人分の場合には特に有効である。複数人分の履歴データが取得されたということは、ある物品がある場所に持ち込まれたと同時に複数人が前記場所に入った場合のことである。この場合、前記物品をどの人が持っているかが区別できないので、全ての人の履歴データを取得するわけだ力もし仮に当該物品は前記複数人のどの人が持っている可能性が高いか、という物品所有者情報を事前に得られれば、前記取得した履歴データ自体にも確力もしさの重み付けができる。前記物品所有者情報とは、例えば、図 33に示されるように、

•クラシック音楽 CD：お母さんの所有可能性 100%、

•技術関係の本:お父さんの所有可能性 100%、

•ファッション関係の本:娘の所有可能性 60%、お母さんの所有可能性 40%、などと書いておけばよい。そして、前記履歴データの重み付けの結果と、物品位置候補重み付け手段 108における重み付けの結果を両方利用することで、物品を扱つた人が複数人いるといった複雑な場合でも適切な絞り込みをすることが可能となる。

[0202] 具体的には、前記絞り込みの方法は例えば次のようにすればよい。複数人の履歴データが得られた例として、図 14に示された 2人分の履歴データが得られ、それらが 2人が「お父さん」と「お母さん」の履歴データであり、探して!/、るものが「技術関係の本」であるとする。この場合、「技術関係の本」の存在場所は 2人分の履歴データ上すベてについて調べるのではなぐ「技術関係の本」を所有している可能性が 100%である「お父さん」の履歴データのみを取りだして重み付けをすればよい。より具体的には、図 19のフローにおけるステップ S1907において、単に平均移動速度の低い方から優先順位を高く重み付けするだけでなぐその値に、誰が所有しているかの可能性値をかけて重み付けするなどすればよ!、。前記の「技術関係の本」の所有可能性を適用すると、「お父さん」の履歴データ力も得られた重み付け値には、 100%が乗じられるのでそのままの値が保持される力「お母さん」の履歴データから得られた重み付け値には 0%が乗じられる（つまり重み付けなしとなる）ので、候補から除外されたのと同じことになるわけである。

[0203] 前記第 1実施形態によれば、以下のような効果を奏することができる。主に家庭内での物品検索を目的とした物品位置推定に関し、家庭内という環境を対象とした場合、物品を検出する装置がコストの面で多数設置できないため、物品の検出結果が粗いものとなり、従って、前記装置での検出結果を見るだけでは物品検索が簡単にならないという問題があった。このような問題に対して、人の動きと物品の存在場所には重要な相関関係があるという点に着眼し、人の移動速度を含めた履歴データ及び機器の操作情報などを用いて、物品位置の推定を行うことができる。すなわち、前記物品位置推定装置では、物品検出装置 101が物品を検出し、検出された物品の場所の情報と時刻の情報とを物品管理データベース 102に格納する。人検出装置 103 が人を検出し、検出された人の場所の情報と時刻の情報とを人管理データベース 10 4に格納する。さらに、物品を収納管理する機器の機器操作を機器操作検出装置 10 5で検出し、検出された各々の機器の操作情報を機器管理データベース 106に格納する。物品存在領域推定手段 107は、これら物品管理データベース 102に格納された情報及び人管理データベース 104に格納された情報を参照し (必要に応じて機器管理データベース 106に格納された情報をも参照し)、前記物品存在領域として、人が移動した経路のうち物品の存在する可能性がある場所を推定する。そして、必要に応じて、物品位置候補重み付け手段 108が、人の動き、物品が通常置かれる場所などの知識といった情報を利用することで、前記物品の存在する可能性がある場所のうち存在可能性の高、低、の重み付けを行って、その情報を表示装置 110にて表示することができる。

[0204] 前記物品位置推定装置を備える当該物品検索システムをユーザが使用するとき、前記重み付けされた物品の存在場所を参照することで、探すべき場所の優先順位を付け、その高いところ力も順に検索対象物品を探すことができる。従って、従来に比ベて、物品を探す手間が簡単になり、探す効率が良くなり、また、その手間が大幅に短縮されることが期待できる。

[0205] なお、本発明は前記第 1実施形態に限定されるものではなぐその他種々の態様で実施できる。例えば、これまでは、ユーザが物品検索を行う表示について、環境全体の鳥瞰図上に場所を示すという単純な例を併せて示した。もちろん、こういった表示画面を見て物品検索ができることも有効であるが、以下では、本発明の第 2実施形態にかかる物品検索システムとして、他の画面表示の方法例として画像を使った例を示す。

[0206] 人は、外界の情報の多くを視覚によって取得している。従って、過去の忘れた行為も、その時の状況を画像で提示することにより記憶をより戻すことができる場合も多々あると思われる。以下に示す物品検索システムでの表示方法は、このような考えの基になされた表示方法の例であり、本発明の第 11態様に記載の物品検索システムに係るものである。より具体的には、過去に物品を扱った時間と場所が検出できれば、その時間でのその場所の映像を見せることで、その時間にその場所でどのように物品を扱って、たかを思い出させる、 t 、うことを実現する。

[0207] そのために、本物品検索システムでは、図 1に示すように、すでに説明した物品位置推定装置の各構成要素に加えて、さらに当該物品検索を行う環境を撮影する撮像装置 111と、前記撮影された画像情報を蓄積する画像データベース 112と、前記物品存在領域推定手段 107又は前記物品位置候補重み付け手段 108での処理結果を用いて、検索要求のあった物品が置かれたと推定される場所と時刻とを推定し、前記推定した場所を撮影し、かつ前記推定した時刻を含む画像情報を前記画像データベース 112から抽出する画像検索手段 113と、画像検索手段 113により抽出された画像情報を、必要に応じて前記物品存在領域推定手段 107又は前記物品位置候補重み付け手段 108からの情報と共に、表示する表示装置 110とを含む構成を示している。

[0208] 以下、各構成要素について説明し、続いてこれらを用いて、探そうとしている物品を過去に扱った時間と場所が検出できるという前提のもとに、その時間でのその場所の映像を見せる処理にっ、て説明する。 [0209] 《撮像装置 111》

撮像装置 111は、当該物品検索を行う環境を撮影する。撮像装置 111の一例としては、実際には CMOSや CCDといった撮像素子を用いたカメラを使うことが一般的であるが、場所によっては、近赤外などの特殊なカメラを用いてもよい。また、 1台の撮像装置で前記環境の全てを撮影しきれない場合は、もちろん、複数台の撮像装置を用意すればよいし、また、前記人検出装置 103に用いたカメラを併用しても構わない。こうして設置された各撮像装置では、それぞれが写す画像が、実世界のどの位置に対応して!/、るかの情報を付加しておく。この情報の最も簡単な記述態様としては、各撮像装置の各画素と実世界の座標を、

、u, v)― (x, y, z)

という風にして対応づけ記述を行えばよい（以下、本記述を対応方式 1と呼ぶ)。また、もう少し情報量を減らす方法としては、各撮像装置 110と、それぞれ写している床面の範囲のベクトルデータとを対応付けて、

camera 1： , y )— (x , y )― (x , y ノ一、 x , y )

11 11 12 12 13 13 14 14

camera 2 : (x , y )― (x , y )― (x , y )― (x , y )

21 21 22 22 23 23 24 24 というふうに記述しても構わない（以下、本記述を対応方式 2と呼ぶ)。対応方式 2では、一つのベクトルデータは一つの床面領域を表すとすると、一つの撮像装置に最低 1つのベクトルデータが必要である力例えば一つの撮像装置 111の画像内に 2 つ以上の床面領域があるなどの場合は、必要に応じて複数個用意してもよい。また、実世界のモデルが既知で、また、カメラの実世界における位置や向きが既知であれば、それらの情報力も計算によって、カメラに写っている実世界の各場所の実世界座標を求めることも可能である。なお、撮像装置に写る画像が、実世界のどの位置に対応しているかの情報については、撮像装置が動力されない限り、最初に一度だけ作つておけば変更する必要はな!/、。

[0210] 《画像データベース 112》

画像データベース 112には、各撮像装置で撮影された画像情報力タイムスタンプを付与して (タイマー手段 120から出力された時刻の情報を付与して)蓄積される。画像は動画でも静止画でもよぐシステムの性能に応じて使い分ければよい。図 28は、動画をタイムスタンプを付与して蓄積して、る様子を示した概念図である。図 28ではタイムスタンプを 1分おきに付与している例を示している力もちろんもっと細力くてもよぐシステムの要求スペックに合わせて決めればよい。

[0211] 《画像検索手段 113》

画像検索手段 113は、前記物品存在領域推定手段 107又は前記物品位置候補重み付け手段 108で推定された、検索要求のあった物品があると推定された場所と時刻を得、続いて前記場所が撮影されかつ前記時刻が含まれた画像情報を、前記画像データベース 112から抽出し、表示装置 110にて表示する。

[0212] 図 29は、この画像検索手段 113における画像検索処理の流れを示したフローチヤートで、以下この図に従って処理の流れを説明する。

[0213] ステップ S2901において、物品位置候補重み付け手段 108での処理結果を用いて推定された、検索要求のあった物品があると推定される場所と時刻を得る。

[0214] 次いで、ステップ S2902において、取得した全ての情報又はデータについて、前記情報又はデータに含まれる場所と時間を含む画像情報を画像データベース 112 力検索し、ダウンロードする。

[0215] 前記場所を含む撮像装置を選ぶ方法は、撮像装置とそれが写す画像が実世界のどの位置に対応しているかの情報の記述態様によって異なる。

[0216] 例えば前記対応方式 1であれば、記述された (u, V)—（X, y, z)のペアのうち、前記場所と一致する (X, y)があるか、又は一致しなくとも前記場所を囲い込むことが可能な複数の (X, y)の群がある場合に、前記撮像装置を選択する、という風にすればよい。また、前記対応方式 2であれば、記述されたベクトルデータで形成される領域に前記場所が含まれる場合は、前記ベクトルデータを含む撮像装置を選択する、という風にすればよい。また、前記場所を撮影している撮像装置が複数ある場合には、それら全てを選択しても構わな、。

[0217] こうして前記場所を撮影している 1つ以上の撮像装置が選ばれたら、それら撮像装置で撮影された画像情報を蓄積した画像データベース 112から、前記時刻を含む画像情報を検索し、ダウンロードする。ダウンロードする画像情報の態様としては、例えば前記時刻の前後 2分を含む動画像情報又は秒当たり 1枚の静止画像情報というふうに、システムの要求スペックに応じて決めてやればよ、。

[0218] 次いで、ステップ S2903において、前記ダウンロードした画像情報を表示する。図 3 OA,図 30Bは図 28の画像データベース 112から 19時 31分と 19時 32分の画像情報をそれぞれ検索して表示して!/、る様子を示した概念図である。画像情報の表示はいきなり表示してもよいし、また、段階的に表示してもよい。段階的に表示するとは、まず最初に位置候補重み付け手段での処理結果のみを表示する。具体的には例えば図 21や図 27に示したような画面を表示する。そして、そこで示された物品の存在する位置候補を指定させ、関連する画像情報を表示する、というものである。

[0219] 以上、画像検索手段 113における処理の流れを説明した。

[0220] 以上、本発明の前記第 2実施形態の特徴である、人の移動速度を含めた履歴データ、機器の操作情報を用いて、物品位置の推定を行う方法を、具体例を用いて説明した。また、前記検索物品の位置推定ができるという前提で、検索したい物品の場所を CG (コンピュータグラフィック)又は実画像を使って提示すると!/ヽぅ方法を説明した

[0221] なお、前記第 1及び第 2実施形態にて例示した、本発明の前記第 1及び第 2実施形態における物品位置推定装置での物品位置推定処理の流れはあくまで一例であり、これに限るものではない。すなわち、物品位置の推定に人の移動速度を含めた履歴データ、機器の操作情報を用いるという思想が処理に含まれていれば、処理のフロ一が異なっていたり、必要なデータの記述態様が異なっていても、当然かまわない。

[0222] また、本発明の前記第 1及び第 2実施形態の物品位置推定装置は、該物品位置推定装置を構成する装置のうち、入力装置 109、物品検出装置 101、人検出装置 103 、機器操作検出装置 105、表示装置 110についてはシステムの要件に応じて最適な場所に設置すればよい。物品管理データベース 102、人管理データベース 104、機器管理データベース 106は、それぞれに格納する情報を取得する物品検出装置 10 1、人検出装置 103、機器操作検出装置 105の近くに配置してもよいし、該装置の残りの手段である物品存在領域推定手段 107、物品位置候補重み付け手段 108の近くに配置して、物品検出装置 101、人検出装置 103、機器操作検出装置 105が取得した情報をネットワークを介してそれぞれのデータベースに送るようにしてもょ、。 Vヽずれにしても各手段又は装置の設置態様はあくまでシステムの要件に応じて最適な場所に設置すればよぐ設置場所などの拘束は特に無い。

[0223] 本発明の前記第 2実施形態の物品検索システムは、システムの構成要素として直前に説明した装置又は手段以外の他の構成要素である、画像検索手段 113、画像データベース 112,撮像装置 111は、システムの要件に応じて最適な場所に設置すればよぐ設置場所などの拘束は特に無い。

[0224] また、本発明の前記第 1及び第 2実施形態の物品検索システムは、主に家庭用を目的として説明したが、もちろん家庭用途にとどまるものではなぐ例えばオフィスなどにお、て利用しても構わな、。

[0225] 図 34は、オフィスにおいて、物品検出装置 101の一例としてのタグリーダ TGRが設置された様子を示した見取り図である。本例では、オフィスのある部屋 205の出入り口 200にゲート型のタグリーダ TGRが設置されており、また、その部屋 205には 8人分のパーティーシヨン 201で区切られた作業スペース 202があり、その作業スペース 202内に設置された各書棚 203の開閉部にタグリーダ TGRが（図 15Bと同様に)設置された様子を示している。ユーザは、物品を当該部屋 205に持ち込めば、それでその物品が部屋 205内にあることが検出できる。そして、部屋 205に予め人の動きを区別して検出できるようなカメラ 204や床センサなどの人検出装置を設置しておけば、それによつて人 206の履歴データを得ることができるため（例えば図 34内に示した矢印付きの実線がその人 206の検出結果の例）、これまで説明してきた本発明の前記第 1及び第 2実施形態による物品位置検索方法を利用することにより、部屋 205に持ち込まれた物品が部屋 205のどの場所にありそうかという物品の存在場所の重み付き推定が可能となる。

[0226] また、オフィス利用においては、一般的に物品がどの場所に置かれる力が、物品の検出結果と人の履歴データとを組み合わせることで、ある程度特定可能である。すなわち、ある物品は所有者が決まっており、その物品は、所有者が持ち歩くか又はその所有者の作業スペース 202にある力が正しい物品の有り場所と考えられる。したがつて、逆に、そのような物品が別の人によって持ち出されたことを部屋 205の出入り口 200のタグリーダ TGRが検出すると、これを不当な持ち出しと判定し、ブザーを鳴らすなどのセキュリティー的な対応を取ることで、物品の盗難を防止することも可能となる。

[0227] また、前記各種検出装置を除く前記物品存在領域推定手段 107などを含む前記物品検索システムの一部は、コンピュータに、図 35にフローチャートで示されるように、異なる物品が区別されるように識別し物品検出装置で検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップ S3001と、人の位置を個人毎に区別して人検出装置で検出された人の移動履歴情報を人管理データベースに格納するステップ S3002と、前記物品管理データベース及び前記人管理データベースに格納された情報を、前記人管理データベースの前記移動履歴情報と前記物品管理データベースの前記検出場所と前記時刻とを基に前記人と前記物品とを関連付けて、前記物品の物品存在領域を推定するステップ S 3003とを実行させるための物品位置推定用プログラムとして、 CD— ROMなどの記録媒体に記録させておき、必要に応じて、 CD— ROM力も読み出して使用することもできる。具体的には、例えば、表示装置の一例であるディスプレイ、入力装置の一例であるキーボード、一例として前記種々のデータベースや前記種々の手段などが蓄積可能なハードディスク及びメモリ、 CD— ROMドライブなどが接続されて前記物品検索システムを実現可能なシステム（図示せず）において、 CD— ROMに記録された物品位置推定用プログラムが CD— ROMドライブを介してハードディスクにインストールされたのち、前記物品検索システムを実行可能とすることができる。

[0228] 前記実施形態では、説明を簡単にするため、物品や人を検出するとき、時刻の情報を用いている力時刻の代わりに日時を用いるようにしてもよい。日時を用いれば、異なる日にまたがって、本発明にかかる物品位置推定動作を行うことができる。

[0229] なお、本発明は上記実施形態に限定されるものではなぐその他種々の態様で実施できる。例えば、前記物品存在領域推定手段は、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合以降において、前記検出された人の移動領域を、前記物品の物品存在領域として推定するものであるが、前記検出された人が前記部屋力出た後は、前記物品の物品存在領域の推定を停止するようにしてちょい。

[0230] なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

産業上の利用可能性

[0231] 本発明にかかる物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムは、一般家屋やオフィス内などにある物品を管理する物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムに係り、特に一般家庭内にある生活に使用する日用品やオフィスなどで使用する可搬性の物品などの各種物品の位置を、 RFIDタグ技術などを用いて管理するときユーザが探し物を問い合わせた時に前記探し物の位置を適切に提示することができて、従来に比べて物品を探す手間が簡単になり、また、その手間が大幅に短縮される。

[0232] 本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとつては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims

請求の範囲

[1] 少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品が区別されるように識別し検出する物品検出装置と、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、を備える、物品位置推定装置。

[2] 前記物品存在領域推定手段は、前記人管理データベースに格納された前記移動履歴情報を参照して得られる前記人の移動速度の変化によって、前記物品の前記物品存在領域を推定する、請求項 1に記載の物品位置推定装置。

[3] 前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記推定された複数の物品存在領域に対して前記物品の存在する可能性に基づき、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、物品位置候補重み付け手段をさらに備える、請求項 1又は 2に記載の物品位置推定装置。

[4] 前記物品位置候補重み付け手段は、

前記人の移動履歴情報において、予め定めた所定値以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態としてそれぞれ抽出し、前記滞留状態を構成する各情報を参照して得られる前記人の移動速度の平均値を用いて、前記人の移動速度の平均値が低!、領域ほど前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、請求項 3に記載の物品位置推定装置。

[5] 前記物品位置候補重み付け手段は、

前記人の移動履歴情報において、予め定めた所定値以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、前記滞留状態の前後における検出場所の情報と検出時刻の情報を参照して得られる前記人の移動速度の変化を用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、請求項 3に記載の物品位置推定装置。

[6] 前記物品位置候補重み付け手段は、

前記物品の存在する可能性の重み付けを行う際に前記滞留状態が持続する時間を併せて用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、請求項 4又は 5に記載の物品位置推定装置。

[7] 前記物品存在領域推定手段は、

前記人の移動履歴情報において、予め定めた所定値以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、複数の前記人に対する前記滞留状態間の関係により、複数の前記人の間の前記物品の受け渡しを考慮して、前記物品の存在領域を推定する、請求項 2〜6のいずれ力 1つに記載の物品位置推定装置。

[8] 前記物品を収納管理する機器の機器操作を検出する機器操作検出装置と、

前記機器操作検出装置にて検出された各々の機器の操作情報を格納する機器管理データベースを備え、前記機器管理データベースに格納された情報を前記操作情報中の前記機器の操作の有無の情報に基づき、前記使用していた機器の重みが高くなるように前記物品位置候補の機器に対して重み付けを行う、請求項 3に記載の物品位置推定装置。

[9] 前記物品存在領域推定手段は、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合以降において、前記検出された人の移動領域を、前記物品の物品存在領域として推定するとともに、前記検出された人が前記部屋から出た後は、前記物品の物品存在領域の推定を停止する、請求項 1又は 2 に記載の物品位置推定装置。

[10] 検索する対象物品の入力が行われる入力装置と、

前記物品存在領域推定手段で前記物品の物品存在領域を推定するとともに、推定処理された物品の中から、前記入力装置で入力された検索対象物品を検索する請求項 1又は 3に記載の前記物品位置推定装置と、

を備える物品検索システム。

[11] 当該物品検索を行う環境を撮影する撮像装置と、

前記撮像装置で撮影された画像情報を蓄積する画像データベースと、前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び前記物品位置候補重み付け手段が検索要求のあった前記物品が置かれたと推定される場所と時刻とを推定し、前記推定結果を用いて、前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベース力抽出する画像検索手段とを備え、

前記表示装置は、前記画像検索手段にて検索された画像情報を表示する、請求項 10に記載の物品検索システム。

[12] 少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品が区別されるように識別し物品検出装置で検出するステップと、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップと、

を備える、物品位置推定方法。

[13] 前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記物品存在領域を推定するステップによって推定された複数の前記物品存在領域に対して、前記物品の存在する可能性に基づき、前記物品の存在する可能性の高、物品存在領域の重みが高くなるように重み付けを行うステップ、

をさらに備える、請求項 12に記載の物品位置推定方法。

[14] コンピュータに、

少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品が区別されるように識別し物品検出装置で検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップと、

前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップとを実行させるための物品位置推定用プログラム。

[15] 少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品が区別されるように識別し検出する物品検出装置と、

前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、を備える、物品位置推定装置。