[go: up one dir, main page]

JP4006471B2 - 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム - Google Patents

物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム Download PDF

Info

Publication number
JP4006471B2
JP4006471B2 JP2006519678A JP2006519678A JP4006471B2 JP 4006471 B2 JP4006471 B2 JP 4006471B2 JP 2006519678 A JP2006519678 A JP 2006519678A JP 2006519678 A JP2006519678 A JP 2006519678A JP 4006471 B2 JP4006471 B2 JP 4006471B2
Authority
JP
Japan
Prior art keywords
article
person
information
detection
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006519678A
Other languages
English (en)
Other versions
JPWO2006109423A1 (ja
Inventor
修作 岡本
修 山田
知宣 成岡
徹 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4006471B2 publication Critical patent/JP4006471B2/ja
Publication of JPWO2006109423A1 publication Critical patent/JPWO2006109423A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、一般家屋やオフィス内などにある物品を管理する物品位置推定装置、物品位置推定方法及び物品検索システムに係り、特に一般家庭内にある生活に使用する日用品やオフィスなどで使用する可搬性の物品などの各種物品の位置を、RFIDタグ技術などを用いて管理する場合においてユーザが探し物を問い合わせた時に前記探し物の位置を適切に提示する物品位置推定装置、物品位置推定方法及び物品検索システムに関する。
近年、ネットワーク技術や情報処理技術、また、物品を自動で管理するためのRFIDタグ技術開発により、物流などの業務分野を中心に在庫管理をはじめとする物品管理の自動化の技術開発が進んでいる。
このような物品検索システムの一般的な構成例を示した従来技術としては、例えば特許文献1(特開平07−146362号公報)がある。本例では、まず構成として、物品にはRFIDタグ(以下、タグ)を付け、また、環境には前記タグの読み取り装置(以下、タグリーダ)を散在させておき、物品検索を行う端末を備える。そして、前記端末から探したい物品を指定すると、前記各タグリーダが、物品に付与されたタグと交信を試み、タグからの返事をうけたタグリーダの場所でもって探している物品の場所とするものである。
この構成を例えば図書館での本の管理に応用すると次のようになる。すなわち、管理する書籍にはタグを、また、図書館の書籍ラックの各棚にタグリーダを設置しておく。利用者が検索したい本を端末などから入力すると、それぞれのタグリーダは、前記検索対象本のIDを含むタグを探す。そして、タグリーダからの問いかけに対してタグからの返事が無い場合には、当該タグリーダの通信可能範囲には該当する本は無く、逆にタグリーダからの問いかけに対してタグからの返事を受けた場合には、該当する本が見つかったということで、前記タグからの返事を受けたタグリーダの場所が、探している本のおおよその場所というふうにすることができる。したがって、ユーザはそのリーダの場所まで行き、そのリーダの周囲にある本のみを探すことで目的の本を手に入れることができる。
このように従来のシステムでは非常に簡単な構成でありながら物品の場所を管理することができるため、主に業務用において様々な分野で使われ始めている。しかしながら、本例の欠点は、検索位置の精度を高めるには、物品に付けられたタグは、前記物品を管理する環境内のどこにおいても、いずれかのタグリーダと通信できる程度にまで、タグリーダを細かく設置する必要があることである。従って、コストがある程度高くつくことを許される業務用途では使えるが、コストが重要な問題となる家庭用には使えないことが大きな問題である。
これに対して、家庭内での物品管理を目的とした従来技術である特許文献2(特開2000−357251号公報)では、前記問題を回避するための一つの方策が開示されている。特許文献2では、物品管理装置と、複数のセンサユニット(タグリーダ)と、物品に付与したタグユニットを持ち、複数のセンサユニットを通してタグユニットから発信されるタグ情報を受信する際の、受信感度を物品管理装置で管理することで物品位置の指定又は推測を可能とし、複数の物品の現在位置を把握可能としたものである。この技術では、比較的距離が離れた複数のセンサユニットまでタグの電波を到達させる必要があるため、電池を内蔵したアクティブタグを使用するものである。電池の消耗を抑えるため、予め定めたタイミング(1日1回〜月1回)にて発信させるという方法を採っている。
同じく、家庭内での物品管理を目的とした従来技術である特許文献3(特開2003−233715号公報)では、天井の4隅などに観察機(タグリーダ)を設置し、部屋の中での人の行動履歴や管理対象物の位置情報などの生活情報を収集して管理している。管理対象物にはデータタグを取り付け、人は手先などにパーソナルタグを携帯する。これらのデータタグやパーソナルタグは、管理対象物や人の識別情報を保持し、複数の通信距離で観察機と無線による情報通信が可能なようになっている。
特開平07−146362号公報 特開2000−357251号公報 特開2003−233715号公報
ところで、前記特許文献2では、タグは予め定めたタイミングでしか発信しないため、物品の位置は、物品に付与したタグとタグリーダとが最後に交信した記録に基づいて決定される。従って、タグがタグリーダと交信したのち、前記タグが付いた物品がどこに運ばれたかは次に当該タグがタグリーダと交信するまで分からなくなる。さらには、最後にタグリーダと交信してから時間が経てば経つほど、当該タグ付き物品が前記最後に交信したタグリーダの近辺に存在する可能性が低くなることは言うまでもない。従って、このようなシステムでユーザが物品を見つけるには、検索の問い合わせによって知らされた物品の場所から、ユーザ自身がどう動いてどこに当該物品を置いたか等を記憶をたどって思い出す必要があり、必ずしも物品が簡単に見つけられるとは言い難く、この点が従来技術の大きな問題である。加えて、物品位置の測定には部屋に複数のタグリーダを設置する必要があるため、コスト面で不利になる。また、電池内蔵のアクティブタグを用いているため、タグ自体の大きさが大きくなり小型物品には装着しづらいという問題、タグ自身のコストが高くなるという問題も存在する。さらに部屋の中にタグが付与された物品数が多い場合、全てをセンシングするためには、各タグの発信タイミングの制御が大変になる。
前記特許文献3では、特許文献2と同じく、部屋に複数のタグリーダを設置する必要があるため、コスト面で不利になる。また、データタグやパーソナルタグもそれ自身が無線発信できるため、タグ自体の大きさが大きくなり、コストも高くなるという問題がある。
従って、本発明の目的は、前記従来技術のような簡易な構成、すなわち物品にタグ、物品を管理する環境に最小限のタグリーダを設置し、タグは前記タグリーダの交信範囲を通過した場合にのみ、その情報が記録されるという構成を基に、一方でユーザが物品を探す場合に過去の記憶をたどるという思考を必要としない、物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムを提供することにある。
この課題解決に向けて、まず、本発明者らは、家庭やオフィスなど内においては物品を扱うのは、主にその家庭で暮らす人やオフィスなどで働いてする人であることから、その人の動きと物品の存在場所には重要な相関関係があるはずであることに着目した。従って、人の動き情報を何らかの手段によって入手することができれば、その情報を用いて物品の存在場所を絞り込むことができるはずであると考えた。
本発明は、前記課題を解決するために、この考えを具現化する技術に関するものである。
前記課題を解決するために、本発明によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品が区別されるように識別し検出する物品検出装置と、
前記物品検出装置にて検出された物品の識別情報と検出場所の情報と検出時刻の情報とを物品管理情報として格納する物品管理データベースと、
前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、
前記人検出装置にて検出された人の移動履歴情報を格納する人管理データベースと、
前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、
を備えたことを特徴とする、物品位置推定装置を提供する。
また、本発明によれば、検索する対象物品の入力が行われる入力装置と、
前記物品存在領域推定手段で前記物品の物品存在領域を推定するとともに、推定処理された物品の中から、前記入力装置で入力された検索対象物品を検索する前記物品位置推定装置と、
前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び物品位置候補重み付け手段での推定結果を用いて、前記検索対象物品の存在する物品存在領域を表示する表示装置と、
を備える物品検索システムを提供する。
本発明の物品検索システムによれば、物品検出装置が物品を検出し、その場所と時間とを物品管理データベースに格納する。人検出装置が人を検出し、その場所の情報と時刻の情報とを人管理データベースに格納する。物品存在領域推定手段は、これら物品管理データベースに格納された情報及び人管理データベースに格納された情報を参照し、前記物品存在領域として、人が移動した経路のうち物品の存在する可能性がある場所を推定することができる。そして、必要ならば、物品位置候補重み付け手段が、人の動きの履歴データや機器の操作情報などの情報を利用することで、前記物品の存在する可能性があるそれぞれの場所について、存在可能性の高さの重み付けを行うこともできる。当該システムのユーザは、前記重み付けされた物品の存在場所を参照することで、探すべき場所の優先順位をつけ、その高いところから順に検索対象物品を探すことができる。
本発明の物品位置推定装置及び方法並びに物品検索システム並びに物品位置推定用プログラムにより、ユーザは探そうとしている物品を簡単に早く探し出すことができるようになる。すなわち、従来の物品検索システムでは、物品検出装置の検出範囲でのみしか物品が検出できないため、それ以外の場所に物品がある場合は、前記物品検出装置の検出結果を見ながらユーザが物品の場所を思い出しつつ探すという、思考力を要する作業を強要された。しかしながら、本発明では、物品の存在場所をさらに絞り込むことができるうえ、さらに必要に応じて、絞り込んだ場所に物品有無の可能性の高さを示す重み付けも行うこともできる。従って、ユーザは、従来のようにユーザの過去の行動を思い出すという思考作業を必要とせず、より簡単で早く目的の物品を探すことが可能となる。また、前記物品を検出する物品検出を少なくとも人が出入り可能な部屋の出入り口付近で行えばよく、例えば1つの部屋に複数の物品検出装置を設置する必要が無いため、物品検出装置の個数を最小限にすることができて、全体的なコストを安価なものとすることができ、かつ、物品検出装置同士の干渉も防止することができる。
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する前に、本発明の種々の態様について、まず、説明する。
本発明の第1態様によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品(例えば、異なる種類の物品)が区別されるように識別し検出する物品検出装置と、
前記物品検出装置にて検出された物品の識別情報と検出場所の情報と検出時刻の情報とを物品管理情報として格納する物品管理データベースと、
前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、
前記人検出装置にて検出された人の移動履歴情報を格納する人管理データベースと、
前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間(この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。)内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、
を備えたことを特徴とする、物品位置推定装置を提供する。
本発明の第2態様によれば、前記物品存在領域推定手段は、前記人管理データベースに格納された前記移動履歴情報を参照して得られる前記人の移動速度の変化によって、前記物品の前記物品存在領域を推定する、第1の態様に記載の物品位置推定装置を提供する。
本発明の第3態様によれば、前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記推定された複数の物品存在領域に対して前記物品の存在する可能性に基づき、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、物品位置候補重み付け手段をさらに備える、第1又は2の態様に記載の物品位置推定装置を提供する。
本発明の第4態様によれば、前記物品位置候補重み付け手段は、
前記人の移動履歴情報において、予め定めた所定値(滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態としてそれぞれ抽出し、前記滞留状態を構成する各情報を参照して得られる前記人の移動速度の平均値を用いて、前記人の移動速度の平均値が低い領域ほど前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第3の態様に記載の物品位置推定装置を提供する。
本発明の第5態様によれば、前記物品位置候補重み付け手段は、
前記人の移動履歴情報において、予め定めた所定値(滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、前記滞留状態の前後における検出場所の情報と検出時刻の情報を参照して得られる前記人の移動速度の変化を用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第3の態様に記載の物品位置推定装置を提供する。
本発明の第6態様によれば、前記物品位置候補重み付け手段は、
前記物品の存在する可能性の重み付けを行う際に前記滞留状態が持続する時間を併せて用いて、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う、第4又は5の態様に記載の物品位置推定装置を提供する。
本発明の第7態様によれば、前記物品存在領域推定手段は、
前記人の移動履歴情報において、予め定めた所定値(滞留状態を判定するために予め決められた値)以下の移動速度である前記移動履歴情報のうちの検出場所の情報と検出時刻の情報を滞留状態として抽出し、複数の前記人に対する前記滞留状態間の関係により、複数の前記人の間の前記物品の受け渡しを考慮して、前記物品の存在領域を推定する、第2〜6のいずれか1つの態様に記載の物品位置推定装置を提供する。
本発明の第8態様によれば、前記物品を収納管理する機器の機器操作を検出する機器操作検出装置と、
前記機器操作検出装置にて検出された各々の機器の操作情報を格納する機器管理データベースを備え、
前記機器管理データベースに格納された情報を前記操作情報中の前記機器の操作の有無の情報に基づき、前記使用していた機器の重みが高くなるように前記物品位置候補の機器に対して重み付けを行う、第3の態様に記載の物品位置推定装置を提供する。
本発明の第9態様によれば、前記物品存在領域推定手段は、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合以降において、前記検出された人の移動領域を、前記物品の物品存在領域として推定するとともに、前記検出された人が前記部屋から出た後は、前記物品の物品存在領域の推定を停止する、第1又は2の態様に記載の物品位置推定装置を提供する。
本発明の第10態様によれば、検索する対象物品の入力が行われる入力装置と、
前記物品存在領域推定手段で前記物品の物品存在領域を推定するとともに、推定処理された物品の中から、前記入力装置で入力された検索対象物品を検索する第1〜9のいずれか1つの態様に記載の前記物品位置推定装置と、
前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び前記物品位置候補重み付け手段での推定結果を用いて、前記検索対象物品の存在する物品存在領域を表示する表示装置と、
を備える物品検索システムを提供する。
本発明の第11態様によれば、当該物品検索を行う環境を撮影する撮像装置と、
前記撮像装置で撮影された画像情報を蓄積する画像データベースと、
前記物品存在領域推定手段、又は、前記物品存在領域推定手段及び前記物品位置候補重み付け手段が検索要求のあった前記物品が置かれたと推定される場所と時刻とを推定し、前記推定結果を用いて、前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベースから抽出する画像検索手段とを備え、
前記表示装置は、前記画像検索手段にて検索された画像情報を表示することを特徴とする、第10の態様に記載の物品検索システムを提供する。
本発明の第12態様によれば、少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品(例えば、異なる種類の物品)が区別されるように識別し物品検出装置で検出するステップと、
前記物品検出装置にて検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップと、
前記部屋内での前記人の位置を個人毎に区別して人検出装置にて検出するステップと、
前記人検出装置にて検出された人の移動履歴情報を人管理データベースに格納するステップと、
前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間(この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。)内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップと、
を備えたことを特徴とする、物品位置推定方法を提供する。
本発明の第13態様によれば、前記物品管理データベース又は前記人管理データベースに格納された情報を参照して、前記物品存在領域を推定するステップによって推定された複数の前記物品存在領域に対して、前記物品の存在する可能性に基づき、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行うステップ、
をさらに備えたことを特徴とする、第12の態様に記載の物品位置推定方法を提供する。
本発明の第14態様によれば、コンピュータに、
少なくとも人が出入り可能な部屋の出入り口付近で、異なる物品(例えば、異なる種類の物品)が区別されるように識別し物品検出装置で検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップと、
前記部屋内での前記人の位置を個人毎に区別して人検出装置で検出された人の移動履歴情報を人管理データベースに格納するステップと、
前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間(この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。)内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定するステップとを実行させるための物品位置推定用プログラムを提供する。
本発明の第15態様によれば、少なくとも人が出入り可能な部屋の出入り口付近に配置されて、異なる物品(例えば、異なる種類の物品)が区別されるように識別し検出する物品検出装置と、
前記部屋内での前記人の位置を個人毎に区別して検出する人検出装置と、
前記物品管理データベースに格納された前記物品の検出時刻の情報、及び、前記人管理データベースに格納された前記人の移動履歴情報を用いて、前記物品の検出時刻を含む所定の時間(この所定の時間とは、物品存在領域推定用に予め決められた時間を意味する。)内に検出された人を特定し、前記人管理データベースの前記人の移動履歴情報を基に、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合に、前記検出された人のそれ以後の移動領域を、前記物品の物品存在領域として推定する物品存在領域推定手段と、
を備える、物品位置推定装置を提供する。
次に、本発明の実施形態を図面に基づいて詳細に説明する。
まず最初に本発明による物品検索システムの全体構成及び各構成要素について説明する。
図1は、本発明の第1実施形態による物品検索システムの代表的な構成例を示したブロック図で、図1では本発明の前記種々の態様に記載の全ての手段又は装置を含む構成となっている。本発明の第1実施形態による物品検索システムは、全体としては基本的に3つの部分、すなわち、
・検索する物品の入力が行われる入力装置109と、
・物品の位置を推定する処理を行うとともに、推定処理された物品の中から、前記入力装置109で入力された検索対象物品を検索する物品位置推定装置140と、
・前記物品位置推定装置140による推定処理結果を用いて、前記入力装置109で入力された検索対象物品の存在する場所を表示する表示装置110と、
より構成されている。
なお、図1では、ユーザが物品を検索する時、入力装置から入力された検索対象の物品の情報に加えて時刻の情報を物品位置推定装置140で検索できるようにすることも実現可能である。すなわち、具体的には、本発明の第2実施形態として後述するが、本発明の前記第11態様を特徴付ける3つの構成要素、すなわち、
・タイマー手段120から出力された時刻の情報が入力されかつ当該物品検索を行う環境を撮影する撮像装置111と、
・前記撮像装置111により撮影された画像情報を時刻の情報と共に蓄積する画像データベース112と、
・前記画像データベース112に蓄積された画像情報に基づく物品存在領域推定手段又は後述する物品位置候補重み付け手段での処理結果を用いて、検索要求のあった物品が置かれたと推定される場所と時刻を推定し、前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベース112の蓄積された画像情報から検索して抽出する画像検索手段113と、
を含む構成を図1に示している。
次に、本発明の前記第1実施形態による物品位置推定装置の各構成要素並びに当該装置を用いた物品位置推定の処理について説明する。
図1の実線で囲まれた部分140内が本発明の前記第1実施形態による物品位置推定装置140に相当するブロック図であり、この物品位置推定装置140は、本発明の第1〜第15の態様に記載されている各手段又は装置及び各種データベースを全て含んだ構成を示しており、
・現在の時刻の情報を出力するタイマー手段120と、
・タイマー手段120から出力された時刻が入力されかつ異なる物品が区別されるように識別し検出する物品検出装置101と、
・前記物品検出装置101にて検出された物品の識別情報(ID)とその物品の検出場所の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを物品検出毎に物品管理情報として格納する物品管理データベース102と、
・タイマー手段120から出力された時刻の情報が入力されかつ人の位置を個人毎に区別して検出する人検出装置103と、
・前記人検出装置103にて検出された人の識別情報(ID)とその人の検出場所の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを、単位時間毎に、人管理情報(人移動履歴情報)として格納する人管理データベース104と、
・タイマー手段120から出力された時刻の情報が入力されかつ機器操作を検出する機器操作検出装置105と、
・前記機器操作検出装置105にて検出された各々の機器の識別情報(ID)とその機器の操作状態の情報(操作情報)と機器操作時にタイマー手段120から出力された時刻の情報(操作時刻情報)とを機器操作検出毎に機器管理情報として格納する機器管理データベース106と、
・前記物品管理データベース102及び人管理データベース104に格納された情報を(必要に応じて、さらに機器管理データベース106に格納された機器管理情報をも)参照し、物品の物品存在領域を推定するとともに、物品存在領域が推定された物品の中から、前記入力装置109で入力された検索対象物品を検索する物品存在領域推定手段107と、
・前記物品管理データベース102又は人管理データベース104又は機器管理データベース106に格納された情報を参照して、前記物品存在領域推定手段107によって推定された複数の前記物品存在領域のうち、前記物品の存在する可能性の高い領域に重み付けを行う、物品位置候補重み付け手段108と、
を有する。
以下、前記各構成要素の詳細を説明する。
《物品検出装置101》
物品検出装置101は、タイマー手段120から出力された時刻の情報(検出時刻情報)が入力されかつ異なる物品が区別されるように識別し検出する結果、検出された物品の識別情報(ID)とその物品の検出場所の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを物品検出毎に物品管理データベース102に出力する。物品が区別できるように識別検出するためには様々な方法が考えられるが、本第1実施形態では、物品の識別能力やコストの面で優位性を有し、物流業界などで最近注目されているタグシステムを用いた方法を説明する。
図2は、物品検出装置101が設置された環境の例(一般家庭の家屋の部屋の例)を示した見取り図である。後の説明の都合上、本見取り図では図に示してあるように、図2の縦方向をY軸とし横方向をX軸とするX−Y座標系を設定している。図2において、TGRと記載されている部分が物品検出装置101の一例としてのタグリーダであり、「玄関」、「居間」、「書斎」、「浴室」、「トイレ」、「寝室」の各出入り口付近にそれぞれ設置されている。このように、少なくとも人が出入り可能な部屋の出入り口付近に物品検出装置101の一例としてのタグリーダを配置すれば、物品検出装置101の個数を最小限にすることができて、全体的なコストを安価なものとすることができるとともに、物品検出装置101同士の干渉も防止することができる。なお、より詳細なタグリーダTGRの設置態様例として、図3では、ゲート型のタグリーダTGRが「居間」の人が出入り可能な出入り口付近に設置されている例を示している。また、ゲート型のタグリーダTGRは、単独でも機能するが、タグTGの読み取りミスをなるべく防ぐなどの理由のため、ここでは、一対のペアでゲート型のタグリーダTGRが対向して設置される例を図3に示している。
このようなタグシステムを使って物品を検出するためには、環境内で扱う物品にはタグTG(例えば、比較的近距離(例えば、出入り口付近)でしか検知されないパッシブタグ)が付いている必要がある。図4A,図4Bは、いずれも物品にタグTGが付いている例を示した概念図で、それぞれ図4Aは「書籍」に、また、図4Bは「ジュース」にタグTGが付与されている例を示している。ユーザは、このようなタグTG付きの物品を持って環境内を移動しながら、ゲート型のタグリーダTGRのゲートを通過したら、タグリーダTGRが前記物品に付けられたタグTGを自動的に読み込み、読み込まれたタグTGの情報が、読み込まれた時刻とともに物品管理データベース102に蓄積される。なお、後の説明の便宜上、図3の「居間」には、図3に示すように、本棚(BS)、冷蔵庫(RF)、キッチンシステム(KS)、食卓(DT)、ソファ1(SF1)、ソファ2(SF2)、ローテーブル(LT)が設置されているものとする。
このようにして、タグ付けされた物品は、図31に示すように、物品名とそれに付与されたタグのIDがペアになって物品管理データベース102に蓄積される。この物品管理データベース102を参照することによって、タグリーダTGRでタグTGのIDを読み取ったときに、そのIDに相当する物品が何であるかが判定できることになる。もちろん、この物品管理データベース102には他の情報を追加して蓄積するようにしてもよい。他の情報とは、当該物品のカテゴリ、重さ、形状、色、などの情報である。
《物品管理データベース102》
物品管理データベース102は、前記物品検出装置101にて検出された物品の識別情報(ID)とその物品の検出場所(部屋内の検出位置)の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを、物品検出毎に、物品管理情報として格納する。図5A,図5Bは、本発明の前記第1実施形態による物品管理データベース102に含まれる物品管理情報の例を表形式で示した図で、物品管理データベース102とは、これら物品管理情報を集めたものである。ここでいう「物品」とは、ユーザが日常生活で使う持ち運び可能な物品(又はオフィスなどにおいて通常使用する持ち運び可能な物品)のことを言い、宅内にある家具や家電機器など(又はオフィスなどにおける机や書棚など)は物品ではなく、「機器」又は「設備」という呼び名で「物品」とは区別する。
さて、図5A,図5Bでは、それぞれ図4Aの「書籍」、図4Bの「ジュース」に対応した物品管理情報が示されている。例えば図4Aの「書籍」に関する物品管理情報としては、
・時刻19:29に「玄関」のタグリーダTGRで、
・時刻19:30に「居間」のタグリーダTGRで、
・時刻23:01に「居間」のタグリーダTGRで、
・時刻23:02に「書斎」のタグリーダTGRで、
それぞれ「書籍」が検出されたことが蓄積されている。また、図5Bの「ジュース」に関する物品管理情報としては、
・時刻19:29に「玄関」のタグリーダTGRで、
・時刻19:30に「居間」のタグリーダTGRで、
それぞれ「ジュース」が検出されたことが蓄積されている。これらは、それぞれのタグリーダTGRがそれぞれの物品のタグTGを検出し、タグリーダTGRが、それぞれの物品のIDを取得した都度、タグTGのIDと物品とをペアにした、タグTGのIDと物品の対応関係データベース(図31参照)の対応情報を参照して、前記タグTGのIDに相当する物品が何かを調べ、その結果を時間とともに物品管理データベース102に書き込む。タグTGのIDと物品の対応関係データベースは、タグリーダTGRが参照可能に配置されておればよく、物品管理データベース102とは別に配置してもよいし、物品管理データベース102内に物品管理情報を蓄積する領域又は部分とは別の領域又は部分に配置するようにしてもよい。もし新たな物品が外部から前記環境内に持ち込まれた際には、その新たな物品に相当する対応情報を物品管理データベース102内に新規作成する。この新規作成はユーザが入力装置109を使用して手作業で行ってもよい。また、詳細な説明は省くが、近年のタグシステムの技術の進歩により、このような新規作成操作は自動化も可能である。一方、既存の物品が廃棄されたことが認識できれば、当該物品に対応する物品管理情報は物品管理データベース102から削除すればよい。物品管理情報の削除は入力装置109を使用して手作業で行ってもいいし、また、ゴミ箱にタグリーダTGRを設置し、前記タグリーダTGRがタグTGを検出した場合には、タグリーダTGRにより、前記タグTGに対応する物品管理情報を物品管理データベース102から削除するようにしてもよい。
《人検出装置103》
人検出装置103は、タイマー手段120から出力された時刻の情報が入力されかつ人の位置を個人毎に区別して検出する結果、検出された人の識別情報(ID)とその人の検出場所の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを、単位時間毎に、人管理データベース103に出力する。一般に人の検出というと、例えば画像中に含まれる人を画像から切り出す場合や、ある環境にいる人の環境内での場所を求めるなど、いろいろな捉えられ方があるが、ここでは、環境内での人の位置座標を求めるという意味で用いる。そのための検出方法は各種提案されているが、本第1実施形態ではそのうち、重さセンサを使う方法、タグTGを使う方法、及び、画像を使う方法の3種類を以下に説明する。
<重さセンサを使う方法>
重さセンサを使って人の位置を検出する方法の一例を図6を用いて説明する。図6及び図32は、重さセンサWSENを使って人の位置を検出するためのシステム構成を示した概念図である。このシステムでは、人検出装置103は、重さセンサWSENと、重さセンサWSENからの出力情報が入力されかつ物品管理データベース102と接続可能なセンサ処理装置141とより構成される。
重さセンサWSENを使って人の位置を検出する場合、図6及び図32に示したように、重さセンサWSENを環境内の床に例えば格子状に敷き詰める。これら各重さセンサWSENは、人の足等によって加重がかかるとその値が出力されるようになっており、全てがセンサ処理装置141につながっている。センサ処理装置141は、予め各重さセンサWSENの座標を登録しておき、重さセンサWSENのデータを常にセンシングするようになされており、もし、ある重さセンサWSENに加重がかかっていることが検出された場合には、当該重さセンサWSENの置かれている座標をセンサ処理装置141により直ちに求める。
このようなシステムを用いて最も簡単に人の位置を知るには、加重がかかった重さセンサWSENの座標値をそのまま人の位置とすればよい。しかしながら、これでは複数人の人が環境内に居る場合にそれらが区別できないという問題もでてくる。このような問題に対応するためには、例えば重さセンサWSENの加重がほぼ等しいセンシングデータをグルーピングし、時間順に並べるなどの処理をセンサ処理装置141で追加すればよい。これにより、人検出の精度を高めることができる。
<タグTGを使う方法>
タグTGを使って人の位置を検出する方法の一例を、図7を用いて説明する。図7は、タグTGを使って人の位置を検出するためのシステム構成を示した概念図である。タグTGを使って人の位置を検出する場合は、人は環境内をタグリーダTGR付きの履き物(例えばスリッパ)142を履いて移動するという前提が許される場合に有効である。このシステムでは、人検出装置103は、タグTGと、タグTGを検出可能でかつ無線などにより物品管理データベース102と接続可能なタグリーダTGRとより構成される。
本方法では、まず、図7に示すように、タグTGを環境内の床に例えば格子状に敷き詰める。一方、履き物142には、床に敷き詰められたタグTGのID情報を読み取るためのタグリーダTGRが設置され、このタグリーダTGRには、前記ID情報と、前記ID情報を持つタグTGの置かれている場所の位置情報(例えば位置座標情報)とを対応づけた対応付け情報(図示しない)が格納されている。
このような構成の基で、人が環境内を歩くと、足を床に踏みつけた瞬間に履き物142についたタグリーダTGRが、その下にあるタグTGと通信して前記タグTGのID情報を読み取り、前記ID情報の値を前記対応付け情報に照らし合わせることで、人の位置を特定することができる。もちろん、これはあくまで一例であり、履き物142以外の他の場所にタグリーダTGRを付け、人の足以外の他の場所にタグTGをつけるという構成でもよい。例えば手首につけた腕時計に個人のIDが付与されたタグTGを埋め込めば、先ほど説明した物品検出装置101用タグリーダTGRで、人も検出することも可能となる。もし複数人の検出に対応させるためには、それぞれの人が所有するIDを区別してやればよい。なお、本例とは逆に、床にタグリーダTGRを敷き詰め、スリッパ142にタグTGを貼り付けるという構成でも人の検出は可能である。
<カメラ画像を使う方法>
カメラ画像を用いても、人の位置を検出することが可能である。その大まかな手順は、(ステップ1)画像中から人の切り出し、(ステップ2)カメラ画像における切り出した人の位置座標を世界座標系に変換する、というステップで行われる。
まず、ステップ1において、画像中からの人の切り出しであるが、これも様々な方法が開発されているが、ここではそのうち最も単純な背景差分という方法を説明する。
背景差分法とは、予め背景としてのモデル画像を用意しておき、現在の入力画像と前記モデル画像との差分を取ることで、処理する対象物を画像から得る方法である。
まず、背景画像の作成だが、例えば環境変動が無い場合は、環境内に人の全く存在しない一枚の画像を使ってもよいし、また、環境変動が激しい場合は、ある時間に連続して撮影された画像を平均して得られた画像を使っても良い。図8及び図9A〜図9Cは背景差分法を具体的に説明するための補助図である。図8はカメラ143を環境内に設置し、また、環境に世界座標系を設定したことを表した概念図、図9Bは前記背景画像の例を示した図、図9Aは、図9Bを撮影したのと同じカメラ143を用いて撮影されたある時点における入力画像(撮影画像)を示した図、図9Cは、図9Aの入力画像から図9Bの背景画像を差し引いて得られた背景差分画像に、当該環境の座標系を付加して示した図である。図9Cから分かるように、図9Aの入力画像には人144が含まれており、図9Bの背景画像には人144が含まれていないので、これら2枚の画像の差である図9Cの背景差分画像から人144が浮き出てくる。この浮き出た部分のみを取り出すことで、環境内の人144が検出できるという仕組みである。
こうして検出された人144については、画像処理によって画像中での人144の足元の座標を求めることが可能である。しかしながら、人検出装置103によって最終的に求めたいのは、人144の世界座標系における座標であるので、その方法を図10を用いて説明する。
図10は、カメラ画像における切り出した人144の位置座標を世界座標系に変換する計算を説明するための図である。図10において、Oを原点としX軸、Y軸、Z軸で構成された座標系は世界座標系で、この座標系において、人144の位置座標を(x,y,z)で表す。また、Oはカメラ143のレンズ中心を原点とするカメラ座標系で、この座標系において人144の位置座標を(x,y,z)で表す。また、(u,v)は、カメラ画像における人144の足元位置を検出した座標であるとする。以上の定義のもとで、(x,y,z)、(x,y,z)、(u,v)には、式(1),式(2),式(3)の関係が成り立つことが知られている。ここで、式(1)における(r,〜,r)は、カメラ座標系を構成する3つの軸周りの回転行列、また、(t,t,t)は、カメラ座標系の原点を世界座標系の原点に合わせるための平行移動ベクトルであり、カメラ143の外部パラメータと呼ばれるものの一部である。一方、式(2),式(3)におけるfはカメラ143の焦点距離を示すもので、カメラ143の内部パラメータと呼ばれるものの一部である。そして、これら外部及び内部パラメータは、カメラキャリブレーションという技術を用いて事前に求めることが可能である。
さて、カメラ画像における人144の足元位置を検出した座標(u,v)をこれらの式(1)〜式(3)に入力してできる連立方程式は、実世界での人144の足元位置を求めるには不十分である。なぜなら、前記連立方程式では(x,y,z)とOとを結ぶ直線上のどこかにある、という不定解しか得られないからである。従って、さらに実世界座標系においてz=0という拘束条件を付加してやることで、人144の位置座標(x,y,z)を求めることができる。この拘束条件は、人144の足元位置が床面(つまりz=0)になるように実世界座標系を決めていることに他ならない。
以上が、カメラ画像を使って人144を検出する方法の概要である。もしカメラ143内に複数人が検出されたならば、前記処理を個別に行えばよい。また、人検出装置103にカメラ画像を使う場合は、本発明の前記第1実施形態の他の構成要素である撮像装置111で撮影された画像を共用してもかまわない。このシステムでは、人検出装置103は、カメラ143と、カメラ143からの画像情報が入力されかつ前記背景差分処理並びに座標変換処理などの演算処理を行うことができかつ物品管理データベース102と接続可能な演算手段145とより構成される。
以上、人の検出方法の例として、重さセンサを使う方法、タグTGを使う方法、画像を使う方法の3種類を説明したが、いずれの方法も人を完全に検出することが保証されたものではない。従って、より高い精度の人検出を行うために、これらの方法を組み合わせて使用したり、また、これ以外の方法を用いたり、これらの方法とこれ以外の方法とを組み合わせてもかまわない。例えば、物品検出装置101で使われる手法と人検出装置103で使われる方法を互いに共用しても構わない。ここでは、それぞれの手段に適した方法の一例を紹介したまでであり、実際に本発明が適用される環境やコストに応じて組み合わせて使えばよい。
《人管理データベース104》
人管理データベース104は、前記人検出装置103にて検出された人の識別情報(ID)とその人の検出場所の情報と検出時にタイマー手段120から出力された時刻の情報(検出時刻情報)とを、単位時間毎に、人移動履歴情報(人管理情報)として格納する。図11A,図11Bは本発明の前記第1実施形態による人管理データベース104に含まれる人管理情報(例えば、人の識別情報、位置座標とその時刻などの情報を含む人移動履歴情報)の例を表形式で示した図で、人管理データベース104とは、これら人管理情報を集めたものである。本例ではそれぞれ図11Aのお父さん、図11Bのお母さんに対応した人管理情報(人移動履歴情報)が示されている。例えば図11Aのお父さんに関する人管理情報(人移動履歴情報)は、
・時刻19:29に「玄関」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data01に格納されていること、
・時刻19:30に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data02に格納されていること、
・時刻22:29に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data03に格納されていること、
・時刻22:30に「浴室」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data04に格納されていること、
・時刻22:59に「浴室」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data05に格納されていること、
・時刻23:00に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data06に格納されていること、
・時刻23:01に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data07に格納されていること、
・時刻23:02に「書斎」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data08に格納されていること、
・時刻23:29に「書斎」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data09に格納されていること、
・時刻23:30に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data10に格納されていること、
・時刻23:50に「居間」のタグリーダTGRを通過し、その後、次に検出されるまでの人移動履歴情報が履歴データMF−Data11に格納されていること、
がそれぞれ記載されている。図11Bのお母さんの例も同様であるので、説明は省略する。人移動履歴情報は、後の処理のために、人がタグリーダTGRを通過する毎に新たに人移動履歴情報が人管理データベース104に追加されるようにしておく。
なお、人管理情報(人移動履歴情報)と前記の物品管理情報との違いは、人管理情報には、単位時間毎に人の検出場所と検出時刻とが検出されてそれらの情報が人移動履歴情報として含まれている点である。この人移動履歴情報とは、実際に人が移動している様子を細かく検出し、その検出された情報(人の識別情報と場所(位置座標)とその時刻などの情報)が蓄積されたものであり、次に、図12を用いて人移動履歴情報の詳細を説明する。
図12は人移動履歴情報の例を表形式で示したものである。説明の都合上、図12の例はお父さんの人移動履歴情報(図11A)に含まれる「居間」での履歴データMF−Data02を示しているものとする。この履歴データMF−Data02は、お父さんが時刻19:30に「居間」のタグリーダTGRを通過した後、次の時刻22:29に「居間」のタグリーダTGRを通過するまでの人移動履歴情報が記載されている。表の各人移動履歴情報は、時刻、X座標値、Y座標値の3つの要素より構成されており、時刻は記録を開始してからの経過時間、X,Yの座標値は図2に示した見取り図の座標系における座標値をmm単位で示したものである。例えば、この図12の例では、お父さんが時刻19:30に「居間」のタグリーダTGRを通過した後、時刻1において座標(5766,2304)に居たことがこの表に記載されている。時刻の単位は省略しているが、これは情報記録の間隔はシステムの能力によって異なるためであり、システムの能力などに応じて適当に(例えば1秒間隔などと)決めればよい。
この人移動履歴情報に、様々な処理を施すことにより、いろいろな情報を得ることができる。その例を図13を用いて説明する。
図13の上側のグラフ(a)は、人移動履歴情報を参照し、連続する2つの時刻の間(以下、これを単位時間と呼ぶ。)での移動距離を計算し、その移動距離を縦軸に、横軸に時間をとってプロットしたグラフである。従って、この図13の上側のグラフ(a)では、縦軸の値が大きいものは単位時間での移動量が大きく、値が小さいものは単位時間での移動量が小さいことを表している。言い換えると、値の小さくないところが続いていると、その時間は移動していることが、また、値の小さいところが続いていると、その時間は滞留している((家屋内において)局所に(短時間)留まる)ということがわかるわけである。例えば、図13の上側のグラフ(a)の例では、横軸の少し上に横軸に並行して点線Aが描かれているが、単位時間の移動量がこの点線A以下の場合は、点線A以下が続いている部分をひと固まりとして「滞留」という定義をすると、図13の上側のグラフ(a)の例では図示しているように3つの「滞留」部分(すなわち、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」)があることが分かる。
この点線Aの縦軸での値をいくらにするかによって、「滞留」か移動かを判定する基準が変わってくるが、一番単純な方法としては、点線Aの縦軸での値を一定の値に固定するという方法が考えられる。しかし、人に応じて値を変更したり、また、当該人がどんな物品を扱っているかに応じて変更しても構わない。例えば、検出対象者が老人の場合や、検出対象物品が重い物品や壊れやすい物品を扱っている場合には、移動距離が小さい部分が連続していても、「滞留」ではなく移動中を意味することが多く、誤って「滞留」と判定しないためにも、そのような人の場合やそのような物品を扱っている場合には、点線Aの縦軸での値を、他の人又は物品の場合よりももっと小さくすることが望ましい。扱っている物品の情報は、物品検出装置及び物品管理データベースから得ることができる。また、検出対象者別に基準を変更するということは、検出対象者の通常の移動速度に応じて基準を決定するということである。即ち、通常の移動速度とある時点での移動速度との差異に着目していることにも相当する。また、人が存在する位置(例えば部屋単位)に応じて基準の値を変更しても構わない。例えば、図2で表されるような家全体を考えた場合、通常、廊下は移動し易いように障害物などが置かれていない場合が多いため、同じ人であっても、移動速度が大きくなり易い。居間の場合は、ソファ、テーブル、日常的に使う物品・小型家具などが置かれている場合が多いため、移動速度は小さくなり易い。浴室の場合は狭く滑りやすいため、さらに移動速度が小さくなる傾向がある。蓄積された人の移動履歴から部屋ごとの平均移動速度を計算し、その平均移動速度を基にして基準の値を決定することができる。なお、以上述べた、検出対象者別、検出対象物品別、部屋別の決定方法を自由に組み合わせて基準の値を決定してもよい。
前記人の移動履歴情報を検出して蓄積するとき、蓄積時刻間隔に比較して大きい移動速度で移動する人が局所領域にて繰り返し移動(回転、往復など)する場合、計測値における移動速度(蓄積時刻間の移動距離)が小さくなり、誤って「滞留」と判定されることがある。図36Aに、時刻とその時刻における人の実際の位置との関係を示すグラフPHを示す。また、図36Bに、時刻間隔Δtで蓄積した人の位置座標Pを示す。人の移動速度は、図36A,図36Bにおいて、それぞれ、線の傾きで表されるが、図36Bの線分(P−Pk+1)は、実際の移動速度よりも小さくなっている。よって、蓄積の間隔を、予め計測しておいた人の移動速度によって決定してもよい。なお、人が局所領域にて繰り返し移動をする場合を意図的に「滞留」に含めたい場合は、蓄積間隔を大きめにすればよい。
逆に、人が局所領域にて繰り返し移動をする場合を意図的に「滞留」に含めない場合には、蓄積間隔を小さくすればよい。例えば、日常の生活において、局所領域にて繰り返し移動をする具体的な例として、キッチンシステムの近くで、買い物してきて食品が入ったバッグ又はショッピングカートから、母と娘の二人が、食品を冷蔵庫や食品収納庫に入れたり、雑貨をテーブルなどに置いたりする場合を想定する。このような場合には、バッグ又はショッピングカートの位置と、冷蔵庫や食品収納庫やテーブルとの位置の間を母と娘が繰り返し移動することになるが、このような場合を意図的に「滞留」に含めないときには、蓄積時刻間隔を十分に小さくすればよい。
また、図13の下側の平面図(b)は、図2の見取り図から「居間」だけを取り出した見取り図に、図13の上側のグラフ(a)での人移動履歴情報をプロットした図である。もともと人移動履歴情報には時刻の情報が含まれているため、図13の上側のグラフ(a)と対応付けることが可能である。本例では、図13の上側のグラフ(a)の「滞留」部分を図13の下側の平面図(b)である見取り図に対応付けると(矢印付き点線を参照)、時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ1」の近辺で滞留していることが判定できる。
なお、本図13では、一人の移動履歴情報に関する例のみを示したが、もちろん2人以上の場合でも同様に処理すればよい。例えば図14の上側のグラフ(a)は、2人分のデータをプロットした図で、一人は図13のデータと同じ実線Bで示されており、もう一人のデータが一点鎖線Cで示されている。この一点鎖線Cのデータでは、最初だけ動きがあり、その後の動きが全くないことが示されてるが、それに対応した実空間での動きが図14の下側の平面図(b)で同じく一点鎖線Cで示されている。すなわち、この図14の下側の平面図(b)を見てみると、一点鎖線Cで示されるもう一人の人は、部屋に入った直後に「ソファ2」に座っていることから、図14の上側のグラフ(a)の結果と対応がとれていることが分かる。
このように人が移動した人移動履歴情報を分析した結果を用いて物品の位置を絞り込む点が本発明の前記第1実施形態の大きな特徴であり、その具体的な処理が、本発明の前記第1実施形態の構成要素である物品存在領域推定手段107及び物品位置候補重み付け手段108で行われる。その詳細は後ほど説明する。
《機器操作検出装置105》
機器操作検出装置105は、タイマー手段120から出力された時刻の情報(操作時刻情報)が入力されかつ機器操作を検出する結果、検出された各々の機器の識別情報(ID)とその機器の操作状態の情報(操作情報)と操作時にタイマー手段120から出力された時刻の情報(操作時刻情報)とを機器操作検出毎に機器管理データベース106に出力する。ここでいう「機器」とは、物品を閉じこめる態様で収納する機能を持つものと定義し、それ以外でかつ物品ではないものを「設備」と呼ぶことにする。例えば、図3の例では「本棚」、「冷蔵庫」が「機器」であり、また、「キッチンシステム」、「食卓」、「ソファ1」、「ソファ2」、「ローテーブル」が「設備」である。なお、「キッチンシステム」をさらに細かく区分して、「キッチンシステム」の収納棚や収納庫を「機器」とし、調理台を「設備」と捉えることも可能である。
機器操作を検出するためには様々な方法が考えられるが、本例では、簡単な接触センサTSENを用いた方法を説明する。
図15A,図15Bは、いずれも収納機能を持つ機器に対して、機器操作検出装置105が設置された機器の例を示した概念図である。図15A,図15Bにおいて、TSENと示されている部分が機器操作検出装置105の一例としてのセンサで、ここでは、接触センサTSENを使った例を示している。具体的には、図15Aでは、収納部に2つのタイプの開閉式のドア150,151があり、それらのドア150と固定支持枠153のそれぞれに接触センサTSENが設置された様子が、また、図15Bでは収納部に引き戸式のドア152があり、それのドア152側と固定枠154側のそれぞれに接触センサTSENが設置された様子が、それぞれ示されている。図15A,図15Bいずれの場合も、ドア150,151,152側の接触センサTSENと固定枠153,154側の接触センサTSENとが互いに接触する接触状態になると、収納部のドア150,151,152が閉まっている一方、ドア150,151,152側の接触センサTSENと固定枠153,154側の接触センサTSENが互いに離れた非接触状態になると、収納部のドア150,151,152が開いている、という具合に機器の状態を知ることができ、この状態が変化したときに機器の操作が行われたとみなし、その旨が機器管理データベース106に蓄積される。
ここでは、接触センサTSENの例を示したが、もちろんそれ以外のセンサ、例えば光学式の非接触センサを用いても良いし、センサ以外の手法を用いても構わない。
《機器管理データベース106》
機器管理データベース106は、前記機器操作検出装置105にて検出された各々の機器の識別情報(ID)とその機器の操作状態の情報(操作情報)と操作時にタイマー手段120から出力された時刻の情報(操作時刻情報)とを、機器操作検出毎に、機器管理情報として格納する。図16A,図16Bは、本発明の前記第1実施形態にかかる前記物品検索システムの機器管理データベース106に含まれる機器管理情報の例を表形式で示した図である。図16A,図16Bは機器として、「本棚」、「冷蔵庫」の例を挙げており、それぞれが独立した機器管理情報である。機器管理情報の内容としては、機器が操作された時刻の情報と、操作状態の情報(操作情報)として開閉のいずれかの情報が記載されている。本例は最も単純な例であるが、図15Aのように一つの機器に2つ以上の機器操作検出装置105が設置されている場合は、それぞれ独立して機器管理情報を用意すればよい。
《物品存在領域推定手段107》
物品存在領域推定手段107は、前記物品管理データベース102に格納された物品管理情報及び人管理データベース104に格納された人管理情報を(必要に応じて、さらに機器管理データベース106に格納された機器管理情報をも)参照し、人の移動領域を、検索対象の物品の物品存在領域であると、推定する。物品の存在領域の推定は、「課題を解決するための手段」の欄でも述べたように、人の動きと物品の存在場所には重要な相関関係があるはずという点に着眼して行う。これを、もう少し具体化すると、次に示す2つの原則に基づいて物品の位置が推定可能であるといえる。
(原則1)物品は、人の移動した経路上もしくはその周辺に存在する可能性が最も高く、人の移動経路から外れれば外れるほど存在する可能性は低くなる。
(原則2)物品を検出したい環境において、物品を検出する装置がいくつか配置されている前提のもとでは、それらの装置で検出された複数の物品検出情報のうちは新しい物品管理情報ほど信頼性は高い(その物品がある可能性が高い)。
これらの原則に基づいて物品存在領域を推定する場合の処理を次に説明する。図17は、物品存在領域推定手段107での処理の流れを示すフローチャートである。以下、本フローチャートに従い、物品の存在領域を推定する処理の流れを説明する。
ステップS1701において、ユーザが、位置を検出したい検出対象物品を入力装置109で指定し、入力装置109で指定された検出対象物品が物品存在領域推定手段107に入力される。
次いで、ステップS1702において、指定された検出対象物品に基づき物品管理データベース102の物品管理情報を物品存在領域推定手段107が参照して、前記指定された物品が最後に検出された時刻と場所を取得する。具体的には、前記物品の物品管理情報の最後の行(表形式の物品管理情報では最新の情報が記載されている行)を物品存在領域推定手段107が参照すればよい。これは前記(原則2)に従って行われる処理である。
次いで、ステップS1703において、物品存在領域推定手段107により人管理データベース104の人管理情報を参照して、前記時刻を含む所定の時間(前記時刻と同じ時間及びその前後の時間)内に、前記場所で検出されたすべての人を、前記指定された物品の取り扱いの候補者として物品存在領域推定手段107が取得する。前記時刻と同じ時間に検出された人のみならず、その前後の時間に検出された人も含めて検索する理由は、物品検出装置101と人検出装置103とで検出の処理自体に時間差が出る場合や、物品と人の間に距離があることにより物品検出装置101と人検出装置103とでの検出処理に時間差が出る場合にも対応できるようにするためである。物品と人の間に距離が生じる例として、物品が大きいなどの理由により、手を伸ばして物品を持っていたりする例や、カートなどの運搬器具に物品を載せて運んでいたりする例が考えられる。なお、前記、所定の時間(前後の時間幅)は、物品の識別情報(ID)や人の識別情報(ID)により可変にしてもよい。例えば、人が老人の場合や、物品が重量が重い物品、大きさが大きい物品の場合などは、移動速度が小さくなる可能性が考えられるため、前記時間幅を大きめにするとよい。よって、本明細書及び請求の範囲では、前記人と前記物品とが前記人検出装置と前記物品検出装置とで前記物品が最後に検出された時刻を含む所定の時間、すなわち、前記物品が最後に検出された時刻と同じ時間及びその前後の時間に検出される場合のことを、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出される場合と、必要に応じて言い換えることにする。
次いで、ステップS1704において、前記検出されたすべての候補者について、物品存在領域推定手段107が人管理データベース104の人管理情報を参照して、前記時刻と人の移動とが関連付けられた人移動履歴情報を取得する。
ステップS1703によって得られた人移動履歴情報が示す時刻順に人の位置座標をつないだ移動経路(言い換えれば、人の移動領域)が物品存在領域の推定結果であり、前記(原則1)に従った結果となっている。なお、ステップS1701において、位置を検出したい物品を指定するのが入力装置109であるが、この入力装置109としては、携帯端末やパーソナルコンピュータなどを使い、前記物品名を音声やキーボードによって入力するか、又は前物品リストを表示してその中から選択するなどの、従来の物品検索における入力方法を用いればよい。
次に、図5A,図5Bの物品管理データベース102及び図11A,図11Bの人管理データベース104を用い、ユーザがお父さんで、検索したい検出対象物品としてジュースが指定された場合を例として、具体的に物品存在領域推定手段107での処理が行われる様子を説明する。
ステップS1701において、お父さんが、入力装置109を使用して、位置を検出したい検出対象物品としてジュースを指定するように、物品存在領域推定手段107に入力する。
次いで、ステップS1702において、物品管理データベース102のジュースについての物品管理情報である図5Bの最後の行を参照し、前記指定されたジュースが最後に検出された時刻「19:30」と場所「居間」の情報をそれぞれ物品存在領域推定手段107により取得する。
次いで、ステップS1703において、人管理データベース103の図11A,図11Bの人管理情報を物品存在領域推定手段107により参照し、前記時刻「19:30」を中心に所定の時間内に、「居間」で検出されたすべての人を、前記指定された物品の取り扱いの候補者として物品存在領域推定手段107により取得する。ここでは、前記所定の時間を3分とすると、19:27から19:33までの間に「居間」で検出された人を人管理データベース104の図11A,図11Bの人管理情報から物品存在領域推定手段107により検索することになり、結果として時刻「19:30」に場所「居間」で検出された「お父さん」だけが物品存在領域推定手段107により取得される。
次いで、ステップS1704において、物品存在領域推定手段107により、前記検出された人管理情報に対応した図12の履歴データ「MF−Data02」を取得する。
図18は、このようにして得られた物品存在領域推定手段107による物品存在領域推定の結果を表形式で示したものである。本例で取得された履歴データは一つだけであるが、当該物品を持って移動した可能性のある人が複数人居れば、それら複数人に対応する履歴データを全て取得すればよい。
以上が物品存在領域推定手段107での物品存在領域推定処理であり、これにより得た履歴データを前記環境の見取り図上に物品存在領域推定手段107によりマッピングした結果(例えば図13の下側の平面図(b)の画像)などを表示装置110にて提示するだけでも十分に役に立つ。すなわち、ユーザは画面に示された自身の過去の移動経路を見て、その経路を順にトレースするか、もしくはその経路上の近辺にある機器又は設備を見ながら、物品を探していくことができるわけである。目的の物品を探す場所が部屋全体ではなく、自身の過去の移動経路近辺に絞り込まれるので、探す手間が非常に効率化されることが期待できる。
一方で、本発明の前記第1実施形態による履歴データのさらなる詳細分析結果や、機器操作などの情報を用いることで、探している物品が、自身が過去に移動した経路上のどこにある可能性が高いか、までも絞り込むこと、言い換えれば、物品位置候補の重み付け処理が可能である。以下では、その処理を行う物品位置候補重み付け手段108について詳細に説明する。
《物品位置候補重み付け手段108》
物品位置候補重み付け手段108は、前記物品管理データベース102に格納された物品管理情報又は人管理データベース104に格納された人管理情報又は機器管理データベース106に格納された機器管理情報を参照して、前記物品存在領域推定手段107によって推定された複数の前記物品存在領域に対して、前記物品の存在する可能性の高い物品存在領域の重みが高くなるように重み付けを行う。言い換えると、直前で説明した物品存在領域推定手段107によって物品の位置をある程度絞り込んだ中から、さらに存在の可能性が高い物品存在領域を絞り込むこととも言える。本発明の前記第1実施形態では、この物品存在可能性の高い低いを行うことを「物品位置候補の重み付け」と呼ぶことにする。この重み付けにあたっては色々な方法が考えられるが、前記(原則1)、すなわち、人の動きと物品の位置とに関連性があるという考え方をさらに踏み込んで考えると、2つの適当な絞り込みの方法が考えられる。一つ目の絞り込みの方法は、物品を人が置いたり取ったりするときには、人の移動速度は低下もしくはゼロになるという一般的な観察結果から、この結果を活用する方法である。もう一つの絞り込みの方法は、同じく物品を人が置いたり取ったりするときには、前記物品を格納する(又はしていた)機器の操作を行うことが多いため、この機器の操作情報(例えば、操作の有無の情報)を活用する方法である。これら2つの方法と本発明の前記第1実施形態との関連付けは、前者は本発明の第3態様に、後者は本発明の第8態様にそれぞれ対応している。
以下で、これら各方法の処理例を順に説明する。
一つ目の方法は、人がゆっくり動いていればいるほど(極端な場合止まっていれば)、そこで物品を扱っている可能性が高いとする考えに基づいている。
この考えに基づき、図19は、物品位置候補重み付け手段108による、人の移動速度を用いて重み付けを行う処理をフローチャートの形式で示した図である。
ステップS1901において、検索対象物品を取り扱った人の履歴データは物品存在領域推定手段107で得ることができるので、前記履歴データを使って前記人の移動速度を物品位置候補重み付け手段108により計算する。移動速度の計算は、例えば図12の例の履歴データでは各時刻の位置座標値から単位時間に移動した距離が計算できるため、この距離を単位時間で物品位置候補重み付け手段108により割ることにより、簡単に求めることができる。
次いで、ステップS1902において、物品位置候補重み付け手段108により求められた移動速度が、所定値(しきい値)以下の場所群を人の滞留状態として物品位置候補重み付け手段108により抽出し、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内に重み付けリストとして登録する。
次いで、ステップS1903において、物品位置候補重み付け手段108により、前記重み付けリストから場所を、まず、一つ選ぶ。
次いで、ステップS1904において、物品位置候補重み付け手段108により、ステップS1903で選んだ場所において、
・当該場所での平均移動速度と、
・当該場所の中心位置座標と、
の2項目を物品位置候補重み付け手段108により計算する。中心位置座標の計算としては、物品位置候補重み付け手段108により、前記しきい値以下の滞留状態中の位置座標の例えば平均を求めるなどすればよい。一つ目の平均移動速度は重み付けの指標に、また、もう一つの中心位置座標は、ユーザに物品の場所を提示する時に、それぞれ用いる。前記計算結果は、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに登録する。
次いで、ステップS1905において、ステップS1902で抽出した各々の場所について、ステップS1904をまだ行っていない場所があれば、ステップS1906に進み、ステップS1904をまだ行っていない場所が無ければステップS1907に進む。
ステップS1906においては、ステップS1902で抽出した各々の場所について、ステップS1904をまだ行っていない場所を前記リストから一つ選び、ステップS1904を繰り返したのち、ステップS1905に進む。
一方、ステップS1907においては、ステップS1902で抽出された全ての場所について、ステップS1904で計算された平均移動速度の低い方から、優先順位を高く、物品位置候補重み付け手段108により、重み付けをする。これは、人がゆっくり動いていればいるほど(極端な場合止まっていれば)、そこで物品を扱っている可能性が高いとする考えに基づいている。前記重み付け結果は、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに登録する。
次に、具体例によって処理を説明する。例としてここでは物品「ジュース」を検索するという前提で、物品存在領域推定手段107での物品存在領域推定処理にて図12の履歴データMF−Data02を得て、物品位置候補重み付け手段108での物品位置候補重み付け処理を行う様子を取り上げる。
ステップS1901において、人の履歴データMF−Data02から、前記人の移動速度を物品位置候補重み付け手段108により計算する。その計算結果が示されたのが前述のグラフ(図13の上側のグラフ(a))である。
次いで、ステップS1902において、物品位置候補重み付け手段108により求められた移動速度が所定値(しきい値)以下の場所群を人の滞留状態として物品位置候補重み付け手段108により抽出し、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内に重み付けリストとして登録する。本例では、図13の上側のグラフ(a)から3つの滞留部分があることが判定できる。これらは見取り図にプロットした図13の下側の平面図(b)と関連付けると、それぞれ時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ1」の近辺で滞留していることが判定できるので、便宜的にここでは、各滞留状態を、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」と呼ぶ。
次いで、ステップS1903〜ステップS1906の処理によって、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」の滞留状態での、
・平均移動速度と、
・中心位置座標と、
の2項目をそれぞれ物品位置候補重み付け手段108により計算する。前記計算結果は、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに登録する。
次いで、ステップS1907において、前記計算結果により、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」の重み付けが物品位置候補重み付け手段108により行われる。
図20は、このようにして得られた物品位置候補重み付けの結果を表形式で示したものである。表は、抽出された3つの滞留状態に対して、左から順に、
・当該場所での平均移動速度と、
・当該場所の中心位置座標(本例では、その座標が部屋のどの場所かを示す場所名を付記)と、
・重み付け結果(順位を表している)と、
からなっており、それぞれ図19のステップS1904、ステップS1907の結果が、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに格納されている。
なお、重み付けを行うための情報として、併せて人の滞留時間を利用してもよい。これは、人が物品を置いたり取ったりするときには、人の移動速度が低下もしくはゼロになるという知見の他に、物品の取扱にはある程度の時間がかかるという知見も利用するものである。例えば、平均移動速度が最小の場合でも、その滞留状態が持続する時間がわずかである場合は、物品の取扱が行われなかった可能性が高いとして、候補順位から外してもよい。この滞留時間に対するしきい値は、物品の取扱者(検出対象者)や取り扱う物品(検出対象物品)のID、場所に応じて決定することができる。例えば取扱者が老人の場合や、取り扱う物品が重い物又は壊れ易い物の場合は、物品の取扱時間が長くなることが予想されるので、しきい値を大きめにする。また、扉付きの収納機器がある場所では、扉の開閉にも時間を要するため、滞留の時間が長くなることが予想される。その場合もしきい値を大きめにする。一方、滞留の時間が長い場合は(ソファなどでの滞留の時間が長い場合)、取扱者が休息している可能性が考えられるため、特に情報として利用しなくてもよい。
また、取扱者の滞留の前後での平均移動速度の差に応じても重み付けを行うことができる。重量が重い物品、壊れ易い物品、又は、液体の入った容器などを取扱者が持っている場合、取扱者の移動速度が低下する場合が多い。よって、滞留前の所定の時間帯における平均移動速度よりも、滞留後の所定の時間帯における平均移動速度が大きければ、持ち運んでいた物品を取扱者が手放した可能性が大きいと考えることができる。この考えを利用して物品位置候補重み付け手段108により行うアルゴリズムを、図37のフローチャートを用いて説明する。
ステップS3701〜S3704の処理は、物品位置候補重み付け手段108による、図19におけるステップS1901〜S1904の処理とそれぞれ同様であるため、説明を省略する。
ステップS3705では、物品位置候補重み付け手段108により、当該場所の直前及び直後の所定時間帯における平均移動速度Vbef, Vaftを計算する。ステップ3705での処理結果を、横軸:時刻,縦軸:移動速度のグラフ上で見ると、図38のようになる。図38は、取扱者の一例として、ある人物における、時刻に対する移動速度の変化のグラフVHを表している。移動速度のしきい値TH以下の時刻に対応する移動履歴データが「滞留」と、物品位置候補重み付け手段108により判定されている。ここで、物品位置候補重み付け手段108により、滞留の直前及び直後における所定時間帯を決定する時間幅として滞留時間の長さを用いている。もちろん、予め定めた所定の値でもよい。
ステップS3706では、ステップS3702で抽出した各々の場所について、物品位置候補重み付け手段108によるステップS3704及びS3705をまだ実行していない場所があれば、ステップS3707に進み、実行していない場所が無ければステップS3708に進む。
ステップS3707では、物品位置候補重み付け手段108が、ステップS3702で抽出した各々の場所について、ステップS3704及びS3705をまだ行っていない場所を前記リストから一つ選び、ステップS3704及びS3705を繰り返した後、ステップS3706に進む。
ステップS3708では、ステップS3702で抽出した各々の場所について、(Vaft―Vbef)の値が大きいほうから優先順位を高く、物品位置候補重み付け手段108により、重み付けをする。
なお、業務用などで物品を急いで運ぶ必要がある場合は、物品を置いた後の方が移動速度が小さくなることもある。このような場合にも対応しようとすれば、(Vaft―Vbef)の絶対値を物品位置候補重み付け手段108により計算すればよい。
なお、これまで説明した、平均移動速度、滞留時間、滞留時間前後での平均移動速度の差、の2つ以上を組み合わせて用いることも可能である。滞留時間は、先に述べたように滞留時間がしきい値TH未満であれば、候補順位から外すことにより用いることができる。また、平均移動速度と、滞留時間前後での平均移動速度の差とを組み合わせて用いる場合は、例えば、次の(数1)のような評価式を用いることにより、評価値Sが大きい順に候補順位を物品位置候補重み付け手段108により設定することで実現できる。
Figure 0004006471
ここで、v:平均移動速度、Vaft:滞留時間後の平均移動速度、Vbef:滞留時間前の平均移動速度α、βは重み係数である。α、βは事前実験により予め定めておくものとする。
なお、複数の人物が取扱者として存在する場合、複数の人物間で取扱物品の受け渡しを行う可能性がある。本発明はこの場合についても対処可能である。図39A及び図39Bを利用して、物品の受け渡しを行う場合について説明する。
図39Aのグラフは、取扱者の例として2人の人物H1、H2の移動速度の時間変化を示している。人物H1はステップS1703にて検索対象物品の取扱候補者として選択された人物、人物H2は前記ステップS1703にて検索対象物品の取扱候補者として選択されなかった人物であるとする。THは滞留であるか否かを物品位置候補重み付け手段108により判定するための移動速度に関するしきい値であり、人物H1,H2共に、しきい値TH以下の移動速度で、ある時刻で滞留していると物品位置候補重み付け手段108により判定することができる。図39Bは、2人の人物H1,H2の移動経路を部屋の見取り図上に重ねて表示したものであり、図39Aの滞留時刻では、2人の人物H1,H2共に図39Bのソファ1の近辺に存在していることが物品位置候補重み付け手段108により判定される。即ち、人物H1とH2は同一時刻及び同一場所において滞留しており、この時、物品の受け渡しが発生した可能性がある、と物品位置候補重み付け手段108により判定する。人物H1は検出対象物品の取扱候補者であるので、人物H1からH2へ受け渡しが発生した可能性がある、と物品位置候補重み付け手段108により判定する。人物H2が取扱候補者でない場合は新たに取扱候補者に準じた扱いをする必要があり、人物H2の受け渡し発生以降の移動経路においても、検索対象物品の存在の可能性がある、と物品位置候補重み付け手段108により判定するものである。
以下、図40のフローチャート及び図41のデータを利用して、受け渡しの可能性を考慮した物品存在領域推定手段107での処理について説明する。なお、特に明記しない場合、各ステップの動作主体は物品存在領域推定手段107である。
《物品存在領域推定手段107》
ステップS4001からステップS4003までの処理は、ステップS1701からステップS1703までの処理と同様である。ステップS4001において、ユーザが、位置を検出したい検出対象物品を入力装置109で指定し、入力装置109で指定された検索対象物品が物品存在領域推定手段107に入力される。
次いで、ステップS4002において、物品存在領域推定手段107は、指定された検索対象物品に基づき物品管理データベース102の物品管理情報を参照して、前記指定された物品が最後に検出された時刻と場所(部屋内の位置)を取得する。図41は、前記指定された物品が最後に検出された場所における検出結果を時系列で表現しているものであり、前記指定された物品が最後に検出された時刻がTxであることを示している。
次いで、ステップS4003において、物品存在領域推定手段107は、人管理データベース104の人管理情報を参照して、前記時刻Txを含む所定の時間帯TZ1内に、前記場所で検出された全ての人を、前記指定された物品の取り扱いの候補者(以下、取扱候補者)として取得する。図41では、人物H3(検出対象の部屋に時刻T1に入室。)と人物H4(当該部屋に時刻T2に入室。)が、物品の取扱候補者として取得される。
次いで、ステップS4004では、物品存在領域推定手段107は、人管理データベース104の人管理情報を参照して、ステップS4003で取得された候補者(人物H3、人物H4)が、ステップS4002で取得された場所で1度目(即ち入室時)に検出された時刻(時間帯TZ1内)から2度目(即ち退出時)に検出された時刻までの間に前記場所で検出された全ての人を、物品の受け渡しを受けた候補者(以下、受渡候補者)として取得し、受渡候補者リストを作成する。図41では、物品存在領域推定手段107は、時間帯TZ1の間に検出された候補者(人物H3、人物H4)のうち人物H3が最後に退出した時刻T5までの時間帯TZ2の間に、検出された人物H5(入室及び退室は問わない。)を物品の受渡候補者として取得し、受渡候補者リストに入れることになる。
次いで、ステップS4005では、物品存在領域推定手段107は、ステップS4003で取得された取扱候補者の全て、及び、ステップS4004で取得された受渡候補者の全てについて、人管理データベース104の人管理情報(人移動履歴情報)を参照して、前記時刻と人の移動とが関連づけられた人移動履歴情報(履歴データ)を取得する。
次いで、ステップS4006では、ステップS4005で取得された取扱候補者の履歴データから、前記人(取扱候補者)の移動速度を物品存在領域推定手段107により計算する。移動速度の計算は、ステップS1901での処理と同様であるため説明を省略する。
次いで、ステップS4007では、物品存在領域推定手段107は、前記取扱候補者の移動速度が所定以下である(時刻,場所)の組み合わせデータを、滞留点として滞留点リストに登録する。図12で表される人移動履歴データの場合、前記滞留点リストの要素(言い換えれば、移動履歴情報の要素)は(時刻,X座標値,Y座標値)の3次元データとなる。
次いで、ステップS4008では、物品存在領域推定手段107は、ステップS4004で作成された受渡候補者リストから候補者を1人選択する。
次いで、ステップS4009では、物品存在領域推定手段107は、ステップS4008で選択された候補者について、ステップS4005で取得された履歴データを参照し、前記人(選択された候補者)の移動速度を計算する。移動速度の計算は、ステップS1901での処理と同様であるため説明を省略する。
次いで、ステップS4010では、物品存在領域推定手段107は、前記候補者の移動速度が所定以下である(時刻,場所)の組み合わせデータを滞留点として全て抽出し、前記滞留点の各々を前記滞留点リストに登録された滞留点の各々と比較する。この比較においては、同時刻における場所同士が所定の距離以内であるかどうかの判定を物品存在領域推定手段107により行い、同時刻における場所同士が所定の距離以内であるものがある場合は、ステップS4011に進む。同時刻における場所同士が所定の距離以内であるものがなければ、ステップS4012に進む。なお、前記所定の距離、すなわち、距離のしきい値としては、人物間が物品の受け渡しを行える距離か否かを判定基準にして決定することができる。例えば、人が物品を受け渡しするときに腕を伸ばしたりすることから、人の腕の長さを基準にすることができる。人の腕の平均的な長さを使用することもできるし、人検出装置103により人のIDが取得されている場合には、取得されたIDを基に人管理データベース104に格納されている人の腕の長さなどを基にして決定することもできる。勿論、人の位置のセンシング結果に誤差が重畳されている可能性もあるため、誤差を考慮して前記しきい値を決定すればよい。以上は、移動履歴を記録する際の時刻が、複数の人物間で同期している場合について説明を行ったが、同期していない場合は、時刻差が所定のしきい値(時刻が同時的であるとみなせる範囲)内であるデータ同士を比較すればよい。
ステップS4011では、物品存在領域推定手段107は、選択された候補者の履歴データについて、滞留点リストに登録された滞留点と比較して、同時刻における場所同士が所定の距離以内である滞留点が複数存在する場合は、最も時刻が早い滞留点以前の履歴データ全てに不使用フラグを付与する。これは、受渡候補者の履歴データについて、受け渡しが発生した可能性のある時刻以前の場所には検索対象物品は存在し得ないという知見を物品存在領域推定処理に反映させたものである。その後、ステップS4013に進む。
ステップS4012では、物品存在領域推定手段107は、受渡候補者リストから現在選択されている候補者を削除する。これは、現在選択されている候補者の履歴データが取扱候補者の履歴データと場所及び時間の重複を持たないため、物品の受渡が発生しないという知見を物品存在領域推定処理に反映させたものである。その後、ステップS4013に進む。
次いで、ステップS4013では、物品存在領域推定手段107は、候補者リストに登録された全員について、S4010の処理を終了したか否かのチェックを行う。Yesの場合(S4010の処理を終了した場合)は、本物品存在領域推定処理を終了し、Noの場合(S4010の処理を終了していない場合)は、ステップS4014に進む。
ステップS4014では、物品存在領域推定手段107は、受渡候補者リストに登録された各々の人について、ステップS4010の処理が未だの人を受渡候補者リストから1人選択し、ステップS4009に戻る。
以上が、物品の受け渡しを考慮した場合の、物品存在領域推定手段107での物品存在領域推定処理であり、これにより得た、取扱候補者及び受渡候補者の履歴データを前記環境の見取り図上に物品存在領域推定手段107によりマッピングした結果などを表示装置110にて提示することで、ユーザが移動経路(言い換えれば、人の移動領域)沿いの近辺について、検出対象物品を探すことができる。
図42A、図42B、図42Cに、前記物品存在領域推定処理に用いるデータと表示結果の例を示す。図42Aは、2名の人物H1,H2の移動速度の変化を表したデータ(図42Aの実線は人物H1のデータ、点線は人物H2のデータ)である。人物H1は、ステップS4003にて物品の取扱候補者として選択された人物であり、人物H2は、ステップS4003にて物品の取扱候補者として選択されなかった人物であるが、ステップS4004にて受渡候補者として選択された人物である。THは滞留かどうかを物品位置候補重み付け手段108により判定するための移動速度に関するしきい値であり、図42Aにおいて、時間帯T、Tj+1、Tj+2に含まれるデータがそれぞれ滞留点であると物品位置候補重み付け手段108により判定されている。時間帯Tにおけるデータは、人物H1及び人物H2の両方が滞留点を含んでいる。時間帯Tj+1におけるデータは、人物H1のみが滞留点を含んでいる。時間帯Tj+2におけるデータは、人物H2のみが滞留点を含んでいる。また、図42Bは、同じく2名の人物H1,H2の移動軌跡データを部屋の見取り図に重ねて表現した図である。時間帯Tに対応する人物H1の移動軌跡(図42Bの実線)、及び、人物H2の移動軌跡(図42Bの点線)は共に場所群Pを通過しており、時間帯Tj+1に対応する人物H1の移動軌跡は場所群Qを通過しており、時間帯Tj+2に対応する人物H2の移動軌跡は場所群Rを通過している。ステップS4010において、場所群Pに含まれる、同時刻に対応する、人物H1及びH2の滞留点が、互いに所定内の距離であると物品存在領域推定手段107により判定された場合、人物H2の移動履歴データに関しても、物品が存在する可能性があるとして最終的に物品存在領域推定手段107により選択される。最終的に、表示装置110に提示される移動軌跡は、図42Cのようになる。ここで、人物H2の移動履歴データにおける時間帯T以前のデータに関しては不使用フラグが物品存在領域推定手段107により付与されるため、表示装置110での表示からは除外される。このように、受渡候補者の履歴データにおいて不使用フラグが付与されているデータに関しては、表示装置110において非表示とすることで、物品の存在の可能性がない領域をユーザに提示するのを避けることができる。
以上のように、受け渡しを考慮することで、物品の受け渡しを受けた可能性がある人物の移動経路(言い換えれば、人の移動領域)も同時に表示されるので、受け渡しを受けた他人の移動経路(言い換えれば、他人の移動領域)も探すことができる。
同様にして、受け渡しの可能性を考慮した物品位置候補の重み付けも行うことができる。以下、図43のフローチャートを利用して、受け渡しの可能性を考慮した物品位置候補重み付け手段108での重み付け処理について説明する。なお、特に明記しない場合、各ステップの動作主体は物品位置候補重み付け手段108である。
《物品位置候補重み付け手段108》
まず、ステップS4301において、物品位置候補重み付け手段108は、物品存在領域推定手段107(図40のフローチャート)で取得した、取扱候補者の滞留点データ、及び、受渡候補者の滞留点データ(不使用フラグが付与されているものを除外)を用意し、同一人のデータであり、かつ、場所及び時刻が近接しているデータ集合を、滞留状態として重み付けリストに登録する。重み付けリストは、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内に設ける。場所及び時刻が近接しているか否かの判定には、例えば、場所同士の距離が所定のしきい値内であるかどうか、及び、時刻同士の時間差が所定のしきい値内であるかどうかを利用すればよい。
次いで、ステップS4302において、物品位置候補重み付け手段108は、前記重み付けリストから滞留状態を、まず、一つ選ぶ。
次いで、ステップS4303において、物品位置候補重み付け手段108は、ステップS4302で選んだ滞留状態において、
・当該滞留状態での平均移動速度と、
・当該滞留状態の中心位置座標と、
の2項目を計算する。中心位置座標の計算としては、前記しきい値以下の滞留状態中の位置座標の例えば平均を物品位置候補重み付け手段108により求めるなどすればよい。一つ目の平均移動速度は重み付けの指標に、また、もう一つの中心位置座標は、ユーザに物品の場所を提示する時に、それぞれ用いる。前記計算結果は、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに登録する。
次いで、ステップS4304において、物品位置候補重み付け手段108は、前記重み付けリストに登録された各々の滞留状態について、ステップS4303をまだ行っていない滞留状態があれば、ステップS4305に進み、ステップS4303をまだ行っていない滞留状態が無ければ、ステップS4306に進む。
ステップS4305においては、物品位置候補重み付け手段108は、前記重み付けリストに登録された各々の滞留状態について、ステップS4303をまだ行っていない滞留状態を前記重み付けリストから一つ選び、ステップS4303に戻る。
一方、ステップS4306においては、物品位置候補重み付け手段108により、前記重み付けリストに登録された全ての滞留状態ついて、ステップS4303で計算された平均移動速度の低い方から、優先順位が高くなるように重み付けを行う。これは、人がゆっくり動いていればいるほど(極端な場合、人が止まっていれば)、そこで人が物品を扱っている可能性が高いとする考えに基づいている。前記重み付け結果は、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストに登録される。
図44A、図44B、図44Cに、前記受け渡しの可能性を考慮した物品位置候補重み付け手段108での重み付け処理に用いるデータと表示結果の例を示す。図44A、図44Bはそれぞれ図42A、図42Bと同一である。図44Cは、ステップS4306での処理を実行したことにより求められた優先順位を、対応する場所に表示したものである。この場合、ステップS4306の優先順位の重み付けの結果として、「場所群Pでの平均移動速度<場所群Rでの平均移動速度<場所群Qでの平均移動速度」であることから、優先順位が最も高いのは場所群Pであり、次いで、場所群R、場所群Qの順であることがわかる。物品の受け渡しを考慮しない場合は、物品が存在する可能性がある場所として、物品の取扱候補者である人物H1の移動履歴上の場所群P,Q付近しか選ばれない(場所群Rは、人物H1の移動履歴上に無いため選ばれない)が、物品の受け渡しを考慮した場合は、物品の受渡候補者である人物H2の移動履歴上の場所群R付近も選択される(場所群Rは、人物H1の移動履歴上に無いが、場所群Rの付近を人物H1が移動しているため選ばれる)ことになる。
以上が、物品の受け渡しを考慮した場合の、物品位置候補重み付け手段108での物品存在領域推定処理である。これにより得た物品存在領域を前記環境の見取り図上に物品存在領域推定手段107によりマッピングした結果(例えば図44C)などを、表示装置110にて提示することで、ユーザが、自分が移動した経路上の候補場所だけでなく受け渡しが行われた可能性がある人の経路上の候補場所についても物品を探すことができる。
最初に物品を取り扱っていた本人が、途中で他の人物に物品を渡したことを失念した場合でも、以上の処理を行うことにより、受け渡しを受けた可能性のある人物の移動軌跡上の場所においても物品の存在場所の候補として提示することが可能である。
なお、重量の大きい物品や壊れ易い物品などを持ち運んでいる場合には、何も持ち運んでいない場合に比べて、人の移動速度が低下することが多い。このことを利用して、人物間の物品の受け渡しがどれくらいの確からしさで行われたかどうかの評価を行い、ステップS4306での物品位置候補重み付け手段108による重み付けに反映させることもできる。
例えば、図45A、図45B、図45Cのような、2人の人物H1、H2の移動履歴を考慮する。人物H1は取扱候補者、人物H2は受渡候補者である。図45Aは、2人の人物H1,H2の移動速度の時間変化を表したデータ(図45Aの実線は人物H1のデータ、点線は人物H2のデータ)を示している。ここで、THは滞留と物品位置候補重み付け手段108により判定するための移動速度に関するしきい値である。時間帯S2,S4,S5が滞留状態であると物品位置候補重み付け手段108により判定される。時間帯S1、S3については後述する。図45Bは、図45Aのグラフを基にして、時間帯S1〜S5における人物H1,H2の平均移動速度VH1,VH2を物品位置候補重み付け手段108によりそれぞれ求め、それを表にしたものである。図45Cは、2人の人物H1,H2の移動軌跡を部屋の見取り図上に重ねて表示したものである。時間帯S2における、人物H1,H2の場所が、共通に場所群Pに対応していることが物品位置候補重み付け手段108により判定できる。2人物間で、その時刻及び場所においてそれぞれ重複のある滞留状態である時間帯S2が存在するので、滞留状態である時間帯S2にて人物H1から人物H2へ受け渡しが行われた可能性があることが物品位置候補重み付け手段108により判定できる。
ここで、共通の滞留状態である時間帯S2の前後における、人物H1,H2それぞれの移動速度の変化について注目する。図45Aから、人物H1に関しては、滞留状態である時間帯S2より前の移動速度と比較して、滞留状態である時間帯S2より後の移動速度が増加しており、人物H2に関しては、滞留状態である時間帯S2より前の移動速度と比較して、滞留状態である時間帯S2より後の移動速度が減少していることが判定できる。本処理はこの事実も利用して、人物H1から人物H2への物品の受け渡しが行われた可能性が大きいということを利用するものである。
また、重量の大きい物品や壊れ易い物品などを持ち運んでいる場合のみ、このような速度変化が生じると考えれば、物品検出装置101で検出された物品ID及び物品管理データベース102に格納された物品情報(例えば重量や壊れ易さなどの付帯情報)を利用してもよい。即ち、重量が大きい物品や壊れ易い物品の場合のみ以下の処理を実行することも可能である。
以下、図46のフローチャートを利用して、物品位置候補重み付け手段108による、滞留状態前後の移動速度変化を重み付けに反映する処理について説明を行う。なお、特に明記しない場合、各ステップの動作主体は物品位置候補重み付け手段108である。
まず、ステップS4601にて、物品位置候補重み付け手段108は、物品存在領域推定手段107(図40のフローチャート)で取得した、取扱候補者の滞留点データ、及び、受渡候補者の滞留点データ(不使用フラグが付与されているものを除外)を用意し、同一人のデータであり、かつ、場所及び時刻が近接しているデータ集合を、滞留状態として、物品位置候補重み付け手段108により、重み付けリストに登録する。この処理は、図43のフローチャートにおけるステップS4301における処理と同様であるため、説明を省略する。
次に、ステップS4602にて、S4601で取得した滞留点データに対応する取扱候補者、受渡候補者全員の履歴データを物品位置候補重み付け手段108により取得する。履歴データの取得に関しては、図40のフローチャートにおけるステップS4005と同様であるため、説明を省略する。
次に、ステップS4603にて、物品位置候補重み付け手段108により、ステップ4601で作成した重み付けリストから滞留状態を1つ選ぶ。本処理は、図43のフローチャートにおけるステップS4302と同様であるため説明を省略する。
次に、ステップS4604において、物品位置候補重み付け手段108により、ステップS4603で選択された滞留状態について、
・当該滞留状態での平均移動速度、及び、
・当該滞留状態の中心位置座標(人の滞留位置座標)
を計算する。本処理は、図43のフローチャートにおけるステップS4303と同様であるため説明を省略する。
次に、ステップS4605において、選択されている滞留状態が、取扱候補者と受渡候補者において共通のものであるか否かを、物品位置候補重み付け手段108により判定する。この判定に際しては、両滞留状態に含まれる滞留点が、図40のフローチャートにおけるステップS4010で用いた判定基準を満たすかどうかを利用することができる。取扱候補者と受渡候補者において共通であると物品位置候補重み付け手段108により判定された場合は、ステップS4606に進み、共通でないと判定された場合は、ステップS4607に進む。
ステップS4606では、物品位置候補重み付け手段108により、取扱候補者及び受渡候補者の履歴データにおける、滞留状態である時間帯の時間的前後において、平均移動速度を計算する。例えば、図45Aの履歴データ(移動速度の時間変化)において、人物H1及び人物H2の履歴データに関して、共通の滞留状態である時間帯S2の長さと同じ長さの分だけ、時間帯S2の以前に時間帯S1を、時間帯S2の以後に時間帯S3を、物品位置候補重み付け手段108により、それぞれ設定する。これらの時間帯の長さは、共通である滞留状態の時間帯S2の長さではなく、予め定めた所定の値でもよい。次に、前記設定された時間帯S1及びS3における、取扱候補者及び受渡候補者全員(図45Aでは人物H1及びH2)の平均移動速度を物品位置候補重み付け手段108により計算する。計算された結果は、図45BのVH1,S1、VH2,S1、VH1,S3、VH2,S3になったとする。即ち、人物H1における、滞留状態である時間帯S2の直前及び直後の所定時間帯S1,S3における平均移動速度が、それぞれVH1,S1,VH1,S3のように物品位置候補重み付け手段108により計算され、同様に、人物H2における、滞留状態である時間帯S2の直前及び直後の所定時間帯S1,S3における平均移動速度が、それぞれVH2,S1,VH2,S3のように物品位置候補重み付け手段108により、計算されている。その後、ステップS4607に進む。
ステップS4607では、前記重み付けリストに登録された各々の滞留状態について、S4604の処理を終了したか否かについて判定を物品位置候補重み付け手段108により行う。S4604の処理が終了している場合はステップS4609に進み、S4604の処理が終了していない場合はステップS4608に進む。
ステップS4608では、物品位置候補重み付け手段108により、前記重み付けリストに登録された各々の滞留状態について、S4604の処理が未だの滞留状態を前記重み付けリストから1つ選択して、ステップS4604に戻る。
ステップS4609では、物品位置候補重み付け手段108により、前記重み付けリストに登録された各々の滞留状態について、平均移動速度、及び、共通の滞留状態前後の平均移動速度を利用して、重み付けを行う。先に説明した、図43におけるステップS4306では、取扱候補者、受渡候補者の区別無く、平均移動速度の小さい方から順位付けをしている。ここでは、平均移動速度に加えて、受け渡しの可能性を考慮した順位付けを行うものである。
人物H1についての滞留状態である時間帯S2,S4における平均移動速度がそれぞれVH1,S2,VH1,S4であり、人物H2についての滞留状態である時間帯S2,S5における平均移動速度がそれぞれVH2,S2,VH2,S5である時、共通の滞留状態である時間帯S2において、物品の取扱候補者である人物H1から物品の受渡候補者である人物H2へ物品の受け渡しが行われた可能性を、評価値Z=(VH1,S3−VH1,S1)+(VH2,S1−VH2,S3)の式を使用して物品位置候補重み付け手段108により評価する。即ち、人物H1については滞留後の平均移動速度が滞留前の平均移動速度に比べて大きく、人物H2については滞留前の平均移動速度が滞留後の平均移動速度に比べて大きいならば、人物H1から人物H2へ物品の受け渡しが行われた可能性が大きいと、物品位置候補重み付け手段108により判定するわけである。人物H1とH2に関して共通の滞留状態である時間帯S2以後の各人物の滞留状態(図45Aの場合、人物H1の滞留状態である時間帯S4と、人物H2の滞留状態である時間帯S5)について、この評価値Zを物品位置候補重み付け手段108により反映させる。具体的には、共通の滞留状態である時間帯S2後の、ある滞留状態における平均移動速度Vに対し、取扱候補者である人物H1は人物H2に物品を受け渡した可能性があるために、
Figure 0004006471
から評価値Zの定数α倍を物品位置候補重み付け手段108により減じる。受渡候補者である人物H2は人物H1から物品を受け取った可能性があるために、
Figure 0004006471
に評価値Zの定数γ倍を物品位置候補重み付け手段108により加算する。よって、物品の存在領域候補である滞留状態である時間帯S2、S4、S5の3状態についてのスコアはそれぞれ、
Figure 0004006471
となり、このスコア順に物品の存在可能性の順位付けを物品位置候補重み付け手段108により行う。ここで、人物H1、H2に対して共通の滞留状態であるS2に関しては、物品取扱者であるH1の平均移動速度VH1,S2を用いてスコアを物品位置候補重み付け手段108により計算している。もちろん、物品受渡者であるH2の平均移動速度VH2,S2も併せて用い、例えば、滞留状態である時間帯S2のスコアとして、
Figure 0004006471
を用いてもよい。
以上の処理を用いることで、単に滞留状態における平均移動速度だけでなく、物品の受渡可能性も考慮した順位付けを物品位置候補重み付け手段108により行うことができる。
ここで、定数γとして、事前実験などにより適切な値を決定しておくものとする。
本発明の前記第1実施形態の前記物品検索システムの表示装置110では、この物品位置候補重み付け手段108での物品位置候補重み付け処理結果を基に実際の検索結果を表示する。図21は、表示装置110にて物品検索結果をCG(コンピュータグラフィック)表示した例を示す概念図である。図21では、物品の存在場所全体を表す鳥瞰図に、実際に物品が存在する可能性のある場所を、その可能性の高い順位(物品位置候補重み付け処理結果として求められた順位)を表す数値を重ね書きしている様子を示している。ユーザはこの結果を表示装置110にて見ることで、まず、「本棚」を含むその近辺を探し、そこで見つからなければ、次に「冷蔵庫及びキッチンシステム」近辺、さらに見つからなければ、「ソファ1」近辺というふうに、予め探す場所絞り込んで物品探しを効率良く行うことができる。
さて、以上説明した人の移動速度に基づく物品位置候補の重み付けでは、もし仮に滞留した場所の近辺に、物品を置いたり取り出したりする機器や設備が複数ある場合には、ユーザはそれらすべての機器や設備をくまなく探していく必要があり、場合によっては手間がかかるという問題がある。この問題に対処する一つの方法として、機器の操作情報をも用いることで、実際に物品を置いたり取り出したりした場所をさらに絞り込むことが有効と考えられる。
以下では、この機器の操作情報を活用して物品位置候補重み付け手段108により重み付けを行う方法を説明する。図22は前記機器の操作情報を用いて重み付けを行う処理をフローチャートの形式で示した図である。本処理では、人の位置に対して十分近いとする機器の位置を検索するために、予め機器の場所を管理する機器管理情報を用意しておく。図23は機器(但し設備も含む)の場所を管理するデータベースを表形式で示した図である。表は、環境内にある機器に対してその位置を長方形で簡略管理した様子を示しており、前記長方形の左上及び右下の位置座標が与えられた形式となっている。もちろんこのように全ての機器の位置を長方形で簡略化することが適当でない場合もあるので、その際には機器の占有領域を多角形で決め、その頂点をベクトルデータで表すなどしてもよい。
続いて物品位置候補の重み付け処理を説明するが、このうちステップS2201〜ステップS2203についてはそれぞれ図19のフローチャートのステップS1901〜ステップS1903と同じであるため、詳細な説明は省略する。
ステップS2201において、検索対象物品を取り扱った人の履歴データから、前記人の移動速度を物品位置候補重み付け手段108により計算する。
次いで、ステップS2202において、物品位置候補重み付け手段108により求められた移動速度が所定値(しきい値)以下の場所群を人の滞留状態として物品位置候補重み付け手段108により抽出し、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内に重み付けリストとして登録する。
次いで、ステップS2203において、物品位置候補重み付け手段108により、前記重み付けリストから場所を、まず、一つ選ぶ。
次いで、ステップS2204において、物品位置候補重み付け手段108により、ステップS1903で選んだ場所において、当該場所に居た時刻及び当該場所の中心位置座標を物品位置候補重み付け手段108により計算する。
次いで、ステップS2205において、前記中心位置に対して、所定範囲内の機器群を物品位置候補重み付け手段108により検索する。機器の検索は様々な方法が考えられるが、ここでは簡単な例を図24を用いて説明する。図24は環境内に置かれた機器を示した見取り図で、図24内の×印が前記中心位置であるとする。この中心位置に対して適当に決められる所定範囲の大きさを半径とした円(図24内の点線の円)を描いたときに、もし前記円内に機器の領域が一部でも含まれたとき、前記機器を検索結果として物品位置候補重み付け手段108により抽出するようにすればよい。図24の例では、物品位置候補重み付け手段108により見つかった機器は「本棚」だけであるが、もちろん複数の機器が物品位置候補重み付け手段108により見つかれば、それらを全て抽出する。
次いで、ステップS2206において、もし少なくとも一つの機器が見つかればステップS2207に進み、見つからなければステップS2208に進む。
ステップS2207において、見つかった各々の機器について機器管理情報を物品位置候補重み付け手段108により参照し、ステップS2204で計算した時刻と、機器を開いてから閉じるまでの時間とに重なりがない機器を物品位置候補重み付け手段108により、前記重み付け結果が格納された、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストから削除する。これは、もし人がある場所で滞留したとしても、物品収納を行わなかった機器がある場合には、その機器には物品存在の可能性がないということを反映した処理であり、これにより実際に人が滞留して物品収納を行った機器を絞り込むことができる。
ステップS2208において、もし処理2202で抽出した全ての場所群について、ステップS2204〜ステップS2207が終了していれば、ステップS2210に進み、まだであればステップS2209に進む。
ステップS2209において、ステップS2202で抽出した各々の場所について、ステップS2204がまだの場所を、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内の前記重み付けリストから一つ選び、ステップS2204を繰り返す。
ステップS2210において、ステップS2207で抽出された全ての機器について、物品位置候補重み付け手段108により、人の滞留位置と機器との距離に応じて、距離が小さいほど優先順位を高くするように重み付けする。
この距離に応じた重み付け処理の具体的な説明を図25を用いて行う。図25では、環境内に3つの機器(機器1、機器2、機器3)が存在し、ステップS2202で2つの滞留位置(それぞれ滞留位置2501,滞留位置2502)が見つかっており、前記「機器1」は滞留位置2501からr(滞留位置2504)の距離に、前記「機器2」は滞留位置2502からr(滞留位置2503)の距離に、前記「機器3」は滞留位置2501からr(滞留位置2505)の距離に、それぞれあることを表している。なお、r(滞留位置2504)>r(滞留位置2503)>r(滞留位置2505)である。このとき、人の滞留位置と機器との距離に応じて、距離が小さいほど優先順位を高くなるように重み付けするため、結果としては、r(滞留位置2504)、r(滞留位置2503)、r(滞留位置2505)の大きさを比較し、「機器3」、「機器2」、「機器1」の順に1、2、3の順位が付くことになる。この結果を表したのが図26の表である。なお、この例では、非常に単純に人の滞留位置と機器との距離という尺度によって重み付けを行ったが、もちろん人の滞留時間などをさらに加味して重み付けを行ってもよい。
次に、具体例によって処理を説明する。例としてここでは先ほどと同様に、物品「ジュース」を検索するという前提で、物品存在領域推定手段107での物品存在領域推定処理にて人の履歴データMF−Data02を得て、物品位置候補重み付け手段108での物品位置候補重み付け処理を行う様子を説明する。
ステップS2201において、人の履歴データMF−Data02から、前記人の移動速度を物品位置候補重み付け手段108により計算する。その計算結果が示されたのが前述のグラフ(図13の上側のグラフ(a))である。
次いで、ステップS2202において、物品位置候補重み付け手段108により求められた移動速度が所定値(しきい値)以下の場所群を人の滞留状態として物品位置候補重み付け手段108により抽出し、物品位置候補重み付け手段108により、例えば、物品位置候補重み付け手段108内の一時記憶部又は物品管理データベース102内に重み付けリストとして登録する。本例では、3つの滞留部分があることが判定できる。これらは見取り図にプロットした図13の下側の見取り図と関連づけると、それぞれ時刻の早いほうから順に、「本棚」の近辺、「冷蔵庫及びキッチンシステム」の近辺、「ソファ1」の近辺で滞留していることが判定できるので、ここでは、便宜的に各滞留状態を、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」と呼ぶ。なお、ここでは説明の便宜上、それぞれの滞留状態の時刻を下記の通りとする。
「本棚」 :19:31〜19:32
「冷蔵庫及びキッチンシステム」 :19:32〜19:33
「ソファ1」 :19:34〜19:35
次いで、ステップS2203〜ステップS2209の処理によって、物品存在の可能性がある機器として「本棚」、「冷蔵庫」の2つを得る。具体的な処理プロセスを下記に示す。
次いで、ステップS2204において、「本棚」、「冷蔵庫及びキッチンシステム」、「ソファ1」において、滞留していた時刻及び中心位置座標を物品位置候補重み付け手段108により計算する。
次いで、ステップS2205において、この中心位置に対して、所定範囲内の機器群を物品位置候補重み付け手段108により検索して、「本棚」、「冷蔵庫」を物品位置候補重み付け手段108により抽出する。
次いで、ステップS2206において、少なくとも一つの機器が見つかったので、ステップS2207に進み、見つかった各々の機器について、機器管理情報を物品位置候補重み付け手段108により参照し、ステップS2204で計算した時刻を挟む開閉操作のペアが無い機器を物品位置候補重み付け手段108により削除する(ステップS2208〜S2204〜S2208)。
次いで、ステップS2210において、以上の処理の結果、ジュースの収納場所として「本棚」、「冷蔵庫」の2つの機器が得られたので、前記機器付近に滞留した位置との距離に応じて、これら2つの機器の重み付けを物品位置候補重み付け手段108により行う。
本発明の前記第1実施形態の前記物品検索システムの表示装置110では、この物品位置候補重み付け手段108での物品位置候補重み付け処理結果を基に実際の検索結果を表示する。図27は、表示装置110にて物品検索結果をCG(コンピュータグラフィック)で表示した例を示す概念図ある。この図27では、物品の存在場所全体を表す鳥瞰図に、実際に物品が存在する可能性のある場所としての機器を色分けして表示し、さらにその可能性の高い順位をあらわす数値を重ね書きしている様子を示している。図21との違いは、物品の存在場所を機器レベルまで絞り込んでいる点である。もし仮に一つの機器に複数の収納部分があり、それぞれの収納部分について機器管理情報を蓄積することができるならば、本処理によりさらに細かく絞り込むことが可能である。例えば図27の例で2番目の候補として示されている「冷蔵庫」は、単体の機器としてではなく、「冷蔵庫」のうちのどの収納部分か、までも区別して表示しており(図27では、冷蔵庫の最上部の収納部分を表示している。)、これによりユーザは検索場所を絞り込んで、さらに効率よく物品の検索を行うことが可能である。
以上説明したように、物品存在領域推定手段107及び物品位置候補重み付け手段108が本発明の前記第1実施形態の大きな特徴であり、これにより、人の履歴データさらには機器の操作情報を分析した結果を用いて物品の位置を絞り込むことが可能となる。
なお、本第1実施形態では、物品の存在場所の重み付けを、人の履歴データ、機器の操作情報を用いて行う方法について詳細を説明したが、もちろんこれ以外の方法を用いて重み付けを行ってもよい。そのような例を2つ示す。
一つ目の他の有用な方法は、物品存在領域推定手段107によってある物品の存在する領域が推定されたときに、その領域内にあり、かつ当該物品が置かれる可能性のある場所が高い順に重み付けていくという方法である(図示せず)。この場合は、それぞれの物品に対して通常置かれる場所を1つ以上格納した通常位置情報をも物品管理情報として物品管理データベース102に予め蓄えておき、また、場合によっては人が物品を扱う状況に応じて前記通常位置情報を更新していき、その更新された通常位置情報を使うようにすればよい。
二つ目の他の有用な方法は、物品存在領域推定手段107によってある物品の所有者に関する物品所有者情報を利用する方法で、物品存在領域推定手段107にて取得された履歴データが複数人分の場合には特に有効である。複数人分の履歴データが取得されたということは、ある物品がある場所に持ち込まれたと同時に複数人が前記場所に入った場合のことである。この場合、前記物品をどの人が持っているかが区別できないので、全ての人の履歴データを取得するわけだが、もし仮に当該物品は前記複数人のどの人が持っている可能性が高いか、という物品所有者情報を事前に得られれば、前記取得した履歴データ自体にも確からしさの重み付けができる。前記物品所有者情報とは、例えば、図33に示されるように、
・クラシック音楽CD:お母さんの所有可能性100%、
・技術関係の本:お父さんの所有可能性100%、
・ファッション関係の本:娘の所有可能性60%、お母さんの所有可能性40%、
などと書いておけばよい。そして、前記履歴データの重み付けの結果と、物品位置候補重み付け手段108における重み付けの結果を両方利用することで、物品を扱った人が複数人いるといった複雑な場合でも適切な絞り込みをすることが可能となる。
具体的には、前記絞り込みの方法は例えば次のようにすればよい。複数人の履歴データが得られた例として、図14に示された2人分の履歴データが得られ、それらが2人が「お父さん」と「お母さん」の履歴データであり、探しているものが「技術関係の本」であるとする。この場合、「技術関係の本」の存在場所は2人分の履歴データ上すべてについて調べるのではなく、「技術関係の本」を所有している可能性が100%である「お父さん」の履歴データのみを取りだして重み付けをすればよい。より具体的には、図19のフローにおけるステップS1907において、単に平均移動速度の低い方から優先順位を高く重み付けするだけでなく、その値に、誰が所有しているかの可能性値をかけて重み付けするなどすればよい。前記の「技術関係の本」の所有可能性を適用すると、「お父さん」の履歴データから得られた重み付け値には、100%が乗じられるのでそのままの値が保持されるが、「お母さん」の履歴データから得られた重み付け値には0%が乗じられる(つまり重み付けなしとなる)ので、候補から除外されたのと同じことになるわけである。
前記第1実施形態によれば、以下のような効果を奏することができる。主に家庭内での物品検索を目的とした物品位置推定に関し、家庭内という環境を対象とした場合、物品を検出する装置がコストの面で多数設置できないため、物品の検出結果が粗いものとなり、従って、前記装置での検出結果を見るだけでは物品検索が簡単にならないという問題があった。このような問題に対して、人の動きと物品の存在場所には重要な相関関係があるという点に着眼し、人の移動速度を含めた履歴データ及び機器の操作情報などを用いて、物品位置の推定を行うことができる。すなわち、前記物品位置推定装置では、物品検出装置101が物品を検出し、検出された物品の場所の情報と時刻の情報とを物品管理データベース102に格納する。人検出装置103が人を検出し、検出された人の場所の情報と時刻の情報とを人管理データベース104に格納する。さらに、物品を収納管理する機器の機器操作を機器操作検出装置105で検出し、検出された各々の機器の操作情報を機器管理データベース106に格納する。物品存在領域推定手段107は、これら物品管理データベース102に格納された情報及び人管理データベース104に格納された情報を参照し(必要に応じて機器管理データベース106に格納された情報をも参照し)、前記物品存在領域として、人が移動した経路のうち物品の存在する可能性がある場所を推定する。そして、必要に応じて、物品位置候補重み付け手段108が、人の動き、物品が通常置かれる場所などの知識といった情報を利用することで、前記物品の存在する可能性がある場所のうち存在可能性の高い低いの重み付けを行って、その情報を表示装置110にて表示することができる。
前記物品位置推定装置を備える当該物品検索システムをユーザが使用するとき、前記重み付けされた物品の存在場所を参照することで、探すべき場所の優先順位を付け、その高いところから順に検索対象物品を探すことができる。従って、従来に比べて、物品を探す手間が簡単になり、探す効率が良くなり、また、その手間が大幅に短縮されることが期待できる。
なお、本発明は前記第1実施形態に限定されるものではなく、その他種々の態様で実施できる。例えば、これまでは、ユーザが物品検索を行う表示について、環境全体の鳥瞰図上に場所を示すという単純な例を併せて示した。もちろん、こういった表示画面を見て物品検索ができることも有効であるが、以下では、本発明の第2実施形態にかかる物品検索システムとして、他の画面表示の方法例として画像を使った例を示す。
人は、外界の情報の多くを視覚によって取得している。従って、過去の忘れた行為も、その時の状況を画像で提示することにより記憶をより戻すことができる場合も多々あると思われる。以下に示す物品検索システムでの表示方法は、このような考えの基になされた表示方法の例であり、本発明の第11態様に記載の物品検索システムに係るものである。より具体的には、過去に物品を扱った時間と場所が検出できれば、その時間でのその場所の映像を見せることで、その時間にその場所でどのように物品を扱っていたかを思い出させる、ということを実現する。
そのために、本物品検索システムでは、図1に示すように、すでに説明した物品位置推定装置の各構成要素に加えて、さらに当該物品検索を行う環境を撮影する撮像装置111と、前記撮影された画像情報を蓄積する画像データベース112と、前記物品存在領域推定手段107又は前記物品位置候補重み付け手段108での処理結果を用いて、検索要求のあった物品が置かれたと推定される場所と時刻とを推定し、前記推定した場所を撮影し、かつ前記推定した時刻を含む画像情報を前記画像データベース112から抽出する画像検索手段113と、画像検索手段113により抽出された画像情報を、必要に応じて前記物品存在領域推定手段107又は前記物品位置候補重み付け手段108からの情報と共に、表示する表示装置110とを含む構成を示している。
以下、各構成要素について説明し、続いてこれらを用いて、探そうとしている物品を過去に扱った時間と場所が検出できるという前提のもとに、その時間でのその場所の映像を見せる処理について説明する。
《撮像装置111》
撮像装置111は、当該物品検索を行う環境を撮影する。撮像装置111の一例としては、実際にはCMOSやCCDといった撮像素子を用いたカメラを使うことが一般的であるが、場所によっては、近赤外などの特殊なカメラを用いてもよい。また、1台の撮像装置で前記環境の全てを撮影しきれない場合は、もちろん、複数台の撮像装置を用意すればよいし、また、前記人検出装置103に用いたカメラを併用しても構わない。こうして設置された各撮像装置では、それぞれが写す画像が、実世界のどの位置に対応しているかの情報を付加しておく。この情報の最も簡単な記述態様としては、各撮像装置の各画素と実世界の座標を、
(u,v)−(x,y,z)
という風にして対応づけ記述を行えばよい(以下、本記述を対応方式1と呼ぶ)。また、もう少し情報量を減らす方法としては、各撮像装置110と、それぞれ写している床面の範囲のベクトルデータとを対応付けて、
camera1:(x11,y11)−(x12,y12)−(x13,y13)−(x14,y14
camera2:(x21,y21)−(x22,y22)−(x23,y23)−(x24,y24
………、
というふうに記述しても構わない(以下、本記述を対応方式2と呼ぶ)。対応方式2では、一つのベクトルデータは一つの床面領域を表すとすると、一つの撮像装置に最低1つのベクトルデータが必要であるが、例えば一つの撮像装置111の画像内に2つ以上の床面領域があるなどの場合は、必要に応じて複数個用意してもよい。また、実世界のモデルが既知で、また、カメラの実世界における位置や向きが既知であれば、それらの情報から計算によって、カメラに写っている実世界の各場所の実世界座標を求めることも可能である。なお、撮像装置に写る画像が、実世界のどの位置に対応しているかの情報については、撮像装置が動かされない限り、最初に一度だけ作っておけば変更する必要はない。
《画像データベース112》
画像データベース112には、各撮像装置で撮影された画像情報が、タイムスタンプを付与して(タイマー手段120から出力された時刻の情報を付与して)蓄積される。画像は動画でも静止画でもよく、システムの性能に応じて使い分ければよい。図28は、動画をタイムスタンプを付与して蓄積している様子を示した概念図である。図28ではタイムスタンプを1分おきに付与している例を示しているが、もちろんもっと細かくてもよく、システムの要求スペックに合わせて決めればよい。
《画像検索手段113》
画像検索手段113は、前記物品存在領域推定手段107又は前記物品位置候補重み付け手段108で推定された、検索要求のあった物品があると推定された場所と時刻を得、続いて前記場所が撮影されかつ前記時刻が含まれた画像情報を、前記画像データベース112から抽出し、表示装置110にて表示する。
図29は、この画像検索手段113における画像検索処理の流れを示したフローチャートで、以下この図に従って処理の流れを説明する。
ステップS2901において、物品位置候補重み付け手段108での処理結果を用いて推定された、検索要求のあった物品があると推定される場所と時刻を得る。
次いで、ステップS2902において、取得した全ての情報又はデータについて、前記情報又はデータに含まれる場所と時間を含む画像情報を画像データベース112から検索し、ダウンロードする。
前記場所を含む撮像装置を選ぶ方法は、撮像装置とそれが写す画像が実世界のどの位置に対応しているかの情報の記述態様によって異なる。
例えば前記対応方式1であれば、記述された(u,v)−(x,y,z)のペアのうち、前記場所と一致する(x,y)があるか、又は一致しなくとも前記場所を囲い込むことが可能な複数の(x,y)の群がある場合に、前記撮像装置を選択する、という風にすればよい。また、前記対応方式2であれば、記述されたベクトルデータで形成される領域に前記場所が含まれる場合は、前記ベクトルデータを含む撮像装置を選択する、という風にすればよい。また、前記場所を撮影している撮像装置が複数ある場合には、それら全てを選択しても構わない。
こうして前記場所を撮影している1つ以上の撮像装置が選ばれたら、それら撮像装置で撮影された画像情報を蓄積した画像データベース112から、前記時刻を含む画像情報を検索し、ダウンロードする。ダウンロードする画像情報の態様としては、例えば前記時刻の前後2分を含む動画像情報又は秒当たり1枚の静止画像情報というふうに、システムの要求スペックに応じて決めてやればよい。
次いで、ステップS2903において、前記ダウンロードした画像情報を表示する。図30A,図30Bは図28の画像データベース112から19時31分と19時32分の画像情報をそれぞれ検索して表示している様子を示した概念図である。画像情報の表示はいきなり表示してもよいし、また、段階的に表示してもよい。段階的に表示するとは、まず最初に位置候補重み付け手段での処理結果のみを表示する。具体的には例えば図21や図27に示したような画面を表示する。そして、そこで示された物品の存在する位置候補を指定させ、関連する画像情報を表示する、というものである。
以上、画像検索手段113における処理の流れを説明した。
以上、本発明の前記第2実施形態の特徴である、人の移動速度を含めた履歴データ、機器の操作情報を用いて、物品位置の推定を行う方法を、具体例を用いて説明した。また、前記検索物品の位置推定ができるという前提で、検索したい物品の場所をCG(コンピュータグラフィック)又は実画像を使って提示するという方法を説明した。
なお、前記第1及び第2実施形態にて例示した、本発明の前記第1及び第2実施形態における物品位置推定装置での物品位置推定処理の流れはあくまで一例であり、これに限るものではない。すなわち、物品位置の推定に人の移動速度を含めた履歴データ、機器の操作情報を用いるという思想が処理に含まれていれば、処理のフローが異なっていたり、必要なデータの記述態様が異なっていても、当然かまわない。
また、本発明の前記第1及び第2実施形態の物品位置推定装置は、該物品位置推定装置を構成する装置のうち、入力装置109、物品検出装置101、人検出装置103、機器操作検出装置105、表示装置110についてはシステムの要件に応じて最適な場所に設置すればよい。物品管理データベース102、人管理データベース104、機器管理データベース106は、それぞれに格納する情報を取得する物品検出装置101、人検出装置103、機器操作検出装置105の近くに配置してもよいし、該装置の残りの手段である物品存在領域推定手段107、物品位置候補重み付け手段108の近くに配置して、物品検出装置101、人検出装置103、機器操作検出装置105が取得した情報をネットワークを介してそれぞれのデータベースに送るようにしてもよい。いずれにしても各手段又は装置の設置態様はあくまでシステムの要件に応じて最適な場所に設置すればよく、設置場所などの拘束は特に無い。
本発明の前記第2実施形態の物品検索システムは、システムの構成要素として直前に説明した装置又は手段以外の他の構成要素である、画像検索手段113、画像データベース112,撮像装置111は、システムの要件に応じて最適な場所に設置すればよく、設置場所などの拘束は特に無い。
また、本発明の前記第1及び第2実施形態の物品検索システムは、主に家庭用を目的として説明したが、もちろん家庭用途にとどまるものではなく、例えばオフィスなどにおいて利用しても構わない。
図34は、オフィスにおいて、物品検出装置101の一例としてのタグリーダTGRが設置された様子を示した見取り図である。本例では、オフィスのある部屋205の出入り口200にゲート型のタグリーダTGRが設置されており、また、その部屋205には8人分のパーティーション201で区切られた作業スペース202があり、その作業スペース202内に設置された各書棚203の開閉部にタグリーダTGRが(図15Bと同様に)設置された様子を示している。ユーザは、物品を当該部屋205に持ち込めば、それでその物品が部屋205内にあることが検出できる。そして、部屋205に予め人の動きを区別して検出できるようなカメラ204や床センサなどの人検出装置を設置しておけば、それによって人206の履歴データを得ることができるため(例えば図34内に示した矢印付きの実線がその人206の検出結果の例)、これまで説明してきた本発明の前記第1及び第2実施形態による物品位置検索方法を利用することにより、部屋205に持ち込まれた物品が部屋205のどの場所にありそうかという物品の存在場所の重み付き推定が可能となる。
また、オフィス利用においては、一般的に物品がどの場所に置かれるかが、物品の検出結果と人の履歴データとを組み合わせることで、ある程度特定可能である。すなわち、ある物品は所有者が決まっており、その物品は、所有者が持ち歩くか又はその所有者の作業スペース202にあるか、が正しい物品の有り場所と考えられる。したがって、逆に、そのような物品が別の人によって持ち出されたことを部屋205の出入り口200のタグリーダTGRが検出すると、これを不当な持ち出しと判定し、ブザーを鳴らすなどのセキュリティー的な対応を取ることで、物品の盗難を防止することも可能となる。
また、前記各種検出装置を除く前記物品存在領域推定手段107などを含む前記物品検索システムの一部は、コンピュータに、図35にフローチャートで示されるように、異なる物品が区別されるように識別し物品検出装置で検出された前記物品の検出場所の情報と時刻の情報とを物品管理データベースに格納するステップS3001と、人の位置を個人毎に区別して人検出装置で検出された人の移動履歴情報を人管理データベースに格納するステップS3002と、前記物品管理データベース及び前記人管理データベースに格納された情報を、前記人管理データベースの前記移動履歴情報と前記物品管理データベースの前記検出場所と前記時刻とを基に前記人と前記物品とを関連付けて、前記物品の物品存在領域を推定するステップS3003とを実行させるための物品位置推定用プログラムとして、CD−ROMなどの記録媒体に記録させておき、必要に応じて、CD−ROMから読み出して使用することもできる。具体的には、例えば、表示装置の一例であるディスプレイ、入力装置の一例であるキーボード、一例として前記種々のデータベースや前記種々の手段などが蓄積可能なハードディスク及びメモリ、CD−ROMドライブなどが接続されて前記物品検索システムを実現可能なシステム(図示せず)において、CD−ROMに記録された物品位置推定用プログラムがCD−ROMドライブを介してハードディスクにインストールされたのち、前記物品検索システムを実行可能とすることができる。
前記実施形態では、説明を簡単にするため、物品や人を検出するとき、時刻の情報を用いているが、時刻の代わりに日時を用いるようにしてもよい。日時を用いれば、異なる日にまたがって、本発明にかかる物品位置推定動作を行うことができる。
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施できる。例えば、前記物品存在領域推定手段は、前記人と前記物品とが前記人検出装置と前記物品検出装置とで同時的に検出された場合以降において、前記検出された人の移動領域を、前記物品の物品存在領域として推定するものであるが、前記検出された人が前記部屋から出た後は、前記物品の物品存在領域の推定を停止するようにしてもよい。
なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明にかかる物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムは、一般家屋やオフィス内などにある物品を管理する物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラムに係り、特に一般家庭内にある生活に使用する日用品やオフィスなどで使用する可搬性の物品などの各種物品の位置を、RFIDタグ技術などを用いて管理するときユーザが探し物を問い合わせた時に前記探し物の位置を適切に提示することができて、従来に比べて物品を探す手間が簡単になり、また、その手間が大幅に短縮される。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図1は、本発明の第1及び第2実施形態による物品検索システムの代表的な構成例を示したブロック図である。 図2は、本発明の第1実施形態にかかる前記物品検索システムの物品検出装置の一例であるタグリーダがそれぞれの部屋の出入口に設置された環境の例を示した見取り図である。 図3は、物品検出装置の一例であるゲート型のタグリーダが「居間」の入り口に設置されている例を示した説明図である。 図4Aは、物品の一例としての書籍にタグが付いている例を示した概念図である。 図4Bは、物品の別の例としてのジュースにタグが付いている例を示した概念図である。 図5Aは、前記物品検索システムの物品管理データベースに含まれる物品管理情報の例を表形式で示した図である。 図5Bは、物品管理データベースに含まれる物品管理情報の例を表形式で示した図である。 図6は、前記物品検索システムの人検出装置の一例として重さセンサを使って人の位置を検出するためのシステム構成を示した概念図である。 図7は、前記物品検索システムの人検出装置の別の例としてタグを使って人の位置を検出するためのシステム構成を示した概念図である。 図8は、前記物品検索システムの人検出装置のさらに別の例として背景差分法を具体的に説明するための補助図である。 図9Aは、前記背景差分法を具体的に説明するため、背景画像を撮影したのと同じカメラを用いて撮影されたある時点における入力画像を示した図である。 図9Bは、前記背景差分法を具体的に説明するため、背景画像の例を示した図である。 図9Cは、前記背景差分法を具体的に説明するため、図9Aの入力画像から図9Bの背景画像を差し引いて得られた背景差分画像に、当該環境の座標系を付加して示した図である。 図10は、カメラ画像における切り出した人の位置座標を世界座標系に変換する計算を説明するための説明図である。 図11Aは、前記物品検索システムでの人管理データベースに含まれる人管理情報の例を表形式で示した図である。 図11Bは、前記物品検索システムでの人管理データベースに含まれる人管理情報の例を表形式で示した図である。 図12は、前記物品検索システムでの人移動履歴情報の例を表形式で示した図である。 図13の(a),(b)は、それぞれ、前記物品検索システムにおいて人移動履歴情報を参照し、各時刻毎に当該時刻における移動量(移動距離)をプロットしたグラフ及び図2の見取り図から「居間」だけを取り出した見取り図に前記人移動履歴情報をプロットした図である。 図14の(a),(b)は、それぞれ、前記物品検索システムにおいて2人分のデータをプロットした場合であって、人移動履歴情報を参照し、各時刻毎に当該時刻における移動量(移動距離)をプロットしたグラフ及び図2の見取り図から「居間」だけを取り出した見取り図に前記人移動履歴情報をプロットした図である。 図15Aは、前記物品検索システムにおいて、収納機能を持つ機器に対して、機器操作検出装置が設置された機器の例を示した概念図である。 図15Bは、前記物品検索システムにおいて、収納機能を持つ機器に対して、機器操作検出装置が設置された機器の例を示した概念図である。 図16Aは、前記物品検索システムにおいて、機器管理データベースに含まれる機器管理情報の例を表形式で示した図である。 図16Bは、前記物品検索システムにおいて、機器管理データベースに含まれる機器管理情報の例を表形式で示した図である。 図17は、前記物品検索システムにおける物品存在領域推定手段での処理の流れを示すフローチャート図である。 図18は、前記物品検索システムにおける物品存在領域推定手段での処理結果を表形式で示した図である。 図19は、前記物品検索システムにおける人の移動速度を用いて重み付けを行う処理を示すフローチャート図である。 図20は、前記物品検索システムにおける物品位置候補重み付け手段での処理結果を表形式で示した図である。 図21は、前記物品検索システムにおける表示装置にて物品検索結果をCG(コンピュータグラフィック)表示した例を示す概念図である。 図22は、前記物品検索システムにおける機器管理情報を用いて重み付けを行う処理を示すフローチャート図である。 図23は、前記物品検索システムにおける機器の場所を管理するデータベースを表形式で示した図である。 図24は、環境内に置かれた機器を示した見取り図である。 図25は、前記物品検索システムにおける人の滞留位置と機器との距離に応じた重み付け処理を説明する図である。 図26は、前記物品検索システムにおける人の滞留位置と機器との距離に応じた重み付け処理の結果を表形式で示した図である。 図27は、本発明の第2実施形態にかかる前記物品検索システムにおける表示装置にて物品検索結果をCG(コンピュータグラフィック)で表示した例で示す概念図である。 図28は、本発明の第2実施形態にかかる前記物品検索システムにおける動画をタイムスタンプを付与して蓄積している様子を示した概念図である。 図29は、本発明の第2実施形態にかかる前記物品検索システムにおける画像検索手段における処理の流れを示したフローチャート図である。 図30Aは、本発明の第2実施形態にかかる前記物品検索システムにおける図28の画像データベースから19時31分の画像を検索して表示している様子を示した概念図である。 図30Bは、本発明の第2実施形態にかかる前記物品検索システムにおける図28の画像データベースから19時32分の画像を検索して表示している様子を示した概念図である。 図31は、前記第1実施形態の前記物品検索システムにおいて、物品管理データベースに蓄積される情報であってかつ物品名とそれに付与されたタグのIDがペアになっている状態の説明図である。 図32は、前記第1実施形態の前記物品検索システムの人検出装置の一例として重さセンサを使って人の位置を検出するためのシステム構成を示した概念図である。 図33は、前記第2実施形態の前記物品検索システムでの物品所有者情報の説明図である。 図34は、前記物品検索システムにおける物品検出装置が設置されたオフィス環境の例を示した見取り図である。 図35は、前記物品検索システムの一部を実現することが可能な物品位置推定用プログラムのフローチャートである。 図36Aは、時刻とその時刻における人の実際の位置との関係を示すグラフである。 図36Bは、時刻間隔Δtで記録した人の位置Pkを示すグラフである。 図37は、滞留前の所定の時間帯における平均移動速度よりも滞留後の所定の時間帯における平均移動速度が大きければ、持ち運んでいた物品を手放した可能性が大きいと判定することができるアルゴリズムを示すフローチャートである。 図38は、図37のステップ3705での処理結果を示すグラフである。 図39Aは、2人の人物H1、H2の移動速度の時間変化を示すグラフである。 図39Bは、2人の人物H1,H2の移動経路を部屋の見取り図上に重ねて表示した図である。 図40は、受け渡しの可能性を考慮した物品存在領域推定手段での処理を説明するフローチャートである。 図41は、受け渡しの可能性を考慮した物品存在領域推定手段での処理を行うときに利用するデータを示す図である。 図42Aは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理に用いる、2名の人物H1,H2の移動速度の変化を表わすデータを示す図である。 図42Bは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、2名の人物H1,H2の移動軌跡データを部屋の見取り図に重ねて表現した図である。 図42Cは、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、表示装置に提示される移動軌跡を示す図である。 図43は、受け渡しの可能性を考慮した物品位置候補重み付け手段での処理を示すフローチャートである。 図44Aは、図42Aと同様に、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理に用いる、2名の人物H1,H2の移動速度の変化を表わすデータを示す図である。 図44Bは、図42Bと同様に、物品の受け渡しを考慮した場合の、物品存在領域推定手段での物品存在領域推定処理において、2名の人物H1,H2の移動軌跡データを部屋の見取り図に重ねて表現した図である。 図44Cは、物品の受け渡しを考慮した場合の、物品位置候補重み付け手段での物品存在領域推定処理において、得られた物品存在領域を環境の見取り図上に物品存在領域推定手段によりマッピングした結果を示す図である。 図45Aは、2人の人物H1,H2の移動速度の時間変化を示すグラフである。 図45Bは、図45Aのグラフを基にして、時間帯S1〜S5における平均移動速度を求めた表を示す図である。 図45Cは、2人の人物H1,H2の移動軌跡を部屋の見取り図上に重ねて表示する図である。 図46は、滞留状態前後の移動速度変化を重み付けに反映する処理を示すフローチャートである。

Claims (13)

  1. 少なくとも人が出入り可能な部屋の出入り口付近に配置されて、配置された部屋の情報を有し、物品に付されかつ前記物品の識別情報が記憶されたタグから前記物品の識別情報を読み取ることにより、前記物品を識別し検出するとともにタイマー手段から出力された時刻の情報を前記物品の検出時刻の情報として出力し、かつ、前記部屋の情報を前記物品の検出部屋の情報として出力する物品検出装置と、
    前記物品検出装置から出力された前記物品の識別情報と前記物品の検出部屋の情報と前記物品の検出時刻の情報とを物品管理情報として格納する物品管理データベースと、
    前記部屋内での前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを検出することにより、前記人を個人毎に区別して検出する人検出装置と、
    前記人検出装置にて検出された前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを格納する人管理データベースと、
    検索する対象物品の識別情報の入力が行われる入力装置と、
    前記物品管理データベースに格納された前記物品のうちの前記入力装置から入力された前記対象物品の前記識別情報を用いて、前記物品管理データベースより前記物品の検出時刻の情報及び前記物品の前記検出部屋の情報を特定し、該特定された前記物品の検出時刻を含む所定の時間内でかつ該検出部屋の情報を用いて、前記人管理データベースより人の識別情報を特定し、該特定された人の識別情報を用いて、前記人管理データベースより前記物品の前記検出時刻以降の前記人の検出場所の情報を取得することにより前記対象物品の存在領域を推定する物品存在領域推定手段と、
    を備える、物品位置推定装置。
  2. 前記物品存在領域推定手段により取得した前記人の検出場所の情報と前記人管理データベースに格納された前記人の検出時刻の情報とを用いて前記人の移動速度を求める物品位置候補重み付け手段をさらに備え、
    前記物品存在領域推定手段は、前記物品位置候補重み付け手段により求められた前記人の移動速度としきい値とを比較して、前記しきい値以下の前記人の移動速度での前記人の検出場所を前記対象物品の前記物品存在領域として推定する、請求項1に記載の物品位置推定装置。
  3. 前記対象物品を収納管理する機器の操作の有無の情報を含む前記機器の操作情報を検出する機器操作検出装置と、
    前記機器操作検出装置にて検出された各々の機器の前記操作情報を格納する機器管理データベースとをさらに備え、
    前記物品存在領域推定手段により取得した前記人の検出場所の情報と前記人管理データベースに格納された前記人の識別情報と前記人の検出時刻の情報及び前記機器管理データベースに格納された前記操作情報中の前記機器の操作有りの情報を用いて、前記機器と前記人の検出場所との距離が所定のしきい値内で、かつ、前記機器の操作の時間と前記人の前記検出場所に居た時刻の時間差が所定のしきい値内であるときに、前記機器を前記対象物品の存在する可能性の高い物品存在領域として重み付けを行なう物品位置候補重み付け手段をさらに備えて、
    前記物品存在領域推定手段は、前記物品位置候補重み付け手段により重み付けが行なわれた前記機器を前記対象物品の存在する可能性の高い物品存在領域として推定する、請求項1に記載の物品位置推定装置。
  4. 前記物品存在領域推定手段により取得した前記人の検出場所の情報と前記人管理データベースに格納された前記人の検出時刻の情報とを用いて複数の前記人の移動速度を求める物品位置候補重み付け手段をさらに備え、
    前記物品位置候補重み付け手段は、前記物品位置候補重み付け手段により求めた複数の前記人の移動速度のうちの、予め定めた所定値以下の移動速度である前記人の移動速度の前記人の検出場所の情報と前記人の検出時刻の情報を滞留状態としてそれぞれ抽出し、前記滞留状態を構成する各情報を参照して前記人の移動速度の平均値をさらに求め、求められた前記人の移動速度の平均値が複数ある場合に、前記人の移動速度の平均値が低い領域ほど前記対象物品の存在する可能性の高い物品存在領域として重み付けを行い、
    前記物品存在領域推定手段は、前記物品位置候補重み付け手段により重み付けが行われた、前記対象物品の存在する可能性の高い物品存在領域を前記対象物品の前記物品存在領域として推定する、請求項に記載の物品位置推定装置。
  5. 前記物品位置候補重み付け手段は、
    前記物品存在領域推定手段により取得した前記人の検出場所の情報と、前記人の前記識別情報と前記人の検出時刻の情報を利用して前記人の移動速度を求め、予め定めた所定値以下の移動速度である前記人の移動速度のうちの前記人の検出場所の情報と前記人の検出時刻の情報を滞留状態として抽出し、前記滞留状態の前後における前記人の検出場所の情報と前記人の検出時刻の情報を利用して前記滞留状態の前後における前記人の移動速度をそれぞれ求め、前記人の移動速度が、前記滞留状態の前記人の移動速度、前記滞留状態の前の前記人の移動速度、前記滞留状態の後の前記人の移動速度の順に大きくなる場合に、前記滞留状態での前記人の検出場所にありかつ前記物品位置候補重み付け手段により重み付けが行なわれた前記機器を前記対象物品の存在する可能性の高い物品存在領域として重みが高くなるように重み付けを行う、請求項3に記載の物品位置推定装置。
  6. 前記物品位置候補重み付け手段は、前記物品位置候補重み付け手段により重み付けが行なわれた前記滞留状態の前記人の検出時刻の情報を利用して前記滞留状態がしきい値以上続いているか否かを判断し、前記滞留状態が前記しきい値以上続いている場合に、前記人の検出場所を、前記対象物品の存在する可能性の高い物品存在領域として重みが高くなるように重み付けを行う、請求項4又は5に記載の物品位置推定装置。
  7. 前記物品位置候補重み付け手段は、前記物品存在領域推定手段により取得した前記人の検出場所の情報と前記人管理データベースに格納された複数の人の識別情報と前記人の検出時刻の情報とを用いて前記複数の人のそれぞれの移動速度を求め、
    前記物品存在領域推定手段は、
    前記複数の人それぞれの識別情報と前記人の検出場所の情報と前記人の検出時刻の情報とを利用して、前記物品位置候補重み付け手段で求められかつ予め定めた所定値以下の移動速度である前記移動速度のうちの前記複数の人それぞれの検出場所の情報と前記人の検出時刻の情報を滞留状態として抽出し、前記複数の人それぞれの滞留状態が重なっている場合に、前記複数の人の間での前記対象物品の受け渡しがあったものとして、前記対象物品の存在する可能性の高い物品存在領域として重み付けを行なう、請求項2〜6のいずれか1つに記載の物品位置推定装置。
  8. 前記入力装置から入力された前記識別情報を有する前記対象物品の物品存在領域を前記物品存在領域推定手段で推定する請求項1又は3に記載の前記物品位置推定装置と、
    前記物品位置推定装置での推定結果を用いて、前記検索対象物品の存在する物品存在領域を表示する表示装置と、
    を備える物品検索システム。
  9. 当該対象物品検索を行う環境を撮影する撮像装置と、
    前記撮像装置で撮影された画像情報を蓄積する画像データベースと、
    前記物品位置推定装置が検索要求のあった前記対象物品が置かれたと推定される前記部屋内の場所と時刻とを推定し、前記推定結果を用いて、前記部屋内の前記場所を撮影しかつ前記時刻を含む画像情報を前記画像データベースから抽出する画像検索手段とを備え、
    前記表示装置は、前記画像検索手段にて検索された画像情報を表示する、請求項8に記載の物品検索システム。
  10. 少なくとも人が出入り可能な部屋の出入り口付近で、物品に付されかつ前記物品の識別情報が記憶されたタグから前記物品の識別情報を物品検出装置で読み取ることにより、前記物品を識別し検出するとともにタイマー手段から出力された時刻の情報を前記物品の検出時刻の情報として前記物品検出装置から出力し、かつ、前記物品検出装置が配置された部屋の情報を前記物品の検出部屋の情報として前記物品検出装置から出力 するステップと、
    前記物品検出装置から出力された前記物品の識別情報と前記物品の検出部屋の情報と前記物品の検出時刻の情報とを物品管理データベースに格納するステップと、
    前記部屋内での前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを検出することにより、前記人を個人毎に区別して人検出装置にて検出するステップと、
    前記人検出装置にて検出された前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを人管理データベースに格納するステップと、
    検索する対象物品の識別情報の入力が行われる入力ステップと、
    前記物品管理データベースに格納された前記物品のうちの前記入力ステップで入力された前記対象物品の前記識別情報を用いて、前記物品管理データベースより前記物品の検出時刻の情報及び前記物品の前記検出部屋の情報を特定し、該特定された前記物品の検出時刻を含む所定の時間内でかつ該検出部屋の情報を用いて、前記人管理データベースより人の識別情報を特定し、該特定された人の識別情報を用いて、前記人管理データベースより前記物品の前記検出時刻以降の前記人の検出場所の情報を取得することにより前記対象物品の存在領域を物品存在領域推定手段で推定するステップと、
    を備える、物品位置推定方法。
  11. 機器操作検出装置が前記対象物品を収納管理する機器の操作の有無の情報を含む前記機器の操作情報を検出し、検出した操作情報を機器管理データベースに格納するステップと、
    前記物品存在領域推定手段により取得した前記人の検出場所の情報と前記人管理データベースに格納された前記人の識別情報と前記人の検出時刻の情報及び前記機器管理データベースに格納された前記操作情報中の前記機器の操作有りの情報を用いて、前記機器と前記人の検出場所との距離が所定のしきい値内で、かつ、前記機器の操作の時間と前記人の前記検出場所に居た時刻の時間差が所定のしきい値内であるときに、前記機器を前記対象物品の存在する可能性の高い物品存在領域として重み付けを物品位置候補重み付け手段で行なうステップをさらに備えて、
    前記対象物品の存在領域を前記物品存在領域推定手段で推定するステップにおいて、前記物品位置候補重み付け手段で行なうステップにより重み付けが行なわれた前記機器を前記対象物品の存在する可能性の高い物品存在領域として推定する、請求項10に記載の物品位置推定方法。
  12. コンピュータに、
    少なくとも人が出入り可能な部屋の出入り口付近で、物品に付されかつ前記物品の識別情報が記憶されたタグから前記物品の識別情報を物品検出装置で読み取ることにより、前記物品を識別し検出するとともにタイマー手段から出力された時刻の情報を前記物品の検出時刻の情報として前記物品検出装置から出力し、かつ、前記物品検出装置が配置された部屋の情報を前記物品の検出部屋の情報として前記物品検出装置から出力された、前記物品の識別情報と前記物品の検出部屋の情報と前記物品の検出時刻の情報とを物品管理データベースに格納するステップと、
    前記部屋内での前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを検出することにより、前記人を個人毎に区別して人検出装置で検出された前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを人管理データベースに格納するステップと、
    検索する対象物品の識別情報の入力が行われる入力ステップと、
    前記物品管理データベースに格納された前記物品のうちの前記入力ステップで入力された前記対象物品の前記識別情報を用いて、前記物品管理データベースより前記物品の検出時刻の情報及び前記物品の前記検出部屋の情報を特定し、該特定された前記物品の検出時刻を含む所定の時間内でかつ該検出部屋の情報を用いて、前記人管理データベースより人の識別情報を特定し、該特定された人の識別情報を用いて、前記人管理データベースより前記物品の前記検出時刻以降の前記人の検出場所の情報を取得することにより前記対象物 品の存在領域を推定するステップとを実行させるための物品位置推定用プログラム。
  13. 少なくとも人が出入り可能な部屋の出入り口付近に配置されて、配置された部屋の情報を有し、物品に付されかつ前記物品の識別情報が記憶されたタグから前記物品の識別情報を読み取ることにより、前記物品を識別し検出するとともにタイマー手段から出力された時刻の情報を前記物品の検出時刻の情報として出力し、かつ、前記部屋の情報を前記物品の検出部屋の情報として出力する物品検出装置と、
    前記部屋内での前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを検出することにより、前記人を個人毎に区別して検出する人検出装置と、
    前記物品検出装置から出力された前記物品の識別情報と前記物品の検出時刻の情報と前記物品の検出部屋の情報と、前記人検出装置から出力された前記人の識別情報と前記人の検出場所の情報と前記人の検出時刻の情報と前記部屋の情報とを格納するデータベースと、
    検索する対象物品の識別情報の入力が行われる入力装置と、
    前記データベースに格納された前記情報及び前記入力装置から入力された前記対象物品の前記識別情報を用いて、前記物品の前記検出時刻の情報及び前記物品の前記検出部屋の情報を特定し、該特定された前記物品の検出時刻を含む所定の時間内でかつ該検出部屋の情報を用いて、前記人の識別情報を特定し、該特定された人の識別情報を用いて、前記物品の前記検出時刻以降の前記人の検出場所の情報を取得することにより前記対象物品の存在領域を推定する物品存在領域推定手段と、
    を備える、物品位置推定装置。
JP2006519678A 2005-04-01 2006-03-17 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム Active JP4006471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005105923 2005-04-01
JP2005105923 2005-04-01
PCT/JP2006/305401 WO2006109423A1 (ja) 2005-04-01 2006-03-17 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム

Publications (2)

Publication Number Publication Date
JP4006471B2 true JP4006471B2 (ja) 2007-11-14
JPWO2006109423A1 JPWO2006109423A1 (ja) 2008-10-16

Family

ID=37086714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519678A Active JP4006471B2 (ja) 2005-04-01 2006-03-17 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム

Country Status (3)

Country Link
US (1) US7545278B2 (ja)
JP (1) JP4006471B2 (ja)
WO (1) WO2006109423A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149582A1 (ja) * 2016-02-29 2017-09-08 三井造船株式会社 データ処理方法及び計測装置
CN109791638A (zh) * 2016-09-30 2019-05-21 三菱电机大楼技术服务株式会社 所在人数预测装置、设备管理系统以及程序

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074671A1 (ja) 2005-12-28 2007-07-05 Matsushita Electric Industrial Co., Ltd. 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
JP4983505B2 (ja) * 2007-09-25 2012-07-25 ブラザー工業株式会社 無線タグ通信装置
JP5088143B2 (ja) * 2008-01-09 2012-12-05 富士通株式会社 位置判定方法
JP4569663B2 (ja) * 2008-04-25 2010-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5458802B2 (ja) * 2008-10-23 2014-04-02 リコーイメージング株式会社 デジタルカメラ
JP5594955B2 (ja) * 2008-12-11 2014-09-24 パナソニック株式会社 照明システム
US8600118B2 (en) * 2009-06-30 2013-12-03 Non Typical, Inc. System for predicting game animal movement and managing game animal images
US9058732B2 (en) * 2010-02-25 2015-06-16 Qualcomm Incorporated Method and apparatus for enhanced indoor position location with assisted user profiles
WO2011108055A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
CA3147683C (en) 2010-11-19 2023-09-05 Isolynx, Llc Associative object tracking systems and methods
US20120320204A1 (en) * 2011-06-20 2012-12-20 3M Innovative Properties Company Asset assessment system
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6065911B2 (ja) * 2012-08-06 2017-01-25 日本電気株式会社 配置情報登録装置、配置情報登録方法および配置情報登録プログラム
JP6021937B2 (ja) * 2012-11-13 2016-11-09 三菱電機株式会社 空気調和システム及び中央管理装置
JP6020101B2 (ja) * 2012-12-04 2016-11-02 富士通株式会社 物品の配置位置管理装置、プログラム及び方法
JP6049448B2 (ja) * 2012-12-27 2016-12-21 キヤノン株式会社 被写体領域追跡装置、その制御方法及びプログラム
US20160088262A1 (en) * 2013-04-10 2016-03-24 Lg Electronics Inc. Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same
US10929661B1 (en) * 2013-12-19 2021-02-23 Amazon Technologies, Inc. System for user identification
JP5830706B2 (ja) * 2014-01-29 2015-12-09 パナソニックIpマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6238783B2 (ja) * 2014-02-20 2017-11-29 大和ハウス工業株式会社 収納管理システム
JP2018073012A (ja) * 2016-10-26 2018-05-10 株式会社東芝 管理システム
JP2023110357A (ja) * 2022-01-28 2023-08-09 積水ハウス株式会社 情報処理装置
CN114743326A (zh) * 2022-04-07 2022-07-12 武汉东湖学院 一种设置有智能识别的智能制造车间防盗预警系统
WO2024195059A1 (ja) * 2023-03-22 2024-09-26 日本電気株式会社 移動履歴管理装置、移動履歴管理方法、および記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146362A (ja) 1993-11-25 1995-06-06 Nippon Dry Chem Co Ltd 物品探索システム
EP1027689A4 (en) * 1997-11-03 2003-04-02 Arial Systems Corp Personnel and asset tracking method and apparatus
US6154139A (en) * 1998-04-21 2000-11-28 Versus Technology Method and system for locating subjects within a tracking environment
US6084517A (en) * 1998-08-12 2000-07-04 Rabanne; Michael C. System for tracking possessions
JP2000357251A (ja) 1999-06-14 2000-12-26 Sharp Corp 物品管理システム
GB2380638B (en) * 2000-05-22 2004-05-12 Avery Dennison Corp Trackable files and systems for using the same
US6300872B1 (en) * 2000-06-20 2001-10-09 Philips Electronics North America Corp. Object proximity/security adaptive event detection
US7248933B2 (en) * 2001-05-08 2007-07-24 Hill-Rom Services, Inc. Article locating and tracking system
JP2003233715A (ja) * 2002-02-08 2003-08-22 Sharp Corp 生活情報管理システムおよび方法ならびに生活情報処理装置
US6933849B2 (en) * 2002-07-09 2005-08-23 Fred Sawyer Method and apparatus for tracking objects and people
JP3738254B2 (ja) * 2003-02-19 2006-01-25 松下電器産業株式会社 物品管理システム
JP3735675B2 (ja) * 2003-06-23 2006-01-18 独立行政法人情報通信研究機構 物体配置図作成方法およびそのプログラムと記憶媒体、ならびに物体配置図作成システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149582A1 (ja) * 2016-02-29 2017-09-08 三井造船株式会社 データ処理方法及び計測装置
CN109791638A (zh) * 2016-09-30 2019-05-21 三菱电机大楼技术服务株式会社 所在人数预测装置、设备管理系统以及程序
CN109791638B (zh) * 2016-09-30 2023-09-15 三菱电机楼宇解决方案株式会社 所在人数预测装置、设备管理系统以及记录介质

Also Published As

Publication number Publication date
WO2006109423A1 (ja) 2006-10-19
JPWO2006109423A1 (ja) 2008-10-16
US20070247321A1 (en) 2007-10-25
US7545278B2 (en) 2009-06-09

Similar Documents

Publication Publication Date Title
JP4006471B2 (ja) 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
US20200364752A1 (en) Storefront device, storefront system, storefront management method, and program
US20160373570A1 (en) Object tracking
JP2017174272A (ja) 情報処理装置及びプログラム
CN103761505A (zh) 对象跟踪
US9619039B2 (en) Obtaining metrics for a position using frames classified by an associative memory
JP6029622B2 (ja) 情報管理サーバ、情報管理方法、および情報管理プログラム
CA2883697A1 (en) Identifying movements using a motion sensing device coupled with an associative memory
US20190073616A1 (en) Customer interaction identification and analytics system
JP5910249B2 (ja) インタラクション装置およびインタラクション制御プログラム
US11561750B2 (en) Retrieving personalized visual content items in real time for display on digital-content-display devices within a physical space
Konstantinidis et al. A deep network for automatic video-based food bite detection
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
Diete et al. Exploring a multi-sensor picking process in the future warehouse
Ayub et al. Don’t forget to buy milk: Contextually aware grocery reminder household robot
US20090175615A1 (en) Location determination method
US10726378B2 (en) Interaction analysis
Foudeh et al. A probabilistic data-driven method for human activity recognition
Galván-Tejada et al. Magnetic-field feature reduction for indoor location estimation applying multivariate models
Torabi et al. Development of a Machine Learning Based in-Home Physical Activity Monitoring System Using Wrist Actigraphy and Real-Time Location System.
JP6362325B2 (ja) 物体追跡
Krishnamoorthy et al. Automated shopping experience using real-time IoT
Mori et al. Active rfid-based object management system in sensor-embedded environment
JP2021176079A (ja) 商品配置提案プログラム
JP7457049B2 (ja) サポートシステム、サポート処理装置及びサポート方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4006471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250