JP2014154010A - 物体検索システム及び物体検索装置 - Google Patents

Abstract

【課題】識別用の信号や音などを発生する機能を有さない対象物であっても、自走式電子機器が走行した範囲にある対象物を探し当てられるようにする。
【解決手段】走行して作業を行う自走式電子機器と、該自走式電子機器と通信する操作装置とを備えるシステムであって、走行した各位置で撮影を行って記録画像を生成する画像記録部と、前記記録画像を格納する記憶部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、クエリとしてのキーワードの入力を受付けるクエリ入力部と、入力されたクエリに関連するキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部と、抽出された前記記録画像を出力する検索結果出力部とを含む物体検索システム。
【選択図】図１

Description

この発明は、少なくとも自走式電子機器および該自走式電子機器と通信する操作装置から構成される物体検索システム及び物体検索装置に関する。

自律的に走行し作業を行う自走式電子機器が普及しつつある。その一例として自走式の掃除機が挙げられる。他の例として自走式のイオン発生機や空気清浄機が挙げられる。このような自走式電子機器に通信機能およびＩＣタグから識別情報を読取る読み取り手段を付加し、所定の対象物に取り付けたＩＣタグから識別情報を読取ってユーザー所有の携帯電話機に送信する自走式装置が提案されている（例えば、特許文献１参照）。
また、掃除対象エリア内に配置された物体を識別し、識別した物体に対応付けられた掃除の動作を実行するものが提案されている（例えば、特許文献２参照）。

特開２００７−３１７１１２号公報 特開２００５−３１２８９３号公報

特許文献１のように、対象物にＩＣタグが取り付けられていれば、対象物の位置が変化し、あるいは、対象物の位置がわからなくても自走式装置がＩＣタグから識別情報を読み取ることで、対象物をカメラで撮影し、自走式装置の位置情報と撮影された画像をユーザーの携帯電話機に送信して対象物の状態を知らせることができる。しかし、予めＩＣタグが取り付けられた対象物でなければその機能を使用することができない。
この発明は、以上のような事情を考慮してなされたものであって、例えば識別用の信号や音などを発生する機能を有さない対象物であっても、自走式電子機器の走行範囲にある対象物を探し当てることが可能な物体検索システムを提供するものである。

この発明は、
（１）走行して作業を行う自走式電子機器と、該自走式電子機器と通信する操作装置とを備えるシステムであって、走行した各位置で撮影を行って記録画像を生成する画像記録部と、前記記録画像を格納する記憶部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、クエリとしてのキーワードの入力を受付けるクエリ入力部と、入力されたクエリに関連するキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部と、抽出された前記記録画像を出力する検索結果出力部とを含むことを特徴とする物体検索システムを提供する。
（２）走行して作業を行う自走式電子機器と通信可能な物体検索装置であって、前記自走式電子機器が撮影した記録画像を、該自走式電子機器から受信する通信部と、受信した前記記録画像を格納する記憶部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、指定されたキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部とを備えることを特徴とする物体検索装置を提供する。

この発明の上記（１）による物体検索システムは、走行した各位置で撮影を行って記録画像を生成する画像記録部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを前記記録画像にタグ付けするタグ付加部と、入力されたクエリに関連するキーワードがタグ付けされた記録画像を前記記憶部の中から検索して抽出する検索部とを含むので、識別用の信号や音などを発生する機能を有さない対象物であっても、自走式電子機器が走行した範囲にある対象物を探し当てることができる。
また、上記（２）による物体検索装置は、前記自走式電子機器が撮影した記録画像を受信する通信部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、指定されたキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部とを備えるので、識別用の信号や音などを発生する機能を有さない対象物であっても、自走式電子機器が走行した範囲にある対象物を探し当てることができる。

この発明の物体検索システムの一実施例の概略構成を示すブロック図である。（実施の形態１） 図１に示す自走式掃除機１の外観の一例を概略的に示す斜視図である。 図２に示す自走式掃除機の底面を概略的に示す底面図である。 この発明の物体検索システムが実行する物体検索のうち掃除動作中の処理を示すフローチャートである。（実施の形態１） この発明の物体検索システムが実行する物体検索のうち物体検索実行時の処理を示すフローチャートである。（実施の形態１） この実施形態の物体検索システムの概略構成を示すブロック図である。（実施の形態２） この実施形態において、選択された画像の撮影位置へ自走式掃除機が移動する処理を示すフローチャートである。（実施の形態３）

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
（実施の形態１）
≪１−１．自走式掃除機の構成≫
図１は、この発明の物体検索システムの一実施例の概略構成を示すブロック図である。図１に示すように、この発明に係る物体検索システム１００は、大別して自走式電子機器の一態様である自走式掃除機１と操作装置の一態様である通信端末装置１１０から構成される。なお、物体検索システム１００が備える自走式電子機器は１台に限るものではなく複数台でもよい。同様に、通信端末装置の台数についても１台に限らず複数台でもよい。
自走式掃除機１は、主として、回転ブラシ９、サイドブラシ１０、機器制御部１１、充電池１２、障害物検出部１４、集塵部１５を備える。さらに、動力部２１、右駆動輪２２Ｒ、左駆動輪２２Ｌ、吸気口３１、排気口３２、機器操作部５１、機器記憶部６１、位置記録部７１、機器通信部８１、画像記録部４１および電動送風機３３を備える。

自走式掃除機１は、設置された場所の床面を自走しながら床面上の塵埃を含む空気を吸い込み、塵埃を除去した空気を排気することにより床面上を掃除する。そして、掃除が終了すると自律的に図示しない充電ステーションに帰還する機能を有する。
図２は、図１に示す自走式掃除機１の外観の一例を概略的に示す斜視図である。
図３は、図２に示す自走式掃除機の底面を概略的に示す底面図である。

図２に示すように、自走式掃除機１は、円盤形の筐体２を備えている。
筐体２は、底板２ａと、筐体２内に収容された集塵容器を出し入れするために開閉可能な蓋部３が中央部分に取付けられた天板２ｂと、底板２ａおよび天板２ｂの外周部に沿って設けられた平面視円環形の側板２ｃとを備えている。天板２ｂにおける前方部と中間部との境界付近には排気口３２が形成されている。なお、側板２ｃは、前後に二分割されており、側板前部はバンパーとして機能すると共に、側板前部の衝突を検出する衝突センサ（図示せず）が内部に設けられている。さらに、図２に示すように、前方に前方超音波センサ１４Ｆが配置され、左側方に左方超音波センサ１４Ｌが配置されている。図２では隠れているが、右側方に右方超音波センサが配置されている。前方、左方および右方の超音波センサ並びに衝突センサは、図１の障害物検出部１４に含まれる。

また、図３に示すように、底板２ａには前輪２７、右駆動輪２２Ｒ、左駆動輪２２Ｌおよび後輪２６を筐体２内から露出させて外部へ突出させる複数の孔部が形成されている。さらに、吸気口３１の奥に回転ブラシ９、吸気口３１の左右にサイドブラシ１０、前輪２７の前方に前輪床面検出センサ１８、左駆動輪２２Ｌの前方に左輪床面検出センサ１９Ｌ、右駆動輪２２Ｒの前方に右輪床面検出センサ１９Ｒがそれぞれ配置されている。前輪床面検出センサ１８、左輪床面検出センサ１９Ｌおよび右輪床面検出センサ１９Ｒは、図１の障害物検出部１４に含まれる。

自走式掃除機１は、右駆動輪２２Ｒおよび左駆動輪２２Ｌが同一方向に正回転して前進し、前方超音波センサ１４Ｆが配置されている方向へ走行する。また、左右の駆動輪が同一方向に逆回転して後退し、互いに逆方向に回転することにより旋回する。例えば、自走式掃除機１は、障害物検出部１４の各センサにより掃除領域の周縁に到達した場合および進路上に障害物を検出した場合、左右の駆動輪を減速させた後に停止させる。その後、左右の駆動輪を互いに逆方向に回転させて旋回し向きを変える。このようにして、自走式掃除機１は、設置場所の全体あるいは所望範囲全体に渡って障害物を避けながら自走する。
ここで、前方とは、自走式掃除機１の前進方向（図３において、紙面に沿う上方）をいうものとし、後方とは、自走式掃除機１の後退方向（図３において、紙面に沿う下方）いうものとする。

以下、図１に示す各構成要素を説明する。
図１の機器制御部１１は、自走式掃除機１の各構成要素の動作を制御する部分であり、主として、ＣＰＵ、ＲＡＭ、Ｉ／Ｏコントローラ、タイマー等からなるマイクロコンピュータによって実現される。
ＣＰＵは、後述する機器記憶部６１に予め格納され、ＲＡＭに展開された制御プログラムに基づいて、各ハードウェアを有機的に動作させて、この発明の掃除機能、走行機能などを実行する。
なお、機器制御部１１は、機器記憶部６１に予め記憶された所定の処理プログラムを実行することによりタグ付加部１１ａおよび検索部１１ｂとしての機能を実現する。

充電池１２は、自走式掃除機１の各機能要素に対して電力を供給する部分であり、主として、掃除機能および走行制御を行うための電力を供給する部分である。たとえば、リチウムイオン電池、ニッケル水素電池、Ｎｉ−Ｃｄ電池、などの充電池が用いられる。
充電池１２の充電は、自走式掃除機１を図示しない充電ステーションに近接させた状態で、両者の露出した充電端子どうしを接触させることにより行う。

障害物検出部１４は、自走式掃除機１が走行中に、室内の壁や机、いすなどの障害物に接触又は近づいたことを検出し、また下り階段等落下に至る段差を検出する。障害物検出部１４は、超音波センサを用いて障害物への近接を検出する。超音波センサに代えて、あるいは超音波センサと共に、赤外線測距センサなど他の方式の非接触センサを用いてもよい。
また、障害物検出部１４は前述の衝突センサを含む。衝突センサは、自走式掃除機１が走行時に障害物と接触したことを検出するために、例えば、筐体２の側板２ｃの内部に配置される。ＣＰＵは、衝突センサからの出力信号に基づいて側板２ｃが障害物に衝突したことを知る。

さらに、障害物検出部１４としての前輪床面検出センサ１８、左輪床面検出センサ１９Ｌおよび右輪床面検出センサ１９Ｒは下り階段等の大きな段差を検出する。
ＣＰＵは、障害物検出部１４から出力された信号に基づいて、障害物や段差の存在する位置を認識する。認識された障害物や段差の位置情報に基づいて、その障害物や段差を避けて次に走行すべき方向を決定する。なお、左輪床面検出センサ１９Ｌおよび右輪床面検出センサ１９Ｒは、前輪床面検出センサ１８が段差の検出に失敗した場合や故障した場合に下り階段を検出し、自走式掃除機１の下り階段への落下を防止する。

画像記録部４１は、カメラ４１Ｃおよび物体認識部４１Ａを有する。
カメラ４１Ｃは、周囲の様子を画像信号として物体認識部４１Ａに出力する。物体認識部４１Ａは、周知のパターン認識技術を用いてその画像信号に物体が写っているときにそれを認識する。さらに、物体の方向と距離を算出（即ち判定）するための情報を提供してもよい。物体の方向および距離は、カメラ４１Ｃの画像のどの位置に物体が写っているかの情報に基づいて算出できる。あるいは、物体の方向および距離は、例えば、左右の２台のカメラを用いて異なる視点から周囲を撮影することで所謂３Ｄ画像の撮影を行い、３Ｄ画像の奥行きを解析して方向および奥行き距離の情報を取得してもよい。

動力部２１は、自走式掃除機１の左右の駆動輪を回転および停止させる駆動モータによって走行を実現する部分である。左右の駆動輪を独立して正逆両方向に回転させ得るように駆動モータを構成することにより、自走式掃除機１の前進、後退、旋回、加減速などの走行状態を実現している。

吸気口３１および排気口３２は、それぞれ掃除のための空気の吸気および排気を行う部分である。
集塵部１５は、室内のゴミやちりを集める掃除機能を実行する部分であり、主として、図示しない集塵容器と、フィルタ部と、集塵容器およびフィルタ部を覆うカバー部とを備える。また、集塵容器には、吸気口３１と連通する流入路に通じる流入口と、排気口３２と連通する排出路に通じる排気口とを有する。排出路には電動送風機３３が配置されている。電動送風機３３は、吸気口３１から空気を吸い込み、その空気を、流入路を介して集塵容器内に導き、集塵後の空気を排出路を介して排気口３２から外部へ放出する気流を発生させる。

吸気口３１の奥には、底面と平行な軸心廻りに回転する回転ブラシ９が設けられており、吸気口３１の左右両側には垂直な回転軸心廻りに回転するサイドブラシ１０が設けられている。回転ブラシ９は、回転軸であるローラの外周面に螺旋状にブラシを植設することにより形成されている。サイドブラシ１０は、回転軸の下端にブラシ束を放射状に設けることにより形成されている。なお、回転ブラシ９の回転軸および一対のサイドブラシ１０の回転軸は、筐体２の底板２ａの一部に枢着されると共に、その付近に設けられたブラシモータ３４とプーリおよびベルト等を含む動力伝達機構を介して連結されている。これは、単なる一例であり、サイドブラシ１０を回転させる専用の駆動モータを設けてもよい。

また、この実施形態に係る自走式掃除機１は、付加機能としてイオン発生機能を備えていてもよい。
機器操作部５１は、ユーザーが、自走式掃除機１の動作を指示入力する部分であり、自走式掃除機１の筐体の表面に、操作パネル、あるいは操作ボタンとして設けられる。
さらに、前述の掃除機本体に設けられた操作パネルや操作ボタンとは別に通信端末装置がリモコンユニットとして機能してもよい。

機器操作部５１は、主電源スイッチ、電源スイッチを含む。主電源スイッチは、充電池１２から機器制御部１１等への給電を回路的にオン／オフする。電源スイッチは、自走式掃除機１の電源をオン／オフする。機器操作部５１としては、その他のスイッチ（例えば、清掃作業をスタートさせる起動スイッチ、充電要求スイッチ、運転モードスイッチ、タイマスイッチ）がさらに設けられてもよい。また、機器操作部５１に代えて、リモコンとして機能する通信端末装置からの指示を受けると、機器制御部１１はこの指示に応答し、例えば動力部２１を制御してユーザーが指示する方向へ走行させあるいは走行を停止させる。

機器記憶部６１は、自走式掃除機１の各種機能を実現するために必要な情報や、制御プログラムを記憶する部分であり、フラッシュメモリー等不揮発性の半導体記憶素子やハードディスク等の記憶媒体が用いられる。
機器記憶部６１には、例えば、充電池１２の残容量等の状態を示す電池情報、自走式掃除機１の走行経路の履歴、現在位置および方向を示す位置情報６３、自走式掃除機１の動作モードを示す動作モード情報を格納する。動作モード情報は、運転モード、スタンバイモードおよびスリープモードを格納する。運転モードは、清掃作業中であることを示すデータである。スタンバイモードは、自走式掃除機の状態がスタンバイモードであることを示すデータである。スタンバイモードは、ユーザーからの指示、例えば、操作部の起動スイッチのオンを受付けて、その指示に応答して掃除を開始できるモードである。スリープモードは、節電状態のスリープモードであることを示すデータである。

位置記録部７１は、右駆動輪２２Ｒおよび左駆動輪２２Ｌにそれぞれ取り付けられたロータリーエンコーダ７１Ｒおよび７１Ｌで自走式掃除機１の走行の方向と距離を記録する。ただし、右駆動輪２２Ｒおよび左駆動輪２２Ｌと床面との滑りによる誤差を補正するために加速度センサ７１ａおよびジャイロセンサ７１ｂを搭載して補正をおこなっている。
機器通信部８１は、通信ネットワーク９０を介して遠隔地に存在する他の装置との通信を行う機能（遠距離通信機能）と、通信可能範囲内（例えば同一施設内）に存在する他の装置と装置間通信を行う機能（近距離通信機能）とを備えた通信手段である。
上記の遠距離通信機能で用いられる通信ネットワーク９０としては、例えば、インターネット、電話回線網、移動体通信網、ＣＡＴＶ通信網、衛星通信網などが挙げられる。
また、上記の近距離通信機能としては、例えば、無線ＬＡＮ規格の１つであるＩＥＥＥ８０２．１１（ＩＥＥＥ８０２．１１ａあるいはＩＥＥＥ８０２．１１ｂ）を利用して無線機器間の相互接続を行うＷｉＦｉ（登録商標）機器の通信機能、ＩＥＥＥ８０２．１１以外の無線ＬＡＮ規格に基づく通信機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＺｉｇＢｅｅ（登録商標）等の近距離無線通信規格を用いた通信機能、赤外線通信機能などを用いることができる。なお、通信ネットワーク９０は、上記遠距離通信機能、および上記近距離通信機能の両方を含むものとする。

≪１−２．通信端末装置の構成≫
通信端末装置１１０は、図１に示したように、端末制御部１１１、端末通信部１１２、端末表示部１１３、端末操作部１１４、および端末記憶部１１５を備えている。なお、通信端末装置１１０の構成は、上記各部の機能を有する通信端末装置であれば特に限定されるものではなく、例えば、スマートフォン、タブレット端末、携帯電話機、ＰＤＡ（Personal Digital Assistance）、パソコン、携帯型ゲーム機などを用いることができる。

端末制御部１１１は、通信端末装置１１０の各部の動作を制御する通信端末装置１１０の制御手段である。端末制御部１１１は、例えば、ＣＰＵや専用プロセッサなどの演算処理部、および、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などの記憶部（いずれも図示せず）などにより構成されるコンピュータ装置からなる。端末制御部１１１は、上記記憶部に記憶されている各種情報および各種制御を実施するためのプログラムを読み出して実行することで通信端末装置１１０の各部の動作を制御する。

端末通信部１１２は、通信ネットワーク９０を介して遠隔地に存在する他の装置との通信を行う機能（遠距離通信機能）と、通信可能範囲内（例えば同一施設内）に存在する他の装置と装置間通信を行う機能（近距離通信機能）とを備えた通信手段である。端末通信部１１２としては、例えば、自走式掃除機１の機器通信部８１と同様のものを用いることができる。

端末表示部１１３は、端末制御部１１１の指示に応じてユーザーに提示するための各種情報を表示する。端末表示部１１３の構成は特に限定されるものではなく、例えば、液晶表示パネル、有機ＥＬパネル、プラズマディスプレイパネルなどを用いることができる。端末表示部１１３は、検索結果出力部１１３ａとしての機能を兼ねる。即ち、端末表示部１１３は、検索結果として抽出された記録画像を位置と対応付けて表示する。

端末操作部１１４は、ユーザーからの操作入力を受け付けて端末制御部１１１に伝達する。端末操作部１１４の構成は特に限定されるものではなく、従来から公知の種々の操作入力手段を用いることができる。なお、本実施形態では、端末表示部１１３の機能と端末操作部１１４の機能とを備えたタッチパネルを用いている。端末操作部１１４は、クエリ入力部１１４ａとしての機能を兼ねる。即ち、端末操作部１１４は、クエリとしてのキーワードのユーザーによる入力を受付ける。
端末記憶部１１５は、通信端末装置１１０で用いられる各種情報を記憶する記憶手段である。端末記憶部１１５の構成は特に限定されるものはなく公知の記憶手段を用いることができる。

≪１−３．掃除動作中の画像記録処理≫
以下、この発明に係る物体検索システム１００が行なう物体検索の処理手順の一例をフローチャートに基づいて説明する。
図４および図５は、この発明の物体検索システム１００が実行する物体検索に係る処理のフローチャートである。図４は、物体検索に先立ち、自走式電子機器としての自走式掃除機が掃除動作中に記録画像を格納する処理を示す。図５は、物体検索を行うときの操作装置としての通信端末装置側および自走式掃除機側で実行する処理を示す。

まず、図４に基づいて説明する。自走式電子機器としての自走式掃除機１は、本来の機能である掃除動作のために自律走行を行うが、走行した室内の種々の場所をカメラ４１Ｃで撮影し、撮影した記録画像を機器記憶部６１に格納する。機器制御部１１は、機器記憶部６１に記録画像を格納するためのＦＩＦＯ領域を確保し、前記記録画像をＦＩＦＯ領域に順次格納する。ＦＩＦＯの容量が満杯になった場合、機器制御部１１は、ＦＩＦＯ領域に格納された記録画像のうち先に記録された画像から順次消去し、空いた領域に新たな記録画像を格納する。

待機状態で機器制御部１１は、機器操作部５１が有する図示しない起動スイッチ等がオンされて掃除動作の開始が指示されたか否かを監視する（図４のステップＳ１１）。掃除動作開始の指示がなされたら（ステップＳ１１のＹｅｓ）、機器制御部１１は、障害物検出部１４で検出された障害物を避けながら走行するように動力部２１を制御する。さらに、電動送風機３３およびブラシモータ３４を回転させて掃除動作を行わせる（ステップＳ１３）。
走行中、予め定められた期間が経過する毎に（ステップＳ１５）、カメラ４１Ｃで撮影を行い、記録画像を取得する（ステップＳ１７）。
続いて物体認識部４１Ａにより、撮影された記録画像の物体認識を行い、位置記録部７１により取得した位置の情報をその記録画像に付加する。なお、位置記録部７１は、走行に伴って変化する位置に情報を逐次更新する。機器記憶部６１に位置情報６３のメモリ領域を確保しておき、位置記録部７１が更新した位置情報を位置情報６３に逐次格納および更新するようにしてもよい。さらに機器制御部１１は、タグ付加部１１ａとしてその記録画像にタグを付加する（ステップＳ１９）。
タグ付加部１１ａの機能は、物体認識部４１Ａが認識した物体に関連するキーワードをその記録画像に付加するものである。例えば、カメラ４１Ｃにより撮影された画像に走行路前方の床に落ちている鍵が写っているとき、物体認識部４１Ａは、周知のパターン認識技術を用いて「鍵」というクラスの物体（オブジェクト）が写っていると認識する。ここでいうクラスとは、例えば「鍵」、「クリップ」、「ペン」といったような物体の一般的概念である。このように、パターンマッチングを適用して画像に含まれるオブジェクトをクラスのレベルで抽出する技術は一般物体認識として知られている。図１に示すように、機器記憶部６１は、認識すべき物体の特徴量とタグをタグデータベース６５として予め格納していてもよい。

パターンマッチングは、一般に認識の対象となるオブジェクトの特徴を予め定められた特徴量抽出処理によって特徴量として抽出しメモリに格納しておく。特徴量抽出処理としては、例えば、オブジェクトの局所的な特徴量として濃淡の配置に基づき画像のスケール変化や回転に不変な局所特徴量を得るＳＩＦＴ（Scale-Invariant Feature Transform）など種々の手法が知られている。記録画像が与えられると、同様の特徴量抽出処理をその記録画像に適用して特徴量を抽出し、メモリに予め格納されている特徴量と比較して類似しているもがあれば対応するオブジェクト（物体）が画像に写っていると判断する。

なお、一般物体認識に対し、オブジェクトのインスタンス、例えば「鍵」のクラスに含まれる種々のオブジェクトのうち特定の形状の鍵のみを認識する技術が特定物体認識技術として知られている。

以上の様に、機器制御部１１は、撮影された時点の位置情報およびタグを記録画像に付加して、機器記憶部６１に格納する。なお、自走式掃除機１が図１に図示しないリアルタイムクロックを備え、撮影指された時点の日時を記録画像にさらに付加してもよい。
続いて機器制御部１１は、掃除動作を終了するか継続するかを判断する（ステップＳ２１）。継続する場合（ステップＳ２１のＮｏ）、ルーチンは前述のステップＳ１３へ戻り、掃除動作と間欠的な撮影を続ける。
掃除動作を終了する場合（ステップＳ２１のＹｅｓ）、機器制御部１１は、自走式掃除機１を室内に配置された充電台へ帰還させる（ステップＳ２３）。充電台へ帰還したら掃除動作の処理を終了する（ステップＳ２５）。掃除動作を終了する条件としては種々のものが考えられるが、特に、充電池１２の残量が所定値よりも少なくなった場合に、充電台へ帰還する必要があると判断する。また、それに代えてあるいはそれに加えて、掃除動作を開始してから予め定められた期間が経過したら掃除動作を終了させるように判断してもよい。さらに、運転モードとして指定された位置の周囲を掃除するスポットモードが選択された場合、指定された位置を中心に予め定められた範囲を清掃したら掃除動作の終了と判断してもよい。

≪１−４．物体検索の処理≫
続いて、物体検索時の処理について説明する。図５は２つのフローチャートを併記している。左側のフローチャートは通信端末装置１１０側の端末制御部１１１が実行する処理であり、右側のフローチャートは自走式掃除機１の側の機器制御部１１が実行する処理である。通信端末装置１１０と自走式掃除機１は、通信ネットワーク９０を介した通信を行いつつ連携して処理を行う。

まず、通信端末装置１１０のユーザーが物体検索を実行するためのメニューを選択する操作を端末操作部１１４に対して行うものとする。すると端末操作部１１４の操作入力を監視している端末制御部１１１は（ステップＳ３１）、その操作に応答して（ステップＳ３１のＹｅｓ）、クエリとしてのキーワードの入力を受付ける画面を端末表示部１１３に表示させる（ステップＳ３３）。この段階で端末操作部１１４は、クエリ入力部１１４ａとして機能する。なお、物体検索を実行するためのメニューの画面や、クエリの入力を受付ける画面の表示データは、端末記憶部１１５に予め格納されている。その画面でユーザーがクエリを入力する操作を端末操作部１１４に対して行うものとする。すると、その操作入力を監視している端末制御部１１１は（ステップＳ３５）、その操作に応答して（ステップＳ３５のＹｅｓ）、入力されたクエリを端末通信部１１２から通信ネットワーク９０を介した自走式掃除機１へ送信する。そして、クエリに関連するタグが付加された画像を検索するように要求する（ステップＳ３７）。

自走式掃除機１の側の説明に移る。自走式掃除機１では、機器通信部８１が物体検索の要求を受信したか否かを監視している機器制御部１１が（ステップＳ５１）、その要求に応答して（ステップＳ５１のＹｅｓ）機器記憶部６１の中からクエリに関連するタグが付加されている記録画像を抽出する（ステップＳ５３）。機器制御部１１のこの処理は、検索部１１ｂとしての機能に該当する。
通信端末装置１１０の側の説明に戻る。機器制御部１１は、検索結果として１以上の記録画像が抽出されると、その画像を機器通信部８１から通信ネットワーク９０を介して通信端末装置１１０へ送信する（ステップＳ５３）。該当する画像がない場合はその旨の検索結果を通信端末装置１１０へ送信する。

通信端末装置１１０の端末制御部１１１は、端末通信部１１２が自走式掃除機１から検索結果を受信したか否かを監視している（ステップＳ３９）。検索結果を受信するとそれに応答して（ステップＳ３９のＹｅｓ）、検索結果を端末表示部１１３に表示させる（ステップＳ４１）。この段階で、端末表示部１１３は、検索結果出力部１１３ａとして機能する。
端末制御部１１１は、検索結果に該当する画像が見出された場合はその一覧を、画像に付加された位置情報と共に端末表示部１１３に表示させる。該当する画像がない場合はその旨を端末表示部１１３に表示させる。検索結果の画像に撮影された日時が付加されている場合は、画像と共にその日時を表示させてもよい。

以上が機器制御部１１および端末制御部１１１の処理であるが、ユーザーは端末表示部１１３に表示された画像を見て探しているものと一致する画像を見出し、その画像と共に表示される位置情報に基づいて探しものがある場所を特定することができる。

（実施の形態２）
実施の形態１で、物体検索は互いに通信する自走式掃除機１と通信端末装置１１０で構成されているが、この実施の形態では、それに情報処理装置を加えた構成を説明する。
図６は、この実施形態の物体検索システム１００の概略構成を示すブロック図である。図１と同様の部分は同じ符号を付している。
図１と異なる点の一つは、サーバー装置１５０が追加され、通信ネットワーク９０を介して自走式掃除機１および通信端末装置１１０と通信可能に接続されている構成である。

サーバー装置１５０は、サーバー制御部１５１、サーバー通信部１５３およびサーバー記憶部１５５を備える。図１で自走式掃除機１の機器制御部１１が備えているタグ付加部および検索部は、図６においてサーバー装置１５０のサーバー制御部１５１が備えている。さらに、図１で機器記憶部６１に格納される記録画像は、図６においてサーバー記憶部１５５にされる。また、タグデータベースは、サーバー記憶部１５５に格納されてもよい。ここで、サーバー装置１５０は、本発明に係る物体検索装置の一例である。

実施の形態１、図４のステップＳ１９において、掃除動作中に機器制御部１１は、撮影された記録画像に位置情報とタグを付加して機器記憶部６１に格納する。この実施形態ではそれに代えて、機器制御部１１が撮影された記録画像に位置情報を付加したうえで機器通信部８１から通信ネットワーク９０を介したサーバー装置１５０に送信する。送信された画像をサーバー通信部１５３が受信すると、サーバー制御部１５１は自走式掃除機１から受信した記録画像にタグを付加してサーバー記憶部１５５に格納する。この段階でサーバー制御部１５１はタグ付加部１５１ａとして機能する。

サーバー記憶部１５５がタグデータベース１５７を格納し、タグ付加部１５１ａがタグデータベース１５７を参照してタグ付けを行ってもよい。
また、実施の形態１、図５のステップＳ３７で、端末制御部１１１は、クエリを自走式掃除機１へ送信して画像を検索するように要求し、ステップＳ３９で検索結果を自走式掃除機１から受信するが、それに代えてこの実施形態ではクエリをサーバー装置１５０へ送信して画像を検索するように要求する。そして、ステップＳ３９で、サーバー装置１５０から検索結果を受信する。また、図５で機器制御部１１が実行するステップＳ５１およびＳ５３の処理は、この実施形態でサーバー装置１５０のサーバー制御部１５１が実行する。即ち、サーバー制御部１５１は、検索部１５１ｂとしてサーバー記憶部１５５の中からクエリに関連するタグが付加されている記録画像を抽出する。

サーバー装置１５０は、例えば自走式掃除機１の製造者が提供してもよくまたサービス業者が提供してもよい。あるいは、ユーザーが用意してもよい。複数の自走式掃除機および複数の通信端末装置がサーバー装置１５０を共用してもよい。その場合、自走式掃除機別に記録画像をサーバー記憶部１５５に格納しておき、端末制御部１１１は、どの自走式掃除機の検索画像を検索するか指定するようにしてもよい。

（実施の形態３）
この実施形態では、検索結果の画像を端末表示部１１３に表示させた後、ユーザーによる画像の選択を受付けて自走式掃除機１が選択された画像に付加された位置情報に基づいてその位置へ移動する態様を説明する。

図７は、この実施形態において、選択された画像が撮影された位置へ自走式掃除機が移動する処理を行うときの操作装置としての通信端末装置側および自走式掃除機側で実行する処理を示すフローチャートである。図７に沿って処理を説明する。図７で、通信端末装置１１０の端末制御部１１１は、図５のステップＳ３１〜Ｓ４１と同様の処理を行って検索結果の画像を端末表示部１１３に表示させる。そして、表示された何れかの画像がユーザーにより選択されたか否かを監視する（ステップＳ４３）。何れかの画像が選択されたら（ステップＳ４３のＹｅｓ）、選択された画像に付加されている位置情報を自走式掃除機１へ送信する（ステップＳ４５）。

自走式掃除機１の機器制御部１１は、図５のステップＳ５１〜Ｓ５３と同様の処理を行った後、機器通信部８１が通信端末装置１１０から位置情報を受信したか否かを監視している（ステップＳ５５）。位置情報を受信すると（ステップＳ５５のＹｅｓ）、機器制御部１１はそれに応答してその位置情報が示す場所を目標に自走式掃除機１の走行を開始する。障害物を避けながら目的の場所への移動が完了すると（ステップＳ５９のＹｅｓ）、機器制御部は、目的の場所に到着したことを通信端末装置１１０へ送信する（ステップＳ６１）。

端末制御部１１１の処理の説明に戻る。端末制御部１１１は、自走式掃除機１が目的の場所に到着した旨の通知を端末通信部１１２が受信するのを待っている（ステップＳ４７）。その通知を受信したら（ステップＳ４７のＹｅｓ）端末制御部１１１は、自走式掃除機１が目的の場所に到着した旨のメッセージを端末表示部１１３に表示させ（ステップＳ４９）、処理を終了する。
なお、機器制御部１１は、自走式掃除機１が目的の場所に到着したら周囲の様子をカメラ４１Ｃで撮影させて通信端末装置１１０に送信するように制御し、端末制御部１１１は、端末通信部１１２がその画像を受信したら端末表示部１１３に受信した画像を表示させるように制御してもよい。

以上に述べたように、
（ｉ）この発明による物体検索システムは、少なくとも走行して作業を行う自走式電子機器と、該自走式電子機器と通信する操作装置とを備えるシステムであって、走行した各位置で撮影を行って記録画像を生成する画像記録部と、前記記録画像を格納する記憶部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、クエリとしてのキーワードの入力を受付けるクエリ入力部と、入力されたクエリに関連するキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部と、抽出された前記記録画像を出力する検索結果出力部とを含むことを特徴とする。

この発明において、自走式電子機器は、走行しながら掃除や空気清浄やイオン発生など走行して作業を行うものである。その具体的な態様の一例としては、自走式掃除機が挙げられる。前述の実施形態において、自走式電子機器は自走式掃除機に相当する。
また、操作装置は、ユーザーが対象物を探す操作を行うものである。その具体的な態様は、例えば、スマートフォンやタブレット端末である。前述の実施形態において、操作装置は、通信端末装置に相当する。
この発明の物体検索システムは、最小の構成として自走式電子機器および操作装置を備えるが、さらにそれらの少なくとも一方と通信する情報処理装置を構成に含んでもよい。前記情報処理装置は、複数の装置が連携して一つの処理を分散して実行するような複数の装置からなる構成であってもよい。実施の形態２において、前記情報処理装置はサーバー装置に相当する。

また、画像記録部は自走式機器が備える。その具体的態様の一例はカメラである。前述の実施形態において、自走式掃除機は画像記録部としてカメラ４１Ｃを備える。
記憶部は、画像記録部が生成した各記録画像を格納する読み書き可能なメモリである。その具体的な態様としては、フラッシュメモリーやハードディスクドライブが挙げられる。記憶部は、自走式電子機器が備えてもよいがこれに限定されない。前述のようにシステムが情報処理装置を含む構成の場合は例えばその情報処理装置が前記記憶部を備えてもよい。前述の実施の形態１において自走式掃除機が備える機器記憶部は、この発明の記憶部の機能を提供する。

また、タグ付加部は、記録画像に検索用のタグを付加するものである。その具体的な態様は、例えば、各記録画像にタグを付加する処理を実行するＣＰＵである。前記記憶部を備える自走式掃除機がタグ付加部も備える構成が好ましいがこれに限定されない。前述のようにシステムが情報処理装置を含む構成の場合は例えばその情報処理装置が備えてもよい。実施の形態１において、タグ付加部は、機器制御部がタグ付加の処理を実行することによりその機能が実現される。なお、端末記憶部は、タグ付加部が参照するタグデータベースを格納してもよい。
クエリ入力部は操作装置が備え、ユーザーが対象物を探すときに検索用のキーワードを入力するものである。その具体的な態様は、例えば、操作装置が備える操作入力手段である。前述の実施形態においてクエリ入力部は、操作装置としての通信端末装置が備える端末操作部に相当する。

また、検索部は、入力されたクエリに関連する記録画像を検索する処理を行うものである。その具体的な態様は、例えば、検索処理を実行するＣＰＵである。前記記憶部を備える自走式掃除機が検索部も備える構成が好ましいがこれに限定されない。前述のようにシステムが情報処理装置を含む構成の場合はその情報処理装置が備えてもよい。前述の実施形態において検索部は、自走式掃除機が備える機器制御部に相当する。
また、検索結果出力部は操作装置が備え、検索部により抽出された画像をユーザーに提示するものである。その具体的な態様は、例えば、操作装置が備える表示部である。前述の実施形態において、検索結果出力部は、通信端末装置が備える端末表示部に相当する。

（ii）この発明による物体検索装置は、走行して作業を行う自走式電子機器と通信可能な物体検索装置であって、前記自走式電子機器が撮影した記録画像を、該自走式電子機器から受信する通信部と、受信した前記記録画像を格納する記憶部と、前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、指定されたキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部とを備えることを特徴とする。

さらに、この発明の好ましい態様について説明する。
（iii）前記自走式電子機器が走行する位置を記録する位置記録部をさらに備え、前記記録部は、前記記録画像を、該記録画像が撮影された位置と対応付けて格納し、前記検索結果出力部は、前記記録画像と対応付けられた前記位置を、該記録画像と共に出力してもよい。このようにすれば前記検索結果出力部は、検索結果の記録画像と共にその記録画像が撮影された位置を出力することができる。
位置記録部は自走式機器が備え、該自走式機器が走行する位置を記録するものである。その具体的な態様は、例えば、自走式機器がジャイロセンサおよび加速度センサを搭載して走行の方向と距離を取得するものであってもよい。あるいは、自走式機器を走行させる車輪やモータに取り付けたロータリーエンコーダで走行の方向と距離を取得するものであってもよい。あるいは、自走式がカメラを搭載しそのカメラで撮影した画像から走行の方向と距離を取得するものであってもよい。また、これらを組み合わせたものであってもよい。前記カメラが画像記録部の機能を兼ねてもよい。実施の形態において自走式機器としての自走式掃除機は、位置記録部としてロータリーエンコーダ、ジャイロセンサおよび加速度センサを備える。

（iv）前記記録画像の撮影が行われた時刻を提供する時刻提供部をさらに備え、前記記憶部は、該時刻を対応付けて各記録画像を格納し、前記検索結果出力部は、抽出された記録画像に対応付けられた位置および時刻を該記録画像と共に出力してもよい。
このようにすれば、抽出された記録画像がいつ撮影されたものか、即ち、記録画像に写った対象物がいつ存在していたかを確認できる。
時刻提供部は、位置記録部と同様に自走式電子機器が備える構成が好ましいが、これに限定されるものでなく、操作装置が備えてもよい。また、前述のようにシステムが情報処理装置を含む構成の場合はその情報処理装置が備えてもよい。

（ｖ）認識された物体が写った記録画像から該物体が写った部分を切り出して前記記憶部に記憶させる物体抽出部をさらに備えてもよい。
このようにすれば、記録画像の一部に対象物が小さく写っている場合でも、不要な部分から対象物を切り出してユーザーに分かり易く提示できる。
物体抽出部は、タグ付加部と同様に操作装置が備える構成が好ましいがこれに限定されず、自走式電子機器が備えてもよい。また、前述のようにシステムが情報処理装置を含む構成の場合はその情報処理装置が備えてもよい。

（vi）前記タグ付加部は、クエリとして想定される物体の画像または該画像から抽出された特徴量をキーワードと対応付けたタグデータベースを有し、前記タグデータベース中の画像または特徴量に関連する部分が各記録画像に含まれるか否かを調べ、関連する部分が含まれる場合に前記画像または特徴量に対応付けられたキーワードを該記録画像にタグ付けしてもよい。
このようにすれば、タグデータベースに予め登録された対象物について、ユーザーの手を煩わすことなく各記録画像にタグを付加することができる。タグデータベースの具体的な態様は、予めメモリに格納されたデータベースである。前記記憶部を備える自走式掃除機が検索部も備える構成が好ましいがこれに限定されない。前述のようにシステムが情報処理装置を含む構成の場合はその情報処理装置が備えてもよい。前述の実施形態において検索部は、自走式掃除機が備える機器制御部に相当する。

（vii）前記検索部により抽出された１以上の記録画像のユーザーによる選択を受付ける入力部と、選択された記録画像に対応付けられた位置へ前記自走式電子機器を移動させる走行制御部とをさらに備えてもよい。
このようにすれば、選択された記録画像に写った対象物のある場所へ自走式電子機器を移動させて対象物のある場所へユーザーを導くことができる。
前記入力部は、操作装置が備える。前記走行制御部は、位置記録部と同様に自走式電子機器が備える構成が好ましいが、これに限定されるものでなく、操作装置が備えてもよい。また、前述のようにシステムが情報処理装置を含む構成の場合はその情報処理装置が備えてもよい。

この発明の好ましい態様は、上述した複数の態様のうちの何れかを組み合わせたものも含む。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

１：自走式掃除機、 ２：筐体、 ２ａ：底板、 ２ｂ：天板、 ２ｃ：側板、 ３：蓋部、 ９：回転ブラシ、 １０：サイドブラシ、 １１：機器制御部、 １１ａ：タグ付加部、 １１ｂ：検索部、 １２：充電池、 １４：障害物検出部、 １４Ｆ：前方超音波センサ、 １４Ｌ：左方超音波センサ、 １５：集塵部、 １８：前輪床面検出センサ、 １９Ｌ：左輪床面検出センサ、 １９Ｒ：右輪床面検出センサ、 ２１：動力部、 ２２Ｌ：左駆動輪、 ２２Ｒ：右駆動輪、 ２６：後輪、 ２７：前輪、 ３１：吸気口、 ３２：排気口、 ３３：電動送風機、 ３４：ブラシモータ、 ４１：画像記録部、 ４１Ａ：物体認識部、 ４１Ｃ：カメラ、 ５１：機器操作部、 ６１：機器記憶部、 ６３：位置情報、 ６５：タグデータベース、 ７１：位置記録部、 ７１Ｌ、７１Ｒ：ロータリーエンコーダ、 ７１ａ：加速度センサ、 ７１ｂ：ジャイロセンサ、 ８１：機器通信部、 ９０：通信ネットワーク、 １００：物体検索システム、 １１０：通信端末装置、 １１１：端末制御部、 １１２：端末通信部、 １１３：端末表示部、 １１４：端末操作部、 １１５：端末記憶部、 １５０：サーバー装置、 １５１：サーバー制御部、 １５１ａ：タグ付加部、 １５１ｂ：検索部、 １５３：サーバー通信部、 １５５：サーバー記憶部、 １５７：タグデータベース

Claims (5)

1. 走行して作業を行う自走式電子機器と、該自走式電子機器と通信する操作装置とを備えるシステムであって、
   走行した各位置で撮影を行って記録画像を生成する画像記録部と、
   前記記録画像を格納する記憶部と、
   前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、
   クエリとしてのキーワードの入力を受付けるクエリ入力部と、
   入力されたクエリに関連するキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部と、
   抽出された前記記録画像を出力する検索結果出力部とを含むことを特徴とする物体検索システム。
2. 前記自走式電子機器が走行する位置を記録する位置記録部をさらに備え、
   前記記録部は、前記記録画像を、該記録画像が撮影された位置と対応付けて格納し、
   前記検索結果出力部は、前記記録画像と対応付けられた前記位置を、該記録画像と共に出力する請求項１に記載の物体検索システム。
3. 前記記録画像の撮影が行われた時刻を提供する時刻提供部をさらに備え、
   前記記憶部は、前記時刻を対応付けて前記記録画像を格納し、
   前記検索結果出力部は、前記記録画像に対応付けられた前記時刻を、該記録画像と共に出力する請求項１又は２に記載の物体検索システム。
4. 前記検索部により抽出された１以上の記録画像のユーザーによる選択を受付ける入力部と、
   選択された記録画像に対応付けられた位置へ前記自走式電子機器を移動させる走行制御部とをさらに備える請求項１〜３の何れか一つに記載の物体検索システム。
5. 走行して作業を行う自走式電子機器と通信可能な物体検索装置であって、
   前記自走式電子機器が撮影した記録画像を、該自走式電子機器から受信する通信部と、
   受信した前記記録画像を格納する記憶部と、
   前記記録画像に写った物体を認識し該物体に応じたキーワードを該記録画像にタグ付けするタグ付加部と、
   指定されたキーワードがタグ付けされた前記記録画像を、前記記憶部の中から検索して抽出する検索部とを備えることを特徴とする物体検索装置。