JP2018169787A - 自律型モビリティシステムおよび自律型モビリティの制御方法 - Google Patents

Abstract

【課題】ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現する。【解決手段】カメラ３と、カメラ３の撮影画像に基づき施設のマップ画像を生成するプロセッサ２１を有するサーバ装置４と、サーバ装置４からのマップ画像に基づき、施設に関するマップ画面を表示する表示装置３５を有する自律型モビリティ２と、を備えた自律型モビリティシステム１において、プロセッサ２１は、カメラ３の撮影画像に基づき、人物検出を実行し、人物検出結果に基づき、マップ画像に対応する領域における人物の存在情報を生成し、その人物の存在情報が付加されたマップ画像を表示装置３５に送信し、自律型モビリティ２では、そのマップ画像に基づくマップ画面が表示装置３５に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行される構成とする。【選択図】図２

Description

本開示は、施設内において自律型モビリティを移動させるための自律型モビリティシステムおよび自律型モビリティの制御方法に関する。

従来、例えば商業施設内を移動可能な案内ロボットの制御に関し、案内ロボット制御装置が、施設内の混雑している場所と空いている場所を検出して、その混雑している場所の入り口を案内ロボットの配置先として設定すると共に、空いている場所における告知項目を選択して告知内容として設定し、その設定内容を案内ロボットに通知することにより、その設定内容を通知された案内ロボットは、通知された案内ロボットの配置先に移動すると共に、該通知された内容を告知して案内する技術が知られている（特許文献１参照）。

特許第４８３０８１６号公報

近年、ユーザ（施設の利用者）と共に施設内を移動するいわゆる自律型モビリティ（自律移動機能を搭載した電動車いす、車両、ロボット等の自律型移動装置）の実現が望まれている。特に、自律型モビリティの円滑な移動を実現するためには、周囲環境（施設内における他の人物の存在等）に応じて移動ルートを適切に設定することが必要となる。

一方、上記特許文献１に記載された従来技術によれば、時々刻々と変化する売り場の混雑状況に合わせて動的にロボットを配置し、買い物客を混雑した場所から空いている場所に誘導することができるとされている。しかしながら、上記従来技術では、施設内をユーザと共に移動するような自律型モビリティの運用形態については考慮されていない。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現する自律型モビリティシステムおよび自律型モビリティの制御方法を提供することを主目的とする。

本開示の自律型モビリティシステムは、施設に設置された１以上のカメラと、前記カメラによって撮影された撮影画像に基づき前記施設のマップ画像を生成するプロセッサを有するサーバ装置と、前記サーバ装置から提供される前記マップ画像に基づき、前記施設に関するマップ画面を表示する表示装置を有する自律型モビリティと、を備えた自律型モビリティシステムであって、前記プロセッサは、前記撮影画像に基づき、人物検出を実行し、前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、前記人物の存在情報が付加された前記マップ画像を前記表示装置に送信し、前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする。

また、本開示の自律型モビリティの制御方法は、施設内の撮影画像に基づき生成されたマップ画像に基づき、前記施設に関するマップ画面を表示可能な表示装置を有する自律型モビリティの移動を制御する方法であって、前記撮影画像に基づき、人物検出を実行し、前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする。

本開示によれば、ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現することが可能となる。

実施の形態に係る自律型モビリティシステムの全体構成図 自律型モビリティシステムの構成を示すブロック図 サーバ装置の自律移動支援処理およびそれに対応した自律型モビリティの自律移動に関する処理を示すブロック図 店舗およびその周辺の状況を示す立面図 店舗の１Ｆフロアにおける自律型モビリティの周囲領域の様子を示す説明図 店舗の１Ｆフロアのレイアウトおよびカメラ３の設置状況を示す平面図 図６に示した１Ｆフロアに関する小領域マップ画像の一例を示す図 図７に示した小領域マップ画像における領域スコア算出の処理に関する説明図 図７に示した小領域マップ画像における領域スコア算出の処理に関する説明図 図７に示した小領域マップ画像における領域スコア算出の処理に関する説明図 図７に示した小領域マップ画像における人物の存在情報の生成の処理に関する説明図 図６に示した１Ｆフロアに関して表示されるマップ画面の一例を示す図 図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作（自動設定モード）の説明図 図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作（自動設定モード）の説明図 図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作（自動設定モード）の説明図 図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作（ユーザ設定モード）の説明図 ２Ｆフロアに関する小領域マップ画像の一例を示す図 図１０に示したマップ画面の変形例を示す図

上記課題を解決するためになされた第１の発明は、施設に設置された１以上のカメラと、前記カメラによって撮影された撮影画像に基づき前記施設のマップ画像を生成するプロセッサを有するサーバ装置と、前記サーバ装置から提供される前記マップ画像に基づき、前記施設に関するマップ画面を表示する表示装置を有する自律型モビリティと、を備えた自律型モビリティシステムであって、前記プロセッサは、前記撮影画像に基づき、人物検出を実行し、前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、前記人物の存在情報が付加された前記マップ画像を前記表示装置に送信し、前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする。

これによると、人物の存在情報が付加されたマップ画像によるマップ画面に対してなされたユーザの操作入力に応じて、人物の存在を考慮した移動制御を実行可能となるため、ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現することが可能となる。

また、第２の発明では、前記ユーザの操作入力は、前記マップ画面における前記自律型モビリティの目的地の設定に関するものであることを特徴とする。

これによると、所望の目的地に向けてユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現することが可能となる。

また、第３の発明では、前記ユーザの操作入力は、前記マップ画面における前記自律型モビリティの目的地までの移動ルートの設定に関するものであることを特徴とする。

これによると、自律型モビリティの移動ルートにユーザの意図を反映しつつ、自律型モビリティの円滑な移動を実現することが可能となる。

また、第４の発明では、前記自律型モビリティでは、前記要注意領域を除外した領域内において、移動ルートが設定されることを特徴とする。

これによると、人物が存在する領域を除外した領域内において、周囲に存在する人物からの影響を回避しつつ、自律型モビリティの円滑な移動を実現することが可能となる。

また、第５の発明では、前記プロセッサは、前記人物検出により、予め設定された注意人物属性を有する人物のみを検出することを特徴とする。

これによると、自律型モビリティの移動の際に注意すべき人物のみについて人物の存在情報が生成されるため、自律型モビリティの移動ルートの自由度が高まる。

また、第６の発明では、前記注意人物属性は、前記人物が子供であることを示す属性であることを特徴とする。

これによると、思いがけない行動をとる可能性のある子供について人物の存在情報が生成されるため、自律型モビリティのより円滑な移動を実現することが可能となる。

また、第７の発明では、前記人物の存在情報は、前記人物検出により検出された人物が存在する領域を示す画像を含み、前記表示装置は、前記人物が存在する領域を示す画像が重畳された前記マップ画像に基づき、前記マップ画面を表示することを特徴とする。

これによると、ユーザは、マップ画面に対する操作入力を行う際に、人物が存在する領域を容易に視認することが可能となる。

また、第８の発明では、前記マップ画像に対応する領域には、複数の小領域が設定され、前記プロセッサは、前記人物検出によって検出された人物が存在する領域を前記小領域から決定することを特徴とする。

これによると、予め設定した小領域に基づき、人物が存在する領域をより簡易に設定することが可能となる。

また、第９の発明では、施設内の撮影画像に基づき生成されたマップ画像に基づき、前記施設に関するマップ画面を表示可能な表示装置を有する自律型モビリティの移動を制御する方法であって、前記撮影画像に基づき、人物検出を実行し、前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする。

これによると、人物の存在情報が付加されたマップ画像によるマップ画面に対してなされたユーザの操作入力に応じて、人物の存在を考慮した移動制御を実行可能となるため、ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現することが可能となる。

以下、本開示の実施の形態について図面を参照しながら説明する。

図１は、実施の形態に係る自律型モビリティシステム１の全体構成図である。

自律型モビリティシステム１は、施設内において自律型モビリティ２を移動させるためのシステムであり、自律型モビリティ２に加えて、店舗ごとに設けられた複数のカメラ３およびサーバ装置４を備えている。

本開示では、自律型モビリティシステム１を適用する施設として、百貨店やスーパーマーケットなどの小売チェーン店などの店舗を例に説明するが、これに限らず、自律型モビリティシステム１は、自律型モビリティ２が移動可能なスペースを有する任意の施設（例えば、空港、駅、オフィスビルなど）に適用することが可能である。

また、本開示では、自律型モビリティ２は、公知の自律移動機能を搭載した電動車椅子からなり、ユーザと共に店舗内を移動可能である。さらに、自律型モビリティ２は、公知の無線通信機能を有しており、図示しないアクセスポイント等を介して通信ネットワーク（専用回線やインターネット回線等）５に接続されることにより、サーバ装置４と通信可能である。

なお、自律型モビリティ２としては、電動車椅子に限らず、ユーザと共に移動が可能な限りにおいて、任意の自律型移動装置（例えば、車両、ロボットなど）を採用することができる。また、自律型モビリティ２は、電動車椅子に着座したユーザ７２（図５参照）と共に移動するが、例えば、自律型モビリティ２がロボットの場合には、ユーザの歩行に合わせて一緒に移動する構成も可能である。さらに、本開示では、１台の自律型モビリティ２について説明するが、実用上は、自律型モビリティシステム１には同様の自律型モビリティ２が複数存在する。

カメラ３は、それぞれ公知の撮影機能や通信機能を有するビデオカメラであり、各店舗内の適所に設置され、自律型モビリティ２の移動状況を撮影することが可能である。カメラ３は、店舗内ネットワーク６、ルータ７および通信ネットワーク５を介してサーバ装置４に接続されており、撮影した画像（動画像または静止画像）をサーバ装置４に対して適宜送信することができる。

サーバ装置４は、公知のハードウェア構成を有するコンピュータからなり、自律型モビリティ２の自律的な移動を支援するための処理（以下、「自律移動支援処理」という。）を実行するためのプログラムがインストールされている。詳細は後述するが、サーバ装置４は、その自律移動支援処理において、店舗のフロアにおける周囲の人物の存在情報が付加されたマップ画像を、自律型モビリティ２に対して提供することが可能である。自律型モビリティ２では、サーバ装置４から提供されるマップ画像に基づき、店舗に関するマップ画面を表示部（図５参照）３５に表示することが可能となる。なお、サーバ装置４は、必要に応じて自律型モビリティ２の移動制御に関する制御指令を自律型モビリティ２に対して送出することも可能である。

図２は、自律型モビリティシステム１の構成を示すブロック図である。

カメラ３は、公知のハードウェア構成を有しており、イメージセンサを有する撮像部１１と、プロセッサ、メモリ、周辺回路等を有する制御部１２と、記憶装置を有する情報記憶部１３と、通信モジュールを有する通信部１４とを備える。

撮像部１１は、時間的に連続する撮影画像（動画像）を順次出力する。制御部１２では、プロセッサが所定のプログラムを実行することにより、カメラ３の撮影や通信等の処理が実現される。情報記憶部１３は、プロセッサによって実行されるプログラムや、撮像部１１から出力される撮影画像を記憶する。通信部１４は、サーバ装置４との間で公知の有線または無線通信方式に基づき通信を行うものであり、撮像部１１から出力される撮影画像を、通信ネットワーク５を介してサーバ装置４に送信する。

サーバ装置４は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部２１と、記憶装置を有する情報記憶部２２と、通信モジュールを有する通信部２３とを備える。

制御部２１では、プロセッサが所定のプログラムを実行することにより、後に詳述するような自律型モビリティ２に対する自律移動支援処理ならびにカメラ３および自律型モビリティ２との通信等の処理が実現される。情報記憶部２２は、カメラ３から受信した撮影画像や、プロセッサによって実行されるプログラムなどを記憶する。通信部２３は、カメラ３および自律型モビリティ２との間で公知の有線または無線通信方式に基づき通信を行うものであり、カメラ３から送信される撮影画像を受信し、また、制御部２１によって生成されたマップ画像や、制御部２１による制御指令を自律型モビリティ２に送信する。

本開示の自律型モビリティ２では、ユーザが利用する携帯情報端末３０（例えば、携帯電話機（スマートフォン）、タブレットＰＣ等の情報機器）が、モビリティ本体４０と通信可能に接続することにより、自律型モビリティ２の一部として機能する。

携帯情報端末３０は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部３１と、記憶装置を有する情報記憶部３２と、通信モジュールを有する通信部３３と、ユーザ用の入力装置を有する入力部３４と、ユーザ用の表示装置を有する表示部（表示装置）３５と、携帯情報端末３０の位置を検出する位置検出装置を有する位置検出部３６と、を備える。

制御部３１では、プロセッサが所定のプログラムを実行することにより、モビリティ本体４０に対する制御指令の送出や、サーバ装置４との通信等の処理が実現される。情報記憶部３２は、プロセッサによって実行されるプログラムや、サーバ装置４から取得した自律型モビリティ２の移動制御に関する各種情報や制御指令を記憶する。通信部３３は、サーバ装置４および自律型モビリティ２との間で公知の有線または無線通信方式に基づき通信を行うものであり、自律型モビリティ２の移動制御に関し、サーバ装置４から送信されるマップ画像を受信する一方、入力部３４から入力されたユーザ設定情報を自律型モビリティ２に送信する。

また、入力部３４は、ユーザの操作入力に用いられる。表示部３５は、サーバ装置４から送信されるマップ画像に基づいて、ユーザ設定情報の入力に用いられるユーザインタフェース画面を表示する。本開示では、入力部３４および表示部３５は、入力装置と表示装置を組み合わせたタッチパネルディスプレイで構成される。位置検出部３６は、施設内の適所に配置されたビーコンから発信されるビーコン信号（位置検出信号）を受信する受信機を有しており、自律型モビリティ２の現在位置を検出することができる。なお、モビリティ本体４０側に同様の位置検出部を設けることにより、自律型モビリティ２の位置検出を行ってもよい。

モビリティ本体４０は、公知のハードウェア構成を有しており、自律型モビリティ２の移動動作を制御する駆動制御部４１と、記憶装置を有する情報記憶部４２と、通信モジュールを有する通信部４３と、自律型モビリティ２の移動（ここでは、車輪を利用した走行）を実現するための駆動装置を有する駆動部４４と、を備える。

駆動制御部４１には、公知のプロセッサ、メモリ、周辺回路等が含まれ、プロセッサが所定のプログラムを実行することにより、駆動部４４に対する駆動制御指令（例えば、移動速度や移動方向（操舵）に関する指令）が送出される。情報記憶部４２は、プロセッサによって実行されるプログラムや、携帯情報端末３０から取得した自律型モビリティ２の移動制御に関する各種情報や制御指令を記憶する。通信部４３は、携帯情報端末３０との間で公知の有線または無線通信方式に基づき通信を行うものであり、上述のユーザ設定情報を携帯情報端末３０から受信する。駆動部４４は、車輪、車輪を駆動するモータ、操舵装置等を含み、駆動制御部４１からの駆動制御指令に基づき自律型モビリティ２の自律移動を実現する。

なお、自律型モビリティ２では、必ずしも携帯情報端末３０は必須ではなく、上述の携帯情報端末３０の各構成要素がモビリティ本体４０側に設けられた構成も可能である。また、モビリティ本体４０には、自律型モビリティ２の自律的な移動に必要な情報を取得するためのカメラや、各種センサ等を設けることが可能である。

図３は、サーバ装置４の自律移動支援処理およびそれに対応した自律型モビリティ２の自律移動に関する処理を示すブロック図である。ここで、サーバ装置４による各処理は、制御部２１を構成するプロセッサによるプログラムの実行により実現され、同様に、自律型モビリティ２による各処理は、制御部３１を構成するプロセッサによるプログラムの実行により、または、駆動制御部４１を構成するプロセッサによるプログラムの実行により実現される。

サーバ装置４では、公知の人物検出手法により、各カメラ３の撮影画像に含まれる人物を検出する人物検出５１が実行される。ここで、サーバ装置４では、店舗内のフロアに関する平面的なレイアウトを描画した平面マップ画像が予め情報記憶部２２に格納されており、その平面マップ画像上の各位置と撮影画像上の各位置との対応関係に基づき、平面マップ画像から初期マップ画像を抽出し、撮影画像から検出された人物を初期マップ画像上にマッピングすることができる。ただし、これに限らず、各カメラ３の撮影画像を加工して初期マップ画像を生成してもよい。また、各カメラ３が人物検出機能を備えている場合には、人物検出５１の処理を省略することができる。

なお、サーバ装置４では、検出した人物（または、後述する要注意人物）の追跡処理および動線分析処理を適宜実行することが可能である。また、サーバ装置４は、人物検出５１において、自律型モビリティ２からビーコン信号に基づく現在位置の情報を取得することにより、現在の自律型モビリティ２を含む周囲領域を撮影する１以上のカメラ３を特定し、当該カメラ３の撮影画像に含まれる人物のみを検出することが可能である。

続いて、サーバ装置４では、人物検出５１で検出した人物から、自律型モビリティ２の移動の際に注意すべき人物（以下、「要注意人物」という。）を抽出する要注意人物抽出５２が実行される。この要注意人物抽出５２では、予め設定された注意すべき人物の属性（以下、「要注意人物属性」という。）に基づき、要注意人物が抽出される。

本開示では、要注意人物属性として、思いがけない行動をとる可能性のある子供を示す属性（例えば、公知の認識手法により、所定の年齢以下または所定の身長以下と推定される人物や）が設定される。ただし、これに限らず、他の人物の属性（例えば、撮影画像に基づく動線分析により異常な動線が検出された人物）を設定してもよい。また、場合によっては、要注意人物抽出５２の処理を省略し、人物検出５１で検出した全ての人物を要注意人物としてもよい。

また、サーバ装置４では、撮影画像の領域を所定サイズ（ここでは、同一サイズ）の小領域に分割する領域分割５３が実行され、これにより、初期マップ画像に複数の小領域が設定された小領域マップ画像５４が生成される。これら小領域の形状およびサイズは、自律型モビリティ２が移動する施設の状況に応じて適宜設定することが可能である。

サーバ装置４では、要注意人物抽出５２に続いて、要注意人物が抽出された（後述する膨張処理により要注意人物が存在すると見なされた領域を含む）小領域（以下、「要注意領域」という。）に基づき、各小領域に対する領域スコアの算出５５が実行される。後に詳述するが、この領域スコアは、自律型モビリティ２の移動において注意する必要の度合い（以下、「要注意度」という。）に相当する。

続いて、算出された領域スコアの値に基づき人物の存在情報（ここでは、人物が存在する領域を示す画像）の生成５６が実行され、その人物の存在情報が付加された（ここでは、要注意人物が存在することを示す画像が重畳された）マップ画像５７が生成される。このマップ画像５７は、情報記憶部２２に保存されると共に、自律型モビリティ２（携帯情報端末３０）に適宜送信される。なお、マップ画像５７は、１つのカメラ３による撮影画像に対応するものに限らず、複数の異なる領域を撮影する複数のカメラ３の撮影画像に基づき生成することができる。

自律型モビリティ２は、サーバ装置４から人物の存在情報が付加されたマップ画像を受信すると、表示部３５において、そのマップ画像に基づくマップ画面の表示６１を実行する。表示部３５に表示されるマップ画面はユーザインタフェース画面を構成し、続いて、このマップ画面に対するユーザの操作入力６２（ここでは、タッチパネルに対するタッチ操作）が実行される。このユーザの操作入力６２では、例えば、ユーザは、マップ画面に付加された要注意人物が存在する領域の情報を参照してユーザ設定情報の入力（例えば、要注意人物が存在する領域を考慮した移動ルートや目的地の設定）を実行することが可能である。なお、マップ画像５７は、所定の時間間隔で順次生成され、これにより、マップ画面の表示６１も更新される。

後に詳述するように、自律型モビリティ２では、その移動ルートの設定に関する動作モードとして、移動ルートに関するユーザの操作入力を必要とすることなく自動で移動ルートを設定する自動設定モードと、少なくとも一部の移動ルートをユーザの操作入力（ユーザ設定情報）に従って設定するユーザ設定モードとを実行することが可能である。それらの動作モードは、ユーザによって予め選択されるか、ユーザの操作入力６２において選択することが可能である。

続いて、自律型モビリティ２では、携帯情報端末３０は、入力されたユーザ設定情報に基づき、自律型モビリティ２の移動制御に関する制御指令を生成し、モビリティ本体４０の駆動制御部４１に対してその制御指令の送出６３を実行する。モビリティ本体４０の駆動制御部４１は、携帯情報端末３０からの制御指令に基づき、駆動部４４による自律移動６４を制御する。

このような自律型モビリティシステム１では、人物の存在情報が付加されたマップ画像によるマップ画面に対してなされたユーザの操作入力に応じて、人物の存在を考慮した移動制御が実行されるため、ユーザと共に施設内を移動する自律型モビリティ２の円滑な移動を実現することが可能となる。

図４は店舗およびその周辺の状況を示す立面図であり、図５は店舗の１Ｆフロア６５における自律型モビリティ２の周囲領域の様子を示す説明図であり、図６は店舗の１Ｆフロア６５のレイアウトおよびカメラ３の設置状況を示す平面図である。

図４に示すように、店舗には、複数階のフロアが設けられている。図４に示す例では、駅側の地上から１Ｆフロアに出入りすることができ、また、駅からペデストリアンデッキを通って２Ｆフロアに入ることができ、また、１Ｆ、２Ｆ、３Ｆの駐車場からそれぞれ１Ｆ、２Ｆ、３Ｆのフロアに出入りすることができる。

図５に示すように、１Ｆフロアでは、顧客が通行可能な広場が設けられており、自律型モビリティ２は、１Ｆフロア内を自由に移動することが可能である。１Ｆフロア内では、大人７０に混じって子供７１が存在している。以下では、図６に示すように、ユーザ７２と共に移動する自律型モビリティ２が、駐車場から１Ｆのフロアに入る駐車場側出入口７５から１Ｆフロアに進入した後、駅側出入口７６付近の目的地に向かう場合について説明する。

１Ｆフロアの適所には、フロアの略全域を撮影可能なように複数のカメラ３が適所に設置されている。図６に示す例では、１Ｆフロアの天井に設置されたカメラ３に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、これらのカメラ３により、自律型モビリティ２を含め、出入口から入店する顧客や、フロアに滞在する顧客などが撮影される。また、ここでは、説明の便宜上、１Ｆフロアには自律型モビリティ２の移動の障害となるような物体は存在しないものとする。

図７は図６に示した１Ｆフロアに関する小領域マップ画像の一例を示す図である。なお、図７には、説明の便宜上、人物（大人７０、子供７１Ａ、７１Ｂ）や、自律型モビリティ２が示されているが、これらは、必ずしも小領域マップ画像に含まれる必要はない。

図７では、マップ画像に縦横に延びる複数の破線で区切られた３６個の小領域が設定された例を示している。また、図７では、各小領域の位置を示すために、横方向および縦方向にそれぞれ１−６の番号を付してある。例えば、自律型モビリティ２の現在位置に対応する小領域は「領域（６、２）」として特定され、また例えば、子供７１Ａが存在する小領域は「領域（６、４）」として特定される。なお、図７における各小領域の位置を示すための番号は、説明の便宜上表示したものであり、必ずしも視認可能な状態で表示される必要はない（他の図面においても同様。）。

図８Ａ−図８Ｃは図７に示した小領域マップ画像における領域スコア算出の処理に関する説明図であり、図９は図７に示した小領域マップ画像における人物の存在情報の生成の処理に関する説明図であり、図１０は図６に示した１Ｆフロアに関して表示されるマップ画面の一例を示す図である。

領域スコアの算出では、図７に示したように要注意人物の位置情報に対応する小領域（ここでは、要注意人物としての子供７１Ａの座標（Ｘ１、Ｙ１）および子供７１Ｂの座標（Ｘ２、Ｙ２）を含む小領域）およびその周辺に位置する領域に対する領域スコアが算出（設定）される。

ここでは、図８Ａに示すように、まず、子供７１Ａ、７１Ｂがそれぞれ位置する領域（６、４）および領域（２、２）が領域スコアの算出対象（以下、「初期算出領域」という。）として設定され、それらの初期算出領域に対して領域スコアとして所定の数値（ここでは、「１」）が割り当てられる。なお、同一の領域に複数の要注意人物が存在する場合には、その人数で正規化された数値（ここでは、「１」）を割り当てることができる。

続いて、図８Ｂに示すように、初期算出領域の周囲（８近傍）に位置する小領域（以下、「周辺領域」という。）に対し、膨張処理が実行される。ここでは、領域（６、４）の周囲に位置する５つの周辺領域（領域（５、３）、領域（６、３）、領域（５、４）、領域（５、５）、領域（６、５））と、領域（２、２）の周囲に位置する８つの周辺領域（領域（１、１）、領域（２、１）、領域（３、１）、領域（１、２）、領域（３、２）、領域（１、３）、領域（２、３）、領域（３、３））に対してそれぞれ膨張処理が適用される。

この膨張処理では、図８Ｃに示すように、初期算出領域である領域（６、４）および領域（２、２）の上下・左右のいずれかに位置する周辺領域には、領域スコアとして初期算出領域の１／２の数値（ここでは、「０．５」）が設定され、また、初期算出領域に対して斜め方向に位置する周辺領域には、領域スコアとして初期算出領域の１／４の数値（ここでは、「０．２５」）が設定される。

なお、図８Ｃでは図示を省略するが、初期算出領域および周辺領域以外の他の領域については、領域スコアとして数値「０」が設定される。また、初期算出領域については、他の初期算出領域の膨張処理の影響を無視することができる。また、複数の初期算出領域の膨張処理が重複して適用される小領域の数値は、各膨張処理で設定された数値に基づく演算値（例えば、平均値）とすることができる。

また、上述のような膨張処理は適宜省略することも可能である。さらに、上述の要注意人物属性が設定されることなく、大人７０を含む全ての人物が要注意人物として扱われる場合には、大人７０のみが存在する初期算出領域について上述の膨張処理を省略する構成も可能である。

次に、人物の存在情報の生成では、上述のように算出された領域スコアに基づき、要注意人物の存在する領域（膨張処理により要注意人物が存在すると見なされた領域を含む）が設定される。ここでは、領域スコアとして０より大きい値が設定された小領域が、要注意人物の存在する領域として設定される。さらに、領域スコアの値の大きさに応じて各要注意人物の存在する領域に対する要注意度が設定される。

本開示では、領域スコアの値に応じて要注意度が３段階（領域スコア＝０．２５：低、領域スコア＝０．５：中、領域スコア＝１．０：高）に設定され、図９に示すように、各要注意人物の存在する領域には、それらの要注意度に対応する画像（以下、「要注意領域画像」という。）が重畳される。なお、ここでは、要注意領域画像は、表示色（明度または濃度）の違いによって要注意度の違いを示している。ただし、これに限らず、色相や彩度の違いにより、要注意度の違いを示すことも可能である。更に、表示色に限らず、互いに異なる文字や図形（例えば、小領域を囲む枠の太さ）を重畳することによって要注意度の違いを示してもよい。

このように要注意領域画像が重畳されたマップ画像に基づき、図１０に示すように、携帯情報端末３０の表示部３５には、要注意領域画像を含むマップ画面７９が表示される。なお、後述する自動設定モードでは、ユーザは、操作入力により、マップ画面７９における要注意領域画像を非表示の状態とすることが可能である。

図１１Ａ−図１１Ｃは図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作の説明図である。ここでは、移動ルートに関するユーザの操作入力を必要とすることなく自動で移動ルートが設定される自動設定モードの例を示している。なお、図１１Ａ−図１１Ｃでは、自律型モビリティ２および要注意領域画像を含む各領域のみを示しているが、必要に応じてフロアに存在する人物の画像や人物を示す図形等を表示してもよい。

上述の図１０に示したようなマップ画面７９が携帯情報端末３０の表示部３５に表示されると、例えば、ユーザはそのマップ画面７９に対する操作入力を実行することにより、図１１Ａに示すように、目的地およびその目的地に向かうための当面の移動先（移動ルート上の経由地）を設定することができる。ここでは、領域（１、６）が目的地として設定された例を示している。

図１１Ａにおいて、領域（６、２）に位置する自律型モビリティ２は、自動設定モードに基づき、要注意領域を回避するように、移動ルートを選択する。自律型モビリティ２の駆動制御部４１は、携帯情報端末３０から取得した現在の人物の存在情報に基づき、そのような移動ルートの選択を実行することができる。或いは、携帯情報端末３０からの制御指令によって移動ルートが選択されてもよい。

自動設定モードにおいて、自律型モビリティ２は、次の移動先として現在位置に最も近い小領域を選択する。図１１Ａでは、領域（５、１）、領域（６、１）、領域（５、２）、領域（５、３）、領域（６、３）が移動先の候補となる。ここでは、まず、要注意領域に相当する領域（５、３）、領域（６、３）が移動先の候補から除外される。これにより、人物が存在する領域を除外した領域内において、周囲の人物からの影響を回避しつつ自律型モビリティ２の円滑な移動を実現することが可能となる。

そこで、残りの移動先の候補が２以上の場合には、符号関数ｓｉｇｎ（ａ２−ａ１，ｂ２−ｂ１）を用いて目標方向が設定される。ただし、ここでは、現在位置を領域（ａ１、ｂ１）とし、目的地の領域を（ａ２、ｂ２）とする。図１１Ａでは、ｓｉｇｎ（ａ２−ａ１，ｂ２−ｂ１）＝（−１、１）となる。すなわち、自律型モビリティ２の目標方向は、横方向ではマイナス側（番号が小さくなる側）、縦方向ではプラス側（番号が大きくなる側）となる。

次に、残りの移動先の候補に対して現在位置（領域（６、２））からのマンハッタン距離がそれぞれ算出され、マンハッタン距離（各座標の差（の絶対値）の総和）が最も小さい移動先の候補が正規の移動先として決定される。ここでは、領域（５、１）、領域（６、１）、領域（５、２）のそれぞれのマンハッタン距離は、それぞれ２、１、１となり、領域（６、１）、領域（５、２）についてのマンハッタン距離が同一となる。そこで、上述の目標方向を考慮し、領域（５、２）が次の移動先として決定される。

このようにして、図１１Ｂに示すように、自律型モビリティ２は領域（５、２）まで移動する。図１１Ｂでは、領域（４、１）、領域（５、１）、領域（６、１）、領域（４、２）、領域（４、３）、領域（４、３）、領域（５、３）、領域（６、３）が移動先の候補となる。この場合も、上述と同様に、要注意領域に相当する領域（５、３）、領域（６、３）が移動先の候補から除外され、さらに、目標方向およびマンハッタン距離を考慮して、残りの移動先の候補から１つの移動先（領域（４、２））が決定される。

その後は、同様に次の移動先が順次決定され、自律型モビリティ２は、図１１Ｃ中に矢印で示す移動ルートに基づき目的地の領域（１、６）まで移動することができる。なお、例えば、領域（４、４）に位置する自律型モビリティ２の移動先は、上述の手順によっては、目標方向およびマンハッタン距離を考慮しても２つの移動先（領域（３、４）、領域（４、５））が残るが、そのような場合、予め設定された優先方向（ここでは、縦方向）に従って移動先を決定することができる。

なお、上述のような自律型モビリティ２の移動途中において、子供７１Ａ、７１Ｂ以外の人物（ここでは、大人７０）や障害物に遭遇した場合には、自律型モビリティ２は、公知のセンシング機能に基づく自律移動動作によってそれらの人物や障害物を回避して移動することが可能である。

図１２は図１０に示したマップ画面に対するユーザの操作入力に応じて実行される自律移動動作の説明図である。ここでは、少なくとも一部の移動ルートをユーザの操作入力（ユーザ設定情報）に従って設定するユーザ設定モードの例を示している。以下で特に言及しない事項については、図１１Ａ−図１１Ｃの場合と同様である。

図１２において、ユーザは、自身の手指８０を画面にタッチした状態でマップ画面上の所望のルート上を移動させる（あるいは、所望の移動ルートを構成する小領域を個別に選択する）ことにより、自律型モビリティ２の移動ルートを設定することができる。ここでは、領域（５、２）に位置する自律型モビリティ２のユーザが、目的地の領域（１、６）に向かう移動ルートとして矢印で示す移動ルートを選択した例を示している。この場合、移動ルートには、要注意領域である領域（５、３）、領域（５、４）が含まれるが、ユーザによる操作入力が優先されることより、要注意領域を通過する移動ルートが設定される。

なお、ユーザは、例えば、図１１Ａ−図１１Ｃに示したような自動設定モードによる移動制御の実行途中においても、ユーザ設定モードに切り替えることにより、所望の移動ルートを設定することが可能である。

図１３は、１Ｆフロアを示した図７と同様の図であり、２Ｆフロアに関する小領域マップ画像の一例を示す図である。

図７の例では、１Ｆフロアには、自律型モビリティ２の移動の障害となる物体は存在しないこととしたが、図１３に示すように、移動の障害となる物体（ここで、商品の売り場９０）が存在する場合でも、同様に小領域を設定することが可能である。この例では、売り場には小領域が設定されない（すなわち、図７の場合よりも少ない１６個の小領域が設定される）構成とするが、これに限らず、売り場９０にも小領域を設定し、当該小領域を上述の要注意領域と同様に取り扱ってもよい。

図１４は、図１０に示したマップ画面の変形例を示す図である。

このマップ画面では、店舗内の複数のフロア１３１が立体的に表示されている。具体的には、各階のフロアの状況を表示した平面的なマップ画像（図１０参照）を斜視図で表したマップ画像１３２が上下に配置されている。また、マップ画像１３２は３Ｄ画像データに基づいて表示され、ドラッグ操作などによりマップ画像１３２を回転させる（表示位置を変更する）ことができる。

このような立体的なマップ画面により、ユーザは、自律型モビリティ２が現在位置する階のフロアとは異なる他の階のフロアにおいて目的地を設定することができ、エレベータ等を利用して目的地に到達することが可能である。

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る自律型モビリティシステムおよび自律型モビリティの制御方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本開示に係る自律型モビリティシステムおよび自律型モビリティの制御方法は、ユーザと共に施設内を移動する自律型モビリティの円滑な移動を実現することを可能とし、施設内において自律型モビリティを移動させるための自律型モビリティシステムおよび自律型モビリティの制御方法などとして有用である。

１ ：自律型モビリティシステム
２ ：自律型モビリティ
３ ：カメラ
４ ：サーバ装置
５ ：通信ネットワーク
１１ ：撮像部
１２ ：制御部
１３ ：情報記憶部
１４ ：通信部
２１ ：制御部（プロセッサ）
２２ ：情報記憶部
２３ ：通信部
３０ ：携帯情報端末
３１ ：制御部
３２ ：情報記憶部
３３ ：通信部
３４ ：入力部
３５ ：表示部（表示装置）
３６ ：位置検出部
４０ ：モビリティ本体
４１ ：駆動制御部
４２ ：情報記憶部
４３ ：通信部
４４ ：駆動部
６５ ：１Ｆフロア
７０ ：大人
７１ ：子供
７２ ：ユーザ
７９ ：マップ画面
９０ ：売り場
１３２：マップ画像

Claims (9)

1. 施設に設置された１以上のカメラと、前記カメラによって撮影された撮影画像に基づき前記施設のマップ画像を生成するプロセッサを有するサーバ装置と、前記サーバ装置から提供される前記マップ画像に基づき、前記施設に関するマップ画面を表示する表示装置を有する自律型モビリティと、を備えた自律型モビリティシステムであって、
   前記プロセッサは、
   前記撮影画像に基づき、人物検出を実行し、
   前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、
   前記人物の存在情報が付加された前記マップ画像を前記表示装置に送信し、
   前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする自律型モビリティシステム。
2. 前記ユーザの操作入力は、前記マップ画面における前記自律型モビリティの目的地の設定に関するものであることを特徴とする請求項１に記載の自律型モビリティシステム。
3. 前記ユーザの操作入力は、前記マップ画面における前記自律型モビリティの目的地までの移動ルートの設定に関するものであることを特徴とする請求項１または請求項２に記載の自律型モビリティシステム。
4. 前記自律型モビリティでは、前記人物検出により検出された人物が存在する領域を除外した領域内において、前記自律型モビリティの目的地までの移動ルートが設定されることを特徴とする請求項１または請求項２に記載の自律型モビリティシステム。
5. 前記プロセッサは、前記人物検出により、予め設定された注意人物属性を有する人物のみを検出することを特徴とする請求項１から請求項４のいずれかに記載の自律型モビリティシステム。
6. 前記注意人物属性は、前記人物が子供であることを示す属性であることを特徴とする請求項５に記載の自律型モビリティシステム。
7. 前記人物の存在情報は、前記人物検出により検出された人物が存在する領域を示す画像を含み、
   前記表示装置は、前記人物が存在する領域を示す画像が重畳された前記マップ画像に基づき、前記マップ画面を表示することを特徴とする請求項１から請求項６のいずれかに記載の自律型モビリティシステム。
8. 前記マップ画像に対応する領域には、複数の小領域が設定され、
   前記プロセッサは、前記人物検出によって検出された人物が存在する領域を前記小領域から決定することを特徴とする請求項１から請求項７のいずれかに記載の自律型モビリティシステム。
9. 施設内の撮影画像に基づき生成されたマップ画像に基づき、前記施設に関するマップ画面を表示可能な表示装置を有する自律型モビリティの移動を制御する方法であって、
   前記撮影画像に基づき、人物検出を実行し、
   前記人物検出の結果に基づき、前記マップ画像に対応する領域における人物の存在情報を生成し、
   前記自律型モビリティでは、前記人物の存在情報が付加された前記マップ画像に基づく前記マップ画面が前記表示装置に表示され、当該マップ画面に対するユーザの操作入力に応じて移動制御が実行されることを特徴とする自律型モビリティの制御方法。

Images