JP7738351B2 - 情報処理システム、情報処理プログラム、情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理システム、情報処理プログラム、情報処理装置および情報処理方法に関する。

従来から、撮像手段で撮像された物体の画像上に当該物体と関連する付加情報を表示する技術が採用されている。例えば、特許文献１には、駅の入口の撮像画像上に、その駅から乗車可能な鉄道の路線名を重ねて表示する技術が開示されている。

特開２００５－３７１８１号公報

しかしながら、従来の技術は、鉄道を利用する際の利便性を向上させるには不十分であった。例えば、公共交通を利用するユーザに対する拡張現実を用いた情報提示が不十分であった。

そこで、本発明は、公共交通機関を利用する際の利便性を向上させることができる情報処理システム、情報処理プログラム、情報処理装置および情報処理方法を提供する。

本発明に係る情報処理システムは、
公共交通機関の施設に接続可能な出入口を撮像手段で撮像した撮像画像に基づいて前記出入口がどの場所の出入口であるかを特定可能な特定手段と、
前記特定された出入口の場所を考慮した前記公共交通機関の案内情報を生成する生成手段と、
前記生成された案内情報を出力する出力手段と、
を備えたことを特徴とする。

本発明によれば、公共交通機関を利用する際の利便性を向上させることができる。

第１の実施形態に係る情報処理システムの概略的な構成を示す図である。 第１の実施形態に係る情報処理システムの動作の一例を示すフローチャートである。 第１の実施形態に係る情報処理システムの動作の一例として、駅の出入口を撮像した出入口画像を示す図である。 第１の実施形態に係る情報処理システムの動作の一例として、出入口画像上に重畳表示された案内情報を示す図である。 第１の実施形態に係る情報処理システムの動作の一例として、駅の出入口の専用案内画面を示す図である。 第２の実施形態に係る情報処理システムの動作の一例を示すフローチャートである。 第２の実施形態に係る情報処理システムの動作の一例として、駅の発車標を撮像した発車標画像上に重畳表示された案内情報を示す図である。 第２の実施形態に係る情報処理システムの動作の一変形例として、駅の発車標を撮像した発車標画像上に重畳表示された案内情報および関連情報を示す図である。 第２の実施形態に係る情報処理システムの動作の一変形例として、外国語で表示された案内情報を示す図である。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。

（第１の実施形態）
本発明の第１の実施形態に係る情報処理システム１について説明する。第１の実施形態に係る情報処理システム１は、モバイル端末（スマートフォン、携帯電話、タブレット端末等）やウェアラブル端末（眼鏡型、腕時計型、イヤホン型等）などの電子機器の使用者（以下、単に「ユーザ」ともいう）に対して、公共交通機関の案内情報を提供するシステムである。

図１に示すように、情報処理システム１は、前述の電子機器に相当する端末装置２と、サーバ３とを備えている。端末装置２とサーバ３とは、インターネット等のネットワークを介して互いに通信可能に接続されている。

ネットワークは、有線回線および無線回線のいずれでもよく、回線の種類や形態は問わない。なお、端末装置２およびサーバ３の少なくとも一部は、コンピュータにより実現される。

端末装置２は、公共交通機関の案内情報の提供を受けるためにユーザが使用するものであり、例えば、モバイル端末やウェアラブル端末などの情報処理端末である。端末装置２は、単体の機器で構成されていてもよく、または、複数の機器で構成されていてもよい。端末装置２を複数の機器で構成する場合、端末装置２は、例えば、サーバ３と通信可能に接続できるモバイル端末（例えば、スマートフォン等）と、モバイル端末と通信可能に接続できるウェアラブル端末とで構成されていてもよく、また、モバイル端末と、モバイル端末に接続可能なカメラとで構成されていてもよい。

端末装置２は、図１に示すように、通信部２１と、入力部２３と、出力部２４と、撮像手段の一例である撮像部２５と、制御部２２とを有する。

通信部２１は、ネットワークを介して制御部２２とサーバ３との間で情報を送受信するためのインターフェースである。

入力部２３は、ユーザが端末装置２に情報を入力するためのインターフェースであり、例えばモバイル端末におけるタッチパネルやマイクロフォン、タッチパッドもしくはダイヤルボタンまたはジェスチャーであってもよい。

出力部２４は、端末装置２からユーザに対して各種情報を出力するインターフェースであり、例えば液晶ディスプレイ等の映像表示手段である。一例として、出力部２４は、入力部２３を通じたユーザからの操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。出力部２４は、各種情報を音声出力するスピーカやイヤホンを有していてもよい。

なお、出力部２４は、ユーザに情報を直接提示するものでなくてもよい。例えば、出力部２４は、端末装置２の外部に接続される映像表示手段や音声出力手段に、映像信号や音声信号を出力するものであってもよいし、外部に接続される印刷装置にデータを出力するものであってもよいし、端末装置２内もしくは外部の記憶装置にデータを出力して記憶させるものであってもよい。

撮像部２５は、物体の像を撮像した撮像画像を端末装置２に入力する装置であり、例えば、ＣＣＤ等の固体撮像素子を備えたカメラである。撮像部２５は、端末装置２の本体に内蔵されたものであってもよく、または、端末装置２の本体にインターフェースを介して接続されたものであってもよい。第１の実施形態において、撮像部２５は、公共交通機関の施設に接続可能な出入口の撮像に用いられる。

制御部２２は、図１に示すように、出力手段の一例である案内情報提示部２２１を有する。案内情報提示部２２１は、サーバ３から送信された公共交通機関の案内情報を、出力部２４を介して出力することで、ユーザに案内情報を提示する。

また、制御部２２は、撮像部２５から入力された撮像画像を、通信部２１を介してサーバ３に送信する制御を実行する。制御部２２は、端末装置２内のプロセッサが所定のプログラムを実行することによって実現されてもよい。

次に、サーバ３について説明する。図１に示すように、サーバ３は、通信部３１と、制御部３２と、記憶部３３とを有する。制御部３２について説明する前に、通信部３１および記憶部３３について説明する。

通信部３１は、ネットワークを介して端末装置２と、サーバ３の制御部３２との間で情報を送受信するインターフェースである。

記憶部３３は、例えばハードディスク等のデータストレージであり、各種データベースを格納する。なお、記憶部３３は、必ずしもサーバ３内に設けられなくてもよく、ネットワークを介してサーバ３と通信可能に接続された別の装置内に設けられてもよい。

記憶部３３は、経路ネットワーク情報データベース３３１を有する。経路ネットワーク情報データベース３３１は、経路探索用のデータベースであり、経路ネットワーク情報として、例えば、交通ネットワーク情報を含む。交通ネットワーク情報は、鉄道やバス等の交通網や道路網を規定する情報である。交通網の情報としては、公共交通機関の路線情報、時刻表情報、料金情報等を含む。また、交通網の情報は、例えば駅等の路線網表現上の結節点（ノード）のデータと、結節点間の線路区間であるリンクのデータとの組み合わせによって表現される。また、道路網の情報は、例えば交差点等の道路網表現上の結節点（ノード）のデータと、結節点間の道路区間であるリンクのデータとの組み合わせによって表現される。

また、図示しないが、記憶部３３は、地図の表示や地点の検索等に用いる地図情報データベースを有していてもよい。地図情報は、全国または各地方の道路地図などの地図データを含み、地図データに対応付けられた地図オブジェクト情報（注記情報、記号情報等）を含んでいてもよい。さらに、記憶部３３には、施設の検索や目的地の設定に用いるＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）情報データベースを含んでいてもよい。ＰＯＩ情報は、施設やイベントの情報である。ＰＯＩ情報は、施設やイベントの名称情報や位置情報を含んでいる。ＰＯＩ情報には、駅などの公共交通機関の施設に接続可能な出入口の情報が含まれていてもよい。また、記憶部３３は、駅の構内図を示す構内図情報を有していてもよい。

次に、サーバ３の制御部３２について説明する。制御部３２は、図１に示すように、特定手段の一例である特定部３２１と、生成手段の一例である案内情報生成部３２２とを有する。

特定部３２１は、公共交通機関の施設に接続可能な出入口を撮像部２５で撮像した撮像画像（以下、出入口画像とも呼ぶ）に基づいて、出入口画像上の出入口がどの場所の出入口であるかを特定する。

ここで、公共交通機関の施設は、例えば、駅やバスターミナルなどである。また、公共交通機関の施設に接続可能な出入口は、公共交通機関の施設自体の出入口に限らず、例えば、駅に直結する商業ビル等の施設の出入口も含む。

特定部３２１は、例えば、全国各所の公共交通機関の施設に接続可能な出入口の画像を学習することによって構築されたアルゴリズムに基づいて、出入口画像上の施設が出入口であるか否かを判定してもよい。出入口であると判定された場合、特定部３２１は、ＶＰＳ（Ｖｉｓｕａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｅｒｖｉｃｅ）やＧＰＳまたはそれらの組み合わせによって、判定された出入口がどの場所の出入口であるかを特定してもよい。出入口の場所の特定は、例えば、「Ａ駅のＡ１出入口」、「Ｂ駅のＢ１出入口」などの態様で行われてもよい。ＶＰＳ、ＧＰＳによって出入口の場所を特定した後、特定部３２１は、必要に応じて画像認識による文字情報等の抽出によって出入口の場所をより正確に特定してもよい。

案内情報生成部３２２は、特定部３２１によって特定された出入口の場所を考慮した公共交通機関の施設の案内情報を生成する。案内情報は、時刻表等の公共交通機関自体の利用に関する案内情報に限らず、バリアフリー設備（例えば、エレベータ、エスカレータ、スロープ等）、トイレ、ＡＴＭ、店舗などの公共交通機関の施設の利用に関する案内情報であってもよい。

より詳しくは、特定された出入口の場所を考慮した案内情報は、特定された出入口を公共交通機関の利用のための移動（徒歩や車椅子等による移動）を開始する起点として考慮した情報である。ここで、公共交通機関の利用は、公共交通機関自体の利用に限らず、公共交通機関の施設の利用であってもよい。

一例として、案内情報は、特定された出入口から公共交通機関の乗降場所または改札口までの所要時間を考慮した情報であってもよい。より具体的には、案内情報は、所要時間内に搭乗できる公共交通機関の時刻表であってもよい。時刻表は、路線毎の時刻表であってもよい。路線が複数ある場合、ユーザ情報（ユーザが予め登録しておいた路線、経路、定期券などの情報）から時刻表を表示する路線を絞り込んだり、時刻表の表示順を変えたり、強調表示してもよい。案内情報として所要時間内に搭乗できる公共交通機関の時刻表が出力されることで、ユーザは、時刻表に示される電車に間に合うことを容易に把握することができる。

他の一例として、案内情報は、特定された出入口を識別可能に示す公共交通機関の施設の構内図であってもよい。この場合、特定された出入口は、識別し易いように構内図の中心に配置されてもよいし、強調表示されてもよい。既述した公共交通機関の施設の利用に関する案内情報（バリアフリー設備の情報等）は、構内図上の該当する位置に対応付けてアイコン表示されてもよい。案内情報として、特定された出入口を識別可能に示す構内図が出力されることで、ユーザは、特定された出入口にエスカレータやエレベータがあるのか、改札の外にトイレはあるのか、特定された出入口以外の出入口の方がホームに近いのか等を容易に把握することができる。

他の一例として、案内情報は、特定された出入口から選択された路線の乗降場所であるホームまでの屋内ルートであってもよい。路線の選択は、情報処理システム１（例えば、案内情報生成部３２２）が、予め決められた選択条件にしたがって行ってもよい。屋内ルートの生成において選択される路線（すなわち、路線の選択条件）は、例えば、予め入力部２３を用いたユーザ操作によって端末装置２に登録されたルートまたはルート上の路線であってもよく、または、予めユーザによって購入されて端末装置２に登録された電子チケット情報（例えば、定期券等）に示される路線であってもよい。案内情報として、特定された出入口から選択された路線の乗降場所までの屋内ルートが表示されることで、ユーザは、どのルートでホームまで移動すればよいかを容易に把握することができる。

案内情報提示部２２１は、案内情報生成部３２２によって生成された案内情報を、出力部２４を介して撮像画像上に重畳表示してもよい。また、案内情報提示部２２１は、出入口画像から、案内情報を含む出入口の専用案内画像に遷移してもよい。あるいは、案内情報提示部２２１は、案内情報が重畳表示された出入口画像と、出入口の専用案内画像とを切り替え可能に表示してもよい。

また、案内情報は、入力部２３を用いたユーザ操作によって選択可能な表示態様で表示されてもよい。案内情報の選択は、手入力に限らず、音声入力などで行ってもよい。案内情報が選択された場合、案内情報生成部３２２は、案内情報に関連する関連情報を生成し、案内情報提示部２２１は、生成された関連情報を出力部２４に表示させてもよい。例えば、案内情報として公共交通機関の施設の構内図が表示されている状態において、構内図上に選択可能に表示されたバリアフリー設備を示すアイコンがユーザ操作によって選択された場合に、案内情報生成部３２２は、関連情報として、特定された出入口から選択されたアイコンに示されるバリアフリー設備または当該バリアフリー設備の最寄りの出入口までの案内ルートを生成してもよい。この場合、案内情報提示部２２１は、案内ルートを構内図上に表示してもよいし、実写画像上に重畳表示してもよい。このような構成によれば、例えば、車いすやベビーカーによる移動の場合、撮像されている出入口にはエレベータがないが、他の出入口にエレベータがあることを容易に把握させることができ、また、撮像している地点からエレベータが併設されている出入口までの案内ルートを表示させることで利用者の利便性を向上させることができる。また、例えば、案内情報として既述した特定された出入口から選択された路線の乗降場所であるホームまでの屋内ルートが選択可能な表示態様で表示されている状態において、表示されている屋内ルートがユーザ操作によって選択された場合に、案内情報生成部３２２は、関連情報として、屋内ルートの詳細情報や他の屋内ルートの選択肢を表示してもよい。屋内ルートの詳細情報としては、例えば、屋内ルートの距離、屋内ルートの幅員・天井の高さ等の換気性、他端末のＧＰＳ情報に基づく屋内ルートの混雑度合い等を挙げることができる。このような構成によれば、屋内ルートを円滑かつ安心して通行できるかを事前に把握することができ、必要に応じて他の屋内ルートに変更することも可能となる。

また、案内情報の出力は、画像表示のみに限らず、音声出力をともなってもよい。

制御部３２は、案内情報生成部３２２で生成された案内情報を、通信部３１を介して端末装置２に送信する制御を実行する。制御部３２は、サーバ３内のプロセッサが所定のプログラムを実行することによって実現されてもよい。

（動作例）
次に、第１の実施形態に係る情報処理システム１の動作例について説明する。図２は、第１の実施形態に係る情報処理システム１の動作の一例を示すフローチャートである。

図２に示すように、先ず、端末装置２の撮像部２５は、ユーザが公共交通機関の施設に接続可能な出入口を撮像することで出入口画像を取得する（ステップＳ２１）。図３は、第１の実施形態に係る情報処理システム１の動作の一例として、公共交通機関の施設の一例である駅の出入口を撮像部２５で撮像することで得られた出入口画像ｉ１を示す図である。図３に示す出入口画像ｉ１のように、画像中に駅名（図３における「Ａ駅」）が映り込んでいる場合、例えば、駅名の文字情報を機械学習した学習結果に基づいて画像中の施設が出入口であることを判定した後、画像中の文字やマークを画像解析して、出入口がどの公共交通機関のどの出入口であるかを特定することができる。撮像画像中に駅名が映り込んでいない場合であっても、ＶＰＳやＧＰＳまたはそれらの組み合わせによって出入口の場所を一意に特定することができる。

出入口画像が取得された後、端末装置２の制御部２２は、取得された出入口画像を、通信部２１を介してサーバ３に送信する（ステップＳ２２）。

出入口画像が送信された後、サーバ３の特定部３２１は、送信された出入口画像に基づいて、出入口画像上の出入口がどの場所の出入口であるかを特定する（ステップＳ３１）。出入口の場所の特定は、既述したように、出入口の画像の学習結果や、ＶＰＳとＧＰＳとの組み合わせによる現在位置推定等によって行うことができる。

出入口の場所が特定された後、サーバ３の案内情報生成部３２２は、特定された出入口の場所を考慮した公共交通機関の案内情報を生成する（ステップＳ３２）。具体的には、案内情報生成部３２２は、案内情報として、特定された出入口を公共交通機関の利用のための移動を開始する起点として考慮した情報を生成する。一例として、案内情報生成部３２２は、特定された出入口から公共交通機関の乗降場所または改札口までの所要時間を考慮した情報を生成する。より詳しくは、案内情報生成部３２２は、特定された出入口から公共交通機関の乗降場所または改札口までの所要時間内に搭乗できる公共交通機関の時刻表を生成する。さらに詳しくは、案内情報生成部３２２は、特定された出入口から公共交通機関の乗降場所または改札口までの所要時間内に搭乗できる路線毎の公共交通機関の時刻表を生成する。他の一例として、案内情報生成部３２２は、特定された出入口を識別可能に示す公共交通機関の施設の構内図を生成する。他の一例として、案内情報生成部３２２は、特定された出入口から選択された路線の乗降場所までの屋内ルートを生成する。

案内情報が生成された後、サーバ３の制御部３２は、生成された案内情報を、通信部３１を介して端末装置２に送信する（ステップＳ３３）。

案内情報が送信された後、端末装置２の案内情報提示部２２１は、送信された案内情報を、出力部２４を介して出力する（ステップＳ２３）。案内情報を端末装置２の画面に表示する場合、案内情報提示部２２１は、画面サイズに応じて案内情報の文字サイズや表示量を適宜調整してもよい。

図４は、第１の実施形態に係る情報処理システム１の動作の一例として、出入口画像ｉ１上に重畳表示された案内情報ｉ２を示す図である。例えば、図４に示すように、案内情報提示部２２１は、出入口画像ｉ１上に案内情報ｉ２を重畳表示することで案内情報を出力する。図４に示される例において、案内情報ｉ２は、路線毎の電車の時刻表を示す時刻表情報ｉ２１と、駅構内図を示す駅構内図情報ｉ２２とを含む。

時刻情報ｉ２１は、出入口画像ｉ１上の出入口の場所から駅のホームまでの所要時間を考慮して、所要時間内に乗車できる直近の電車の発車時刻（出発時刻）を示すように生成された画像情報である。したがって、現在時刻や出入口を撮像した時刻に直近の発車時刻があっても、ホームまでの所要時間の経過前に発車する時刻については時刻情報ｉ２１に含まれていないか、ユーザがスクロールするなどして当該発車時刻を表示させなければならない。また、時刻情報ｉ２１には、経路ネットワーク情報に基づいて算出された出入口からホームまでの所要時間（例えば、路線Ｚは２分）が含まれている。このような時刻情報ｉ２１が表示されることで、ユーザは、駅のホームまでどの程度の時間がかかり、表示されている時刻表の発車時刻に間に合うことを容易に把握することができる。また、図４に示す例において、時刻情報ｉ２１には更に電車の遅延情報（例えば、遅れ５分）が含まれているため、発車時刻が遅れることを容易に把握することができる。

駅構内図情報ｉ２２は、出入口画像ｉ１上の出入口の場所を起点として電車の利用のための移動を開始することを考慮して、出入口画像ｉ１上の出入口を識別可能な状態で示すように生成された駅構内図の画像情報である。図４に示すように、駅構内図情報ｉ２２において、出入口画像ｉ１上の出入口の場所Ｐは、駅構内図ｉ２２１の中心位置に円形のマーク等によって目立つように表示されている。また、駅構内図情報ｉ２２には、バリアフリー設備を示す複数種類のアイコンｉ２２２が含まれている。アイコンｉ２２２は、ユーザ操作によって選択可能であり、案内情報生成部３２２は、選択されたアイコンｉ２２３が駅構内図ｉ２２１の該当する位置に対応付けて表示されるように案内情報ｉ２を生成する。更に、駅構内図ｉ２２１に対応付けて表示されたアイコンｉ２２３は、ユーザ操作によって選択可能であり、案内情報生成部３２２は、アイコンｉ２２３が選択されると、特定された出入口Ｐから選択されたアイコンｉ２２３に示されるバリアフリー設備までの案内ルートを生成する。このような駅構内図情報ｉ２２が表示されることで、ユーザは、出入口画像ｉ１上の出入口でバリアフリー設備が使えるのか、バリアフリー設備が使える出入口までどうやって移動すればよいのか等を容易に把握することができる。なお、駅構内図情報ｉ２２には、バリアフリー設備以外の駅の設備を示すアイコンが含まれていてもよい。

図５は、第１の実施形態に係る情報処理システム１の動作の一例として、駅の出入口の専用案内画面Ｓを示す図である。例えば、図５に示すように、案内情報提示部２２１は、ユーザ操作にしたがって図４の案内情報ｉ２の表示画面から図５の専用案内画面Ｓへの表示の切り替えを行ってもよいし、ユーザ操作を介さずに自動で切り替えを行ってもよい。専用案内画面Ｓは、案内情報ｉ２と同様の情報を含むように案内情報生成部３２２で生成された画像情報である。専用案内画面Ｓは、モバイル端末に備えられている専用アプリ上の案内画面でもよいし、ウェブ上の案内画面でもよい。また、案内情報ｉ２と同様の情報以外にも、専用案内画面Ｓには、独自の情報が含まれていてもよい。例えば、専用案内画面Ｓには、特定された出入口に対応する駅から目的地までのルート検索を指示する操作ボタン（図５における“検索”ボタン）が含まれていてもよい。専用案内画面Ｓは、撮像部２５によって駅の出入口を撮像し続けなくても表示し続けることができるので便利である。

以上説明したように、第１の実施形態によれば、公共交通機関の施設に接続可能な出入口を撮像した撮像画像に基づいて出入口がどの場所の出入口であるかを特定し、特定された出入口の場所を考慮した公共交通機関の案内情報を生成して出力することで、公共交通を利用するユーザに対して拡張現実を用いた十分な情報提示を行うことができる。これにより、公共交通機関を利用する際の利便性を向上させることができる。

（第２の実施形態）
次に、公共交通機関の発車標の撮像画像に付随する案内情報を提供する第２の実施形態について説明する。以下、図１を用いて、第２の実施形態に係る情報処理システム１の構成を説明する。

第１の実施形態と同様に、第２の実施形態に係る情報処理システム１は、ネットワークを介して互いに通信可能に接続された端末装置２とサーバ３とを備えている。第２の実施形態においても、端末装置２は、通信部２１と、案内情報提示部２２１を有する制御部２２と、入力部２３と、出力部２４と、撮像部２５とを有し、サーバ３は、通信部３１と、特定部３２１および案内情報生成部３２２を有する制御部３２と、経路ネットワーク情報データベース３３１を有する記憶部３３とを有する。ただし、第２の実施形態においては、案内情報の内容が第１の実施形態とは異なり、これにともなって、端末装置２およびサーバ３の構成部の機能が第１実施形態とは異なっている。

具体的には、サーバ３の特定部３２１は、公共交通機関の発車標を撮像部２５で撮像した撮像画像（以下、発車標画像とも呼ぶ）に基づいて、撮像されている物体が発車標であるか否かを判断し、そして、発車標が設置されている公共交通機関の施設を特定する。第１の実施形態と同様に、公共交通機関の施設は、駅であってもよく、または、バス停であってもよい。

特定部３２１は、例えば、全国各所の公共交通機関の施設の発車標の画像を学習することによって構築されたアルゴリズムに基づいて、撮像されている物体が発車標であるか否かを判定してもよい。発車標であると判定された場合、特定部３２１は、発車標画像上の発車標が設置されている公共交通機関の施設を特定してもよい。特定部３２１は、ＶＰＳ、ＧＰＳまたはこれらの組み合わせによって、発車標画像上の発車標が設置されている公共交通機関の施設を特定してもよい。例えば、特定部３２１は、発車標に示されている番線、路線名、発車時刻などに基づいて、発車標が設置されている公共交通機関の施設を特定してもよい。

案内情報生成部３２２は、特定部３２１によって特定された公共交通機関の施設における発車標画像に示される発車時刻以降の発車時刻の情報が少なくとも含まれる案内情報を生成する。端末装置２の案内情報提示部２２１は、出力部２４を介して案内情報を出力する。案内情報提示部２２１は、発車標画像上の発車標の末尾に連続する表示態様で発車標画像上に案内情報を重畳表示してもよい。このような案内情報が表示されることで、ユーザは、発車標の後続の発車情報を容易に把握することができる。

案内情報は、発車標に示される発車時刻に対応する公共交通機関の運行情報および混雑情報の少なくとも一方を更に含んでもよい。また、案内情報は、発車標に示される発車時刻以降の発車時刻に対応する公共交通機関の運行情報および混雑情報の少なくとも一方を更に含んでもよい。このような案内情報が表示されることで、ユーザは、発車標または案内情報に示される発車時刻の公共交通機関に搭乗すべきか否かを容易に判断することができる。

なお、案内情報は、発車標に示される発車時刻以降の発車時刻の情報は含まず、発車時刻以外の発車標に関連する情報のみを含んでもよい。発車時刻以外の発車標に関連する情報は、例えば、発車標に示される列車の混雑（列車単位の混雑度や車両別の混雑など）や運行情報（遅延など）、ロケーションなどであってもよく、これらの情報は、発車標に倣って重畳表示（発車標近傍に表示）されてもよい。

案内情報提示部２２１は、案内情報が重畳表示された発車標画像と発車標の専用案内画面とを切り替え可能に表示してもよい。専用案内画面は、例えば、発車標に示される発車時刻と案内情報に示される発車時刻とを含む画面であって、撮像部２５で発車標を撮像し続けなくても表示し続けることができる画面である。また、案内情報提示部２２１は、案内情報を選択可能な表示態様で表示し、案内情報生成部３２２は、案内情報が選択された場合に、選択された案内情報に関連する関連情報を生成して案内情報提示部２２１に表示させてもよい。関連情報は、例えば、選択された案内情報に示される発車時刻の公共交通機関が現在走行している位置を示す情報であってもよい。

（動作例）
次に、第２の実施形態に係る情報処理システム１の動作例について説明する。図６は、第２の実施形態に係る情報処理システム１の動作の一例を示すフローチャートである。

図６に示すように、先ず、端末装置２の撮像部２５は、公共交通機関の発車標を撮像することで発車標画像を取得する（ステップＳ２１１）。

発車標画像が取得された後、端末装置２の制御部２２は、取得された発車標画像を、通信部２１を介してサーバ３に送信する（ステップＳ２１２）。

発車標画像が送信された後、サーバ３の特定部３２１は、送信された発車標画像に基づいて、発車標画像上の発車標が設置されている公共交通機関の施設を特定する（ステップＳ３１１）。公共交通機関の施設の特定は、既述したように、発車標の画像の学習結果や、ＶＰＳとＧＰＳとの組み合わせによる現在位置推定等によって行うことができる。

公共交通機関の施設が特定された後、サーバ３の案内情報生成部３２２は、特定された施設における発車標画像に示される発車時刻以降の発車時刻を案内する案内情報を生成する（ステップＳ３１２）。

案内情報が生成された後、サーバ３の制御部３２は、生成された案内情報を、通信部３１を介して端末装置２に送信する（ステップＳ３１３）。

案内情報が送信された後、端末装置２の案内情報提示部２２１は、送信された案内情報を、出力部２４を介して出力する（ステップＳ２１３）。

図７は、第２の実施形態に係る情報処理システム１の動作の一例として、発車標画像ｉ３上に重畳表示された案内情報ｉ４を示す図である。例えば、図７に示すように、案内情報提示部２２１は、駅の発車標を撮像した発車標画像ｉ３上に案内情報ｉ４を重畳表示することで案内情報を出力する。図７に示される例において、案内情報ｉ４は、発車標画像ｉ３に示される発車時刻のうちの最も遅い発車時刻（図７における１０：２５）以降の発車時刻を示す発車時刻情報ｉ４１と、発車標画像ｉ３に示される発車時刻に対応する電車の混雑度合い及び発車時刻情報ｉ４１に示される発車時刻に対応する電車の混雑度合いを示す混雑情報ｉ４２とを含む。

発車時刻情報ｉ４１が表示されることで、ユーザは、発車標の後続の発車時刻を容易に把握することができる。混雑情報ｉ４２が表示されることで、ユーザは、発車標に対応する電車および発車時刻情報ｉ４１に対応する電車の混雑度合いを容易に把握することができる。

図８は、第２の実施形態に係る情報処理システム１の動作の一例として、関連情報ｉ５を示す図である。図８に示すように、発車時刻情報ｉ４１に示される発車時刻（図８における１０：３４）がユーザ操作によって選択された場合、案内情報生成部３２２は、選択された発車時刻の電車の現在の走行位置を示す関連情報ｉ５を生成し、案内情報提示部２２１は、生成された関連情報ｉ５を発車標画像ｉ３上に重畳表示してもよい。

また、図９に示すように、案内情報ｉ４は、日本語に限らず外国語で表示してもよい。この場合、図９に示すように、発車標画像上の発車時刻上にも外国語表記で発車時刻を重畳表示してもよい。案内情報生成部３２２は、案内情報を外国語表記にするか否かを、例えば、撮像する端末のＯＳで設定されている言語情報、アプリ上の言語情報、または音声入力された言語の認識結果等に基づいて判定してもよい。

第２の実施形態によれば、公共交通機関の発車標を撮像した撮像画像に基づいて発車標が設置されている公共交通機関の施設を特定し、特定された公共交通機関の施設における発車標に示される発車時刻以降の発車時刻を案内する案内情報を生成して出力することで、公共交通を利用するユーザに対して拡張現実を用いた十分な情報提示を行うことができる。これにより、公共交通機関の利用の利便性を向上させることができる。

上述した実施形態においては、駅ホームなどに発車標がない場合や、発車標が遠くて認識できない場合も考えられるため、発車標以外の方面看板や駅名標などを撮像した際にも、同様の手段を用いて案内情報を出力させてもよい。具体的には、特定部３２１は、公共交通機関の方面看板または駅名標を撮像部２５で撮像した撮像画像に基づいて方面看板が示す方面または駅名標が示す駅名を画像認識することで、方面看板または駅名標が設置されている公共交通機関の施設を特定してもよい。案内情報生成部３２２は、方面看板または駅名標の撮像画像に基づいて特定された公共交通機関の施設における現在時刻以降の発車時刻の情報を案内情報として生成してもよいし、発車標に示される発車時刻以降の発車時刻の情報が少なくとも含まれる案内情報を生成してもよい。また、案内情報生成部３２２は、発車時刻以外の情報（例えば、特定された駅に到着する電車の混雑度合い、遅延情報およびロケーション情報等）が含まれる案内情報を生成してもよい。さらに、生成した案内情報を撮像した画像中の方面看板や駅名標近傍に表示させてもよい。

上述した実施形態で説明した情報処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。情報処理システムを構成するハードウェアには、レーザ光を用いたセンサの一例であるＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）などのセンサが含まれていてもよい。センサは、端末装置２に標準搭載（内蔵）されていてもよく、または、端末装置２に後付けで接続されていてもよい。センサは、例えば、物体の形状、物体の位置、および物体までの距離などを検知してもよい。センサの検知情報は、撮像部２５で撮像された物体が出入口であるか否かの判定、または、撮像された物体が公共交通機関の施設に接続可能な複数の出入口のうちのどの出入口であるかの判定を補助するために用いられてもよい。また、センサの検知情報は、案内情報を撮像画像中のどの位置に、どの範囲で、又はどの程度の詳細度で表示するかの決定を補助するために用いられてもよい。また、センサの検知情報は、撮像画像と専用案内画像との自動切換えの判断を補助するために用いられてもよい。情報処理システムをソフトウェアで構成する場合には、情報処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、情報処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

さらに、一つまたは複数の情報処理装置によって情報処理システムを機能させてもよい。複数の情報処理装置を用いる場合、情報処理装置のうちの１つをコンピュータとし、当該コンピュータが所定のプログラムを実行することにより情報処理システムの少なくとも１つの手段として機能が実現されてもよい。

また、方法の発明においては、全ての工程（ステップ）をコンピュータによって自動制御で実施するようにしてもよい。また、各工程をコンピュータに実施させながら、工程間の進行制御を人の手によって実施するようにしてもよい。また、さらには、全工程のうちの少なくとも一部を人の手によって実施するようにしてもよい。

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

１ 情報処理システム
２ 端末装置
２２１ 案内情報提示部
３ サーバ
３２１ 特定部
３２２ 案内情報生成部

Claims (25)

1. 公共交通機関の施設に接続可能な出入口を撮像手段で撮像した撮像画像に基づいて前記出入口が前記施設に接続可能な複数の出入口のうちのどの出入口であるかを特定可能な特定手段と、
   前記特定された出入口を考慮した前記公共交通機関の案内情報を生成する生成手段と、
   前記生成された案内情報を出力する出力手段と、
   を備えたことを特徴とする情報処理システム。
2. 前記案内情報は、前記特定された出入口を前記公共交通機関の利用のための移動を開始する起点として考慮した情報であることを特徴とする請求項１に記載の情報処理システム。
3. 前記案内情報は、前記特定された出入口から前記公共交通機関の乗降場所または改札口までの所要時間を考慮した情報であることを特徴とする請求項２に記載の情報処理システム。
4. 前記案内情報は、前記所要時間内に搭乗できる路線毎の公共交通機関の時刻表であることを特徴とする請求項３に記載の情報処理システム。
5. 前記出入口が前記公共交通機関の施設に直結する施設の出入口である場合、前記案内情報は、前記公共交通機関および前記公共交通機関の路線の少なくとも一方を示すマークを含むことを特徴とする請求項１に記載の情報処理システム。
6. 前記案内情報は、前記特定された出入口を識別可能に示す前記公共交通機関の施設の構内図であることを特徴とする請求項１に記載の情報処理システム。
7. 前記案内情報は、前記特定された出入口から選択された路線の乗降場所までの屋内ルートであることを特徴とする請求項２に記載の情報処理システム。
8. 前記出力手段は、前記案内情報を選択可能な表示態様で表示し、前記案内情報が選択された場合に、前記案内情報に関連する関連情報を表示することを特徴とする請求項１乃至７のいずれかに記載の情報処理システム。
9. 前記出力手段は、前記案内情報を、前記撮像画像上に重畳表示または専用案内画面表示することを特徴とする請求項１乃至８のいずれかに記載の情報処理システム。
10. 前記出力手段は、前記案内情報が重畳表示された前記撮像画像と前記特定された出入口の専用案内画面とを切り替え可能に表示することを特徴とする請求項９に記載の情報処理システム。
11. 公共交通機関の発車標を撮像手段で撮像した撮像画像に基づいて前記発車標が設置されている前記公共交通機関の施設を特定可能な特定手段と、
    前記特定された公共交通機関の施設における前記発車標に示される情報に付随する案内情報を生成する生成手段と、
    前記生成された案内情報を出力する出力手段と、
    を備えたことを特徴とする情報処理システム。
12. 前記出力手段は、前記発車標に連続する表示態様で前記撮像画像上に前記案内情報を重畳表示することを特徴とする請求項１１に記載の情報処理システム。
13. 前記出力手段は、前記案内情報が重畳表示された前記撮像画像と前記発車標の専用案内画面とを切り替え可能に表示することを特徴とする請求項１２に記載の情報処理システム。
14. 前記案内情報は、前記発車標に示される発車時刻および当該発車時刻以降の発車時刻の少なくとも一方に対応する前記公共交通機関の運行情報および／または混雑情報を更に含むことを特徴とする請求項１１乃至１３のいずれかに記載の情報処理システム。
15. 前記出力手段は、前記案内情報を選択可能な表示態様で表示し、前記案内情報が選択された場合に、前記案内情報に関連する関連情報を表示することを特徴とする請求項１１乃至１４のいずれかに記載の情報処理システム。
16. 前記生成手段は、前記特定された公共交通機関の施設における前記発車標に示される発車時刻以外の案内対象を案内する第２の案内情報を生成し、
    前記出力手段は、前記生成された第２の案内情報を出力することを特徴とする請求項１１に記載の情報処理システム。
17. 前記特定手段は、前記発車標以外の前記公共交通機関の案内標識を前記撮像手段で撮像した撮像画像に基づいて前記案内標識が設置されている前記公共交通機関の施設を特定可能であり、
    前記生成手段は、前記特定された前記案内標識が設置されている公共交通機関の施設における前記案内標識に示される情報に付随する第３の案内情報を生成し、
    前記生成された第３の案内情報を出力する、
    ことを特徴とする請求項１１に記載の情報処理システム。
18. コンピュータを、
    公共交通機関の施設に接続可能な出入口を撮像手段で撮像した撮像画像に基づいて前記出入口が前記施設に接続可能な複数の出入口のうちのどの出入口であるかを特定可能な特定手段、
    前記特定された出入口を考慮した前記公共交通機関の案内情報を生成する生成手段、および
    前記生成された案内情報を出力する出力手段、
    として機能させることを特徴とする情報処理プログラム。
19. 特定手段が、公共交通機関の施設に接続可能な出入口を撮像手段で撮像した撮像画像に基づいて前記出入口が前記施設に接続可能な複数の出入口のうちのどの出入口であるかを特定するステップと、
    生成手段が、前記特定された出入口を考慮した前記公共交通機関の案内情報を生成するステップと、
    出力手段が、前記生成された案内情報を出力するステップと、
    を備えたことを特徴とする情報処理方法。
20. コンピュータを、
    公共交通機関の発車標を撮像手段で撮像した撮像画像に基づいて前記発車標が設置されている前記公共交通機関の施設を特定可能な特定手段、
    前記特定された公共交通機関の施設における前記発車標に示される情報に付随する案内情報を生成する生成手段、および
    前記生成された案内情報を出力する出力手段、
    として機能させることを特徴とする情報処理プログラム。
21. 通信可能に接続された複数のコンピュータによって構成される情報処理システムであって、
    公共交通機関の発車標を撮像手段で撮像した撮像画像に基づいて前記発車標が設置されている前記公共交通機関の施設を特定可能な特定手段と、
    前記特定された公共交通機関の施設における前記発車標に示される情報に付随する案内情報を生成する生成手段と、
    前記生成された案内情報を出力する出力手段と、
    を備えた情報処理システムを機能させるために、
    上記コンピュータの少なくとも１つを上記手段の少なくとも１つとして機能させるための情報処理プログラム。
22. 通信可能に接続された複数のコンピュータによって、請求項１１乃至１７のいずれかに記載の情報処理システムを機能させるために、
    上記コンピュータのうちの１つを請求項１１乃至１７のいずれかに記載の情報処理システムにおける各手段の少なくとも１つとして機能させるための情報処理プログラム。
23. コンピュータを、請求項１１乃至１７のいずれかに記載の情報処理システムにおける各手段の少なくとも１つとして機能させるための情報処理プログラム。
24. 通信可能に接続された複数の情報処理装置によって、
    公共交通機関の発車標を撮像手段で撮像した撮像画像に基づいて前記発車標が設置されている前記公共交通機関の施設を特定可能な特定手段と、
    前記特定された公共交通機関の施設における前記発車標に示される情報に付随する案内情報を生成する生成手段と、
    前記生成された案内情報を出力する出力手段と、
    を備えた情報処理システムを構成するために、
    上記手段の少なくとも１つを備えたことを特徴とする情報処理装置。
25. 特定手段が、公共交通機関の発車標を撮像手段で撮像した撮像画像に基づいて前記発車標が設置されている前記公共交通機関の施設を特定するステップと、
    生成手段が、前記特定された公共交通機関の施設における前記発車標に示される情報に付随する案内情報を生成するステップと、
    出力手段が、前記生成された案内情報を出力するステップと、
    を備えたことを特徴とする情報処理方法。