JP2017060033A - 携帯情報機器、携帯情報システム、表示方法及びプログラム - Google Patents

Abstract

【課題】携帯情報機器を使用しているユーザの安全性を向上させることが可能な携帯情報機器、携帯情報システム、表示方法及びプログラムを提供する。【解決手段】携帯情報機器１００は、表示部１２０と、撮像部１３０と、表示制御部１６０と、を備え、表示部１２０は、アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示し、撮像部１３０は、表示部１２０がアプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像し、表示制御部１６０は、表示部１２０がアプリケーション画像を表示している最中に予め定められた条件が満たされた場合、自機を携帯しているユーザの周囲を撮像部１３０が撮像することによって得られた撮像画像を、アプリケーション画像と共に、表示部１２０に表示させる。【選択図】図５

Description

本発明は、携帯情報機器、携帯情報システム、表示方法及びプログラムに関する。

携帯電話、スマートフォン、ウェアラブル機器、及び、タブレット機器等のような携帯型の情報機器（以下、携帯情報機器という。）の普及に伴って、携帯情報機器を屋内で使用するユーザだけでなく、屋外で歩きながら等、様々な場所及び状態で携帯情報機器を使用するユーザが増えている。このような実情に鑑み、携帯情報機器を使用するユーザの安全を確保する技術が開発されている。

例えば、特許文献１は、歩行中等における携帯情報機器のユーザによる使用を抑制し、ユーザ及びその周囲の人の安全を確保する技術を開示している。特許文献１に開示された携帯情報機器は、表示部への情報表示を伴う処理が実行中であり、且つ、自機を携帯しているユーザが移動状態にある場合、表示部の表示を、カメラが撮像しているユーザの前方の映像に切り替える。これにより、歩行中のユーザの前方の視界を確保し、前方への視線を回復させる。

特開２０１３−１７２３５９号公報

しかしながら、特許文献１に開示された技術では、ユーザが移動し始めると、表示画面の全面がカメラの映像に切り替わるため、ユーザは、携帯情報機器の使用を中断しなければならない。そのため、携帯情報機器の使用を中断せずに、ユーザの安全性を向上させたいとの要望があった。

本発明は、以上のような課題を解決するためのものであり、携帯情報機器を使用しているユーザの安全性を向上させることが可能な携帯情報機器、携帯情報システム、表示方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る携帯情報機器の一態様は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像する撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記自機を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる表示制御手段と、
を備える、
ことを特徴とする。

また、上記目的を達成するため、本発明に係る表示方法の一態様は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、携帯情報機器の表示手段に表示し、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段が撮像し、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする。

また、上記目的を達成するため、本発明に係るプログラムの一態様は、
携帯情報機器のコンピュータに、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、前記携帯情報機器の表示手段に表示させ、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段に撮像させ、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段に撮像させることによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とする。

本発明によれば、携帯情報機器を使用しているユーザの安全性を向上させることが可能な携帯情報機器、携帯情報システム、表示方法及びプログラムを提供することができる。

本発明の実施形態１に係る携帯情報機器の物理構成を示すブロック図である。 携帯情報機器が使用される様子を示す図である。 携帯情報機器の表側の面を示す図である。 ユーザの前方を撮像することによって得られた前方画像の例を示す図である。 携帯情報機器の機能構成を示すブロック図である。 前方画像のうちから表示する画像を切り出す様子を示す図である。 前方画像がアプリケーション画像と共に表示された例を示す図である。 携帯情報機器を携帯しているユーザが移動している様子を示す図である。 前方画像のうちからユーザに向かって近づくオブジェクトが検出された場合の例を示す図である。 警告を示す画像の表示例を示す図である。 携帯情報機器において実行される処理の流れを示すフローチャートである。 撮像画像の認識処理の流れを示すフローチャートである。 撮像画像の表示処理の流れを示すフローチャートである。 実施形態２に係る携帯情報システムの概要を示す図である。 補助装置の物理構成を示すブロック図である。 前方画像及び後方画像がアプリケーション画像と共に表示された例を示す図である。 携帯情報機器と補助装置との間で実行される無線通信処理の流れを示すフローチャートである。 変形例に係る携帯情報機器が使用される様子を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
図１に、実施形態１に係る携帯情報機器１００の物理構成を示す。また、図２に、実施形態１に係る携帯情報機器１００がユーザ３によって使用される様子を示す。携帯情報機器１００は、例えば携帯電話、スマートフォン、ウェアラブル機器、及び、タブレット機器等のような、携帯型の情報機器である。

図１に示すように、携帯情報機器１００は、ＣＰＵ（Central Processing Unit）１１０と、メモリ１１１と、入力部１１３と、表示部１２０と、表示駆動部１２１と、撮像部１３０と、画像処理部１３１と、無線通信部１４０と、アンテナ１４１と、加速度センサ１５０と、ＧＰＳ（Global Positioning System）受信部１５１と、を備える。

ＣＰＵ１１０は、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。ＣＰＵ１１０は、命令やデータを転送するための伝送経路であるシステムバスを介して携帯情報機器１００の各部と接続され、携帯情報機器１００全体を制御する。

メモリ１１１は、例えばＣＰＵ１１０のワークメモリとして機能するＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）やフラッシュメモリ等のような不揮発性メモリを含む。メモリ１１１は、ＯＳ（Operating System）及びアプリケーションプログラム等を含む、ＣＰＵ１１０が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、メモリ１１１は、ＣＰＵ１１０が各種処理を行うことにより生成又は取得する各種データを記憶する。

入力部１１３は、例えば入力キー、ボタン、スイッチ、タッチパッド、又は、タッチパネル等のような入力デバイスを備える。入力部１１３は、ユーザ３から入力された各種の操作指示を受け付け、受け付けた操作指示をＣＰＵ１１０に送信する。

表示部１２０は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等のような表示デバイスを備える。表示部１２０は、例えば携帯情報機器１００に送信するデータ等、各種の情報をＣＰＵ１１０から取得して、取得した情報を示す画像を表示する。なお、表示部１２０は、入力部１１３と互いに重畳して配置され、表示部１２０と入力部１１３とでいわゆるタッチパネル（タッチスクリーン）を構成してもよい。表示部１２０は、表示手段の一例である。

表示駆動部１２１は、ＣＰＵ１１０の制御のもと、表示部１２０を駆動して、表示部１２０の表示画面に画像を表示させる駆動回路を備える。例えば、表示駆動部１２１は、メモリ１１１に記憶された画像データを予め定められた同期タイミングで表示信号に変換し、変換した表示信号を表示部１２０に転送することで、表示部１２０に画像を出力する。

撮像部１３０は、撮像によって静止画像及び動画像を取得する機能を有するカメラである。撮像部１３０は、被写体（オブジェクト）から射出された光束を集光するレンズ、及び、レンズによる集光位置に配置され、光電変換によって被写体の光学像を電気信号として取得する撮像素子（イメージセンサ）等を備える。撮像素子は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像部１３０は、撮像手段の一例である。

画像処理部１３１は、撮像素子から電気信号として送られた被写体の撮像画像を示すデータをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器、バッファメモリ、及び、ＧＰＵ（Graphics Processing Unit）等の画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部１３１は、ＣＰＵ１１０の制御のもと、撮像部１３０の撮像によって得られた撮像画像のデジタルデータを生成する。また、画像処理部１３１は、ＣＰＵ１１０の制御のもと、撮像部１３０の撮像によって得られた撮像画像に対して加工処理を実行し、又は、撮像画像に対してオブジェクト認識処理及び顔認識等の画像認識処理を実行する。

無線通信部１４０は、ＣＰＵ１１０の制御のもと、アンテナ１４１を介して無線通信するための無線通信モジュールである。無線通信部１４０は、例えばＷｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等によって、近距離型の無線通信を行う。

より詳細に説明すると、無線通信部１４０は、ＤＳＰ（Digital Signal Processor）等のプロセッサ、及び、シリアル／パラレル変換回路やベースバンド回路等の各種の回路を備える。無線通信部１４０は、ＣＰＵ１１０から供給された送信データに対してシリアル／パラレル変換等の処理を実行して、送信データをアンテナ１４１から通信先となる外部の通信機器に送信する。また、無線通信部１４０は、外部の通信機器から送信されたデータを、アンテナ１４１を介して受信すると、受信したデータに対してシリアル／パラレル変換等の処理を実行して、受信したデータをＣＰＵ１１０に供給する。

加速度センサ１５０は、３軸方向における加速度を検出することによって、自機（携帯情報機器１００）の動きや振動を検出するセンサである。また、加速度センサ１５０は、重力を検出してその向き（鉛直下向き）を特定することによって、自機の傾きを検出する。なお、携帯情報機器１００は、加速度センサ１５０に加えて、自機の回転を検出することが可能な角速度センサ（ジャイロセンサ）を備えてもよい。

ＧＰＳ受信部１５１は、図示しないＧＰＳアンテナを介して、上空を周回している複数のＧＰＳ衛星から送信されたＧＰＳ信号を受信する。ＣＰＵ１１０は、ＧＰＳ受信部１５１において受信されたＧＰＳ信号に基づいて、自機を携帯しているユーザ３の現在位置の情報を取得する。

図２に示すように、携帯情報機器１００は、ユーザ３によって把持された状態で使用される。図２は、例として、屋外で立っているユーザ３が表示部１２０をユーザ３側に向けて携帯情報機器１００を使用している様子を示している。

ユーザ３は、入力部１１３を操作し、所望のアプリケーションプログラムを起動して実行することによって、携帯情報機器１００を使用する。その際、表示部１２０は、アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する。

アプリケーションプログラムとは、アプリケーションソフトウェアとも言い、携帯情報機器１００上で実行されるユーザ３の作業を支援する機能を有するプログラムである。アプリケーションプログラムの例として、ワードプロセッサ、表計算、画像編集等の機能を有するプログラム、電子メールを送受信するためのプログラム、及び、音楽又は動画像を再生するためのプログラム等が挙げられる。アプリケーションプログラムの中には、携帯情報機器１００が製造又は販売される当初からインストールされているものと、ユーザ３によって後から必要に応じてインストールされるものと、がある。インストールされたアプリケーションプログラムは、メモリ１１１に記憶される。

図３に、携帯情報機器１００の表側の面を示す。携帯情報機器１００の表側の面には、表示部１２０が設けられている。図３は、例として、電子メールを送受信するためのアプリケーションプログラムを実行している様子を示している。表示部１２０は、アプリケーションプログラムの実行に伴うアプリケーション画像として、新規メールを作成するためのアプリケーション画像２０を表示している。

図２に戻って、携帯情報機器１００は、表示部１２０が設けられた面とは逆側の面、すなわち携帯情報機器１００の裏側の面に、撮像部１３０を備える。撮像部１３０は、自機（携帯情報機器１００）を携帯しているユーザ３の周囲を撮像することによって、撮像画像を取得する。

具体的に説明すると、撮像部１３０は、撮像画像として、予め定められたフレームレートで、ユーザ３の周囲の動画像を取得する。取得する動画像のフレームレートは、携帯情報機器１００の性能等に応じて適宜決められる。例えば、フレームレートを高くすると、ユーザ３の周囲の情報を迅速に取得できるようになるが、携帯情報機器１００の電力を多く消費する。

通常、ユーザ３は、携帯情報機器１００を使用する際、表示部１２０に表示された画像を見るため、図２に示すように、表示部１２０が設けられた表側の面をユーザ３側に向けて携帯情報機器１００を把持する。このとき、裏側の面に設けられた撮像部１３０の視野２５は、必然的に、ユーザ３の前方、すなわち図２における矢印の向きであってユーザ３の正面側の向きに向けられる。そのため、撮像部１３０は、撮像画像として、ユーザ３の前方を撮像することによって得られた動画像である前方画像を取得する。

図４に、ユーザ３の前方を撮像することによって得られた前方画像３１の例を示す。図４に示すように、前方画像３１は、ユーザ３の前方の様子、すなわちユーザ３が立っている道路、ユーザ３以外の人間、建物、及び、自動車を写している。

携帯情報機器１００は、予め定められた条件が満たされていない場合には、図３に示したように、表示部１２０にアプリケーション画像２０を表示させるが、撮像部１３０の撮像によって得られた画像である前方画像３１は表示させない。これに対して、予め定められた条件が満たされた場合には、携帯情報機器１００は、アプリケーション画像２０だけでなく、前方画像３１も表示部１２０に表示させる。このような携帯情報機器１００の機能について、以下、図５に示す携帯情報機器１００の機能構成を参照しながら、説明する。

図５に、携帯情報機器１００の機能構成を示す。携帯情報機器１００は、機能的に、表示制御部１６０と、移動判定部１６１と、オブジェクト検出部１６２と、傾き検出部１６３と、を備える。

傾き検出部１６３は、自機の傾きを検出する。自機の傾きとは、携帯情報機器１００の表示部１２０及び撮像部１３０が鉛直方向又は水平方向を基準としてどちらの向きを向いているかを示す度合である。図２に示した例では、ユーザ３は、携帯情報機器１００を水平方向に対していくらか上側に向けて使用している。傾き検出部１６３は、加速度センサ１５０によって重力を検出することにより、このような携帯情報機器１００が使用されている最中における傾きの情報を取得する。ＣＰＵ１１０は、加速度センサ１５０等と協働することによって、傾き検出部１６３として機能する。傾き検出部１６３は、傾き検出手段の一例である。

表示制御部１６０は、表示部１２０がアプリケーション画像２０を表示している最中に予め定められた条件が満たされた場合、自機を携帯しているユーザ３の周囲を撮像部１３０が撮像することによって得られた画像である撮像画像を、アプリケーション画像２０と共に、表示部１２０に表示させる。ＣＰＵ１１０は、表示駆動部１２１及び画像処理部１３１等と協働することによって、表示制御部１６０として機能する。表示制御部１６０は、表示制御手段の一例である。

より詳細に説明すると、表示制御部１６０は、傾き検出部１６３によって検出された傾きに基づいて、撮像画像のうちから水平方向に該当する部分を切り出し、撮像画像のうちの切り出した部分を、アプリケーション画像２０と共に、表示部１２０に表示させる。通常、撮像画像のうちの、水平方向を撮像した部分に、ユーザ３の周囲の情報が最も多く含まれており、鉛直方向を撮像した部分（例えば空及び地面等）には、あまり多くの情報が含まれていない。そのため、表示制御部１６０は、表示部１２０における撮像画像の表示領域を節約するため、撮像画像のうちから水平方向に該当する部分を切り出し、切り出した部分をアプリケーション画像２０と共に表示部１２０に表示させ、一方で、撮像画像のうちの切り出されなかった部分を表示させない。

例えば図２に示したように、撮像部１３０の撮像方向が水平方向から下側に傾いている場合、図４に示したように、得られた前方画像３１は、ユーザ３の下側部分の様子、具体的には地面（道路）の様子を多く写している。そのため、表示制御部１６０は、図６に示すように、前方画像３１のうちから、水平方向（図６において一点鎖線で示した方向）を中心として定められる部分（図６において太線で示した切り出し領域３２）の画像を切り出す。

なお、表示制御部１６０は、表示制御部１６０が表示部１２０に撮像画像を表示すべき予め定められた条件が満たされた場合であって、且つ、傾き検出部１６３によって検出された傾きに基づいて定められる撮像部１３０の撮像方向が、水平方向から予め定められた角度以上離れている場合に、警告を示す画像を、表示部１２０に表示させる。すなわち、例えば撮像方向が真下又は真上に近い方向を向いており、水平方向が撮像部１３０の視野２５内に含まれていない場合、そのような撮像画像からは、ユーザ３の周囲を表す有効な部分を切り出すことができない。そのため、このような場合、表示制御部１６０は、例えば「カメラを水平方向へ向けて下さい。」等のメッセージを表示部１２０に表示させて、把持している携帯情報機器１００の向きを変えるようにユーザ３に促す。この予め定められた角度は、具体的には撮像部１３０の視野角（画角）に基づいて定められる。

図７に、撮像部１３０の撮像によって得られた撮像画像である前方画像３１が、アプリケーション画像２０と共に表示部１２０に表示された様子を示す。図７に示すように、表示制御部１６０は、予め定められた条件が満たされた場合、アプリケーション画像２０を、予め定められた条件が満たされる前よりもサイズを縮小して表示部１２０に表示させる。そして、表示制御部１６０は、前方画像３１を、表示部１２０の表示領域における予め定められた条件が満たされる前にアプリケーション画像２０が表示されていた領域のうちの、予め定められた条件が満たされた後にアプリケーション画像２０が表示されていない領域、すなわち図７の例では表示部１２０の上側部分の領域に、表示させる。

このように、表示制御部１６０が表示部１２０に撮像画像を表示すべき予め定められた条件は、実行中のアプリケーションプログラムとは無関係な条件であって、具体的には、以下の（１）又は（２）のどちらかの場合に、満たされる。以下、このような条件が満たされる場合について、説明する。
（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合。
（２）自機を携帯しているユーザ３が移動中であるか否かに拘わらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合。

第１に、上記（１）の移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合について説明する。移動判定部１６１は、自機を携帯しているユーザ３が移動中であるか否かを判定する。自機を携帯しているユーザ３が移動中であるとは、図８に示すように、携帯情報機器１００を携帯しているユーザ３が歩行している状態のように、携帯情報機器１００の位置が変化している状態をいう。ＣＰＵ１１０は、画像処理部１３１、加速度センサ１５０、及び、ＧＰＳ受信部１５１等と協働することによって、移動判定部１６１として機能する。移動判定部１６１は、移動判定手段の一例である。

具体的に説明すると、移動判定部１６１は、画像処理部１３１によって撮像部１３０の撮像によって得られた前方画像３１を解析することによって、自機を携帯しているユーザ３が移動中であるか否かを判定する。例えば、移動判定部１６１は、背景差分法等の手法によって、前方画像３１の背景部分が時間の経過に伴って移動（シフト）しているか否かを検出し、背景部分が移動している場合に自機を携帯しているユーザ３が移動中であると判定する。また、移動判定部１６１は、ＧＰＳ受信部１５１によって受信されたＧＰＳ信号に基づいて得られた自機を携帯しているユーザ３の現在位置が変化した場合にも、自機を携帯しているユーザ３が移動中であると判定する。更には、移動判定部１６１は、加速度センサ１５０によって水平方向に生じた加速度を検出することによって、自機を携帯しているユーザ３が移動中であるか否かを判定することもできる。

このように、移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合に、表示制御部１６０は、図７に示したように、撮像部１３０の撮像によって得られた前方画像３１から水平方向に該当する部分を切り出し、前方画像３１のうちの切り出した部分を、現在実行しているアプリケーション画像２０と共に、表示部１２０に表示させる。この場合、撮像部１３０は、自機を携帯しているユーザ３が移動している方向の前方を撮像することによって、前方画像３１を取得する。そのため、表示部１２０に表示される前方画像３１には、ユーザ３が移動している移動先の様子が写される。

第２に、上記（２）の自機を携帯しているユーザ３が移動中であるか否かに拘わらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトを検出した場合について説明する。図５に示したオブジェクト検出部１６２は、撮像部１３０によってユーザ３の前方を撮像することによって得られた前方画像３１のうちから、ユーザ３に向かって近づくオブジェクトを検出する。オブジェクトとは、人間、動物、ボール、自動車、バイク、及び、自転車等を含む、撮像される可能性のあるあらゆる物体をいう。オブジェクト検出部１６２は、オブジェクト認識及び顔認識等の手法で前方画像３１を解析することによって、時間の経過に伴ってユーザ３に近づくオブジェクトを検出する。ＣＰＵ１１０は、画像処理部１３１等と協働することによって、オブジェクト検出部１６２として機能する。オブジェクト検出部１６２は、オブジェクト検出手段の一例である。

オブジェクト検出部１６２は、第１に、前方画像３１のうちから移動しているオブジェクトの有無を判定する。具体的に説明すると、オブジェクト検出部１６２は、オブジェクト検出及び顔検出等の手法によって、前方画像３１内に写ったオブジェクトを検出する。そして、以前に得られた前方画像３１と新たに得られた前方画像３１とを比較して、時間の経過と共に位置が変化しているオブジェクトの有無を判定する。このとき、ユーザ３自身が移動している場合には、前方画像３１のうちの背景部分の速度からユーザ３の移動速度を推定し、ユーザ３の移動速度とは異なる速度で移動しているオブジェクトを検出する。

このようにして移動しているオブジェクトを検出した場合、オブジェクト検出部１６２は、第２に、その移動しているオブジェクトがユーザ３に衝突する可能性があるか否かを判定する。具体的に説明すると、オブジェクト検出部１６２は、移動しているオブジェクトの向きを検出し、検出した向きが撮像部１３０のレンズへの向きである場合に、移動しているオブジェクトがユーザ３に衝突する可能性があると判定する。

図９に、前方画像３３のうちからユーザ３に向かって近づくオブジェクト５０が検出された場合の例を示す。図９に示すように、オブジェクト５０として例えばユーザ３の位置に向かって歩いている人間が前方画像３３に写った場合、オブジェクト検出部１６２は、このようなオブジェクト５０を、ユーザ３に向かって近づくオブジェクトとして検出する。

このように、表示部１２０がアプリケーション画像２０を表示している最中に、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクト５０が検出された場合、表示制御部１６０は、撮像部１３０の撮像によって得られた前方画像３３から水平方向に該当する部分を切り出し、前方画像３３のうちの切り出した部分を、現在実行しているアプリケーション画像２０と共に、表示部１２０に表示させる。このとき、表示制御部１６０は、オブジェクト５０がユーザ３に向かって近づいていることに対応する警告を示す画像を、表示部１２０に表示させる。

図１０に、ユーザ３に向かって近づくオブジェクト５０を含む前方画像３３が、アプリケーション画像２０及び警告を示す画像と共に表示部１２０に表示された例を示す。図１０に示すように、表示制御部１６０は、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクト５０が検出された場合、表示部１２０において、「警告！」との警告マーク４０を表示させると共に、ユーザ３に向かって近づくオブジェクト５０を強調して表示させる。このように、ユーザ３に向かって近づくオブジェクト５０を含む前方画像３３が表示されることによって、ユーザ３は、アプリケーション画像２０を見ながら、周囲の危険を素早く認識することができる。また、警告マーク４０が表示されることによって、ユーザ３は、より確実に危険を認識することができる。なお、ユーザ３自身が移動している場合とユーザ３自身が移動していない場合とで、表示部１２０に表示させる表示形態や警告を示す画像を変更してもよい。例えば、ユーザ３自身が移動している場合には、ユーザ３自身が移動していない場合よりも、前方画像３３のうちの切り出した部分を大きく表示したり、警告を示す画像を大きく表示したりすることで、ユーザ３により危険を認識させることができる。

以上のような携帯情報機器１００において実行される処理の流れについて、図１１、図１２、及び、図１３に示すフローチャートを参照して、説明する。

図１１のフローチャートに示す携帯情報機器１００の処理は、携帯情報機器１００において、電源が投入されて各種の処理が実行可能な状態になると、開始する。

携帯情報機器１００において、各種の処理が実行可能な状態になると、ＣＰＵ１１０は、アプリケーションプログラムを実行する指示を受け付けたか否かを判定する（ステップＳ１１）。具体的に説明すると、ユーザ３は、携帯情報機器１００に対して所望のアプリケーションプログラムを起動させて実行する指示を、入力部１１３を介して入力することができる。ＣＰＵ１１０は、予めインストールされてメモリ１１１に記憶された複数のアプリケーションプログラムのうちのいずれかのアプリケーションプログラムを実行する指示を、ユーザ３から入力部１１３を介して受け付けたか否かを判定する。

アプリケーションプログラムを実行する指示を受け付けていない場合（ステップＳ１１；ＮＯ）、ＣＰＵ１１０は、処理をステップＳ１１に留めて、アプリケーションプログラムを実行する指示を受け付けるまで待機する。

アプリケーションプログラムを実行する指示を受け付けると（ステップＳ１１；ＹＥＳ）、ＣＰＵ１１０は、指示されたアプリケーションプログラムを実行する（ステップＳ１２）。例えば図３に示したように、電子メールを送受信するためのアプリケーションプログラムの実行が指示された場合には、ＣＰＵ１１０は、そのアプリケーションプログラムを実行し、アプリケーションプログラムに伴う画像であるアプリケーション画像２０を表示部１２０に表示する。また、実行しているアプリケーションプログラムに係るユーザ３の操作入力（例えば画面の切り替え又は項目の選択等）を、入力部１１３を介して受け付けた場合、ＣＰＵ１１０は、受け付けた操作入力に従った処理を実行する。

指示されたアプリケーションプログラムを実行すると、ＣＰＵ１１０は、撮像部１３０によって、携帯情報機器１００を携帯しているユーザ３の周囲を撮像する（ステップＳ１３）。撮像部１３０は、表示部１２０が設けられた側とは逆側に設けられているため、図２又は図８に示したようにユーザ３が表示部１２０を見ながら使用している状態においては、ユーザ３の前方を撮像する。これにより、例えば図４に示した前方画像３１、又は、図９に示した前方画像３３等が得られる。

撮像画像を取得すると、ＣＰＵ１１０は、画像処理部１３１の機能によって、撮像画像の認識処理を実行する（ステップＳ１４）。ステップＳ１４における撮像画像の認識処理の詳細については、図１２に示すフローチャートを参照して、説明する。

図１２に示すフローチャートにおいて、撮像画像の認識処理を開始すると、ＣＰＵ１１０は、現在の撮像画像と直前の撮像画像とを比較する（ステップＳ４１）。そして、ＣＰＵ１１０は、比較した結果に基づいて、ユーザ３の移動速度を取得する（ステップＳ４２）。ステップＳ４１及びステップＳ４２において、ＣＰＵ１１０は、移動判定部１６１として機能し、ユーザ３の移動速度が０でない場合に、自機を携帯しているユーザ３が移動中であると判定する。

具体的に説明すると、ＣＰＵ１１０は、以前に得られた撮像画像のうちの、直前の撮像画像をメモリ１１１から読み出す。そして、ＣＰＵ１１０は、メモリ１１１から読み出した直前の撮像画像と、新たに得られた現在の撮像画像と、を比較して、これら２つの撮像画像の間において背景部分が変化しているか否かを検出する。すなわち、もしも直前の撮像画像が得られてから現在の撮像画像が得られるまでの間においてユーザ３が移動しておらず、且つ、撮像部１３０の撮像方向が変化していない場合には、これら２つの撮像画像の間において、背景部分は変化しない。一方で、もしも直前の撮像画像が得られてから現在の撮像画像が得られるまでの間においてユーザ３が移動していれば、これら２つの撮像画像の間において、背景部分は、ユーザ３が移動した向きとは逆向きに、ユーザ３が移動した量に応じた量だけシフトする。

ＣＰＵ１１０は、エッジ検出等の手法によって、直前の撮像画像と現在の撮像画像とのそれぞれについて背景部分に含まれるオブジェクト（背景オブジェクト）を検出し、これら２つの撮像画像の間において対応する背景オブジェクトの位置が変化しているか否かを検出する。そして、対応する背景オブジェクトの位置が変化していない場合には、ＣＰＵ１１０は、ユーザ３が移動していない（移動速度が０である）と判定する。一方で、対応する背景オブジェクトの位置が変化している場合には、ＣＰＵ１１０は、背景オブジェクトの位置の変化量に応じて、ユーザ３の移動速度を取得（推定）する。

現在の撮像画像と直前の撮像画像とを比較して、ユーザ３の移動速度を取得すると、ＣＰＵ１１０は、現在の撮像画像の中に、ユーザ３と異なる速度で移動するオブジェクトを検出したか否かを判定する（ステップＳ４３）。すなわち、ＣＰＵ１１０は、オブジェクト検出及び顔検出等の手法によって、現在の撮像画像内に写ったオブジェクトを検出し、以前に得られた撮像画像と比較することで、現在の撮像画像におけるユーザ３と異なる速度で移動するオブジェクトの有無を判定する。ステップＳ４３からステップＳ４５において、ＣＰＵ１１０は、オブジェクト検出部１６２として機能する。

ユーザ３と異なる速度で移動するオブジェクトを検出した場合（ステップＳ４３；ＹＥＳ）、ＣＰＵ１１０は、検出したオブジェクトが移動している向きに基づいて、検出したオブジェクトがユーザ３に衝突する可能性があるか否かを判定する（ステップＳ４４）。

オブジェクトがユーザ３に衝突する可能性があると判定した場合（ステップＳ４４；ＹＥＳ）、ＣＰＵ１１０は、現在の撮像画像におけるそのオブジェクトに警告マーク４０を添付する（ステップＳ４５）。

なお、ＣＰＵ１１０は、ユーザ３と異なる速度で移動する複数のオブジェクトを検出した場合には、検出した複数のオブジェクトのそれぞれについて、ユーザ３に衝突する可能性があるか否かを判定する。そして、ＣＰＵ１１０は、現在の撮像画像における、検出した複数のオブジェクトのうちの衝突する可能性があると判定した１以上のオブジェクトのそれぞれに、警告マーク４０を添付する。

一方で、ステップＳ４３において、ユーザ３と異なる速度で移動するオブジェクトを検出しなかった場合（ステップＳ４３；ＮＯ）、ＣＰＵ１１０は、ステップＳ４４及びステップＳ４５の処理をスキップする。また、ユーザ３と異なる速度で移動するオブジェクトを検出した場合であっても、ステップＳ４４において、そのオブジェクトがユーザ３に衝突しないと判定した場合（ステップＳ４４；ＮＯ）、ステップＳ４５の処理をスキップする。以上により、図１２に示した撮像画像の認識処理は終了する。

図１１に示すフローチャートの説明に戻る。ＣＰＵ１１０は、指示されたアプリケーションプログラムと撮像画像の認識処理とを実行しながら、撮像画像を表示すべき予め定められた条件が満たされたか否かを判定する（ステップＳ１５）。具体的に説明すると、ＣＰＵ１１０は、（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合、又は、（２）自機を携帯しているユーザ３が移動中であるか否かに拘わらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合のどちらかの場合に、撮像画像を表示すべき予め定められた条件が満たされたと判定する。（１）及び（２）のどちらでもない場合には、撮像画像を表示すべき予め定められた条件が満たされたと判定しない。

撮像画像を表示すべき条件が満たされると（ステップＳ１５；ＹＥＳ）、ＣＰＵ１１０は、撮像画像の表示処理を実行する（ステップＳ１６）。ステップＳ１６における撮像画像の表示処理については、図１３に示すフローチャートを参照して、説明する。

図１３に示すフローチャートにおいて、撮像画像の表示処理を開始すると、ＣＰＵ１１０は、自機の傾きを検出する（ステップＳ６１）。このとき、ＣＰＵ１１０は、傾き検出部１６３として機能する。そして、ＣＰＵ１１０は、検出した傾きに基づいて、撮像方向が水平方向から予め定められた角度以上離れているか否かを判定する（ステップＳ６２）。

撮像方向が水平方向から予め定められた角度以上離れている場合（ステップＳ６２；ＹＥＳ）、ＣＰＵ１１０は、表示部１２０に警告を表示する（ステップＳ６３）。すなわち、ＣＰＵ１１０は、撮像画像から水平方向に該当する有効な部分を切り出すために、例えば「カメラを水平方向へ向けて下さい。」等のメッセージを表示部１２０に表示させて、把持している携帯情報機器１００の向きを変えるようにユーザ３に促す。警告を表示すると、ＣＰＵ１１０は、処理をステップＳ６１に戻し、撮像方向が水平方向から予め定められた角度未満にまで近づくまで待機する。ステップＳ６２からステップＳ６５まで、ＣＰＵ１１０は、表示制御部１６０として機能する。

撮像方向が水平方向から予め定められた角度未満である場合（ステップＳ６２；ＮＯ）、ＣＰＵ１１０は、検出した自機の傾きに基づいて、撮像画像のうちから水平方向に該当する部分を切り出す（ステップＳ６４）。例えば、撮像画像として図４に示した前方画像３１が得られた場合、ＣＰＵ１１０は、水平方向に該当する部分として、図６に示した切り出し領域３２の部分を切り出す。

撮像画像から水平方向に該当する部分の画像を切り出すと、ＣＰＵ１１０は、縮小したアプリケーション画像２０と共に、撮像画像を表示部１２０に表示する（ステップＳ６５）。具体的に説明すると、ＣＰＵ１１０は、アプリケーション画像２０の表示領域を、撮像画像を表示する前に比べて縮小し、撮像画像の表示領域を確保する。その結果、例えば図７又は図１０に示したように、表示部１２０の上側部分に前方画像３１，３３が表示され、且つ、表示部１２０の下側部分にアプリケーション画像２０が表示される。以上により、図１３に示した撮像画像の表示処理は終了する。

図１１に示すフローチャートの説明に戻る。ステップＳ１５において、撮像画像を表示すべき条件が満たされていない場合（ステップＳ１５；ＮＯ）、ＣＰＵ１１０は、ステップＳ１６の処理をスキップする。すなわち、ＣＰＵ１１０は、表示部１２０には、撮像画像を表示せず、アプリケーション画像２０のみを表示する。

その後、ＣＰＵ１１０は、アプリケーションプログラムの終了指示を受け付けたか否かを判定する（ステップＳ１７）。すなわち、ＣＰＵ１１０は、現在実行しているアプリケーションプログラムを終了する指示を、ユーザ３から入力部１１３を介して受け付けたか否かを判定する。

アプリケーションプログラムの終了指示を受けていない場合（ステップＳ１７；ＮＯ）、ＣＰＵ１１０は、処理をステップＳ１２に戻し、引き続き、指示されたアプリケーションプログラムを実行する。そして、ＣＰＵ１１０は、引き続き、撮像部１３０によってユーザ３の周囲を撮像し、撮像によって得られた撮像画像の認識処理を実行する。このとき、撮像画像を表示すべき条件が満たされると、ＣＰＵ１１０は、縮小したアプリケーション画像と共に撮像画像を表示部１２０に表示する。

アプリケーションプログラムの終了指示を受け付けると（ステップＳ１７；ＹＥＳ）、ＣＰＵ１１０は、アプリケーションプログラムを終了する（ステップＳ１８）。アプリケーションプログラムを終了すると、ＣＰＵ１１０は、処理をステップＳ１１に戻す。すなわち、ＣＰＵ１１０は、次にアプリケーションプログラムを実行する指示を受け付けるまで待機し、いずれかのアプリケーションプログラムを実行する指示を受け付けると、指示されたアプリケーションプログラムを実行する。そして、上述したステップＳ１２からステップＳ１８の処理を実行する。

以上説明したように、実施形態１に係る携帯情報機器１００は、表示部１２０がアプリケーション画像２０を表示している最中に予め定められた条件が満たされた場合、自機を携帯しているユーザ３の前方を撮像部１３０が撮像することによって得られた前方画像３１を、アプリケーション画像２０と共に、表示部１２０に表示させる。これにより、ユーザ３は、たとえ撮像とは無関係なアプリケーションプログラムを実行していたとしても、表示部１２０に表示されたアプリケーション画像２０を見ながら、前方の様子も視認することができる。そのため、携帯情報機器１００の使用を中断することなく、携帯情報機器１００を使用しているユーザ３の安全性を向上させることができる。

（実施形態２）
次に、本発明の実施形態２について説明する。

上記実施形態１では、携帯情報機器１００は、撮像部１３０がユーザ３の前方を撮像することによって前方画像３１，３３を取得し、取得した前方画像３１，３３を、アプリケーション画像２０と共に表示部１２０に表示させた。これに対して、実施形態２では、図１４に示すように、携帯情報機器１００は、ユーザ３の後方を撮像する補助装置２００と共に携帯情報システム１を構成し、補助装置２００がユーザ３の後方を撮像することによって後方画像をさらに取得する。

携帯情報システム１において、携帯情報機器１００はいわゆる親機として機能し、補助装置２００はいわゆる子機として機能する。子機として機能する補助装置２００は、撮像部２３０の視野２６内を撮像し、撮像によって得られた撮像画像を近距離型の無線通信を介して、親機として機能する携帯情報機器１００に送信する。補助装置２００は、撮像部２３０の視野２６がユーザ３の後方を向くように、フック等によって引っ掛けられる、又は、テープ等によって貼り付けられること等によって、ユーザ３の体、衣服、又は、鞄等に装着される。

図１５に、補助装置２００の物理構成を示す。なお、携帯情報機器１００の構成は、実施形態１において図１及び図５に示した構成と同様であるため、説明を省略する。図１５に示すように、補助装置２００は、ＣＰＵ２１０と、メモリ２１１と、撮像部２３０と、画像処理部２３１と、無線通信部２４０と、アンテナ２４１と、加速度センサ２５０と、を備える。

ＣＰＵ２１０は、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。ＣＰＵ２１０は、命令やデータを転送するための伝送経路であるシステムバスを介して補助装置２００の各部と接続され、補助装置２００全体を制御する。

メモリ２１１は、例えばＣＰＵ２１０のワークメモリとして機能するＲＡＭ、及び、ＲＯＭやフラッシュメモリ等のような不揮発性メモリを含む。メモリ２１１は、ＣＰＵ２１０が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、メモリ２１１は、ＣＰＵ２１０が各種処理を行うことにより生成又は取得する各種データを記憶する。

撮像部２３０は、撮像によって静止画像及び動画像を取得する機能を有するカメラである。撮像部２３０は、被写体（オブジェクト）から射出された光束を集光するレンズ、及び、レンズによる集光位置に配置され、光電変換によって被写体の光学像を電気信号として取得する撮像素子（イメージセンサ）等を備える。図１４に示したように、補助装置２００がユーザ３に装着された状態において、撮像部２３０は、ユーザ３の後方を撮像することによって、後方画像を取得する。撮像部２３０は、第２の撮像手段の一例である。

画像処理部２３１は、Ａ／Ｄ変換器、バッファメモリ、及び、画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部２３１は、ＣＰＵ２１０の制御のもと、撮像部２３０の撮像によって得られた撮像画像のデジタルデータを生成する。また、画像処理部２３１は、ＣＰＵ２１０の制御のもと、撮像部２３０の撮像によって得られた撮像画像に対して加工処理を実行し、又は、撮像画像に対してオブジェクト認識処理及び顔認識等の画像認識処理を実行する。

無線通信部２４０は、ＣＰＵ２１０の制御のもと、アンテナ２４１を介して無線通信するための無線通信モジュールである。無線通信部２４０は、例えばＷｉ−Ｆｉ等の無線ＬＡＮ、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等によって、近距離型の無線通信を行う。

加速度センサ２５０は、３軸方向における加速度を検出することによって、自機（補助装置２００）の動きや振動を検出するセンサである。また、加速度センサ２５０は、重力を検出してその向き（鉛直下向き）を特定することによって、自機の傾きを検出する。

補助装置２００において、ＣＰＵ２１０は、撮像部２３０の撮像によって得られた後方画像を、無線通信部２４０及びアンテナ２４１を介して、携帯情報機器１００に送信する。ＣＰＵ２１０は、無線通信部２４０及びアンテナ２４１等と協働することによって、送信手段として機能する。

携帯情報機器１００において、ＣＰＵ１１０は、補助装置２００から送信された後方画像を、無線通信部１４０及びアンテナ１４１を介して、受信する。ＣＰＵ１１０は、無線通信部１４０及びアンテナ１４１等と協働することによって、受信手段として機能する。

携帯情報機器１００において、表示制御部１６０は、表示部１２０がアプリケーション画像２０を表示している最中に予め定められた条件が満たされた場合、前方画像及び後方画像を、アプリケーション画像２０と共に、表示部１２０に表示させる。すなわち、表示制御部１６０は、携帯情報機器１００の撮像部１３０がユーザ３の前方を撮像することによって得られた前方画像だけでなく、補助装置２００の撮像部２３０がユーザ３の後方を撮像することによって得られた後方画像を、実行中のアプリケーションプログラムに伴うアプリケーション画像２０と共に、表示部１２０に表示させる。この予め定められた条件は、上記実施形態１と同様、（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合、又は、（２）自機を携帯しているユーザ３が移動中であるか否かに拘わらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合のどちらかの場合に、満たされる。

図１６に、前方画像３３及び後方画像３５が、アプリケーション画像２０と共に表示部１２０に表示された様子を示す。図１６に示すように、表示制御部１６０は、予め定められた条件が満たされた場合、アプリケーション画像２０を、予め定められた条件が満たされる前よりもサイズを縮小して表示部１２０に表示させる。そして、表示制御部１６０は、前方画像３３と後方画像３５とを、表示部１２０の表示領域における予め定められた条件が満たされる前にアプリケーション画像２０が表示されていた領域のうちの、予め定められた条件が満たされた後にアプリケーション画像２０が表示されていない領域に表示させる。図１６の例では、表示制御部１６０は、表示部１２０の上側部分の領域に前方画像３３を表示させ、表示部１２０の下側部分の領域に後方画像３５を表示させる。

このように、前方画像３３と後方画像３５とがどちらも表示されるため、ユーザ３は、アプリケーション画像２０を見ながら、ユーザ３の前方と後方との様子を同時に確認することができる。そのため、前方画像３３又は後方画像３５のどちらかしか表示されない場合に比べて、ユーザ３は、自身の周囲のより広い範囲の様子を視認することができる。

以上のような携帯情報システム１において携帯情報機器１００と補助装置２００との間で実行される無線通信処理の流れについて、図１７に示すフローチャートを参照して、説明する。

図１７に示すフローチャートに示す無線通信処理は、携帯情報機器１００及び補助装置２００のそれぞれにおいて、電源が投入されて各種の処理が実行可能な状態になると、開始する。

無線通信処理を開始すると、携帯情報機器１００及び補助装置２００は、ペアリング（相互認証）、通信モードの設定等を行って、携帯情報機器１００と補助装置２００との間における無線通信による接続を確立する（ステップＳ１０１，Ｓ２０１）。

無線通信による接続を確立すると、補助装置２００において、ＣＰＵ２１０は、撮像部２３０によって、ユーザ３の後方を撮像する（ステップＳ２０２）。これにより、例えば図１６に示した後方画像３５を取得する。

後方画像３５を取得すると、ＣＰＵ２１０は、自機（補助装置２００）の傾きを検出する（ステップＳ２０３）。具体的に説明すると、ＣＰＵ２１０は、実施形態１において説明した携帯情報機器１００における傾き検出部１６３と同様に機能し、加速度センサ２５０によって重力を検出することにより、自機の傾きを検出する。これにより、撮像部２３０の視野２６の向きの情報を取得する。

自機の傾きを検出すると、ＣＰＵ２１０は、検出した自機の傾きに基づいて、後方画像３５のうちから水平方向に該当する部分を切り出す（ステップＳ２０４）。そして、ＣＰＵ２１０は、後方画像３５のうちの切り出した部分を、無線通信部２４０及びアンテナ２４１を介して、携帯情報機器１００に送信する（ステップＳ２０５）。

後方画像３５を携帯情報機器１００に送信すると、ＣＰＵ２１０は、処理をステップＳ２０２に戻し、ステップＳ２０２からステップＳ２０５の処理を、予め定められた周期で繰り返す。これにより、補助装置２００は、ユーザ３の後方を撮像して得られた後方画像３５を、携帯情報機器１００に提供し続ける。

携帯情報機器１００において、無線通信による接続を確立した後、ＣＰＵ１１０は、補助装置２００からの後方画像３５を待ち受ける（ステップＳ１０２）。後方画像３５が補助装置２００から送信されると、ＣＰＵ１１０は、送信された後方画像３５を、無線通信部１４０及びアンテナ１４１を介して、受信する（ステップＳ１０３）。後方画像３５を受信すると、ＣＰＵ１１０は、処理をステップＳ１０２に戻し、引き続き、補助装置２００からの後方画像３５を待ち受ける。そして、補助装置２００から後方画像３５が送信される毎に、送信された後方画像３５を受信する。

携帯情報機器１００においては、このような無線通信処理と並行して、実施形態１において図１０に示した処理と同様の処理を実行する。具体的に説明すると、ＣＰＵ１１０は、指示されたアプリケーションプログラムを実行しながら、撮像部１３０によってユーザ３の前方を撮像する。このとき、ＣＰＵ１１０は、前方画像３３及び後方画像３５のそれぞれに対して、図１２に示した認識処理を実行する。そして、ＣＰＵ１１０は、予め定められた条件が満たされると、自機によって得られた前方画像３３と、補助装置２００から送信された後方画像３５とを、図１６に示したように、アプリケーション画像２０と共に表示部１２０に表示させる。

以上説明したように、実施形態２に係る携帯情報システム１は、携帯情報機器１００とは別の装置である補助装置２００によってユーザ３の後方を撮像する。そして、携帯情報機器１００は、表示部１２０がアプリケーション画像２０を表示している最中に予め定められた条件が満たされた場合、前方画像３３及び後方画像３５を、アプリケーション画像２０と共に、表示部１２０に表示させる。これにより、前方画像３３又は後方画像３５のどちらかしか表示されない場合に比べて、ユーザ３は、アプリケーション画像２０を見ながら、自身の周囲のより広い範囲を視認することができ、自身の周囲の危険を素早く認識することができる。

（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、携帯情報機器１００は、表示部１２０が設けられた面とは逆側の面に、ユーザ３の前方を撮像する撮像部１３０を備えていた。しかし、本発明に係る携帯情報機器は、表示部が設けられた面に、第２の撮像部をさらに備え、第２の撮像部が、ユーザの後方を撮像することによって、後方画像を取得していてもよい。

図１８に、表示部１２０が設けられた面とは逆側の面に第１の撮像部１３０を備え、更に表示部１２０が設けられた面に第２の撮像部１３５を備えた携帯情報機器１０１を示す。図１８に示す携帯情報機器１０１は、２つの撮像部１３０，１３５がそれぞれ自機の表裏に設けられているため、補助装置２００を用いることなく、ユーザ３の前方と後方とをどちらも撮像することができる。そのため、補助装置２００を用いてユーザ３の後方を撮像した上記実施形態２に比べて、構成が簡易になる。

なお、補助装置２００を用いず、携帯情報機器１０１に備えられた第２の撮像部１３５によってユーザ３の後方を撮像する場合、第２の撮像部１３５の視野２７内にユーザ３の顔が入り、ユーザ３の顔によって後方の視界が遮られることがある。これを回避するため、表示制御部１６０は、第２の撮像部１３５によって得られた後方画像の中にユーザ３の顔の画像が含まれる場合であって、且つ、後方画像における顔の画像が占める割合が予め定められた閾値以上である場合、警告を示す画像を、表示部１２０に表示させてもよい。後方画像の中にユーザ３の顔の画像が含まれているか否かは、例えば周知の顔認識の手法等によって判定することができる。表示部１２０に表示させる警告を示す画像としては、例えば「後方カメラの視界を確保するため、顔の位置を動かして下さい。」等、ユーザ３に顔の移動を促すメッセージを示す画像等が挙げられる。

また、上記実施形態では、携帯情報機器１００は、表示部１２０が設けられた面とは逆側の面に、ユーザ３の前方を撮像する撮像部１３０を備えていた。しかし、本発明に係る携帯情報機器は、自機内に撮像部を備えなくてもよい。すなわち、携帯情報機器に備えられた表示部がアプリケーション画像を表示している最中に、補助装置に備えられた撮像部が、携帯情報機器を携帯しているユーザの周囲を撮像する。そして、本発明に係る携帯情報機器は、補助装置に備えられた撮像部によって得られた撮像画像を、無線通信を介して受信し、受信した撮像画像のみを、アプリケーション画像と共に、表示部に表示させてもよい。これにより、補助装置を様々な場所及び向きに装着することで、ユーザ３の前方又は後方だけでなく、ユーザ３の周囲の様々な方向の様子を撮像することができる。

また、上記実施形態では、表示制御部１６０は、表示部１２０に撮像画像を表示すべき予め定められた条件が満たされた場合、撮像画像のうちから水平方向に該当する部分を切り出し、撮像画像のうちの切り出した部分を、アプリケーション画像２０と共に、表示部１２０に表示させた。しかし、本発明では、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクト５０が検出された場合、表示制御部１６０は、撮像画像のうちから検出されたオブジェクト５０の位置を基準として定められる部分を切り出し、撮像画像のうちの切り出した部分を、アプリケーション画像２０と共に、表示部１２０に表示させてもよい。例えば表示制御部１６０は、検出されたオブジェクト５０の位置を基準として定められる部分として、撮像画像のうちから、検出されたオブジェクト５０の位置を中心として予め定められた範囲を切り出す。これにより、表示部１２０に表示される撮像画像内のオブジェクト５０を視認しやすくなるため、ユーザ３に向かって近づくオブジェクト５０をより確実にユーザ３に報知することができる。

また、上記実施形態では、携帯情報機器１００，１０１及び補助装置２００は、それぞれＣＰＵ１１０及びＣＰＵ２１０を備えていた。しかし、本発明において、携帯情報機器及び補助装置は、ＣＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の制御回路を備えていてもよい。例えば、上記実施形態では、ＣＰＵ１１０が、表示制御部１６０、移動判定部１６１、オブジェクト検出部１６２、及び、傾き検出部１６３のそれぞれとして機能したが、これら各部は、それぞれ個別のＡＳＩＣによって実現されてもよい。

なお、本発明に係る機能を実現するための構成を予め備えた携帯情報機器として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る携帯情報機器として機能させることもできる。すなわち、上記実施形態で例示した携帯情報機器１００による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る携帯情報機器として機能させることができる。また、本発明に係る表示方法は、携帯情報機器を用いて実施できる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像する撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記自機を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる表示制御手段と、
を備える、
ことを特徴とする携帯情報機器。

（付記２）
前記自機を携帯している前記ユーザが移動中であるか否かを判定する移動判定手段をさらに備え、
前記予め定められた条件は、前記移動判定手段によって前記自機を携帯している前記ユーザが移動中であると判定された場合に、満たされる、
ことを特徴とする付記１に記載の携帯情報機器。

（付記３）
前記撮像画像のうちから前記ユーザに向かって近づくオブジェクトを検出するオブジェクト検出手段をさらに備え、
前記予め定められた条件は、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合に、満たされる、
ことを特徴とする付記１又は２に記載の携帯情報機器。

（付記４）
前記表示制御手段は、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合、警告を示す画像を前記表示手段に表示させる、
ことを特徴とする付記３に記載の携帯情報機器。

（付記５）
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合、前記撮像画像のうちから当該検出されたオブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの当該切り出した部分を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とする付記３又は４に記載の携帯情報機器。

（付記６）
前記表示制御手段は、前記自機を携帯している前記ユーザが移動中である場合と、前記自機を携帯している前記ユーザが移動中でない場合とで、前記撮像画像のうちの前記切り出した部分を前記アプリケーション画像と共に前記表示手段に表示させる表示形態を異ならせる、
ことを特徴とする付記５に記載の携帯情報機器。

（付記７）
前記表示制御手段は、前記予め定められた条件が満たされた場合、前記アプリケーション画像を、前記予め定められた条件が満たされる前よりもサイズを縮小して前記表示手段に表示させ、且つ、前記撮像画像を、前記表示手段の表示領域における前記予め定められた条件が満たされる前に前記アプリケーション画像が表示されていた領域のうちの、サイズが縮小されたことにより前記アプリケーション画像が表示されない領域に、表示させる、
ことを特徴とする付記１から６のいずれか１つに記載の携帯情報機器。

（付記８）
前記撮像手段と、
前記自機の傾きを検出する傾き検出手段と、
をさらに備え、
前記表示制御手段は、前記傾き検出手段によって検出された前記傾きに基づいて、前記撮像画像のうちから水平方向に該当する部分を切り出し、前記撮像画像のうちの当該切り出した部分を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とする付記１から７のいずれか１つに記載の携帯情報機器。

（付記９）
前記表示制御手段は、前記予め定められた条件が満たされた場合であって、且つ、前記傾き検出手段によって検出された前記傾きに基づいて定められる前記撮像手段の撮像方向が、前記水平方向から予め定められた角度以上離れている場合に、警告を示す画像を、前記表示手段に表示させる、
ことを特徴とする付記８に記載の携帯情報機器。

（付記１０）
前記表示手段が設けられた面とは逆側の面に、前記撮像手段を備え、
前記撮像手段は、前記ユーザの前方を撮像することによって、前記撮像画像として、前方画像を取得する、
ことを特徴とする付記１から９のいずれか１つに記載の携帯情報機器。

（付記１１）
前記表示手段が設けられた前記面に、第２の撮像手段をさらに備え、
前記第２の撮像手段は、前記ユーザの後方を撮像することによって、後方画像を取得する、
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とする付記１０に記載の携帯情報機器。

（付記１２）
前記表示制御手段は、前記後方画像の中に前記ユーザの顔の画像が含まれる場合であって、且つ、前記後方画像における当該顔の画像が占める割合が予め定められた閾値以上である場合、警告を示す画像を、前記表示手段に表示させる、
ことを特徴とする付記１１に記載の携帯情報機器。

（付記１３）
付記１０に記載の携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記補助装置は、
前記ユーザの後方を撮像することによって、後方画像を取得する第２の撮像手段と、
前記第２の撮像手段の撮像によって得られた前記後方画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記後方画像を受信する受信手段、
をさらに備え、
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とする携帯情報システム。

（付記１４）
携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記携帯情報機器は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段、
を備え、
前記補助装置は、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像する撮像手段と、
前記撮像手段の撮像によって得られた撮像画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記撮像画像を受信する受信手段と、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記受信手段によって受信された前記撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる表示制御手段と、
をさらに備える、
ことを特徴とする携帯情報システム。

（付記１５）
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、携帯情報機器の表示手段に表示し、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段が撮像し、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする表示方法。

（付記１６）
携帯情報機器のコンピュータに、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、前記携帯情報機器の表示手段に表示させ、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段に撮像させ、
前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段に撮像させることによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
ことを特徴とするプログラム。

１…携帯情報システム、３…ユーザ、２０…アプリケーション画像、２５，２６，２７…視野、３１，３３…前方画像、３２…切り出し領域、３５…後方画像、４０…警告マーク、５０…オブジェクト、１００，１０１…携帯情報機器、１１０，２１０…ＣＰＵ、１１１，２１１…メモリ、１１３…入力部、１２０…表示部、１２１…表示駆動部、１３０，１３５，２３０…撮像部、１３１，２３１…画像処理部、１４０，２４０…無線通信部、１４１，２４１…アンテナ、１５０，２５０…加速度センサ、１５１…ＧＰＳ受信部、１６０…表示制御部、１６１…移動判定部、１６２…オブジェクト検出部、１６３…傾き検出部、２００…補助装置

Claims (16)

1. アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
   前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像する撮像手段と、
   前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記自機を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる表示制御手段と、
   を備える、
   ことを特徴とする携帯情報機器。
2. 前記自機を携帯している前記ユーザが移動中であるか否かを判定する移動判定手段をさらに備え、
   前記予め定められた条件は、前記移動判定手段によって前記自機を携帯している前記ユーザが移動中であると判定された場合に、満たされる、
   ことを特徴とする請求項１に記載の携帯情報機器。
3. 前記撮像画像のうちから前記ユーザに向かって近づくオブジェクトを検出するオブジェクト検出手段をさらに備え、
   前記予め定められた条件は、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合に、満たされる、
   ことを特徴とする請求項１又は２に記載の携帯情報機器。
4. 前記表示制御手段は、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合、警告を示す画像を前記表示手段に表示させる、
   ことを特徴とする請求項３に記載の携帯情報機器。
5. 前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合、前記撮像画像のうちから当該検出されたオブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの当該切り出した部分を、前記アプリケーション画像と共に、前記表示手段に表示させる、
   ことを特徴とする請求項３又は４に記載の携帯情報機器。
6. 前記表示制御手段は、前記自機を携帯している前記ユーザが移動中である場合と、前記自機を携帯している前記ユーザが移動中でない場合とで、前記撮像画像のうちの前記切り出した部分を前記アプリケーション画像と共に前記表示手段に表示させる表示形態を異ならせる、
   ことを特徴とする請求項５に記載の携帯情報機器。
7. 前記表示制御手段は、前記予め定められた条件が満たされた場合、前記アプリケーション画像を、前記予め定められた条件が満たされる前よりもサイズを縮小して前記表示手段に表示させ、且つ、前記撮像画像を、前記表示手段の表示領域における前記予め定められた条件が満たされる前に前記アプリケーション画像が表示されていた領域のうちの、サイズが縮小されたことにより前記アプリケーション画像が表示されない領域に、表示させる、
   ことを特徴とする請求項１から６のいずれか１項に記載の携帯情報機器。
8. 前記撮像手段と、
   前記自機の傾きを検出する傾き検出手段と、
   をさらに備え、
   前記表示制御手段は、前記傾き検出手段によって検出された前記傾きに基づいて、前記撮像画像のうちから水平方向に該当する部分を切り出し、前記撮像画像のうちの当該切り出した部分を、前記アプリケーション画像と共に、前記表示手段に表示させる、
   ことを特徴とする請求項１から７のいずれか１項に記載の携帯情報機器。
9. 前記表示制御手段は、前記予め定められた条件が満たされた場合であって、且つ、前記傾き検出手段によって検出された前記傾きに基づいて定められる前記撮像手段の撮像方向が、前記水平方向から予め定められた角度以上離れている場合に、警告を示す画像を、前記表示手段に表示させる、
   ことを特徴とする請求項８に記載の携帯情報機器。
10. 前記表示手段が設けられた面とは逆側の面に、前記撮像手段を備え、
    前記撮像手段は、前記ユーザの前方を撮像することによって、前記撮像画像として、前方画像を取得する、
    ことを特徴とする請求項１から９のいずれか１項に記載の携帯情報機器。
11. 前記表示手段が設けられた前記面に、第２の撮像手段をさらに備え、
    前記第２の撮像手段は、前記ユーザの後方を撮像することによって、後方画像を取得する、
    前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
    ことを特徴とする請求項１０に記載の携帯情報機器。
12. 前記表示制御手段は、前記後方画像の中に前記ユーザの顔の画像が含まれる場合であって、且つ、前記後方画像における当該顔の画像が占める割合が予め定められた閾値以上である場合、警告を示す画像を、前記表示手段に表示させる、
    ことを特徴とする請求項１１に記載の携帯情報機器。
13. 請求項１０に記載の携帯情報機器と、補助装置と、を備える携帯情報システムであって、
    前記補助装置は、
    前記ユーザの後方を撮像することによって、後方画像を取得する第２の撮像手段と、
    前記第２の撮像手段の撮像によって得られた前記後方画像を前記携帯情報機器に送信する送信手段と、
    を備え、
    前記携帯情報機器は、
    前記補助装置から送信された前記後方画像を受信する受信手段、
    をさらに備え、
    前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
    ことを特徴とする携帯情報システム。
14. 携帯情報機器と、補助装置と、を備える携帯情報システムであって、
    前記携帯情報機器は、
    アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段、
    を備え、
    前記補助装置は、
    前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像する撮像手段と、
    前記撮像手段の撮像によって得られた撮像画像を前記携帯情報機器に送信する送信手段と、
    を備え、
    前記携帯情報機器は、
    前記補助装置から送信された前記撮像画像を受信する受信手段と、
    前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記受信手段によって受信された前記撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる表示制御手段と、
    をさらに備える、
    ことを特徴とする携帯情報システム。
15. アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、携帯情報機器の表示手段に表示し、
    前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段が撮像し、
    前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段が撮像することによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
    ことを特徴とする表示方法。
16. 携帯情報機器のコンピュータに、
    アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、前記携帯情報機器の表示手段に表示させ、
    前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段に撮像させ、
    前記表示手段が前記アプリケーション画像を表示している最中に予め定められた条件が満たされた場合、前記携帯情報機器を携帯している前記ユーザの周囲を前記撮像手段に撮像させることによって得られた撮像画像を、前記アプリケーション画像と共に、前記表示手段に表示させる、
    ことを特徴とするプログラム。

Images