JP2014063208A - 携帯端末装置、プログラムおよび手ぶれ補正方法 - Google Patents

Abstract

【課題】携帯端末装置を操作する操作者の状況を検出するための新たな手法を提供する。
【解決手段】操作者によって操作される携帯端末装置１に、表示データ１２３を表示する表示部１４と、操作者の顔を含む画像データ１６０を取得する撮像部１５および画像信号処理部１６と、取得された画像データ１６０に基づいて、表示部１４に表示されている表示データ１２３と当該操作者の顔との相対的な位置の変化を検出し変化データ１２２を作成する検出部１０１と、操作者が歩行中であるか否かを判定する判定部１００と、判定部１００により操作者が歩行中であると判定された場合に、検出部１０１により検出された相対的な位置の変化を抑制するように、表示部１４に表示されている表示データ１２３の表示部１４における表示位置を制御する表示制御部１０２とを設ける。
【選択図】図３

Description

本発明は、歩行中の操作者が携帯端末装置を使用するときに生じる手ぶれを補正する技術に関する。

昨今、携帯電話、スマートフォン、電子書籍閲覧端末など、ユーザによって携帯されることを想定したコンピュータ（以下、「携帯端末装置」と総称する。）が広く普及している。携帯端末装置は、操作者が移動中や歩行中においても使用でき、移動中や歩行中の時間を有効に活用できるという利点がある。一方で、歩行中の操作者が携帯端末装置を使用するときには、操作者の歩行動作により手ぶれが生じ、画面が揺れて見にくいという問題があった。

従来より、画面に揺れが生じている場合に画面を見やすくする技術が提案されている。例えば、特許文献１には、撮像した画像データにおいて被写体が揺れずに安定しているか否かを判定し、安定していない場合にはズーム・レンズをワイド化させて拡大する撮像装置が記載されている。

特開平０６−６６６６号公報

ところが、従来の技術では、手ぶれが検出されると、画面に表示されている内容が拡大されるのみで、画面の振動自体は抑制されないという問題があった。画面が振動していると、画面の内容を把握することができたとしても、目が疲れるという問題は依然として解決されない。また、拡大されることにより画面に表示されている内容（表示部分）が減少するので、画面切替頻度が増大するといった問題があった。

本発明は、上記課題に鑑みてなされたものであり、歩行中の操作者が携帯端末装置を使用するときに生じる手ぶれを補正する技術に提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、操作者によって操作される携帯端末装置であって、画像を表示する表示手段と、前記操作者の顔を含む画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する検出手段と、前記操作者が歩行中であるか否かを判定する判定手段と、前記判定手段により前記操作者が歩行中であると判定された場合に、前記検出手段により検出された相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する表示補正手段とを備える。

また、請求項２の発明は、請求項１の発明に係る携帯端末装置であって、前記画像取得手段は、前記操作者の眼球を含む画像データを取得し、前記検出手段は、前記画像取得手段により取得された画像データに基づいて、前記操作者の眼球の動きを検出することにより、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する。

また、請求項３の発明は、請求項１または２の発明に係る携帯端末装置であって、前記検出手段は、前記相対的な位置の変化における変化量を検出する。

また、請求項４の発明は、コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、画像を表示する表示手段と、操作者の顔を含む画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する検出手段と、前記操作者が歩行中であるか否かを判定する判定手段と、前記判定手段により前記操作者が歩行中であると判定された場合に、前記検出手段により検出された相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する表示補正手段とを備える携帯端末装置として機能させる。

また、請求項５の発明は、携帯端末装置の状況を検知する手ぶれ補正方法であって、前記携帯端末装置の表示手段に画像を表示する工程と、前記携帯端末装置の操作者の顔を含む画像データを取得する工程と、取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する工程と、前記操作者が歩行中であるか否かを判定する工程と、前記操作者が歩行中であると判定された場合に、検出された前記相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する工程とを有する。

請求項１ないし５に記載の発明は、取得された画像データに基づいて、表示手段に表示されている画像と操作者の顔との相対的な位置の変化を検出し、操作者が歩行中であると判定された場合に、検出された相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する。これにより、歩行中の手ぶれを抑制した画像を表示できる。

第１の実施の形態における携帯端末装置の外観を例示する図である。 第１の実施の形態における携帯端末装置のブロック図である。 第１の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 第１の実施の形態における携帯端末装置の表示補正モードの動作を示す流れ図である。 第２の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

＜１． 第１の実施の形態＞
図１は、第１の実施の形態における携帯端末装置１の外観を例示する図である。また、図２は、第１の実施の形態における携帯端末装置１のブロック図である。図１に示すように、携帯端末装置１は、操作者による携帯が可能なように設計された装置であり、当該操作者によって操作される。

携帯端末装置１は、各種情報を処理しつつ、制御信号を生成することによって携帯端末装置１が備える各構成を制御するＣＰＵ１０と、ＣＰＵ１０によって実行されるプログラム１１０を格納するＲＯＭ１１と、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭ１２とを備えている。これにより、携帯端末装置１は、一般的なコンピュータとしての構成および機能を有している。

なお、ＣＰＵ１０の動作および機能については、後述する。また、ＲＡＭ１２は、ＣＰＵ１０によるデータの読み書きが可能な記憶装置を代表して例示するものであって、携帯端末装置１が備える記憶装置を比較的小容量の高速アクセス可能な記憶装置（すなわちＲＡＭ１２）に限定するものではない。携帯端末装置１は、ＲＡＭ１２以外にも、不揮発性の記憶装置や比較的低速でしかアクセスできない記憶装置、大容量の記憶装置等を備えていてもよいし、あるいは、着脱可能な可搬性の記憶媒体を利用することが可能なように構成されていてもよい。

また、携帯端末装置１は、操作部１３、表示部１４、撮像部１５、画像信号処理部１６、および、センサ群１７を備えている。

操作部１３は、操作者によって操作されるボタン類やキー、スイッチなどである。例えば、操作部１３は、携帯端末装置１の電源を投入する電源ボタンなどを備えている。また、操作部１３は、後述する表示部１４の表面に配置されるタッチパネルを備えており、操作者が表示部１４の画面（すなわちタッチパネル）に触れることにより、指示を入力することが可能となっている。

表示部１４は、操作者に対して各種の情報を表示する機能を有している。表示部１４としては、例えば、液晶ディスプレイや液晶パネル、ランプ、ＬＥＤなどが該当する。

撮像部１５は、詳細は図示しないが、レンズなどの光学素子と、ＣＣＤなどの光電変換素子とを備えている。撮像部１５は、レンズから入射した光をデジタル電気信号に変換して画像信号処理部１６に伝達する機能を有している。本実施の形態における撮像部１５は、例えば図１に示す位置に設けられており、表示部１４を注視（閲覧）している操作者の顔を、その撮像範囲に含むように構成されている。言い換えれば、本実施の形態における携帯端末装置１では、操作者が表示部１４を通常の姿勢で注視しているときに撮像される画像データ１６０には操作者の顔が被写体として撮像される。

なお、第１の実施の形態における撮像部１５は、市場に広く流通しているいわゆるデジタルカメラを構成しており、ある瞬間におけるカラー写真（映像）を撮像する機能を有しているが、本発明を実施するためには、カラー写真のように人間の目によって被写体を認識する画像を撮像する機能までは必要ない。すなわち、被写体と携帯端末装置１との相対的な距離や向きの変化を被写体から照射される光（可視光線とは限らない。）を捉えることにより検出できれば充分であり、例えば、赤外線カメラのようなものでもよい。

画像信号処理部１６は、撮像部１５から入力される画像を表現した電気信号を処理して、所定のフォーマットを有する画像データ１６０に変換するハードウェアである。すなわち、画像データ１６０は、直接的には画像信号処理部１６によって作成されるデータではあるが、撮像部１５によって撮像されたデータでもある。すなわち、携帯端末装置１では、撮像部１５および画像信号処理部１６が、周囲を撮像した画像データ１６０を取得する画像取得手段としての機能を有している。

なお、以下の説明において、画像データ１６０に含まれる被写体のうち、操作者以外の部分を「背景」と称する。すなわち、「背景」には、操作者以外の人物が含まれる場合もある。また、被写体における「操作者」とは、特に断らない限り、操作者本人の身体のみならず、操作者が身に付けている物体も含むものとして説明する。例えば、操作者が帽子を着用している場合には、当該帽子は被写体としての「操作者」であり、背景ではないものとする。

センサ群１７は、加速度センサや振動センサ、ジャイロセンサ、速度センサ等から構成されており、携帯端末装置１の動きを検出する検出装置群である。センサ群１７に含まれる各センサは、それぞれが測定した結果を、携帯端末装置１の動きを示す情報として出力する。センサ群１７から出力される情報は、特に、操作者が歩行中であるか否かを検出するために使用される。

なお、本実施の形態ではセンサ群１７として複数の検出装置から成る構成として説明したが、センサ群１７の代わりに、単体の検出装置のみを備える構成としてもよい。その場合、検出精度は低下するが、コストは抑制できる。また、本実施の形態においてセンサ群１７を構成する検出装置として列挙したセンサはあくまでも例示であって、これらのうちの全てを備えている必要はなく、また、これら以外のセンサを携帯端末装置１の動き（特に操作者の歩行動作を示す動き）を検出する検出装置として採用してもよい。

図３は、第１の実施の形態における携帯端末装置１が備える機能ブロックをデータの流れとともに示す図である。図３に示す判定部１００、検出部１０１、表示制御部１０２は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

判定部１００は、センサ群１７によって取得された測定データ１２０に基づいて、操作者が歩行中であるか否かを判定し、判定データ１２１を作成する。なお、加速度センサや振動センサといった検出装置（センサ群１７）からの出力（測定データ１２０）に基づいて、携帯端末装置１を所持している操作者が歩行しているか否かを判定する手法は、従来の技術を適宜適用可能であるため、詳細は省略する。

検出部１０１は、撮像部１５および画像信号処理部１６により取得された画像データ１６０に基づいて、表示部１４に表示されている画像と操作者の顔との相対的な位置の変化を検出する。検出された相対的な位置の変化は、検出部１０１によって変化データ１２２として作成される。なお、検出部１０１が表示部１４に表示されている画像と操作者の顔との相対的な位置の変化を検出する原理については後述する。

表示制御部１０２は、表示データ１２３を表示部１４の所定の表示位置に表示させる機能を有している。表示データ１２３とは、アプリケーションプログラムの一部として予め格納されている情報またはアプリケーション等によって作成される情報等であって、表示部１４に表示される画像を表現した情報である。表示データ１２３において、画像を表現した各ピクセル（画素）は、それぞれ表示部１４の画面における表示位置（以下、「標準表示位置」と称する。）が決められている。各ピクセルの標準表示位置は、アプリケーションが許可する限り、操作者が操作部１３等を操作することにより変更される場合もある。例えば、操作部１３が操作者によって操作されることにより、表示データ１２３に表現されている画像が表示部１４の画面上をスクロールしたり、スライドしたりする場合がある。

また、表示制御部１０２は、変化データ１２２を参照して、検出部１０１により検出された相対的な位置の変化を抑制するように、表示部１４に表示されている画像（表示データ１２３）の表示部１４における表示位置を制御する。すなわち、本実施の形態における表示制御部１０２は、本発明における表示補正手段に該当する。以下の説明では、表示制御部１０２が変化データ１２２に基づいて決定する表示データ１２３の表示位置を「補正表示位置」と称し、「標準表示位置」と区別する。

以上が、第１の実施の形態における携帯端末装置１の構成および機能の説明である。次に、携帯端末装置１において、操作者の歩行動作による手ぶれを補正する手ぶれ補正方法について説明する。

図４は、第１の実施の形態における携帯端末装置１の表示補正モードの動作を示す流れ図である。なお、表示補正モードとは、携帯端末装置１が操作者の歩行動作に応じて、表示データ１２３の標準表示位置を補正表示位置に補正して表示させる動作モードである。また、図４に示す各工程が開始されるまでに、携帯端末装置１において表示補正モードの開始が指示されているものとする。また、表示補正モードの開始指示は、例えば、操作者による直接の開始指示や、当該動作モードを利用するアプリケーションの起動等によって指示される。また、表示補正モードは、表示部１４における表示データ１２３の表示位置を制御する動作モードであるので、当然ながら表示部１４がアクティブの状態（何らかの表示データ１２３が表示されている状態）でのみ能動化される動作モードであるが、表示データ１２３を標準表示位置に表示させる工程等は図４において省略している。

表示補正モードが開始されると、携帯端末装置１は、測定タイミングが到来しているか（ステップＳ１）、撮像タイミングが到来しているか（ステップＳ３）、および、測定データ１２０が新たに作成されたか（ステップＳ５）を監視する状態となる。以下の説明では、この状態を「監視状態」と称する。

監視状態において、測定タイミングが到来すると（ステップＳ１においてＹｅｓ。）、センサ群１７が測定を行い（ステップＳ２）、測定データ１２０を作成する。測定タイミングは、予め設定された測定周期によって決定される。すなわち、携帯端末装置１における表示補正モードでは、測定周期ごとにセンサ群１７による測定処理（ステップＳ２）が発生し、測定データ１２０が作成される。なお、センサ群１７に含まれる各検出装置が必ずしも同時に測定しなければならないわけではない。

監視状態において、撮像タイミングが到来すると（ステップＳ３においてＹｅｓ。）、撮像部１５が撮像を行い（ステップＳ４）、画像信号処理部１６が画像データ１６０を作成する。撮像タイミングは、測定タイミングと同様に、予め設定された撮像周期によって決定される。すなわち、携帯端末装置１における表示補正モードでは、撮像周期ごとに撮像部１５および画像信号処理部１６による撮像処理（ステップＳ４）が発生し、画像データ１６０が作成される。

監視状態において、新しい測定データ１２０が作成されると（ステップＳ５においてＹｅｓ。）、新たに作成された測定データ１２０（必要に応じて過去の測定データ１２０も含む。）に基づいて、操作者が歩行中か否かを判定部１００が判定する（ステップＳ６）。ステップＳ６において判定部１００は、判定結果を示す判定データ１２１を作成する。

携帯端末装置１を携帯している操作者が歩行中であると判定されると（ステップＳ６においてＹｅｓ。）、検出部１０１が画像データ１６０に基づいて、表示部１４に表示されている表示データ１２３と当該操作者の顔との相対的な位置の変化を検出する（ステップＳ７）。すなわち、検出部１０１は、判定データ１２１を参照しつつ、当該判定データ１２１に「操作者が歩行中である」と示されている場合に、ステップＳ７を実行する。

ここで、表示部１４に表示されている表示データ１２３と操作者の顔との相対的な位置の変化を検出する原理について説明する。

携帯端末装置１において、表示部１４に表示されている表示データ１２３の標準表示位置は、表示部１４に対して決定されている。したがって、表示データ１２３の標準表示位置と表示部１４とは相対的な位置関係が固定されている。また、操作者が表示部１４を注視している間は、携帯端末装置１において表示部１４は固定されているので、携帯端末装置１と表示部１４との相対的な位置関係は固定されている。さらに、操作者が表示部１４を注視している間は、携帯端末装置１において撮像部１５の撮像範囲は固定されているので、携帯端末装置１と撮像部１５の撮像範囲との相対的な位置関係も固定されている。

したがって、結局、表示部１４に表示されている表示データ１２３と操作者の顔との相対的な位置の変化を検出するためには、撮像部１５の撮像範囲と操作者の顔との相対的な位置の変化を検出すればよいことになる。すなわち、撮像部１５の撮像範囲内の被写体を撮像した画像データ１６０において、被写体としての操作者の顔の位置の変化を検出すれば、表示部１４に表示されている表示データ１２３と操作者の顔との相対的な位置の変化を検出することができる。

検出部１０１は、撮像周期において連続する２つの画像データ１６０において、それぞれ操作者の顔を表現したピクセルを抽出し、当該２つの画像データ１６０における当該ピクセルの位置の変化を求める。画像データ１６０において、互いに直交するＸ軸およびＹ軸を定義すると、当該位置の変化は、Ｘ軸方向の変化「Δｘ_a」と、Ｙ軸方向の変化「Δｙ_a」として求まる。このときの「Δｘ_a」および「Δｙ_a」の単位は「画素」である。つまり、画像データ１６０において移動した画素数として求まる。

次に、検出部１０１は、「Δｘ_a」および「Δｙ_a」に基づいて、歩行中の手ぶれによる携帯端末装置１の実際の移動距離（Δｘ_LおよびΔｙ_L）を求める。これは変換倍率α₁［ｍ/画素］を用いて、それぞれ式１および式２で求まる。

Δｘ_L＝−α₁×Δｘ_a ・・・ 式１

Δｙ_L＝−α₁×Δｙ_a ・・・ 式２

ただし、変換倍率α₁は、操作者の顔を表現した画素が画像データ１６０において１画素分だけ移動したときに、携帯端末装置１の手ぶれによる移動距離をどの程度反映させているかを示す値であって、撮像部１５の撮像倍率や被写体（操作者の顔）と撮像部１５との距離Ｌによって変化する。ここで、撮像部１５の撮像倍率は既知であるが、厳密に言えば距離Ｌは未知数である。本実施の形態における携帯端末装置１では、距離Ｌは、人の腕の長さに応じて決まる定数（例えば２０数センチメートル程度と予想できる。）として変換倍率α₁を決定し、予め記憶している。ただし、距離Ｌを測距センサや３Ｄカメラなどによってその都度測定し、変換倍率α₁を求めてもよい。

検出部１０１は、式１および式２で求めた、歩行中の手ぶれによる携帯端末装置１の移動距離（Δｘ_LおよびΔｙ_L）に基づいて、変化データ１２２を作成する。すなわち、ステップＳ７において、（Δｘ_L，Δｙ_L）を示す変化データ１２２が検出部１０１によって作成される。

変化データ１２２が作成されると、表示制御部１０２は、検出部１０１により検出された相対的な位置の変化を抑制するように、表示部１４に表示されている表示データ１２３の表示部１４における表示位置を制御する（ステップＳ８）。より詳細には、表示制御部１０２は、現在の表示位置である（ｎ−１）回目の補正表示位置（Ｘ_(n-1)，Ｙ_(n-1)）と、新たに作成された変化データ１２２と、変換倍率βとに基づいて、式３および式４により、ｎ回目の補正表示位置（Ｘ_n，Ｙ_n）を決定する。

Ｘ_n＝Ｘ_(n-1)−β×Δｘ_L＝Ｘ_(n-1)＋α₁×β×Δｘ_a ・・・ 式３

Ｙ_n＝Ｙ_(n-1)−β×Δｙ_L＝Ｙ_(n-1)＋α₁×β×Δｙ_a ・・・ 式４

ただし、ｎは１以上の自然数であり、０回目の補正表示位置（Ｘ₀，Ｙ₀）とは、標準表示位置である。また、変換倍率βは、表示部１４において表示位置を１画素だけ移動させると実空間においてどれだけの距離が移動するのかに応じて決まる既知の定数であり、単位は［画素／ｍ］である。

ステップＳ８において、表示制御部１０２は、このようにして求めた補正表示位置（Ｘ_n，Ｙ_n）に表示データ１２３を表示するように、表示部１４を制御する。これにより、表示データ１２３の手ぶれによる移動距離が、表示位置の変更により相殺され、画面の揺れが抑制される。

以上のように、第１の実施の形態における携帯端末装置１は、表示データ１２３を表示する表示部１４と、操作者の顔を含む画像データ１６０を取得する撮像部１５および画像信号処理部１６と、取得された画像データ１６０に基づいて、表示部１４に表示されている表示データ１２３と当該操作者の顔との相対的な位置の変化を検出し変化データ１２２を作成する検出部１０１と、操作者が歩行中であるか否かを判定する判定部１００と、判定部１００により操作者が歩行中であると判定された場合に、検出部１０１により検出された相対的な位置の変化を抑制するように、表示部１４に表示されている表示データ１２３の表示部１４における表示位置を制御する表示制御部１０２とを備えることにより、歩行中の手ぶれを抑制した表示データ１２３を表示できる。

また、例えば、手ぶれによる変化量は、ある程度予測可能な量であるため、少なくとも手ぶれの方向が検出できれば、当該方向と逆方向に予測量分だけ表示データ１２３を移動させて表示することによってもある程度手ぶれによる画像の揺れを抑制できる。しかし、本実施の形態における検出部１０１は、相対的な位置の変化における変化量を検出することにより、手ぶれを正確に補正できる。

＜２． 第２の実施の形態＞
第１の実施の形態では、操作者の顔を撮像した画像データ１６０から、当該操作者の顔を表現した画素の動きにより、当該操作者の歩行による手ぶれを検出する例を説明した。しかし、操作者の顔のうち、眼球は、（相対的に）動く物体に対して反射的に追随するという特性がある。したがって、操作者の顔のうちの眼球の動きは、動く物体である画像（表示データ１２３）の動きを検出するための対象として特に有効である。

図５は、第２の実施の形態における携帯端末装置１ａが備える機能ブロックをデータの流れとともに示す図である。図５に示す検出部１０１ａは、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

第２の実施の形態における携帯端末装置１ａは、検出部１０１の代わりに、検出部１０１ａを備えている点が第１の実施の形態における携帯端末装置１と異なっている。以下では、第２の実施の形態における携帯端末装置１ａについて、第１の実施の形態における携帯端末装置１と同様の構成については同符号を付し、適宜説明を省略する。

第２の実施の形態における検出部１０１ａは、画像データ１６０における操作者の眼球の移動距離（瞳の移動距離）「Δｘ_b」および「Δｙ_b」に基づいて、歩行中の手ぶれによる携帯端末装置１の実際の移動距離（Δｘ_LおよびΔｙ_L）を求める。これは変換倍率α₂［ｍ/画素］を用いて、それぞれ式５および式６で求まる。

Δｘ_L＝α₂×Δｘ_b ・・・ 式５

Δｙ_L＝α₂×Δｙ_b ・・・ 式６

ただし、変換倍率α₂は、操作者の眼球を表現した画素が画像データ１６０において１画素分だけ移動したときに、携帯端末装置１の手ぶれによる移動距離をどの程度反映させるかを示す値であり、第１の実施の形態における変換倍率α₁と同様に未知数である。ただし、本実施の形態においても、第１の実施の形態と同様に、変換倍率α₂を定数として、予め記憶している。

検出部１０１ａは、式５および式６で求めた、歩行中の手ぶれによる携帯端末装置１の移動距離（Δｘ_LおよびΔｙ_L）に基づいて、変化データ１２２ａを作成する。

変化データ１２２ａが作成されると、表示制御部１０２は、検出部１０１ａにより検出された相対的な位置の変化を抑制するように、表示部１４に表示されている表示データ１２３の表示部１４における表示位置を制御する。より詳細には、表示制御部１０２は、現在の表示位置である（ｎ−１）回目の補正表示位置（Ｘ_(n-1)，Ｙ_(n-1)）と、新たに作成された変化データ１２２と、変換倍率βとに基づいて、式７および式８により、ｎ回目の補正表示位置（Ｘ_n，Ｙ_n）を決定する。

Ｘ_n＝Ｘ_(n-1)−β×Δｘ_L＝Ｘ_(n-1)−α₂×β×Δｘ_b ・・・ 式７

Ｙ_n＝Ｙ_(n-1)−β×Δｙ_L＝Ｙ_(n-1)−α₂×β×Δｙ_b ・・・ 式８

以上のように、第２の実施の形態における携帯端末装置１ａについても、第１の実施の形態における携帯端末装置１と同様に、歩行中の手ぶれを抑制した表示データ１２３を表示できる。

また、撮像部１５および画像信号処理部１６は、操作者の眼球を含む画像データ１６０を取得し、検出部１０１ａは、取得された画像データ１６０に基づいて、当該操作者の眼球の動きを検出することにより、表示部１４に表示されている表示データ１２３と当該操作者の顔との相対的な位置の変化を検出する。これにより、手ぶれを正確に補正できる。

＜３． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。例えば、図４に示すステップＳ２に続けて、ステップＳ６ないしＳ８を実行するように構成してもよい。

また、上記実施の形態における表示補正モードでは、操作者が歩行中であるか否かに関わらず、撮像部１５による撮像と、画像信号処理部１６による画像データ１６０の作成とが実行されると説明した。しかし、画像データ１６０の作成は、判定部１００によって操作者が歩行中であると判定されている期間中にのみ実行するように構成してもよい。

また、アプリケーションあるいは状況によっては、歩行中であった操作者が歩行動作を止めたときに（すなわち、ステップＳ６において再びＮｏと判定されるようになったときに）、表示制御部１０２は補正表示位置を標準表示位置に戻してもよい。

また、上記実施の形態に示した機能ブロックは、ＣＰＵ１０がプログラム１１０に従って動作することによりソフトウェア的に実現されると説明したが、これらの機能ブロックのうちの一部または全部が専用の電子回路によってハードウェア的に実現されていてもよい。

また、上記実施の形態では、画像データ１６０に対して特徴抽出を実行することにより、操作者の顔あるいは眼球を表現した部分を特定すると説明した。しかし、このような処理は画像データ１６０に対する特徴抽出以外の方法でも実現できる。例えば、ニューラルネットを用いて特定することも可能である。

また、上記実施の形態では、センサ群１７からの出力により操作者が歩行中か否かを判定すると説明した。しかし、例えば、画像データ１６０を解析して、歩行中に特有の被写体の動きを検出することにより、操作者の歩行動作を検出してもよい。すなわち、操作者が歩行しているか否かは、どのようにして検出してもよい。

また、表示制御部１０２は、手ぶれが生じているか否かに応じて、表示位置を制御すると説明したが、表示位置の制御とともに表示データ１２３を拡大して表示してもよい。これにより、画面の揺れが抑制されるだけでなく、表示データ１２３が大きく表示されるので、表示データ１２３がより見やすくなる。あるいは、手ぶれの程度（変化データ１２２の大きさ）に応じて、拡大するか否かをさらに判定してもよい。

１，１ａ 携帯端末装置
１０ ＣＰＵ
１００ 判定部
１０１，１０１ａ 検出部
１０２ 表示制御部（表示補正手段）
１１ ＲＯＭ
１１０ プログラム
１２ ＲＡＭ
１２０ 測定データ
１２１ 判定データ
１２２，１２２ａ 変化データ
１２３ 表示データ（画像）
１３ 操作部
１４ 表示部
１５ 撮像部
１６ 画像信号処理部
１６０ 画像データ
１７ センサ群

Claims (5)

1. 操作者によって操作される携帯端末装置であって、
   画像を表示する表示手段と、
   前記操作者の顔を含む画像データを取得する画像取得手段と、
   前記画像取得手段により取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する検出手段と、
   前記操作者が歩行中であるか否かを判定する判定手段と、
   前記判定手段により前記操作者が歩行中であると判定された場合に、前記検出手段により検出された相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する表示補正手段と、
   を備える携帯端末装置。
2. 請求項１に記載の携帯端末装置であって、
   前記画像取得手段は、前記操作者の眼球を含む画像データを取得し、
   前記検出手段は、前記画像取得手段により取得された画像データに基づいて、前記操作者の眼球の動きを検出することにより、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する携帯端末装置。
3. 請求項１または２に記載の携帯端末装置であって、
   前記検出手段は、前記相対的な位置の変化における変化量を検出する携帯端末装置。
4. コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
   画像を表示する表示手段と、
   操作者の顔を含む画像データを取得する画像取得手段と、
   前記画像取得手段により取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する検出手段と、
   前記操作者が歩行中であるか否かを判定する判定手段と、
   前記判定手段により前記操作者が歩行中であると判定された場合に、前記検出手段により検出された相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する表示補正手段と、
   を備える携帯端末装置として機能させるプログラム。
5. 携帯端末装置の状況を検知する手ぶれ補正方法であって、
   前記携帯端末装置の表示手段に画像を表示する工程と、
   前記携帯端末装置の操作者の顔を含む画像データを取得する工程と、
   取得された画像データに基づいて、前記表示手段に表示されている画像と前記操作者の顔との相対的な位置の変化を検出する工程と、
   前記操作者が歩行中であるか否かを判定する工程と、
   前記操作者が歩行中であると判定された場合に、検出された前記相対的な位置の変化を抑制するように、前記表示手段に表示されている画像の前記表示手段における表示位置を制御する工程と、
   を有する手ぶれ補正方法。

Images