JP2014154055A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ユーザの操作のずれを垂直及び水平方向へ補正しつつ、斜め方向へもオブジェクトをスクロールできるようにすること。
【解決手段】ユーザが操作を行った操作角度を特定するとともに、当該特定された操作角度が複数の補正対象範囲の何れかに含まれる場合に、水平方向又は垂直方向をスクロール方向として決定し、当該特定された操作角度が、複数の補正対象範囲の何れにも含まれない場合に、斜め方向をスクロール方向として決定するスクロール方向制御部１２６と、決定されたスクロール方向に、表示部１３０に表示されているオブジェクトをスクロールさせる表示内容更新部１２７と、を備える。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

タッチパネルを備えたスマートフォン及びタブレットが普及し始め、ユーザが指先を使い、画面上に表示されているオブジェクトを操作する機会が増加している。また、タッチパネル以外の、指先を使う操作機器として、操作部には画面を表示しないタッチパッドもノートパソコン等に搭載されている。

さて、近年、放送分野におけるデジタル化の進展によりチャンネル数の非常に多いシステムが実現されており、電子番組表に表示されるチャンネル数も多くなっている。そのため、電子番組表のサイズが大きくなっている。

表示部の画面サイズは限られているため、電子番組表のサイズが大きくなると、電子番組表の一部しか表示できない。このため、画面に表示されていない番組を探す時、ユーザは所望の番組を画面に表示させるために画面をスクロールさせる操作を繰り返す必要がある。

指先を使う操作では、画面に表示されたオブジェクトをスクロールさせる際、操作回数を減らすために、操作の種類によりオブジェクトの移動量を変える方法がある。例えば、タッチパネルの表面から指を離さず撫でる（以下、ドラッグ操作と呼ぶ）場合は、指の移動量と同じ量だけオブジェクトも移動する。また、タッチパネルの表面を素早く指ではらう（以下、フリック操作と呼ぶ）場合は、実際の指の移動量よりも多くオブジェクトを移動させる。このように操作の種類によりオブジェクトの移動量を変えるユーザインターフェイスが多くの機器に搭載されている。

しかし、フリック操作をしている時のユーザの指の動きを観察すると、ユーザは垂直又は水平方向に画面上のオブジェクトを移動させようとしているにもかかわらず、指の動きが垂直又は水平方向ではなく、斜めに動いている場合が多い。即ち、寸分違わず垂直又は水平方向に指を動かせるユーザは稀である。
この問題に対し、特許文献１のように、ユーザの指が斜めに動いていても、垂直又は水平方向に補正する方法がある。また、そもそもスマートフォンやタブレットに搭載されているユーザインターフェイスでは垂直又は水平方向にしかオブジェクトが移動しないよう設計されていることも多い。

特開２０１１−７０５５４号公報（段落０００８）

しかし、ユーザが斜めにもオブジェクトを移動させたい場合、特許文献１の補正方法では、ユーザは垂直方向への移動作業と水平方向への移動作業を別々に行う必要がある。また、垂直及び水平方向にしかオブジェクトが移動しないよう設計されている場合でも同様である。

そこで、本発明は、ユーザの操作のずれを垂直及び水平方向へ補正しつつ、斜め方向へもオブジェクトをスクロールできるようにすることを目的とする。

本発明の一態様に係る画像処理装置は、予め定められた角度の範囲である補正対象範囲を複数示す補正情報を記憶するとともに、タッチ部にユーザが指を接触させた状態で当該指を動かした際に、予め定められた時間間隔で検出された、当該指が接触している位置に対応する座標を示す情報を含むユーザ操作情報を複数記憶する記憶部と、前記記憶部に記憶された複数のユーザ操作情報で示される複数の座標で特定される直線の、予め定められた座標系における一つの座標軸に対する角度を、ユーザが操作を行った操作角度として特定するとともに、当該特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れかに含まれる場合に、前記予め定められた座標系における水平方向又は垂直方向をスクロール方向として決定し、当該特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合に、前記予め定められた座標系の斜め方向をスクロール方向として決定するスクロール方向制御部と、前記スクロール方向制御部で決定されたスクロール方向に、表示部に表示されているオブジェクトをスクロールさせる表示内容更新部と、を備えることを特徴とする。

本発明の一態様に係る画像処理方法は、タッチ部にユーザが指を接触させた状態で当該指を動かした際に、予め定められた時間間隔で検出された、当該指が接触している位置に対応する座標を示す情報を含むユーザ操作情報を複数記憶する記憶過程と、前記記憶過程で記憶された複数のユーザ操作情報で示される複数の座標で特定される直線の、予め定められた座標系における一つの座標軸に対する角度を、ユーザが操作を行った操作角度として特定するとともに、当該特定された操作角度が、予め定められた角度の範囲である補正対象範囲を複数示す補正情報で示される当該複数の補正対象範囲の何れかに含まれる場合に、前記予め定められた座標系における水平方向又は垂直方向をスクロール方向として決定し、当該特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合に、前記予め定められた座標系の斜め方向をスクロール方向として決定するスクロール方向制御過程と、前記スクロール方向制御過程で決定されたスクロール方向に、表示部に表示されているオブジェクトをスクロールさせる表示内容更新過程と、を有することを特徴とする。

本発明の一態様によれば、ユーザの操作のずれを垂直及び水平方向へ補正しつつ、斜め方向へもオブジェクトをスクロールすることができる。

実施の形態１及び２に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態１において、ユーザがフリック操作をしたときの座標を説明するための概略図である。 実施の形態１において、ユーザが垂直の下方向にフリック操作をした時の一例を示す概略図である。 実施の形態１における補正対象範囲を示す概略図である。 実施の形態１において、ユーザがフリック操作を行った時の処理を概略的に示すフローチャートである。 実施の形態１における変形例に係る画像処理装置を示す概略図である。 実施の形態２において、ユーザがフリック操作を行った時の処理を概略的に示すフローチャートである。 実施の形態３に係る画像処理装置の構成を概略的に示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る画像処理装置１２０の構成を概略的に示すブロック図である。図１に示されている画像処理システム１００は、入力装置１１０と、実施の形態１に係る画像処理装置１２０とを備えている。なお、図１の括弧内の符号は、実施の形態２における構成である。

入力装置１１０は、ユーザ操作受付部１１１と、送信部１１２とを備える。
ユーザ操作受付部１１１は、ユーザによるタッチ操作の入力を受けるタッチ部（図２参照）を備え、そのタッチ部にユーザが指を接触させた状態でその指を動かした際に、その指が接触している位置を予め定められた時間間隔で検出し、検出された位置に対応する座標を示す情報を含むユーザ操作情報を生成する。例えば、ユーザ操作受付部１１１は、ユーザの指の状態（接触か非接触か）を示す情報と、ユーザの指の状態が接触ならば、タッチ部における指が触れている位置の座標を示す情報とを、一定時間ごとに取得して、取得された情報を含むユーザ操作情報を生成する。そして、ユーザ操作受付部１１１は、生成されたユーザ操作情報を送信部１１２に与える。
送信部１１２は、ユーザ操作受付部１１１から与えられたユーザ操作情報を、画像処理装置１２０に送信する。送信部１１２は、赤外線又は予め定められた周波数の電波等を用いた無線で送信することが望ましい。また、送信部１１２は、検出された座標の検出順序が分かるように、例えば、検出の時系列に従ってユーザ操作情報を送信することが望ましい。

画像処理装置１２０は、表示データ生成部１２１と、受信部１２２と、記憶部１２３と、表示制御部１２４と、ビデオメモリ１２８と、描画部１２９と、表示部１３０とを備える。

表示データ生成部１２１は、表示部１３０の画面に表示するオブジェクトの全体像の表示データを生成する。例えば、オブジェクトが電子番組表であれば、放送日、放送局及び番組情報から、表示データ生成部１２１は、電子番組表の表示データを生成する。表示データには、記憶部１２３に記憶されている素材データと、当該素材データを描画するための表示定義とが含まれる。例えば、素材データは、描画する画像を示すデータであり、フォントデータ及びアイコンデータを含む。表示定義は、表示データ生成部１２１が生成した全体像のうち、表示部１３０に表示する箇所を示す位置情報及び表示倍率等が含まれる。表示データ生成部１２１は、生成された表示データをビデオメモリ１２８に記憶させる。なお、オブジェクトの全体像が表示部１３０の表示可能領域よりも大きい場合は、表示部１３０には全体像のうちの一部が表示される。

受信部１２２は、入力装置１１０からユーザ操作情報を受け取る。そして、受信部１２２は、受け取られたユーザ操作情報を、記憶部１２３に与える。

記憶部１２３は、ユーザ操作の内容を判定するための条件を示す判定情報と、受信部１２２から受け取ったユーザ操作情報と、予め定められた角度の範囲である補正対象範囲を複数示す補正情報とを記憶する。補正対象範囲は、スクロール方向を垂直又は水平方向に補正するための角度の範囲を示す。なお、記憶部１２３は、受信部１２２から受け取ったユーザ操作情報については、例えば、座標の検出順序が分かるように、時系列に従って、複数回分記憶する。

表示制御部１２４は、記憶部１２３に記憶されたユーザ操作情報からユーザの操作内容を判定して、その内容がフリック操作である場合に、スクロール方向を決定して、表示部１３０に表示されているオブジェクトをスクロールさせる。表示制御部１２４は、操作内容判定部１２５と、スクロール方向制御部１２６と、表示内容更新部１２７とを備える。

操作内容判定部１２５は、記憶部１２３に記憶されているユーザ操作情報から、ユーザ操作の内容を判定する。そして、操作内容判定部１２５は、ユーザ操作の判定結果をスクロール方向制御部１２６に与える。例えば、操作内容判定部１２５は、指の状態が接触となった後、一定時間（予め定められた閾値時間）内に指の状態が非接触となり、かつ、その間の指の移動量が一定量（予め定められた第１の閾値量）より小さい場合は、ユーザ操作をタッチ操作と判定する。また、操作内容判定部１２５は、指の状態が接触であることが一定時間よりも続き、かつ、指の移動量が一定量（予め定められた第２の閾値量）より多い場合は、ユーザ操作をドラッグ操作と判定する。さらに、操作内容判定部１２５は、指の状態が接触となった後に非接触となり、かつ指の状態が非接触となる直前の指の移動量が一定量（予め定められた第３の閾値量）より大きい場合は、ユーザ操作をフリック操作と判定する。なお、指の移動量は、記憶部１２３に複数記憶されているユーザ操作情報で示される座標から算出される。ここで、指の状態が非接触となる直前の指の移動量は、指の状態が非接触となる前に最後に接触状態で検出された座標から予め定められた検出回数分前までに検出された座標までの間の座標間の距離を加算したものである。

スクロール方向制御部１２６は、操作内容判定部１２５が判定したユーザ操作の内容がフリック操作だった場合、記憶部１２３に保持されているユーザ操作情報からユーザの指の動きの角度（以下、操作角度という）を算出する。例えば、スクロール方向制御部１２６は、記憶部１２３に記憶されている複数のユーザ操作情報で示される複数の座標で特定される直線の、予め定められた座標系における一つの座標軸に対する角度を、ユーザが操作を行った操作角度として特定する。

算出方法は、例えば、指の状態が非接触となった時点より一つ前の時点の座標をＰ１（ｘ１，ｙ１）、座標Ｐ１より一つ前の時点の座標Ｐ２（ｘ２，ｙ２）として、これらの座標に基づいて、操作角度を算出する。

例えば、ユーザ操作受付部１１１のユーザの指が触れるタッチ部の面は、矩形である。この時、Ｐ２を原点とし、Ｐ２を通り、かつユーザ操作受付部１１１のユーザの指が触れる面の矩形の短辺に平行である直線をＸ軸、矩形の長辺に平行である直線をＹ軸として、ユーザ操作受付部１１１は、二次元の直交座標系を特定する。

Ｘ軸及びＹ軸については、長辺をＸ軸、短辺をＹ軸としてもよい。また、ユーザ操作受付部１１１のユーザの指が触れる面又は他の部分に、凸部や凹部の成形が施された方向がＸ軸及びＹ軸として定めてもよい。さらに、表示又は印刷等によりユーザに提示された方向がＸ軸及びＹ軸として定められていてもよい。

スクロール方向制御部１２６は、上記のように定められたＸＹ座標系において、Ｘ軸に対して、Ｐ２とＰ１とを結ぶ直線が有する角度を、操作角度θとして算出する。

なお、操作角度の算出には、Ｐ１、Ｐ２だけではなく、それより更に前の時点の座標が用いられてもよい。このような場合には、３つ以上の座標から選択された２点の座標を通る直線で、操作角度が求められてもよい。さらに、３つ以上の座標から算出される回帰直線で操作角度が求められてもよい。また、複数の座標が平準化されてもよい。

また、スクロール方向制御部１２６は、算出された操作角度θを、記憶部１２３に記憶されている補正情報で示される複数の補正対象範囲と照らし合わせる。そして、スクロール方向制御部１２６は、算出された操作角度θが、複数の補正対象範囲の何れかに含まれる場合には、垂直又は水平方向をスクロール方向として決定する。そして、スクロール方向制御部１２６は、垂直又は水平方向の角度を、スクロール方向として表示内容更新部１２７に与える。また、スクロール方向制御部１２６は、算出された操作角度θが、複数の補正対象範囲の何れにも含まれない場合には、斜め方向をスクロール方向として決定する。そして、スクロール方向制御部１２６は、算出された操作角度θを、スクロール方向として表示内容更新部１２７に与える。

ここで、補正対象範囲について図２〜図４を用いて説明する。
図２は、ユーザ操作受付部１１１のタッチ部１１１ａに、ユーザがフリック操作をしたときの座標を説明するための概略図である。ユーザの操作を受け付ける入力装置１１０は、ユーザ操作受付部１１１として、例えば、タッチパネルを搭載しているスマートフォン等である。

図２には、上述した座標Ｐ２が示されている。そして、座標Ｐ２を原点として、Ｘ軸及びＹ軸を備える直交座標系が示されている。また、図３には、座標Ｐ２とともに、フリック操作が終了し、ユーザの指が離れた時点より一つ前の時点の座標Ｐ１が示されている。

図３は、ユーザ操作受付部１１１のタッチ部１１１ａに、ユーザが垂直の下方向にフリック操作をした時の一例を示す概略図である。図３に示されているように、ユーザが垂直の下方向にフリック操作をしようとしても、ユーザが動かした指の方向と、垂直の下方向との間に、ずれが生じることが多い。
また、垂直の下方向に限らず、垂直及び水平の各方向（上下左右）それぞれの方向に向けたフリック操作でも、ユーザが意図した方向と、ユーザが実際に指を動かした方向とは、ずれが生じる場合が多い。ここで、ユーザの指の動きを観察した結果、画面上のオブジェクトを水平の右方向に操作しようとした時と、垂直の上方向に操作しようとした時と、水平の左方向に操作しようとした時と、垂直の下方向に操作しようとした時とでは、それぞれに、本来オブジェクトを動かしたい方向と実際に指が動いた方向とのずれる量が異なっていた。

そのため、本実施の形態では、図４に示されているように、垂直及び水平の各方向（上下左右）それぞれの方向に対して補正対象範囲が設定されている。座標Ｐ２を始点として、放射状に延びる２本以上の直線により形成される範囲により、補正対象範囲を設定することができる。座標Ｐ２の右方向に配置される第１補正対象範囲Ａは、座標Ｐ２を始点として右斜めの方向に延びる２本以上の直線により形成される。座標Ｐ２の上方向に配置される第２補正対象範囲Ｂは、座標Ｐ２を始点として上斜め方向に延びる２本以上の直線により形成される。座標Ｐ２の左方向に配置される第３補正対象範囲Ｃは、座標Ｐ２を始点として左斜め方向に延びる２本以上の直線により形成される。座標Ｐ２の下方向に配置される第４補正対象範囲Ｄは、座標Ｐ２を始点として下斜め方向に延びる２本以上の直線により形成される。なお、本実施の形態では、これらの補正対象範囲Ａ〜Ｄは、それぞれの補正対象範囲を形成する直線のＸ軸に対する角度で特定されている。これらの角度の値は、補正情報として、記憶部１２３に記憶されている。図４では、補正情報は、θ１、θ２、θ３、θ４、θ５、θ６、θ７及びθ８を示す情報である。第１補正対象範囲Ａは、θ１を成す直線とθ８を成す直線に挟まれた１８０°未満の範囲である。第２補正対象範囲Ｂは、θ２を成す直線とθ３を成す直線に挟まれた１８０°未満の範囲である。第３補正対象範囲Ｃは、θ４を成す直線とθ５を成す直線に挟まれた１８０°未満の範囲である。第４補正対象範囲Ｄはθ６を成す直線とθ７を成す直線に挟まれた１８０°未満の範囲である。例えば、図４では、スクロール方向制御部１２６は、操作角度θが第１補正対象範囲Ａ内にあれば、右水平方向へ、操作角度θが第２補正対象範囲Ｂ内にあれば、上垂直方向へ、操作角度θが第３補正対象範囲Ｃ内にあれば左水平方向へ、操作角度θが第４補正対象範囲Ｄ内にあれば下垂直方向へ、スクロール方向を決定する。

図１の説明に戻り、表示内容更新部１２７は、スクロール方向制御部１２６で決定されたスクロール方向に、表示部１３０に表示されているオブジェクトをスクロールさせる。例えば、表示内容更新部１２７は、スクロール方向制御部１２６から与えられたスクロール方向に基づいて、ビデオメモリ１２８に記憶されている表示データの内の表示定義において、表示部１３０に表示する箇所を示す位置情報を更新する。これにより、表示部１３０に表示されているオブジェクトを、スクロール方向制御部１２６から与えられたスクロール方向にスクロールさせることができる。

ビデオメモリ１２８は、表示データ生成部１２１で生成された表示データを記憶する。なお、この表示データについては、表示内容更新部１２７により更新される。

描画部１２９は、ビデオメモリ１２８に記憶されている表示データに含まれている素材データを、この表示データに含まれている表示定義に従って描画することで、表示部１３０に表示するオブジェクトを示すオブジェクトデータを生成する。なお、表示内容更新部１２７により表示定義が更新されることで、表示部１３０に表示されるオブジェクトの部分が変更される。

表示部１３０は、描画部１２９により生成されたオブジェクトデータに基づいて、オブジェクトを表示する。

図５は、実施の形態１において、ユーザがフリック操作を行った時の処理を概略的に示すフローチャートである。
入力装置１１０のユーザ操作受付部１１１は、タッチ部１１１ａに対するユーザの操作を検出して、ユーザの指の状態（接触か非接触か）と、ユーザの指の状態が接触ならば指が触れている位置の座標とを一定時間毎に取得して、これらを示すユーザ操作情報を生成する。そして、ユーザ操作受付部１１１は、生成されたユーザ操作情報を送信部１１２に与える。送信部１１２は、与えられたユーザ操作情報を、画像処理装置１２０の受信部１２２に送信する（Ｓ１０）。受信部１２２は、受信されたユーザ操作情報を記憶部１２３に送り、記憶部１２３は、そのユーザ操作情報を記憶する。

次に、操作内容判定部１２５は、記憶部１２３に記憶されている判定情報及びユーザ操作情報を参照することにより、ユーザ操作の内容を特定し、特定された内容がフリック操作であるか否かを判定する（Ｓ１１）。そして、特定された操作内容がフリック操作ではない場合（Ｓ１１：ＮＯ）、言い換えると、特定された操作内容がタッチ操作又はドラッグ操作である場合には、処理はステップＳ１２に進む。一方、特定された操作内容がフリック操作である場合（Ｓ１１：ＹＥＳ）には、操作内容判定部１２５は、フリック操作が行われたことをスクロール方向制御部１２６に通知して、処理はステップＳ１３に進む。

ステップＳ１２では、表示制御部１２４は、特定された操作内容に応じて、処理を実行する。

一方、ステップＳ１３では、スクロール方向制御部１２６は、記憶部１２３に記憶されているユーザ操作情報を参照することにより、フリック操作が行われた方向を示す操作角度を算出する。そして、スクロール方向制御部１２６は、記憶部１２３に記憶されている補正情報を参照することにより、算出された操作角度が、補正対象範囲に含まれるか否かを判定する（Ｓ１３）。算出された操作角度が補正対象範囲に含まれない場合（Ｓ１３：ＮＯ）には、処理はステップＳ１４に進む。算出された操作角度が補正対象範囲に含まれる場合（Ｓ１３：ＹＥＳ）には、処理はステップＳ１５に進む。

ステップＳ１４では、スクロール方向制御部１２６は、算出された操作角度をスクロール方向として表示内容更新部１２７に与える。表示内容更新部１２７は、与えられたスクロール方向にスクロールするように、ビデオメモリ１２８に記憶されている表示データの表示定義を更新する。そして、処理はステップＳ１６に進む。

ステップＳ１５では、スクロール方向制御部１２６は、算出された操作角度が含まれる補正対象範囲に応じて、操作角度を補正し、補正後の操作角度をスクロール方向として表示内容更新部１２７に与える。表示内容更新部１２７は、与えられたスクロール方向にスクロールするように、ビデオメモリ１２８に記憶されている表示データの表示定義を更新する。そして、処理はステップＳ１６に進む。

ステップＳ１６では、描画部１２９は、ビデオメモリ１２８に記憶されている表示定義に従って、表示部１３０に表示するオブジェクトのオブジェクトデータを生成する。そして、描画部１２９は、生成されたオブジェクトデータを表示部１３０に与える。表示部１３０は、描画部１２９が生成したオブジェクトデータに基づいて、オブジェクトを表示する。

以上のように構成された画像処理装置１２０では、スクロール方向制御部１２６で、ユーザ操作の操作角度を補正するので、ユーザが垂直又は水平方向にオブジェクトを移動させようとしているにもかかわらず、斜め方向へ指を動かしてしまった場合でも、ユーザの意図通りに、オブジェクトを移動させることができる。このため、ユーザに寸分違わず垂直又は水平に操作することを求めることなく、垂直又は水平へのオブジェクトの移動を容易に行うことができる。

実施の形態１では、画像処理装置１２０とは別の装置である入力装置１１０でユーザ操作の入力を受け付けているが、このような態様に限定されるものではない。例えば、図６に示されているように、画像処理装置１２０＃が、受信部１２２の代わりに、ユーザ操作の入力を受け付けるタッチ部を備えてユーザ操作情報を生成するユーザ操作受付部１３１を備えることにより、画像処理装置１２０＃において、ユーザ操作の入力を受け付けることができる。
ユーザ操作受付部１３１は、表示部１３０の表示画面をタッチパネルとすることにより実現されていてもよく、また、タッチパッドにより実現されていてもよい。なお、記憶部１２３は、ユーザ操作受付部１３１で生成されたユーザ操作情報を記憶する。

なお、本実施の形態は、ユーザが操作する入力装置１１０と、オブジェクトを表示する画像処理装置３２０とが離れているタッチパッド方式でより一層の効果を発揮するが、例えば、ユーザが操作する装置とオブジェクトを表示する装置とが一体化しているタッチパネル方式でも、ユーザの意識がオブジェクトに集中し、指の動かし方への注意が散漫になることは多いので、タッチパッド方式以外の装置でも有用である。

実施の形態２．
次に、実施の形態２について説明する。実施の形態１では、垂直及び水平方向への補正が行われたが、実施の形態２では、斜め方向でも補正を行う。
図１に示されているように、実施の形態２における画像処理システム２００は、入力装置１１０と、画像処理装置２２０とを備える。実施の形態２における画像処理システム２００は、画像処理装置２２０において、実施の形態１における画像処理システム１００と異なっている。

実施の形態２に係る画像処理装置２２０は、表示データ生成部１２１と、受信部１２２と、記憶部１２３と、表示制御部２２４と、ビデオメモリ１２８と、描画部１２９と、表示部１３０とを備える。実施の形態２に係る画像処理装置２２０は、表示制御部２２４において、実施の形態１に係る画像処理装置１２０と異なっている。

表示制御部２２４は、記憶部１２３に記憶されたユーザ操作情報からユーザの操作内容を判定して、その内容がフリック操作である場合に、スクロール方向を特定して、表示部１３０に表示されているオブジェクトをスクロールさせる。表示制御部２２４は、操作内容判定部１２５と、スクロール方向制御部２２６と、表示内容更新部１２７とを備える。実施の形態２における表示制御部２２４は、スクロール方向制御部２２６において、実施の形態１における表示制御部１２４と異なっている。

スクロール方向制御部２２６は、実施の形態１におけるスクロール方向制御部１２６と同様の処理を行う他、ユーザの指の動きの操作角度が、記憶部１２３に記憶されている補正情報で示されている垂直及び水平方向の補正対象範囲に含まれていない場合に、操作角度を斜め方向において補正する。

ユーザ操作受付部１１１で検出されるユーザの指の動きの方向は、図４に示されているように、例えば、操作角度θが、座標Ｐ２の下方の第４補正対象範囲Ｄに含まれている場合には、下垂直方向に補正される。このため、ユーザが第４補正対象範囲Ｄに含まれる斜めの方向に、スクロール操作を行いたい場合でも、下垂直方向にしかスクロールさせることができない。
このため、実施の形態２におけるスクロール方向制御部２２６は、補正対象範囲の方向にも、スクロール操作を行うことができるように、斜めの方向へのスクロールと判断される操作角度を補正して、補正後の操作角度が補正対象範囲に含まれるようにする。

例えば、スクロール方向制御部２２６は、操作角度θが、図４に示されている補正対象範囲Ａ〜Ｄの何れにも含まれない場合に、下記の（１）〜（４）式を用いて、操作角度θを補正操作角度Θに補正する。
θ１＜θ＜θ２の時、Θ＝９０°×（θ−θ１）÷（θ２−θ１） （１）
θ３＜θ＜θ４の時、Θ＝９０°×（θ−θ３）÷（θ４−θ３）＋９０° （２）
θ５＜θ＜θ６の時、Θ＝９０°×（θ−θ５）÷（θ６−θ５）＋１８０° （３）
θ７＜θ＜θ８の時、Θ＝９０°×（θ−θ７）÷（θ８−θ７）＋２７０° （４）
ここで、（１）式〜（４）式の関数は、値域が定義域よりも広く、かつ、値域が定義域を含む範囲とする関数である。
なお、この補正方法を採用する場合、第１補正対象範囲Ａが０°を含み、第２補正対象範囲Ｂが９０°を含み、第３補正対象範囲Ｃが１８０°を含み、及び、第４補正対象範囲Ｄが２７０°を含むことが前提条件となる。

（１）式の関数により、操作角度θが、第１補正対象範囲Ａと第２補正対象範囲Ｂとの間に含まれる場合には、補正後の操作角度Θの値域が、０°以上、９０°以下の範囲となる。
また、（２）式の関数により、操作角度θが、第２補正対象範囲Ｂと第３補正対象範囲Ｃとの間に含まれる場合には、補正後の操作角度Θの値域が、９０°以上、１８０°以下の範囲となる。
さらに、（３）式の関数により、操作角度θが、第３補正対象範囲Ｃと第４補正対象範囲Ｄとの間に含まれる場合には、補正後の操作角度Θの値域が、１８０°以上、２７０°以下の範囲となる。
さらにまた、操作角度θが、第４補正対象範囲Ｄと第１補正対象範囲Ａとの間に含まれる場合には、補正後の操作角度Θの値域が、２７０°以上、３６０°以下の範囲となる。

図７は、実施の形態２において、ユーザがフリック操作を行った時の処理を概略的に示すフローチャートである。なお、図７に示されているフローの処理において、図５に示されているフローの処理と同様の処理については、図５と同じ符号が付されている。
図７に示されているステップＳ１０〜Ｓ１３の処理は、図５に示されているステップＳ１０〜Ｓ１３の処理と同様である。但し、ステップＳ１３で、算出された操作角度が補正対象範囲に含まれない場合（Ｓ１３：ＮＯ）には、処理はステップＳ２４に進む。

ステップＳ２４では、スクロール方向制御部２２６は、算出された操作角度が含まれる範囲に応じて、上記（１）式〜（４）式を選択して、操作角度θから補正操作角度Θを算出する。そして、スクロール方向制御部２２６は、算出された補正操作角度Θをスクロール方向として表示内容更新部１２７に与える。表示内容更新部１２７は、与えられたスクロール方向にスクロールするように、ビデオメモリ１２８に記憶されている表示データの表示定義を更新する。そして、処理はステップＳ１６に進む。

なお、図７のステップＳ１５及びＳ１６の処理は、図５のステップＳ１５及びＳ１６の処理と同様である。

以上のように、実施の形態２に係る画像処理装置２２０によれば、垂直水平補正と斜め方向補正を併用することで、垂直水平方向への操作性を損なうことなく、全ての方向へオブジェクトを移動させることが可能になるという効果がある。

実施の形態３．
図８は、実施の形態３に係る画像処理装置３２０の構成を概略的に示すブロック図である。図８に示されている画像処理システム３００は、入力装置１１０と、実施の形態３に係る画像処理装置３２０とを備えている。入力装置１１０については、実施の形態１と同様である。

図８に示されているように、実施の形態３に係る画像処理装置２２０は、表示データ生成部１２１と、受信部１２２と、記憶部１２３と、表示制御部３２４と、ビデオメモリ１２８と、描画部１２９と、表示部１３０と、ユーザプロファイル記憶部３３２とを備える。実施の形態３に係る画像処理装置３２０は、表示制御部３２４での処理の点及びユーザプロファイル記憶部３３２がさらに備えられている点において、実施の形態１に係る画像処理装置１２０と異なっている。

ユーザプロファイル記憶部３３２は、ユーザの特性と、当該特性に応じて操作角度を補正するための補正方法とを示す情報とを複数含むユーザプロファイル情報を記憶する。
例えば、ユーザプロファイル情報は、右利きユーザ向けの補正方法を示す情報と、左利きユーザ向けの補正方法を示す情報と、ユーザの利き手を示す情報とを含む。ユーザの利き手の情報は、ユーザ自身が、例えば、入力装置１１０を用いて右利きか左利きかを選択することにより、ユーザプロファイル情報に登録し、又は、ユーザプロファイル情報を変更することができる。

なお、ユーザの特性は、上記の他に、操作する機器を持つ手と、指で操作する手とが別の両手操作か、操作する機器を持つ手の指で操作する片手操作かという操作方法についての情報であってもよい。また、ユーザの特性は、ユーザの手の大きさ又は指の長さ、ユーザが指を動かす速度、ユーザが指を動かす精度等であってもよい。ユーザプロファイル情報には、これらの特性に応じた補正方法を示す情報が含まれている。

また、例えば、ユーザが垂直及び水平方向へオブジェクトを移動させようと操作した時のデータからユーザ個人のための補正方法の情報を求め、ユーザプロファイル記憶部３３２に保持し、スクロール方向制御部３２６が操作角度を算出する時に使用してもよい。例えば、スクロール方向制御部３２６は、ユーザ操作受付部１１１又は表示部１３０に「手を垂直方向にまっすぐに動かしてください」等の表示を行って、ユーザが操作した方向と垂直方向との間の角度を算出して、操作角度を算出された角度で補正する。具体的には、ユーザが操作した方向が垂直方向に対して、右に５°ずれている場合には、スクロール方向制御部３２６は、ユーザ操作情報から算出された操作角度θから５°減算すればよい。一方、左に５°ずれている場合には、スクロール方向制御部３２６は、ユーザ操作情報から算出された操作角度θに５°加算すればよい。

表示制御部３２４は、記憶部３２３に記憶されたユーザ操作情報からユーザの操作内容を判定して、その内容がフリック操作である場合に、スクロール方向を特定して、表示部１３０に表示されているオブジェクトをスクロールさせる。表示制御部３２４は、操作内容判定部１２５と、スクロール方向制御部３２６と、表示内容更新部１２７とを備える。実施の形態３における表示制御部３２４は、スクロール方向制御部３２６において、実施の形態１における表示制御部１２４と異なっている。

スクロール方向制御部３２６は、操作内容判定部１２５が判定したユーザ操作の内容がフリック操作だった場合、記憶部１２３に保持されているユーザ操作情報及びユーザプロファイル記憶部３３２に記憶されているユーザプロファイル情報からユーザの指の動きの操作角度を算出する。例えば、スクロール方向制御部３２６は、実施の形態１と同様に、座標Ｐ１及び座標Ｐ２から操作角度θを算出するが、ユーザプロファイル情報からユーザの特性に応じて選択された補正方法で、この操作角度θを補正する。
そして、スクロール方向制御部３２６は、算出された補正後の操作角度と、記憶部１２３に記憶されている補正情報で示される補正対象範囲とを照らし合わせる。
なお、スクロール方向制御部３２６は、実施の形態２と同様に、斜め方向の補正を行ってもよい。このような場合にも、スクロール方向制御部３２６は、選択された補正方法で補正された後の操作角度で、斜め方向の補正を行うことが望ましい。

以上のように、実施の形態３に係る画像処理装置３２０によれば、ユーザの特徴、ユーザの操作の癖等のユーザの特性に合わせて、スクロール方向制御部３２６で算出される操作角度が補正されるため、ユーザが垂直又は水平方向にオブジェクトを移動させようとしているにもかかわらず、斜め方向へ指を動かしてしまった場合でも、ユーザの意図通りにオブジェクトを移動させることができる。このため、ユーザに寸分違わず垂直又は水平に操作することを求めることなく、垂直又は水平へのオブジェクト移動を行うことができる。

なお、実施の形態３でも、図６に示されている画像処理装置１２０＃と同様に、画像処理装置３２０が、受信部１２２の代わりに、ユーザ操作の入力を受け付けるタッチ部を備えてユーザ操作情報を生成するユーザ操作受付部１３１を備えることにより、画像処理装置３２０において、ユーザ操作の入力を受け付けることができる。

以上に記載された画像処理装置１２０、２２０、３２０は、例えば、表示部１３０を備える装置であれば、デジタル放送受信装置、カーナビゲーションシステム等どのような装置であってもよい。さらに、ＢＤ、ＤＶＤ又はＨＤ等の記憶媒体に記憶されている映像を再生する再生装置、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）等のように、表示部１３０を備えない装置であってもよい。

１００，２００，３００ 画像処理システム、 １１０ 入力装置、 １１１，１３１ ユーザ操作受付部、 １１２ 送信部、 １２０，１２０＃，２２０，３２０ 画像処理装置、 １２１ 表示データ生成部、 １２２ 受信部、 １２３ 記憶部、 １２４，２２４，３２４ 表示制御部、 １２５ 操作内容判定部、 １２６，２２６，３２６ スクロール方向制御部、 １２７ 表示内容更新部、 １２８ ビデオメモリ、 １２９ 描画部、 １３０ 表示部、 ３３２ ユーザプロファイル記憶部。

Claims (22)

1. 予め定められた角度の範囲である補正対象範囲を複数示す補正情報を記憶するとともに、タッチ部にユーザが指を接触させた状態で当該指を動かした際に、予め定められた時間間隔で検出された、当該指が接触している位置に対応する座標を示す情報を含むユーザ操作情報を複数記憶する記憶部と、
   前記記憶部に記憶された複数のユーザ操作情報で示される複数の座標で特定される直線の、予め定められた座標系における一つの座標軸に対する角度を、ユーザが操作を行った操作角度として特定するとともに、当該特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れかに含まれる場合に、前記予め定められた座標系における水平方向又は垂直方向をスクロール方向として決定し、当該特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合に、前記予め定められた座標系の斜め方向をスクロール方向として決定するスクロール方向制御部と、
   前記スクロール方向制御部で決定されたスクロール方向に、表示部に表示されているオブジェクトをスクロールさせる表示内容更新部と、を備えること
   を特徴とする画像処理装置。
2. 前記記憶部に記憶されている補正情報は、前記予め定められた座標系の右水平方向に対応する角度を含む第１補正対象範囲、前記予め定められた座標系の上垂直方向に対応する角度を含む第２補正対象範囲、前記予め定められた座標系の左水平方向に対応する角度を含む第３補正対象範囲、前記予め定められた座標系の下垂直方向に対応する角度を含む第４補正対象範囲を示し、
   前記スクロール方向制御部は、前記特定された操作角度が前記第１補正対象範囲に含まれる場合には、前記予め定められた座標系の右水平方向をスクロール方向として決定し、前記特定された操作角度が前記第２補正対象範囲に含まれる場合には、前記予め定められた座標系の上垂直方向をスクロール方向として決定し、前記特定された操作角度が前記第３補正対象範囲に含まれる場合には、前記予め定められた座標系の左水平方向に対応する角度をスクロール方向として決定し、前記特定された操作角度が前記第４補正対象範囲に含まれる場合には、前記予め定められた座標系の下垂直方向をスクロール方向として決定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記スクロール方向制御部は、前記特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、前記予め定められた座標系において、前記特定された操作角度で示される方向をスクロール方向として決定すること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記スクロール方向制御部は、前記特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、値域が定義域よりも広く、かつ、当該値域が当該定義域を含む範囲となる関数を用いて、前記特定された操作角度を補正し、当該補正された操作角度で示される方向をスクロール方向として決定すること
   を特徴とする請求項１又は２に記載の画像処理装置。
5. 前記スクロール方向制御部は、前記特定された操作角度が、前記記憶部に記憶されている補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、値域が定義域よりも広く、かつ、当該値域が当該定義域を含む範囲となる関数を用いて、前記特定された操作角度を補正し、当該補正された操作角度で示される方向をスクロール方向として決定し、
   前記関数は、
   前記特定された操作角度が、前記第１補正対象範囲と前記第２補正対象範囲との間に含まれる場合には、前記値域が、０°以上、９０°以下となるものであり、
   前記特定された操作角度が、前記第２補正対象範囲と前記第３補正対象範囲との間に含まれる場合には、前記値域が、９０°以上、１８０°以下となるものであり、
   前記特定された操作角度が、前記第３補正対象範囲と前記第４補正対象範囲との間に含まれる場合には、前記値域が、１８０°以上、２７０°以下となるものであり、
   前記特定された操作角度が、前記第４補正対象範囲と前記第１補正対象範囲との間に含まれる場合には、前記値域が、２７０°以上、３６０°以下となるものであること
   を特徴とする請求項２に記載の画像処理装置。
6. ユーザの特性に応じて操作角度を補正するための補正方法を示す情報を複数含むユーザプロファイル情報を記憶するユーザプロファイル記憶部をさらに備え、
   前記スクロール方向制御部は、前記ユーザプロファイル記憶部に記憶されているユーザプロファイル情報から、ユーザの特性に応じて、一の補正方法を選択し、当該選択された一の補正方法を用いて、前記特定された操作角度を補正して、当該補正された操作角度が前記記憶部に記憶されている補正情報で示される複数の補正対象範囲に含まれるか否かを判断すること
   を特徴とする請求項１から５の何れか一項に記載の画像処理装置。
7. 前記予め定められた座標系は、前記記憶部に記憶された複数のユーザ操作情報で示される複数の座標に含まれる一の座標を原点とする二次元の直交座標系であること
   を特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 前記一の座標は、前記タッチ部にユーザが指を接触させた状態で当該指を動かすことで、予め定められた操作を行った際に、最後から２番目に検出された座標であること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記予め定められた操作は、前記タッチ部からユーザの指が非接触となる直前の当該指の移動量が、予め定められた移動量よりも大きい操作であること
   を特徴とする請求項８に記載の画像処理装置。
10. 前記タッチ部を有し、前記ユーザ操作情報を生成するユーザ操作受付部、及び、前記ユーザ操作受付部で生成された前記ユーザ操作情報を送信する送信部、を備える入力装置から、前記ユーザ操作情報を受信する受信部をさらに備え、
    前記記憶部は、前記受信部で受信された前記ユーザ操作情報を記憶すること
    を特徴とする請求項１から９の何れか一項に記載の画像処理装置。
11. 前記タッチ部を有し、前記ユーザ操作情報を生成するユーザ操作受付部をさらに備え、
    前記記憶部は、前記ユーザ操作受付部で生成された前記ユーザ操作情報を記憶すること
    を特徴とする請求項１から９の何れか一項に記載の画像処理装置。
12. タッチ部にユーザが指を接触させた状態で当該指を動かした際に、予め定められた時間間隔で検出された、当該指が接触している位置に対応する座標を示す情報を含むユーザ操作情報を複数記憶する記憶過程と、
    前記記憶過程で記憶された複数のユーザ操作情報で示される複数の座標で特定される直線の、予め定められた座標系における一つの座標軸に対する角度を、ユーザが操作を行った操作角度として特定するとともに、当該特定された操作角度が、予め定められた角度の範囲である補正対象範囲を複数示す補正情報で示される当該複数の補正対象範囲の何れかに含まれる場合に、前記予め定められた座標系における水平方向又は垂直方向をスクロール方向として決定し、当該特定された操作角度が、前記補正情報で示される複数の補正対象範囲の何れにも含まれない場合に、前記予め定められた座標系の斜め方向をスクロール方向として決定するスクロール方向制御過程と、
    前記スクロール方向制御過程で決定されたスクロール方向に、表示部に表示されているオブジェクトをスクロールさせる表示内容更新過程と、を有すること
    を特徴とする画像処理方法。
13. 前記補正情報は、前記予め定められた座標系の右水平方向に対応する角度を含む第１補正対象範囲、前記予め定められた座標系の上垂直方向に対応する角度を含む第２補正対象範囲、前記予め定められた座標系の左水平方向に対応する角度を含む第３補正対象範囲、前記予め定められた座標系の下垂直方向に対応する角度を含む第４補正対象範囲を示し、
    前記スクロール方向制御過程は、前記特定された操作角度が前記第１補正対象範囲に含まれる場合には、前記予め定められた座標系の右水平方向をスクロール方向として決定し、前記特定された操作角度が前記第２補正対象範囲に含まれる場合には、前記予め定められた座標系の上垂直方向をスクロール方向として決定し、前記特定された操作角度が前記第３補正対象範囲に含まれる場合には、前記予め定められた座標系の左水平方向に対応する角度をスクロール方向として決定し、前記特定された操作角度が前記第４補正対象範囲に含まれる場合には、前記予め定められた座標系の下垂直方向をスクロール方向として決定すること
    を特徴とする請求項１２に記載の画像処理方法。
14. 前記スクロール方向制御方法は、前記特定された操作角度が、前記補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、前記予め定められた座標系において、前記特定された操作角度で示される方向をスクロール方向として決定すること
    を特徴とする請求項１２又は１３に記載の画像処理方法。
15. 前記スクロール方向制御過程は、前記特定された操作角度が、前記補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、値域が定義域よりも広く、かつ、当該値域が当該定義域を含む範囲となる関数を用いて、前記特定された操作角度を補正し、当該補正された操作角度で示される方向をスクロール方向として決定すること
    を特徴とする請求項１２又は１３に記載の画像処理方法。
16. 前記スクロール方向制御過程は、前記特定された操作角度が、前記補正情報で示される複数の補正対象範囲の何れにも含まれない場合には、値域が定義域よりも広く、かつ、当該値域が当該定義域を含む範囲となる関数を用いて、前記特定された操作角度を補正し、当該補正された操作角度で示される方向をスクロール方向として決定し、
    前記関数は、
    前記特定された操作角度が、前記第１補正対象範囲と前記第２補正対象範囲との間に含まれる場合には、前記値域が、０°以上、９０°以下となるものであり、
    前記特定された操作角度が、前記第２補正対象範囲と前記第３補正対象範囲との間に含まれる場合には、前記値域が、９０°以上、１８０°以下となるものであり、
    前記特定された操作角度が、前記第３補正対象範囲と前記第４補正対象範囲との間に含まれる場合には、前記値域が、１８０°以上、２７０°以下となるものであり、
    前記特定された操作角度が、前記第４補正対象範囲と前記第１補正対象範囲との間に含まれる場合には、前記値域が、２７０°以上、３６０°以下となるものであること
    を特徴とする請求項１３に記載の画像処理方法。
17. 前記スクロール方向制御過程は、ユーザの特性に応じて操作角度を補正するための補正方法を示す情報を複数含むユーザプロファイル情報から、ユーザの特性に応じて一の補正方法を選択し、当該選択された一の補正方法を用いて、前記特定された操作角度を補正して、当該補正された操作角度が前記補正情報で示される複数の補正対象範囲に含まれるか否かを判断すること
    を特徴とする請求項１２から１６の何れか一項に記載の画像処理方法。
18. 前記予め定められた座標系は、前記記憶過程で記憶された複数のユーザ操作情報で示される複数の座標に含まれる一の座標を原点とする二次元の直交座標系であること
    を特徴とする請求項１２から１７の何れか一項に記載の画像処理方法。
19. 前記一の座標は、前記タッチ部にユーザが指を接触させた状態で当該指を動かすことで、予め定められた操作を行った際に、最後から２番目に検出された座標であること
    を特徴とする請求項１８に記載の画像処理方法。
20. 前記予め定められた操作は、前記タッチ部からユーザの指が非接触となる直前の当該指の移動量が、予め定められた移動量よりも大きい操作であること
    を特徴とする請求項１９に記載の画像処理方法。
21. 前記タッチ部を有し、前記ユーザ操作情報を生成するユーザ操作受付部、及び、前記ユーザ操作受付部で生成された前記ユーザ操作情報を送信する送信部、を備える入力装置から、前記ユーザ操作情報を受信する受信過程をさらに有し、
    前記記憶過程は、前記受信過程で受信された前記ユーザ操作情報を記憶する過程であること
    を特徴とする請求項１２から２０の何れか一項に記載の画像処理方法。
22. 前記ユーザ操作情報を生成するユーザ操作受付過程をさらに備え、
    前記記憶過程は、前記ユーザ操作受付過程で生成された前記ユーザ操作情報を記憶する過程であること
    を特徴とする請求項１２から２０の何れか一項に記載の画像処理方法。

Images