JP5889995B1 - 情報処理端末、その制御方法およびアプリケーションプログラム - Google Patents

Abstract

【課題】情報処理端末の周囲に存在する物体を高い精度で検出すること。【解決手段】情報処理端末の周囲に存在する物体を高い精度で検出するための情報処理端末であって、デジタルコンパスと、デジタルコンパスの出力値を用いて、情報処理端末の周囲における磁性体の有無を検出する検出手段とを備えたことを特徴とする情報処理端末。【選択図】 図１

Description

本発明は、情報処理端末、その制御方法およびアプリケーションプログラムに関する。

上記技術分野において、特許文献１には、携帯装置自体の動きを検知するために携帯装置内に設けられたコンパスを利用する技術が開示されている。

特開２０１２−２５６３７８号公報 特開２０１４−１５４０６８号公報

しかしながら、上記文献１に記載の技術では、あくまでも、携帯装置自体がユーザによってどのように持たれているか、どちらに向いて置かれているか等を知ることができるだけであった。一方、情報処理端末周りの物体の検知には、主に情報処理端末に設けられたカメラのみが用いられており（特許文献２）、画像の処理に時間がかかるばかりか、撮影範囲が非常に狭い画角に限られるとう問題があり、検知の精度が十分ではなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理端末は、
デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末であって、
道具を用いて狙った場所に球を打つゲームを実行する実行手段と、
前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出手段と、
前記位置検出手段で検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御手段と、
をさらに備えた。

上記目的を達成するため、本発明に係る方法は、
デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末の制御方法であって、
道具を用いて狙った場所に球を打つゲームを実行する実行ステップと、
前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出ステップと、
前記位置検出ステップで検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御ステップと、
を含む。

上記目的を達成するため、本発明に係るアプリケーションプログラムは、
デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末で実行可能なアプリケーションプログラムであって、
道具を用いて狙った場所に球を打つゲームを実行する実行ステップと、
前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出ステップと、
前記位置検出ステップで検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御ステップと、
を前記情報処理端末に実行させる。

本発明によれば、情報処理端末の周囲に存在する物体を高い精度で検出することができる。

本発明の第１実施形態に係る情報処理端末の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の利用状況を示す図である。 本発明の第２実施形態に係る情報処理端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る情報処理端末に含まれるテーブルの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理端末で実行される処理の流れを説明するフローチャートである。 本発明の第２実施形態に係る情報処理端末のハードウェア構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての情報処理端末１００について、図１を用いて説明する。情報処理端末１００は、例えば、スマートフォンやスマートデバイスといった装置を含む。

図１に示すように、情報処理端末１００は、デジタルコンパス１０１と検出部１０２とを含む。デジタルコンパス１０１は、電子的に地磁気を検知するデバイスである。検出部１０２は、デジタルコンパス１０１の出力値を用いて、情報処理端末１００の周囲における磁性体１１０の有無を検出する。

以上の構成によれば、情報処理端末１００は、周囲にある磁性体の有無に基づいた動作を行なうことが可能となる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理端末について、図２Ａ〜図２Ｅを用いて説明する。図２Ａ〜図２Ｅは、本実施形態に係る情報処理端末の一例としてのスマートフォン２００またはスマートデバイス２７０の利用状況を説明するための図である。

図２Ａにおいて、スマートフォン２００は、自転車のフォーク２２１の下方部分に固定されている。また、前輪のいずれか１本のスポーク２２２には、磁性体２１０が取り付けられている。ここで磁性体２１０は、磁性を帯びている物質であれば、金属や電磁石などでもよく、その材質は問わないが、酸化鉄・酸化クロム・コバルト・フェライトなどを含む硬質磁性体（磁石）であることが望ましい。

スマートフォン２００に内蔵されたデジタルコンパス２０１は、その周囲に、磁性体２２２が存在することを検知することができる。具体的には、電子的に地磁気を検知する際のノイズとして、磁性体２２２から放出された磁気を検出する。検出部２０２は、デジタルコンパス２０１の出力値を用いて、情報処理端末２００の周囲における磁性体２１０の有無を検出する。

そして、検出部２０２の検出結果を用いることにより、スマートフォン２００にインストールされたアプリケーションが毎分のホイール回転数（ＲＰＭ）をカウントし、表示することができる。もちろん、そのホイール回転数（ＲＰＭ）とタイヤ径とから時速を算出したり、ホイール回転数の積算値とタイヤ径とを用いて相応距離を算出したりしてもよい。スマートフォン２００の向きを調整することにより、運転者２２３が視認可能に固定してもよい。

図２Ｂにおいて、スマートフォン２００は、例えば机の上に固定されている。その状態で、磁性体２３１、２３２が先端に取り付けられたスティック２３０を操作すると、デジタルコンパス２０１は磁性体２３１、２３２の位置を検知し、検出部２０２は、デジタルコンパス２０１の出力値の時間的な変化を用いて、磁性体２３１、２３２の動きを検出する。これにより、スティックがどの程度の速さでどの位置に振り下ろされたかを検知できる。

そして、検出部２０２の検出結果を用いることにより、スマートフォン２００にインストールされたドラムアプリケーションが、磁性体２３１、２３２の位置および動きに合わせた音声を出力させることができる。スマートフォン２００のタッチパネル上に、透明な柔らかい板を載せて、その板越しにスティック２３０の動きを見ることもできる。これにより、スマートフォン２００が破損するリスクを減らすことができる。

図２Ｃにおいて、スマートフォン２００は、例えば机の上に固定されている。その状態で、磁性体２４１が取り付けられた小さな球（または球が描かれた小さな円盤）２４０を操作すると、デジタルコンパス２０１は磁性体２４１の位置を検知し、検出部２０２は、デジタルコンパス２０１の出力値の時間的な変化を用いて、磁性体２４１の動きを検出する。これにより、球２４０がどの程度の速さでどの方向に動いたかを検知できる。

そして、検出部２０２の検出結果を用いることにより、スマートフォン２００にインストールされたサッカーや野球のゲームアプリケーションが、球２４０の位置および動きに合わせたゲーム展開、すなわち画像を表示させることができる。

図２Ｄにおいて、例えば医師などのユーザ２５０は、磁性体２６１が取り付けられた手袋２６０をはめた状態で、固定されたスマートデバイス２７０に相対する。この状態で、磁性体２６１が取り付けられた指先をスマートデバイス２７０付近で動かすと、デジタルコンパス２０１は磁性体２６１の位置を検知し、検出部２０２は、デジタルコンパス２０１の出力値の時間的な変化を用いて、磁性体２６１の動きを検出する。これにより、ユーザ２５０の指がどの位置にあり、どの程度の速さでどの方向に動いたかを検知できる。

そして、検出部２０２の検出結果を用いることにより、スマートデバイス２００にインストールされた各種アプリケーションは、ユーザ２５０の指によるジェスチャー（例えばタップ、ドラッグ、スクロールなど）に合わせて、スマートデバイス２００の画面を変化させることができる。この際、デジタルコンパス２０１は、スマートデバイス２７０の画面上以外の位置でも指先の磁性体２６１を検出できるため、ユーザは、非常に容易にスマートデバイス２７０の操作を行なうことができる。

例えば、磁性体２６１の近接を検知したことをシャッターのトリガーとするカメラアプリケーションを実行しておけば、指先やメスなどの金属製の道具を近づけるだけで、撮像をおこなうことができる。工事現場、化学実験用のラボ、半導体工場、食品工場、料理教室など、素手が使えない、手袋の着用が必要な環境においても、全く同様に、指先に磁性体を取り付けた手袋や、金属製の道具を用いて、スマートデバイスを操作することができる。メス、包丁、指輪などの金属製の道具をスマートデバイス２７０に近づけるだけで、タッチパネルに触らなくてもカメラアプリを用いて撮像を行なうことができる。

図２Ｅに示す例では、スマートフォン２００内のデジタルコンパスおよび検出部が、周辺における磁性体の有無を検出し、磁性体があると判断すると、スマートフォン２００に内蔵されたカメラのシャッターを切る。スマートフォン２００内にインストールされたビリヤードゲームのアプリケーションを実行した状態で、図２Ｅのように、球のそばにスマートフォン２００を置く。そして、スマートフォン２００のカメラの画角に球が入るように、スマートフォン２００を設置し、キュー２８１で球２８２を突けば、キュー２８１がスマートフォン２００から所定距離内に入ったことを検知して、カメラのシャッターをＯＮにして、球２８２の撮像を開始する。そして、アプリケーションで、映像（動画）を分析することにより、球２８２の回転、転がり方向を導き出し、ビリヤードゲーム内の球の動きを決定する。これにより、よりリアルなビリヤードゲームを行なうことができる。例えば、離れた位置にいるもの同士で仮想的にビリヤードの対戦を行なうことが可能になる。ビリヤード台において球を打つ方向のみスマートフォン２００を操作して決定し、球を打つ強さおよび回転の方向および強さについては、実際の球とキューを用いてシミュレートすることも可能である。

この技術については、サッカー、野球、ボーリング、ラクロス、ホッケー、ラグビー、アメフト、などといった様々な球技に応用することができる。特に、道具を用いて狙った場所に球を打つ球技、ゲームであれば、あらゆるものに応用可能である。

磁性体の検出をトリガーにして撮像、記憶、画像解析を開始して、玉の挙動を求めるので、画像処理を効率的に行なうことができ、ユーザの操作で撮像を開始する場合に比べて、記憶容量および処理速度の面で非常に有利になる。

図２Ｆにおいて、スマートデバイス２７０内のデジタルコンパスおよび検出部が、毛筆２９０の軸先に取り付けられた磁性体２９１の動きを検出する。スマートデバイス２７０に毛筆練習アプリケーションをインストールし、一般に市販されている本物の毛筆の軸先に磁性体を取り付けるだけで、本格的な毛筆練習を行なうことが可能となる。特に従来の毛筆練習アプリケーションでは不可能であった、実際の毛筆を用いた練習が可能となる。あらかじめ筆の穂２９２の長さや太さをアプリケーションに設定しておけば、軸先先端の位置（高さ方向および水平方向の位置）を検出して、よりリアルな太さの書を表示画面において毛先が当たった部分に描くことができる。毛先が当たる位置については、タッチパネル２７１での検出を利用してもよい。筆の運び、紙との距離などを検出できるので、今までのアプリケーションでは不可能であった、より現実的な練習を行なうことができる。

図３は、本実施形態に係る情報処理端末の内部構成を説明するための機能構成図である。表示の大きさおよび通信回線が異なるのみで、機能的には、スマートフォン２００とスマートデバイス２７０との違いはほぼないため、ここではスマートフォン２００についてのみ説明する。

スマートフォン２００は、デジタルコンパス２０１と検出部２０２と加速度センサ３０２とカメラ部３０３と撮像制御部３０４と表示部３０５と音声出力部３０６とＧＰＳ（Global Positioning System）３０７と、アプリケーション実行部３０８とを備えている。また、検出部２０２には、位置検出部３２１、計測部３２２、記憶部３２３および導出部３２４が含まれている。

デジタルコンパス２０１は、方位磁石に代わり電子的なセンサによって地磁気を検知しスマートフォン２００がどちらの方角を向いているのかを判定するためのものである。特に、ＧＰＳ３０７との組み合わせによって、スマートフォン２００のユーザの進行方向を判定し、現在位置の地図データを表示するのに利用される。デジタルコンパス２０１の出力値（Ｘ，Ｙ，Ｚ）は、デジタルコンパス２０１をとりまく磁気の大きさと方向を表わす。通常は、地磁気の大きさおよび向きを表わす値を出力するが、磁性体が近くに存在すると、その磁性体による磁気がノイズとして地磁気に混在する。

検出部２０２は、デジタルコンパス２０１の出力値を用いて、スマートフォン２００の周囲における磁性体の有無を検出する。検出部２０２は、さらに、デジタルコンパス２０１の出力値を用いて、スマートフォン２００の外部にある磁性体３１０の位置を検出する。検出部２０２は、磁性体の位置を検出する位置検出部３２１と、時間を計測する計測部３２２と、磁性体の位置の情報および計測部で計測した時間を逐次記憶する記憶部３２３と、記憶部に記憶された情報を用いて、磁性体３１０の動きを導出する導出部３２４とを含む。位置検出部３２１が検出した位置を記憶部３２３に時系列に記憶し、その位置の時間的変化から、導出部３２４が磁性体３１０の動き（軌跡）を検出する。検出部２０２は、デジタルコンパス２０１の出力値から、地磁気による出力値を減算することにより、上述したノイズのみを取り出し、周囲の磁性体の位置および方向を検知する。このノイズの出力値は、磁性体の種類および距離によって異なる。例えば検出外だと０、センサに最も接近すると、鉄で１０程度、ネオジウムで２００程度の出力値となる。３次元的な動きについては、Ｘ，Ｙ，Ｚの位置（磁気の大きさ0〜200程度）を時系列に記憶し、それらをつなげることで空間ベクトルを算出する。直線の動きの場合はＸ,Ｙ,Ｚの中から必要に応じた1つの位置の値のみを利用し、時間と位置（磁気の大きさ）から動きを検出する。より正確な位置を測定する場合には、あらかじめ測定したい磁性体の磁力と位置のデータを入力しておき、それらの値を用いてもよい。

加速度センサ３０２は、Ｘ軸・Ｙ軸・Ｚ軸の３方向の加速度を１つのデバイスで測定でき、シェイク動作などを検知できる。さらに、重力（静的加速度）の計測にも対応できる。

検出部２０２は、加速度センサ３０２およびデジタルコンパス２０１の出力値を用いてスマートフォン２００自体がどの方角および向きに向いているかを検出し、検出した方角および向きに基づいて、磁性体３１０の３次元的位置を補正する。

撮像制御部３０４は、磁性体３１０の有無に応じてカメラ部３０３における撮像を制御する。

表示部３０５は、タッチパネルディスプレイであり、デジタル画像を表示する液晶パネルのような表示装置とタッチパッドのような位置入力装置を組み合わせたデバイスである。音声出力部３０６は、スピーカーである。表示部３０５および音声出力部３０６は、アプリケーション実行部３０８で実行されたアプリケーションに応じた映像や音声を出力する。また、アプリケーションによっては、検出部２０２が検出した磁性体の動きまたはカメラ部３０３が撮像した物体の動きに応じて、画像を変化させる。

ＧＰＳ３０７は、人工衛星から受信した信号を利用してスマートフォン２００自身が地球上のどこにいるのかを割り出すシステムである。

アプリケーション実行部３０８は、スマートフォン２００にインストールされた各種のアプリケーションを実行する。例えば、カメラアプリケーションを実行した場合には、カメラ部３０３で撮像された映像中の物体の位置を検知することができる。

図示していないが、スマートフォン２００は、上記以外にも、周囲の温度を検出する温度センサ、端末の回転を検知するため角速度を検出するジャイロセンサ、周囲の照度を検出する照度センサ、気圧をモニタリングする気圧センサ、物体の接近を検知する近接センサ、湿度を検知する湿度センサ、回転ベクトルを検知する回転ベクトルセンサを備えてもよい。

また、複数のデジタルコンパスをスマートフォン２００に搭載し、それぞれのデジタルコンパスからの出力とドップラー効果とを考慮して、スマートフォン周囲の磁性体の移動速度および移動方向を検出してもよい。

図４は、記憶部３２３に記憶されるデータの内容を示すテーブル４００を表わしたものである。記憶部３２３は、テーブル４００において、時刻毎の磁性体の位置を記憶していく。これらの位置をつなげることにより、磁性体の動きをスムーズに捉えることができる。

図５は、本実施形態に係るスマートフォン２００またはスマートデバイス２７０で実行される処理の流れを示すフローチャートである。まず、ステップＳ５０１において、アプリケーション実行部３０８がアプリケーションを起動する。次にステップＳ５０２において、装置の周囲にある磁性体の有無、位置、または動きを検知するアプリケーションか否かを判定する。磁性体の有無、位置、または動きを検知するアプリケーションの場合には、ステップ５０３に進み、磁性体の位置の検知処理を行なう。具体的には、デジタルコンパス２０１の出力値（方位を示す地磁気データ）に混在するノイズ（磁界強度データ）のみを抽出して、そのノイズを分析することにより、磁性体の位置を検出する。

次にステップＳ５０４において、磁性体の動きまで検出必要があるか否かを判定する。磁性体の動きを検出する必要がある場合には、ステップＳ５０５に進み、磁性体の位置を時刻情報と共に記憶する。さらにステップＳ５０７では、時系列の磁性体の位置をつなげることで磁性体の動きを示すベクトルを生成する。

そしてステップＳ５０９では、磁性体の有無、位置、動きに合わせた表示画像、音声を出力する。

図６は、本実施形態に係るスマートフォン２００のハードウェア構成を示す図である。 スマートフォン２００は、ＣＰＵ（Central Processing Unit）６１０、ＲＯＭ(Read Only Memory)６２０、通信制御部６３０、ＲＡＭ（Random Access Memory）６４０、およびストレージ６５０を備えている。ＣＰＵ６１０は中央処理部であって、ストレージ６５０に記憶されたアプリケーション実行プログラム６５１を初めとする様々なプログラムを実行することによりスマートフォン２００全体を制御する。ＲＯＭ６２０は、リードオンリメモリであり、ＣＰＵ６１０が最初に実行すべきブートプログラムの他、各種パラメータ等を記憶している。通信制御部６３０は、ネットワークを介した他の装置との通信を制御する。不図示のクラウドサーバに対するデータの送信や、オンラインゲームの実行などに用いられる。また、ＲＡＭ６４０は、ランダムアクセスメモリであり、各種アプリケーション６５１の実行領域の他、磁性体の位置データ６４１、磁性体の動きデータ６４２、及びカメラ部３０３で撮像された画像データ６４３の一時保存領域を有する。

ストレージ６５０は、アプリケーション実行プログラム６５１および各種アプリケーション６５２を初めとする様々なプログラムおよびデータを記憶している。アプリケーション６５１は、磁性体検出モジュール、カメラ制御モジュール、映像解析モジュール、物体検出モジュール、表示更新モジュールなどを有しており、それぞれのモジュールを実行することにより、図３に示した各機能構成を実現する。

以上の構成により、図２Ａ〜図２Ｆに示したように、周囲にある磁性体の有無に基づいた各種の動作を行なうことが可能となる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (6)

1. デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末であって、
   道具を用いて狙った場所に球を打つゲームを実行する実行手段と、
   前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出手段と、
   前記位置検出手段で検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御手段と、
   をさらに備えた情報処理端末。
2. 前記ゲームは、ビリヤード、サッカー、野球、ボーリング、ラクロス、ホッケー、ラグビー、またはアメリカンフットボールに関するゲームであることを特徴とする請求項１に記載の情報処理端末。
3. デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末の制御方法であって、
   道具を用いて狙った場所に球を打つゲームを実行する実行ステップと、
   前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出ステップと、
   前記位置検出ステップで検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御ステップと、
   を含む、情報処理端末の制御方法。
4. 前記ゲームは、ビリヤード、サッカー、野球、ボーリング、ラクロス、ホッケー、ラグビー、またはアメリカンフットボールに関するゲームであることを特徴とする請求項１に記載の情報処理端末。
5. デジタルコンパス、撮像手段及び画像表示手段を備えた情報処理端末で実行可能なアプリケーションプログラムであって、
   道具を用いて狙った場所に球を打つゲームを実行する実行ステップと、
   前記デジタルコンパスの３次元強度出力値から地磁気による磁界強度を減算することにより、前記道具に取り付けられた磁性体の、前記情報処理端末の周囲における３次元空間座標での位置を検出する位置検出ステップと、
   前記位置検出ステップで検出した前記磁性体の位置に応じて、前記撮像手段による撮像を開始させ、撮像された画像を解析して、前記道具で打たれた球の挙動を算出し、前記ゲーム内での球の表示に反映させる制御ステップと、
   を前記情報処理端末に実行させるアプリケーションプログラム。
6. 前記ゲームは、ビリヤード、サッカー、野球、ボーリング、ラクロス、ホッケー、ラグビー、またはアメリカンフットボールに関するゲームであることを特徴とする請求項５に記載のアプリケーションプログラム。

Images