JP4014521B2

JP4014521B2 - Mobile terminal and computer software

Info

Publication number: JP4014521B2
Application number: JP2003066009A
Authority: JP
Inventors: 正裕山崎; 英樹桑本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2007-11-28
Anticipated expiration: 2023-03-12
Also published as: JP2004274653A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動端末及びコンピュータ・ソフトウエアであり、携帯電話機やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）などの移動端末に係り、特に、自分と通話相手の、両移動端末の位置情報と向いている方向を示す方位情報を取得し、表示部に実際の通話相手が所在する方向に相手の映像を表示し、また、その映像の近くに矢印などを付加して相手の向いている方向も示す技術に関する。
【０００２】
【従来の技術】
知らない土地や混雑している場所において、待ち合わせ相手を簡単に探す方法として、ＧＰＳ等の衛星から自己の現在位置情報を、位置情報サービスセンターから相手の位置情報を、地図情報データベースから地図情報を獲得し、両者の位置情報と地図情報を表示部に表示するという携帯通信機器が提案されている（例えば、特許文献１参照）。この他にも、位置情報、地図情報に加えて、撮像部によって撮影した周辺の風景画像をメールに添付して相手に送る携帯通信機器が提案されている（例えば、特許文献２参照）。
【０００３】
また、特別な電波発信機や受信機を使うことなく、被検索者を検索者が探し出すシステムを構築する方法として、検索者と被検索者の相対位置情報を検索者に提供する位置情報通知装置が提案されている（例えば、特許文献３参照）。この装置は、検索者と被検索者との相対座標、方位、距離などを液晶表示装置に表示することができる。
【０００４】
携帯端末に撮像部を設け、カメラによって撮影した画像を表示部に表示したり、表示している画像を携帯電話の回線を使って送信し、相手の携帯端末に表示することは、ＩＴＵ−ＴＨ．３２３等の規格で標準化されている周知の技術である。また、携帯端末に地磁気センサーを内蔵し、携帯端末の向いている方向を測定することも周知の技術である。
【０００５】
【特許文献１】
特開２００２−２６２３３８号公報
【特許文献２】
特開２００２−１９１０６７号公報
【特許文献３】
特開２００２−２７５２７号公報
【０００６】
【発明が解決しようとする課題】
カメラのついた携帯端末を用いて通話する際に、自分の顔などを撮影しながらその画像を通話相手に送り、また自分も通話相手の画像を受信しながら通話ができるというテレビ電話システムが実現しているが、通話相手がどこにいるのか直感的にはわからない。
【０００７】
また、三人のユーザが同時に通話できるという三者通話システムがあるが、音声情報だけでは誰が誰に話しかけているのか分かりにくいといった問題があった。
【０００８】
本発明は、通話相手端末の位置と向いている方向を表示し、臨場感のある会話を可能とする移動端末及びコンピュータ・ソフトウエアを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明では、上記のような課題を解決するために、通話相手から送信されてくる画像を、実際に通話相手のいる方向に合わせて画面に表示する。また、相手の向いている方向も示す。これにより、テレビ電話がより臨場感あふれるものとなる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。図１は、実施形態の移動端末の構成説明図である。図２は、実施形態の移動端末における表示部に表示される画面の一例の説明図である。図３は、２つの移動端末の所在位置および向きが、北方向から成す角度を表した図である。図４は、実施例１の移動端末の表示部に表示する動作手順を示すフローチャートの一例である。図５は、実施例１の移動端末の表示画面の一例の説明図である。図６は、実施例２の移動端末の表示画面の一例の説明図である。図７は、実施例３の移動端末の表示画面の一例の説明図である。図８は、実施例３の移動端末における表示位置調節処理の手順を示すフローチャートの一例である。図９は、実施例３の移動端末で使用する表示位置一覧表の内容の一例の説明図である。図１０は、実施例４の移動端末の表示画面の一例の説明図である。図１１は、実施例５の移動端末の表示画面の一例の説明図である。
【００２３】
図１は、本発明の一実施形態に係る各々の移動端末が、基地局とＧＰＳ衛星からの電波を利用して該移動端末の所在位置情報を取得し、また、通話相手の移動端末の位置情報を取得し、該位置情報と通話相手の移動端末が所在する位置情報とを用いて通話相手の所在する位置方向を決定し、移動端末にある表示部の中心付近に予め定められた点から該方向に一定の距離だけ離した位置に、通話相手の移動端末に付属するカメラが映す映像を表示するのに必要な手段を表した構成図である。
【００２４】
本実施形態の移動端末１００は、データ受信部１０１、データ解析部１０２、自己位置情報取得部１０３、自己方向測定部１０４、相対位置決定部１０５、相対方位決定部１０６、相手表示位置・方向決定部１０７、表示部１０８、撮像部１０９、データ送信部１１０、音声再生部１１１などを、含んだものとして構成されている。
【００２５】
図２は、２人のユーザが本実施形態の移動端末を用いて通話している場合の、移動端末の表示部１０８、撮像部１０９、音声再生部１１１を示したものである。
【００２６】
データ受信部１０１は、基地局及びＧＰＳ衛星から送られてくる電波を受信する部分である。
【００２７】
データ解析部１０２は、データ受信部１０１が受信した電波を解析し、次の情報を得る。通話相手の音声、通話相手の移動端末の所在位置情報、通話相手の移動端末に付属する表示部の上方が向いている方向を示す方位情報、通話相手の移動端末に付属するカメラが映す映像情報、などである。
【００２８】
自己位置情報取得部１０３は、自己端末の所在位置を測定して位置情報を取得するものであり、基地局、ロケーションサーバ（ＧＰＳや基地局を使用した位置情報の提供サービスを行うサーバ）、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）衛星と情報のやり取りを行い、移動端末の所在位置の座標を、緯度・経度の数値で取得する部分である。
【００２９】
自己方向測定部１０４は、自己端末の向いている方向を測定して方位情報を取得するものであり、地磁気センサーなどを用いて移動端末の向く方位を測定し、数値化する部分である。方向から北方向を０°とし、西方向への角度θ０を求める。ここでの、移動端末の向く方位というのは、移動端末に付属する表示部１０８の下方から上方に向かって引いた直線２０１（図２参照）が指す方位のことである。なお、移動端末の表示部１０８に直交する線（図２の紙面に垂直の方向）の方位を測定することも可能で、直線２０１が鉛直方向のとき等でも方位を測定することができる。方位は、移動端末を持って歩くユーザの進む方向でも有る。
【００３０】
相対位置決定部１０５は、通話相手の移動端末の所在位置情報をデータ解析部１０２から受け取り、自己位置情報と比較して相対位置座標を計算する。図３は、２つの移動端末の所在位置と向いている方向を表したものである。点Ｐ０に自分が所有する移動端末０、点Ｐ１に通話相手の所有する移動端末１があり、移動端末０は北方向から西方向に角度θ０だけ傾いた方向を向いており、移動端末１は北方向から西方向に角度θ１だけ傾いた方向を向いている。
【００３１】
自分の移動端末０の位置座標をＰ０（ｘ０，ｙ０）、通話相手の移動端末１の位置座標をＰ１（ｘ１，ｙ１）とすると、相対位置座標ｄＰ１は、
ｄＰ１＝（ｘ１−ｘ０，ｙ１−ｙ０）
となる。点Ｐ０から点Ｐ１へ引いた直線と、点Ｐ０から真北に向かって引いた直線とが成す角度θｐ１は、数式１のように表される。
【数１】

なお、ｄｘ１＝ｘ１−ｘ０、ｄｙ１＝ｙ１−ｙ０、とした。
【００３２】
経度・緯度の数値は、北緯・東経の方向に測定された値を正の値に、南緯・西経の方向に測定された値を負の値として計算する。なお、これらの数値は−１８０°から１８０°の範囲内とする。
【００３３】
また相対位置決定部１０５は、自己方向測定部１０４から移動端末の向いている方位情報を受け取り、これと相対位置座標を用いて、通話相手の移動端末が所在する方位と自分の移動端末の向いている方位との角度差θ’ｐ１＝θｐ１−θ０、を計算する。
【００３４】
相対方位決定部１０６は、データ解析部１０２から通話相手の移動端末が向いている方位情報を、自己方向測定部１０４からは移動端末の向いている方位情報を受け取り、通話相手の移動端末が向いている方位と自分の移動端末の向いている方位との角度差θ’１＝θ１−θ０、を計算する部分である。
【００３５】
相手表示位置・方向決定部１０７は、相対位置決定部１０５と相対方位決定部１０６からθ’ｐ１とθ’１を受け取り、通話相手の映像を表示部１０８に表示する際の位置と大きさ、その映像の端から出す通話相手の移動端末が向いている方位を示す矢印２０２の方向を決定する部分である。
【００３６】
表示部１０８は、データ解析部１０２から通話相手の映像情報と、相手表示位置・方向決定部１０７から通話相手の映像を表示する位置と大きさ、その映像の端から出す矢印２０２の方向とを受け取り、通話相手の映像を表示する部分である。また、表示部１０８の中心付近で予め定められた位置に、自分を示す星型などのマーク２０４を表示する。また、移動端末の向いている方向を表すために、図中の印２０３のような北方向を示すマークを表示する。表示部１０８はこれ以外にも、移動端末を操作した場合にその操作に応じた画面を表示する。
【００３７】
撮像部１０９は、小型カメラなどを用いて、移動端末を所有するユーザの顔や、景色などを撮影し、映像情報を得る部分である。映像情報は、データ送信部１１０に送られ、基地局に送信される。
【００３８】
データ送信部１１０は、自己位置情報取得部１０３から移動端末の所在位置情報、自己方向測定部１０４から移動端末の向いている方位情報、撮像部１０９から映像情報、などを受け取り、基地局に送信する部分である。
【００３９】
音声再生部１１１は、データ解析部１０２から通話相手の音声情報を受け取り、音として再生する部分である。
【００４０】
実施例１を説明する。図４は、本実施形態の移動端末が、通話相手の移動端末の所在位置情報と、向いている方位情報と、撮像部が映す映像情報とを、表示部に表示する処理手順を示すフローチャートである。
【００４１】
まず、データ受信部１０１で基地局からの電波を受信し（ステップＳ４０１）、データ解析部１０２でデータを解析する（ステップＳ４０２）。解析の結果、通話相手の音声、通話相手の移動端末の所在位置情報、通話相手の移動端末が向いている方向を示す方位情報、通話相手の移動端末に付属するカメラが映す映像情報を取得する。次に、通話の初めか途中かを判断するために、通話中フラグの状態を見る（ステップＳ４０３）。通話中フラグが立っていない、すなわち通話が始まって初めてデータが来た状態である場合は、ステップＳ４０４に進み通話中フラグを立てる。その後、自己位置情報を取得し（ステップＳ４０５）、位置取得タイマをスタートさせる（ステップＳ４０６）。続いて、自己方向情報を取得し（ステップＳ４０７）、方向取得タイマをスタートさせて（ステップＳ４０８）、ステップＳ４１５に進む。
【００４２】
ステップＳ４０３で通話中フラグが立っている場合、すなわち通話の最中でデータを受信した場合、ステップＳ４０９に進む。位置取得タイマが満了していれば、自己位置情報を取得し（ステップＳ４１０）、位置取得タイマをリセットし（ステップＳ４１１）、ステップＳ４１２に進む。すなわち、位置情報を取得してから予め定められた時間間隔だけ時間が経過していたら、もう一度位置情報を取得する。ステップＳ４０９で位置取得タイマが満了していない場合は、何もせずステップＳ４１２に進む。
【００４３】
方向情報についても位置情報と同様のフローで取得する。まず、ステップＳ４１２で方向取得タイマが満了していれば、自己方向情報を取得し（ステップＳ４１３）、方向取得タイマをリセットし（ステップＳ４１４）、ステップＳ４１５に進む。ステップＳ４１２で方向取得タイマが満了していない場合は、何もせずステップＳ４１４に進む。なお、位置取得タイマと方向取得タイマの時間間隔は等しくなくてもよい。また、ユーザの操作キーによる指示を受けて取得するようにすることも可能である。
【００４４】
ステップＳ４１５では、相手の移動端末の所在位置情報と自己位置情報をもとに、相対位置決定部１０５で相手の移動端末の相対位置を決定する。また、自己方向情報を用いて相手の移動端末が所在する位置方向を決定する。
【００４５】
ステップＳ４１６では、相手の移動端末の方位情報と自己方向情報を用いて、自分の移動端末に対する相手の移動端末の向きを、相対方位決定部１０６が決定する。
【００４６】
ステップＳ４１７では、相手の移動端末に付属する撮像部が映す映像情報を表示部１０８に表示する位置を、相手表示位置・方向決定部１０７が決定する。表示位置は、表示部１０８の予め定められた点から、予め定められた距離だけ離れた点を中心とした、予め定められた半径の円、もしくは予め定められた大きさの長方形の範囲である。
【００４７】
ステップＳ４１８では相手の移動端末の向きを示す矢印２０２を表示する位置を、相手表示位置・方向決定部１０７が決定する。矢印２０２は予め定められた形と大きさをもつ。矢印２０２は、表示部１０８に表示された相手の映像の中心から、相対方位決定部１０６が決定した相手の移動端末の向く方向に直線を引いたときに映像の端と交わる点を始点とし、相手の移動端末の向く方向に表示する。
【００４８】
ステップＳ４１９では、相手表示位置・方向決定部１０７が決定した、相手の映像と矢印２０２を表示部１０８に表示する。
【００４９】
本実施形態の移動端末を用いて、一人の通話相手と通話する場合について、表示部１０８に表示される画面を説明する。図５は、本実施形態の移動端末を用いてユーザＡとユーザＢが通話している際に、ユーザが体の向きを変えるなどして移動端末の向きが変化した場合に、表示部１０８に表示される画面を示している。
【００５０】
図５の５１１、５１２、５１３は、ユーザＡ（黒丸）とユーザＢ（白丸）の位置関係と、それぞれが持つ移動端末の向きを矢印で表している。なお、紙面の上方を北方向としている。
【００５１】
図５の画面５２１、５２２、５２３は、ユーザＢの持つ移動端末の表示部１０８の画面で、画面５３１、５３２、５３３がユーザＡの持つ移動端末の表示部１０８の画面を表している。なお、縦の列は、それぞれ同時刻のものである。
【００５２】
図５の５１１の状態は、ユーザＡの北方向にユーザＢが所在しており、ユーザＡの移動端末は北向き、ユーザＢの移動端末は南向きであり、それぞれが向き合っている状態である。この時、ユーザＡ、Ｂの移動端末の表示部１０８には、それぞれ画面５３１、５２１が表示されている。
【００５３】
図５の５１２の状態は、ユーザＡの移動端末が北西に向きを変えた場合である。この時の、ユーザＡの移動端末の表示部１０８には画面５３２が表示されている。ユーザＡから見るとユーザＢは右斜め前方向に所在することになる。ユーザＢの移動端末の向きは状態５１１から変化していないので、矢印はユーザＡ自身を示す中心方向を向いている。一方、ユーザＢの移動端末の表示部１０８には画面５２２が表示される。ユーザＢから見るとユーザＡの所在位置は変化していないが、ユーザＡの移動端末の向きが変化したため、ユーザＡの向きを示す矢印が右斜め下を向いている。
【００５４】
図５の５２３の状態は、ユーザＢの移動端末が北に向きを変えた場合である。この時の、ユーザＡの移動端末の表示部１０８には画面５３３が表示されている。ユーザＡから見るとユーザＢの所在位置は変化していないが、ユーザＢの移動端末の向きが変化したため、ユーザＢの向きを示す矢印が右斜め上を向いている。一方、ユーザＢの移動端末の表示部１０８には画面５２３が表示される。ユーザＢから見るとユーザＡの所在位置はユーザＢの向いている方と反対側になるため、ユーザＡの映像が表示部１０８の下方に表示される。
【００５５】
実施例２を説明する。図６は、本実施形態の移動端末を用いてユーザＡ６０１、ユーザＢ６０２、ユーザＣ６０３が三人で通話をしている場合の、それぞれのユーザの位置関係６１０と、ユーザＡ６０１が持つ移動端末の表示部に表示される画面６２０を表している。
【００５６】
６１０の状態では、ユーザＡは北方向を向いていて、ユーザＢとユーザＣがお互いに向き合っている。ユーザＡは、表示画面６２０を見れば、ユーザＢとユーザＣが話をしていて、自分には話しかけていないのだとわかる。
【００５７】
このように複数人で通話をする場合、誰に話しかけているのかが一目瞭然であり、音声だけの場合と比べて臨場感あふれる会話ができる。
【００５８】
実施例３を説明する。図７は、本実施形態の移動端末を用いてユーザＡ７０１、ユーザＢ７０２、ユーザＣ７０３が三人で通話をしている場合の、それぞれのユーザの位置関係７１０と、ユーザＡ７０１が持つ移動端末の表示部に表示される画面７２０、画面７３０を表している。
【００５９】
７１０の状態では、ユーザＡから見てユーザＢとユーザＣがほぼ同じ角度に所在している。そのため、ユーザＡの移動端末の表示部に、ユーザＢとユーザＣの映像を同時に表示すると、画面７２０のようにユーザＢの映像とユーザＣの映像が重なってしまい、どちらか一方の映像がかけてしまう。
【００６０】
これを回避するために、例えば画面７３０のようにユーザＣの映像をずらして表示することで、ユーザＢの映像がかけないようにする。ここで、ユーザＣの所在する方向がわかるようするために、ユーザＢと映像が重ならなかった場合にユーザＣの映像が表示されるべき位置の中心に、黒丸などのマーク７３１を表示する。また、マーク７３１がユーザＣの所在する方向であることがわかるようにするために、マーク７３１からユーザＣの映像の端までを点線などで結ぶ。また、ユーザＣの向いている方向を表す矢印２０２は、マーク７３１を始点として表示することができる。
【００６１】
図８に、本実施形態の移動端末を用いて複数人の通話相手と同時に通話をする場合に、通話相手の映像が別の通話相手の映像の上に重ならないように、通話相手の映像の表示位置を記録しておく表示位置一覧表を参照して、通話相手の映像を表示する位置を決定する、処理手順のフローチャートの一部を示す。ここで、表示位置一覧表に記録される内容を図９に示す。表示位置一覧表には、通話相手識別子９０１、映像の中心９０２、映像の大きさ９０３の項目がある。通話相手識別子９０１は、表示する映像がどの通話相手からのものかを判断するために必要で、通話相手の名前などである。または、通話相手の電話番号や、メールアドレス、ユーザが予め決めておいたニックネームなどでもよい。
【００６２】
映像の中心９０２は、通話相手の映像を表示したとき、その映像の中心が位置する点を表すものである。例えば、中心付近に表示された自分を表すマーク２０４を座標（０，０）として、そこからの相対位置を横方向、縦方向ごとに長さや液晶のドット数などで表す。または、表示部の４つ端などのような特定の点を（０，０）として、その相対位置を表してもよい。
【００６３】
映像の大きさ９０３は、通話相手の映像の大きさを表すものである。例えば、映像が円の場合は、その半径などである。映像が円以外の形であれば、その映像全体を覆うことができる最小の円の半径を、映像の大きさとして代入することもできる。
【００６４】
ステップＳ８０１からステップＳ８１０は、図４のフローチャートのステップＳ４１５からステップＳ４１９の部分に相当するものであり、ステップＳ４０１からステップＳ４１４の部分は全く同様の内容となるため、省略してある。
【００６５】
まず、ステップＳ８０１では、全ての通話相手に対して表示位置の決定を行ったかどうかを判断する。全員分が終わっていればステップＳ８１０に進んで画面表示を行い、まだ終わっていなければステップＳ８０２に進む。ここで、相対位置決定部１０５で相手の移動端末の相対位置を決定し、相手の映像を表示する位置を相手表示位置・方向決定部１０７が決定する（ステップＳ８０３）。次に、表示位置一覧表を参照し（ステップＳ８０４）、ステップＳ８０３で決定した表示位置が、他の通話相手の映像を表示する位置と重なっている部分がないかを判断する（ステップＳ８０５）。判断方法としては、ステップＳ８０３で決定した映像の中心９０２と、既に登録されている通話相手の映像の中心９０２との距離が、ステップＳ８０３で決定した映像の大きさ９０３と、既に登録されている通話相手の映像の大きさ９０３との和よりも大きければ、映像は重なっていないと判断する。これを、表示位置一覧表に登録されている通話相手全てに対して行い、全ての通話相手の映像に対して映像が重なっていなければ、ステップＳ８０７に進む。もし、重なっていると判断された場合はステップＳ８０６に進み、予め定められた方向、距離だけ映像の中心をずらし、もう一度ステップＳ８０５に戻って映像が重なっていないかどうかを判断する。これを映像が重ならなくなるまで繰り返す。
【００６６】
ステップＳ８０７で相対方向を決定し、ステップＳ８０８で矢印の位置及び方向を決定する。その後に、ステップＳ８０３もしくはステップＳ８０６で決定した映像の中心を、表示位置一覧表に登録する（ステップＳ８０９）。ここまでの処理を、全ての通話相手の映像に対して行う。ステップＳ８１０では、全ての通話相手の映像を表示部に表示する。この際、ステップＳ８０６で位置をずらした映像に関しては、マーク７３１及びマーク７３１から映像の端までの点線を表示する。
【００６７】
実施例４を説明する。図１０は、本実施形態の移動端末を用いて、ユーザＢ１００２、ユーザＣ１００３、ユーザＤ１００４と通話しているユーザＡの移動端末の表示部に表示された画面を示している。自分の所在する方向を向いている通話相手の映像は大きく表示し、自分の所在する方向とは違った方向を向いている通話相手の映像は小さく表示した例である。
【００６８】
通話相手の向いている方向と、ユーザＡを示すマークから通話相手の映像とを結んだ線とが成す角度は、ユーザＢ、ユーザＣ、ユーザＤに対して約０°、約６０°、約１００°である。よって、一番角度の小さいユーザＢの映像が一番大きく表示され、次に角度の小さいユーザＣの映像が次に大きく、一番角度の大きいユーザＤの映像は一番小さく表示される。
【００６９】
これにより、自分と話しがしたいという意思があり、自分の所在する方向を向いている通話相手の映像を大きく表示することで、誰が自分に話し掛けているのかを視覚的に容易に判断できる。
【００７０】
また、映像の大きさを変化させる代わりに、映像を立体的に表示して、映像の奥行きで表現することもできる。自分が所在する方を向いている通話相手の映像は手前に見えるように表示し、自分の方を向いていない通話相手の映像は奥の方に見えるように表示する。
【００７１】
実施例５を説明する。図１１は、本実施形態の移動端末を用いて、３人の通話相手と通話している場合の、表示部に表示される画面を示している。この実施例では、通話相手の平面画像を立体的に傾けることにより、通話相手の向いている方向を示している。通話相手１１０２と通話相手１１０３はお互い向き合っており、通話相手１１０４は下の方向を向いている。なお、平面画像を平面的に回転させて、その画像の向きで相手の向いている方向を表現してもよい。
【００７２】
実施例６を説明する。通話相手を判断するために通話相手が持つ移動端末の撮像部が映す映像の代わりに、動物等の識別可能なキャラクタ画像を表示することもできる。表示する画像は、通話相手の移動端末からデータとして受信し、自分の移動端末に表示してもよいし、自分の移動端末で予め定めておいた画像を表示してもよい。
【００７３】
また、電話番号等といった通話相手を識別できるものと、その通話相手と通話する場合に自分の移動端末に表示させる画像との関係を示した対応テーブルを用意しておき、特定の通話相手と通話する際にはいつも決まったキャラクタ画像を表示させてもよい。表示させる画像を予め決めておかなくても、移動端末がランダムに決定することもできる。
【００７４】
キャラクタ画像を３Ｄデータで表現し、通話相手の向いている方向を、そのキャラクタの向いている方向で表してもよい。そのキャラクタに手などの方向を示すことができる特徴を持たせ、その特徴を用いて通話相手の向いている方向を表してもよい。
【００７５】
なお、見知らぬ土地や混雑している場所などでは、待ち合わせをしている相手となかなか出会えない場合がある。そういった際、本実施形態の移動端末を用いて、相手の所在する方向と、相手の向いている向きを知り、「君から見て斜め右のビルにいるよ」などといった、お互いが出会うための的確な指示を出すことが可能である。また、移動端末は、基地局と通信を行う無線端末に限らず、有線端末でもよい。
【００７６】
なお、上記実施形態では、移動端末を説明したが、自己端末の所在位置の測定データから位置情報を取得する自己位置情報取得機能と、自己端末の向いている方向の測定データから方位情報を取得する自己方位情報取得機能と、通話相手端末を識別する相手識別機能と、通話相手端末へ自己端末の位置情報及び方位情報を送信する自己端末情報送信機能と、通話相手端末の位置情報及び方位情報を受信する相手端末情報取得機能と、受信した通話相手端末の位置情報と自己端末の位置情報とを用いて、通話相手端末の所在位置の方位を算出して相手位置方位情報を取得する相手位置方位情報取得機能と、自己端末の向いている方位と、通話相手端末の所在位置の方位と、該通話相手端末の向いている方位とを表示する方位相手位置表示機能とをコンピュータに実現させるプログラムからなる移動端末用コンピュータ・ソフトウエアを使用することにより、従来の移動端末を本発明の移動端末とすることができる。また、本発明の他の実施形態１の移動端末は、例えば具体的には、ユーザの顔や風景を撮影する撮像手段と、移動端末の所在位置を測定する位置情報取得手段と、移動端末の（表示部の先端）向いている方向を測定する方位情報取得手段と、通話相手の移動端末の位置情報と方位情報を取得する手段と、通話相手の位置情報と自己の位置情報および方位情報を用いて、自己の移動端末の向きに対する通話相手の所在する方向を決定する相対位置決定手段と、通話相手の方位情報と自己の方位情報を用いて、自己の移動端末の向きに対する通話相手の向いている方向を決定する相対方位決定手段と、通話相手の移動端末の撮像部が映す映像を自己の移動端末の表示部に表示する位置を該両端末の相対位置に従って決定する映像表示位置決定手段と、通話相手の移動端末が向いている方向を示す矢印を表示する位置および傾きを決定する矢印表示位置決定手段と、上記映像と上記矢印を表示する表示手段とを、具備した構成をとる。本発明の他の実施形態２は、自己端末の所在位置を測定して位置情報を取得する自己位置情報取得手段と、自己端末の向いている方向を測定して方位情報を取得する自己方位情報取得手段と、通話相手端末を識別する相手識別手段と、通話相手端末へ自己端末の位置情報及び方位情報を送信する自己端末情報送信手段と、通話相手端末の位置情報及び方位情報を受信する相手端末情報取得手段と、受信した通話相手端末の位置情報と自己端末の位置情報とを用いて、通話相手端末の所在位置の方位を算出して相手位置方位情報を取得する相手位置方位情報取得手段と、自己端末の向いている方位と、通話相手端末の所在位置の方位と、該通話相手端末の向いている方位とを表示する方位相手位置表示手段とを備える移動端末である。本発明の他の実施形態３は、上記方位相手位置表示手段は、通話相手端末の所在位置の方位として、該所在位置を示すマークを、円周上の該当方位個所に表示する移動端末である。そして、本発明の他の実施形態４は、受信した通話相手端末の位置情報と自己端末の位置情報とを用いて、自己端末と通話相手端末との距離を算出して相手距離情報を取得する相手距離情報取得手段を備えており、上記方位相手位置表示手段は、前記相手距離情報に応じて通話相手端末の所在位置を示すマークの大きさを変更して表示する移動端末である。更に、本発明の他の実施形態５は、上記自己端末情報送信手段は、予め定められた時間間隔を経て、自己位置情報取得手段が再度取得した位置情報及び自己方位情報取得手段が再度取得した方位情報を通話相手端末へ送信する移動端末である。また、本発明の他の実施形態６は、上記自己端末情報送信手段は、操作キーの操作を受けて通話相手端末へ送信する移動端末である。そして、本発明の他の実施形態７は、通話相手を識別する通話相手識別子、該通話相手識別子を表示する位置及び該通話相手識別子の大きさの対応関係を格納した表示位置記録手段を備える移動端末である。更に、本発明の他の実施形態８は、複数人の通話相手端末の全ての通話相手識別子が重ならずに表示できるように、通話相手の所在位置を示すマークの表示位置を調節する表示位置調節手段を備える移動端末である。また、本発明の他の実施形態９は、自己端末が向いている方位、通話相手端末の所在位置の方位及び該通話相手端末の向いている方位を基に、自己端末と通話相手端末とが向き合っているかを判断する判断手段を備え、該判断手段が向き合っていると判断したとき、上記方位相手位置表示手段は、通話相手端末の所在位置を示すマークを変更して表示する移動端末である。通話相手端末の所在位置を示すマークの変更は、マークの大きさ、色、奥行きの変化や撮像した映像を平面的又は立体的に傾けた表示とする等により行うことができ、また、方位を示す矢印の長さ、太さ、色等の変更とすることもできる。そして、本発明の他の実施形態１０は、複数の通話相手端末の所在位置の方位及び該通話相手端末の向いている方位を基に、複数の通話相手端末が互いに向き合っているかを判断する判断手段を備え、該判断手段が互いに向き合っていると判断したとき、上記方位相手位置表示手段は、該複数の通話相手端末の所在位置を示すマークを変更して表示する移動端末である。更に、本発明の他の実施形態１１は、自己端末の所在位置の測定データから位置情報を取得する自己位置情報取得機能と、自己端末の向いている方向の測定データから方位情報を取得する自己方位情報取得機能と、通話相手端末を識別する相手識別機能と、通話相手端末へ自己端末の位置情報及び方位情報を送信する自己端末情報送信機能と、通話相手端末の位置情報及び方位情報を受信する相手端末情報取得機能と、受信した通話相手端末の位置情報と自己端末の位置情報とを用いて、通話相手端末の所在位置の方位を算出して相手位置方位情報を取得する相手位置方位情報取得機能と、自己端末の向いている方位と、通話相手端末の所在位置の方位と、該通話相手端末の向いている方位とを表示する方位相手位置表示機能とをコンピュータに実現させるプログラムからなる移動端末用コンピュータ・ソフトウエアである。本発明の他の実施形態によれば、通話相手の映像を通話相手のいる方向に表示することができ、臨場感のある通話を楽しめることができる。また、相手の向いている方向も示すことで、三者通話のように複数人で通話する場合に、誰が誰に話しかけているのかがはっきりわかるため、臨場感のあるスムーズな会話が可能とする移動端末を得ることができる。
【００７７】
【発明の効果】
本発明によれば、臨場感のある通話を行うことが可能な移動端末を提供することができる。
【図面の簡単な説明】
【図１】実施形態の移動端末の構成説明図。
【図２】実施形態の移動端末における表示部に表示される画面の一例の説明図。
【図３】２つの移動端末の所在位置および向きが、北方向から成す角度を表した図。
【図４】実施例１の移動端末の表示部に表示する動作手順を示すフローチャートの一例。
【図５】実施例１の移動端末の表示画面の一例の説明図。
【図６】実施例２の移動端末の表示画面の一例の説明図。
【図７】実施例３の移動端末の表示画面の一例の説明図。
【図８】実施例３の移動端末における表示位置調節処理の手順を示すフローチャートの一例。
【図９】実施例３の移動端末で使用する表示位置一覧表の内容の一例の説明図。
【図１０】実施例４の移動端末の表示画面の一例の説明図。
【図１１】実施例５の移動端末の表示画面の一例の説明図。
【符号の説明】
１００移動端末
１０１データ受信部
１０２データ解析部
１０３自己位置情報取得部
１０４自己方向測定部
１０５相対位置決定部
１０６相対方位決定部
１０７相手表示位置・方向決定部
１０８表示部
１０９撮像部
１１０データ送信部
１１１音声再生部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mobile terminal and computer software, and relates to a mobile terminal such as a mobile phone or a PDA (Personal Digital Assistants), and in particular, the direction of the mobile terminal and the other party facing the location information of both mobile terminals. The present invention relates to a technique for acquiring azimuth information to be displayed, displaying an image of the other party on the display unit in a direction where the actual other party is located, and adding an arrow or the like near the image to indicate the direction of the other party.
[0002]
[Prior art]
As an easy way to find a meeting partner in an unknown land or crowded place, you can get your current location information from a satellite such as GPS, your location information from a location information service center, and map information from a map information database. There has been proposed a portable communication device that acquires and displays both position information and map information on a display unit (see, for example, Patent Document 1). In addition to this, there has been proposed a portable communication device that attaches a surrounding landscape image taken by an imaging unit to a mail in addition to position information and map information and sends it to a partner (for example, see Patent Document 2).
[0003]
In addition, as a method for constructing a system in which a searcher searches for a person to be searched without using a special radio wave transmitter or receiver, a position information notification device that provides the searcher with relative position information of the searcher and the person to be searched Has been proposed (see, for example, Patent Document 3). This device can display the relative coordinates, direction, distance, etc. between the searcher and the search target person on the liquid crystal display device.
[0004]
It is possible to provide an imaging unit in a mobile terminal and display an image captured by the camera on the display unit, or to transmit the displayed image using a mobile phone line and display it on the other mobile terminal. . This is a well-known technique standardized by standards such as H.323. It is also a well-known technique to incorporate a geomagnetic sensor in a mobile terminal and measure the direction in which the mobile terminal is facing.
[0005]
[Patent Document 1]
JP 2002-262338 A
[Patent Document 2]
JP 2002-191067 A
[Patent Document 3]
JP 2002-27527 A
[0006]
[Problems to be solved by the invention]
Realizes a videophone system that allows you to make a call while taking a picture of your face, etc., and sending the image to the other party while receiving a picture of the other party when you call using a mobile device with a camera However, it is not intuitive where the other party is.
[0007]
In addition, there is a three-party call system in which three users can talk at the same time, but there is a problem that it is difficult to know who is talking to whom by voice information alone.
[0008]
The present invention, ThroughIt is an object of the present invention to provide a mobile terminal and computer software that display the position of a talk partner terminal and the direction facing the talk partner terminal and enable a realistic conversation.
[0009]
[Means for Solving the Problems]
In the present invention, in order to solve the above-described problems, an image transmitted from the other party is displayed on the screen in accordance with the direction in which the other party is actually located. Also, the direction the opponent is facingAlsoShow. As a result, the videophone becomes more realistic.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an explanatory diagram illustrating a configuration of a mobile terminal according to the embodiment. FIG. 2 is an explanatory diagram illustrating an example of a screen displayed on the display unit in the mobile terminal according to the embodiment. FIG. 3 is a diagram showing the angle formed by the location and orientation of two mobile terminals from the north direction. FIG. 4 is an example of a flowchart illustrating an operation procedure displayed on the display unit of the mobile terminal according to the first embodiment. FIG. 5 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the first embodiment. FIG. 6 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the second embodiment. FIG. 7 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the third embodiment. FIG. 8 is an example of a flowchart illustrating a procedure of display position adjustment processing in the mobile terminal according to the third embodiment. FIG. 9 is an explanatory diagram of an example of the contents of the display position list used in the mobile terminal according to the third embodiment. FIG. 10 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the fourth embodiment. FIG. 11 is an explanatory diagram of an example of a display screen of the mobile terminal according to the fifth embodiment.
[0023]
FIG. 1 shows that each mobile terminal according to an embodiment of the present invention obtains location information of the mobile terminal using radio waves from a base station and a GPS satellite, and the location of the mobile terminal of the call partner Information is obtained, the position direction of the call partner is determined using the position information and the position information of the caller's mobile terminal, and a predetermined point near the center of the display unit in the mobile terminal It is a block diagram showing the means required for displaying the image | video which the camera attached to the other party's mobile terminal shows in the position separated by a fixed distance in the direction.
[0024]
The mobile terminal 100 according to this embodiment includes a data receiving unit 101, a data analyzing unit 102, a self-position information acquiring unit 103, a self-direction measuring unit 104, a relative position determining unit 105, a relative orientation determining unit 106, and a partner display position / direction determining. A unit 107, a display unit 108, an imaging unit 109, a data transmission unit 110, an audio reproduction unit 111, and the like.
[0025]
FIG. 2 shows the display unit 108, the imaging unit 109, and the audio reproduction unit 111 of the mobile terminal when two users are making a call using the mobile terminal of the present embodiment.
[0026]
The data receiving unit 101 is a part that receives radio waves transmitted from a base station and a GPS satellite.
[0027]
The data analysis unit 102 analyzes the radio wave received by the data reception unit 101 and obtains the following information. Caller's voice, location information of the caller's mobile terminal, orientation information indicating the direction of the top of the display attached to the caller's mobile terminal, video information displayed by the camera attached to the caller's mobile terminal , Etc.
[0028]
The self-location information acquisition unit 103 acquires the location information by measuring the location of the self-terminal, and includes a base station, a location server (a server that provides a location information service using GPS or a base station), GPS (Global Positioning System) This is a part for exchanging information with the satellite and acquiring the coordinates of the location of the mobile terminal as numerical values of latitude and longitude.
[0029]
The self-direction measuring unit 104 measures the direction in which the terminal is facing and acquires azimuth information, and is a part that measures and digitizes the direction in which the mobile terminal faces using a geomagnetic sensor or the like. The north direction from the direction is set to 0 °, and the angle θ0 in the west direction is obtained. Here, the azimuth that the mobile terminal faces is the azimuth indicated by a straight line 201 (see FIG. 2) drawn upward from below the display unit 108 attached to the mobile terminal. Note that it is possible to measure the orientation of a line orthogonal to the display unit 108 of the mobile terminal (the direction perpendicular to the paper surface of FIG. 2), and the orientation can be measured even when the straight line 201 is in the vertical direction. The direction is also the direction in which the user walking with the mobile terminal travels.
[0030]
The relative position determination unit 105 receives the location information of the mobile terminal of the other party from the data analysis unit 102 and compares it with the self-position information to calculate relative position coordinates. FIG. 3 shows the location of the two mobile terminals and the direction facing them. There is a mobile terminal 0 owned by itself at a point P0, a mobile terminal 1 owned by the other party at a point P1, and the mobile terminal 0 faces in a direction inclined by an angle θ0 from the north to the west. The direction is inclined from the north direction to the west by an angle θ1.
[0031]
When the position coordinate of the mobile terminal 0 of the user is P0 (x0, y0) and the position coordinate of the mobile terminal 1 of the other party is P1 (x1, y1), the relative position coordinate dP1 is
dP1 = (x1-x0, y1-y0)
It becomes. An angle θp1 formed by a straight line drawn from the point P0 to the point P1 and a straight line drawn from the point P0 toward true north is expressed as Equation 1.
[Expression 1]

Note that dx1 = x1-x0 and dy1 = y1-y0.
[0032]
The numerical values of longitude and latitude are calculated with positive values measured in the direction of north latitude and east longitude and negative values measured in the direction of south latitude and west longitude. These numerical values are in the range of −180 ° to 180 °.
[0033]
Also, the relative position determination unit 105 receives the direction information of the mobile terminal facing from the self-direction measuring unit 104, and uses this and the relative position coordinates to indicate the direction in which the mobile terminal of the other party is located and the direction of the mobile terminal. The angle difference θ′p1 = θp1−θ0 from the azimuth is calculated.
[0034]
The relative azimuth determining unit 106 receives the azimuth information that the mobile terminal of the other party is facing from the data analysis unit 102 and the azimuth information that the mobile terminal is facing from the self-direction measuring unit 104, and the mobile terminal that is the other party is facing. This is a part for calculating the angle difference θ′1 = θ1−θ0 between the heading direction and the heading direction of the mobile terminal.
[0035]
The partner display position / direction determination unit 107 receives θ′p1 and θ′1 from the relative position determination unit 105 and the relative orientation determination unit 106, and displays the position and size when displaying the video of the other party on the display unit 108. This is a part for determining the direction of the arrow 202 indicating the direction in which the mobile terminal of the other party of the call is directed from the end of the video.
[0036]
The display unit 108 displays the video information of the other party from the data analysis unit 102, the position and size at which the video of the other party is displayed from the partner display position / direction determination unit 107, and the direction of the arrow 202 that is output from the end of the video. This is the part that receives and displays the video of the other party. Further, a star-shaped mark 204 indicating itself is displayed at a predetermined position near the center of the display unit 108. Further, in order to indicate the direction in which the mobile terminal is facing, a mark indicating the north direction such as a mark 203 in the figure is displayed. In addition to this, the display unit 108 displays a screen corresponding to the operation when the mobile terminal is operated.
[0037]
The imaging unit 109 is a part that uses a small camera or the like to capture the face of a user who owns a mobile terminal, a landscape, and the like to obtain video information. The video information is sent to the data transmission unit 110 and transmitted to the base station.
[0038]
The data transmission unit 110 receives the location information of the mobile terminal from the self-location information acquisition unit 103, the direction information of the mobile terminal facing from the self-direction measurement unit 104, the video information from the imaging unit 109, and transmits the information to the base station. It is a part to do.
[0039]
The voice reproduction unit 111 is a part that receives the voice information of the other party from the data analysis unit 102 and reproduces it as sound.
[0040]
Example 1 will be described. FIG. 4 is a flowchart showing a processing procedure in which the mobile terminal of the present embodiment displays the location information of the mobile terminal of the other party, the direction information facing, and the video information shown by the imaging unit on the display unit. is there.
[0041]
First, the data receiver 101 receives radio waves from the base station (step S401), and the data analyzer 102 analyzes the data (step S402). As a result of the analysis, the other party's voice, the location information of the other party's mobile terminal, direction information indicating the direction in which the other party's mobile terminal is facing, and video information reflected by the camera attached to the other party's mobile terminal are obtained. . Next, in order to determine whether the call is in progress or in the middle, the state of the call flag is checked (step S403). When the busy flag is not raised, that is, when the data is received for the first time after the call is started, the process proceeds to step S404 and the busy flag is set. Then, self-position information is acquired (step S405), and a position acquisition timer is started (step S406). Subsequently, self direction information is acquired (step S407), a direction acquisition timer is started (step S408), and the process proceeds to step S415.
[0042]
If the busy flag is set in step S403, that is, if data is received during the call, the process proceeds to step S409. If the position acquisition timer has expired, self-position information is acquired (step S410), the position acquisition timer is reset (step S411), and the process proceeds to step S412. In other words, if the time has elapsed since the acquisition of the position information, the position information is acquired again. If the position acquisition timer has not expired in step S409, nothing is done and the process proceeds to step S412.
[0043]
The direction information is also acquired in the same flow as the position information. First, if the direction acquisition timer has expired in step S412, self direction information is acquired (step S413), the direction acquisition timer is reset (step S414), and the process proceeds to step S415. If the direction acquisition timer has not expired in step S412, nothing is done and the process proceeds to step S414. The time interval between the position acquisition timer and the direction acquisition timer may not be equal. It is also possible to obtain the information by receiving an instruction from the user's operation key.
[0044]
In step S415, the relative position determination unit 105 determines the relative position of the partner mobile terminal based on the location information of the partner mobile terminal and the self-position information. Moreover, the position direction where the other party's mobile terminal is located is determined using self-direction information.
[0045]
In step S416, the relative orientation determination unit 106 determines the orientation of the partner mobile terminal with respect to the user's mobile terminal using the orientation information and self-direction information of the partner mobile terminal.
[0046]
In step S417, the partner display position / direction determination unit 107 determines the position at which the video information reflected by the imaging unit attached to the partner mobile terminal is displayed on the display unit 108. The display position is a circle with a predetermined radius or a rectangular range with a predetermined size centered on a point that is a predetermined distance away from a predetermined point on the display unit 108. .
[0047]
In step S418, the partner display position / direction determination unit 107 determines the position for displaying the arrow 202 indicating the direction of the partner mobile terminal. Arrow 202 has a predetermined shape and size. An arrow 202 starts from a point where the end of the video intersects when a straight line is drawn from the center of the video of the opponent displayed on the display unit 108 in the direction toward the mobile terminal of the opponent determined by the relative orientation determination unit 106. Display in the direction facing the other party's mobile terminal.
[0048]
In step S419, the partner image and arrow 202 determined by the partner display position / direction determination unit 107 are displayed on the display unit 108.
[0049]
A screen displayed on the display unit 108 in the case of making a call with one call partner using the mobile terminal of the present embodiment will be described. FIG. 5 shows the display unit 108 when the user A and the user B are talking using the mobile terminal of the present embodiment and the direction of the mobile terminal is changed by the user changing the direction of the body. The displayed screen is shown.
[0050]
511, 512, and 513 in FIG. 5 indicate the positional relationship between the user A (black circle) and the user B (white circle) and the direction of the mobile terminal that each has by arrows. In addition, the upper part of the page is the north direction.
[0051]

Screens

521, 522, and 523 in FIG. 5 are screens of the display unit 108 of the mobile terminal owned by the user B, and screens 531, 532, and 533 represent screens of the display unit 108 of the mobile terminal held by the user A. The vertical columns are for the same time.
[0052]
In the state of 511 in FIG. 5, the user B is located in the north direction of the user A, the mobile terminal of the user A is facing north, the mobile terminal of the user B is facing south, and they are facing each other. . At this time, screens 531 and 521 are displayed on the display units 108 of the mobile terminals of the users A and B, respectively.
[0053]
The state 512 in FIG. 5 is a case where the mobile terminal of the user A changes its direction to the northwest. At this time, a screen 532 is displayed on the display unit 108 of the mobile terminal of the user A. When viewed from the user A, the user B is located in a diagonally forward right direction. Since the orientation of the user B's mobile terminal has not changed from the state 511, the arrow points in the center direction indicating the user A itself. On the other hand, a screen 522 is displayed on the display unit 108 of the user B's mobile terminal. When viewed from the user B, the location of the user A is not changed, but since the direction of the user A's mobile terminal has changed, the arrow indicating the direction of the user A is directed diagonally to the lower right.
[0054]
The state of 523 in FIG. 5 is when the user B's mobile terminal turns north. At this time, a screen 533 is displayed on the display unit 108 of the mobile terminal of the user A. When viewed from the user A, the location of the user B has not changed, but since the direction of the user B's mobile terminal has changed, the arrow indicating the direction of the user B faces diagonally upward to the right. On the other hand, a screen 523 is displayed on the display unit 108 of the user B's mobile terminal. When viewed from the user B, the location of the user A is opposite to the direction where the user B is facing, so the video of the user A is displayed below the display unit 108.
[0055]
A second embodiment will be described. FIG. 6 shows the positional relationship 610 of each user and the display of the mobile terminal possessed by the user A601 when the user A601, the user B602, and the user C603 are talking by using the mobile terminal of this embodiment. A screen 620 displayed on the screen is shown.
[0056]
In the state of 610, the user A is facing the north direction, and the user B and the user C are facing each other. From the display screen 620, the user A can understand that the user B and the user C are talking and not talking to themselves.
[0057]
In this way, when a call is made by a plurality of people, it is obvious who is talking to them, and a conversation with a sense of reality can be made compared to a case where only voice is used.
[0058]
A third embodiment will be described. FIG. 7 shows the positional relationship 710 of each user and the display of the mobile terminal held by the user A 701 when the user A 701, the user B 702, and the user C 703 are talking using the mobile terminal of this embodiment. The screen 720 and the screen 730 displayed in the section are shown.
[0059]
In the state 710, when viewed from the user A, the user B and the user C are located at substantially the same angle. Therefore, if the images of user B and user C are simultaneously displayed on the display unit of user A's mobile terminal, the images of user B and user C overlap as shown in screen 720, and either one of the images is overlaid. End up.
[0060]
In order to avoid this, for example, the video of user C is shifted and displayed as in the screen 730 so that the video of user B is not cast. Here, a mark 731 such as a black circle is displayed at the center of the position where the image of the user C should be displayed when the image of the user C does not overlap with the image of the user C so that the direction in which the user C is located can be understood. Further, in order to make it clear that the mark 731 is the direction in which the user C is located, the mark 731 is connected to the end of the user C video by a dotted line or the like. Further, the arrow 202 indicating the direction in which the user C is facing can be displayed with the mark 731 as a starting point.
[0061]
In FIG. 8, when making a call simultaneously with a plurality of call partners using the mobile terminal of this embodiment, the call partner's video is displayed so that the call partner's video does not overlap with another call partner's video. A part of a flowchart of a processing procedure for determining a position for displaying a video image of the other party with reference to a display position list in which display positions are recorded is shown. Here, the contents recorded in the display position list are shown in FIG. The display position list includes items of a call partner identifier 901, a video center 902, and a video size 903. The call partner identifier 901 is necessary for determining which call partner the video to display is from, such as the name of the call partner. Alternatively, the telephone number of the other party, a mail address, a nickname determined in advance by the user may be used.
[0062]
The video center 902 represents a point where the center of the video is located when the video of the other party is displayed. For example, the mark 204 representing itself displayed in the vicinity of the center is set as coordinates (0, 0), and the relative position from the mark 204 is represented by the length, the number of liquid crystal dots, etc. for each horizontal and vertical direction. Alternatively, a specific point such as the four ends of the display unit may be (0, 0) to represent the relative position.
[0063]
The video size 903 represents the video size of the other party. For example, if the image is a circle, it is the radius. If the image has a shape other than a circle, the radius of the smallest circle that can cover the entire image can be substituted as the size of the image.
[0064]
Steps S801 to S810 correspond to the steps S415 to S419 in the flowchart of FIG. 4, and the steps S401 to S414 have the same contents and are omitted.
[0065]
First, in step S801, it is determined whether display positions have been determined for all call partners. If all the members have been completed, the process proceeds to step S810 to display a screen, and if not yet completed, the process proceeds to step S802. Here, the relative position determination unit 105 determines the relative position of the partner mobile terminal, and the partner display position / direction determination unit 107 determines the position for displaying the partner video (step S803). Next, with reference to the display position list (step S804), it is determined whether or not there is a portion where the display position determined in step S803 overlaps the position where the video of the other call partner is displayed (step S805). As a determination method, the distance between the video center 902 determined in step S803 and the video partner 902 already registered is already registered with the video size 903 determined in step S803. If it is larger than the sum of the image size 903 of the other party, it is determined that the images do not overlap. This is performed for all the call partners registered in the display position list, and if the images do not overlap with the images of all call partners, the process proceeds to step S807. If it is determined that the images overlap, the process proceeds to step S806, the center of the image is shifted by a predetermined direction and distance, and the process returns to step S805 again to determine whether the images overlap. This is repeated until the images no longer overlap.
[0066]
In step S807, the relative direction is determined, and in step S808, the position and direction of the arrow are determined. Thereafter, the center of the video determined in step S803 or S806 is registered in the display position list (step S809). The processing up to this point is performed on all the other party's videos. In step S810, the images of all the other parties are displayed on the display unit. At this time, for the video whose position is shifted in step S806, a mark 731 and a dotted line from the mark 731 to the end of the video are displayed.
[0067]
Example 4 will be described. FIG. 10 shows a screen displayed on the display unit of the mobile terminal of the user A who is talking to the user B 1002, the user C 1003, and the user D 1004 using the mobile terminal of the present embodiment. This is an example in which the video of the other party facing in the direction in which he is located is displayed larger, and the video of the other party in the direction different from the direction in which he is present is displayed smaller.
[0068]
The angle formed by the direction in which the other party is facing and the line connecting the image of the other party with the mark indicating the user A is about 0 °, about 60 °, about 60 ° with respect to the user B, the user C, and the user D. 100 °. Therefore, the image of the user B with the smallest angle is displayed the largest, the image of the user C with the next smallest angle is displayed next, and the image of the user D with the largest angle is displayed the smallest.
[0069]
Thereby, there is an intention to talk to himself, and by displaying a video of the other party facing in the direction where he is present, it is possible to easily visually determine who is talking to him.
[0070]
Further, instead of changing the size of the video, the video can be displayed in three dimensions and expressed by the depth of the video. The video of the other party that faces you is displayed so that it can be seen in the foreground, and the video of the other party that is not facing you is displayed so that it can be seen in the back.
[0071]
Example 5 will be described. FIG. 11 shows a screen displayed on the display unit when the mobile terminal of this embodiment is used to make a call with three call partners. In this embodiment, the direction in which the other party is facing is shown by three-dimensionally tilting the planar image of the other party. The other party 1102 and the other party 1103 are facing each other, and the other party 1104 is facing downward. Note that the planar image may be rotated in a planar manner so that the direction of the other party is expressed by the orientation of the image.
[0072]
Example 6 will be described. An identifiable character image of an animal or the like can also be displayed in place of the image shown by the imaging unit of the mobile terminal held by the other party in order to determine the other party. The image to be displayed may be received as data from the mobile terminal of the call partner and displayed on the user's own mobile terminal, or an image predetermined by the user's mobile terminal may be displayed.
[0073]
In addition, a correspondence table showing the relationship between what can identify the other party, such as a phone number, and the image displayed on the mobile terminal when making a call with the other party is prepared. When doing so, a fixed character image may be displayed. Even if the image to be displayed is not determined in advance, the mobile terminal can also determine it randomly.
[0074]
The character image may be represented by 3D data, and the direction in which the other party is facing may be represented by the direction in which the character is facing. The character may be provided with a feature that can indicate the direction of the hand, and the feature may be used to represent the direction in which the other party is facing.
[0075]
In strange places or crowded places, it may be difficult to meet the person you are waiting for. In that case, using the mobile terminal of this embodiment, know the direction where the other party is located and the direction the other party is facing, such as "I am in the building diagonally to the right when you see" It is possible to give accurate instructions. The mobile terminal is not limited to a wireless terminal that communicates with a base station, and may be a wired terminal.
[0076]
The aboveImplementationIn the embodiment, the mobile terminal has been described, but the self-location information acquisition function that acquires position information from the measurement data of the location of the self-terminal and the self-direction information that acquires the direction information from the measurement data of the direction in which the self-terminal is facing An acquisition function, a partner identification function for identifying a call partner terminal, a self-terminal information transmission function for transmitting position information and direction information of the own terminal to the call partner terminal, and a partner for receiving position information and direction information of the call partner terminal Using the terminal information acquisition function and the received call partner terminal position information and the self terminal position information, the partner position direction information acquisition function for calculating the direction of the location of the call partner terminal and acquiring the partner position direction information A azimuth partner position display function for displaying the azimuth in which the terminal is facing, the azimuth of the location of the calling party terminal, and the azimuth in which the calling party terminal is facing By using the mobile terminal for a computer software comprising a program for realizing the conventional mobile terminal can be a mobile terminal of the present invention.In addition, the mobile terminal according to another embodiment 1 of the present invention specifically includes, for example, an imaging unit that captures a user's face and landscape, a position information acquisition unit that measures a location of the mobile terminal, and a mobile terminal. (Tip of the display unit) direction information acquisition means for measuring the direction in which it is facing, means for acquiring position information and direction information of the mobile terminal of the call partner, position information of the call partner, self position information and direction information Using the relative position determining means for determining the direction of the other party of the call with respect to the direction of the mobile terminal and the direction of the other party with respect to the direction of the mobile terminal using the direction information of the other party and the own direction information. Relative orientation determining means for determining the direction in which the user is talking, and video display position determining means for determining the position at which the video imaged by the imaging unit of the mobile terminal of the other party is displayed on the display unit of the mobile terminal of the user The arrow display position determining means for determining the position and tilt to view the arrow indicating the direction in which the mobile terminal of the other party is facing, and display means for displaying the image and the arrow, a configuration equipped. Another embodiment 2 of the present invention relates to self-location information acquisition means for acquiring location information by measuring the location of the own terminal, and self-direction information for acquiring direction information by measuring the direction in which the terminal is facing An acquisition means; a partner identification means for identifying a call partner terminal; a self-terminal information transmission means for transmitting position information and direction information of the own terminal to the call partner terminal; and a partner for receiving position information and direction information of the call partner terminal Using the terminal information acquisition means and the received location information of the other party terminal and the position information of the own terminal, the other party location and direction information acquisition means for calculating the orientation of the location of the other party and obtaining the other party location and direction information And a directional partner position display means for displaying the azimuth to which the self terminal is directed, the azimuth of the location of the call partner terminal, and the azimuth of the call partner terminal. Another embodiment 3 of the present invention is a mobile terminal in which the orientation partner position display means displays a mark indicating the location at the corresponding orientation location on the circumference as the orientation of the location of the call partner terminal. . In another embodiment 4 of the present invention, the received distance information is obtained by calculating the distance between the self terminal and the call partner terminal using the received call partner terminal position information and the self terminal position information. The other party distance information acquisition means is provided, and the direction partner position display means is a mobile terminal that changes and displays the size of the mark indicating the location of the call partner terminal according to the partner distance information. Furthermore, in another embodiment 5 of the present invention, the self-terminal information transmitting means acquires the position information and self-azimuth information acquiring means acquired again by the self-position information acquiring means again after a predetermined time interval. It is a mobile terminal that transmits azimuth information to a call partner terminal. According to another embodiment 6 of the present invention, the self-terminal information transmitting means is a mobile terminal that receives an operation of an operation key and transmits it to a call partner terminal. According to another embodiment of the present invention, there is provided a movement provided with a display position recording means for storing a correspondence relationship between a call partner identifier for identifying a call partner, a position for displaying the call partner identifier, and a size of the call partner identifier. It is a terminal. Furthermore, in another embodiment 8 of the present invention, a display position for adjusting a display position of a mark indicating the location of a call partner so that all call partner identifiers of a plurality of call partner terminals can be displayed without overlapping. A mobile terminal comprising adjusting means. Further, in another embodiment 9 of the present invention, the self terminal and the call partner terminal are based on the direction in which the self terminal is facing, the direction of the location of the call partner terminal, and the direction in which the call partner terminal is facing. The mobile terminal is provided with a determination means for determining whether or not it is facing, and when the determination means determines that it is facing, the orientation partner position display means is a mobile terminal that changes and displays a mark indicating the location of the call partner terminal. . Changing the mark indicating the location of the other party's terminal is based on the size, color, and depth of the mark. It is possible to change the length, thickness, color, etc. of the arrow indicating the azimuth. Then, another embodiment 10 of the present invention determines whether or not a plurality of call partner terminals are facing each other based on the direction of the location of the plurality of call partner terminals and the direction that the call partner terminal is facing. And the azimuth partner position display means is a mobile terminal that changes and displays a mark indicating the location of the plurality of call partner terminals when it is determined that the determination means face each other. Furthermore, in another embodiment 11 of the present invention, the self-location information acquisition function for acquiring position information from the measurement data of the location of the self-terminal and the self-acquisition information from the measurement data of the direction in which the self-terminal is directed Direction information acquisition function, partner identification function for identifying the call partner terminal, self-terminal information transmission function for transmitting the position information and direction information of the own terminal to the call partner terminal, and position information and direction information of the call partner terminal Location information to obtain the location information of the other party by calculating the direction of the location of the other party using the received location information of the other party terminal and the received location information of the terminal. An acquisition function, an orientation that the terminal is facing, an orientation of the location of the other party terminal, and an orientation partner position display function that displays the orientation that the other party terminal is facing. A mobile terminal for a computer software comprising a program for realizing the. According to another embodiment of the present invention, the image of the other party can be displayed in the direction in which the other party is present, and a realistic call can be enjoyed. Also, by showing the direction the other party is facing, you can clearly see who is talking to whom when you are talking with more than one person, such as a three-party call, enabling a smooth conversation with a sense of presence. A mobile terminal can be obtained.
[0077]
【The invention's effect】
According to the present invention,It is possible to make a realistic callMobile terminalprovidebe able to.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a mobile terminal according to an embodiment.
FIG. 2 is an explanatory diagram illustrating an example of a screen displayed on the display unit in the mobile terminal according to the embodiment.
FIG. 3 is a diagram showing an angle formed by the location and orientation of two mobile terminals from the north direction.
FIG. 4 is an example of a flowchart showing an operation procedure displayed on the display unit of the mobile terminal according to the first embodiment.
FIG. 5 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the first embodiment.
FIG. 6 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the second embodiment.
FIG. 7 is an explanatory diagram illustrating an example of a display screen of a mobile terminal according to a third embodiment.
FIG. 8 is an example of a flowchart illustrating a procedure of display position adjustment processing in the mobile terminal according to the third embodiment.
FIG. 9 is an explanatory diagram illustrating an example of the contents of a display position list used in the mobile terminal according to the third embodiment.
FIG. 10 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the fourth embodiment.
FIG. 11 is an explanatory diagram illustrating an example of a display screen of the mobile terminal according to the fifth embodiment.
[Explanation of symbols]
100 mobile terminals
101 Data receiver
102 Data analysis unit
103 Self-location information acquisition unit
104 Self-direction measuring unit
105 Relative position determination unit
106 Relative bearing determination unit
107 Opponent display position / direction determination unit
108 Display
109 Imaging unit
110 Data transmitter
111 Audio playback unit

Claims

The self-location information acquisition means for measuring the location of the self-terminal to acquire position information, the self-direction information acquisition means for acquiring the direction information by measuring the direction in which the self-terminal is directed, and the counterpart terminal The other party identification means, the own terminal information transmitting means for transmitting the position information and direction information of the own terminal to the calling party terminal, the other terminal information obtaining means for receiving the position information and direction information of the calling party terminal, and the received call partner Using the position information of the terminal and the position information of the own terminal, the other party position and direction information acquisition means for calculating the direction of the other terminal viewed from the own terminal and acquiring the other party's position and direction information; And a directional partner position display means for displaying the azimuth of the partner terminal viewed from the self terminal and the azimuth facing the partner terminal.

The mobile terminal according to claim 1, wherein
The mobile terminal characterized in that the orientation partner position display means displays a mark indicating the location as a bearing of the partner terminal viewed from the self terminal at a corresponding bearing location on the circumference.

The mobile terminal according to claim 2, wherein
Using the received location information of the call partner terminal and the location information of the self terminal, and calculating the distance between the self terminal and the call partner terminal to obtain the partner distance information acquisition means, The other party position display means changes and displays the size of the mark which shows the location of a call other party terminal according to the said other party distance information, The mobile terminal characterized by the above-mentioned.

The mobile terminal according to claim 1, wherein
The self-terminal information transmitting means transmits the position information acquired again by the self-position information acquiring means and the azimuth information acquired again by the self-direction information acquiring means to the call partner terminal after a predetermined time interval. Mobile terminal.

The mobile terminal according to claim 4, wherein
The mobile terminal is characterized in that the self-terminal information transmitting means transmits an operation key operation to a call partner terminal.

The mobile terminal according to claim 1, wherein
A mobile terminal comprising a display position recording means for storing a correspondence relationship between a call partner identifier for identifying a call partner, a position for displaying the call partner identifier, and a size of the call partner identifier.

The mobile terminal according to claim 6, wherein
A mobile terminal comprising display position adjusting means for adjusting a display position of a mark indicating a location of a call partner so that all call partner identifiers of a plurality of call partner terminals can be displayed without overlapping.

The mobile terminal according to claim 1, wherein
A determination means for determining whether the self-terminal and the call partner terminal are facing each other based on the heading of the self-terminal, the heading of the partner terminal viewed from the self-terminal , and the heading of the call partner terminal; A mobile terminal characterized in that, when it is determined that the determination means are facing each other, the bearing partner position display means changes and displays a mark indicating the location of the call partner terminal.

The mobile terminal according to claim 1, wherein
Based on the orientations of a plurality of counterpart terminals viewed from the self-terminal and the orientation that the counterpart terminals are facing, a judgment means is provided for judging whether the plurality of counterpart terminals are facing each other, the judgment means facing each other The mobile terminal characterized in that the orientation partner position display means changes and displays the mark indicating the location of the plurality of call partner terminals when it is determined that the communication partner terminal is present.

Identify self-location information acquisition function that acquires position information from measurement data of the location of the self-terminal, self-direction information acquisition function that acquires direction information from measurement data in the direction the self-terminal is facing, and identify the other terminal The other party identification function, the own terminal information transmission function that transmits the position information and direction information of the own terminal to the call partner terminal, the other terminal information acquisition function that receives the position information and direction information of the call partner terminal, and the received call partner Using the position information of the terminal and the position information of the self terminal, the other party position direction information acquisition function that calculates the direction of the other terminal viewed from the self terminal and obtains the other party position direction information, and the direction the self terminal is facing When, I from a program for realizing the orientation of the partner terminal as viewed from the self-terminal, and a bearing mating position display function for displaying the azimuth facing the vent talking partner terminal to the computer For mobile terminal computer software.