JP2004320236A

JP2004320236A - Information terminal

Info

Publication number: JP2004320236A
Application number: JP2003109320A
Authority: JP
Inventors: Yoshinori Arai; 美紀新井; Yoshitaka Kanayama; 佳貴金山; Yuichiro Saito; 裕一郎齋藤
Original assignee: Sony Ericsson Mobile Communications Japan Inc
Current assignee: Sony Corp
Priority date: 2003-04-14
Filing date: 2003-04-14
Publication date: 2004-11-11

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information terminal which enables its user to photograph his own image spontaneously ascertaining his own face and preventing his own line of sight from getting out of his own face when the user photographs his own image. <P>SOLUTION: The information terminal 101a is composed of two plate-like members joined together into an L-shape in a side view, one of the plate-like members is placed on a desk or the like, and the other member can be disposed confronting its user rightly, a liquid crystal display unit 110a is provided on the side of the other member confronting its user rightly, the lens aperture 121a of a camera 120a is provided in the display region of the display unit 110a at a position at which the lens aperture 121a overlaps with the user's line of sight, and furthermore a half mirror 130a which reflects a part of light and transmits the rest of light is provided at a position to cover the display region of the liquid crystal display unit 110a. The information terminal 101a is equipped with a display switching control unit (not shown in Figure) which enables the face image of a partner sent through a communication means (not shown in Figure) to be displayed on the liquid crystal display unit 110a, or enables the user to look at the user's own image 102a reflected in the half mirror 130a. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、使用者自身の自画像を撮影可能な情報端末に関し、特にテレビジョン電話機又は携帯電話機等に好適な情報端末に関する。
【０００２】
【従来の技術】
近年、カメラ付きの携帯電話等の通信端末が盛んに開発されている。例えば下記特許文献１には、インタネットメール等の情報を視ることができる携帯用端末装置が開示されている。この特許文献１に記載の携帯用端末は、図１８（ａ）乃至（ｃ）に示すように、情報端末装置４０１のリッド部４０３を開いた状態の背面側には、アンテナ４０７とヒンジ４０８近傍に設けられた撮像カメラ４１１の開口部とを有している。また、筐体本体４０２の左側側面には表示装置４０６の表示画面４１７の各種アプリケーション機能を選択するためのジョグダイヤル４１４が設けられている。そして、リッド部４０３は筐体本体４０２に対してヒンジ４０８を介して折り畳み自在となされ、表示装置４０６の表示画面４１７、受話器４５１、各種操作部であるテンキー４０４、送話器４１３等は、リッド部４０３の内側に設けられている。この携帯用端末４０１は、リッド４０３がヒンジ４０８を介して回転可能に構成されており、従って、図１８（ａ）の背面側に表示画面４１７を向けることができ、筐体本体４０２の撮像カメラ４１１の開口部及びリッド部４０３を回転させて表示装置４０６を自分自身に向けて撮像することができるので、表示装置４０６の画面４１７上の自分自身の顔を見てモニタしながら撮像を容易に行うことができる。
【０００３】
【特許文献１】
特開２００２−３３８０９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に記載の携帯電話機本体４０１により、使用者が自分自身のことを撮影すると、画面４１７に撮像カメラ４１１からの画像が表示されるため、画面４１７を見るとカメラ４１１の開口部からは視線がずれてしまい、一方カメラ４１１の開口部を見ると、自身の正面顔を確認しながら撮影することができないという問題点がある。
【０００５】
このように、自分撮り機能のついたデジタルカメラ、携帯電話等においては、自分を撮影するカメラ位置と、撮影した自分の顔画像が表示される表示機器の位置とがずれているために、表示機器を見ながら撮影すると視線がずれ、カメラを見ながら撮影すると撮影する瞬間の自分の表情を確認することが困難である。
【０００６】
また、このような自分撮り機能を有したＴＶ電話システムにおいては、自分を撮影するカメラと相手の姿が映される液晶画面などの表示機器の位置がずれているために、相手の姿を見ながら会話をすると、カメラから目線が外れた状態になり、お互い目を合わせないで話していて話が盛り上がらない等という問題点もある。本発明は、このような従来の実情に鑑みて提案されたものであり、自分撮りの際に、使用者が目線をはずすことなく、自分の顔を確認しながら自画像を撮像することが可能な情報端末を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報端末は、使用者の顔を表示する自画像表示手段と、上記自画像表示手段に上記使用者の顔を表示した状態で、該使用者の目線に対応する位置に配置される撮像手段とを有することを特徴とする。
【０００８】
本発明においては、自画像表示手段に使用者の自画像を表示装置等に表示した状態及び／又は使用者の自画像を鏡等に映した状態で、撮像手段により使用者を撮像することができるので、撮像手段と目線を合わせ、且つ撮像される使用者自身の顔を確認しながら撮像することできる。
【０００９】
また、上記自画像表示手段は、液晶表示装置とすることができ、これにより、撮像手段により撮像された使用者の自画像を表示することができる。
【００１０】
更に、上記使用者の通信対象となる相手の顔画像を受信すると共に上記撮像手段により撮影された上記使用者の自画像を送信する通信手段と、上記通信手段により受信された上記相手の顔画像を上記自画像表示手段に表示された上記使用者の自画像に重なる位置で表示可能な相手画像表示手段と、上記自画像表示手段に表示される上記使用者の自画像と、上記相手画像表示手段に表示される上記相手の顔画像との表示を切替え制御する表示制御手段とを有することができ、通信手段を介して画像及び音声等を送受信可能とすることで、携帯電話機やテレビジョン電話として使用することができ、更に、自分の顔（自画像）と相手の顔画像とが重なる位置で表示可能であるため、通信対象となる相手の顔から目線を外すことなく、相手と目線を合わせた状態の使用者の自画像を撮像することができ、その使用者の自画像を相手に対して送信することができる。
【００１１】
更にまた、音声入力手段を有し、上記通信手段は、上記相手の音声を受信すると共に上記音声入力手段を介して入力された上記使用者の音声を送信し、上記表示制御手段は、上記通信手段を介して上記使用者と上記相手とが会話した際の音声の大きさに基づき、上記自画像表示手段に表示される上記使用者の自画像と上記相手画像表示手段に表示される上記相手の顔画像とを切り替えることができ、使用者が操作することなく、自動的に表示切替を行うことができる。
【００１２】
また、少なくとも上記自画像表示手段又は相手画像表示手段のいずれか一方が液晶表示装置からなり、上記表示制御手段は、上記液晶表示装置の輝度を変更することにより上記自画像と上記相手の顔画像との表示を切り替えるか、又は上記使用者の顔を照射する照明手段を有し、上記表示制御手段は、上記照明手段のオン／オフにより上記表示を切り替えることができ、自動又は手動により表示切替を行うことができる。
【００１３】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、使用者自身が自分の顔を自分で撮影した際に、正面から自分の顔を確認しながら目線を外すことなく、自然な感じの画像が撮影可能な情報端末に適用したものである。
【００１４】
図１は、本発明の実施の形態における情報端末を示す斜視図である。図１に示すように、本実施の形態における情報端末１は、使用者と正対する位置で使用者自身の顔を映すか、又は使用者の自画像を表示する表示部（自画像表示手段）１０と、表示部１０に、使用者の顔を映すか又は使用者自身の自画像が表示された状態で、使用者の目線に対応する位置に設けられる撮像手段であるカメラとを有し、カメラは、表示部１０に正対した状態で表示部１０を見た際の使用者の視線に対応する位置に、そのレンズ開口部２１がくるよう表示部１０の内部に配置されている。なお、表示部１０は、後述するように、例えば鏡又はハーフミラーである場合と、液晶表示装置等の表示装置である場合があり、前者の場合は使用者の自画像（顔）を映すものであり、後者の場合は、カメラ等により撮像された使用者の自画像（顔画像）を表示装置に表示するものであるが、いずれの場合も、以下では使用者の自画像を表示部に表示するという。
【００１５】
この情報端末１は、例えばテレビジョン（ＴＶ）電話システム、カメラ付き携帯電話、デジタルカメラ、腕時計型の情報端末等として使用することができ、表示部１０は、具体的には、鏡、液晶、又はプロジェクタにより画像が投影されるスクリーン等からなり、情報端末が通信手段を備える場合は、表示部を液晶表示装置又はプロジェクタにより画像が投影されるスクリーン等から構成することで自分の顔だけでなく、通信手段を介して、送られてきた相手の顔画像が表示されるように構成することが可能である。
【００１６】
この使用者と正対する位置で、使用者又は相手を表示する表示部１０の表示領域内にそのレンズ開口部が配置されるカメラは、使用者を撮影するためのものであり、この画像（映像）は、表示部１０が液晶表示装置等から構成される場合は表示部１０に表示されたり、又は通信手段を有する場合は、これを介して会話中等の通信対象となる相手側へ送信されたりする。使用者は、表示部に表示される自身の自画像を正面から観察しつつ自身の顔を撮影することができ、また、その画像が送信される相手側は、該相手の目の前で使用者から話しかけられているような自然な感じの画像を撮影することができる位置に配置される。
【００１７】
即ち、カメラのレンズ開口部２１は、自分又は相手を表示させた場合の目の付近に形成することが望ましい。具体的には、自分又は相手の顔を表示させた場合、垂直方向（上下方向）Ｙ、水平方向（左右方向）Ｘの表示領域としたとき、およそ垂直方向Ｙの上部から１／４乃至１／３程度の位置であって、水平方向Ｘの中央付近に配置することが好ましい。
【００１８】
自分をカメラで撮影しながら表示部１０を見たとき、撮影された自分自身の自画像が表示されることになるが、この際に目線がカメラに向いた状態で、且つ表示部１０に映る自分の目の位置に目線が向く位置に情報端末１の保持方向、又は頭の位置を自分で調整する。又は後述する方法で自動的に顔位置を修正してもよい。これにより、正面を向いた自然な状態の自分の顔を確認しながら撮影することができる。
【００１９】
表示部１０が、後述するように鏡又はプロジェクタからの画像を投影するためのスクリーンから形成される場合は、カメラの設置は、カメラのレンズ開口部２１がのぞく穴を空ければよいので極めて簡便な構成となる。また、カメラが極めて小型化されて、表示部１０のどこにあるかわからないような場合は、例えばカメラのレンズ開口部２１と同一の高さ方向の表示部１０の両脇等に目印のマーク等をつけておくことが好ましい。これにより、使用者は容易にカメラ位置を認識して自分の目線とカメラの高さを合わせることができ、自然な画像を撮像することができる。
【００２０】
図２（ａ）乃至（ｃ）は、表示部１０に表示される顔画像が表示領域からずれてしまったときの補正方法を示す図である。表示部１０に表示される画像は、表示部１０が鏡等で構成される場合を除き、カメラにより撮影された使用者の自画像、又は後述する情報端末の通信手段を介して相手側から送信されてくる相手画像であり、ここでは、表示部１０に表示される使用者自身又は相手の顔画像を単に顔画像１１という。これらの顔画像１１は、公知の画像認識処理を使用して、顔画像が表示部１０の中心に表示されるよう補正することができる。
【００２１】
例えば目の位置認識は比較的簡単にできるため、この目の位置認識結果を使用し、垂直方向Ｙの補正には、目と目を結ぶ直線Ｌ１を使用し、この直線Ｌ１が例えばカメラのレンズ開口部２１と同じ位置になるよう補正する。また、水平方向Ｘの補正には、右目と左目の中点を通る直線Ｌ２を求め、表示部１０の表示領域の中心位置、即ちカメラのレンズ開口部２１が形成されている位置が上記直線Ｌ２と重なるように顔画像１１をずらすことで、顔画像１１の位置を補正することができる。
【００２２】
このように、常に又は任意のタイミングで顔画像１１が表示される位置を補正することができるので、常に使用者又は相手の顔画像の目の位置に、カメラのレンズ開口部２１がくるように表示することが可能である。特に、相手の顔画像がずれていると、使用者の目線も外れてしまうことになるが、このような補正により、顔画像１１における目の位置とレンズ開口部２１との位置を合わせることができる。
【００２３】
なお、自分又は相手の顔がどの位置に表示されるかは、上述のように右目及び左眼の位置に基づき補正してもよいが、その他、肌色領域を抽出してその重心とカメラ位置を合わせたり、頭頂部や口等の顔画像の特徴点となる位置を検出してこれを使用したり、又は適宜使用者で設定するものとしてもよい。
【００２４】
以下、このような情報端末を適用した種々の具体例について説明する。図３（ａ）及び（ｂ）は、本発明の第１の具体例における情報端末１０１ａを模式的に示す夫々斜視図及び側面図である。なお、後述する図７乃至図１７において、図３と同様の構成要素には、下二桁を同一符号としその詳細な説明は省略する。
【００２５】
図３（ａ）及び（ｂ）に示すように、情報端末１０１ａは、２枚の板状部材により側面がＬ字型となっており、その一方が載置され、他方が使用者と正対する位置に配置されるよう構成され、その他方であって使用者と正対する側上に液晶表示部１１０ａが設けられている。以下、載置される側の板状部材を下側板状部材、載置面に対し略垂直に設けられ、使用者と正対する側の他方の板状部材を上側板状部材という。
【００２６】
即ち、この情報端末１０１ａは、上側板状部材に液晶表示部１１０ａが設けられ、その表示領域において使用者自身の目線と重なる位置にカメラ１２０ａのカメラのレンズ開口部１２１ａが形成され、これに合わせて液晶表示部１１０ａの内部にカメラ１２０ａが配置されている。更に液晶表示部１１０ａの表示領域を覆う位置に、一部の光を反射し、残りの光を透過するようなコーティング等が施されてなるハーフミラー１３０ａが配置されている。
【００２７】
また、この情報端末１０１ａは、図示しない通信手段を有し、上述した如く例えばテレビジョン電話機又は携帯電話機のように機能する。即ち、通信手段を介して送られてくる相手の顔画像を液晶表示部１１０ａに表示することができ、また、自身の自画像をカメラ１２０ａにて撮像して相手側に送信することができる。このように、情報端末１０１ａは、使用者がハーフミラー１３０ａ上に映った自分の自画像１０２ａを見たり、このハーフミラー１３０ａを介して液晶表示部１１０ａに表示される相手の顔画像１０３ａを観察可能に構成されており、カメラ１２０ａの撮影方向は、液晶表示部１１０ａ及びハーフミラー１３０ａの面とは垂直な方向となっている。
【００２８】
更に、情報端末１０１ａは、液晶表示部１１０ａの表示の明るさにより、使用者の自画像１０２ａをハーフミラー１３０ａに映すか、又はハーフミラー１３０ａを介して液晶表示部１１０ａを観察するようにするかを制御する表示制御手段（図示せず）を有する。
【００２９】
即ち、液晶表示部１１０ａの表示領域を覆う位置に配置されたハーフミラー１３０ａは、液晶表示部１１０ａに画像が表示されていないような場合は、ハーフミラー１３０ａの背面側の液晶画面が暗いので、ハーフミラー１３０ａが鏡のように働き、使用者が自分の自画像１０２ａをこのハーフミラー１３０ａに映すことができる。一方、液晶表示部１１０ａに相手の顔画像１０３ａが表示された場合は、液晶表示部１１０ａが明るくなるため、ハーフミラー１３０ａを通して、即ち自分の顔画像の奥に相手の顔画像１０３ａが重なって見える。
【００３０】
例えばＴＶ電話機として使用していても自分を見たいときは、液晶表示部１１０ａの表示を暗めに設定し、相手を見たいときは、その表示を明るめに設定する等により、ハーフミラー１３０ａ及び液晶表示部１１０ａに表示される顔画像の濃淡関係は、上記表示制御手段による液晶表示部１１０ａの明るさによって調整可能である。
【００３１】
そして、使用者がハーフミラー１３０ａに正対する方向から情報端末１０１ａを使用する場合、ハーフミラー１３０ａに映っている自分の自画像１０２ａと液晶表示部１１０ａに表示される相手の顔画像１０３ａとを重ねて見ることができる。この場合に相手の目の高さ方向の位置と、ハーフミラー１３０ａに映る自分の目の高さ方向の位置をほぼ同一とすることにより、例えばＴＶ電話機として使用したときに、使用者は、相手の目を見て話せば、カメラのレンズ開口部１２１ａの方向を見て話していることになり、相手側に、相手の目を見て話したような感じを与える使用者の自画像を送ることができ、使用者自身も、相手側も、ごく自然に対面して話しているような感じを得ることができる。
【００３２】
また、例えば液晶表示部１１０ａの例えば表示領域外上部にピクチャライト（照明手段）１４０ａを設け、このピクチャライト１４０ａのオン／オフにより、ハーフミラー１３０ａの表示内容を変化させてもよい。即ち、ピクチャライト１４０ａにて使用者の顔を照明すれば、ハーフミラー１３０ａには自身の自画像１０２ａが表示されるようになり、ピクチャライト１４０ａをオフすれば、ハーフミラー１３０ａを介して液晶表示装置１１０ａの表示内容、即ち相手の顔画像１０３ａの表示を観察することができる。即ち、液晶表示装置１１０ａは、後述する明るさ調整部を有し、ピクチャライト１４０ａのオン／オフや、表示部の明るさの制御を行うことで、ハーフミラー１３０ａの表示内容を切り替えることができる。
【００３３】
このような情報端末を携帯電話機として使用する場合について更に具体的に説明する。図４は、携帯電話機としての情報端末を示すブロック図である。図４に示すように、携帯電話機としての情報端末１０１は、アンテナ５３を備える通信回路（通信手段）５２、表示部１１０の表示を制御する表示制御部５４、操作部５５、ＲＯＭ５６、ＲＡＭ５７、明るさ調整部５８、光センサ５９、ライト１４０、スピーカ６３及びマイク６４に接続されたレベル判定部６１、及びカメラを制御するカメラ制御部６２が制御ライン５０を介してＣＰＵ５１に接続され、制御される。またレベル判定部６１、カメラ制御部６２、通信回路５２、表示制御部５４、及びＲＡＭ５７がデータライン６６を介して接続されている。
【００３４】
レベル判定部６１は、スピーカ６３へ出力する相手の音声及びマイク６４を介して入力される使用者の音声のレベルを判定し、このレベル判定結果を明るさ調整部５８に伝える。また、光センサ５９は、外界の明るさの度合いを検出して検出結果を出力する。明るさ調整部５８は、レベル判定結果及び明るさ検出結果に基づき、表示制御部５４を制御する。そして、表示制御部５４により表示部１１０の明るさを調整するか、ライト１４０をオン又はオフとし、表示部１１０に相手の顔画像を表示するか、ハーフミラーに使用者の自画像を映すかを切替え制御する。カメラ制御部６２は、例えば使用者からの指示によりカメラ６５のオン／オフ等を制御する。通信回路５２には、アンテナ５３を介して通信相手からのデータを受信する。
【００３５】
次に、このような第１の具体例における情報端末１０１の動作について説明する。携帯電話機として情報端末１０１を使用した場合、例えば図３における情報端末１０１ａにおいて、ハーフミラー１３０ａ上に映す使用者自身の自画像１０２ａを見やすくするか、又は液晶表示部１１０ａに表示させる相手の顔画像１０３ａを観察しやするかの表示切替は、使用者のスイッチ操作又は自動切換えにより制御可能である。
【００３６】
使用者により直接切り替え操作を行う場合、操作部５５の所定のスイッチが使用者により押下されたか否かを判定し、操作部５５にて、スイッチが押されたと判断された場合は、これが割り込み信号としてＣＰＵ５１へ通知される。ＣＰＵ５１は、それに従い、明るさ調整部５８及び光センサ５９を制御する。明るさ調整部５８は、光センサ５９の検出結果に基づき、表示制御部５４を制御して表示部１１０の明るさを制御するか、ライト１４０をオン／オフするかを決定し、表示制御部５４又はライト１４０を制御する。
【００３７】
一方、上記表示切替を自動的に行う場合は、先ずＣＰＵ５１がレベル判定部６１を起動し、レベル判定部６１がマイク６４からの入力感度（音量）と、スピーカ６３への出力感度（音量）とを測定し、所定のレベル以上であるか否かを判定する。スピーカ６３への出力感度が所定のレベル以上である場合には相手が話しているものと判断でき、マイク６４からの入力感度が所定のレベル以上である場合には使用者自身が話しているものと判断することができる。相手が話しているとき、及び自分が話しているときに、どちらの顔を表示させるかは予め使用者が設定すればよいが、例えば、マイク６４からの入力感度が所定のレベル以上である場合（使用者が話していると判定された場合）、自身の自画像が見えるように、上述と同様に、明るさ調整部５８は、光センサ５９による検出結果に基づき、表示制御部５４を制御して表示部１１０の明るさを制御するか、ライト１４０をオン／オフするかを決定し、表示制御部５４又はライト１４０を制御する。また、例えば、スピーカ６３への出力感度が所定のレベル以上である場合（相手が話していると判定した場合）、相手の顔画像が観察されやすくなるよう、表示制御部５４又はライト１４０を制御する。
【００３８】
図５は、携帯電話機として図３に示す情報端末１０１ａを使用した場合において、使用者自身の操作により使用者の自画像の表示と相手の顔画像の表示とを切り替える場合の切替方法を示すフローチャートである。また、図６は、使用者の自画像の表示と、相手の顔画像の表示とを自動的に切り替える場合の切替方法を示すフローチャートである。
【００３９】
図５に示すように、上述の光センサ５９により周囲が明るいか否かを確認し（ステップＳ１）、周囲が明るい場合であって、相手を表示させたい場合（ステップＳ２）、表示制御部を制御して液晶表示部１１０ａの明るさを上げる（ステップＳ３）。これにより、ハーフミラー１３０ａを介して液晶表示部１１０ａに表示される相手の顔画像が見やすくなる。
【００４０】
一方、周囲が明るい場合であって、相手の顔ではなく使用者自身の自画像を映したいとき（ステップＳ２、Ｎｏ）、液晶表示部１１０ａの明るさを下げ、ハーフミラー１３０ａを介した液晶表示部１１０ａの顔画像の表示を見えにくくし、代わりに自分の顔をハーフミラー１３０ａに映す。
【００４１】
また、周囲が明るくない場合（ステップＳ１、Ｎｏ）には、ピクチャライト１４０ａを使用することが好ましい。周囲が明るくなく、且つ相手の顔が見たいとき（ステップＳ５、Ｙｅｓ）、ピクチャライト１４０ａをオフとし（ステップＳ６）、ハーフミラー１３０ａを介して液晶表示部１１０ａに表示される顔画像を観察することができる。一方、周囲が明るくなく、自身の自画像を見たとき（ステップＳ５、Ｎｏ）、ピクチャライト１４０ａをオンとして自分の顔に照明を当てればハーフミラー１３０ａに自分の顔を効率よく映すことができる。
【００４２】
また、このように自分の顔と相手の顔の表示切替を自動で行う場合には、図６に示すように、上述のレベル判定部により、相手の声と自分の声の音量のレベル判定を行い、相手の声が聞こえたか否か（ステップＳ１１）により、相手側の画像表示に切り替える（ステップＳ１２）か、自分側の画像表示に切り替える（ステップＳ１３）ことで、表示画像を自動的に切り替えることができる。なお、ここでは、相手の声が聞こえた場合に相手の顔画像を見やすくするよう表示制御するものとしたが、上述したように、相手の声が聞こえた場合に、自分の顔を見やすくするようにしてもよく、また、相手の通信中には切り替えを止めて相手の顔を表示し続けるようにしてもよい。
【００４３】
本具体例においては、液晶表示部１１０ａに表示される相手の顔画像と、ハーフミラー１３０ａに映る自分の自画像１０２ａとが重ね合わされた状態で観察できると共に、液晶表示部１１０ａの表示明るさの強弱、使用者自身を照明するピクチャライト１４０ａのオン／オフ等により、使用者の所望のタイミング又は自動的に、ハーフミラー１３０ａに自身の自画像を映りやすくするか又は液晶表示部の表示内容を観察しやすくして相手又は自分の顔を見ることができる。そして、使用者が自身の自画像を映した状態で撮影すれば、カメラから視線を外すことなく、且つ使用者が自分の顔を確認しながら自分の顔を撮影することができ、また相手の顔画像を表示させた状態で撮影すれば、相手の顔から視線を外すことなく、相手と視線を合わせた状態の自画像を撮像することができ、更には、使用者と相手とが通信端末を介して会話等をする際、相手と目線を合わせた状態で撮影された使用者の自画像を相手に送信することで、使用者及び相手は、実際に両者が正対して会話しているような自然な感じを得ることができる。
【００４４】
また、ハーフミラー１３０ａがなくてもよく、図７に示すように、自分の顔画像も相手の顔画像も１つの液晶表示部１１０ｂに表示するようにしてもよい。この場合、自分の顔は、カメラ１２０ｂにより撮影された画像として液晶表示部１１０ｂに表示される。ここでも、上述したように、自分の自画像１０２ｂの表示と相手の顔画像１０３ｂの表示とは、自動又は手動にて任意のタイミングで切り替えることができる。従って、例えばＴＶ電話機又は携帯電話機等として使用する場合、相手が発言している最中は相手の顔を表示させ、自分が発言している最中は自分の顔を表示させるなど、適宜切り替えることができる。また、画像処理によって、自分と顔画像と、相手の顔画像とをオーバーラップさせて表示することも可能である。
【００４５】
更に、図３に示す情報端末１０１ａでは載置される側の下側板状部材を、図８に示すように、相手の顔画像１０４ｃを表示する相手画像表示手段としての液晶表示部１５０ｃとしてもよい。そして、自身の自画像１０２ｃを表示させる液晶表示部１１０ｃに対し、ハーフミラー１３０ｃを例えば４５°傾斜して設ける。
【００４６】
これにより、自分の顔画像が上側液晶表示部１１０ｃに表示され、相手の顔画像１０４ｃが下側液晶表示部１５０ｃに逆向きに表示される。なお、上側液晶表示部１１０ｃに相手の顔画像を表示させ、下側液晶表示部１５０ｃに自分の顔画像を表示させるようにしてもよい。
【００４７】
図３と同様に、上側液晶表示部１１０ｃには、使用者自身の顔を撮影するカメラ１２０ｃがそのカメラ開口部１２１ｃが使用者の目線と対応する位置となるよう内蔵されており、カメラ１２０ｃにより撮像された自画像が、例えば上側表示装置１１０ｃに表示される。ハーフミラー１３０ｃには、下側液晶表示部１５０ｃからの相手の顔画像が表示され、上述したように、液晶表示の明るさを変更したり、ピクチャライトのオン／オフにより、ハーフミラー１３０ｃを介して自身の自画像を観察しやすくするか、ハーフミラー１３０ｃ上の相手の顔画像を観察しやすくするかの表示切替を行うことができる。
【００４８】
次に、本発明の第２の具体例について説明する。図９（ａ）及び（ｂ）は、本具体例における情報端末を示す夫々斜視図及び側面図である。図９（ａ）及び（ｂ）に示すように、情報端末２０１ａは、第１の具体例と同様に、２枚の板状部材が組み合わされ側面がＬ字型の形状となっており、Ｌ字型の上側板状部材は、自分を映す自画像表示手段としての鏡２１１が設けられており、その表示領域の視線と対応する位置にカメラ２２０が設置されている。このカメラ２２０の撮影方向は、鏡２１１と垂直な方向となっており、使用者は鏡２１１と正対する位置にてこの情報端末２０１ａを使用する。
【００４９】
また、下側板状部材は、相手の顔画像が表示される相手画像表示手段としての液晶表示部２５０が設けられており、側面から見ると、液晶表示部２５０と鏡２１１とは略９０°となるよう組み合わされている。更に、この液晶表示部２５０と鏡２１１との間、即ち、側面からみて液晶表示部２５０から略４５°傾斜した位置にハーフミラー２３０が取り付けられ、液晶表示部２５０に表示される相手の顔画像２０４が反転した状態でハーフミラー２３０に映し出され、このハーフミラー２３０に映された相手の顔画像２０３を使用者が観察することができる。また、使用者は、ハーフミラー２３０を通して鏡２１１に映った自分の自画像２０２を観察することができる。
【００５０】
液晶表示部２５０には、相手の顔画像の顎側が鏡２１１との接続側、頭頂部側が手前側になるよう、即ち上下逆方向に表示されており、この顔画像２０４がハーフミラー２３０に表示されることで反転され、正常な方向の顔画像２０３となる。ハーフミラー２３０は、上述したようにある程度の光は透過し、ある程度の光は反射するため、ハーフミラー２３０の後ろが暗いと手前のものがよく見えて、ハーフミラー２３０の後ろが明るいと、奥のものがよく見える性質がある。
【００５１】
使用者は、情報端末２０１ａの鏡２１１に正対する方向から、情報端末２０１ａを見て使用する場合は、このような配置にすることにより、液晶表示部２５０に逆向き（頭頂部が下側）に映っている相手の顔画像が上下反転してハーフミラー２３０に映しだされ、鏡２１１に映っている自分の画像２０２と重ね合わせて見ることができる。
【００５２】
この場合に相手の目の高さ方向の位置と、鏡２１１に映る自分の目の高さ方向の位置をほぼ同一とすることにより、例えばＴＶ電話機として使用したときに、相手の目を見て話せば、カメラ２２０の方向を見て話していることになり、相手側に、相手を自然に見つめているようなユーザの顔画像を送信することができる。
【００５３】
なお、本実施例の鏡２１１は、単純な平面鏡を用いた例を示しているが、情報端末の大きさによって、例えば、携帯電話サイズの場合、平面鏡では自分の顔が大きすぎて、目線の調整が困難になる等の場合には、平面鏡ではなく凸面鏡等の画角の広いものを用いたり適宜変更するものとする。また、使用者が撮影された自分の顔画像を見たい場合は、液晶表示部２５０に使用者の自画像を表示させ、これをハーフミラー２３０により見られるようにしてもよい。
【００５４】
また、図１０（ａ）及び（ｂ）に示すように、図９に示す鏡２１１と、液晶表示部２５０との接続部２６０を回転可能に構成することで、情報端末２０１ａは、折りたたむことができるようになり、更に可搬しやすくなる。
【００５５】
また、ハーフミラー２３０と、鏡２１１との隙間から光が入らないように遮光する遮光部を設けてもよい。図１１（ａ）及び（ｂ）は、遮光部２６１を設けた情報端末を示す斜視図及び側面図である。図１１に示すように、情報端末２０１ｂは、ハーフミラー２３０を４５°傾けて設置する例えば上述の図８、図９、及び後述する図１７に示すようなタイプに関しては、天面方向が映り込んでしまうことを防止する遮光板２６１を設けることが好ましい。この遮光板２６１は、天面のみではなく、サイドにも設置されることが望ましい。また、図１０に示す折りたたみ情報端末２０１ａとする場合は、図１１に示す遮光部２６１を取り外し可能としてもよいが、蛇腹状に形成すると折りたたむ際に便利である。
【００５６】
次に、本発明の第３の具体例について説明する。図１２（ａ）及び（ｂ）は、本具体例における情報端末を示す斜視図及び側面図である。本具体例は、表示手段として、スクリーンにプロジェクタから投影される顔画像を表示するものである。
【００５７】
図１２に示すように、情報端末３０１ａは、自分の顔を表示する自画像表示手段として鏡を使用し、相手の顔を表示する相手画像表示手段としてプロジェクタを使用するものであって、上側板状部材に鏡３１１ａが設けられ、下側板状部材が載置されるよう側面からみてＬ字型の形状となるよう両者が接続され、鏡３１１ａに映った自身の視線と重なる位置にはカメラ３２０ａが配置され、鏡３１１ａの表示領域を覆う位置にスクリーンとして働くハーフミラー３３０ａが配置されている。更に、本実施の形態においては、載置される側の下側板状部材の上面の手前から鏡３１１ａの表示領域を覆う位置に設けられたハーフミラー３３０ａに対し、相手の画像を投影するプロジェクタ３７０ａが設けられており、ハーフミラー３３０ａをスクリーンとして相手の顔画像を映し出すよう構成されている。
【００５８】
即ち、上述したようにＴＶ電話機又は携帯電話等として使用する場合、相手の顔画像のデータが通信手段を介して送られ、この送られてくる相手の顔画像３０３ａをプロジェクタ３７０ａからハーフミラー３３０ａ上に投影する。一方、鏡３１１ａに映った使用者自身の自画像３０２ａは、ハーフミラー３３０ａを介して観察することができる。
【００５９】
また、図１３に示すように、ハーフミラー３３０ｂを、使用者自身の自画像３０２ｂを映す自画像表示手段として、載置される下側板状部材の手前に配置し、ハーフミラー３３０ｂのすぐ後ろにプロジェクタ３７０ｂを配置し、図１２で鏡となっていたＬ字を構成するもう一方の上側板状部材にスクリーン３８０ｂを配置し、プロジェクタ３７０ｂから後方のスクリーン３８０ｂに相手の顔画像を投影するようにしてもよい。この場合は、スクリーン３８０ｂの使用者の目線となる位置に穴を形成し、ここにカメラ３２０ｂを配置する。
【００６０】
情報端末３０１ｂはＬ字形状であるが、相手を映し出すスクリーン３８０ｂより手前に、自分が映し出されるハーフミラー３３０ｂが配置される。即ち、手前に自分の自画像３０２ｂが映り、奥に相手の顔画像３０３ｂが表示される。これまで説明した上述の情報端末においては、相手の顔画像と自分の自画像とが、同一平面上又は隣接する平面上に重なり合うことにより、２つの位置関係が近くなり、人間の目では相手の顔画像又は自身の自画像を見るかを選択できない場合があったが、このように、自画像と相手の顔画像が映る面に距離があれば、人間の目で比較的容易に焦点を調整して、いずれの表示を見るかを選択可能となる。
【００６１】
更には、図１４に示すように、図１３と同様、Ｌ字型であって、載置される側となる下側板状部材の手前にハーフミラー３３０ｃを使用者と正対可能なように設け、相手の顔画像３０３ｃ及び使用者自身の自画像３０２ｃをこのハーフミラー３３０ｃに重ねて映すようにすることもできる。この場合、使用者自身の自画像３０２ｃはハーフミラー３３０ｃに直接映され、相手の顔画像３０３ｃは、載置される下側板状部材の奥側に設けられたプロジェクタ３７０ｃからハーフミラー３３０ｃの背面に投影される。このように、ハーフミラー３３０ｃを、使用者の自画像を映す鏡及びプロジェクタ３７０ｃからの画像を映すスクリーンとして兼用することで、コストの低減を図ることができる。
【００６２】
また、図５では、液晶表示部１つを使用して、相手の顔画像の表示と自身の自画像の表示とを切り替えるものとしたが、図１５に示すように、これをプロジェクタにより行ってもよい。上側板状部材にスクリーン３８０ｄを設け、下側板状部材の手前側にプロジェクタ３７０ｄを配置し、そこからスクリーン３８０ｄ上に自身の自画像３０２ｄ又は相手の顔画像３０３ｄの表示を所望のタイミング又は自動で切り替えて表示してもよい。なお、プロジェクタ３７０ｄは、自分用、相手用と２つ用意し、必要によっては両者を重ね合わせて投射するようにしてもよい。例えば、スクリーン３８０ｄ上の上部領域に自分の自画像３０２ｄを、下部領域に相手の顔画像３０３ｄを映し出すようにしてもよい。なお、そのように別領域に映し出す場合は、予め、その領域に正対した際に、使用者の目線となる領域にもカメラを取り付けておけばよい。
【００６３】
また、プロジェクタによる表示と液晶表示部による表示とを組み合わせてもよい。例えば、図１６に示すように、上側板状部材を相手の顔を表示する液晶表示部３５０ｅとし、下側板状部材の手前にプロジェクタ３７０ｅを配置し、液晶表示部３５０ｅのすぐ手前、即ち液晶表示部３５０ｅの表示領域を覆う位置にハーフミラー３３０ｅを配置し、このハーフミラー３３０ｅにプロジェクタ３７０ｅにより使用者自身の自画像を投影するものとすることができる。これにより、自分の自画像３０２ｅをプロジェクタ３７０ｅにてハーフミラー３３０ｅに投影し、相手の顔画像３０３ｅは、液晶表示部３５０ｅに表示させ、これをハーフミラー３３０ｅに映して観察するようにすることができる。
【００６４】
更に、図１７に示すように、図９に示した鏡２１１をプロジェクタ及びスクリーンのセットに置き換えたものとしてもよい。即ち、上側板状部材にクリーン３８０ｆを設け、下側板状部材に液晶表示部３５０ｆを設け、この液晶表示部３５０ｆに、上下反対に表示された相手の顔画像３０４ｆをハーフミラー３３０ｆに上下反転して映しだし、使用者自身の顔はカメラ３２０ｆにより撮像された画像をプロジェクタ３７０ｆからスクリーン３８０ｆ上に投射された自画像３０２ｆとしてハーフミラー３３０ｆを介して観察することができる。
【００６５】
なお、上記図１５乃至図１７における使用者の自画像は、カメラにより撮像された画像がスクリーンに投影されたものである。例えば図１７では、プロジェクタ３７０ｆによりスクリーンに投影される使用者自身の自画像３０２ｆは、スクリーン３８０ｆに設けられた穴にそのレンズ開口部３２１ｆがはめ込まれたカメラ３２０ｆからの画像である。
【００６６】
これら第１乃至第３の具体例においては、例えば情報端末をテレビ電話機として使用した場合等において、表示される相手の目線と自分の目線とを合わせることが容易に可能となり、コミュニケーションをとり易く会話がはずむ。また、相手側は、使用者が自分の顔を真剣に見ていてくれていると思うため、相手側が使用者に対して親近感を抱くことができ、また、例えば間違って自分の顔を表示するよう操作し、自分の顔を表示させているような場合であっても、相手の顔と使用者の顔とは目線が同じ位置にあるため、使用者が相手を見ていると相手に思われる画像が相手側へ送られるため、相手の気分を害すことがない。また、自分撮りをする際、どのような表情で撮影するか確認しながら撮れるので、納得いく画像（映像）を撮ることができる。
【００６７】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上記第１乃至第３の具体例においては、２つの板状部材からなるＬ字型の構成としたが、必ずしも載置させるタイプとする必要はなく、例えば図７に示すような液晶表示部１つでよい場合等は、手で保持する保持部を設けて、手で保持しながら使用できるような形状としてもよい。
【００６８】
【発明の効果】
以上詳細に説明したように本発明に係る情報端末は、使用者の顔を表示する自画像表示手段と、上記自画像表示手段に上記使用者の顔を表示した状態で、該使用者の目線に対応する位置に配置される撮像手段とを有するので、使用者は自画像表示手段により自分の顔を見ながら視線を外さず撮像手段により使用者自身の顔を撮像することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における情報端末を示す斜視図である。
【図２】（ａ）乃至（ｃ）は、本発明の第１の実施の形態における情報端末の表示部に表示される顔画像が表示領域からずれてしまったときの補正方法を示す図である。
【図３】（ａ）及び（ｂ）は、本発明の第１の具体例における情報端末を示す夫々斜視図及び側面図である。
【図４】本発明の第１の具体例における携帯電話機としての情報端末を示すブロック図である。
【図５】図３に示す情報端末を使用した場合において、使用者自身の操作により表示を切り替える場合の切替方法を示すフローチャートである。
【図６】図３に示す情報端末を使用した場合において、使用者の自画像の表示と、相手の顔画像の表示とを自動的に切り替える場合の切替方法を示すフローチャートである。
【図７】（ａ）及び（ｂ）は、本発明の第１の具体例における変形例を示す夫々斜視図及び側面図である。
【図８】（ａ）及び（ｂ）は、本発明の第１の具体例における他の変形例を示す夫々斜視図及び側面図である。
【図９】（ａ）及び（ｂ）は、本発明の第２の具体例における情報端末を示す夫々斜視図及び側面図である。
【図１０】（ａ）及び（ｂ）は、本発明の第２の具体例における情報端末を折りたたみ可能の構成とした場合を示す側面図である。
【図１１】（ａ）及び（ｂ）は、本発明の第２の具体例における情報端末において遮光部を設けた場合を示す夫々斜視図及び側面図である。
【図１２】（ａ）及び（ｂ）は、本発明の第３の具体例における情報端末を示す夫々斜視図及び側面図である。
【図１３】（ａ）及び（ｂ）は、本発明の第３の具体例における変形例を示す夫々斜視図及び側面図である。
【図１４】（ａ）及び（ｂ）は、本発明の第３の具体例における他の変形例を示す夫々斜視図及び側面図である。
【図１５】（ａ）及び（ｂ）は、本発明の第３の具体例における他の変形例を示す夫々斜視図及び側面図である。
【図１６】（ａ）及び（ｂ）は、本発明の第３の具体例における他の変形例を示す夫々斜視図及び側面図である。
【図１７】（ａ）及び（ｂ）は、本発明の第３の具体例における他の変形例を示す夫々斜視図及び側面図である。
【図１８】特許文献１に記載の携帯電話機本体を示す図である。
【符号の説明】
１，１０１ａ，１０１ｂ，１０１ｃ，２０１ａ，２０１ｂ，３０１ａ，３０１ｂ，３０１ｃ，３０１ｄ，３０１ｅ，３０１ｆ情報端末、２１，１２１ａ，１２１ｂ，１２１ｃ，２２１，３２１ａ，３２１ｂ，３２１ｃ，３２１ｄ，３２１ｅ，３２１ｆレンズ開口部、１０表示部、５０制御ライン、５１ＣＰＵ、５２通信回路、５４表示制御部、５５操作部、５６ＲＯＭ、５７ＲＡＭ、５８明るさ調整部、５９光センサ、６０ライト、６１レベル判定部、６２カメラ制御部、６３スピーカ、６４マイク、６５カメラ、６６データライン、１０２ａ，２０２，３０２ａ，３０２ｂ，３０２ｃ，３０２ｆ使用者の自画像、１０２ｂ，１０２ｃ，３０２ｄ，３０２ｅ相手の顔画像、１０３ａ，１０３ｂ，１０３ｃ，１０４ｃ，２０３，２０４，３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ，３０３ｅ，３０３ｆ相手の顔画像、１１０ａ，１１０ｂ，１１０ｃ，１５０ｃ，２５０，３５０ｅ液晶表示部、１２０ａ，１２０ｂ，１２０ｃ，２２０，３２０ａ，３２０ｂ，３２０ｃ，３２０ｄ，３２０ｅ，３２０ｆカメラ、２１１，３１１ａ鏡、１３０ａ，１３０ｃ，２３０，３３０ａ，３３０ｂ，３３０ｃ，３３０ｅ，３３０ｆハーフミラー、１４０，１４０ａピクチャライト、２６０接続部、２６１遮光板、３７０ａ，３７０ｂ，３７０ｃ，３７０ｄ，３７０ｅ，３７０ｆプロジェクタ、３８０ｃ，３８０ｄ，３８０ｆスクリーン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information terminal capable of photographing a self-portrait of a user, and more particularly to an information terminal suitable for a television phone, a mobile phone, or the like.
[0002]
[Prior art]
In recent years, communication terminals such as mobile phones with cameras have been actively developed. For example, Patent Literature 1 below discloses a portable terminal device capable of viewing information such as Internet mail. As shown in FIGS. 18A to 18C, the portable terminal described in Patent Literature 1 has an antenna 407 and a hinge 408 on the back side of the information terminal device 401 with the lid 403 opened. And the opening of the imaging camera 411 provided in the camera. A jog dial 414 for selecting various application functions on a display screen 417 of the display device 406 is provided on the left side surface of the housing body 402. The lid portion 403 is foldable with respect to the housing main body 402 via a hinge 408. It is provided inside the part 403. The portable terminal 401 has a configuration in which the lid 403 is rotatable via the hinge 408, so that the display screen 417 can be directed to the rear side in FIG. Since the image of the display device 406 can be directed to itself by rotating the opening portion and the lid portion 403 of the display device 411, the image can be easily captured while monitoring the user's own face on the screen 417 of the display device 406. It can be carried out.
[0003]
[Patent Document 1]
JP-A-2002-33809
[0004]
[Problems to be solved by the invention]
However, when the user takes a picture of himself / herself using the mobile phone main body 401 described in Patent Document 1, an image from the imaging camera 411 is displayed on the screen 417. There is a problem in that the line of sight deviates from the part, and when looking at the opening of the camera 411, it is not possible to take a picture while checking the front face of the user.
[0005]
As described above, in a digital camera, a mobile phone, or the like having a self-portrait function, the position of the camera that captures the self and the position of the display device on which the captured face image is displayed are shifted. When photographing while looking at the device, the line of sight is displaced, and when photographing while looking at the camera, it is difficult to confirm one's expression at the moment of photographing.
[0006]
Also, in a TV phone system having such a self-portrait function, since the position of a camera for photographing oneself and a display device such as a liquid crystal screen on which the other person's figure is projected are displaced, the other person's figure is viewed. While talking, there is a problem that the eyes are out of sight of the camera, and talking is not performed with each other's eyes, so that the conversation does not excite. The present invention has been proposed in view of such a conventional situation. In taking a self-portrait, a user can take a self-portrait while checking his / her face without taking his / her eyes off. An object is to provide an information terminal.
[0007]
[Means for Solving the Problems]
In order to achieve the above-mentioned object, an information terminal according to the present invention includes a self-portrait display means for displaying a user's face, and a display of the user's face on the self-portrait display means, and And imaging means arranged at a position corresponding to
[0008]
In the present invention, the user can be imaged by the imaging means in a state where the self-image of the user is displayed on the display device or the like on the self-image display means and / or in a state where the self-image of the user is reflected on a mirror or the like. The image can be taken while aligning the eyes with the imaging means and confirming the user's own face to be imaged.
[0009]
Further, the self-portrait display means can be a liquid crystal display device, whereby the self-portrait of the user captured by the imaging means can be displayed.
[0010]
Further, communication means for receiving the face image of the other party to be communicated with the user and transmitting the self image of the user photographed by the imaging means, and transmitting the face image of the other party received by the communication means. A partner image display means that can be displayed at a position overlapping the user's self image displayed on the self image display means, a self image of the user displayed on the self image display means, and a user image displayed on the partner image display means Display control means for switching and controlling the display of the face image of the other party, and by enabling transmission and reception of images and voices via the communication means, can be used as a mobile phone or a videophone. Can be displayed at a position where the user's own face (self-portrait) and the other person's face image overlap, so that the eyes of the other party to be communicated with can be displayed without taking the eyes off the face of the other party. Can image the self-portrait of the user of the Align was state, it can transmit self-portrait of the user to the other.
[0011]
Still further, the apparatus has voice input means, wherein the communication means receives the voice of the other party and transmits the voice of the user input via the voice input means, and the display control means includes A self-portrait of the user displayed on the self-portrait display means and a face of the opponent displayed on the other-party image display means, based on a volume of voice when the user and the other party have a conversation via the means. The display can be switched, and the display can be switched automatically without the user's operation.
[0012]
Further, at least one of the self-image display means and the other-party image display means is formed of a liquid crystal display device, and the display control means changes the brightness of the liquid crystal display device so that the self-image and the other person's face image are compared. The display control means can switch the display by turning on / off the lighting means, and can switch the display automatically or manually. be able to.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. According to this embodiment, the present invention is applied to a case in which when a user himself / herself takes a picture of his / her own face, an image with a natural feeling can be taken without removing his / her eyes while checking his / her face from the front. Applied to terminals.
[0014]
FIG. 1 is a perspective view showing an information terminal according to an embodiment of the present invention. As shown in FIG. 1, the information terminal 1 according to the present embodiment includes a display unit (self-image display means) 10 for displaying a user's own face at a position directly facing the user or displaying a self-image of the user. A camera which is an imaging means provided at a position corresponding to the user's eyes while displaying the face of the user or displaying a self-portrait of the user himself on the display unit 10; The lens opening 21 is disposed inside the display unit 10 such that the lens opening 21 is located at a position corresponding to the user's line of sight when viewing the display unit 10 while facing the display unit 10. The display unit 10 may be, for example, a mirror or a half mirror, or a display device such as a liquid crystal display device, as will be described later. In the former case, the display unit 10 displays a self-portrait (face) of the user. In the latter case, the self-portrait (face image) of the user captured by a camera or the like is displayed on the display device. In any case, the self-portrait of the user is hereinafter displayed on the display unit. .
[0015]
The information terminal 1 can be used as, for example, a television (TV) telephone system, a camera-equipped mobile phone, a digital camera, a wristwatch-type information terminal, and the like. Or, when the information terminal is provided with a communication means, which comprises a screen or the like on which an image is projected by a projector, the display unit is constituted by a screen or the like on which an image is projected by the liquid crystal display device or the projector, so that not only its own face but also It is possible to configure so that the face image of the other party sent via the communication means is displayed.
[0016]
The camera in which the lens opening is disposed in the display area of the display unit 10 for displaying the user or the partner at the position facing the user is for photographing the user. ) Is displayed on the display unit 10 when the display unit 10 is composed of a liquid crystal display device or the like, or is transmitted to a communication partner side during a conversation or the like via a communication unit when the display unit 10 has communication means. I do. The user can photograph his / her own face while observing his / her own image displayed on the display unit from the front, and the other party to which the image is transmitted is placed in front of the user in front of the other party. It is arranged at a position where an image with a natural feeling as if spoken from can be taken.
[0017]
That is, it is desirable that the lens opening 21 of the camera is formed near the eyes when the user or the other party is displayed. Specifically, when the face of oneself or the other party is displayed, the display area in the vertical direction (vertical direction) Y and the horizontal direction (horizontal direction) X is approximately 1/4 to 1 from the top in the vertical direction Y. It is preferable to arrange it at a position of about / 3 and near the center in the horizontal direction X.
[0018]
When the user looks at the display unit 10 while photographing himself with the camera, his / her own self-portrait is displayed. At this time, the self-portrait with the eyes facing the camera and the self-portrait The user himself or herself adjusts the holding direction of the information terminal 1 or the position of the head to a position where the line of sight is directed to the eye position. Alternatively, the face position may be automatically corrected by a method described later. Thus, it is possible to take a picture while confirming the natural face of the user facing the front.
[0019]
When the display unit 10 is formed of a screen for projecting an image from a mirror or a projector as described later, the camera is extremely simple to install since the lens opening 21 of the camera only needs to make a hole through the hole. Configuration. If the camera is extremely small and it is difficult to determine where it is located on the display unit 10, for example, mark marks or the like are placed on both sides of the display unit 10 in the same height direction as the lens opening 21 of the camera. It is preferable to attach it. Thus, the user can easily recognize the camera position, adjust his / her eyes and the height of the camera, and capture a natural image.
[0020]
FIGS. 2A to 2C are diagrams illustrating a correction method when the face image displayed on the display unit 10 is shifted from the display area. The image displayed on the display unit 10 is transmitted from the other party via a self-portrait of the user photographed by the camera or a communication unit of an information terminal described later, unless the display unit 10 is configured by a mirror or the like. Here, the face image of the user himself or the other person displayed on the display unit 10 is simply referred to as a face image 11. These face images 11 can be corrected so that the face images are displayed at the center of the display unit 10 using a known image recognition process.
[0021]
For example, since the position recognition of the eyes can be performed relatively easily, the result of the position recognition of the eyes is used, and a straight line L1 connecting the eyes is used for the correction in the vertical direction Y. Correction is made so as to be at the same position as the opening 21. For the correction in the horizontal direction X, a straight line L2 passing through the midpoint between the right eye and the left eye is obtained, and the center position of the display area of the display unit 10, that is, the position where the lens opening 21 of the camera is formed is the straight line L2. The position of the face image 11 can be corrected by shifting the face image 11 so as to overlap with.
[0022]
In this manner, the position where the face image 11 is displayed can be corrected at any time or at an arbitrary timing, so that the lens opening 21 of the camera always comes to the eye position of the user or partner's face image. It is possible to display. In particular, if the face image of the other party is displaced, the user's eyes will also be out of sight, but such correction makes it possible to match the position of the eyes in the face image 11 with the position of the lens opening 21. it can.
[0023]
The position where the face of the user or the other party is displayed may be corrected based on the positions of the right eye and the left eye as described above, but in addition, a skin color region is extracted and the center of gravity and the camera position are extracted. It is also possible to detect and use the positions that are characteristic points of the face image such as the top and the mouth, or to set them appropriately by the user.
[0024]
Hereinafter, various specific examples to which such an information terminal is applied will be described. FIGS. 3A and 3B are a perspective view and a side view schematically showing the information terminal 101a according to the first specific example of the present invention. In FIGS. 7 to 17 to be described later, the same components as those in FIG. 3 are denoted by the same last two digits, and detailed description thereof is omitted.
[0025]
As shown in FIGS. 3A and 3B, the information terminal 101a has an L-shaped side surface formed by two plate-shaped members, one of which is placed, and the other facing the user. The liquid crystal display section 110a is provided on the other side, which is opposite to the user. Hereinafter, the plate member on the mounting side is referred to as a lower plate member, and the other plate member provided substantially perpendicular to the mounting surface and facing the user is referred to as an upper plate member.
[0026]
That is, in the information terminal 101a, a liquid crystal display unit 110a is provided on an upper plate-shaped member, and a lens opening 121a of a camera of a camera 120a is formed at a position overlapping with a user's own eyes in a display area thereof. The camera 120a is arranged inside the liquid crystal display unit 110a. Further, a half mirror 130a provided with a coating or the like that reflects a part of the light and transmits the remaining light is disposed at a position that covers the display area of the liquid crystal display unit 110a.
[0027]
The information terminal 101a has a communication unit (not shown), and functions as a television phone or a mobile phone as described above, for example. That is, the face image of the other party sent via the communication unit can be displayed on the liquid crystal display unit 110a, and the self image of the other party can be captured by the camera 120a and transmitted to the other party. As described above, the information terminal 101a allows the user to view his / her own image 102a reflected on the half mirror 130a and to observe the face image 103a of the other party displayed on the liquid crystal display unit 110a via the half mirror 130a. The shooting direction of the camera 120a is a direction perpendicular to the surfaces of the liquid crystal display unit 110a and the half mirror 130a.
[0028]
Furthermore, the information terminal 101a determines whether to display the self-portrait 102a of the user on the half mirror 130a or to observe the liquid crystal display unit 110a via the half mirror 130a, depending on the brightness of the display on the liquid crystal display unit 110a. It has display control means (not shown) for controlling.
[0029]
That is, the half mirror 130a disposed at a position covering the display area of the liquid crystal display unit 110a has a dark liquid crystal screen on the back side of the half mirror 130a when no image is displayed on the liquid crystal display unit 110a. The half mirror 130a works like a mirror, and the user can project his / her own self-portrait 102a on the half mirror 130a. On the other hand, when the face image 103a of the other party is displayed on the liquid crystal display section 110a, the liquid crystal display section 110a becomes bright, so that the face image 103a of the other party appears to be superimposed on the half mirror 130a, that is, behind the face image of the user. .
[0030]
For example, if you want to see yourself even if you are using it as a TV phone, set the display on the liquid crystal display unit 110a to be darker, and if you want to see the other party, set the display to be brighter. The shading relationship of the face image displayed on the display unit 110a can be adjusted by the brightness of the liquid crystal display unit 110a by the display control unit.
[0031]
When the user uses the information terminal 101a from a direction directly facing the half mirror 130a, the self-portrait 102a of the user reflected on the half mirror 130a and the face image 103a of the other party displayed on the liquid crystal display unit 110a are overlapped. You can see. In this case, by making the position of the other person's eyes in the height direction substantially the same as the position of their own eyes reflected on the half mirror 130a, when using as a TV phone, for example, If you talk with your eyes, you are talking looking at the direction of the lens opening 121a of the camera, and sending the other person a self-portrait of the user who gives the feeling of talking with your eyes. This makes it possible for the user and the other party to feel as if they are speaking naturally.
[0032]
In addition, for example, a picture light (illumination unit) 140a may be provided above the liquid crystal display unit 110a outside the display area, for example, and the display content of the half mirror 130a may be changed by turning on / off the picture light 140a. That is, when the user's face is illuminated by the picture light 140a, the self-portrait 102a of the user is displayed on the half mirror 130a, and when the picture light 140a is turned off, the liquid crystal display device is connected via the half mirror 130a. The display content of 110a, that is, the display of the face image 103a of the other party can be observed. That is, the liquid crystal display device 110a has a brightness adjustment unit described later, and can switch the display content of the half mirror 130a by turning on / off the picture light 140a and controlling the brightness of the display unit. .
[0033]
A case where such an information terminal is used as a mobile phone will be described more specifically. FIG. 4 is a block diagram showing an information terminal as a mobile phone. As shown in FIG. 4, an information terminal 101 as a mobile phone includes a communication circuit (communication means) 52 having an antenna 53, a display control unit 54 for controlling display on a display unit 110, an operation unit 55, a ROM 56, a RAM 57, and a brightness. The level adjustment unit 58, the optical sensor 59, the light 140, the level determination unit 61 connected to the speaker 63 and the microphone 64, and the camera control unit 62 for controlling the camera are connected to the CPU 51 via the control line 50 and controlled. . Further, a level determination unit 61, a camera control unit 62, a communication circuit 52, a display control unit 54, and a RAM 57 are connected via a data line 66.
[0034]
The level determination unit 61 determines the level of the voice of the other party output to the speaker 63 and the level of the user's voice input via the microphone 64, and transmits the level determination result to the brightness adjustment unit 58. The optical sensor 59 detects the degree of brightness of the outside world and outputs a detection result. The brightness adjustment unit 58 controls the display control unit 54 based on the level determination result and the brightness detection result. The display control unit 54 adjusts the brightness of the display unit 110, turns the light 140 on or off, and displays the face image of the other party on the display unit 110, or displays the self-portrait of the user on the half mirror. Control switching. The camera control unit 62 controls on / off of the camera 65 in accordance with, for example, an instruction from a user. The communication circuit 52 receives data from a communication partner via an antenna 53.
[0035]
Next, the operation of the information terminal 101 in the first specific example will be described. When the information terminal 101 is used as a mobile phone, for example, in the information terminal 101a in FIG. 3, the self-portrait 102a of the user himself or herself projected on the half mirror 130a can be easily viewed, or the face image 103a of the partner displayed on the liquid crystal display unit 110a. Can be controlled by a user's switch operation or automatic switching.
[0036]
When the switching operation is directly performed by the user, it is determined whether or not a predetermined switch of the operation unit 55 is pressed by the user. If the operation unit 55 determines that the switch is pressed, this is an interrupt signal. Is notified to the CPU 51. The CPU 51 controls the brightness adjuster 58 and the optical sensor 59 accordingly. The brightness adjustment unit 58 determines whether to control the brightness of the display unit 110 by controlling the display control unit 54 or to turn on / off the light 140 based on the detection result of the optical sensor 59, 54 or the light 140 is controlled.
[0037]
On the other hand, when performing the display switching automatically, first, the CPU 51 activates the level determination unit 61, and the level determination unit 61 determines the input sensitivity (volume) from the microphone 64 and the output sensitivity (volume) to the speaker 63. Is measured, and it is determined whether or not it is higher than a predetermined level. When the output sensitivity to the speaker 63 is equal to or higher than a predetermined level, it can be determined that the other party is talking. When the input sensitivity from the microphone 64 is equal to or higher than the predetermined level, the user is talking. Can be determined. The user may set in advance which face should be displayed when the other party is talking and when he / she is talking, for example, when the input sensitivity from the microphone 64 is equal to or higher than a predetermined level. As described above, the brightness adjustment unit 58 controls the display control unit 54 based on the detection result by the optical sensor 59 so that the self-portrait can be seen (when it is determined that the user is talking). It is determined whether the brightness of the display unit 110 is controlled or the light 140 is turned on / off, and the display control unit 54 or the light 140 is controlled. Further, for example, when the output sensitivity to the speaker 63 is equal to or higher than a predetermined level (when it is determined that the other party is talking), the display control unit 54 or the light 140 is controlled so that the face image of the other party is easily observed. I do.
[0038]
FIG. 5 is a flowchart showing a switching method in a case where the information terminal 101a shown in FIG. 3 is used as a mobile phone to switch between the display of the user's own image and the display of the other person's face image by the user's own operation. is there. FIG. 6 is a flowchart showing a switching method when automatically switching between the display of the user's own image and the display of the partner's face image.
[0039]
As shown in FIG. 5, it is checked whether the surroundings are bright by the above-described optical sensor 59 (step S1). If the surroundings are bright and the other party is to be displayed (step S2), the display control unit is turned on. Control is performed to increase the brightness of the liquid crystal display unit 110a (step S3). This makes it easier to see the face image of the other party displayed on the liquid crystal display unit 110a via the half mirror 130a.
[0040]
On the other hand, if the surroundings are bright and it is desired to display the self-portrait of the user himself instead of the face of the other party (step S2, No), the brightness of the liquid crystal display unit 110a is reduced, and the liquid crystal display unit via the half mirror 130a is reduced. The display of the face image of the face 110a is made difficult to see, and the face of one's face is reflected on the half mirror 130a instead.
[0041]
When the surroundings are not bright (step S1, No), it is preferable to use the picture light 140a. When the surroundings are not bright and the other person's face is to be seen (step S5, Yes), the picture light 140a is turned off (step S6), and the face image displayed on the liquid crystal display unit 110a via the half mirror 130a is observed. be able to. On the other hand, when the surroundings are not bright and the self-portrait is viewed (step S5, No), if the picture light 140a is turned on and the face is illuminated, the face can be efficiently projected on the half mirror 130a.
[0042]
When the display switching between the own face and the opponent's face is automatically performed in this manner, as shown in FIG. 6, the level judgment unit determines the level of the voice of the opponent and the level of the own voice as shown in FIG. Depending on whether or not the other party's voice has been heard (step S11), the displayed image is automatically switched by switching to the image display of the other party (step S12) or by switching to the image display of the own party (step S13). be able to. Here, display control is performed so that the face image of the other party can be easily seen when the voice of the other party is heard, but as described above, the face of the other party is easily seen when the voice of the other party is heard. Alternatively, the switching may be stopped during the communication of the partner and the face of the partner may be displayed continuously.
[0043]
In this specific example, the face image of the other party displayed on the liquid crystal display unit 110a and the self-portrait 102a reflected on the half mirror 130a can be observed in a superimposed state, and the display brightness of the liquid crystal display unit 110a is increased or decreased. By turning on / off the picture light 140a that illuminates the user, the user can easily display his / her own image on the half mirror 130a at desired timing or automatically, or observe the display content of the liquid crystal display unit. You can easily see your partner or your face. Then, if the user shoots while taking a self-portrait of himself / herself, he / she can take a picture of his / her own face without taking his / her eyes off the camera and checking his / her face. By taking a picture while displaying the image, it is possible to capture a self-portrait in a state where the gaze is matched with the other party without removing the gaze from the face of the other party, and furthermore, the user and the other party can communicate with each other via the communication terminal. When talking, etc., the user and the other party send a self-portrait of the user taken while keeping their eyes to the other party, so that the user and the other party are in a natural You can get a good feeling.
[0044]
In addition, the half mirror 130a may not be provided, and as shown in FIG. 7, both the face image of the user and the face image of the partner may be displayed on one liquid crystal display unit 110b. In this case, one's face is displayed on the liquid crystal display unit 110b as an image captured by the camera 120b. Here, as described above, the display of the self-portrait 102b and the display of the partner's face image 103b can be automatically or manually switched at any timing. Therefore, when used as a TV phone or a mobile phone, for example, it is necessary to appropriately switch the other party's face to be displayed while the other party is speaking, and to display their own face while the other party is speaking. Can be. In addition, it is possible to display the self, the face image, and the other person's face image in an overlapping manner by the image processing.
[0045]
Further, in the information terminal 101a shown in FIG. 3, the lower plate-shaped member on which the information terminal 101a is placed may be a liquid crystal display unit 150c as a partner image display unit for displaying the partner's face image 104c as shown in FIG. . Then, a half mirror 130c is provided, for example, at an angle of 45 ° with respect to the liquid crystal display unit 110c for displaying the self-portrait 102c.
[0046]
As a result, the face image of the user is displayed on the upper liquid crystal display unit 110c, and the face image 104c of the other party is displayed on the lower liquid crystal display unit 150c in the opposite direction. Note that the face image of the other party may be displayed on the upper liquid crystal display unit 110c, and the face image of the user may be displayed on the lower liquid crystal display unit 150c.
[0047]
3, a camera 120c for photographing the face of the user is built in the upper liquid crystal display 110c such that the camera opening 121c is located at a position corresponding to the user's eyes. The captured self-portrait is displayed on the upper display device 110c, for example. On the half mirror 130c, a face image of the other party from the lower liquid crystal display unit 150c is displayed. As described above, the brightness of the liquid crystal display is changed, and the picture light is turned on / off via the half mirror 130c. The display can be switched to make it easier to observe the self-portrait of the user or to easily observe the face image of the other party on the half mirror 130c.
[0048]
Next, a second specific example of the present invention will be described. FIGS. 9A and 9B are a perspective view and a side view, respectively, showing an information terminal in this specific example. As shown in FIGS. 9A and 9B, the information terminal 201a is formed by combining two plate-like members and forming an L-shaped side surface, as in the first specific example. The letter-shaped upper plate-shaped member is provided with a mirror 211 serving as a self-image display means for reflecting oneself, and a camera 220 is installed at a position corresponding to the line of sight of the display area. The shooting direction of the camera 220 is perpendicular to the mirror 211, and the user uses the information terminal 201a at a position directly facing the mirror 211.
[0049]
In addition, the lower plate-shaped member is provided with a liquid crystal display unit 250 as a partner image display unit on which a partner's face image is displayed. When viewed from the side, the liquid crystal display unit 250 and the mirror 211 are approximately 90 °. Are combined. Further, a half mirror 230 is attached between the liquid crystal display unit 250 and the mirror 211, that is, at a position inclined approximately 45 ° from the liquid crystal display unit 250 when viewed from the side, and a face image of the other party displayed on the liquid crystal display unit 250. The mirror image 204 is displayed on the half mirror 230 in a reversed state, and the user can observe the face image 203 of the partner displayed on the half mirror 230. Further, the user can observe his / her self-portrait 202 reflected on the mirror 211 through the half mirror 230.
[0050]
The liquid crystal display unit 250 displays the face image of the other party such that the chin side of the partner's face image is on the connection side with the mirror 211 and the top of the head is on the front side, that is, in the upside down direction. As a result, the face image 203 in the normal direction is inverted. As described above, the half mirror 230 transmits a certain amount of light and reflects a certain amount of light. Therefore, if the rear of the half mirror 230 is dark, the front mirror can be seen well. There is a property that you can see things well.
[0051]
When the user uses the information terminal 201a while viewing the information terminal 201a from a direction directly facing the mirror 211 of the information terminal 201a, the user can use this arrangement to face the liquid crystal display unit 250 in the opposite direction (the top of the head is down). The face image of the opponent shown in the image is turned upside down and projected on the half mirror 230, and can be viewed by superimposing the image 202 on the mirror 211.
[0052]
In this case, the position in the height direction of the opponent's eyes is substantially the same as the position in the height direction of the user's eyes reflected on the mirror 211. If speaking, it means that the user is talking while looking at the direction of the camera 220, and a face image of the user who naturally looks at the other party can be transmitted to the other party.
[0053]
Note that the mirror 211 of the present embodiment shows an example using a simple plane mirror. However, depending on the size of the information terminal, for example, in the case of a mobile phone size, the plane mirror has its own face that is too large, If the adjustment becomes difficult, a wide mirror such as a convex mirror instead of a plane mirror should be used or changed appropriately. When the user wants to see the photographed face image of the user, the user's own image may be displayed on the liquid crystal display unit 250 so that the user can view the image by the half mirror 230.
[0054]
Also, as shown in FIGS. 10A and 10B, by configuring the connection part 260 between the mirror 211 and the liquid crystal display unit 250 shown in FIG. 9 to be rotatable, the information terminal 201a can be folded. And can be more portable.
[0055]
Further, a light-shielding portion for shielding light from entering through a gap between the half mirror 230 and the mirror 211 may be provided. FIGS. 11A and 11B are a perspective view and a side view showing an information terminal provided with a light shielding portion 261. FIG. As shown in FIG. 11, the information terminal 201 b includes the half mirror 230 installed at an angle of 45 °, for example, as shown in FIGS. 8 and 9 described above and FIG. It is preferable to provide a light-shielding plate 261 for preventing the occurrence of the light. It is desirable that the light shielding plate 261 be installed not only on the top surface but also on the side. Further, in the case of the folding information terminal 201a shown in FIG. 10, the light-shielding portion 261 shown in FIG. 11 may be removable, but forming it in a bellows shape is convenient for folding.
[0056]
Next, a third specific example of the present invention will be described. FIGS. 12A and 12B are a perspective view and a side view showing the information terminal in this specific example. In this specific example, a face image projected from a projector on a screen is displayed as display means.
[0057]
As shown in FIG. 12, the information terminal 301a uses a mirror as its own image display means for displaying its own face, and uses a projector as its opponent image display means for displaying its opponent's face. A mirror 311a is provided on the member, the two are connected so as to have an L-shape when viewed from the side so that the lower plate-like member is placed, and a camera 320a is provided at a position overlapping with the line of sight of the mirror 311a. A half mirror 330a, which is arranged and functions as a screen, is arranged at a position covering the display area of the mirror 311a. Furthermore, in the present embodiment, a projector 370a that projects the image of the other party onto half mirror 330a provided at a position covering the display area of mirror 311a from the front of the upper surface of the lower plate-shaped member on which it is mounted. Is provided, and the face image of the other party is projected using the half mirror 330a as a screen.
[0058]
That is, as described above, when used as a TV phone or a mobile phone, the data of the face image of the other party is transmitted via the communication means, and the transmitted face image 303a of the other party is transmitted from the projector 370a to the half mirror 330a. To the projection. On the other hand, the user's own self-image 302a reflected on the mirror 311a can be observed via the half mirror 330a.
[0059]
As shown in FIG. 13, a half mirror 330b is disposed in front of a lower plate-shaped member to be placed as self-portrait display means for displaying a self-portrait 302b of the user himself. 12, a screen 380b is arranged on the other upper plate-shaped member constituting the L-shape, which is a mirror in FIG. 12, and the face image of the other party is projected from the projector 370b to the rear screen 380b. Good. In this case, a hole is formed at a position on the screen 380b which is to be the user's line of sight, and the camera 320b is arranged here.
[0060]
Although the information terminal 301b has an L-shape, a half mirror 330b on which the information terminal 301b is projected is arranged in front of a screen 380b that reflects the other party. That is, the self-portrait 302b of the user is reflected in the foreground, and the face image 303b of the partner is displayed in the back. In the information terminal described above, the face image of the partner and the self-portrait of the partner overlap on the same plane or on an adjacent plane, so that the two positional relations are close to each other. There was a case where it was not possible to select whether to look at the image or the self-portrait of itself, but in this way, if there is a distance between the self-portrait and the face where the other person's face image is reflected, the focus can be adjusted relatively easily with human eyes, It is possible to select which display to view.
[0061]
Further, as shown in FIG. 14, similarly to FIG. 13, a half mirror 330 c is provided in front of the lower plate-shaped member, which is L-shaped, on which the mounting is performed, so as to be able to face the user. Alternatively, the face image 303c of the other party and the self-portrait 302c of the user himself may be projected on the half mirror 330c. In this case, the user's own self image 302c is directly projected on the half mirror 330c, and the other person's face image 303c is projected from the projector 370c provided on the back side of the lower plate-shaped member to be placed on the back surface of the half mirror 330c. Is done. As described above, the cost can be reduced by using the half mirror 330c as both a mirror for displaying the user's own image and a screen for displaying the image from the projector 370c.
[0062]
Further, in FIG. 5, one liquid crystal display unit is used to switch between the display of the face image of the other party and the display of the self image of the other party. However, as shown in FIG. Good. A screen 380d is provided on the upper plate-like member, and a projector 370d is arranged on the front side of the lower plate-like member, and the display of the self image 302d or the face image 303d of the other party is switched on the screen 380d at desired timing or automatically. May be displayed. Note that two projectors 370d may be prepared, one for the user and the other, and the projectors 370d may be configured such that the two are superimposed and projected as necessary. For example, the self-portrait 302d may be displayed in the upper area on the screen 380d, and the face image 303d of the other party may be displayed in the lower area. In the case where the image is projected in another area, the camera may be attached to an area that is in the user's eyes when facing the area in advance.
[0063]
Further, the display by the projector and the display by the liquid crystal display unit may be combined. For example, as shown in FIG. 16, the upper plate-shaped member is a liquid crystal display section 350e for displaying the face of the other party, and the projector 370e is arranged in front of the lower plate-shaped member. A half mirror 330e can be arranged at a position covering the display area of the unit 350e, and a self-portrait of the user himself can be projected on the half mirror 330e by the projector 370e. Thereby, the self-portrait 302e of the user can be projected on the half mirror 330e by the projector 370e, and the face image 303e of the other party can be displayed on the liquid crystal display 350e, and this can be projected on the half mirror 330e for observation. .
[0064]
Further, as shown in FIG. 17, the mirror 211 shown in FIG. 9 may be replaced with a set of a projector and a screen. That is, a clean 380f is provided on the upper plate-like member, a liquid crystal display 350f is provided on the lower plate-like member, and the face image 304f of the other party displayed upside down is inverted on the half mirror 330f on the liquid crystal display 350f. The user's own face can be observed through the half mirror 330f as the self-image 302f projected on the screen 380f from the projector 370f from the image captured by the camera 320f.
[0065]
The self-portrait of the user in FIGS. 15 to 17 is obtained by projecting an image captured by a camera onto a screen. For example, in FIG. 17, the user's own image 302f projected on the screen by the projector 370f is an image from the camera 320f in which a lens opening 321f is fitted in a hole provided in the screen 380f.
[0066]
In these first to third specific examples, for example, when the information terminal is used as a video phone, it is possible to easily match the line of sight of the displayed partner with the line of sight of the user, thereby facilitating communication and conversation. Bounces. Also, since the other party thinks that the user is looking seriously at his / her face, the other party can have a closeness to the user and, for example, incorrectly display his / her face Even if the user's face is displayed at the same position even if the user's face is displayed, Since the image which seems to be sent to the other party, it does not offend the other party. Also, when taking a self-portrait, it is possible to take a picture while confirming what kind of expression to take, so that a satisfactory image (video) can be taken.
[0067]
It should be noted that the present invention is not limited to only the above-described embodiment, and it is needless to say that various changes can be made without departing from the gist of the present invention. For example, in the first to third specific examples, an L-shaped configuration including two plate-shaped members is used. However, the type is not necessarily required to be mounted, and for example, a liquid crystal display as shown in FIG. When only one part is required, a holding part to be held by hand may be provided, and the shape may be such that it can be used while being held by hand.
[0068]
【The invention's effect】
As described in detail above, the information terminal according to the present invention has a self-portrait display means for displaying the face of the user, and the self-portrait display means corresponding to the eyes of the user while displaying the face of the user on the self-portrait display means. The user can take a picture of the user's own face with the image pickup means without taking his / her eyes off the screen while viewing his / her own face with the self-portrait display means.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an information terminal according to an embodiment of the present invention.
FIGS. 2A to 2C are diagrams illustrating a correction method when a face image displayed on a display unit of an information terminal is shifted from a display area according to the first embodiment of the present invention. is there.
FIGS. 3A and 3B are a perspective view and a side view, respectively, showing an information terminal according to a first specific example of the present invention.
FIG. 4 is a block diagram showing an information terminal as a mobile phone according to a first specific example of the present invention.
FIG. 5 is a flowchart illustrating a switching method when the display is switched by a user's own operation when the information terminal shown in FIG. 3 is used.
FIG. 6 is a flowchart illustrating a switching method when automatically switching between the display of a self-portrait of a user and the display of a face image of a partner when the information terminal illustrated in FIG. 3 is used.
FIGS. 7A and 7B are a perspective view and a side view, respectively, showing a modification of the first specific example of the present invention.
FIGS. 8 (a) and (b) are a perspective view and a side view, respectively, showing another modification of the first specific example of the present invention.
FIGS. 9A and 9B are a perspective view and a side view, respectively, showing an information terminal according to a second specific example of the present invention.
FIGS. 10A and 10B are side views showing a case where the information terminal in the second specific example of the present invention is configured to be foldable.
FIGS. 11 (a) and 11 (b) are a perspective view and a side view, respectively, showing a case where a light shielding unit is provided in an information terminal according to a second specific example of the present invention.
FIGS. 12 (a) and (b) are a perspective view and a side view, respectively, showing an information terminal according to a third specific example of the present invention.
FIGS. 13A and 13B are a perspective view and a side view, respectively, showing a modification of the third specific example of the present invention.
FIGS. 14 (a) and (b) are a perspective view and a side view, respectively, showing another modification of the third specific example of the present invention.
FIGS. 15A and 15B are a perspective view and a side view, respectively, showing another modified example of the third specific example of the present invention.
FIGS. 16 (a) and (b) are a perspective view and a side view, respectively, showing another modified example of the third specific example of the present invention.
FIGS. 17 (a) and (b) are a perspective view and a side view, respectively, showing another modified example of the third specific example of the present invention.
FIG. 18 is a diagram showing a mobile phone body described in Patent Document 1.
[Explanation of symbols]
1, 101a, 101b, 101c, 201a, 201b, 301a, 301b, 301c, 301d, 301e, 301f Information terminal, 21, 121a, 121b, 121c, 221, 321a, 321b, 321c, 321d, 321e, 321f Lens opening , 10 display unit, 50 control lines, 51 CPU, 52 communication circuit, 54 display control unit, 55 operation unit, 56 ROM, 57 RAM, 58 brightness adjustment unit, 59 optical sensor, 60 light, 61 level determination unit, 62 Camera control unit, 63 speakers, 64 microphones, 65 cameras, 66 data lines, 102a, 202, 302a, 302b, 302c, 302f Self-portrait of the user, 102b, 102c, 302d, 302e Face image of the other party, 103a, 103b, 103c , 104c, 203, 04, 303a, 303b, 303c, 303d, 303e, 303f Face image of the other party, 110a, 110b, 110c, 150c, 250, 350e Liquid crystal display unit, 120a, 120b, 120c, 220, 320a, 320b, 320c, 320d, 320e , 320f camera, 211, 311a mirror, 130a, 130c, 230, 330a, 330b, 330c, 330e, 330f half mirror, 140, 140a picture light, 260 connection part, 261 light shielding plate, 370a, 370b, 370c, 370d, 370e , 370f Projector, 380c, 380d, 380f Screen

Claims

Self-portrait display means for displaying the user's face;
An information terminal, comprising: an image pickup unit arranged at a position corresponding to a line of sight of the user with the face of the user displayed on the self-portrait display unit.

2. The information terminal according to claim 1, wherein said self-image display means comprises a liquid crystal display device.

A communication unit that receives a face image of a partner to be communicated with the user and transmits a self-portrait of the user captured by the imaging unit,
Opponent image display means capable of displaying the face image of the opponent received by the communication means at a position overlapping the self image of the user displayed on the self image display means,
2. A display control means for switching display of the user's self image displayed on the self image display means and the other person's face image displayed on the other image display means. Information terminal described.

It has voice input means,
The communication means receives the voice of the user and transmits the voice of the user input through the voice input means,
The display control means, based on a volume of a voice when the user and the other party have a conversation, the self image of the user displayed on the self image display means and the other party displayed on the other image display means 4. The information terminal according to claim 3, wherein the information terminal is switched to a face image.

At least one of the self-image display means or the partner image display means comprises a liquid crystal display device,
4. The information terminal according to claim 3, wherein the display control means switches display of the self-portrait and the face image of the other party by changing the brightness of the liquid crystal display device.

Having illumination means for irradiating the user's face,
The information terminal according to claim 3, wherein the display control means switches the display by turning on / off the lighting means.

4. The information terminal according to claim 3, wherein the self-portrait display means is a liquid crystal display device provided at a position facing the user.

The partner image display means is composed of the same liquid crystal display device as the self image display means,
8. The information terminal according to claim 7, wherein the display control means switches between displaying a self-portrait of the user photographed by the imaging means and displaying a face image of the other party received by the communication means. .

The opponent image display means includes a liquid crystal display device for the opponent image arranged at an angle of about 90 ° with the self image display means, and a liquid crystal display device as the self image display means and the liquid crystal display device for the opponent image. 8. The information terminal according to claim 7, further comprising a half mirror arranged at a position of approximately 45 [deg.] And displaying the face image of the partner displayed on the liquid crystal display device for the partner image.

4. The information terminal according to claim 3, wherein the self-portrait display means is a mirror provided at a position facing the user.

The partner image display means is a liquid crystal display device arranged at a position substantially 90 ° from the self-image display means, and the liquid crystal display device is arranged at a position substantially 45 ° from the self-image display means and the liquid crystal display device. The information terminal according to claim 10, comprising a half mirror for displaying the face image of the other party to be displayed.

12. The information terminal according to claim 11, further comprising a light blocking unit that blocks external light at a position covering an upper surface between the self-portrait display unit and the half mirror.

11. The information terminal according to claim 10, wherein said partner image display means comprises a projector, and a half mirror as a screen which is arranged in front of said self-portrait display means and onto which a face image of the partner is projected by said projector. .

The partner image display means is a liquid crystal display device provided at a position that can face the user directly,
4. The information terminal according to claim 3, wherein said self-portrait display means has a half mirror superimposed on a display area of said liquid crystal display device.

The information terminal according to claim 14, wherein the self-portrait display means has a projector, uses the half mirror as a screen, and projects the self-portrait of the user captured by the imaging means on the screen.

The self-portrait display means is a half mirror provided at a position facing the user,
4. The information terminal according to claim 3, wherein the partner image display unit has a projector, the half mirror is a screen, and the partner's face image received via the communication unit is projected on the screen. .

The self-image display means and the partner image display means include a projector and a screen provided at a position facing the user, and the self-image or the communication of the user captured by the imaging means on the screen. Projecting the face image of the other party received through the means,
4. The information terminal according to claim 3, wherein the display control unit switches between displaying the user's own image and displaying the partner's face image.

The self-portrait display means includes a projector and a screen provided at a position facing the user, and projects the self-portrait of the user captured by the imaging means on the screen.
The partner image display means includes a liquid crystal display device disposed at a position substantially 90 ° from the screen, and the partner device disposed at a position approximately 45 ° from the screen and the liquid crystal display device and displayed on the liquid crystal display device. 4. The information terminal according to claim 3, comprising a half mirror for displaying the face image of the information terminal.

Image recognition means for recognizing a position of a face or a feature point included in the face;
2. The image processing apparatus according to claim 1, further comprising: a correction unit configured to correct a position of the user's own image picked up by the image pickup unit in an image pickup area based on a position recognition result of the face or the feature point in the image recognition unit. Information terminal.