【０００１】
【発明の属する技術分野】
本発明は、撮像部および表示部を備えた撮像表示装置に関する。
【０００２】
【従来の技術】
携帯式ビデオカメラやカメラ付き携帯電話などの撮像表示装置は、一般に、被写体を撮像する撮像部、および撮像した画像データに基づいて画像を表示する表示部を備えている。
【０００３】
このような撮像表示装置として、周囲の明るさの変化に迅速に対応して最適な画面表示を得るよう、撮像部と表示部の制御を統合的に行う制御部を備えたものが提案されている（例えば、特許文献１参照。）。
【０００４】
また、撮像部と表示部との相対位置（位置関係）が変更可能な撮像表示装置（電子カメラ装置）が提案されている（例えば、特許文献２参照。）。
【０００５】
【特許文献１】
特開２００１−５０１３１号公報
【特許文献２】
特開２０００−９２３６７号公報
【０００６】
【発明が解決しようとする課題】
近年、日中に逆光で撮影するといった場合であっても、最適な画面を表示できる撮像表示装置が望まれている。しかしながら、前者の撮像表示装置では、周囲の明るさ以外の使用環境条件を考慮していない。また、後者の撮像表示装置では、逆光下で撮像したか否か、および逆光下で表示画面をユーザが観察するか否かを考慮していない。
【０００７】
そこで、本発明は、撮像部と表示部の相対位置を変更可能に構成し、逆光環境下あるいは逆光以外の環境下（本願では、「順光」といい、曇り・雨など日が差さない環境も含む。）のいずれかで撮像が行われたり表示画面を観察するかを考慮して撮像部と表示部の制御を行う撮像表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る撮像表示装置は、
被写体を撮像する撮像部と、撮像部で撮像した画像データに基づいて画像を表示する表示部と、撮像部および表示部を制御する制御部とを備え、撮像部と表示部の相対位置を変更可能に構成した撮像表示装置において、
被写体が逆光で撮像されるか否かを判定する逆光判定部と、撮像部と表示部との相対位置を検出する相対位置検出部とをさらに有し、上記制御部は、逆光判定部による判定情報および相対位置検出部による検出情報に基づいて、撮像部および／または表示部を制御することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付図面を参照して本発明に係る実施の形態を説明する。以下では、撮像表示装置としてカメラ付き携帯電話の例を説明するが、本発明はこれ以外の形態にも適用可能である。
【００１０】
実施の形態１．
図１、２は、本発明に係る撮像表示装置の実施の形態１を示す外観図である。この撮像表示装置２は、下部筐体４、上部筐体６、および下部筐体４と上部筐体６を連結する中空のヒンジ部８を備える。下部筐体４および上部筐体６は、図２に示す折り畳み位置と図１に示す開き位置との間で、ヒンジ部８周りに相対的に回動可能となっている。下部筐体４と上部筐体６にはそれぞれ、折り畳んだ状態で内側に隠れる面（以下、内側表面という。）に、複数の操作キー１０、および内側液晶表示パネル（以下、内側ＬＣＤという。）１２ａが設けてある。操作キー１０には、カメラモード等を選択するための選択キーが含まれる。上部筐体６には、折り畳んだ状態で外側にある面（以下、外側表面という。）に外側液晶表示パネル（以下、外側ＬＣＤという。）１２ｂが設けてある。ヒンジ部８には、内側表面と外側表面の所定の位置にそれぞれガラス窓８ａ，８ｂが形成されている。窓８ａ，８ｂが形成されている理由は後述する。
【００１１】
図３は、図１，２の撮像表示装置のブロック図である。撮像表示装置２は、被写体を撮像する撮像部１６と、撮像部１６で撮像した画像データに基づいて画像を内側ＬＣＤ１２ａまたは外側ＬＣＤ１２ｂに表示する表示部１８と、撮像部１６および表示部１８を制御する制御部２０とを備える。撮像部１６、表示部１８、および制御部２０の各構成要素は、上述または後述するように、下部筐体４、上部筐体６、およびヒンジ部８の内部または表面上に配設されている。
【００１２】
撮像部１６は、光学系２２、絞り機構２４、撮像素子２６、画像処理部２８等を備えている。光学系２２は、所定の方向に平行な光軸を有する複数のレンズからなるレンズ機構で、撮像素子２６の撮像面に被写体像を結像させるようになっている。光学系２２の最前部に位置するレンズ２２ａは、図１（ａ）に示すように、開き位置ではヒンジ部８の窓８ａに対向し、図２（ｂ）に示すように、折り畳み位置では窓８ｂに対向するようになっている。絞り機構２４は、絞り羽根およびモータ（ともに図示せず）を備え、該モータは、制御部２０からの制御信号を受けた駆動回路２９から所定の電圧を受けて、絞り羽根を駆動し、これにより、光学系２２から入射される光の量を調整するようになっている。撮像素子２６は、例えばＣＣＤで、撮像面で受光した光信号を電気信号に変換して、画像処理部２８に出力するようになっている。撮像素子２６は、制御部２０からの垂直駆動（ＶＤ）信号に同期して画像を取り込むが、この同期信号を適宜調整することで、いわゆるシャッタ速度の調整と同等の作用が得られる。画像処理部２８は、撮像素子２６からの電気信号（アナログ信号）を、アナログ／ディジタル（Ａ／Ｄ）変換後、γ補正し、さらに、露出補正およびホワイトバランス補正を行い、画像信号として表示部１８に出力するようになっている。画像処理部２８はまた、画像フレーム毎に平均輝度を演算するようになっている。
【００１３】
表示部１８は、内側および外側ＬＣＤ１２ａ，１２ｂ以外に、画像処理部３２、ＬＣＤ駆動回路３４、内側および外側光源３６ａ，３６ｂ、内側および外側光源用の駆動回路３８ａ，３８ｂ等を備えている。画像処理部３２は、撮像部１６の画像処理部２８からの画像信号をビデオ信号に変換し、さらに、コントラスト補正および明るさ補正を行い、補正したビデオ信号をＬＣＤ駆動回路３４に出力するようになっている。ＬＣＤ駆動回路３４は、画像処理部３２からのビデオ信号および制御部２０からの制御信号に基づいて、ＬＣＤ１２ａ，１２ｂの一方を制御して、ビデオ信号に対応した画像を表示させるようになっている。内側および外側光源３６ａ，３６ｂはそれぞれ、内側および外側ＬＣＤ１２ａ，１２ｂの背面にそれぞれ配置された導光板（図示せず）を介して、ＬＣＤ１２ａ，１２ｂに照明用の光を供給するものである。内側および外側光源用駆動回路３８ａ，３８ｂはそれぞれ、制御部２０から制御信号を受けて内側および外側光源３６ａ，３６ｂを駆動する（すなわち、光源の光量を制御する）ためのインバータ回路である。
【００１４】
撮像表示装置２の制御部２０は、画像処理部２８で演算した画像の平均輝度から周囲照度を推定し、該周囲照度に基づいて、撮像部１６においては絞り機構２４、撮像素子２６、および／または画像処理部２８を制御して露出補正するとともに、表示部１８においては画像処理部３２および／または駆動回路３８ａまたは３８ｂを制御してＬＣＤ１２ａまたは１２ｂの輝度補正を行う。
【００１５】
本実施形態に係る撮像表示装置２では、制御部２０には判定部４０が接続されており、制御部２０は、後述するように、判定部４０からの情報に基づいて撮像部１６および表示部１８の制御方法を変更する。判定部４０は、相対位置検出部４２、画像メモリ４２、照度環境演算部４４等を備えている。
【００１６】
相対位置検出部４２は、撮像部１６と表示部１８の相対位置（位置関係）を検出するためのものである。本実施形態では、相対位置検出部４２は、装置２の開閉に連動してオン／オフが切り換わるスイッチである。例えば、相対位置検出部４２が開き位置でオン信号を制御部２０に出力するように設定することで、制御部２０は、図１に示す開き位置で、相対位置検出部４２からオン信号を受けて、撮像部１６の光学系２２への光の入射方向と表示部１８の内側ＬＣＤ１２ａを観察する方向とが略同一方向であること（レンズ２２ａと内側ＬＣＤ１２ａが装置２の同じ側に位置すること）を認識する。また、制御部２０は、図２に示す折り畳み位置で、撮像部１６の光学系２２への光の入射方向と表示部１８の外側ＬＣＤ１２ｂを観察する方向とが逆方向（レンズ２２ａと外側ＬＣＤ１２ｂが装置２の反対側に位置すること）であることを認識する。
【００１７】
画像メモリ４４は、撮像部１６の画像処理部２８から出力される画像データ（例えばＲＧＢ画像データ）を一時的に記憶するためのものである。
【００１８】
照度環境判定部（逆光判定部）４６は、画像メモリ４４に記憶された画像データに基づいて、被写体が逆光環境下で撮像されたか否かを判定するためのものである。ところで、カメラ付き携帯電話２の撮影対象として顔が一般的であるため、本実施形態では、照度環境演算部４６は、画像上で顔領域と背景領域との輝度を比較することで、撮像環境が逆光か順光のいずれかであったかを判定する。具体的には、図４を参照して、照度環境演算部４６は、画像メモリ４４に記憶された画像データに基づいて、画像フレーム５０の画素毎に色度座標を求め、肌色を示す顔領域５０ｆとその他の領域（背景領域）５０ｂに分割する。そして、顔領域５０ｆの平均輝度をＬｆ、背景領域５０ｂの平均輝度をＬｂを演算し、
の場合には順光、
の場合には逆光と判断する。ここで、Ｃは、誤判定を最小に抑えるために設定した適当な数値である。照度環境演算部４６は、撮像条件が逆光下であるか順光下であるかを示す信号を制御部２０に送出する。かかる照度環境演算部４６は、比較的簡便な方法で照度環境の判定を行っており、したがって、安価な撮像表示装置２を提供できる効果がある。しかしながら、顔領域５０ｆと背景領域５０ｂの分割方法は、上述の方法に限らない。また、被写体が顔以外の場合を考慮して、照度環境演算部４６は、被写体領域とそれ以外の背景領域を分割するための、画像認識手段などの手段を備えていてもよい。
【００１９】
次に、かかる構成を備えた撮像表示装置２の撮像表示動作について説明する。ユーザ自身を撮像する場合、ユーザは図１に示すように装置２を開き位置にセットし、内側表面、すなわち撮像部１６の光学系２２のレンズ２２ａおよび表示部１８の内側ＬＣＤ１２ａをユーザに対向させる。制御部２０は、相対位置検出部４２からオン信号を受けて、内側光源用駆動回路３８ａに制御信号を送出し、内側光源３６ａを点灯させる。一方、撮像部１６の光学系２２および絞り機構２４を介して撮像素子２６の撮像面に、ユーザの顔およびその周辺を表す像が結像されると、撮像素子２６は、制御部２０からの駆動信号に同期して画像処理部２８に電気信号を出力する。画像処理部２８は、Ａ／Ｄ変換、続いてγ補正を行った後、露出補正およびホワイトバランス補正を行い、得られた画像信号を、表示部１８の画像処理部３２および判定部４０の画像メモリ４４に出力する。
【００２０】
表示部１８の画像処理部３２は、画像信号をビデオ信号に変換後、コントラスト補正および明るさ補正を行い、ＬＣＤ駆動回路３４に送出する。ＬＣＤ駆動回路３４は、画像処理部３２からのビデオ信号、および、制御部２０から送られた撮像部１６と表示部１８の相対位置を示す信号に基づいて、内側ＬＣＤ１２ａを駆動し、画像を表示する。
【００２１】
撮像表示装置２が開き位置にセットされた状態で、制御部２０は、撮像が逆光あるいは順光のもとで行われるかに応じて、撮像部１６および表示部１８の制御方法を以下のように変更する。
【００２２】
図５（ａ）に示すように、順光下（例えば、装置２を挟んでユーザの反対側に太陽が位置する場合や、曇りの場合など）で撮像が行われる場合、制御部２０は、照度環境演算部４６から順光下で撮像が行われていることを示す信号を受けて、撮像部１６に対し通常の露出補正制御を行う。一例として、図６を参照して、画像処理部２８でＡ／Ｄ変換して得た画像データに対応する画像の濃度ヒストグラムを求め、濃度値（階調）がある範囲に偏って分布している場合に、（画像の最高輝度が飽和しない範囲で）より広い範囲に濃度の分布を広げる濃度変換（いわゆるヒストグラム伸張化）を行う。
【００２３】
図５（ｂ）に示すように、逆光下（すなわち、装置２に対しユーザと太陽が同じ側に位置する状態）で撮像が行われる場合、制御部２０は、照度環境演算部４６から逆光下での撮像で行われていることを示す信号を受けて、撮像部１６に対し、逆光用の露出補正制御を行う。一例として、図７を参照して、画像処理部２８でＡ／Ｄ変換して得た画像データに対応する画像５０（図４）内の、照度環境演算部４６で分割した顔領域５０ｆに関する濃度ヒストグラムのみを求め、ヒストグラム伸張化を行う。
【００２４】
装置２が開き位置にセットされた状態では、内側ＬＣＤ１２ａの画面の視認性は、順光下での撮像の場合良好で［図５（ａ）参照］、逆光下での撮像の場合悪い（太陽光により画面が見づらい）［図５（ｂ）参照］。そこで、制御部２０は、周辺照度（撮像部１６の画像処理部２８でＡ／Ｄ変換後に得た信号から演算した画像の平均輝度に対応）が順光下と逆光下で同じ場合であっても、順光下に比べて逆光下での内側ＬＣＤ１２ａの輝度が大きくなるよう、表示部１８を制御する。例えば、図８を参照して、制御部２０は、内側ＬＣＤ１２ａの輝度の増加量が画像の平均輝度に比例するよう、内側光源３６ａを駆動する内側光源用駆動回路３８ａを制御するとともに、比例係数として小さい値Ｇ１か大きな値Ｇ２のいずれかを選択できるようにする。そして、照度環境演算部４６から順光下での撮像を示す信号を受けた場合、制御部２０は、比例係数がＧ１となるよう内側光源用駆動回路３８ａを制御する。一方、照度環境演算部４６から逆光下での撮像を示す信号を受けた場合、制御部２０は、比例係数がＧ２となるよう内側光源用駆動回路３８ａを制御する。
【００２５】
一方、ユーザ以外の別の被写体を撮影する場合、ユーザは装置２を図２に示すように折り畳み位置にセットし、撮像部１６の光学系２２のレンズ２２ａを被写体に、表示部１８の外側ＬＣＤ１２ｂをユーザに対向させる。制御部２０は、相対位置検出部４２から信号を受けず、その結果、外側光源用駆動回路３８ｂに制御信号を送出し、外側光源３６ｂを点灯させる。一方、撮像部１６の光学系２２および絞り機構２４を介して撮像素子２６の撮像面に被写体の顔およびその周辺を表す像が結像されると、撮像素子２６は、制御部２０からの駆動信号に同期して画像処理部２８に電気信号を出力する。画像処理部２８は、Ａ／Ｄ変換、続いてγ補正を行った後、露出補正およびホワイトバランス補正を行い、得られた画像信号を、表示部１８の画像処理部３２および判定部４０の画像メモリ４４に出力する。
【００２６】
表示部１８の画像処理部３２は、画像信号をビデオ信号に変換後、コントラスト補正および明るさ補正を行い、ＬＣＤ駆動回路３４に送出する。ＬＣＤ駆動回路３４は、画像処理部３２からのビデオ信号、および、制御部２０から送られた撮像部１６と表示部１８の相対位置を示す信号に基づいて、外側ＬＣＤ１２ｂを駆動し、画像を表示する。
【００２７】
撮像表示装置２が折り畳まれた位置にセットされた状態で、制御部２０は、撮像が逆光あるいは順光のもとで行われるかに応じて、撮像部１６および表示部１８の制御方法を以下のように変更する。
【００２８】
図９（ａ）に示すように、順光下（例えば、装置２を挟んで被写体の反対側に太陽が位置する場合や、曇りの場合など）で撮像が行われる場合、制御部２０は、照度環境演算部４６から順光下で撮像が行われていることを示す信号を受けて、撮像部１６に対し上述したような通常の露出補正制御を行う。
【００２９】
図９（ｂ）に示すように、逆光下（すなわち、装置２に対し被写体と太陽が同じ側に位置する状態）で撮像が行われる場合、制御部２０は、照度環境演算部４６から逆光下で撮像が行われていることを示す信号を受けて、撮像部１６に対し、上述したような逆光用の露出補正制御を行う。
【００３０】
装置２が折り畳まれた位置にセットされた状態では、外側ＬＣＤ１２ｂの画面の視認性は、順光下、特に装置２に対しユーザと同じ側に太陽が位置する状態での撮像の場合悪く［図９（ａ）参照］、逆光下での撮像の場合良好である［図９（ｂ）参照］。そこで、制御部２０は、周辺照度（撮像部１６の画像処理部２８でＡ／Ｄ変換後に得た信号から演算した画像の平均輝度に対応）が順光下と逆光下で同じ場合であっても、逆光下に比べて順光下での外側ＬＣＤ１２ｂの輝度が大きくなるよう、表示部１８を制御する。図８を参照して、例えば、照度環境演算部４６から逆光下で撮像が行われていることを示す信号を受けた場合、制御部２０は、比例係数が小さな値Ｇ１となるよう外側光源用駆動回路３８ｂを制御する。一方、照度環境演算部４６から順光下で撮像が行われていることを示す信号を受けた場合、制御部２０は、比例係数が大きな値Ｇ２となるよう外側光源用駆動回路３８ｂを制御する。なお、折り畳み位置での比例係数と開き位置での比例係数は、異なってもよい。
【００３１】
このように、本実施形態によれば、逆光／順光の撮像条件および撮像部１６と表示部１８の相対位置の違いを考慮した、撮像部１６の露出制御および表示部１８の輝度制御を行うことができ、したがって、従来に比べてより高品質の画像表示を行うことができる。
【００３２】
実施の形態２．
図１０は、本発明に係る撮像表示装置の実施の形態２を示すブロック図である。以下の説明では、実施の形態１と同一または類似の構成要素は、同一の符号または同一の符号に適当な添字を付して表す。本実施形態に係る撮像表示装置２ａは、実施の形態１に係る撮像表示装置２に類似しているが、判定部４０ａは、画像メモリ４４および照度環境演算部４６の代わりに、照度環境入力部５０を備えている点が異なる。具体的には、本実施形態では、逆光下で撮像が行われているか否かの情報を、画像メモリ４４および照度環境演算部４６が自動的に判定する代わりに、照度環境入力部５０（実施の形態１の操作キー１０に対応）を介してユーザが入力するようになっている。
【００３３】
本実施形態では、実施の形態１と同様に、撮像表示装置２ａの制御部２０は、画像処理部２８で演算した画像の平均輝度から周囲照度を推定し、該周囲照度に基づいて、撮像部１６においては絞り機構２４、撮像素子２６、および／または画像処理部２８を制御して露出補正するとともに、表示部１８においては画像処理部３２および／または駆動回路３８ａまたは３８ｂを制御してＬＣＤ１２ａまたは１２ｂの輝度補正を行う。
【００３４】
さらに、本実施形態では、制御部２０は、照度環境入力部（ユーザ入力部）５０を介してユーザが指示した逆光／順光の情報および相対位置検出部４２で検出した撮像部１６と表示部１８の相対位置に応じて、表示部１８を制御する。具体的には、図９に示すような画像の平均輝度とＬＣＤ１２ａまたは１２ｂの輝度増加量の関係を表す比例係数を複数用意しておき、制御部２０は、照度環境入力部５０を介してユーザが指示した逆光／順光の情報および相対位置検出部４２で検出した撮像部１６と表示部１８の相対位置に応じて比例係数を選択する。そして、画像処理部２８で演算した画像の平均輝度に基づいて、ＬＣＤ１２ａまたは１２ｂの所望の輝度が得られるよう表示部１８を制御する。本実施形態では、撮像部１６の制御方法を、撮像条件が逆光か否かに応じて変更していないが、表示部１８の制御を行うための演算量を削減することができるとともに、ハードウェアの回路規模の削減を図ることができる。
【００３５】
以上、本発明に係る具体的な実施形態について説明したが、本発明はこれらに限らず種々改変可能である。例えば、逆光下で撮像が行われたか否かを判定する判定部に、装置２側で撮像条件を演算するための照度環境演算部４６とユーザが逆光／順光情報を入力するための照度環境入力部５０の両方を搭載し、逆光／順光に関する判定を照度環境演算部４６と照度環境入力部５０のいずれにより行うかをユーザが選択できるようにしてもよい。
【００３６】
【発明の効果】
本発明に係る撮像表示装置によれば、逆光下で撮像するか否かの情報、および、撮像部と表示部がどのような位置関係にあるかの情報に応じて、撮像部および／または表示部の制御方法を調整しており、したがって、使用環境（すなわち逆光／順光）や使用形態（すなわち撮像部と表示部の相対位置）によらず常に高品質の画像を表示できる。
【図面の簡単な説明】
【図１】本発明に係る撮像表示装置の第１の実施形態であるカメラ付き携帯電話であって、（ａ）は開いた状態での前方斜視図、（ｂ）は開いた状態での後方斜視図を示す。
【図２】本発明に係る撮像表示装置の第１の実施形態であるカメラ付き携帯電話であって、（ａ）は折り畳んだ状態での前方斜視図、（ｂ）は折り畳んだ状態での後方斜視図を示す。
【図３】図１，２の撮像表示装置のブロック図。
【図４】逆光下で撮像されたか否かを判定するために顔領域と背景領域に分割した画像フレームを簡易的に示す図。
【図５】図１の開き位置にセットされた撮像表示装置に関して、一部を破断した側面図であって、（ａ）は順光下で撮像する際のユーザ（被写体）と装置の位置関係を示し、（ａ）は逆光下で撮像する際のユーザ（被写体）と装置の位置関係を示す。
【図６】図３の撮像部に対する通常の露出補正制御を行う目的で、撮像画像データから求めた濃度ヒストグラムと、該ヒストグラムに対しヒストグラム伸張を行った濃度ヒストグラムを示すグラフ。
【図７】図３の撮像部に対する逆光用の露出補正制御を行う目的で、顔領域のみに関して撮像画像データから求めた濃度ヒストグラム、該ヒストグラムに対しヒストグラム伸張を行った濃度ヒストグラムを示すグラフ。
【図８】図３の表示部のＬＣＤ用バックライトを撮像条件が逆光か順光かに応じて制御する際に用いる、画像の平均輝度とＬＣＤの輝度の増加量の関係を示すグラフ。
【図９】図２の折り畳み位置にセットされた撮像表示装置に関して、一部を破断した側面図であって、（ａ）は順光下で撮像する際のユーザおよび被写体と装置の位置関係を示し、（ａ）は逆光下で撮像する際のユーザおよび被写体と装置の位置関係を示す。
【図１０】本発明に係る撮像表示装置の第２の実施形態を示すブロック図。
【符号の説明】
２：撮像表示装置
１２ａ，１２ｂ：ＬＣＤ
１６：撮像部
１８：表示部
２２ａ：レンズ
４０：判定部
４２：相対位置検出部
４６：照度環境演算部（逆光判定部）[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging display device including an imaging unit and a display unit.
[0002]
[Prior art]
2. Description of the Related Art An imaging display device such as a portable video camera or a camera-equipped mobile phone generally includes an imaging unit that captures an image of a subject and a display unit that displays an image based on captured image data.
[0003]
As such an imaging display device, a device including a control unit that integrally controls the imaging unit and the display unit so as to obtain an optimal screen display in response to a change in ambient brightness has been proposed. (For example, see Patent Document 1).
[0004]
Also, an imaging display device (electronic camera device) in which the relative position (positional relationship) between the imaging unit and the display unit can be changed has been proposed (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP 2001-50131 A [Patent Document 2]
JP 2000-92367 A
[Problems to be solved by the invention]
In recent years, there has been a demand for an imaging display device capable of displaying an optimal screen even when shooting in backlight during the day. However, in the former imaging display device, use environment conditions other than ambient brightness are not considered. Further, in the latter imaging display device, it is not considered whether or not the image is captured under the backlight and whether or not the user observes the display screen under the backlight.
[0007]
Therefore, the present invention is configured so that the relative position between the imaging unit and the display unit can be changed, and is used in a backlight environment or an environment other than backlight (in the present application, referred to as “direct light”, an environment in which the sun does not change such as cloudy or rainy). An object of the present invention is to provide an imaging display device that controls an imaging unit and a display unit in consideration of whether imaging is performed or a display screen is observed in any of the above.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an imaging display device according to the present invention includes:
An imaging unit that images a subject, a display unit that displays an image based on image data captured by the imaging unit, and a control unit that controls the imaging unit and the display unit, change a relative position between the imaging unit and the display unit In the imaging display device configured to be possible,
A backlight determining unit that determines whether or not the subject is imaged by backlight; and a relative position detecting unit that detects a relative position between the imaging unit and the display unit, wherein the control unit performs the determination by the backlight determining unit. The imaging unit and / or the display unit are controlled based on the information and the detection information by the relative position detection unit.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment according to the present invention will be described below with reference to the accompanying drawings. In the following, an example of a camera-equipped mobile phone will be described as the imaging display device, but the present invention is also applicable to other embodiments.
[0010]
Embodiment 1 FIG.
FIGS. 1 and 2 are external views showing an imaging display device according to a first embodiment of the present invention. The imaging display device 2 includes a lower housing 4, an upper housing 6, and a hollow hinge 8 connecting the lower housing 4 and the upper housing 6. The lower housing 4 and the upper housing 6 are relatively rotatable around the hinge 8 between a folded position shown in FIG. 2 and an open position shown in FIG. The lower housing 4 and the upper housing 6 each have a plurality of operation keys 10 and an inner liquid crystal display panel (hereinafter, referred to as an inner LCD) on a surface (hereinafter, referred to as an inner surface) which is hidden inside in a folded state. 12a is provided. The operation keys 10 include selection keys for selecting a camera mode or the like. The upper housing 6 is provided with an outer liquid crystal display panel (hereinafter, referred to as an outer LCD) 12b on a surface outside (hereinafter, referred to as an outer surface) in a folded state. Glass windows 8a and 8b are formed in the hinge portion 8 at predetermined positions on the inner surface and the outer surface, respectively. The reason why the windows 8a and 8b are formed will be described later.
[0011]
FIG. 3 is a block diagram of the imaging display device of FIGS. The imaging display device 2 controls the imaging unit 16 that images a subject, a display unit 18 that displays an image on the inner LCD 12a or the outer LCD 12b based on image data captured by the imaging unit 16, and controls the imaging unit 16 and the display unit 18. And a control unit 20 that performs the operation. Each component of the imaging unit 16, the display unit 18, and the control unit 20 is disposed inside or on the surface of the lower housing 4, the upper housing 6, and the hinge unit 8 as described above or later. .
[0012]
The imaging unit 16 includes an optical system 22, an aperture mechanism 24, an imaging element 26, an image processing unit 28, and the like. The optical system 22 is a lens mechanism including a plurality of lenses having optical axes parallel to a predetermined direction, and forms a subject image on an imaging surface of the imaging element 26. The lens 22a located at the forefront of the optical system 22 faces the window 8a of the hinge portion 8 at the open position as shown in FIG. 1A, and at the folded position as shown in FIG. 8b. The aperture mechanism 24 includes an aperture blade and a motor (both not shown). The motor receives a predetermined voltage from a drive circuit 29 that receives a control signal from the control unit 20, and drives the aperture blade. Thereby, the amount of light incident from the optical system 22 is adjusted. The imaging device 26 is, for example, a CCD, and converts an optical signal received on the imaging surface into an electric signal and outputs the electric signal to the image processing unit 28. The image sensor 26 captures an image in synchronization with a vertical drive (VD) signal from the control unit 20. By adjusting the synchronization signal as appropriate, an operation equivalent to so-called shutter speed adjustment can be obtained. The image processing unit 28 subjects the electric signal (analog signal) from the image sensor 26 to analog / digital (A / D) conversion, γ correction, further performs exposure correction and white balance correction, and displays the image signal as a display unit. 18 is output. The image processing unit 28 calculates an average luminance for each image frame.
[0013]
The display unit 18 includes an image processing unit 32, an LCD drive circuit 34, inside and outside light sources 36a and 36b, and drive circuits 38a and 38b for inside and outside light sources, in addition to the inside and outside LCDs 12a and 12b. The image processing unit 32 converts the image signal from the image processing unit 28 of the imaging unit 16 into a video signal, further performs contrast correction and brightness correction, and outputs the corrected video signal to the LCD drive circuit 34. Has become. The LCD drive circuit 34 controls one of the LCDs 12a and 12b based on the video signal from the image processing unit 32 and the control signal from the control unit 20 to display an image corresponding to the video signal. . The inner and outer light sources 36a and 36b supply light for illumination to the LCDs 12a and 12b via light guide plates (not shown) disposed on the rear surfaces of the inner and outer LCDs 12a and 12b, respectively. The inner and outer light source drive circuits 38a and 38b are inverter circuits for driving the inner and outer light sources 36a and 36b in response to a control signal from the control unit 20 (that is, controlling the light amounts of the light sources).
[0014]
The control unit 20 of the imaging display device 2 estimates the ambient illuminance from the average luminance of the image calculated by the image processing unit 28, and based on the ambient illuminance, the imaging unit 16 includes the aperture mechanism 24, the imaging element 26, and / or Alternatively, the exposure correction is performed by controlling the image processing unit 28, and the display unit 18 controls the image processing unit 32 and / or the drive circuit 38a or 38b to perform the brightness correction of the LCD 12a or 12b.
[0015]
In the imaging and display device 2 according to the present embodiment, the determination unit 40 is connected to the control unit 20, and the control unit 20 uses the imaging unit 16 and the display unit based on information from the determination unit 40 as described later. The control method of No. 18 is changed. The determination unit 40 includes a relative position detection unit 42, an image memory 42, an illuminance environment calculation unit 44, and the like.
[0016]
The relative position detection unit 42 is for detecting a relative position (positional relationship) between the imaging unit 16 and the display unit 18. In the present embodiment, the relative position detection unit 42 is a switch that switches on / off in conjunction with opening and closing of the device 2. For example, by setting the relative position detection unit 42 to output an ON signal to the control unit 20 at the open position, the control unit 20 receives the ON signal from the relative position detection unit 42 at the open position shown in FIG. Therefore, the direction of incidence of light on the optical system 22 of the imaging unit 16 and the direction of observing the inside LCD 12a of the display unit 18 are substantially the same direction (the lens 22a and the inside LCD 12a are located on the same side of the apparatus 2). ) Recognize. Further, at the folding position shown in FIG. 2, the control unit 20 reverses the direction in which light enters the optical system 22 of the imaging unit 16 and the direction in which the outside LCD 12 b of the display unit 18 is observed (when the lens 22 a and the outside LCD 12 b (Located on the opposite side of the device 2).
[0017]
The image memory 44 is for temporarily storing image data (for example, RGB image data) output from the image processing unit 28 of the imaging unit 16.
[0018]
The illuminance environment determination unit (backlight determination unit) 46 is for determining whether or not the subject has been imaged under the backlight environment based on the image data stored in the image memory 44. By the way, since a face is generally used as a shooting target of the camera-equipped mobile phone 2, in the present embodiment, the illuminance environment calculation unit 46 compares the brightness of the face area with the brightness of the background area on the image to obtain the imaging environment. Is determined to be backlight or normal light. Specifically, referring to FIG. 4, illuminance environment computing section 46 obtains chromaticity coordinates for each pixel of image frame 50 based on the image data stored in image memory 44, 50f and another region (background region) 50b. Then, the average brightness of the face area 50f L f, the average brightness of the background region 50b calculates the L b,
In the case of sunshine,
In the case of, it is determined that the subject is backlit. Here, C is an appropriate numerical value set to minimize erroneous determination. The illuminance environment calculation unit 46 sends a signal indicating whether the imaging condition is under backlight or under direct light to the control unit 20. The illuminance environment calculation unit 46 determines the illuminance environment by a relatively simple method, and thus has an effect of providing an inexpensive imaging and display device 2. However, the method of dividing the face region 50f and the background region 50b is not limited to the above method. In addition, in consideration of the case where the subject is other than the face, the illuminance environment calculation unit 46 may include a unit such as an image recognition unit for dividing the subject region and the other background region.
[0019]
Next, an imaging display operation of the imaging display device 2 having such a configuration will be described. When imaging the user himself, the user sets the device 2 to the open position as shown in FIG. 1 and makes the inner surface, that is, the lens 22a of the optical system 22 of the imaging unit 16 and the inner LCD 12a of the display unit 18 face the user. . The control unit 20 receives the ON signal from the relative position detection unit 42, sends a control signal to the inside light source drive circuit 38a, and turns on the inside light source 36a. On the other hand, when an image representing the user's face and its surroundings is formed on the imaging surface of the imaging device 26 via the optical system 22 and the aperture mechanism 24 of the imaging unit 16, the imaging device 26 An electric signal is output to the image processing unit 28 in synchronization with the drive signal. The image processing unit 28 performs A / D conversion, and subsequently performs γ correction, then performs exposure correction and white balance correction, and converts the obtained image signal into an image processed by the image processing unit 32 of the display unit 18 and an image of the determination unit 40. Output to the memory 44.
[0020]
After converting the image signal into a video signal, the image processing unit 32 of the display unit 18 performs contrast correction and brightness correction, and sends it to the LCD drive circuit 34. The LCD driving circuit 34 drives the inner LCD 12a based on the video signal from the image processing unit 32 and the signal indicating the relative position between the imaging unit 16 and the display unit 18 sent from the control unit 20, and displays an image. I do.
[0021]
With the imaging display device 2 set in the open position, the control unit 20 changes the control method of the imaging unit 16 and the display unit 18 according to whether the imaging is performed under backlight or normal light as follows. Change to
[0022]
As illustrated in FIG. 5A, when imaging is performed under normal light (for example, when the sun is located on the opposite side of the user across the device 2 or when it is cloudy), the control unit 20 Upon receiving a signal from the illuminance environment calculation unit 46 indicating that imaging is being performed under normal light, normal exposure correction control is performed on the imaging unit 16. As an example, referring to FIG. 6, a density histogram of an image corresponding to image data obtained by A / D conversion in image processing unit 28 is obtained, and density values (gradations) are distributed in a certain range. If so, density conversion (so-called histogram expansion) for expanding the density distribution over a wider range (within a range where the maximum luminance of the image is not saturated) is performed.
[0023]
As illustrated in FIG. 5B, when imaging is performed under backlight (that is, in a state where the user and the sun are located on the same side with respect to the device 2), the control unit 20 transmits the image under backlight from the illuminance environment calculation unit 46. In response to the signal indicating that the imaging is being performed by the camera, exposure control for backlight is performed on the imaging unit 16. As an example, referring to FIG. 7, the density relating to face area 50 f divided by illuminance environment calculation section 46 in image 50 (FIG. 4) corresponding to image data obtained by A / D conversion in image processing section 28. Only the histogram is obtained, and the histogram is expanded.
[0024]
When the device 2 is set to the open position, the visibility of the screen of the inner LCD 12a is good in the case of imaging under normal light [see FIG. 5 (a)], and poor in the case of imaging under backlight (sun. The screen is difficult to see due to the light) (see FIG. 5B). Therefore, the control unit 20 determines that the peripheral illuminance (corresponding to the average luminance of the image calculated from the signal obtained after the A / D conversion performed by the image processing unit 28 of the imaging unit 16) is the same under normal light and under backlight. Also, the display unit 18 is controlled so that the brightness of the inner LCD 12a under backlight is higher than under normal light. For example, referring to FIG. 8, control unit 20 controls inner light source driving circuit 38a that drives inner light source 36a so that the amount of increase in the luminance of inner LCD 12a is proportional to the average luminance of the image, and controls the proportionality factor. To select either the small value G1 or the large value G2. Then, when receiving a signal indicating imaging under normal light from the illuminance environment calculation unit 46, the control unit 20 controls the inside light source drive circuit 38a so that the proportional coefficient becomes G1. On the other hand, when receiving the signal indicating the imaging under the backlight from the illuminance environment calculation unit 46, the control unit 20 controls the inside light source drive circuit 38a so that the proportional coefficient becomes G2.
[0025]
On the other hand, when photographing another subject other than the user, the user sets the apparatus 2 at the folding position as shown in FIG. 2, and sets the lens 22a of the optical system 22 of the imaging unit 16 as the subject, and the LCD 12b outside the display unit 18. To the user. The control unit 20 does not receive a signal from the relative position detection unit 42, and as a result, sends a control signal to the outside light source drive circuit 38b to turn on the outside light source 36b. On the other hand, when an image representing the face of the subject and its surroundings is formed on the imaging surface of the imaging device 26 via the optical system 22 and the aperture mechanism 24 of the imaging unit 16, the imaging device 26 An electric signal is output to the image processing unit 28 in synchronization with the signal. The image processing unit 28 performs A / D conversion, and subsequently performs γ correction, then performs exposure correction and white balance correction, and converts the obtained image signal into an image processed by the image processing unit 32 of the display unit 18 and an image of the determination unit 40. Output to the memory 44.
[0026]
After converting the image signal into a video signal, the image processing unit 32 of the display unit 18 performs contrast correction and brightness correction, and sends it to the LCD drive circuit 34. The LCD drive circuit 34 drives the outer LCD 12b based on the video signal from the image processing unit 32 and the signal indicating the relative position between the imaging unit 16 and the display unit 18 sent from the control unit 20, and displays an image. I do.
[0027]
In a state where the imaging and display device 2 is set at the folded position, the control unit 20 changes the control method of the imaging unit 16 and the display unit 18 according to whether the imaging is performed under the backlight or the direct light. Change as follows.
[0028]
As illustrated in FIG. 9A, when imaging is performed under normal light (for example, when the sun is located on the opposite side of the subject across the device 2 or when it is cloudy), the control unit 20 Upon receiving a signal from the illuminance environment calculation unit 46 indicating that imaging is being performed under normal light, the normal exposure correction control as described above is performed on the imaging unit 16.
[0029]
As illustrated in FIG. 9B, when imaging is performed under backlight (that is, in a state where the subject and the sun are located on the same side with respect to the apparatus 2), the control unit 20 transmits the image under backlight from the illuminance environment calculation unit 46. In response to the signal indicating that imaging is being performed, the exposure control for backlight is performed on the imaging unit 16 as described above.
[0030]
When the device 2 is set in the folded position, the visibility of the screen of the outer LCD 12b is poor in the case of imaging under direct light, especially when the sun is positioned on the same side as the user with respect to the device 2 [FIG. 9 (a)], which is good in the case of imaging under backlight (see FIG. 9 (b)). Therefore, the control unit 20 determines that the peripheral illuminance (corresponding to the average luminance of the image calculated from the signal obtained after the A / D conversion performed by the image processing unit 28 of the imaging unit 16) is the same under normal light and under backlight. Also, the display unit 18 is controlled so that the brightness of the outer LCD 12b under normal light is higher than under backlight. Referring to FIG. 8, for example, when receiving a signal indicating that imaging is being performed under backlight from the illuminance environment calculation unit 46, the control unit 20 controls the outside light source so that the proportional coefficient becomes a small value G1. It controls the drive circuit 38b. On the other hand, when receiving a signal indicating that imaging is being performed under normal light from the illuminance environment calculation unit 46, the control unit 20 controls the outside light source drive circuit 38b so that the proportional coefficient becomes a large value G2. . Note that the proportional coefficient at the folded position and the proportional coefficient at the open position may be different.
[0031]
As described above, according to the present embodiment, the exposure control of the imaging unit 16 and the brightness control of the display unit 18 are performed in consideration of the imaging conditions of the backlight / direct light and the difference in the relative positions of the imaging unit 16 and the display unit 18. Therefore, a higher quality image display can be performed as compared with the related art.
[0032]
Embodiment 2 FIG.
FIG. 10 is a block diagram showing Embodiment 2 of the imaging display device according to the present invention. In the following description, components that are the same as or similar to those of the first embodiment are denoted by the same reference numerals or the same reference numerals with appropriate subscripts. The imaging display device 2a according to the present embodiment is similar to the imaging display device 2 according to the first embodiment, but the determination unit 40a includes an illuminance environment input unit instead of the image memory 44 and the illuminance environment calculation unit 46. 50 is provided. Specifically, in the present embodiment, instead of the image memory 44 and the illuminance environment calculation unit 46 automatically determining whether or not imaging is performed under backlight, the illuminance environment input unit 50 (implementation) (Corresponding to the operation key 10 of the first embodiment).
[0033]
In the present embodiment, similarly to the first embodiment, the control unit 20 of the imaging display device 2a estimates the ambient illuminance from the average luminance of the image calculated by the image processing unit 28, and based on the ambient illuminance, the imaging unit In 16, the exposure mechanism is controlled by controlling the aperture mechanism 24, the image sensor 26, and / or the image processing unit 28, and the display unit 18 is controlled by controlling the image processing unit 32 and / or the drive circuit 38 a or 38 b to control the LCD 12 a The luminance correction of 12b is performed.
[0034]
Further, in the present embodiment, the control unit 20 includes the backlight unit / direct light information designated by the user via the illuminance environment input unit (user input unit) 50 and the imaging unit 16 and the display unit detected by the relative position detection unit 42. The display 18 is controlled according to the relative position of the display 18. Specifically, as shown in FIG. 9, a plurality of proportional coefficients representing the relationship between the average luminance of the image and the amount of increase in the luminance of the LCD 12 a or 12 b are prepared in advance, and the control unit 20 controls the user via the illuminance environment input unit 50. The proportional coefficient is selected in accordance with the information on the backlight / direct light specified by the user and the relative position between the imaging unit 16 and the display unit 18 detected by the relative position detection unit 42. Then, based on the average luminance of the image calculated by the image processing unit 28, the display unit 18 is controlled so that a desired luminance of the LCD 12a or 12b is obtained. In the present embodiment, the control method of the imaging unit 16 is not changed depending on whether the imaging condition is backlight or not, but the amount of calculation for controlling the display unit 18 can be reduced, and the hardware Circuit size can be reduced.
[0035]
The specific embodiments according to the present invention have been described above, but the present invention is not limited thereto, and various modifications can be made. For example, an illuminance environment calculation unit 46 for calculating imaging conditions on the device 2 side and an illuminance environment for a user to input backlight / forward light information are provided to a determination unit that determines whether or not imaging has been performed under backlight. Both the input unit 50 may be mounted so that the user can select which of the illuminance environment calculation unit 46 and the illuminance environment input unit 50 performs the determination regarding the backlight / direct light.
[0036]
【The invention's effect】
According to the imaging display device according to the present invention, the imaging unit and / or the display is displayed in accordance with information on whether or not imaging is performed under backlight and information on the positional relationship between the imaging unit and the display unit. Since the control method of the unit is adjusted, a high-quality image can always be displayed irrespective of the use environment (that is, backlight / direct light) or the use form (that is, the relative position of the imaging unit and the display unit).
[Brief description of the drawings]
FIG. 1 is a camera-equipped mobile phone according to a first embodiment of the present invention, in which (a) is a front perspective view in an open state, and (b) is a rear view in an open state. FIG.
FIGS. 2A and 2B are camera-equipped mobile phones as a first embodiment of the imaging and display device according to the present invention, wherein FIG. 2A is a front perspective view in a folded state, and FIG. 2B is a rear view in a folded state. FIG.
FIG. 3 is a block diagram of the imaging display device of FIGS.
FIG. 4 is a diagram simply showing an image frame divided into a face area and a background area in order to determine whether or not an image is captured under backlight.
5 is a partially cutaway side view of the imaging display device set to the open position in FIG. 1, where (a) is a positional relationship between a user (subject) and the device when imaging under direct light; (A) shows the positional relationship between the user (subject) and the apparatus when capturing an image under backlight.
6 is a graph illustrating a density histogram obtained from captured image data and a density histogram obtained by performing histogram expansion on the histogram in order to perform normal exposure correction control on the imaging unit in FIG. 3;
7 is a graph showing a density histogram obtained from captured image data only for a face region in order to perform backlight exposure correction control on the imaging unit of FIG. 3, and a density histogram obtained by performing histogram expansion on the histogram;
8 is a graph showing the relationship between the average luminance of an image and the amount of increase in the luminance of the LCD, which is used when controlling the LCD backlight of the display unit in FIG. 3 according to whether the imaging condition is backlight or normal light.
9 is a partially cutaway side view of the imaging display device set at the folding position in FIG. 2, and FIG. 9A illustrates a positional relationship between a user, a subject, and the device when imaging under direct light. (A) shows the positional relationship between the user, the subject, and the apparatus when capturing an image under backlight.
FIG. 10 is a block diagram showing a second embodiment of the imaging display device according to the present invention.
[Explanation of symbols]
2: Imaging display device 12a, 12b: LCD
16: imaging unit 18: display unit 22a: lens 40: determination unit 42: relative position detection unit 46: illuminance environment calculation unit (backlight determination unit)