JP2009302910A - 撮像装置及び画像再生装置 - Google Patents

Abstract

【課題】撮影された画像データが撮影者の所望する向きとは異なって記録されるのを防ぐことができる撮像装置を提供する。
【解決手段】被写体を撮影する第一の撮像素子１０２と、撮影者の顔画像を取得する第二の撮像素子１１２とを備える。また、第二の撮像素子１１２が取得した撮影者の顔画像から装置本体の撮影者に対する相対姿勢を判定し、相対姿勢を元に、第一の撮像素子１０２で撮影した撮影画像の縦横方向を決定する画像処理部１０７を備える。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置に関する。より詳しくは、姿勢検出技術に特徴のある撮像装置及び画像再生装置に関する。

一般的に、多くの撮像装置で撮影（撮像）記録される画像データは、縦横の比率が１対１ではなく、例えば４対３等である。このため、撮影者は、撮影しようとする被写体の形状に合せて、撮像装置を横にして持ち、または、縦にして持って撮影を行う必要がある。

こうして得られた撮影画像（画像データ）は、再生表示しようとする場合に、該撮影画像の撮影時における撮像装置の縦横方向と同じ方向で表示されなければ、撮影者の意図する画像から回転された状態で表示されることになる。このため姿勢検出（判定）手段を有し、撮影時の姿勢検出結果から得られた向きに画像を記録する必要があった。

一般的に、撮像装置の姿勢検出手段には重力センサが用いられ、撮影時の重力方向が底辺となるように画像が記録される。

また、重力センサを用いない姿勢検出技術としては、撮影画像データに含まれる特定画像部分を検出する画像検出手段を有し、特定画像部分の検出結果に基づいて、撮像装置の姿勢を判定する技術が提案されている（特許文献１参照）。
特開２００６−７４４９８号公報

重力センサを用いて姿勢判定（検出）を行う撮像装置では、撮影者が正立して撮影していない場合や、撮像装置が重力方向に向かって構えられている場合、また、無重力環境下では、撮影者の意図する撮像装置の姿勢判定を行うことができなかった。

これを解決する手段の一つとして、上記特許文献１で示されたように、重力センサを用いず、撮影画像データに含まれる特定画像部分を元に姿勢判定を行う手段がある。しかし、撮影画像内に姿勢判定に用いられる特定画像部位が含まれていない場合には、撮像装置の姿勢判定を行うことができなかった。

このため、姿勢判定が正しくなされず、撮影者の所望する向きと異なる方向に撮影画像が記録された場合には、後から所望の方向に画像を回転させて記録し直す等の煩わしい操作が使用者には必要となる。

本発明の目的は、撮影された画像データが撮影者の所望する向きとは異なって記録されるのを防ぐことができる撮像装置を提供することにある。

上記目的を達成するために、本発明の撮像装置は、撮影者の顔画像を取得する取得手段と、前記取得手段により取得された前記撮影者の顔画像の特徴点を検出する特徴点検出手段と、前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢角度を算出する姿勢角度算出手段と、前記姿勢角度算出手段により算出された前記姿勢角度に関する情報を画像データに付与する情報付与手段と、を備えることを特徴とする。

本発明の撮像装置は、撮影者の顔画像を取得する取得手段と、前記取得手段により取得された前記撮影者の顔画像の特徴点を検出する特徴点検出手段と、前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢を判定する姿勢判定手段と、前記姿勢判定手段により判定された前記姿勢に関する情報を画像データに付与する情報付与手段と、を備えることを特徴とする。

本発明の画像再生装置は、撮影時の姿勢角度が付与された画像データを再生表示する画像再生装置であって、使用者の顔画像を取得する取得手段と、前記取得手段により取得された前記使用者の顔画像の特徴点を検出する特徴点検出手段と、前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢角度を算出する姿勢角度算出手段と、前記画像データに付与されている前記撮影時の姿勢角度を読み出す読み出し手段と、前記姿勢角度算出手段によって算出された前記姿勢角度と前記読み出し手段によって読み出した前記撮影時の姿勢角度に基づいて前記画像データに対応する画像を回転表示する表示制御手段と、を備えることを特徴とする。

本発明の画像再生装置は、撮影時の姿勢情報が付与された画像データを再生表示する画像再生装置であって、使用者の顔画像を取得する取得手段と、前記取得手段により取得された前記使用者の顔画像の特徴点を検出する特徴点検出手段と、前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢を判定する姿勢判定手段と、前記画像データに付与されている前記撮影時の姿勢情報を読み出す読み出し手段と、前記姿勢判定手段によって算出された前記姿勢と前記読み出し手段によって読み出した前記撮影時の姿勢情報に基づいて前記画像データに対応する画像を回転表示する表示制御手段と、を備えることを特徴とする。

本発明の撮像装置によれば、撮影された画像データが撮影者の所望する向きとは異なって記録されるのを防ぐことができる。

（第１の実施の形態）
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置のブロック図である。

撮像装置（デジタルカメラ）１００は、画像生成装置２００、画像処理装置３００、撮影者画像取得装置４００の他、表示部１０５、記憶部１０６、制御部１０９、操作部１１０を備える。

画像生成装置２００は、第一の撮影レンズ部１０１、第一の撮影レンズ部１０１により形成された被写体像を光電変換するＣＭＯＳ等の第一の撮像素子１０２、第一の撮像素子１０２からの出力信号をＡ／Ｄ変換するＡ／Ｄ変換器１０３を備える。

また、画像生成装置２００は、Ａ／Ｄ変換器１０３からのデジタル信号に各種処理を施して画像信号（画像データ）を生成する第一の画像生成部１０４を備える。生成された画像データは、画像処理部１０７に出力される。

液晶ディスプレイ等からなる表示部１０５は、画像処理部１０７から出力された画像データに基づいて被写体画像を表示する。記録部１０６は、画像処理部１０７から出力された画像データを記録媒体（半導体メモリ、光ディスク、磁気ディスク等）に書き込み、また、記録媒体から画像を読み出す。

画像処理装置２００は、画像処理部１０７、メモリ１０８を備える。メモリ１０８は、第一の画像生成部１０４で生成された画像や他の情報（後述する撮影者顔画像情報、撮像装置姿勢情報等）を記憶保存する。

制御部１０９は、画像生成装置２００、画像処理装置３００、撮影者画像取得装置４００を含む撮像装置１００の全体の制御を司る。操作部１１０は、制御部１０９に撮影等の指示を与える。

撮影者画像取得装置４００は、第二の撮影レンズ部１１１、第二の撮像素子１１２、Ａ／Ｄ変換器１１３、第二の画像生成部１１４を備える。本発明の姿勢判定に用いられる撮影者の顔画像は、この撮影者画像取得装置４００で取得される。

図２は、図１の撮像装置の背面斜視図である。

第一の撮影レンズ部１０１は、略矩形の撮像装置１００の正面側に設けられる。第二の撮影レンズ部１１１は、第一の撮影レンズ部１０１の光軸と第二の撮影レンズ部１１１の光軸が平行かつ逆向きになるように、撮像装置１００の表示部１０５が設けられている面側、即ち背面側に設けられている。

第一の撮像素子１０２は、縦横で長さの異なる矩形をしており、撮像装置１００が正位置で撮影されたときに、撮影画像の水平方向と撮像装置１００の水平方向が揃うように配置されている。さらに、第二の撮像素子１１２は、取得画像の水平方向が、第一の撮像素子１０２の撮影画像の水平方向と揃うように配置されている。即ち、第一の撮像素子１０２と、第二の撮像素子１１２との水平方向は同一となるように配置されている。

撮影は通常、第一の撮影レンズ部１０１を被写体に向け、撮影者が撮像装置１００の背面側に位置した状態、つまり第二の撮影レンズ部１１１に向いた状態で行われる。

図３は、図１における画像処理部のブロック図である。

図３において、画像補正処理部１０７ａは、画像生成装置２００から入力された撮影画像にホワイトバランス等の補正処理を行う。特徴点算出部１０７ｂは、撮影者顔画像取得装置４００から入力された撮影者顔画像から顔の特徴点を生成（算出）する。

特徴点とは、眉や眼の距離、顔の輪郭、鼻や口の形状、肌の色等を含む。また、例えば、ウェーブレット手法を用いて顔画像を処理して得られる、顔の濃淡やシャープさ等を含んでいてもよい。さらに、特徴点情報として、画像上の形状認識やパターンマッチング法等を実行する際に用いる顔の特徴的な部位を含む画像パターンも生成する。

姿勢検出部１０７ｃは、撮像装置１００の姿勢撮影方向を検出する。本実施の形態では、特徴点算出部１０７ｂにより検出された顔の特徴点として人物の眼を用い、人物の両眼の配置方向と撮影画面の長辺または短辺方向（水平または垂直）との関係に基づいて撮像装置１００の姿勢を判定（検出）している。

図４は、図２の撮像装置の姿勢検出の説明図である。

具体的には、図４に示すように、姿勢検出部１０７ｃにおいて、検出された人物の対となる眼と眼を結ぶ直線Ｌと撮像装置１００の水平方向Ｇとの角度（姿勢角度）θを算出する。

例えば、撮像装置１００が水平姿勢（横位置）である場合（図４（ａ））、眼を結ぶ直線Ｌと画像水平方向Ｇとでなす角度０°であり、垂直姿勢（縦位置）である場合（図４（ｃ））、姿勢角度θは９０°となる。図４（ｂ）は、撮像装置１００が斜め姿勢である状態を示す。

画像回転情報付与部１０７ｄは、姿勢検出部１０７ｃで算出された姿勢角度θを画像補正処理部１０７ａで出力された画像データ撮影画像データに付与する。

次に、本実施の形態における顔画像から姿勢角度θを算出する手法について説明する。

まず、入力された撮影者顔画像に対して、特徴点算出部１０７ｂは、水平垂直方向のバンドパスフィルタをかけ、エッジ成分を検出する。そして、特徴点算出部１０７ｂは、検出されたエッジ成分のパターンマッチングを行い、眼鼻、口、耳の候補群を抽出する。

また、メモリ１０８には、１または複数の人物情報が記憶されている。人物情報とは、その人物（個人）の眉や眼の距離、顔の輪郭、鼻や口の形状等を示す情報であり、さらにその人物の瞳の色も含む。また、人種に関する情報として、一般的な肌の色や瞳の色の情報も含む。

特徴点算出部１０７ｂは、人物の眼を判定するために、抽出された眼の候補群の中から、予め設定された上記情報をメモリ１０８から取得する。次に、特徴点算出部１０７ｂは、該情報（例えば２つの眼の距離、傾き等）を満たすものを眼として判定し、眼の対があるもののみを眼情報として絞り込む処理を行う。

特徴点算出部１０７ｂで検出された撮影者の眼情報は、姿勢検出部１０７ｃに入力される。そして、姿勢検出部１０７ｃは、対となる眼と眼を結ぶ直線Ｌと撮像装置１００の水平方向Ｇとの角度から姿勢角度θを算出する（図４参照）。

図５は、図１の撮像装置によって実行される画像撮影処理の手順を示すフローチャートである。

図５において、まず、操作部１１０の図示しないレリーズスイッチのＳＷ１のオン操作が行われることでフローはスタートし、ステップＳ５０１にて、撮影者画像取得装置４００による撮影者の顔が含まれる画像の取得を行う。

ステップＳ５０１は、撮影者の顔画像を取得する取得手段として機能する。

ステップＳ５０２では、ステップＳ５０１で取得された画像が画像処理部１０７に入力され、特徴点算出部１０７ｂによって撮影者の顔情報である特徴点が算出される。算出された特徴点は、メモリ１０８に撮影者顔画像の特徴点の初期値としてデータ保存される。

ステップＳ５０２は、取得手段により取得された撮影者の顔画像の特徴点を検出する特徴点検出手段として機能する。

次に、ステップＳ５０２で検出した特徴点データの中から、撮影者の眼の位置情報を元に姿勢検出部１０７ｃで、撮像装置１００（装置本体）の姿勢角度θを算出し（ステップＳ５０３）、メモリ１０８に算出した姿勢角度θを表す情報を記憶する（ステップＳ５０４）。

ステップＳ５０３は、特徴点検出手段により検出された特徴点から装置本体の姿勢角度を算出する姿勢角度算出手段姿勢角度算出手段として機能する。

ステップＳ５０５に進むと、ＡＦ、ＡＥ等の撮影条件の取得を行う。この後、ステップＳ５０６で、操作部１１０の図示しないレリーズスイッチのＳＷ２のオン操作が行われると、画像生成装置２００にて被写体の撮影を行う（ステップＳ５１０）。

ステップＳ５０６は、被写体の撮影を指示する指示手段として機能する。

また、ステップＳ５０６でＳＷ２のオン操作が行われなかった場合には、ステップＳ５０７に進み、再度撮影者の顔画像の取得を行う。

ステップＳ５０７は、指示手段による指示があるまで撮影者の顔画像を繰り返し取得する第２の取得手段として機能する。

ステップＳ５０８では、ステップＳ５０７で得た撮影者の顔画像からステップＳ５０３と同様に顔の特徴点を算出し、ステップＳ５０９で、メモリ１０８に保存されている撮影者の顔画像の特徴点と比較する。

ステップＳ５０９は、取得手段により前回取得された撮影者の顔画像の特徴点と今回取得された撮影者の顔画像の特徴点が異なるか否か判定する判定手段として機能する。

このとき、メモリ１０８上の撮影者の顔画像の特徴点の初期値と、新たに取得した顔画像の特徴点が異なる人物の物であると判断した場合には、ステップＳ５０７で所得した顔画像は姿勢判定には不適切と判断し、カメラ姿勢情報の更新を行わない。そして、ステップＳ５０５に進む。

ステップＳ５０９で、メモリ１０８上の撮影者の顔画像と、ステップＳ５０７で取得した顔画像の特徴点が同一人物のものである（特徴点が一致した）と判定されれば、ステップＳ５０３に進む。そして、ステップＳ５０８で取得した特徴点の眼の位置情報から姿勢角度θの算出を行う。その後、メモリ１０８上のカメラ姿勢情報を新たに設定して（ステップＳ５０４）、ステップＳ５０６に進む。

ステップＳ５１０にて撮影された被写体画像は、画像処理部１０７に入力され、画像補正処理部１０７ａにてホワイトバランス等の画像補正処理を行う（ステップＳ５１１）。

ステップＳ５１２では、画像回転情報付与部１０７ｄがメモリ１０８に記憶している姿勢角度θを表す情報を画像データに付与する。姿勢角度θを表す情報を付与された画像データは記録部１０６に記録する（ステップＳ５１３）。そして、本処理を終了する。

ステップＳ５１２は、姿勢角度θを表す情報を画像データに付与する情報付与手段として機能する。

図６は、図１の撮像装置によって実行される画像再生処理の手順を示すフローチャートである。

図６において、まず、画像の再生指示が行われると、ステップＳ６０１にて、撮影者顔画像取得装置４００を用いて表示部１０５側に位置する使用者の顔画像を取得する。

ステップＳ６０１は、画像の再生中に使用者の顔画像を取得する。

ステップＳ６０２では、撮影時の姿勢判定と同様に顔画像から特徴点を抽出し、ステップＳ６０３で、眼の位置情報から姿勢角度θの算出を行う。

ステップＳ６０４では、画像データに付与された姿勢角度θを表す情報を読み出すとともに、ステップＳ６０３にて求めた姿勢角度θと画像データに付与された撮影時の姿勢角度θを表す情報とを比較する。

さらに、ステップＳ６０４では、算出した現在の姿勢角度θと撮影時の姿勢角度θに基づいて画像データに対応する画像を回転させて、ステップＳ６０５で、表示部１０５に画像を表示する。

ステップＳ６０４は、画像データに付与されている前記撮影時の姿勢角度を読み出す読み出し手段として機能する。また、ステップＳ６０４は、姿勢角度算出手段によって算出された姿勢角度と読み出し手段によって読み出した撮影時の姿勢角度に基づいて画像データに対応する画像を回転表示する表示制御手段として機能する。

さらに、ステップＳ６０６で、画像再生の指示が終了されるまで、使用者の顔画像の取得を繰り返し、姿勢角度θが変化したとしても、画像データに付与された姿勢角度θと一致するように画像を回転する。そして、本処理を終了する。

（第２の実施の形態）
本発明の第２の実施の形態は、上述の第１の実施の形態に対して、下記の点において相違する。

上述した第１の実施の形態では、対となる眼と眼を結ぶ直線と撮像装置１００の水平方向との角度から姿勢角度θを算出し、姿勢角度θそのものを画像データに付与した。

これに対し、本実施の形態では、姿勢角度θから撮像装置１００の姿勢を判定して、判定したカメラ姿勢情報をメモリ１０８に記憶する。画像回転情報付与部１０７ｄが撮影時には画像回転情報付与部１０７ｄがメモリ１０８に記憶されるカメラ姿勢情報を画像データに付与する。

図７は、本実施の形態を説明するフローチャートで、図５のフローチャートと同様のステップについては同一符号を付与してその説明を省略する。

図７において、ステップＳ７０４では、ステップＳ５０３にて算出された姿勢角度θに基づいて撮像装置１００の姿勢を判定し、メモリ１０８に記憶する。

ステップＳ７０４は、特徴点検出手段により算出された特徴点から装置本体の姿勢を判定する姿勢判定手段として機能する。

ステップＳ５０３にて検出された姿勢角度θが３１５°≦θ＜３６０°、０°≦θ≦４５°のときは、撮像装置１００が撮影者に対して水平姿勢（横位置）に構えられていると判定し、メモリ１０８に記憶する。

ステップＳ５０３にて検出された姿勢角度θが４５°＜θ≦１３５°のときは、撮像装置１００が撮影者に対して９０°右回転した垂直姿勢（縦位置）に構えられていると判定し、メモリ１０８に記憶する。

逆に、ステップＳ５０３にて検出された姿勢角度θが２２５°≦θ＜３１５°のときは、撮像装置１００が撮影者に対して９０°左回転した垂直姿勢（縦位置）に構えられていると判定し、メモリ１０８に記憶する。

尚、画像回転のための姿勢角度の判定を、例えば、正位置では−４５°≦θ≦４５°にて行っているが、これは種々の条件に応じて異なる角度‐３０°≦θ≦３０°でも構わないし、可変に設定しても構わない。

ステップＳ５１２では、画像回転情報付与部１０７ｄがメモリ１０８に記憶したカメラ姿勢情報を画像回転情報として、画像データに付与する。

図８は、本実施の形態を説明するフローチャートで、図６のフローチャートと同様のステップについては同一符号を付与してその説明を省略する。

図８の画像再生処理においても、ステップＳ８０１にて、ステップＳ６０３にて算出した姿勢角度θから撮像装置１００の姿勢を判定する。そして、ステップＳ６０４では、画像データに付与されたカメラ姿勢情報と現在の撮像装置１００の姿勢に基づいて再生される画像を回転させる処理を行う。

ステップＳ８０１は、特徴点検出手段により算出された特徴点から装置本体の姿勢を判定する姿勢判定手段として機能する。ステップＳ６０４は、姿勢判定手段によって算出された姿勢と読み出し手段によって読み出した撮影時の姿勢情報に基づいて画像データに対応する画像を回転表示する表示制御手段として機能する。

以上のように本発明では、撮影、画像確認等で撮像装置１００を使用している人間と、撮像装置１００の相対姿勢から撮影画像の記録方向、再生表示方向を決定している。

これにより、重力センサでは撮影者の意図通りの姿勢検出ができなかった、撮影者が直立状していない場合や無重力の況下でも撮影者の意図に沿った姿勢検出を行うことができる。

また、ＳＷ１のオン操作をした直後に取得した顔画像を撮影者の顔画像の基準とし、撮影者と異なる人物の顔画像顔画像からは姿勢検出を行わないため、セルフタイマでの撮影時等において、誤検出を防ぐことができる。

さらに、画像再生中は、撮像装置１００の表示部１０５側の顔画像から姿勢検出を繰り返すため、使用中に撮像装置を持ち替えた場合や、使用者が途中で交代した場合にも使用者の姿勢に対して画像表示の方向に反映させることができる。

本発明の実施の形態に係る撮像装置のブロック図である。 図１の撮像装置の背面斜視図である。 図１における画像処理部のブロック図である。 図２の撮像装置の姿勢検出の説明図である。 第１の実施の形態である画像撮影処理の手順を示すフローチャートである。 第１の実施の形態である画像再生処理の手順を示すフローチャートである。 第２の実施の形態である画像撮影処理の手順を示すフローチャートである。 第２の実施の形態である画像再生処理の手順を示すフローチャートである。

符号の説明

１０７ 画像処理部
１０７ａ 画像補正処理部
１０７ｂ 特徴点算出部
１０７ｃ 姿勢検出部
１０７ｄ 画像回転情報付与部

Claims (6)

1. 撮影者の顔画像を取得する取得手段と、
   前記取得手段により取得された前記撮影者の顔画像の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢角度を算出する姿勢角度算出手段と、
   前記姿勢角度算出手段により算出された前記姿勢角度に関する情報を画像データに付与する情報付与手段と、
   を備えることを特徴とする撮像装置。
2. 被写体の撮影を指示する指示手段と、
   前記取得手段は、前記指示手段による指示があるまで前記撮影者の顔画像を繰り返し取得するものであって、前記取得手段により前回取得された前記撮影者の顔画像の特徴点と今回取得された前記撮影者の顔画像の特徴点が異なるか否か判定する判定手段とを備え、
   前記判定手段により前回取得された前記撮影者の顔画像の特徴点と今回取得された前記撮影者の顔画像の特徴点が一致すると判定された場合には、前記姿勢角度算出手段が前記取得手段により今回取得された前記撮影者の顔画像の特徴点から装置本体の姿勢角度を算出することを特徴とする請求項１記載の撮像装置。
3. 前記判定手段により前回取得された前記撮影者の顔画像の特徴点と今回取得された前記撮影者の顔画像の特徴点が異なると判定された場合には、前記姿勢角度算出手段が前記取得手段により今回取得された前記撮影者の顔画像の特徴点から装置本体の姿勢角度を算出しないことを特徴とする請求項２記載の撮像装置。
4. 撮影者の顔画像を取得する取得手段と、
   前記取得手段により取得された前記撮影者の顔画像の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢を判定する姿勢判定手段と、
   前記姿勢判定手段により判定された前記姿勢に関する情報を画像データに付与する情報付与手段と、
   を備えることを特徴とする撮像装置。
5. 撮影時の姿勢角度が付与された画像データを再生表示する画像再生装置であって、
   使用者の顔画像を取得する取得手段と、
   前記取得手段により取得された前記使用者の顔画像の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢角度を算出する姿勢角度算出手段と、
   前記画像データに付与されている前記撮影時の姿勢角度を読み出す読み出し手段と、
   前記姿勢角度算出手段によって算出された前記姿勢角度と前記読み出し手段によって読み出した前記撮影時の姿勢角度に基づいて前記画像データに対応する画像を回転表示する表示制御手段と、
   を備えることを特徴とする画像再生装置。
6. 撮影時の姿勢情報が付与された画像データを再生表示する画像再生装置であって、
   使用者の顔画像を取得する取得手段と、
   前記取得手段により取得された前記使用者の顔画像の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段により算出された前記特徴点から装置本体の姿勢を判定する姿勢判定手段と、
   前記画像データに付与されている前記撮影時の姿勢情報を読み出す読み出し手段と、
   前記姿勢判定手段によって算出された前記姿勢と前記読み出し手段によって読み出した前記撮影時の姿勢情報に基づいて前記画像データに対応する画像を回転表示する表示制御手段と、
   を備えることを特徴とする画像再生装置。

Images