JP2010091669A - 撮像装置 - Google Patents

Abstract

【課題】フォーカスの合っている被写体を低解像度のビューファインダやディスプレイ等でも容易に確認することが可能な撮像装置を提供する。
【解決手段】被写体の距離情報に基づき距離に応じて被写体を抽出する。また、合焦レンズの位置から得られた焦点距離及び絞りの絞り値に基づきフォーカス情報を算出する。そして、表示画面１０上に、被写体の画像を表示する。また、距離を軸とするグラフ上に、被写体の位置を示す被写体位置マークにフォーカス情報を付加した被写体距離グラフを表示する。これにより撮影範囲内の複数の被写体に対して、合焦範囲内に存在しているか否かを容易に確認することが可能となる。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、撮影時に被写体位置やフォーカス情報等を表示する技術に関するものである。

近年、ハイビジョンに代表されるように、映像の高解像度化が進み、それに伴って撮影時に精度よくフォーカスを合わせる要求が高まっている。しかし、カメラ用のビューファインダやデジタルスチルカメラ及びデジタル一眼レフカメラ等に搭載されているディスプレイの映像は、物理的な制約から高解像度化するのは困難である。

そこで、特許文献１には、低い解像度でも精度よくフォーカスを合わせるために、カメラのフォーカスレンズの位置と絞りのＦ値からフォーカス位置と被写界深度を算出し、撮影者に提示する方法が開示されている。

また、特許文献２にはフォーカス位置と被写界深度を、距離画像センサ等によって得られる距離画像とカメラのフォーカス情報を用いてフォーカスの合っている被写体を異なる色で表示する方法が提案されている。

ここで、距離画像センサとは、対象空間を撮影し、対象空間に存在する対象物までの距離を画素単位で得ることが可能な測距センサで、このセンサによって得られる画像を距離画像と呼ぶ。特許文献３には、距離画像センサの方式として、測定物の表面を光ビームで走査し、測定物の基準面から走査することで変位した変位面までの距離を三角測量法によって測定する方式が提案されている。
特開平８−２２０４１９号公報 特開２００７−８６４８１号公報 特開平９−２５７４１８号公報

特許文献１、２の方法では、フォーカスの合っている距離と被写界深度しか表示されないため、撮影範囲内のどの被写体にフォーカスが合っているのかが、低解像度のビューファインダやディスプレイでは確認しにくい。

本発明の目的は、フォーカスの合っている被写体を低解像度のビューファインダやディスプレイ等でも容易に確認することが可能な撮像装置を提供することにある。

本発明は、被写体を撮影する撮像装置において、被写体の距離情報を検出する手段と、前記距離情報に基づき距離に応じて被写体を抽出する手段と、合焦レンズの位置から得られた焦点距離及び絞りの絞り値に基づきフォーカス情報を算出する手段と、表示画面上に、前記被写体の画像と、距離を軸とするグラフ上に表示された、前記抽出された被写体に基づいて作成された前記被写体の位置を示す被写体位置マークに前記フォーカス情報を付加した被写体距離グラフとを表示する表示手段と、を備えたことを特徴とする。

本発明によれば、低解像度のビューファインダやディスプレイ等においても、撮影範囲内の複数の被写体に対して、合焦範囲内に存在しているか否かを容易に確認することが可能となる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は本発明に係る撮像装置の一実施形態を示すブロック図である。図中１はレンズ系で、ズーミングを行う変倍レンズ、撮像素子２に合焦させるための合焦レンズ、開口度を調節する絞りを含むものとする。変倍レンズ、合焦レンズは図示しない駆動手段によって光軸方向を別々に移動することが可能である。絞りも図示しない駆動手段によって開口度を調節することが可能である。

４は変倍レンズの位置を検出し、ズーム倍率を算出するズーム倍率算出回路、５は絞りのＦ値を検出するＦ値検出回路、６は合焦レンズの位置から焦点距離を算出する焦点距離算出回路である。２は撮像素子である。撮像素子２はレンズ系１によって撮像面に結像された被写体画像を光電変換して撮像信号に変換する。撮像素子２には、ＣＣＤやＣＭＯＳ等が用いられる。

カメラ信号処理回路３は撮像素子２から出力された撮像信号から輝度信号及び色信号を生成し、色補正、ガンマ補正等の信号処理を施す回路である。７は距離画像を生成する距離画像センサである。８はズーム倍率検出回路４、Ｆ値検出回路５、焦点距離算出回路６からカメラ情報を、距離画像センサから距離画像情報を取得し、被写体距離グラフを作成する被写体距離グラフ作成回路である。

被写体距離グラフ作成回路８は、カメラ情報及び距離画像情報を組み合わせ、距離を軸としたグラフ上に複数の被写体の位置を示す複数の被写体位置マーク及びフォーカス情報を付加した被写体距離グラフを生成する。画像合成回路９はカメラ信号処理回路３から得られた被写体画像に対して被写体距離グラフをＯＳＤ（On Screen Display）表示した画像を生成し、生成した画像を表示装置１０に表示する。なお、図１ではレンズ系１、撮像素子２等の装置内の各部を制御するコントローラは省略している。

図２は本発明に係る距離情報表示方法の一例を説明する図である。なお、図２は図１の表示装置１０の表示画面上に表示された距離情報の一例を示す。図３は図２において被写体とカメラとの距離関係を示す図である。ここでは、一例として図３に示すようにカメラから５ｍ離れた位置に人物、８ｍ離れた位置にオブジェが存在するものとする。図３中では人物にフォーカスが合っていて、ＤＯＦｆは前側被写界深度、ＤＯＦｂは後側被写界深度を表しているものとする。

また、図１中、表示装置１０は被写体画像及び被写体距離グラフを表示する。図２に示すように表示装置１０において距離を示す距離軸１５上に被写体距離情報とフォーカス情報を用いて被写体位置、フォーカス位置、被写界深度を示す被写体距離グラフを被写体画像と併せて表示する。

次に、被写体距離グラフの表示例を説明する。図２中の１１は被写体距離グラフ上で被写界深度を表す被写界深度バンドである。この例の場合には、被写体としてオブジェと人物が撮影範囲内に入っているので、それぞれの位置を示す被写体位置マーク１２、１３が表示される。

この被写体位置マークは、被写体の寸法に応じて表示が変化する。例えば、被写体位置マークを図中のようにバーを用いて表現した場合には、被写体の実際の高さと奥行きに比例させてバーの高さと幅を調節する。つまり、実際の被写体の寸法に比例して被写体距離グラフ上のバーの大きさが変わるため、被写体画像内の被写体と被写体距離グラフ上での被写体位置マークとの対応が取りやすくなる。

更に、被写体距離グラフ上にはフォーカス位置を示すフォーカス位置マーク１４も表示される。以上のような被写体画像と被写体距離グラフの表示により、人物の被写体位置マーク１３が示す距離にフォーカス位置マーク１４が表示されているので、ユーザは人物にフォーカスが合っていることが一目で分かる。また、オブジェの被写体位置マーク１２が被写界深度バンド１１から外れているので、オブジェにはフォーカスが合っていないことも併せて知ることが可能となる。従って、低解像度のビューファインダやディスプレイ等においても、撮影範囲内の複数の被写体に対して、合焦範囲内に存在しているか否かを容易に確認することが可能となる。

次に、図４を用いて本実施形態の撮影を行う際の処理手順を説明する。図４は撮影時の処理手順の流れを示すフローチャートである。まず、撮影開始時にユーザが図示しない被写体距離グラフ表示ボタンを押下すると（Ｓ１０１）、被写体距離グラフ作成回路８は被写体距離グラフ作成処理を行う（Ｓ１０２）。この被写体距離グラフの作成処理の詳細は後述する。

次に、画像合成回路９は作成された被写体距離グラフと被写体画像を合成した画像を作成し（Ｓ１０３）、合成した画像を表示装置１０に表示する（Ｓ１０４）。ユーザが図示しないシャッターボタンを半押しすると（Ｓ１０５）、図示しないコントローラの制御によりレンズ系１内の合焦レンズを移動させて、撮影範囲内の被写体のいずれか一つに自動的にフォーカスを合わせる（Ｓ１０６）。この際、フォーカスを合わせる被写体はＳ１０２における被写体距離グラフ作成処理内で予め決定されているものとする。シャッターボタンの半押しが解除されずに（Ｓ１０７）、シャッターボタンが全押しされたら（Ｓ１０８）、撮影を行い（Ｓ１０９）、撮影を終了する。

また、Ｓ１０７においてユーザが所望している被写体にフォーカスが合っていない等してシャッターボタンの半押しが解除されたら、ユーザは撮影範囲内の他の被写体に合焦するようにフォーカス変更を行う（Ｓ１１０）。フォーカス変更が行われたら被写体距離グラフの更新のために再度Ｓ１０２の被写体距離グラフ作成処理を行う。ここで、シャッターボタンの半押しが解除された場合には、他の被写体にフォーカスを変更するのではなく、撮影範囲内の複数の被写体にフォーカスが合うようにレンズ系１内の合焦レンズと絞りを調節するようにしても良い。

以上の処理によって、ユーザはシャッターボタンの半押しと半押し解除を繰り返せば、所望の被写体にフォーカスを合わせることができ、その上でシャッターボタンを全押しすれば、所望の被写体にフォーカスが合った画像を撮影することが可能となる。また、フォーカス変更の際には、撮像装置から近い被写体から順にフォーカスを切り替えたり、逆に撮像装置から遠い被写体から順にフォーカスを切り替えても良い。他にも、人物の顔を認識し、人物被写体と判明した被写体のみに順次フォーカスを切り替えたり、複数の人物被写体が被写界深度内に収まるようにしても良い。人物の顔を認識した際の、被写体距離グラフの表示については後述する。

次に、図５を用いて被写体距離グラフを作成するための全体的な処理手順（図４のＳ１０２の処理）を説明する。被写体距離グラフの作成が開始されると、まず、Ｓ２０１において被写体距離グラフ作成回路８は距離画像センサ７から距離画像情報を取得し、Ｓ２０２で距離画像情報を用いて被写体を抽出する。ここまでの手順で、画像内の被写体毎の距離を求めることができる。

次いで、Ｓ２０３において被写体距離グラフ作成回路８はＳ２０２で抽出した被写体の寸法を計測する。また、Ｓ２０４でズーム倍率検出回路４、Ｆ値検出回路５、焦点距離算出回路６から合焦距離、焦点距離、Ｆ値を含むカメラ情報を取得し、Ｓ２０５でこれらカメラ情報を用いてフォーカス位置、被写界深度を算出する。その後、Ｓ２０６において判明した被写体距離、フォーカス位置等を基準にして、被写体距離グラフの距離軸の縮尺を決定する。最終的に、Ｓ２０７でこれまでに得た情報から被写体距離グラフを作成する流れとなる。

次に、図５の各手順における処理の詳細を説明する。図５のＳ２０１での距離画像情報の取得に関しては、距離画像センサ７により得られた距離画像情報を取得する。ここで、距離画像は図２の説明と同じ撮影対象空間を例にすると、図６に示すような画像である。各画素の輝度値が距離値に置き換えられるため、距離に応じて輝度値が変化した画像が得られる。この例では、色が黒ければよりカメラ（撮像装置）に近く、白くなるにつれてカメラから離れていることを示している。

この距離画像を用いれば、各距離に応じて被写体を抽出することが可能であるので、図５のＳ２０２ではこの距離画像を元に被写体を抽出する。図２及び図３を例にとれば、カメラからの距離値５ｍの値を持つ連続した画素の集合を一つの被写体と見なし抽出する。但し、被写体には凹凸があるため、距離値が５ｍの画素のみを抽出するのではなく、距離値が５ｍ前後の画素を抽出する。予め値を設定しておき、５ｍからその設定値前後の連続した画素は被写体に対応する画素と判断する。

例えば、設定値をｓ［ｍ］とすると、（５−ｓ）〜（５＋ｓ）［ｍ］の距離値の連続した画素を抽出する。本実施形態の場合、距離値５ｍの値を持つ被写体は人物に対応し、図７に示すような画像が抽出できる。同様の方法で、距離値８ｍの値を持つ人物の後方に存在する被写体（オブジェ）を抽出する。

この際、抽出した被写体の内、一つにフォーカスが合うように図１のレンズ系１内の合焦レンズを移動させる。フォーカスを合わせる被写体は、撮像装置に最も近い被写体や、最も遠い被写体、撮影範囲の中心に存在する被写体、被写体画像内で最も画素数が多い被写体等が考えられる。これらは、ユーザが撮像装置の設定を変更することで、優先的にフォーカス合わせを行う被写体を選択できるようにしても良い。

被写体の抽出が終了したら、図５のＳ２０３において抽出した被写体の実寸法を計測する。本実施形態では、被写体の高さと奥行きをグラフ作成時に使用する。まず、被写体の高さを得る方法を図８を用いて説明する。図中、ａは焦点距離、ｂは撮像素子上に投影される被写体画像の高さ、ｃはカメラから被写体までの距離、ｘは求めたい被写体の高さである。これらの距離値の関係は式（１）のように表すことができる。

焦点距離ａは合焦レンズの位置を焦点距離算出回路６によって検出し、その検出結果から算出することができ、被写体像の高さｂは撮像素子２上に形成される被写体像の画素数によって算出することができる。具体的には、撮像素子２の１画素あたりの寸法に被写体の占める画素数を乗算することによって求める。距離ｃは距離画像によって得ることができる。これら３つの値を使用してｘを求めるには、式（１）を変形した式（２）によって求めることができる。

ｂ／ａ＝ｘ／ｃ …式（１）
ｘ＝ｂｃ／ａ …式（２）
被写体の奥行き方向の寸法に関しても距離画像を用いて算出する。まず、抽出した被写体の距離値の最大値と最小値の差を算出する。この差は、被写体の前方のみの奥行きになるので、後方の奥行きを考慮して算出した差を２倍した値を奥行き寸法とする。被写体の後方の寸法に関しては、様々な物の形状をデータベースとして持ち、そのデータベースを元に被写体の後方を予測することで奥行き寸法を算出しても良い。

また、距離画像から分かる被写体表面の凹凸から基本的な図形（球、円柱、四角柱等）に当てはめることで、奥行き寸法を算出しても良い。更に、人物の顔を認識することによって、その被写体が人物だと判明した際には人間の標準的な体型を考慮した奥行き寸法としても良い。人物の顔を認識した際の被写体距離グラフの表示については後述する。

図５のＳ２０４では、上述のようにカメラ情報としてズーム倍率算出回路４からズーム倍率、Ｆ値検出回路５からＦ値、焦点距離算出回路６から焦点距離を取得する。図５のＳ２０５では、Ｓ２０４で取得したカメラ情報を元にフォーカス位置及び被写界深度を算出する。フォーカス位置に関しては焦点距離より算出する。被写界深度に関してはズーム倍率、Ｆ値より前側被写界深度ＤＯＦｆ、後側被写界深度ＤＯＦｂを算出する。ズーム機能がない場合にはＦ値より算出する。

次に、図５のＳ２０６では、被写体距離を元に距離軸の縮尺を決定する。縮尺の決定方法としては、抽出した被写体の内、最も近い被写体と最も遠い被写体が範囲内に収まるように縮尺を決定する。こうすることで、抽出した被写体が全て距離軸内に入るように表示することができる。例えば、１ｍ、５ｍ、９ｍの位置に被写体が存在した場合、図９に示すように被写体距離グラフ内に抽出できた被写体の位置マークが全て収まるように軸の縮尺を決定する。

距離軸の縮尺決定の際には、被写体位置マークのバーの幅を考慮して、縮尺に１ｍの余裕を持たせる。図９の例では、距離軸の最小値を１ｍではなく０ｍ、最大値を９ｍではなく１０ｍとしている。また、表示範囲をユーザが指定しても良い。

最後に、図５のＳ２０７において、これまで取得、算出した情報を元に被写体距離グラフを作成する。この際、図５のＳ２０６で決定した距離軸の縮尺を基準に被写体の高さと奥行きに応じて被写体位置マークのバーの高さと幅を調節する。図１０に示すように被写体の高さが被写体位置マーク１３の高さｈ、被写体の奥行きが被写体位置マーク１３の幅ｄに相当するように被写体位置マーク１３の大きさを決定する。

具体的には、図５のＳ２０６で決定した距離軸の縮尺が、例えば、表示装置における５０画素で１ｍに相当し、被写体の実寸法が高さ１．７ｍ、奥行き０．２ｍだとすると、ｈは５０×１．７＝８５画素、ｄは５０×０．２＝１０画素の大きさとなる。被写体位置マークの大きさが決定したら、距離画像から得られた被写体距離を元に被写体位置マークを距離軸上に配置する。

更に、この被写体位置マークと併せて図５のＳ２０５で算出したフォーカス位置と前側被写界深度及び後側被写界深度を距離軸に合わせてフォーカス位置マーク、被写界深度バンドを使用して表示する。また、図５中のＡの矢印は図４中のＳ１１０からの処理が入った場合の処理開始位置を示す。撮影範囲の変更がなければ、被写体寸法や被写体距離は変化しないため、図４中のＳ１１０におけるフォーカス変更によって変化したカメラ情報に関する処理のみを行う。

また、最近は人物の顔を認識し、人物の顔に優先的にフォーカスを合わせる等、顔認識に関連する技術が多く提案されている。これに関連して、本発明においては顔認識技術を用いて人物被写体を認識できた場合には、人物に対応する被写体位置マークを強調表示するモードを設けることも可能である。

具体的には、人物被写体を強調するモードがＯＮの時には、図１１に示すように人物の被写体位置マークのみを表示し、人物以外の被写体位置マークは表示しない。更に、本発明では図１２に示すように被写体画像においても被写界深度内に存在する被写体をエッジ強調によって強調表示してもよい。

なお、本発明は、上述した実施形態に限定されるものではなく、要旨を逸しない範囲で様々な応用が可能である。例えば、以上の実施形態では被写体距離情報を距離画像センサを用いて得ているが、カメラの合焦レンズを移動させながら被写体にフォーカスが合った距離を順次調べていくことで被写体距離を求めても良い。この場合には、フォーカスが合った時に画像出力信号の高域空間周波数成分が増大する性質を利用する。

距離軸の縮尺の決定方法としては、フォーカス位置を中心として、ユーザが指定した距離範囲が収まるように縮尺を決定したり、被写界深度が表示範囲内に収まるように縮尺を決定するようにしても良い。

また、フォーカス位置を示す際にフォーカス位置マークを使用しているが、フォーカスの合っている被写体の被写体位置マークを他の被写体位置マークとは色を変えて表示することによってフォーカス位置を表示しても良い。

更に、被写体位置マークはバーを使用して表示するようにしているが、それ以外の形状をマークとして使用しても良いし、実際の被写体の凹凸を被写体位置マークにも反映させて表示しても良い。

被写体画像における被写界深度内の被写体の強調表示に関しては、図１３に示すように被写界深度内の被写体を枠で囲って表示しても良い。

人物の被写体位置マークの強調表示に関しては、図１４（ａ）に示すように人物の被写体位置マークを他の人物以外の被写体位置マークとは色を変えて区別して強調表示しても良い。他にも、図１４（ｂ）に示すように人物の被写体位置マークに人物であることを示すマークを表示することによって強調表示しても良い。ここで、図１４における被写体の位置関係は図１１と同じものである。

距離グラフの表示に関しては、被写体画像にＯＳＤ表示するのではなく、図１５に示すように表示装置の表示画面を分割し、一方の画面に被写体画像、もう一方の画面に被写体距離グラフを表示しても良い。

本発明に係る撮像装置の一実施形態の構成を示すブロック図である。 本発明に係る距離情報表示の一例を説明する図である。 カメラと被写体との距離関係を示す図である。 本発明に係る撮影時の処理手順の流れを示すフローチャートである。 本発明に係る被写体距離グラフの作成手順の流れを示すフローチャートである。 距離画像の一例を示す図である。 距離画像から抽出した被写体の一例を示す図である。 本発明に係る被写体の実寸法を算出する方法を説明する図である。 本発明に係る距離軸の縮尺を決定する方法を説明する図である。 本発明に係る被写体位置マークの高さと幅を決定する方法を説明する図である。 人物の顔を認識した際の被写体距離グラフの表示例を説明する図である。 本発明に係る被写体画像の被写界深度内に存在する被写体を強調表示する例を説明する図である。 本発明に係る被写体画像の被写界深度内に存在する被写体を強調表示する他の例を説明する図である。 本発明に係る人物の被写体位置マークを強調表示する際の例を説明する図である。 本発明に係る被写体画像と被写体距離グラフを分割して表示する際の表示例を説明する図である。

符号の説明

１ レンズ系
２ 撮像素子
３ カメラ信号処理回路
４ ズーム倍率算出回路
５ Ｆ値検出回路
６ 焦点距離算出回路
７ 距離画像センサ
８ 被写体距離グラフ作成回路
９ 画像合成回路
１０ 表示装置
１１ 被写界深度バンド
１２ オブジェの被写体位置マーク
１３ 人物の被写体位置マーク
１４ フォーカス位置マーク
１５ 距離軸

Claims (8)

1. 被写体を撮影する撮像装置において、
   被写体の距離情報を検出する手段と、
   前記距離情報に基づき距離に応じて被写体を抽出する手段と、
   合焦レンズの位置から得られた焦点距離及び絞りの絞り値に基づきフォーカス情報を算出する手段と、
   表示画面上に、前記被写体の画像と、距離を軸とするグラフ上に表示された、前記抽出された被写体に基づいて作成された前記被写体の位置を示す被写体位置マークに前記フォーカス情報を付加した被写体距離グラフとを表示する表示手段と、
   を備えたことを特徴とする撮像装置。
2. 前記被写体距離グラフは、前記表示画面上に前記被写体画像に合成して表示されることを特徴とする請求項１に記載の撮像装置。
3. 前記被写体距離グラフは、前記表示画面の分割された一方の画面に表示され、前記被写体画像は、前記分割されたもう一方の画面に表示されることを特徴とする請求項１に記載の撮像装置。
4. 前記抽出した被写体の寸法を計測する手段を有し、前記被写体位置マークは前記被写体の寸法に応じて表示を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記フォーカス情報は、前記フォーカス位置を示すフォーカス位置マークと、被写界深度を示す被写界深度バンドであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 被写体として人物を認識した場合、人物の被写体位置マークは表示すると共に人物以外の被写体位置マークは表示しない、もしくは人物に対応する被写体位置マークを強調表示することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記被写体距離グラフの距離軸は、最も近い被写体と最も遠い被写体が収まるように、もしくはフォーカス位置を中心としてユーザから指定された距離範囲が収まるように、もしくは被写界深度が収まるように縮尺を決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記被写体の画像のうち被写界深度内の被写体を強調表示することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。