JP2012090063A - 撮像装置 - Google Patents

Abstract

【課題】画像を撮影した後で撮影画像を拡大する際、ユーザにとって違和感のない拡大画像をすぐに表示することができる撮像装置を提供する。
【解決手段】被写体を撮像することによって２つの画像データを生成する撮像部と、前記２つの画像データを組み合わせて生成される３次元画像を表示可能な表示部と、前記表示部が表示する画像の拡大を指示する拡大指示信号の入力を受け付ける入力部と、前記表示部が前記撮像部が撮影した撮影画像を表示している状態で前記入力部によって前記拡大指示信号が入力された場合、前記２つの画像データで対応する拡大部の視差を減少させた後で拡大操作を行うことによって拡大画像データを生成し、この生成した拡大画像データに対応する３次元拡大画像を前記表示部に表示させる制御部と、を備える。
【選択図】図１

Description

本発明は、互いに対応する画素点が視差を有する２つの画像データを用いて３次元画像を表示する撮像装置に関する。

近年、同一の被写体に対して異なる位置から複数のデジタルカメラを用いて撮影することによって複数の画像データを取得し、この取得した複数の画像データに含まれる対応画素点の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を表示する技術が普及してきつつある。

このような技術として、ユーザが３次元画像の拡大または縮小の比率を入力し、この入力した値が、ユーザが３次元画像を快適に視認することができる視差範囲から逸脱している場合に視差量を調整して違和感の少ない３次元画像を表示する技術が知られている（例えば、特許文献１を参照）。

特開２００４−３４９７３６号公報

しかしながら、上述した従来技術は、あくまでも画像を表示して鑑賞する場合が想定されているため、撮像装置に適用する場合には問題があった。具体的には、上述した従来技術を撮像装置に適用する場合には、画像を撮影した後で撮影画像を拡大する際、ユーザにとって違和感のない拡大画像をすぐに表示することができなかった。

本発明は、上記に鑑みてなされたものであって、画像を撮影した後で撮影画像を拡大する際、ユーザにとって違和感のない拡大画像をすぐに表示することができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像することによって２つの画像データを生成する撮像部と、前記２つの画像データを組み合わせて生成される３次元画像を表示可能な表示部と、前記表示部が表示する画像の拡大を指示する拡大指示信号の入力を受け付ける入力部と、前記表示部が前記撮像部が撮影した撮影画像を表示している状態で前記入力部によって前記拡大指示信号が入力された場合、前記２つの画像データで対応する拡大部の視差を減少させた後で拡大操作を行うことによって拡大画像データを生成し、この生成した拡大画像データに対応する３次元拡大画像を前記表示部に表示させる制御部と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、撮影の成否を確認するための拡大表示と３次元確認用の拡大表示とを切り換えて前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記入力部による前記拡大指示信号の入力状態が所定時間継続した場合、前記２つの画像データの一方を用いることによって生成される２次元拡大画像を前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記２つの画像データにおける拡大後の画像の中心を合致させることによって対応画素点の視差を減少させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記２つの画像データにおける拡大後の画像の中心の視差を所定の比率で縮小することによって対応画素点の視差を減少させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記２つの画像データにおける視差が所定値よりも大きい画素点からなる被写体に対して、前記２つの画像データの一方のみを使用することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記２つの画像データにそれぞれ対応する２つの画像を所定の縦横比で切り出して前記３次元画像のもととなる画像を生成する立体画像生成部と、前記立体画像生成部が切り出す領域を変更することによって前記２つの画像データにおける対応画素点の視差を調整し、前記３次元画像が前記表示部の表示画面と直交する垂直な方向へ仮想的に飛び出す距離を設定する飛び出し設定部と、を有することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記飛び出し設定部が設定した前記２つの画像データに対応する画像を、前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に出力する表示制御部を有することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記入力部は、前記撮像部が撮像した画像データに基づいて前記表示部が表示する画像中から選択される代表点の設定信号の入力を受付可能であるとともに、前記設定信号によって設定された代表点におけるピントを確認するための画像として、前記代表点を中心として前記２つの画像データの一方を拡大したピント確認用拡大画像の表示を指示するピント確認指示信号の入力を受付可能であり、前記制御部は、前記入力部によって前記代表点が入力された後、前記ピント確認指示信号が入力された場合、該代表点を中心とするピント確認用拡大画像を生成して前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記入力部は、前記表示部の表示画面上に設けられ、外部から接近してくる物体の領域および該表示画面までの距離を検出するとともに、該検出結果に応じた信号の入力を受け付けるタッチパネルを有することを特徴とする。

本発明によれば、撮像部による画像の撮影後に表示部が撮影画像を表示している状態で入力部によって拡大指示信号が入力された場合、２つの画像データにおける対応画素点の画像を撮影した後、ユーザにとって違和感のない拡大画像をすぐに表示することが可能となる。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。 図２は、本発明の一実施の形態に係る撮像装置が備える表示部の概略構成を示す模式図である。 図３は、本発明の一実施の形態に係る撮像装置が備えるタッチパネルの概略構成を示す模式図である。 図４は、本発明の一実施の形態に係る撮像装置が備える撮像部が２つの画像データを生成する際の状況を示す模式図である。 図５は、図４に示す状況下で撮像部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。 図６は、図４に示す状況下で撮像部が生成した右目画像と左目画像とを仮想的に重ねた画像の一例を示す図である。 図７は、図４に示す状況下で撮像部と被写体との撮影距離の関係を示す図である。 図８は、従来の撮像装置が行う３Ｄ画像の拡大処理を模式的に示す図である。 図９は、本発明の一実施の形態に係る撮像装置が行う３Ｄ画像の拡大処理を模式的に示す図である。 図１０は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。 図１１は、本発明の一実施の形態に係る撮像装置が表示する３Ｄスルー画像の表示例を示す図である。 図１２は、従来のタッチパネルの検出領域を説明する図である。 図１３は、本発明の一実施の形態に係る撮像装置が備えるタッチパネルの検出領域を説明する図である。 図１４は、本発明の一実施の形態に係る撮像装置が行う拡大表示処理の概要を示すフローチャートである。 図１５は、本発明の一実施の形態に係る立体画像生成部が行う処理の概要を示す図である。 図１６は、図１５に示す左目画像および右目画像で設定される拡大部の中心を合致させたときの合致画像を模式的に示す図である。 図１７は、本発明の一実施の形態に係る撮像装置が表示する拡大３Ｄ画像の表示例（第１例）を示す図である。 図１８は、本発明の一実施の形態に係る撮像装置が表示する拡大３Ｄ画像の表示例（第２例）を示す図である。 図１９は、本発明の一実施の形態に係る撮像装置が備える飛び出し設定部が行う処理の概要を示す図である。 図２０は、本発明の一実施の形態に係る撮像装置が備える飛び出し設定部によって設定された左目画像と右目画像の切り出し領域を仮想的に重ねた画像の一例を示す図である。 図２１は、本発明の一実施の形態に係る撮像装置が備える飛び出し設定部によって飛び出し量が設定され、ユーザが認識する仮想的な３Ｄ画像の一例を示す図である。 図２２は、本発明の一実施の形態に係る撮像装置が行う再生表示処理の概要を示すフローチャートである。 図２３は、本発明の一実施の形態の変形例１に係る撮像装置が行う拡大表示処理の概要を示すフローチャートである。 図２４は、本発明の一実施の形態の変形例１に係る撮像装置が行う拡大表示処理の概要を模式的に示す図である。 図２５は、本発明の一実施の形態の変形例２に係る撮像装置が画面拡大時に表示する画面の表示例を示す図である。 図２６は、本発明の一実施の形態の変形例２に係る撮像装置の表示部でピント確認アイコンが選択された場合にユーザが認識する仮想的な拡大画像の表示例を示す図である。 図２７は、本発明の一実施の形態の変形例２に係る撮像装置の表示部で３Ｄ確認アイコンが選択された場合の拡大画像を表示例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態においては、撮像装置としてデジタルステレオカメラを例に挙げて説明する。図１に示すように、撮像装置１は、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する撮像部２と、撮像装置１の姿勢を検出する姿勢検出部３と、撮像装置１の各種情報の入力を受け付ける操作入力部４と、撮影日時の判定機能やタイマー機能を有する時計５と、２次元画像（以下、「２Ｄ画像」という）または３Ｄ画像を表示可能な表示部６と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル７と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部８と、撮像装置１の動作を制御する制御部９と、を備える。

撮像部２は、互いに異なる光学系を有する第１撮像部２１および第２撮像部２２を備える。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。

第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈとを有する。

レンズ部２１ａは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等によって構成され、レンズ部２１ａのフォーカスレンズやズームレンズ等を光軸Ｌ１上で移動させることにより、レンズ部２１ａのピント位置や焦点距離の変更を行う。

絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。

シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。

撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部２１ｈに出力する。

信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。

第２撮像部２２は、第１撮像部２１と同一の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈとを有する。

姿勢検出部３は、加速度センサによって構成され、撮像装置１の加速度を検出することにより、撮像装置１の姿勢を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。

操作入力部４は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ４１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ４２と、撮像装置１の各種撮影モードや各種設定を切換える切換スイッチ４３と、撮像部２のズーム操作を行うズームスイッチ４４とを有する。ズームスイッチ４４は、撮像部２が撮影した画像を表示部６がレックビュー表示する際、画像の拡大および縮小をそれぞれ指示する拡大指示信号および縮小指示信号の入力を受け付ける。

時計５は、撮像装置１の動作の基準となる時間信号を生成する。これにより、制御部９は、画像データの取得時間や撮像素子２１ｇ，２２ｇの露光時間等を設定することができる。時計５は、時間計測用のタイマとしての機能も有する。

図２は、表示部６の概略構成を示す模式図である。図２に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３とを有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目Ｅ_Rと左目Ｅ_Lとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。

以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に左目画像と右目画像とを交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、左目画像が左目Ｅ_Lのみに、右目画像が右目Ｅ_Rのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル６２に出力される。

図３は、タッチパネル７の概略構成を示す模式図である。図３に示すように、タッチパネル７は、フロントパネル７１と、駆動部７２と、駆動電極７３と、受信電極７４と、検出部７５とを有する。タッチパネル７は、操作入力部４とともに入力部を構成する。

フロントパネル７１は、所定の厚みを有し、平面的に見て矩形状に形成されたガラスまたはＰＥＴ（Polyethylene Terephthalate）を用いて実現される。駆動部７２は、駆動電極７３に駆動パルス（たとえば印加電圧５Ｖ）を出力し、駆動電極７３と受信電極７４との間で静電容量を形成させる。駆動電極７３および受信電極７４は、ＩＴＯ（Indium Tin Oxide）電極によって構成され、フロントパネル７１の下面に対して５ｍｍピッチで交互に設けられる。

検出部７５は、静電容量センサによって構成され、ユーザの手Ｈが電界Ｅ１に接近することにより、駆動電極７３と受信電極７４との間で形成された静電容量の微細な変化量、たとえばユーザの手Ｈがフロントパネル７１に接触したときの変化量として１ｐＦ程度の値を検出する。この検出部７５の詳細な構成は、たとえば米国特許７１４８７０４号明細書に開示されている。この技術を用いることにより、検出部７５は、ユーザの手Ｈがフロントパネル７１に触れる前から駆動電極７３と受信電極７４との間で形成された静電容量の微細な変化を検出することができる。具体的には、検出部７５は、図３に示すように、距離ｈ１（たとえば０．５ｃｍ）の位置と距離ｈ２（たとえば１ｃｍ）の位置とに手Ｈがあるときのように、微小な距離しか離れていない２箇所を移動する場合の駆動電極７３と受信電極７４との間で形成された静電容量の変化を検出することができる。

以上の構成を有するタッチパネル７は、表示部６の表示画面上に重ねて設けられ、外部からの物体の接触位置または表面付近の物体の存在位置を検出するとともに、この検出結果に応じた信号の入力を受け付ける。具体的には、タッチパネル７は、表示部６で表示される情報に基づいて、ユーザがタッチパネル７の画面に触れる前から表示画面の周辺に形成された電界が変化することで生じる静電容量の変化を検出し、この変化した位置に応じた操作信号の入力を受け付ける。

記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部８２とを有する。記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。

制御部９は、ズームスイッチ４４によって拡大指示信号が入力された場合、２つの画像データにおける対応画素点の視差を減少させた後で拡大操作を行うことによって拡大画像データを生成し、この生成した拡大画像データに対応する拡大画像を表示部６に表示させる。また、制御部９は、操作入力部４およびタッチパネル７からの操作信号等に応じて記憶部８のプログラム記憶部８２から各種プログラムを読み出し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。このような制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。

制御部９の詳細な構成を説明する。制御部９は、画像処理部９１と、立体画像生成部９２と、飛び出し設定部９３と、電子ズーム部９４と、表示制御部９５と、を備える。

画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施し、記憶部８の画像データ記憶部８１へ出力する。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。

立体画像生成部９２は、画像処理部９１によって画像処理された左目画像データおよび右目画像データを所定の縦横比（例えばアスペクト比３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、立体画像生成部９２が左目画像データおよび右目画像データからそれぞれ切り出す縦横比を切換スイッチ４３で変更できるようにしてもよい。

飛び出し設定部９３は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が所定の領域で受け付けた信号に応じて、３Ｄ画像が表示部６の表示画面と直交する垂直な方向へ仮想的に飛び出す距離（以下、「飛び出し距離」という）を設定する。具体的には、飛び出し設定部９３は、タッチパネル７が所定の領域で受け付けた信号に応じて、立体画像生成部９２が左目画像データおよび右目画像データからそれぞれ切出す領域を変更することによって対応する画素点（対応画素点）の視差を段階的に調整し、３Ｄ画像の飛び出し距離を設定する。また、飛び出し設定部９３は、表示部６が表示する複数の３次元操作画像に対し、タッチパネル７が受け付けた信号によって指定された３次元操作画像（以下、「３Ｄ操作画像」という）の飛び出し距離を設定する。

なお、本実施の形態では、飛び出し設定部９３は、タッチパネル７が所定の領域で受け付けた信号に応じて、３Ｄ画像が表示部６の表示画面と直交する垂直な方向へ仮想的に引っ込む引っ込み距離（奥行き方向の距離）を調整するようにしてもよい。

電子ズーム部９４は、ズームスイッチ４４から入力される拡大指示信号に応じて表示部６が表示する画像の拡大操作を行う一方、ズームスイッチ４４から入力される縮小指示信号に応じて表示部６が表示する画像の縮小を行う。

表示制御部９５は、立体画像生成部９２によって生成された３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。表示制御部９５が表示部６に３Ｄ画像を表示させる場合、立体画像生成部９２によって生成された３Ｄ画像の左目画像と右目画像とを表示部６の表示画面における水平方向の１画素毎に交互に並べた３Ｄ画像を表示部６に出力する制御を行う。

一方、表示制御部９５が表示部６に２Ｄ画像を表示させる場合、表示部６の視差バリア６３に印加する電源をオン状態からオフ状態にすることによって視差バリア６３を遮光状態から透過状態にするとともに、立体画像生成部９２によって生成された左目画像または右目画像を表示部６に出力させる制御を行う。

ヘッダ情報生成部９６は、飛び出し設定部９３が設定した３Ｄ画像の飛び出し距離をヘッダ情報として生成し、このヘッダ情報を撮像部２が生成する画像データに対応付けて画像データ記憶部８１に記憶させる。

以上の構成を有する撮像装置１において、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図４は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。図４に示すように、まず撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１および第２撮像部２２で撮影することにより、左目目画像データおよび右目画像データを生成する。

その後、立体画像生成部９２は、第１撮像部２１および第２撮像部２２によって生成された左目画像データおよび右目画像データそれぞれを所定の縦横比で切り出すことによって左目画像１００Ｌおよび右目画像１００Ｒを生成する。図５は、図４に示す状況下で撮像部２が生成する２つの画像データにそれぞれ対応する２つの画像の一例を示す図である。図５において、左目画像１００Ｌは、立体画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図５において、右目画像１００Ｒは、立体画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出して生成した画像である。図６は、図４に示す状況下で立体画像生成部９２が生成した左目画像１００Ｌと右目画像１００Ｒとを仮想的に重ねた画像（１００ＬＲ）の一例を示す図である。

図５に示す破線および図６に示す一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。

図７は、図４に示す状況下で撮像部２と被写体との撮影距離の関係を示す図である。図７では、横軸が左端を原点としたときの画像Ｗ１内の被写体位置であり、縦軸が撮像部２と被写体との距離である。図７に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図６に示すように、画像Ｗ１内では、被写体Ａ２の領域がほぼ重なる。一方、被写体Ａ１の領域は重ならない（対応画素点の視差ａ１）。このように、左目画像１００Ｌと右目画像１００Ｒでは、撮像部２からの距離が近い被写体（被写体Ａ１）ほど画像内での対応画素点の視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど画像内での対応画素点の視差が小さい。

ここで、図８および図９を参照して、撮像装置１の処理の特徴を説明する。図８は、従来の３Ｄ画像の拡大処理を模式的に示す図である。図８において、拡大前の左目画像と右目画像の対応画素点の視差をΔｘ１、拡大前の３Ｄ画像の仮想的な飛び出し量をΔｚ１とする（図８（ａ））。この状況で画像を拡大すると、拡大に伴って左目画像と右目画像の対応画素点の視差も大きくなり、仮想的な飛び出し量も大きくなる。図８（ｂ）が拡大後の状況を示しており、Δｘ２＞Δｘ１、Δｚ２＞Δｚ１である。ここで、仮想的な飛び出し量Δｚ２が大きくなりすぎると、ユーザが違和感を感じてしまうおそれもある。このような状況をふまえ、撮像装置１は、図９（ｂ）に示すように、拡大前にいったん左目画像と右目画像の対応画素点の視差を小さくしてから拡大を行う（Δｘ３＜Δｘ１、Δｚ３＜Δｚ１）。これにより、拡大後の画像の仮想的な飛び出し量が抑制される。図９（ｃ）は、拡大後の画像の飛び出しを模式的に示しており、この場合、視差Δｘ４は拡大前の視差Δｘ１よりも小さく、拡大後の仮想的な飛び出し量Δｚ４も拡大前の値Δｚ１より小さい。このようにして、撮像装置１は、ユーザが認識しやすい立体感を有する拡大画像を表示することができる。

つぎに、本実施の形態に係る撮像装置１が行う処理について説明する。図１０は、撮像装置１が行う処理の概要を示すフローチャートである。

図１０において、まず、制御部９は、撮像装置１の電源がオンになっているか否かを判断する（ステップＳ１０１）。撮像装置１の電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２に移行する。一方、撮像装置１の電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は本処理を終了する。

続いて、制御部９は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０２）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、撮像装置１は後述するステップＳ１０３に移行する。一方、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）、撮像装置１は後述するステップＳ１２４の再生表示処理へ移行する。

以下、ステップＳ１０２において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）を説明する。この場合、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応する３Ｄ画像のスルー画像を表示部６に表示させる（ステップＳ１０３）。具体的には、図１１に示すように、表示制御部９５は、表示部６の表示画面と直交する方向へ仮想的に飛び出した３Ｄ画像であるスルー画像２００を表示部６に表示させる。図１１に示すスルー画像２００には、３Ｄ画像の飛び出し距離の設定を指示する指示信号を入力する奥行アイコンＱ１と、飛び出し距離を元に戻す戻すアイコンＱ２とが仮想的に飛び出した状態で表示される。ユーザは、奥行アイコンＱ１および戻すアイコンＱ２のいずれかを用いることによって画像の飛び出し距離を調整することができる。

ここで、図１２に示すように、ユーザが表示部６によって表示される３Ｄ画像を操作する場合、たとえば表示部６とユーザの右目Ｅ_Rとの間に指Ｆが入り込み、ユーザが３Ｄ画像を認識しにくくなり、所望の操作ができない場合がある。そこで、本実施の形態では、図１３に示すように、タッチパネル７は、たとえば奥行アイコンＱ１の飛び出し距離Δｚに基づいて、検出する検出領域をΔｘ＝Δｚ／ｔａｎθだけ右側または左側に広げて検出する。これにより、ユーザは、３Ｄ画像である奥行アイコンＱ１を仮想的にタッチしながら３Ｄ画像の変化を確認しながら所望の操作を行うことができる。

なお、奥行アイコンＱ１と戻すアイコンＱ２を用いた処理については、後述するステップＳ１１５〜Ｓ１２３で説明する。

ステップＳ１０３の後、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力された場合（ステップＳ１０４：Ｙｅｓ）、撮像部２は撮影を行い、撮影した画像データを記憶部８の画像データ記憶部８１に記憶する（ステップＳ１０５）。

続いて、表示制御部９５は、撮影した画像データに対応する３Ｄ画像を表示部６にレックビュー表示させる（ステップＳ１０６）。これにより、ユーザは、撮影した画像の奥行き感を確認することができる。

その後、制御部９は、表示部６により撮影した３Ｄ画像のレックビュー表示を行ってから、所定時間経過したか否かを判断する（ステップＳ１０７）。制御部９が判断した結果、表示部６により撮影した３Ｄ画像のレックビュー表示を行ってから所定時間経過した場合（ステップＳ１０７：Ｙｅｓ）、表示制御部９５は表示部６におけるレックビュー表示を終了させる（ステップＳ１０８）。ここでいう所定時間は、たとえば３秒である。その後、撮像装置１は、ステップＳ１０１へ戻る。一方、制御部９が判断した結果、表示部６により撮影した３Ｄ画像のレックビュー表示を行ってから所定時間経過していない場合（ステップＳ１０７：Ｎｏ）、撮像装置１はステップＳ１０９へ移行する。

ステップＳ１０９において、画像中から選択される代表点としての拡大部の中心がタッチパネル７からの設定信号の入力によって設定された場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１はステップＳ１１０へ移行する。一方、ステップＳ１０９において、拡大部の中心が設定されない場合（ステップＳ１０９：Ｎｏ）、撮像装置１はステップＳ１０７へ戻る。ここで拡大部の中心が表示部６の画面の端部であると、拡大後に画像の一部が切れてしまう恐れがある。この点を解消するために、拡大部の中心を設定可能な領域は、拡大後の画像が全て画面上に表示できるような領域としてもよい。

この後、ズームスイッチ４４を介して拡大操作が行われた場合（ステップＳ１１０：Ｙｅｓ）、撮像装置１は拡大表示処理を行う（ステップＳ１１１）。図１４は、ステップＳ１１１の拡大表示処理の概要を示すフローチャートである。図１４において、ズームスイッチ４４が押下されず（ステップＳ２０１：Ｎｏ）、所定時間経過していなければ（ステップＳ２０２：Ｎｏ）、撮像装置１はステップＳ２０１へ戻る。一方、ズームスイッチ４４が押下されず（ステップＳ２０１：Ｎｏ）、所定時間経過した場合（ステップＳ２０２：Ｙｅｓ）、撮像装置１はメインルーチンへ戻る。

ステップＳ２０１においてズームスイッチ４４が押下された場合（ステップＳ２０１：Ｙｅｓ）を説明する。この場合において、ズームスイッチ４４が押下された状態（拡大指示信号の入力状態）が所定時間（例えば２〜３秒程度）継続していないとき（ステップＳ２０３：Ｎｏ）、立体画像生成部９２は、飛び出し設定部９３の設定に応じて、左目画像と右目画像の拡大部の中心を合致させるように右目画像を切り出す（ステップＳ２０４）。なお、右目画像のみの切り出し位置を変更する代わりに、左目画像の切り出し位置のみを変更してもよいし、両方の画像の切り出し位置を変更してもよい。

図１５は、立体画像生成部９２が行う処理の概要を示す図である。図１５においては、左目画像２００Ｌおよび右目画像２００Ｒに含まれる被写体Ａ１（猫）の顔に拡大部の中心が設定された場合（図１５の点Ｏ）に、立体画像生成部９２がその中心Ｏを合致させたときの合致画像２０１を模式的に示している。なお、合致画像２０１において、左目画像２００Ｌに写っている被写体に符号Ａ１Ｌ，Ａ２Ｌを付与する一方、右目画像２００Ｒに写っている被写体に符号Ａ１Ｒ、Ａ２Ｒを付与している。合致画像２０１では、被写体Ａ１の左目画像２００Ｌと右目画像２００Ｒの対応画素点の視差がほとんどなくなるため、被写体Ａ１Ｌ、Ａ１Ｒはほぼ重なった状態となる。以下、画像における対応画素点の視差のことを、単に画像の視差という。

図１６は、図１５に示す左目画像２００Ｌおよび右目画像２００Ｒにおいて、被写体Ａ２の腹部付近が拡大部の中心として設定された場合（図１５の点Ｏ'）に、立体画像生成部９２がその中心Ｏ'を合致させたときの合致画像を模式的に示す図である。図１６に示す合致画像２０２においても、左目画像２００Ｌに写っている被写体に符号Ａ１Ｌ，Ａ２Ｌを付与する一方、右目画像２００Ｒに写っている被写体に符号Ａ１Ｒ、Ａ２Ｒを付与している。合致画像２０２では、被写体Ａ２の左目画像２００Ｌと右目画像２００Ｒの視差がほとんどなくなるため、被写体Ａ２Ｌ、Ａ２Ｒはほぼ重なった状態となる。

ステップＳ２０４の後、立体画像生成部９２は、右目画像において左目画像との視差が所定量より大きい部分を消去する（ステップＳ２０５）。例えば、図１５に示す合致画像２０１の場合、拡大部の右上の被写体Ａ２Ｌと被写体Ａ２Ｒとの対応画素点の視差Δ２が所定量より大きいため、立体画像生成部９２は、その部分の右目画像のデータが寄与しないように消去する。また、図１６に示す合致画像２０２の場合、被写体Ａ１Ｌと被写体Ａ１Ｒとの対応画素点の視差Δ１が所定量より大きい部分であるため、立体画像生成部９２は、その部分の右目画像のデータが寄与しないように消去する。

続いて、表示制御部９５は、左目画像データと、ステップＳ２０５で立体画像生成部９２が処理を施した右目画像とを用いることにより、表示部６に３Ｄ画像を表示させる制御を行う（ステップＳ２０６）。このときの３Ｄ画像は、視差がほとんどない状態のため、被写体の仮想的な飛び出しはほとんどない。

その後、電子ズーム部９４は、拡大部の中心を画像の中心として所定の倍率で拡大した画像を生成する。続いて、表示制御部９５は、拡大画像を表示部６に表示させる（ステップＳ２０７）。図１７は、拡大された画像の表示例を示す図である。図１７に示す拡大画像２０３において、被写体Ａ１は拡大されて仮想的に飛び出して見えるが、この飛び出し量は撮影時の飛び出し量よりも少なく抑えられている（図１１を参照）。また、被写体Ａ２については、左目画像２００Ｌに含まれる被写体Ａ２Ｌのみが表示されるため、２次元的な画像となっている。

図１８は、拡大された画像の別な表示例を示す図である。図１８に示す拡大画像２０４では、被写体Ａ２が仮想的に飛び出して見えるが、この飛び出し量は撮影時の飛び出し量よりも少なく抑えられている（図１１を参照）。また、被写体Ａ１については、左目画像２００Ｌに含まれる被写体Ａ１Ｌのみが表示されており、２次元的な画像となっている。

ステップＳ２０７の後、撮像装置１はステップＳ２０１へ戻る。

ステップＳ２０３において、ズームスイッチ４４の押下状態が所定時間継続している場合（ステップＳ２０３：Ｙｅｓ）、表示制御部９５は左目画像のみを拡大した２Ｄ拡大画像を表示部６に表示させる（ステップＳ２０８）。なお、ここで表示する２Ｄ拡大画像は、右目画像のみを拡大した画像でもよい。その後、ズームスイッチ４４の押下状態が継続している場合（ステップＳ２０９：Ｙｅｓ）、撮像装置１はステップＳ２０８に戻る。一方、ズームスイッチ４４の押下状態が終了した場合（ステップＳ２０９：Ｎｏ）、撮像装置１はステップＳ２０４へ移行する。このようにして、表示部６で２Ｄ拡大画像を表示することにより、ユーザは、ピント、露出、ホワイトバランス、手ブレなど撮影制御の成否を確認したり、被写体の表情、目つぶりの有無またはポーズの良し悪しを確認したり、画像の色再現性を確認したりすることができる。この場合は、撮影のタイミングやピントを確認する場合で、特に３Ｄで見る必要はない。３Ｄ画像は情報量が多すぎて、むしろ確認の邪魔になるからである。

このようにして、本実施の形態では、表示部６が３Ｄ拡大画像と２Ｄ拡大画像とをユーザの操作に応じて切り換えて表示するため、ユーザは、３Ｄ拡大画像によって３Ｄの効果を違和感なく確認することができる一方、２Ｄ拡大画像によってピント確認等の撮影の成否を確認することができる。

再び図１０のフローチャートに戻って説明を続ける。ステップＳ１１０で拡大操作が行われない場合（ステップＳ１１０：Ｎｏ）において、ズームスイッチ４４を介して縮小操作が行われたとき（ステップＳ１１２：Ｙｅｓ）、すでに拡大した画像であれば（ステップＳ１１３：Ｙｅｓ）、電子ズーム部９４は拡大前の画像まで縮小し、表示制御部９５の制御のもとで表示部６が縮小された画像を表示する（ステップＳ１１４）。ここで、電子ズーム部９４は、一段階前の拡大画像に縮小するようにしてもよいし、拡大する前の画像すなわちステップＳ１０６でレックビュー表示している画像まで縮小するようにしてもよい。

ステップＳ１１２でズームスイッチ４４を介した縮小操作が行われない場合（ステップＳ１１２：Ｎｏ）、撮像装置１はステップＳ１０７へ戻る。

次に、ステップＳ１０４において、レリーズ信号が入力されていない場合（ステップＳ１０４：Ｎｏ）を説明する。この場合、制御部９は、奥行アイコンＱ１が操作されたか否かを判断する（ステップＳ１１５）。奥行アイコンＱ１が操作された場合（ステップＳ１１５：Ｙｅｓ）、撮像装置１は後述するステップＳ１１６に移行する。一方、奥行アイコンＱ１が操作されていない場合（ステップＳ１１５：Ｎｏ）、撮像装置１は後述するステップＳ１２２に移行する。

ステップＳ１１６において、制御部９は、その時点で表示部６によって表示されている３Ｄ画像の引っ込み距離が限界であるか否かを判断する。具体的には、制御部９は、例えば図６に示す左目画像１００Ｌと右目画像１００Ｒとを仮想的に重ねた画像１００ＬＲに含まれる被写体Ａ１の対応画素点の視差ａ１がない状態を３Ｄ画像の引っ込み距離が限界であると判断する。３Ｄ画像の引っ込み距離が限界である場合（ステップＳ１１６：Ｙｅｓ）、撮像装置１はステップ１０１に戻る。一方、３Ｄ画像の引っ込み距離が限界でない場合（ステップＳ１１６：Ｎｏ）、撮像装置１はステップＳ１１７に移行する。

続いて、制御部９は、タッチパネル７が検出した静電容量の変化量が第１の閾値以下であるか否かを判断する（ステップＳ１１７）。ここでの第１の閾値は、たとえば０．２ｐＦである。タッチパネル７が検出した静電容量の変化量に対応する距離が第１の閾値以下である場合（ステップＳ１１７：Ｙｅｓ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を１／１００移動させる変更を行う（ステップＳ１１８）。その後、撮像装置１はステップＳ１０１に戻る。

図１９は、飛び出し設定部９３が行う処理の概要を示す図である。図１９において、図１９（ａ）、（ｂ）の左目画像２０１Ｌは、立体画像生成部９２が第２撮像部２２によって生成された左目画像データから所定の縦横比で切出した画像である。また、図１９（ａ）の画像右目画像２０１Ｒおよび図１９（ｂ）の右目画像２０１Ｒ'は、立体画像生成部９２が第１撮像部２１によって生成された右目画像データから所定の縦横比でそれぞれ切出した画像である。また、図２０の画像２０５は、飛び出し設定部９３が立体画像生成部９２の切出し領域を設定した後の右目画像と左目画像とを仮想的に重ねた画像の一例である。なお、図１５および図１６において、破線および一点鎖線が第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。

図２１は、飛び出し設定部９３によって飛び出し量が設定され、ユーザが認識する仮想的な３Ｄ画像の一例を示す図である。図２１は、図１１に示す３Ｄ画像を飛び出し設定部９３による設定前の画像とした場合の設定後の画像の表示例を模式的に示す図である。

飛び出し設定部９３は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が奥行アイコンＱ１の領域で受け付けた信号に応じて、立体画像生成部９２が右目画像データおよび左目画像データからそれぞれ切出して生成する右目画像および左目画像の切出し領域を変更して３Ｄ画像の飛び出し距離を設定する。具体的には、飛び出し設定部９３は、表示部６の表示画面と直交する垂直な方向に仮想的に飛び出した被写体Ａ１を表示部６の表示画面側に引っ込ませる場合、立体画像生成部９２による右目画像データの切出し領域を画面幅の１／１００だけ移動させて変更し（図１９（ａ）→図１９（ｂ））、左目画像２０１Ｌと右目画像２０１Ｒとに含まる被写体Ａ１の対応画素点の視差（領域の重なり具合）を小さくすることにより（図２０の画像２０５を参照）、被写体Ａ１の飛び出し距離を設定する（図１１→図２１）。さらに、飛び出し設定部９３は、表示部６が表示する奥行アイコンＱ１（３Ｄ操作画像）に対し、タッチパネル７が受け付けた信号に応じて奥行アイコンＱ１の飛び出し距離を設定する。具体的には、ユーザが仮想的に奥行アイコンＱ１を押し込んだ量（距離）に応じて奥行アイコンＱ１の飛び出し距離を設定する。

このようにして飛び出し設定部９３が飛び出し距離を設定した後、表示制御部９５は、飛び出し設定部９３が設定した３Ｄ画像および／または３Ｄ操作画像を表示部６に表示させる制御を行う。これにより、ユーザは、表示部６が表示する３Ｄ画像の中に設けられた奥行アイコンＱ１を仮想的にタッチしながら３Ｄ画像の飛び出し距離の変化を確認しながら自然に調整することができる。

なお、図１９では、飛び出し設定部９３は、右目画像の切出し領域のみ移動させて変更しているが、右目画像および左目画像それぞれ同期させながら、右目画像および左目画像それぞれの切出し領域を移動させて変更し、３Ｄ画像の飛び出し距離を設定してもよい。また、飛び出し設定部９３は、左目画像の切出し領域のみ移動させて変更し、３Ｄ画像の飛び出し距離を設定してもよい。

ここで、図１０に戻り、ステップＳ１１７において、タッチパネル７が検出した静電容量の変化量に対応する距離が第１の閾値以下でない場合（ステップＳ１１７：Ｎｏ）について説明する。この場合、制御部９は、タッチパネル７が検出した静電容量の変化量が第２の閾値以下であるか否かを判断する（ステップＳ１１９）。ここでの第２の閾値は、たとえば０．５ｐＦである。タッチパネル７が検出した静電容量の変化量が第２の閾値以下である場合（ステップＳ１１９：Ｙｅｓ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を画面幅の１／２０だけ移動させる変更を行う（ステップＳ１２０）。この後、撮像装置１はステップＳ１０１に戻る。

これに対して、タッチパネル７が検出した静電容量の変化量に対応する距離が第２の閾値以下でない場合（ステップＳ１１９：Ｎｏ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を画面幅の１／１０だけ移動させる変更を行う（ステップＳ１２１）。この後、撮像装置１はステップＳ１０１に戻る。

ステップＳ１１５において、奥行アイコンＱ１が操作されていない場合（ステップＳ１１５：Ｎｏ）について説明する。この場合、制御部９は、戻すアイコンＱ２（図１１を参照）が操作されたか否かを判断する（ステップＳ１２２）。戻すアイコンＱ２が操作された場合（ステップＳ１２２：Ｙｅｓ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を初期位置に戻し（ステップＳ１２３）、撮像装置１はステップＳ１０１に戻る。ここで、初期位置とは、３Ｄ画像の飛び出し距離が最大になる右目画像および左目画像それぞれの切出し領域の位置である。なお、ステップＳ１２２で戻すアイコンＱ２が操作されていない場合（ステップＳ１２２：Ｎｏ）、撮像装置１はステップＳ１０１に戻る。

次に、ステップＳ１２４の再生表示処理について、図２２のフローチャートを参照して説明する。図２２において、まず、表示制御部９５は、画像データ記憶部８１に記憶された複数の画像をまとめて表示した画像選択画面を表示部６に表示させる（ステップＳ３０１）。この画像選択画面で表示する画像は、２Ｄ画像でよく、例えば左目画像でよい。

続いて、操作入力部４またはタッチパネル７の操作入力によって表示部６が表示する画像選択画面の中から画像が選択された場合（ステップＳ３０２：Ｙｅｓ）、表示制御部９５は表示部６に選択された画像を拡大して全画面表示させる（ステップＳ３０３）。これに対し、操作入力部４の操作入力によって表示部６が表示する画像選択画面の中から画像が選択されない場合（ステップＳ３０２：Ｎｏ）、撮像装置１は後述するステップＳ３１０へ移行する。

制御部９は、表示部６が表示する画像が３Ｄ画像であるか否かを判断する（ステップＳ３０４）。具体的には、制御部９は、表示部６が表示している画像のヘッダ情報を参照して３Ｄ画像であるか否かを判断する。表示部６が表示する画像が３Ｄ画像である場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１は後述するステップＳ３０５に移行する。一方、表示部６が表示する画像が３Ｄ画像でない場合（ステップＳ３０４：Ｎｏ）、撮像装置１は後述するステップＳ３１０へ移行する。

ステップＳ３０５において、制御部９は、奥行アイコンＱ１が操作されたか否かを判断する。奥行アイコンＱ１が操作されていない場合（ステップＳ３０５：Ｎｏ）、撮像装置１はステップＳ３１０へ移行する。一方、奥行アイコンＱ１が操作された場合（ステップＳ３０５：Ｙｅｓ）、撮像装置１はステップＳ３０６に移行する。

ステップＳ３０６において、制御部９は、タッチパネル７が検出した静電容量の変化量が第１の閾値以下であるか否かを判断する（ステップＳ３０６）。タッチパネル７が検出した静電容量の変化量が第１の閾値以下である場合（ステップＳ３０６：Ｙｅｓ）、制御部９は、その時点で表示部６によって表示されている３Ｄ画像の引っ込み距離が限界であるか否かを判断する（ステップＳ３０７）。ステップＳ３０７において、３Ｄ画像の引っ込み距離が限界である場合（ステップＳ３０７：Ｙｅｓ）、奥行アイコンＱ１が引っ込み限界で所定時間操作されていれば（ステップＳ３０８：Ｙｅｓ）、立体画像生成部９２は、切り出す領域を初期状態へ戻す（ステップＳ３０９）。ステップＳ３０８において、奥行アイコンＱ１が引っ込み限界で所定時間操作されていなければ（ステップＳ３０８：Ｎｏ）、撮像装置１は後述するステップＳ３１０へ移行する。

ステップＳ３０９の後、ヘッダ情報生成部９６は、その時点で表示部６が表示している３Ｄ画像の飛び出し距離をヘッダ情報へ書き込むことによってヘッダ情報を更新し、この更新したヘッダ情報と３Ｄ画像データとを対応付けて画像データ記憶部８１に記憶させる（ステップＳ３１０）。

この後、操作入力部４から選択画面表示の指示信号が入力された場合（ステップＳ３１１：Ｙｅｓ）、撮像装置１はステップＳ３０１へ戻る。一方、ステップＳ３１０の後、操作入力部４から選択画面表示の指示信号が入力されない場合（ステップＳ３１１：Ｎｏ）において、操作入力部４から再生終了の指示信号が入力されたとき（ステップＳ３１２：Ｙｅｓ）、撮像装置１はメインルーチンへ戻る。

ステップＳ３１２で再生終了の指示信号が入力されない場合（ステップＳ３１２：Ｎｏ）、その後に続けて行われるステップＳ３１３〜Ｓ３１８の処理は、図１０を用いて説明したステップＳ１０９〜Ｓ１１４の処理に順次対応している。

ステップＳ３１５またはＳ３１８の後、制御部９は、ステップＳ３０８における所定時間を延長する（ステップＳ３１９）。このときの延長時間は、例えば５秒である。その後、撮像装置１は、ステップＳ３０５へ戻る。

ステップＳ３０７において、３Ｄ画像の引っ込み距離が限界でない場合（ステップＳ３０７：Ｎｏ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を画面幅の１／１００だけ移動させる変更を行う（ステップＳ３２０）。その後、撮像装置１はステップＳ３１０へ移行する。

次に、ステップＳ３０６において、タッチパネル７が検出した静電容量の変化量が第１の閾値でない場合（ステップＳ３０６：Ｎｏ）について説明する。この場合、制御部９は、タッチパネル７が検出した静電容量の変化量が第２の閾値以下であるか否かを判断する（ステップＳ３２１）。タッチパネル７が検出した静電容量の変化量に対応する距離が第２の閾値以下である場合（ステップＳ３２１：Ｙｅｓ）、制御部９は、その時点で表示部６によって表示されている３Ｄ画像の引っ込み距離が限界であるか否かを判断する（ステップＳ３２２）。３Ｄ画像の引っ込み距離が限界である場合（ステップＳ３２２：Ｙｅｓ）、撮像装置１は、ステップＳ３０８に移行する。これに対して、３Ｄ画像の引っ込み距離が限界でない場合（ステップＳ３２２：Ｎｏ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を画面幅の１／２０だけ移動させる変更を行い（ステップＳ３２３）、撮像装置１はステップＳ３１０に移行する。

つぎに、ステップＳ３２１において、タッチパネル７が検出する静電容量の変化量に対応する距離が第２の閾値以下でない場合（ステップＳ３２１：Ｎｏ）について説明する。この場合、制御部９は、その時点で表示部６によって表示されている３Ｄ画像の引っ込み距離が限界であるか否かを判断する（ステップＳ３２４）。３Ｄ画像の引っ込み距離が限界である場合（ステップＳ３２４：Ｙｅｓ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を初期状態に戻す変更を行い（ステップＳ３２５）、撮像装置１はステップＳ３１０に移行する。

これに対して、３Ｄ画像の引っ込み距離が限界でない場合（ステップＳ３２４：Ｎｏ）、飛び出し設定部９３は、立体画像生成部９２が右目画像データから切出す領域を１／１０移動させる変更を行い（ステップＳ３２６）、撮像装置１はステップＳ３１０に移行する。

以上説明した本発明の一実施の形態によれば、撮像部による画像の撮影後に表示部が撮影画像を表示している状態で入力部によって拡大指示信号が入力された場合、２つの画像データにおける対応画素点の視差を減少させた後で拡大操作を行うことによって拡大画像データを生成し、この生成した拡大画像データに対応する３次元拡大画像を表示部に表示させるため、画像を撮影した後で撮影画像を拡大する際、ユーザにとって違和感のない拡大画像をすぐに表示することが可能となる。画像を拡大した場合は、拡大しない場合とは視差が異なっているが、拡大時に確認した結果、立体感が正しく再現できている場合は、拡大しない状態でも視差を調整することによって見栄えを調整することができる。したがって、拡大時に立体感が正しく表現できていると確認できた場合、撮り直しの必要はない。ユーザは、拡大時に立体感が正しく表現できていないと感じた場合のみ、撮り直しを行えばよい。なお、この拡大した状態での鑑賞用に、視差を小さくした状態から、ユーザーが視差を調整を調整することができるようにしてもよい。

また、本実施の形態によれば、制御部が、３Ｄ拡大画像と２Ｄ拡大画像とをユーザの操作に応じて切り換えて表示部に表示させるため、ユーザは、３Ｄ拡大画像によって３Ｄの効果を違和感なく確認することができる一方、２Ｄ拡大画像によってピント確認等の撮影の成否を確認することができる。

（変形例１）
図２３は、本実施の形態の変形例１に係る撮像装置の拡大表示処理の概要を示すフローチャートである。図２３において、ズームスイッチ４４が押下されず（ステップＳ４０１：Ｎｏ）、所定時間経過していなければ（ステップＳ４０２：Ｎｏ）、撮像装置１はステップＳ４０１へ戻る。一方、ズームスイッチ４４が押下されず（ステップＳ４０１：Ｎｏ）、所定時間経過した場合（ステップＳ４０２：Ｙｅｓ）、撮像装置１はメインルーチンへ戻る。

ステップＳ４０１においてズームスイッチ４４が押下された場合（ステップＳ４０１：Ｙｅｓ）を説明する。この場合において、ズームスイッチ４４が押下された状態が所定時間継続していないとき（ステップＳ４０３：Ｎｏ）、立体画像生成部９２は、拡大部の中心の左目画像と右目画像の視差を取得して画像データ記憶部８１に記録する（ステップＳ４０４）。図２４（ａ）は、ズームスイッチ４４が押下される前の状態における左目画像と右目画像における拡大部の中心視差（Δｘ）および３Ｄ画像における被写体の仮想的な飛び出し量（Δｚ）を模式的に示している。

続いて、立体画像生成部９２は、拡大部の中心の視差がΔｘ／１．２（＜Δｘ）となるように、右目画像の切出し位置を変更する（ステップＳ４０５）。この場合、図２４（ｂ）に示すように、飛び出し量もΔｚ／１．２となる。

その後、立体画像生成部９２は、左目画像と右目画像における対応画素点の視差が所定量より大きい部分を消去する（ステップＳ４０６）。

続いて、表示制御部９５は、左目画像データと、ステップＳ４０６で立体画像生成部９２が処理を施した右目画像データとを用いることにより、表示部６に３Ｄ画像を表示させる制御を行う（ステップＳ４０７）。

その後、電子ズーム部９４は、拡大部の中心を画像の中心として所定の倍率で拡大した画像を生成する。続いて、表示制御部９５は、拡大画像を表示部６に表示させる（ステップＳ４０８）。この際、電子ズーム部９４は、拡大部の中の所定領域を切り出して拡大画像を生成する。たとえば、拡大部の中心を画像の中心として、例えば視差が１．２倍となるような領域を切り出すと、図２４（ｃ）に示すように、視差は元のΔｘに戻り、拡大された画像の飛び出し量はΔｚに戻る。

ステップＳ４０８の後、撮像装置１はステップＳ４０１へ戻る。

ステップＳ４０３において、ズームスイッチ４４が押下された状態が継続している場合（ステップＳ４０３：Ｙｅｓ）、表示制御部９５は左目画像のみを拡大した２Ｄ拡大画像を表示部６に表示させる（ステップＳ４０９）。その後、ズームスイッチ４４の押下状態が継続している場合（ステップＳ４１０：Ｙｅｓ）、撮像装置１はステップＳ４０９に戻る。一方、ズームスイッチ４４の押下状態が終了した場合（ステップＳ４１０：Ｎｏ）、撮像装置１はステップＳ４０４へ移行する。

（変形例２）
図２５は、本実施の形態の変形例２に係る撮像装置が画面拡大時に表示する画面の表示例を示す図である。図２５に示す画像３０１は、図１５に示す合致画像２０１に、ピント確認アイコンＱ３と３Ｄ確認アイコンＱ４を設けてある。この画像３０１を見たユーザがピント確認アイコンＱ３を選択すると、ピント確認指示信号が入力される。このピント確認指示信号の入力により、表示制御部９５は、拡大部の中心を画面の中心とする２Ｄ画像であるピント確認用拡大画像を表示部６に表示させる。図２６は、ピント確認アイコンＱ３が選択された場合の拡大画像の表示例を示す図である。図２６に示す拡大画像３０２は、被写体Ａ１の顔が拡大部の中心として設定された場合であり、画面の左上部には、「ピント確認」という文字が表示されている。この後、さらに拡大させたい場合、ユーザは被写体Ａ１に指を近づけることによってタッチパネル７に拡大指示信号を入力すればよい。なお、ここで「ピント確認」と書いたが、ピントに限らず、露出やホワイトバランスや手ブレなど撮影制御の成功、失敗を確認する際や、撮影のタイミングが合ったか、被写体のポーズや表情など、被写体の状態を確認するために用いられるものを想定している。すなわち、ここでいう「ピント確認」とは、上記同様に、より一般に撮影の成否を確認することを意味している。

一方、ユーザが３Ｄ確認アイコンＱ４を選択して３Ｄ確認指示信号を入力すると、表示制御部９５は、３Ｄ拡大画像を表示部６に表示させる。図２７は、３Ｄ確認アイコンＱ４が選択された場合にユーザが認識する仮想的な拡大画像の表示例を示す図である。図２７に示す拡大画像３０３は、図２６に示す拡大画像３０２と同様、被写体Ａ１の顔が拡大部の中心として設定された場合である。拡大画像３０３の画面の左上部には、「３Ｄ確認」という文字が表示されている。なお、ここでの３Ｄ拡大処理は、上述した実施の形態とおなじである。ただし、さらに拡大する場合には、被写体Ａ１に指を近づけることによってタッチパネル７に拡大指示信号を入力すればよい。

以上説明した変形例２によれば、撮影の成否を確認するための拡大表示と３次元確認用の拡大表示とをユーザの操作に応じて切り換えて表示するため、ユーザは、撮影の成否や３Ｄの効果を確実に確認することができるとともに、３Ｄ画像で効果を確認する際、違和感を感じないで済む。

なお、上述した実施の形態では、２つの撮像部がそれぞれ画像データを生成していたが、たとえば、一つの撮像部のみを有する構成とし、この撮像部が連続的に撮影することによって２つの画像データを生成するようにしてもよい。

また、上述した実施の形態では、タッチパネルの検出部が静電容量の変化を検出していたが、たとえば光電方式や赤外線方式のタッチパネルを用いることも可能である。

また、上述した実施の形態において、飛び出し設定部は、表示部が表示するスルー画像または画像データ記憶部が記憶する画像データに対して処理を行っていたが、たとえば撮影直後に表示部がレックビュー表示する画像に対して処理を行うようにしてもよい。

なお、本発明は、デジタルステレオカメラ以外にも、デジタルビデオカメラ、カメラ付き携帯電話等の撮像機能を備えた各種電子機器に適用することができる。

１ 撮像装置
２ 撮像部
３ 姿勢検出部
４ 操作入力部
５ 時計
６ 表示部
７ タッチパネル
８ 記憶部
９ 制御部
２１、２２ 撮像部
４１ 電源スイッチ
４２ レリーズスイッチ
４３ 切換スイッチ
４４ ズームスイッチ
６１ バックライト
６２ 表示パネル
６３ 視差バリア
７１ フロントパネル
７２ 駆動部
７３ 駆動電極
７４ 受信電極
７５ 検出部
８１ 画像データ記憶部
８２ プログラム記憶部
９１ 画像処理部
９２ 立体画像生成部
９３ 飛び出し設定部
９４ 電子ズーム部
９５ 表示制御部
９６ ヘッダ情報生成部

Claims (10)

1. 被写体を撮像することによって２つの画像データを生成する撮像部と、
   前記２つの画像データを組み合わせて生成される３次元画像を表示可能な表示部と、
   前記表示部が表示する画像の拡大を指示する拡大指示信号の入力を受け付ける入力部と、
   前記表示部が前記撮像部が撮影した撮影画像を表示している状態で前記入力部によって前記拡大指示信号が入力された場合、前記２つの画像データで対応する拡大部の視差を減少させた後で拡大操作を行うことによって拡大画像データを生成し、この生成した拡大画像データに対応する３次元拡大画像を前記表示部に表示させる制御部と、
   を備えたことを特徴とする撮像装置。
2. 前記制御部は、
   撮影の成否を確認するための拡大表示と３次元確認用の拡大表示とを切り換えて前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、
   前記入力部による前記拡大指示信号の入力状態が所定時間継続した場合、前記２つの画像データの一方を用いることによって生成される２次元拡大画像を前記表示部に表示させることを特徴とする請求項２に記載の撮像装置。
4. 前記制御部は、
   前記２つの画像データにおける拡大後の画像の中心を合致させることによって対応画素点の視差を減少させることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記制御部は、
   前記２つの画像データにおける拡大後の画像の中心の視差を所定の比率で縮小することによって対応画素点の視差を減少させることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
6. 前記制御部は、
   前記２つの画像データにおける視差が所定値よりも大きい画素点からなる被写体に対して、前記２つの画像データの一方のみを使用することを特徴とする請求項４または５に記載の撮像装置。
7. 前記制御部は、
   前記２つの画像データにそれぞれ対応する２つの画像を所定の縦横比で切り出して前記３次元画像のもととなる画像を生成する立体画像生成部と、
   前記立体画像生成部が切り出す領域を変更することによって前記２つの画像データにおける対応画素点の視差を調整し、前記３次元画像が前記表示部の表示画面と直交する垂直な方向へ仮想的に飛び出す距離を設定する飛び出し設定部と、
   を有することを特徴とする請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記制御部は、
   前記飛び出し設定部が設定した前記２つの画像データに対応する画像を、前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に出力する表示制御部を有することを特徴とする請求項７に記載の撮像装置。
9. 前記入力部は、前記撮像部が撮像した画像データに基づいて前記表示部が表示する画像中から選択される代表点の設定信号の入力を受付可能であるとともに、前記設定信号によって設定された代表点におけるピントを確認するための画像として、前記代表点を中心として前記２つの画像データの一方を拡大したピント確認用拡大画像の表示を指示するピント確認指示信号の入力を受付可能であり、
   前記制御部は、前記入力部によって前記代表点が入力された後、前記ピント確認指示信号が入力された場合、該代表点を中心とするピント確認用拡大画像を生成して前記表示部に表示させることを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
10. 前記入力部は、
    前記表示部の表示画面上に設けられ、外部から接近してくる物体の領域および該表示画面までの距離を検出するとともに、該検出結果に応じた信号の入力を受け付けるタッチパネルを有することを特徴とする請求項１〜９のいずれか一項に記載の撮像装置。

Images