[go: up one dir, main page]

JP2019198008A - 撮像装置およびその制御方法、並びにプログラム - Google Patents

撮像装置およびその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2019198008A
JP2019198008A JP2018091406A JP2018091406A JP2019198008A JP 2019198008 A JP2019198008 A JP 2019198008A JP 2018091406 A JP2018091406 A JP 2018091406A JP 2018091406 A JP2018091406 A JP 2018091406A JP 2019198008 A JP2019198008 A JP 2019198008A
Authority
JP
Japan
Prior art keywords
image
display
information
guide
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018091406A
Other languages
English (en)
Other versions
JP2019198008A5 (ja
Inventor
康一 郡司
Koichi Gunji
康一 郡司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018091406A priority Critical patent/JP2019198008A/ja
Priority to US16/381,095 priority patent/US11032463B2/en
Publication of JP2019198008A publication Critical patent/JP2019198008A/ja
Publication of JP2019198008A5 publication Critical patent/JP2019198008A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/3004Arrangements for executing specific machine instructions to perform operations on memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】画像中のピント位置を確認するためのガイドの表示処理を高速化し、被写体の動きや焦点検出に追従した表示を可能とする。【解決手段】撮像装置は、画像中のピントを合わせる位置を検出する検出手段と、前記検出された位置を示すガイドを前記画像に重畳した合成画像を生成する処理手段と、前記処理手段により生成された合成画像を表示する表示手段と、前記合成画像を生成する処理に用いられる表示情報を、前記検出手段により検出される前記位置の情報に応じて更新する制御手段と、を有する。【選択図】図2

Description

本発明は、画像にフォーカス枠を表示する技術に関する。
デジタルカメラやデジタルビデオカメラでは、ライブビュー画像をカメラ内のディスプレイや電子ビューファインダー(EVF)、カメラ外のディスプレイに表示して撮影対象を確認しながら撮影することが行われている。
また、デジタルカメラやデジタルビデオカメラには、オートフォーカス(AF)機能が搭載されている。撮影者はAF機能により画像中のピント位置を確認することができるが、小型のカメラなどではディスプレイも小型で解像度も低いためピント位置の確認が困難となる。
そこで、画像中のピント位置を確認するための補助情報として、例えば、画像のピント位置に枠線などを表示する方法や、画像の一部分を拡大表示する方法や、ピーキングと呼ばれる被写体の輪郭線を太く着色して表示する方法などがある。また、特許文献1には、被写体距離情報を用いて合焦した領域の画像のみ表示して、他の画像領域を非表示とする方法が記載されている。
特開2016−58764号公報
しかしながら、上述した従来技術では、画像処理に時間がかかり、画像中のピント位置を確認するためのガイドの表示処理が被写体の動きや焦点検出に追従できない場合がある。
本発明は、上記課題に鑑みてなされ、その目的は、画像中のピント位置を確認するためのガイドの表示処理を高速化し、被写体の動きや焦点検出に追従した表示が可能となる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の撮像装置は、画像中のピントを合わせる位置を検出する検出手段と、前記検出された位置を示すガイドを前記画像に重畳した合成画像を生成する処理手段と、前記処理手段により生成された合成画像を表示する表示手段と、前記合成画像を生成する処理に用いられる表示情報を、前記検出手段により検出される前記位置の情報に応じて更新する制御手段と、を有する。
本発明によれば、画像中のピント位置を確認するためのガイドの表示処理を高速化し、被写体の動きや焦点検出に追従した表示が可能となる。
実施形態1の装置構成を示すブロック図(A)および実施形態2の装置構成を示すブロック図(B)。 実施形態1のAF枠表示処理を示すフローチャート(A)および実施形態2のAF枠表示処理を示すフローチャート(B)。 実施形態1のAF枠生成処理を説明する図。 実施形態2のAF枠生成処理を説明する図。 実施形態1、2のAF枠表示処理を示すタイミングチャート。 AF枠(A)とAF枠の表示情報(B)を例示する図。 AF枠の生成に使用するLUTを例示する図。 撮像素子の画素配列を例示する図。
以下に、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
[実施形態1]
実施形態1では、撮像画面内に2次元状に配置された全AF枠のうち被写体の合焦位置に応じたAF枠のみをライブビュー画像に重畳して表示し、他のAF枠を非表示とするAF枠表示処理を説明する。
まず、図1(A)を用いて、実施形態1の撮像装置の構成について説明する。
本実施形態のデジタルカメラ10は、オートフォーカス機能を有するデジタルカメラやデジタルビデオカメラに限らず、カメラ機能を有する携帯電話やその一種であるスマートデバイス、タブレット端末などの情報処理装置にも適用可能である。
光学系100は、撮像レンズ、シャッター、絞りなどを備える。イメージセンサ部101は、CCDやCMOSなどの撮像素子を備える。イメージセンサ部101は、光学系100を通じて入射光量やフォーカス調整が行われて結像された被写体像を光電変換してアナログ画像信号を生成する。また、イメージセンサ部101は、アナログ信号をデジタル信号に変換するAD変換部を有する。イメージセンサ部101の撮像素子の各画素には、R(赤)、G(緑)、B(青)のいずれかのカラーフィルタが規則的にモザイク状に、例えば4画素ごとに赤1画素、青1画素、緑2画素を1組として配列されている。このような画素の配置はベイヤー配列と呼ばれる。図8(A)はRGBの各画素801、802、803について1つの画素が1つの領域で構成される場合を例示している。図8(B)はRGBの各画素811、812、821、822、831、832について1つの画素が2つの領域(A像領域とB像領域)で構成される場合を例示している。本実施形態では、図8(B)の構造のイメージセンサ(分割画素センサ)を採用した例を説明する。
図8(C)は、図8(B)のイメージセンサ部101の構造を例示している。図8(C)において、A像用受光素子811、821、831は、撮像レンズ100のA像領域を通過した光を受光し、B像用受光素子812、822、832は、撮像レンズ100のB像領域を通過した光を受光する。同一の撮像レンズのA像とB像を1つのマイクロレンズ840を通して各画素の分割領域で受光することにより、視差のある2つの画像信号を取得することが可能である。
イメージセンサ部101によって生成された画像信号は、ベイヤー画像情報として焦点/被写体検出部102に出力される。
焦点/被写体検出部102は、図8(C)に示すA像領域とB像領域から各々得られた画像情報を加算したベイヤー画像情報として現像処理部103に出力する。また、焦点/被写体検出部102は、ライブビュー画像中の被写体を検出する機能と、被写体の距離を検出する機能と、被写体の合焦度合(ピントのズレの程度)を検出する機能と、を有する。被写体は、画像情報から高周波成分(被写体のエッジ情報)を抽出し、抽出成分の大きさ基づいて検出する。エッジ情報の抽出方法は、例えばFIR(Finite Impulse Response)型のバンドパスフィルタを用いる。また、エッジ情報の抽出箇所は、画像情報全体でもよいし、被写体の距離情報によって画像情報内を部分的に抽出箇所と指定することも可能である。被写体距離および合焦度合は、A像領域とB像領域の各画像情報を相関演算して得られた視差情報から算出される。焦点/被写体検出部102は、例えば、画像情報から複数の顔を検出し、検出した各顔の距離情報や合焦度合を算出し、制御部104に出力する。
現像処理部103は、焦点/被写体検出部102からベイヤー画像情報を取得し、RGB画像信号のオフセット調整、ゲイン調整、ガンマ補正処理を行う。ガンマ補正は、光学系100のレンズの特性やイメージセンサ部101の特性などに基づいて、ユーザが所望する階調特性の画像データを生成する処理である。ユーザは、ガンマ補正値を変更することによって、ディスプレイに表示するための画像データの生成や、映画フィルムの質感や階調を再現した画像データの生成が可能である。また、現像処理部103は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換して表示処理部107に出力する。また、現像処理部103は、レンズの歪曲収差の補正処理や、カメラの防振処理やノイズリダクション処理なども行う。
制御部104は、演算処理部であるCPU104aと、CPU104aが実行するプログラムを格納するメモリ104bを含み、デジタルカメラ10の全体の動作を制御する。メモリ104bには、後述するAF枠設定テーブルが格納され、CPU104aによりテーブルの内容が更新可能である。
全AF枠画像302は、図3(B)に示すようにイメージセンサ部101の撮像画面全体(撮像画像全体)における検出可能な位置(測距点)の数と同数のガイド(AF枠)303を描画した画像情報である。AF枠303は、画像中のピントを合わせる位置(合焦位置)を表示する枠線のグラフィック画像である。全AF枠画像302は、図示しないDRAMなどの画像メモリに予め保持しておいてもよいし、制御部104や図示していないGPU(Graphics Processing Unit)などの描画処理部により生成するようにしてもよい。図3(E)は、図3(B)の全AF枠画像302のうち左上端部の3つのAF枠303a、303b、303cを拡大して示している。枠線0で示される画素は画素値[0]を、枠線1で示される画素は画素値[1]を、枠線外の斜線で示される領域303dは、例えば画素値[1023]などの情報を持っている。
AF枠情報生成部105は、制御部104から取得した被写体距離情報や合焦度合情報に基づき、図3(C)のAF枠画像304を生成するための表示情報を生成する。図3(C)のAF枠画像304は、図3(B)の全AF枠画像302のうちライブビュー画像に重畳したときに合焦位置に対応するAF枠305のみが表示可能となっている。表示情報は、図3(D)に示すようなAF枠設定用のルックアップテーブル(LUT)に保持され、制御部104のCPU104aが順次検出される合焦位置に応じてLUTの内容を更新する。LUTは、例えば、AF枠303の枠線の番号、枠線番号ごとの色情報、透過情報(アルファブレンド処理におけるα値)などを含む。色情報は、輝度値と色差値、R(赤)、G(緑)、B(青)値の少なくともいずれかを含む。
表示処理部107は、図3(B)の全AF枠画像302を取得する。そして、表示処理部107は、AF枠情報生成部105で生成された表示情報(LUT)に基づき、図3(B)の全AF枠画像302のうち合焦位置に対応する図3(C)のAF枠305のみを表示可能(α=100%)としたAF枠画像304を生成する。図3(B)の全AF枠画像302のうち合焦位置に対応する図3(C)のAF枠305以外のAF枠については、合成比率α=0%とされる。α値(合成比率)が100%のAF枠は、透過度0%の不透明表示となり、α値(合成比率)が0%のAF枠は、透過度100%の透明表示となる。また、表示処理部107は、生成したAF枠画像304をα値(合成比率)に応じて現像処理部103から出力されるライブビュー画像に重畳するアルファブレンド処理を行い、図3(A)に示す合成画像情報301を表示用同期信号と共に表示装置108に出力する。表示用同期信号は、画像の水平方向同期信号、画像の垂直方向同期信号、有効画像位置同期信号などである。
<撮影時のAF枠表示処理>次に、図2(A)を参照して、本実施形態のデジタルカメラによるAF枠表示処理について説明する。
図2(A)は、本実施形態のデジタルカメラが行う撮影時のAF枠表示処理を示すフローチャートである。なお、図2(A)の処理は、制御部104のCPU104aがメモリ104bに格納されたプログラムを実行し、カメラの各部を制御することによって実現される。なお、図2(A)の処理は、デジタルカメラ10を起動してAFモードに設定されると開始される。
S201では、CPU104aは、焦点/被写体検出部102により算出された被写体距離情報を取得する。焦点/被写体検出部102は、図8(C)に示した撮像レンズ100のA像領域とB像領域から得られた視差情報から被写体距離情報を算出し、制御部104に出力する。
S202では、CPU104aは、焦点/被写体検出部102により算出された被写体の合焦度合を示す合焦情報を取得する。
S203では、CPU104aは、S201で取得した被写体距離と、S202で取得した合焦情報に基づいて、ライブビュー画像中の合焦位置を検出可能か判定する。
S203で合焦位置を検出できなかった場合、CPU104aは、S204においてAF枠を非表示とした後、S202に戻り再度合焦情報の取得を行う。一方、S203で合焦位置を検出できた場合、CPU104aは、S205において、合焦位置に応じて図3(D)のAF枠設定用のLUT(以下、AF枠設定テーブル)を書き換える。例えば、合焦位置が、図3(B)の全AF枠画像302における枠線番号18、30、31、43、44、57の6個の領域であった場合、AF枠情報生成部105で生成された図3(D)に示すAF枠設定テーブルの該当する番号のみ、透過情報(α)を100%、色情報を赤色に書き換える。色情報は、輝度値と色差値、またはR(赤)、G(緑)、B(青)値の少なくともいずれかを含む。本実施形態では、AF枠設定テーブルの更新処理は、制御部104のCPU104aがAF枠画像が描画される画像メモリ(VRAM)にアクセスせずに実行し、高速な書き換えが可能となっている。このため、AF枠の表示処理を高速化し、被写体の動きや焦点検出に追従したAF枠表示が可能となる。また、AF枠設定テーブルのデータ容量が固定であった場合、そのデータ容量の範囲内で、AF枠数に応じて色情報や透過情報の分解能を変化させることも可能である。例えば、図7に示すように、AF枠設定テーブルが256バイトの容量であった場合、枠数が64個のときは色情報や透過情報の個々のデータを8ビットで保持することが可能である。同様に、枠数が128個のときは4ビット、枠数が256個のときは2ビット、枠数が512個のときは1ビットで色情報や透過情報の個々のデータを保持することが可能である。
S206では、CPU104aは、表示処理部107により、図示しない画像メモリ(VRAM)などから図3(B)の全AF枠画像302を読み出す。そして、CPU104aは、S205で書き換えられたAF枠設定テーブルに基づいて、図3(B)の全AF枠画像302から図3(C)に示すような合焦位置のAF枠305のみを表示可能なAF枠画像304を生成する。全AF枠画像302は、イメージセンサ部101の特性などによって1枠の大きさや枠数が可変である。全AF枠画像302は、予め制御部104のメモリ104bに記憶しておいてもよいし、CPU104aや図示していないGPUなどの描画処理部により生成するようにしてもよい。
S207では、CPU104aは、現象処理部103から出力されるライブビュー画像と、S206で生成されたAF枠画像304を表示処理部107により合成して、図3(A)に示す合成画像301を生成する。
S208では、CPU104aは、S207で生成された合成画像301を表示装置108に表示し、S201からの処理を繰り返し行う。
次に、図2(A)のS202からS208までの処理を、図5に示すタイミングチャートを用いて説明する。
焦点検出タイミングはFT(Focus Timing)で示し、例えば120Hzや60Hzの周期で焦点検出を行い、合焦情報をFTごとに更新する。
表示タイミングはDT(Disply Timing)で示し、FTとは異なる周期である場合や、FTと同周期だが位相が異なる場合がある。FT1によって更新された合焦情報F1をDT1で取得し、AF枠設定テーブルのテーブルマスク情報M1として使用し、画像情報D1を表示出力する。FTの変化点から最も近いDTでAF枠設定テーブルを更新することによって、焦点検出に追従したAF枠表示が可能である。テーブルマスク情報Mは、DT波形の立ち上り変化点で更新され、DT波形の立ち下りから立ち上りまでの期間が有効表示期間であり、画像Dを表示出力する。
上述した処理によって、AF枠の表示処理を高速化し、被写体の動きや焦点検出に追従したAF枠表示が可能となる。
なお、実施形態1では、全AF枠画像302のうち隣接する6個のAF枠305を表示する例を示したが、図6(A)に示すように撮像画面内の離れた複数の領域(3か所)601、602、603にAF枠を同時表示させることも可能である。さらに、図6(A)に示す3か所601、602、603のAF枠の色を図6(B)に示すようにAF枠設定テーブルで赤、青、緑など別の色に設定することも可能である。
[実施形態2]
実施形態2では、撮像画面内に2次元状に配置された全AF枠画像から、合焦した被写体位置に応じたAF枠のみを切り出し、ライブビュー画像に重畳して表示するAF枠表示処理を説明する。
図1(B)は、実施形態2のデジタルカメラの装置構成を例示している。本実施形態のデジタルカメラ10は、実施形態1の図1(A)に示すAF枠情報生成部105に代えてAF枠生成部205が設けられている。その他の構成は、図1(A)と同様であるため説明は省略する。
AF枠生成部205は、焦点/被写体検出部102により検出された合焦した被写体の位置と形状に応じてAF枠画像を生成する。AF枠生成部205は、例えば、図4(B)に示す全AF枠画像402から、図4(E)に示す合焦した被写体位置の座標(x、y)に応じて図4(C)に示すAF枠403を切り出し、さらに図4(D)に示すように被写体形状に合わせた枠線のみのAF枠画像404を生成する。図4(D)のAF枠画像404は、実施形態1と同様に、図4(F)に示すAF枠設定テーブルを使用して生成される。図4(G)は、図4(C)のAF枠403を拡大して示している。枠線0〜7で示される各画素、枠線外の斜線で示される領域は、それぞれ画素値の情報を持っている。
次に、図2(B)を参照して、実施形態2のデジタルカメラによるAF枠表示処理を説明する。
図2(B)は、本実施形態のデジタルカメラが行う撮影時のAF枠表示処理を示すフローチャートである。なお、図2(B)の処理は、制御部104のCPU104aがメモリ104bに格納されたプログラムを実行し、カメラの各部を制御することによって実現される。なお、図2(B)の処理は、デジタルカメラ10を起動してAFモードに設定されると開始される。
S211では、CPU104aは、焦点/被写体検出部102により算出された被写体距離情報を取得する。焦点/被写体検出部102は、図8(C)に示したA像領域とB像領域から得られた視差情報から被写体距離情報を算出し、制御部104に出力する。
S212では、CPU104aは、焦点/被写体検出部102により算出された被写体の位置、形状、合焦度合を示す被写体情報を取得する。
S213では、CPU104aは、S211で取得した被写体距離と、S212で取得した被写体情報に基づいて、合焦した被写体位置を検出可能か判定する。
S213で合焦した被写体を検出できなかった場合、CPU104aは、S214においてAF枠を非表示とした後、S212に戻り再度被写体情報の取得を行う。S212で被写体位置の検出を行う。一方、S213で合焦した被写体位置を検出できた場合、CPU104aは、S215において、合焦した被写体位置に応じて図4(F)に示すAF枠設定テーブルを書き換える。例えば、合焦した被写体位置が、図4(D)に示す枠線番号1、2、3、4、5、7の6個の領域であった場合、AF枠生成部205で生成された図4(C)に示すAF枠403のうち、図4(F)に示すAF枠設定テーブルの該当する番号のみ、透過情報(α)を100%、色情報を赤色に書き換える。色情報は、輝度値と色差値、またはR(赤)、G(緑)、B(青)値などで設定可能である。本実施形態では、AF枠設定テーブルの更新処理は、制御部104のCPU104aがAF枠画像が描画される画像メモリ(VRAM)にアクセスせずに実行し、高速な書き換えが可能となっている。このため、AF枠の表示処理を高速化し、ライブビュー画像中の被写体の動きや焦点検出に追従したAF枠表示が可能となる。また、AF枠設定テーブルのデータ容量が固定であった場合、そのデータ容量の範囲内で、AF枠数に応じて色情報や透過情報の分解能を変化させることも可能である。例えば、図7に示すように、AF枠設定テーブルが256バイトの固定容量であった場合、枠数が64個のときは色情報や透過情報の個々のデータを8ビットで保持することが可能である。同様に、枠数が128個のときは4ビット、枠数が256個のときは2ビット、枠数が512個のときは1ビットで色情報や透過情報の個々のデータを保持することが可能である。
S216では、CPU104aは、表示処理部107により、図示しない画像メモリ(VRAM)などから図4(B)に示す全AF枠画像402を読み出し、全AF枠画像402から合焦した被写体位置に応じて図4(C)に示すAF枠403を切り出し、さらに図4(D)に示すように被写体形状に合わせた枠線のみのAF枠画像404を生成する。全AF枠画像402は、イメージセンサ部101の特性などによって1枠の大きさや枠数が可変である。全AF枠画像402は、予め制御部104のメモリ104bに記憶しておいてもよいし、CPU104aや図示していないGPUなどの描画処理部により生成するようにしてもよい。
S217では、CPU104aは、表示処理部107により、現象処理部103から出力されるライブビュー画像と、S216で生成されたAF枠画像404とを図4(E)に示す被写体位置の座標(x、y)に応じて合成して、図4(A)に示す合成画像401を生成する。図4(E)に示す被写体位置は、例えばライブビュー画像の左上を原点として水平方向x、垂直方向yの位置を指定して合成可能である。
S218では、CPU104aは、S217で生成された合成画像401を表示装置108に表示し、S211からの処理を繰り返し行う。
次に、図2(B)のS212からS218までの処理を、図5に示すタイミングチャートを用いて説明する。
例えば120Hzや60Hzの周期で焦点検出を行い、被写体情報を焦点検出タイミングFTごとに更新する。表示タイミングDTは、FT1によって更新された被写体情報F1をDT1で取得し、AF枠設定テーブルのテーブルマスク情報M1として使用し、画像情報D1を表示出力する。FTの変化点から最も近いDTでAF枠設定テーブルを更新することによって、焦点検出に追従したAF枠表示が可能である。テーブルマスク情報Mは、DT波形の立ち上り変化点で更新され、DT波形の立ち下りから立ち上りまでの期間が有効表示期間であり、画像Dを表示出力する。
上述した処理によって、AF枠の表示処理を高速化し、被写体の動きや位置に追従したAF枠表示が可能となる。
なお、実施形態2では、全AF枠画像402のうち隣接する6個のAF枠(AF枠画像404)を表示する例を示したが、図6(A)に示すように撮像画面内の離れた複数の領域(3か所)601、602、603にAF枠を同時表示させることも可能である。さらに、図6(A)に示す3か所601、602、603のAF枠の色を図6(B)に示すようにAF枠設定テーブルで赤、青、緑など別の色に設定することも可能である。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…光学系、101…イメージセンサ部、102…焦点/被写体検出部、103…現像処理部、104…制御部、104a…CPU、105…AF枠情報生成部、107…表示処理部、108…表示装置、205…AF枠生成部

Claims (20)

  1. 画像中のピントを合わせる位置を検出する検出手段と、
    前記検出された位置を示すガイドを前記画像に重畳した合成画像を生成する処理手段と、
    前記処理手段により生成された合成画像を表示する表示手段と、
    前記合成画像を生成する処理に用いられる表示情報を、前記検出手段により検出される前記位置の情報に応じて更新する制御手段と、を有することを特徴とする撮像装置。
  2. 前記表示情報に応じて前記ガイドを生成する生成手段をさらに有し、
    前記生成手段は、前記検出手段が画像全体において検出可能な位置の数と同じ数のガイドを含む画像であって、前記検出された位置を示すガイドのみが表示可能となる第1の画像を生成することを特徴とする請求項1に記載の撮像装置。
  3. 前記処理手段は、前記検出手段が画像全体において検出可能な位置の数と同じ数のガイドを含む画像から、前記検出された位置および当該位置の形状に応じたガイドのみを切り出した第2の画像を生成することを特徴とする請求項1に記載の撮像装置。
  4. 前記ガイドは、前記検出された位置を示す枠線であることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記表示情報は、前記ガイドの色情報と、前記ガイドと前記画像の合成比率を示す情報の少なくとも一方を含むことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記表示情報は、前記制御手段が更新を行うルックアップテーブルとして保持され、
    前記ルックアップテーブルのデータ容量の範囲内で、前記ガイドの数に応じて前記色情報および前記合成比率を示す情報の分解能が可変であることを特徴とする請求項5に記載の撮像装置。
  7. 前記制御手段は、前記検出手段による検出タイミングに最も近い表示タイミングで前記表示情報を更新することを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記ピントを合わせる位置は、オートフォーカス機能による合焦位置または合焦した被写体位置であることを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. 画像を撮像する撮像手段をさらに有し、
    前記ガイドは、撮像されたライブビュー画像中のピントを合わせる位置に重畳されることを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 検出手段と、処理手段と、表示手段と、制御手段を有する撮像装置の制御方法であって、
    前記検出手段が、画像中のピントを合わせる位置を検出するステップと、
    前記処理手段が、前記検出された位置を示すガイドを前記画像に重畳した合成画像を生成する処理ステップと、
    前記表示手段が、前記処理手段により生成された合成画像を表示するステップと、
    前記制御手段が、前記合成画像を生成する処理に用いられる表示情報を、前記検出手段により検出される前記位置の情報に応じて更新するステップと、を有することを特徴とする撮像装置の制御方法。
  11. 前記表示情報に応じて前記ガイドを生成する生成ステップをさらに有し、
    前記生成ステップでは、前記検出手段が画像全体において検出可能な位置の数と同じ数のガイドを含む画像であって、前記検出された位置を示すガイドのみが表示可能となる第1の画像を生成することを特徴とする請求項10に記載の制御方法。
  12. 前記処理ステップでは、前記検出手段が画像全体において検出可能な位置の数と同じ数のガイドを含む画像から、前記検出された位置および当該位置の形状に応じたガイドのみを切り出した第2の画像を生成することを特徴とする請求項10に記載の制御方法。
  13. 前記ガイドは、前記検出された位置を示す枠線であることを特徴とする請求項10から12のいずれか1項に記載の制御方法。
  14. 前記表示情報は、前記ガイドの色情報と、前記ガイドと前記画像の合成比率を示す情報の少なくとも一方を含むことを特徴とする請求項10から13のいずれか1項に記載の制御方法。
  15. 前記表示情報は、前記制御手段が更新を行うルックアップテーブルとして保持され、
    前記ルックアップテーブルのデータ容量の範囲内で、前記ガイドの数に応じて前記色情報および前記合成比率を示す情報の分解能が可変であることを特徴とする請求項14に記載の制御方法。
  16. 前記表示情報は、前記検出手段による検出タイミングに最も近い表示タイミングで更新されることを特徴とする請求項10から15のいずれか1項に記載の制御方法。
  17. 前記ピントを合わせる位置は、オートフォーカス機能による合焦位置または合焦した被写体位置であることを特徴とする請求項10から16のいずれか1項に記載の制御方法。
  18. 前記ガイドは、撮像手段により撮像されたライブビュー画像中のピントを合わせる位置に重畳されることを特徴とする請求項10から17のいずれか1項に記載の制御方法。
  19. コンピュータに、請求項10から18のいずれか1項に記載された制御方法を実行させるためのプログラム。
  20. コンピュータに、請求項10から18のいずれか1項に記載された制御方法を実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2018091406A 2018-05-10 2018-05-10 撮像装置およびその制御方法、並びにプログラム Pending JP2019198008A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018091406A JP2019198008A (ja) 2018-05-10 2018-05-10 撮像装置およびその制御方法、並びにプログラム
US16/381,095 US11032463B2 (en) 2018-05-10 2019-04-11 Image capture apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018091406A JP2019198008A (ja) 2018-05-10 2018-05-10 撮像装置およびその制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2019198008A true JP2019198008A (ja) 2019-11-14
JP2019198008A5 JP2019198008A5 (ja) 2021-06-17

Family

ID=68464372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018091406A Pending JP2019198008A (ja) 2018-05-10 2018-05-10 撮像装置およびその制御方法、並びにプログラム

Country Status (2)

Country Link
US (1) US11032463B2 (ja)
JP (1) JP2019198008A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880991B2 (en) 2021-07-12 2024-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including depth information at first or second spatial resolution at different regions in the image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833498B2 (ja) * 2016-12-21 2021-02-24 キヤノン株式会社 撮像装置、撮像方法およびコンピュータのプログラム
WO2022018898A1 (ja) * 2020-07-22 2022-01-27 富士フイルム株式会社 撮像装置、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092354A (ja) * 1998-09-09 2000-03-31 Casio Comput Co Ltd 合焦報知方法および撮像装置
JP2006135873A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2009017121A (ja) * 2007-07-03 2009-01-22 Canon Inc 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
WO2011114668A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 データ処理装置およびデータ処理方法
JP6424523B2 (ja) 2014-09-05 2018-11-21 リコーイメージング株式会社 撮像装置
JP6863284B2 (ja) * 2015-08-31 2021-04-21 ソニーグループ株式会社 検出装置、検出方法、検出プログラムおよび撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092354A (ja) * 1998-09-09 2000-03-31 Casio Comput Co Ltd 合焦報知方法および撮像装置
JP2006135873A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2009017121A (ja) * 2007-07-03 2009-01-22 Canon Inc 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880991B2 (en) 2021-07-12 2024-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including depth information at first or second spatial resolution at different regions in the image
US12236623B2 (en) 2021-07-12 2025-02-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with subject region detection

Also Published As

Publication number Publication date
US20190349513A1 (en) 2019-11-14
US11032463B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US20200029022A1 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
JP5701785B2 (ja) カメラモジュール
JP5591261B2 (ja) 画像処理装置
CN105323474A (zh) 摄像设备及其控制方法
JP5860189B2 (ja) 撮像装置
CN105814877A (zh) 电子装置和控制该电子装置的方法
US11032463B2 (en) Image capture apparatus and control method thereof
US20120106840A1 (en) Combining images captured with different color patterns
JP5537048B2 (ja) 画像表示装置、画像表示方法、撮像装置、及び撮像装置の制御方法
JP2006049950A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP4133283B2 (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
JP2012204859A (ja) 画像処理装置及びカメラモジュール
JP6108854B2 (ja) 撮像装置及びその制御方法
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6345851B1 (ja) 高速度ビデオカメラ用カラー固体撮像素子
JP2014236244A (ja) 画像処理装置、画像処理プログラム、およびデジタルカメラ
JP7678776B2 (ja) 撮像装置およびその制御方法、ならびに画像処理装置
JP5448799B2 (ja) 表示制御装置及び表示制御方法
WO2019181560A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2025176616A (ja) 画像処理装置及び方法、電子機器、プログラム及び記憶媒体
JP2007020045A (ja) 電子カメラ
JP2022174568A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2025178826A (ja) 画像処理装置及び方法、電子機器、プログラム及び記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221011