JP2005080011A - Imaging method, imaging apparatus, program, and storage medium - Google Patents
Imaging method, imaging apparatus, program, and storage medium Download PDFInfo
- Publication number
- JP2005080011A JP2005080011A JP2003309244A JP2003309244A JP2005080011A JP 2005080011 A JP2005080011 A JP 2005080011A JP 2003309244 A JP2003309244 A JP 2003309244A JP 2003309244 A JP2003309244 A JP 2003309244A JP 2005080011 A JP2005080011 A JP 2005080011A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- focus position
- detection
- situation data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】 撮影者の条件設定作業の繁雑さを取り除き、測距精度及び画質の向上を図ることができる撮像装置を提供する。
【解決手段】 撮像素子102の出力信号から被写体の合焦位置を検出するAF処理部105を有する撮像装置において、前記AF処理部105は、被写体輝度と被写体彩度との組合せに応じて、撮像素子102のうちの一つまたは複数の種類の画素を選択し、該選択された画素を用いて合焦位置の検出を行う。
【選択図】 図1PROBLEM TO BE SOLVED: To provide an imaging device capable of removing the complexity of a photographer's condition setting work and improving ranging accuracy and image quality.
In an imaging apparatus having an AF processing unit 105 that detects an in-focus position of a subject from an output signal of an imaging element 102, the AF processing unit 105 performs imaging according to a combination of subject luminance and subject saturation. One or more types of pixels of the element 102 are selected, and the in-focus position is detected using the selected pixels.
[Selection] Figure 1
Description
本発明は、電子スチルカメラやビデオカメラ等の撮像装置により撮像する撮像方法、撮像装置、プログラム及び記憶媒体に関する。 The present invention relates to an imaging method, an imaging apparatus, a program, and a storage medium for imaging with an imaging apparatus such as an electronic still camera or a video camera.
従来、電子スチルカメラやビデオカメラ等の撮像装置は公知である(例えば、特許文献1参照)。
しかしながら、従来の撮像装置では、撮りたい場面に応じて様々な条件設定を行わなければならず、これは、不慣れな撮影者には非常に繁雑な操作であった。また、それに対応した画像処理がメーカー側によって決められた設定であったため、必ずしも撮影者の欲求を満たすものとは言えなかった。更に、撮像光学系では、被写体の波長により結像する位置が異なるいわゆる色収差があるため、被写体の持つ色彩によって合焦位置が必ずしも最適なものとはならないという問題があった。 However, in the conventional imaging apparatus, various condition settings have to be performed according to the scene to be photographed, which is a very complicated operation for an unskilled photographer. In addition, since the image processing corresponding to the setting is determined by the manufacturer, it cannot necessarily satisfy the photographer's desire. Furthermore, in the imaging optical system, there is a so-called chromatic aberration in which the position where the image is formed differs depending on the wavelength of the subject, and thus there is a problem that the in-focus position is not necessarily optimal depending on the color of the subject.
そこで、本発明は、撮影者の条件設定作業の繁雑さを取り除き、測距精度及び画質の向上を図ることができる撮像方法、撮像装置、プログラム及び記憶媒体を提供することを目的とする。 Therefore, an object of the present invention is to provide an imaging method, an imaging apparatus, a program, and a storage medium that can eliminate the complexity of the condition setting work of the photographer and can improve the ranging accuracy and the image quality.
上記目的を達成するために、本発明の撮像方法は、撮像素子の出力信号から被写体の合焦位置を検出する合焦位置検出工程を有する撮像方法において、前記合焦位置検出工程は、被写体輝度と被写体彩度との組合せに応じて前記撮像素子のうちの一つまたは複数の種類の画素を選択し、該選択された画素を用いて合焦位置の検出を行うことを特徴とする。 In order to achieve the above object, an imaging method according to the present invention includes an in-focus position detecting step of detecting an in-focus position of a subject from an output signal of an image sensor, wherein the in-focus position detecting step includes subject luminance. One or a plurality of types of pixels of the image sensor are selected according to the combination of the subject and the subject saturation, and the in-focus position is detected using the selected pixels.
また、上記目的を達成するために、本発明の撮像装置は、撮像素子の出力信号から被写体の合焦位置を検出する合焦位置検出手段を有する撮像装置において、前記合焦位置検出手段は、被写体輝度と被写体彩度との組合せに応じて、前記撮像素子のうちの一つまたは複数の種類の画素を選択し、該選択された画素を用いて合焦位置の検出を行うことを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an in-focus position detecting unit that detects an in-focus position of an object from an output signal of an image sensor, and the in-focus position detecting unit includes: According to a combination of subject luminance and subject saturation, one or a plurality of types of pixels of the image sensor are selected, and a focus position is detected using the selected pixels. To do.
本発明によれば、撮影者の条件設定作業の繁雑さを取り除き、測距精度及び画質の向上を図ることができる。 According to the present invention, it is possible to remove the complexity of the photographer's condition setting work and improve the ranging accuracy and the image quality.
本発明の撮像方法、撮像装置、プログラム及び記憶媒体の実施形態について、図面を参照しながら説明する。 Embodiments of an imaging method, an imaging apparatus, a program, and a storage medium according to the present invention will be described with reference to the drawings.
[第1実施の形態]
図1は、第1実施の形態に係る撮像装置の構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
図1において、101は撮像部で、この撮像部101には、レンズ系、絞り、シャッター等が含まれ、これらは、AE処理部104、AF処理部105により、適正な露光及び合焦がなされ、また、必要に応じてEF処理部107により駆動されるストロボ109による補助光が照射され、被写体の像が図2(a)、若しくは図2(b)に示すような画素配置のセンサーを持つ固体撮像素子(撮像素子)102に結像される。
In FIG. 1,
図2(a)において、Rは赤(レッド)、Bは青(ブルー)、Gは緑(グリーン)である。また、図2(b)において、Mはマゼンタ、Yはイエロー、Cはシアン、Gはグリーンである。 In FIG. 2A, R is red (red), B is blue (blue), and G is green (green). In FIG. 2B, M is magenta, Y is yellow, C is cyan, and G is green.
図1において、撮像素子102の面上に結像された像は、光電変換されてアナログ信号となり、A/D変換部103へと送られ、デジタル信号に変換される。A/D変換部103で作成されたデジタル信号は、WB処理部108によりホワイトバランスが調整された後、画像処理部110で適正な出力画像信号が作成される。更に、この出力画像信号は、フォーマット変換部111にてJPEGフォーマット等への画像フォーマット変換が行われ、画像記録部112にて撮像装置内のメモリ、若しくはコンパクトフラッシュ(登録商標)等の外部メモリ(図示省略)へ書き込まれる。
In FIG. 1, an image formed on the surface of the
以上が撮像装置内のデータの簡単な流れである。 The above is a simple flow of data in the imaging apparatus.
AE処理部104とAF処理部105は、iSAPS(intelligent Scene Analysis based on Photographic Space)部106に接続されており、状況データ(iSAPS)が記憶部113に保持されている。AE処理部104で求められた輝度値Xに対し被写体の彩度の大小が予測され、この彩度が大と予測された場合には、色情報検出部114により映像信号から被写体の色情報が検出され、被写体の色相によってAF演算に用いる画素が決定される。
The AE
更に、AE処理部104で求められた輝度値Xに対し適正であると予測される測距範囲を示す信号がiSAPS部106よりAF処理部105に送られ、被写体への測距が行われ、距離情報Yが求められる。この求められた(X,Y)の値から、被写体が屋内にあるのか屋外にあるのかが予測され、この予測を元に、EF処理部107及びWB処理部108の処理を実行する。
Further, a signal indicating a distance measurement range that is predicted to be appropriate for the luminance value X obtained by the
以下、本実施の形態に係る撮像装置の動作を、図3乃至図6に示すフローチャートを参照しながら説明する。 Hereinafter, the operation of the imaging apparatus according to the present embodiment will be described with reference to the flowcharts shown in FIGS.
図3においてはステップS301〜ステップS313、図4においてはステップS314〜ステップS321、図5においてはステップS322〜ステップS330、図6においてはステップS331〜ステップS337の処理を示している。 In FIG. 3, steps S301 to S313, steps S314 to S321 in FIG. 4, steps S322 to S330 in FIG. 5, and steps S331 to S337 in FIG. 6 are shown.
図3において、まず、ステップS301のAE処理で輝度値Xが求められ、これがステップS303でiSAPS部106に送られる。iSAPS部106では、図7に示すような被写体の輝度値と彩度値に対する過去の撮影によって累積した頻度値のデータが保持されている。この彩度値を表すには、映像信号から得られるRGB値から求めたYuv値のuとvの自乗和の平方根や、L*a*b*値のa*とb*の自乗和の平方根、或いはマンセルのHSC値をテーブルより求め、そのS値を使っても良い。
In FIG. 3, first, the luminance value X is obtained by the AE process in step S301, and this is sent to the iSAPS
図7において、A領域は、輝度が高く彩度の低い領域で、例えば、遠景等のような構造物の多い被写体等が挙げられる。また、B領域は、彩度が高くなる領域で、彩度の高い被写体を近接撮影する場合等が考えられる。更に、C領域は、輝度が低く彩度の判別し難い領域である。 In FIG. 7, area A is an area with high luminance and low saturation, and includes, for example, a subject with many structures such as a distant view. In addition, the area B is an area where the saturation is high, and a case where a subject with high saturation is photographed in close proximity can be considered. Furthermore, the area C is an area where luminance is low and saturation is difficult to determine.
前記ステップS301でのAF処理終了後は、前記iSAPS部106に保持されたデータを元に、ステップS302で、どのようなAF演算処理を行うべきかが判定(AF処理判定)される。その判定の結果、図7におけるA領域、或いはC領域であった場合には、ステップS304で、彩度が低い、或いは判別し難いと判定され、ステップS305へ進む。
After the AF processing in step S301 is completed, it is determined in step S302 what AF calculation processing should be performed (AF processing determination) based on the data held in the iSAPS
ステップS305では、被写体の輝度が高いA領域であれば、ステップS306に進んで、高輝度用画素をAF演算に用いることにする。また、被写体の輝度が低いC領域であれば、ステップS307に進んで、低輝度用画素をAF演算に用いることにする。前記ステップS306及びステップS307の処理を終了後は、ステップS313のAF処理へ進む。
ここで高輝度用画素としては、例えば、図2(a)のセンサーでは、Gの画素のみを用いることにすれば、レンズの色収差による影響を抑制することができる。また、図2(b)のセンサーでは、同様な目的でGの画素のみを用いても良く、或いは輝度信号の構成方法によっては、全ての画素をAF演算処理に用いるようにしても良い。
In step S305, if the area of the subject is high, the process proceeds to step S306, and the high-luminance pixel is used for the AF calculation. On the other hand, if the subject area has a low C region, the process proceeds to step S307, and the low luminance pixel is used for the AF calculation. After completing the processes in step S306 and step S307, the process proceeds to the AF process in step S313.
Here, as the high-luminance pixel, for example, in the sensor shown in FIG. 2A, if only the G pixel is used, the influence of the chromatic aberration of the lens can be suppressed. In the sensor of FIG. 2B, only the G pixel may be used for the same purpose, or all the pixels may be used for the AF calculation processing depending on the method of configuring the luminance signal.
一方、低輝度用画素としては、ノイズの影響を最小にするために、全ての画素を用いることが妥当であると考えられる。 On the other hand, it is considered appropriate to use all of the pixels for low luminance in order to minimize the influence of noise.
前記ステップS304において、彩度の高いB領域であると判定された場合は、ステップS308に進んで、映像信号の彩度と色相を得ることができる色情報が計算される。これらには、前述したYuv値のuとv、L*a*b*値のa*とb*、HSC値のSとC等を求めれば良い。 If it is determined in step S304 that the region is a highly saturated region B, the process proceeds to step S308, and color information that can obtain the saturation and hue of the video signal is calculated. For these, the above-described Yuv values u and v, L * a * b * values a * and b *, HSC values S and C, etc. may be obtained.
前記ステップS308における計算の結果、ステップS309で、被写体の色相が青色に近いと判定された場合には、ステップS310に進んで、青色画素をAF演算に用いることにする。また、被写体の色相が赤色に近いと判定された場合には、ステップS312に進んで、赤色画素をAF演算に用いることとにする。更に、青色、赤色のどちらでもない、即ち、中間画素と判定された場合には、ステップS311に進んで、中間画素をAF演算に用いることにする。 As a result of the calculation in step S308, if it is determined in step S309 that the hue of the subject is close to blue, the process proceeds to step S310, and the blue pixel is used for the AF calculation. If it is determined that the hue of the subject is close to red, the process proceeds to step S312 and the red pixel is used for AF calculation. Further, when neither blue nor red, that is, it is determined that the pixel is an intermediate pixel, the process proceeds to step S311 to use the intermediate pixel for AF calculation.
前記ステップS310〜312の処理を終了後は、ステップS313のAF処理へ進む。 After the process of steps S310 to 312 is completed, the process proceeds to the AF process of step S313.
前記ステップS309において中間画素と判定される場合とは、被写体の色相が緑色、或いはマゼンタ色に近い場合、若しくは計算の結果、実際の被写体の彩度が低かった場合等である。 The case where the pixel is determined to be an intermediate pixel in step S309 is a case where the hue of the subject is green or close to magenta, or a case where the saturation of the actual subject is low as a result of calculation.
ここで図2(a)のセンサーでは、青色画素としてBの画素、赤色画素としてRの画素、中間画素としてGの画素を用いれば良い。また、図2(b)のセンサーでは、青色画素としてC(シアン)、或いはM(マゼンタ)、或いはその両方を含む画素、赤色画素としてY(イエロー)、或いはM(マゼンタ)、或いはその両方を含む画素、中間画素としてG(グリーン)、或いはM(マゼンタ)、或いはその両方を含む画素を用いれば良い。 In the sensor of FIG. 2A, a blue pixel may be a B pixel, a red pixel may be an R pixel, and an intermediate pixel may be a G pixel. In the sensor of FIG. 2B, a pixel including C (cyan) and / or M (magenta) as a blue pixel, or both, Y (yellow) or M (magenta) as a red pixel, or both. A pixel including G (green), M (magenta), or both may be used as an intermediate pixel.
このようにしてAF演算に用いる画素が決定された後、ステップS313のAF処理では、ステップS301におけるAE処理で得られた輝度値を元に、状況データを用いた測距のための演算が行われる。 After the pixels used for the AF calculation are determined in this way, in the AF process in step S313, calculation for distance measurement using the situation data is performed based on the luminance value obtained in the AE process in step S301. Is called.
iSAPS部106では、図7に示した状況データに加え、更に図8に示すような輝度値と距離情報に対する過去の撮影によって累積した頻度値の状況データ(iSAPS)が保持されている。このデータは、図1に示すiSAPS部106に接続された記憶装置113に保持されている。
In addition to the situation data shown in FIG. 7, the
ここで、輝度値Xにおける断面図を図9に示す。図9のS0〜S10は、合焦位置を検出するためにサンプリングを採るポイントである。図9において最も頻度の高い距離(距離最高頻度値)Y0と、その周辺で頻度値がある閾値を超える範囲(測距範囲)[Y1,Y2]とがiSAPS部106で求められ、これら距離最高頻度値Y0と測距範囲)[Y1,Y2]は、前記ステップS303において、iSAPS部106からステップS313のAF処理(AF処理部105)に送られる。このAF処理では、[Y1,Y2]をAFスキャン範囲に設定し、測距を行う。図9の例では、S1〜S4をスキャン範囲とする。
Here, a cross-sectional view at the luminance value X is shown in FIG. S0 to S10 in FIG. 9 are sampling points for detecting the in-focus position. In FIG. 9, the most frequent distance (maximum distance frequency value) Y0 and a range (ranging range) [Y1, Y2] where the frequency value around the threshold exceeds a certain threshold (distance measurement range) [Y1, Y2] are obtained by the
前記ステップS313におけるAF処理が終了後は、図4のステップS314へ進んで、測距が無事完了したか否かが判定される。そして、若し測距が無事完了できた場合は、ステップS321の屋内外判定へ進み、また、測距が無事に完了できなかった場合は、前記図3のステップS313において行った測距処理の結果を用いて、図4のステップS315で、合焦すべき位置が[Y1,Y2]より無限(∞)側にあるのか至近側にあるのかが判断される。そして、合焦すべき位置が[Y1,Y2]より無限側にあれば、測距範囲を[Y2,∞]としてステップS316のAF処理で、また、至近側にあれば、測距範囲を[0,Y1]としてステップS317のAF処理で再び測距を行う。 After the AF process in step S313 is completed, the process proceeds to step S314 in FIG. 4 to determine whether or not the distance measurement has been completed successfully. If the distance measurement is successfully completed, the process proceeds to the indoor / outdoor determination in step S321. If the distance measurement is not successfully completed, the distance measurement process performed in step S313 in FIG. 3 is performed. Using the result, it is determined in step S315 in FIG. 4 whether the position to be focused is on the infinite (∞) side or the near side from [Y1, Y2]. Then, if the position to be focused is on the infinite side from [Y1, Y2], the distance measurement range is set to [Y2, ∞], and AF processing in step S316 is performed. 0, Y1], the distance is measured again by the AF process in step S317.
前記ステップS316のAF処理で測距が完了したならステップ318に、また、前記ステップS317のAF処理で測距が完了したならステップS319へそれぞれ進む。 If the distance measurement is completed in the AF process in step S316, the process proceeds to step 318. If the distance measurement is completed in the AF process in step S317, the process proceeds to step S319.
ステップS318及びステップS319では、測距が無事完了したか否かが判定される。そして、若し測距が無事完了できた場合は、いずれもステップS321の屋内外判定へ進み、また、測距が無事に完了できなかった場合は、いずれもステップS320に進み、取得した輝度値Xにおける断面図で最も頻度の高い距離Y0が撮影距離として設定され、その後、ステップS321の屋内外判定処理へ進む。 In step S318 and step S319, it is determined whether or not the distance measurement has been completed successfully. If the distance measurement has been completed successfully, the process proceeds to indoor / outdoor determination in step S321. If the distance measurement has not been completed successfully, the process proceeds to step S320, and the acquired brightness value is obtained. The most frequent distance Y0 in the cross-sectional view at X is set as the shooting distance, and then the process proceeds to the indoor / outdoor determination process in step S321.
ステップS321の屋内外判定処理では、求められた輝度値Xと距離情報Yとから被写体が屋内であるのか屋外であるのかが判定される。一例として、図8に示す状況データ(iSAPS)には、被写体の輝度値がx以下で距離がy以下のとき屋内撮影であると判断し、それ以外の部分を屋外撮影であると判断するデータが入っている。この情報が前記ステップS303においてiSAPS部106からステップS321の屋内外判定処理へ送られた後、図5のステップS322へ進む。
In the indoor / outdoor determination process in step S321, whether the subject is indoor or outdoor is determined from the obtained luminance value X and distance information Y. As an example, in the situation data (iSAPS) shown in FIG. 8, data is determined to be indoor shooting when the luminance value of the subject is less than x and the distance is y or less, and other portions are determined to be outdoor shooting. Is included. After this information is sent from the
図5のステップS322では、前記情報が(X,Y)の値と比較され、屋内撮影であるか否かが判定される。この比較の結果、屋内撮影であると判定された場合は、ステップ323へ、また、屋外撮影であると判定された場合は図6のステップS324へ、それぞれ進む。 In step S322 in FIG. 5, the information is compared with the value of (X, Y), and it is determined whether or not the photographing is indoor. As a result of this comparison, if it is determined that the shooting is indoor, the process proceeds to step 323, and if it is determined that the shooting is outdoor, the process proceeds to step S324 of FIG.
図5のステップS323及び図6のステップS331では、ストロボ発光するか否かが判定され、ストロボ発光する場合は、それぞれ図5のステップS324の屋内プリ発光&本発光量決定処理及び図6のステップS332の屋外プリ発光&本発光量決定処理へ、それぞれ進む。また、ストロボ発光しない場合は、図5のステップS327の屋内AWB処理及び図6のステップS335の屋外AWB処理へ、それぞれ進む。 In step S323 of FIG. 5 and step S331 of FIG. 6, it is determined whether or not strobe light is emitted. If strobe light is emitted, the indoor pre-light emission & main light emission amount determination processing in step S324 of FIG. 5 and the step of FIG. The process proceeds to the outdoor pre-light emission & main light emission amount determination processing in S332. If the flash is not emitted, the process proceeds to the indoor AWB process in step S327 in FIG. 5 and the outdoor AWB process in step S335 in FIG.
図5のステップS324の屋内プリ発光&本発光量決定処理及び図6のステップS332の屋外プリ発光&本発光量決定処理では、まず、屋外と屋内の違いに応じて本露光時の発光量を設定するためのテスト発光量が決定される。このテスト発光量は、屋内では少なめで、屋外では多く発光するように設定されている。このテスト発光にシンクロして測光して得た輝度値とテスト発光前の測光で得た外光輝度値とを用いた演算処理が行われ、本発光量が決定される。 In the indoor pre-flash & main flash amount determination process in step S324 in FIG. 5 and the outdoor pre-flash & main flash amount determination process in step S332 in FIG. 6, first, the flash amount at the main exposure is determined according to the difference between outdoor and indoor. A test light emission amount for setting is determined. This test light emission amount is set so that it is small indoors and emits much outdoors. A calculation process using the luminance value obtained by measuring the light by synchronizing with the test light emission and the external light luminance value obtained by the photometry before the test light emission is performed to determine the main light emission amount.
本発光量が決定された後、図5のステップS325では、テスト発光時に行った屋内撮影であるとの予測が本当に正しかったのか否かが、また、図6のステップS333では、テスト発光時に行った屋外撮影であるとの予測が本当に正しかったのか否かが、それぞれ判定される。これは、例えば、テスト発光時に予測した発光量と本発光量との誤差で判定される。その判定の結果、屋内撮影である、或いは屋外撮影であると判定したことが正しい場合は、図5のステップS327の屋内AWB処理及び図6のステップS335の屋外AWB処理へ、それぞれ進む。 After the main light emission amount is determined, in step S325 of FIG. 5, it is determined whether or not the prediction that the indoor shooting was performed at the time of test light emission was really correct. In step S333 of FIG. Whether or not the prediction of outdoor shooting is really correct is determined. This is determined by, for example, an error between the light emission amount predicted during the test light emission and the main light emission amount. As a result of the determination, if it is determined that the shooting is indoor shooting or outdoor shooting, the process proceeds to the indoor AWB process in step S327 in FIG. 5 and the outdoor AWB process in step S335 in FIG.
また、前記図5のステップS325、或いは前記図6のステップS333において判定したことが正しくない場合は、図5のステップS326、或いは図6のステップS334へ、それぞれ進む。ここでは、屋内撮影、或いは屋外撮影と判定したことが正しくなかったことの程度を表す数値が誤差量として採取される。例えば、上記のようにテスト発光時に予測した発光量と本発光量との誤差量である。この数値は、iSAPS部106の屋内外判定データを更新する必要がある場合に用いることができる。
If it is not correct in step S325 in FIG. 5 or step S333 in FIG. 6, the process proceeds to step S326 in FIG. 5 or step S334 in FIG. Here, a numerical value indicating the degree to which it is not correctly determined that the shooting is indoor shooting or outdoor shooting is collected as the error amount. For example, it is an error amount between the light emission amount predicted during the test light emission and the main light emission amount as described above. This numerical value can be used when the indoor / outdoor determination data of the
図5のステップS326では、本来屋外撮影であるべきと判定されたことにより、図6のステップS335の屋外AWB処理へ進む。また、図6のステップS334では、本来屋内撮影であるべきと判定されたことにより、図5のステップS327の屋内AWB処理へ、それぞれ進む。 In step S326 in FIG. 5, when it is determined that the outdoor photographing should be originally performed, the process proceeds to the outdoor AWB process in step S335 in FIG. Further, in step S334 in FIG. 6, since it is determined that the shooting should be performed indoors, the process proceeds to the indoor AWB process in step S327 in FIG.
図5のステップS327の屋内AWB処理及び図6のステップS335の屋外AWB処理では、屋外撮影か屋内撮影かに対応した白検出範囲が選択され、適切なホワイトバランスの調整が行われる。屋外用白検出範囲の特徴としては、芝生や空の色に引っ張られないような範囲を設定し、屋内用白検出範囲の特徴としては、蛍光灯の色を追従する範囲を設定する。具体的な白検出範囲の設定の処理については、以下に述べる。 In the indoor AWB process in step S327 in FIG. 5 and the outdoor AWB process in step S335 in FIG. 6, a white detection range corresponding to outdoor shooting or indoor shooting is selected, and appropriate white balance adjustment is performed. As a feature of the outdoor white detection range, a range that is not pulled by the lawn or sky color is set, and as a feature of the indoor white detection range, a range that follows the color of the fluorescent lamp is set. Specific processing for setting the white detection range will be described below.
図10は、室内及び室外の白検出範囲の一例を示す図である。本実施の形態では、図2(a)に示す原色フィルタを使用した撮像素子を例に挙げて説明する。図2(b)に示す補色フィルタを使用した撮像素子も、RGB値をマトリクス演算等により求めることで、同様の処理を行うことができる。 FIG. 10 is a diagram illustrating an example of white detection ranges in and outside the room. In the present embodiment, an image sensor using the primary color filter shown in FIG. 2A will be described as an example. The image sensor using the complementary color filter shown in FIG. 2B can perform the same processing by obtaining RGB values by matrix calculation or the like.
白検出範囲は、高色温度から低色温度まで任意のステップで、白色を撮影した撮像素子の出力値から、
Cx= (R-B)/Y
Cy= (R+B-2G)/Y
Y= (R+G+B)/2 (1)
を計算し、2次元軸にプロットしたものである(図10参照)。図10において、横軸は光源の色温度に対応し、縦軸は緑方向補正量に対応している。
The white detection range is an arbitrary step from high color temperature to low color temperature.
Cx = (RB) / Y
Cy = (R + B-2G) / Y
Y = (R + G + B) / 2 (1)
Is plotted on a two-dimensional axis (see FIG. 10). In FIG. 10, the horizontal axis corresponds to the color temperature of the light source, and the vertical axis corresponds to the green direction correction amount.
以上の検出軸を用いて、本実施の形態におけるホワイトバランス検出手段の動作を説明する。 The operation of the white balance detection means in the present embodiment will be described using the above detection axis.
まず、図1の固体撮像素子102からの入力信号は、図2(a)の画素を図11に示すようなブロックに分割し、各ブロック毎に白評価値(Cx,Cy)を計算し、図10の白検出範囲に入るか否かを判定する。
First, the input signal from the solid-
ここで、状況データ(iSAPS)により屋内撮影であると判断すれば、図10における(b)の室外用白検出範囲にて、また、屋外撮影であると判断すれば、図10における(c)の室内用白検出範囲にて、範囲内に含まれるブロックの各色フィルタの出力値の積分値及び総サンプル数を算出する。 Here, if it is determined that the image is taken indoors from the situation data (iSAPS), it is determined in the outdoor white detection range of (b) in FIG. 10 and when it is determined that the image is taken outdoors, (c) in FIG. The integrated value and the total number of samples of the output value of each color filter of the block included in the indoor white detection range are calculated.
SumRw= ΣR(i)
SumGw= ΣG(i)
SumBw= ΣB(i)
SampleWNum= ΣSample(i) (2)
更に、上記積分値からホワイトバランス係数を算出する。
SumRw = ΣR (i)
SumGw = ΣG (i)
SumBw = ΣB (i)
SampleWNum = ΣSample (i) (2)
Further, a white balance coefficient is calculated from the integrated value.
WBr=1/(SumRw/SampleWNum)
WBg=1/(SumGw/SampleWNum)
WBb=1/(SumBw/SampleWNum) (3)
これにより、図5のステップS327における屋内AWB処理、或いは図6のステップS335における屋外AWB処理にて適切なホワイトバランスの調整が可能となる。
WBr = 1 / (SumRw / SampleWNum)
WBg = 1 / (SumGw / SampleWNum)
WBb = 1 / (SumBw / SampleWNum) (3)
Accordingly, it is possible to adjust white balance appropriately in the indoor AWB process in step S327 in FIG. 5 or the outdoor AWB process in step S335 in FIG.
次に、図5のステップS328で屋内撮影であると、また、図6のステップS336で屋外撮影であると予測したことが本当に正しかったのかが、前記図5のステップS327、或いは図6のステップS335の処理結果から判定される。これは、例えば、上記(1)式に示す(Cx,Cy)の値の図10に示すグラフ上の分布や、上記(3)式で求めたホワイトバランス係数で判定される。その判定の結果、屋内撮影、或いは屋外撮影であると判定したことが正しい場合は、図5のステップS330で撮影画像処理が行われ、適正な出力画像信号が作成される。また、前記判定の結果、屋内撮影、或いは屋外撮影であると判定したことが正しくない場合は、図5のステップS329、或いは図6のステップS337へ進む。 Next, whether or not the indoor shooting was performed in step S328 in FIG. 5 and that the outdoor shooting was predicted in step S336 in FIG. 6 was actually correct in step S327 in FIG. 5 or in FIG. It is determined from the processing result of S335. This is determined by, for example, the distribution of the value of (Cx, Cy) shown in the above equation (1) on the graph shown in FIG. 10 or the white balance coefficient obtained by the above equation (3). As a result of the determination, if it is determined that the shooting is indoor shooting or outdoor shooting, the shot image processing is performed in step S330 in FIG. 5, and an appropriate output image signal is created. If the result of the determination is that it is not correct that the shooting is indoor shooting or outdoor shooting, the process proceeds to step S329 in FIG. 5 or step S337 in FIG.
ここでは、屋内撮影、或いは屋外撮影であると判定したことが正しくなかったことの程度を表す数値が誤差量として採取される。例えば、上記のように(1)式に示す(Cx,Cy)の値の図10に示すグラフ上での分散値や、図10のグラフを複数のブロックに区切って、各ブロックでの分布数を求め、ある閾値を超えるブロックの面積を求めても良く、更に、これらと上記(3)式から求めたホワイトバランス係数を用いた独自の関数を用いても良い。この数値は、前記図5のステップS326、或いは図6のステップS334において求めた数値と同様、iSAPS部106の屋内外判定データを更新する必要がある場合に用いる。
Here, a numerical value indicating the degree of failure to determine that the shooting is indoor shooting or outdoor shooting is collected as the error amount. For example, as described above, the variance value on the graph shown in FIG. 10 of the value of (Cx, Cy) shown in Equation (1) or the distribution number in each block by dividing the graph of FIG. 10 into a plurality of blocks. The area of the block exceeding a certain threshold value may be obtained, and a unique function using these and the white balance coefficient obtained from the above equation (3) may be used. This numerical value is used when the indoor / outdoor determination data of the
前記図5のステップS329、或いは図6のステップS337の処理を行った後、図5のステップS撮影画像処理が行われ、適正な出力画像信号が作成される。 After performing the process of step S329 of FIG. 5 or step S337 of FIG. 6, the captured image process of step S of FIG. 5 is performed to generate an appropriate output image signal.
以上が本実施の形態に係る撮像装置の動作である。 The above is the operation of the imaging device according to the present embodiment.
なお、前述の説明では、iSAPS部106に設けられた記憶部113に、過去の撮影によって累積したデータを状況データ(iSAPS)として記憶するものであったが、これを撮影毎に学習させる機能を設けても良い。これにより、撮影者毎に異なる撮影状況を状況データ(iSAPS)に反映させ、その撮影者にとって使い易い撮像装置を提供することができる。
In the above description, data accumulated by past shooting is stored as status data (iSAPS) in the
以上のように、本実施の形態に係る撮像装置によれば、過去の撮影によって累積した状況データ(iSAPS)を用いることにより、写体輝度と被写体彩度との組み合わせに応じて撮像素子中の最適な画素を選択することで、被写体の持つ最適な測距方法を行うことができる。 As described above, according to the imaging apparatus according to the present embodiment, by using the situation data (iSAPS) accumulated in the past shooting, the imaging element in the imaging device according to the combination of the body luminance and the subject saturation. By selecting the optimum pixel, the optimum distance measuring method possessed by the subject can be performed.
また、iSAPS部106を撮像装置に組み込むことにより、条件設定作業の繁雑さを取り除き、撮影者の使い易さの向上を図ることができる。これにより、AFにおいては、従来は、0〜∞の距離を測定して焦点距離を決定していたため、AFに長い時間がかかっていたものを、本実施の形態に係る撮像装置によれば、状況データ(iSAPS)により測定距離を制限することで、AFにかかる時間の短縮を図ることができると共に、被写体の持つ色彩に最適な測距方法を行うことで、測距精度の向上を図ることができる。
Further, by incorporating the
また、EFにおいては、状況データ(iSAPS)により本発光時の発光量を設定するためのテスト発光時の発光量を決定することによって、適切な発光量を得ることができる。 In EF, an appropriate light emission amount can be obtained by determining the light emission amount during test light emission for setting the light emission amount during main light emission based on the situation data (iSAPS).
更に、状況データ(iSAPS)によりホワイトバランス処理の白検出範囲を自動変更することにより、従来法よりも画質の向上を図ることができる。 Furthermore, by automatically changing the white detection range of the white balance processing based on the situation data (iSAPS), the image quality can be improved as compared with the conventional method.
また、本実施の形態に係る撮像装置の処理を行うことにより、iSAPS部106を撮像装置に組み込み、これに学習機能を付加することができ、撮影者に対応した使い易い撮像装置を得ることができると共に、合焦位置検出の速度・精度を共に向上させることができる。
In addition, by performing the processing of the imaging apparatus according to the present embodiment, the
以上が本発明の実施形態の説明であるが、本発明は、この実施形態に限られるものではなく、特許請求の範囲で示した機能、または実施形態の構成が持つ機能を達成できる構成であれば、どのようなものであっても適用可能である。 The above is the description of the embodiment of the present invention. However, the present invention is not limited to this embodiment, and may be a configuration capable of achieving the functions shown in the claims or the functions of the configuration of the embodiments. Anything is applicable.
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体及びプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and store the computer (or CPU, MPU, etc.) of the system or apparatus. Needless to say, this can also be achieved by reading and executing the program code stored in the medium. In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. it can.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
101 撮像部
102 固体撮像素子(撮像素子)
103 A/D変換部
104 AE処理部
105 AF処理部(合焦位置検出手段)
106 iSAPS部
107 EF処理部
108 WB処理部
109 ストロボ
110 画像処理部
111 フォーマット変換部
112 画像記録部
113 記憶部
114 色情報検出部
101
103 A /
106
Claims (20)
前記合焦位置検出工程は、被写体輝度と被写体彩度との組合せに応じて前記撮像素子のうちの一つまたは複数の種類の画素を選択し、該選択された画素を用いて合焦位置の検出を行うことを特徴とする撮像方法。 In an imaging method including an in-focus position detecting step of detecting an in-focus position of a subject from an output signal of an image sensor,
The in-focus position detection step selects one or a plurality of types of pixels of the image sensor according to a combination of subject luminance and subject saturation, and uses the selected pixels to determine the in-focus position. An imaging method characterized by performing detection.
前記露光検出工程による露光検出結果に基づいて合焦位置検出処理方法を決定する合焦位置検出処理方法決定工程と
を有することを特徴とする請求項1に記載の撮像方法。 An exposure detection step for performing exposure detection prior to focus position detection by the focus position detection step;
The imaging method according to claim 1, further comprising: a focus position detection processing method determination step that determines a focus position detection processing method based on an exposure detection result obtained by the exposure detection step.
前記被写体輝度と被写体彩度との組合せは、前記状況データの一部として前記記憶手段に記憶されていることを特徴とする請求項1または2に記載の撮像方法。 A storage step of storing in the storage means the status data accumulated by past shooting;
The imaging method according to claim 1 or 2, wherein the combination of the subject luminance and the subject saturation is stored in the storage unit as a part of the situation data.
前記判断工程の判断結果に基づいてホワイトバランス処理の白検出範囲を変更する白検出範囲変更工程と
を有することを特徴とする請求項3乃至7のいずれかに記載の撮像方法。 A determination step of determining whether the vehicle is outdoor or indoor based on the situation data;
The imaging method according to claim 3, further comprising: a white detection range changing step of changing a white detection range of white balance processing based on a determination result of the determination step.
前記合焦位置検出手段は、被写体輝度と被写体彩度との組合せに応じて、前記撮像素子のうちの一つまたは複数の種類の画素を選択し、該選択された画素を用いて合焦位置の検出を行うことを特徴とする撮像装置。 In an imaging apparatus having an in-focus position detecting means for detecting an in-focus position of an object from an output signal of an image sensor,
The focus position detection unit selects one or more types of pixels of the image sensor according to a combination of subject brightness and subject saturation, and uses the selected pixels to focus position. An imaging apparatus characterized by performing detection.
前記露出検出手段の露光検出結果から合焦位置検出処理方法を決定する合焦位置検出処理方法決定手段と
を有することを特徴とする請求項10に記載の撮像装置。 Exposure detection means for performing exposure detection prior to focus position detection by the focus position detection means;
The imaging apparatus according to claim 10, further comprising: a focus position detection processing method determination unit that determines a focus position detection processing method from an exposure detection result of the exposure detection unit.
前記判断手段の判断結果に基づいてホワイトバランス処理の白検出範囲を変更する白検出範囲変更手段と
を有することを特徴とする請求項12乃至16のいずれかに記載の撮像装置。 Judging means for judging whether the outdoor or indoor based on the situation data;
The imaging apparatus according to claim 12, further comprising: a white detection range changing unit that changes a white detection range of white balance processing based on a determination result of the determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003309244A JP2005080011A (en) | 2003-09-01 | 2003-09-01 | Imaging method, imaging apparatus, program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003309244A JP2005080011A (en) | 2003-09-01 | 2003-09-01 | Imaging method, imaging apparatus, program, and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005080011A true JP2005080011A (en) | 2005-03-24 |
Family
ID=34411467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003309244A Withdrawn JP2005080011A (en) | 2003-09-01 | 2003-09-01 | Imaging method, imaging apparatus, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005080011A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008277899A (en) * | 2007-04-25 | 2008-11-13 | Nikon Corp | White balance adjustment device, imaging device, and white balance adjustment program |
| JP2013122605A (en) * | 2008-02-13 | 2013-06-20 | Qualcomm Inc | Auto-focus calibration for image capture device |
| JP2014123902A (en) * | 2012-12-21 | 2014-07-03 | Canon Inc | Imaging apparatus and imaging apparatus control method |
| JP2017034679A (en) * | 2016-08-29 | 2017-02-09 | 株式会社ニコン | Imaging apparatus, imaging method, and program |
| JP2018170775A (en) * | 2018-06-13 | 2018-11-01 | 株式会社ニコン | Imaging apparatus, imaging method and program |
| JP2020528703A (en) * | 2017-10-30 | 2020-09-24 | オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. | White balance processing methods, electronic devices, and computer-readable storage media |
-
2003
- 2003-09-01 JP JP2003309244A patent/JP2005080011A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008277899A (en) * | 2007-04-25 | 2008-11-13 | Nikon Corp | White balance adjustment device, imaging device, and white balance adjustment program |
| JP2013122605A (en) * | 2008-02-13 | 2013-06-20 | Qualcomm Inc | Auto-focus calibration for image capture device |
| JP2014123902A (en) * | 2012-12-21 | 2014-07-03 | Canon Inc | Imaging apparatus and imaging apparatus control method |
| JP2017034679A (en) * | 2016-08-29 | 2017-02-09 | 株式会社ニコン | Imaging apparatus, imaging method, and program |
| JP2020528703A (en) * | 2017-10-30 | 2020-09-24 | オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. | White balance processing methods, electronic devices, and computer-readable storage media |
| JP2018170775A (en) * | 2018-06-13 | 2018-11-01 | 株式会社ニコン | Imaging apparatus, imaging method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7110032B2 (en) | Setting control of bracketing image sensing operation in image sensing apparatus | |
| JP2007019973A (en) | Imaging device and imaging method | |
| KR20120114177A (en) | Image processing device capable of generating wide-range image | |
| JP4265029B2 (en) | Image capturing device and interchangeable lens | |
| JP5272699B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
| JP5087936B2 (en) | camera | |
| US6657668B1 (en) | Method, system, and computer readable medium for controlling automatic focusing of a digital camera | |
| JP5100410B2 (en) | Imaging apparatus and control method thereof | |
| US20060008264A1 (en) | Image taking apparatus | |
| US20090027514A1 (en) | Image pickup apparatus and method | |
| JP2004347665A (en) | Automatic focusing device | |
| JP2010193002A (en) | Imaging apparatus, image processing method and program | |
| US7710492B2 (en) | Imaging device and imaging method for performing automatic focus detection | |
| JP2008070611A (en) | Imaging apparatus, exposure condition adjusting method and program | |
| JP2012194487A (en) | Imaging device, imaging method and program | |
| JP5042453B2 (en) | Strobe control device, strobe control program, strobe control method | |
| JP2021182673A (en) | Image processing device, image processing method, and program | |
| JP2005080011A (en) | Imaging method, imaging apparatus, program, and storage medium | |
| JP2008092440A (en) | Camera and image processing program | |
| JP2003283922A (en) | Electronic camera | |
| JP5045538B2 (en) | Imaging apparatus and program | |
| JP2005250401A (en) | Method for detecting focal distance and focusing device | |
| US8373766B2 (en) | Image shooting device and image shooting method | |
| US7456870B2 (en) | Image sensing apparatus, image sensing method, program for realizing the image sensing method, and storage medium which stores the program | |
| JP3275873B2 (en) | 3D information input camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060417 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061107 |