JP2005269130A - Imaging device with camera shake correcting function - Google Patents
Imaging device with camera shake correcting function Download PDFInfo
- Publication number
- JP2005269130A JP2005269130A JP2004077442A JP2004077442A JP2005269130A JP 2005269130 A JP2005269130 A JP 2005269130A JP 2004077442 A JP2004077442 A JP 2004077442A JP 2004077442 A JP2004077442 A JP 2004077442A JP 2005269130 A JP2005269130 A JP 2005269130A
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- shading correction
- shading
- image
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 238000003705 background correction Methods 0.000 claims abstract description 123
- 238000012937 correction Methods 0.000 claims abstract description 92
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 24
- 238000005070 sampling Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルカメラ等の撮像装置に関するものであり、特に手振れ補正機能を有する撮像装置に関する。 The present invention relates to an imaging apparatus such as a digital camera, and more particularly to an imaging apparatus having a camera shake correction function.
デジタルカメラにより取得された画像データの周辺部における光量は、中心部の光量に比べて低下する。この現象はシェーディング(周辺光量落ち)と呼ばれ、レンズの大きさを小さくするほどその影響が大きくなる。 The amount of light at the periphery of image data acquired by a digital camera is lower than the amount of light at the center. This phenomenon is called shading (peripheral light intensity drop), and the effect increases as the lens size is reduced.
シェーディングは、取得された画像データの品質を低下させることとなるため、従来よりシェーディングの補正を行う技術が提案されている。このシェーディングは、デジタルカメラが有する撮像素子である撮像素子、あるいは、前記撮像素子に光を導いて前記撮像素子上に像を形成する光学系を含む撮像手段である撮影レンズ、の特性に起因して発生する。従ってデジタルカメラは、当該デジタルカメラに含まれる撮像素子及び撮影レンズの下での画素ごとの光量低下率を予め測定して記憶しておき、得られた画像データを前記の画素ごとの光量低下率に基づいて補正することで、シェーディング補正の施された画像データを取得できる。 Since shading degrades the quality of acquired image data, a technique for correcting shading has been proposed. This shading is caused by the characteristics of an image pickup element that is an image pickup element of a digital camera or a photographing lens that is an image pickup means including an optical system that guides light to the image pickup element to form an image on the image pickup element. Occur. Therefore, the digital camera measures and stores the light amount reduction rate for each pixel under the image sensor and the photographing lens included in the digital camera in advance, and stores the obtained image data for the light amount reduction rate for each pixel. By correcting based on this, it is possible to acquire image data that has undergone shading correction.
ところが、上記のシェーディング補正方法によりシェーディングを補正するデジタルカメラは、画素ごとの光量低下率を固定的に用いることでシェーディング補正を行っているため、シェーディング分布が撮影に応じて変化する場合にはシェーディング補正が適切に行えないという課題を有していた。 However, a digital camera that corrects shading using the above-described shading correction method performs shading correction by using a fixed light amount reduction rate for each pixel, and therefore shading is performed when the shading distribution changes according to shooting. There was a problem that correction could not be performed properly.
例えば、撮像素子の一画素ごとに小さなレンズを付け、多くの光を集められるようにしたオンチップレンズ採用の撮像装置においては、レンズの絞りの変化により光の入射角が変化するため、この光の入射角の変化の影響を受けてシェーディング分布が変化する。このような撮像装置においては、従来のシェーディング補正方法では適切なシェーディング補正が行えないため、特開平5−83622では、当該レンズの絞りに応じたシェーディング補正が可能なように、絞りに追従した信号をROMのアドレス指定に変換するアドレス発生回路と、シェーディング補正量を出力するROMと、前記シェーディング補正量によりシェーディング補正信号を変化できるシェーディング補正信号発生回路とを設けた撮像装置を提案している。特開平5−83622で提案された撮像装置により、レンズの絞りが変化すると、絞りに追従した信号に応じて予め前記ROMに書き込まれているシェーディング補正量のアドレスを指定し、指定されたアドレスから前記ROMがシェーディング補正量を読み取ることで、必要なシェーディング補正量を得ることができる。 For example, in an imaging device using an on-chip lens in which a small lens is attached to each pixel of the imaging device so that a large amount of light can be collected, the incident angle of the light changes due to the change in the aperture of the lens. The shading distribution changes under the influence of the change in the incident angle. In such an imaging apparatus, since the conventional shading correction method cannot perform appropriate shading correction, Japanese Patent Laid-Open No. 5-83622 discloses a signal that follows the aperture so that shading correction can be performed according to the aperture of the lens. Proposed is an imaging device provided with an address generation circuit that converts the address into ROM addressing, a ROM that outputs a shading correction amount, and a shading correction signal generation circuit that can change a shading correction signal according to the shading correction amount. When the lens aperture is changed by the imaging apparatus proposed in Japanese Patent Laid-Open No. 5-83622, the address of the shading correction amount written in the ROM in advance is specified according to the signal following the aperture, and from the specified address When the ROM reads the shading correction amount, a necessary shading correction amount can be obtained.
一方で、最近のデジタルカメラには、撮影時の手振れに起因する像の移動を補正する手振れ補正機能を搭載したものがある。例えば、イメージセンサスイング方式による手振れ補正機能を搭載したデジタルカメラは、当該デジタルカメラの有する撮像素子を光軸に対して垂直な方向に移動させることが可能であり、当該デジタルカメラの有する手振れ補正ユニットに含まれる手振れ検出部が検出した手振れ量に応じて、前記手振れ補正ユニットにて算出された目標位置に撮像素子を移動させることで手振れ補正を行っている
ここで、手振れ補正機能を搭載したデジタルカメラにおけるシェーディングについて検討する。露光時間中に手振れ補正機能が作用することで、撮像素子が移動すると、撮像素子面上のシェーディング分布が時々刻々と変化する。従来のシェーディング補正技術は、このような時々刻々と変化するシェーディング分布に対応していないため、従来のシェーディング補正方法によりシェーディングを補正するデジタルカメラは、手振れ補正に伴うシェーディング分布の変化に対応できず、シェーディングの影響を補正しきれない、という課題を有していた。 Here, we consider shading in a digital camera equipped with a camera shake correction function. When the image sensor moves due to the camera shake correction function during the exposure time, the shading distribution on the image sensor surface changes from moment to moment. Since conventional shading correction technology does not support such a shading distribution that changes every moment, a digital camera that corrects shading using the conventional shading correction method cannot cope with changes in shading distribution caused by camera shake correction. The problem was that the influence of shading could not be corrected.
本発明は、上記課題を解決するため、手振れ補正に伴って変化するシェーディング分布に対応して、的確にシェーディング補正をすることが可能な撮像装置を提供することを目的とする。 In order to solve the above-described problems, an object of the present invention is to provide an imaging apparatus capable of accurately performing shading correction in accordance with a shading distribution that varies with camera shake correction.
上記目的を達成すべく本発明では、撮像素子と、前記撮像素子に光を導いて前記撮像素子上に像を形成する光学系を含む撮像手段と、手振れに起因する前記撮像素子上での像の移動を補正する手振れ補正手段と、前記撮像素子上での異なる部位間での像の明るさの斑を補正するシェーディング補正手段と、を有する撮像装置において、前記シェーディング補正手段が有するシェーディング補正量決定部は、前記手振れ補正手段から手振れの補正に関する情報を得て、その情報に従いシェーディング補正量を決定し、前記シェーディング補正量決定部が決定したシェーディング補正量に従って、前記シェーディング補正手段がシェーディングを補正する構成としている。このような構成とすることにより、時々刻々と変化する手振れに対して施される手振れ補正に伴って変化するシェーディング分布に対応したシェーディング補正が可能となる。 In order to achieve the above object, according to the present invention, an image pickup device, an image pickup unit including an optical system that guides light to the image pickup device to form an image on the image pickup device, and an image on the image pickup device due to camera shake. In an imaging apparatus having a camera shake correction unit that corrects movement of the image and a shading correction unit that corrects unevenness in image brightness between different parts on the imaging device, the shading correction amount included in the shading correction unit The determination unit obtains information related to camera shake correction from the camera shake correction unit, determines a shading correction amount according to the information, and the shading correction unit corrects shading according to the shading correction amount determined by the shading correction amount determination unit. It is configured to do. By adopting such a configuration, it is possible to perform shading correction corresponding to a shading distribution that changes in accordance with camera shake correction applied to camera shake that changes from moment to moment.
ここで前記手振れ補正手段は、前記光学系の光軸に対して垂直な方向に撮像素子を動かすことにより手振れ補正を行うものとすることができる。この場合、前記手振れ補正手段から得る手振れの補正に関する情報は、少なくとも撮像素子の位置情報を含むようにする。 Here, the camera shake correction means may perform camera shake correction by moving the image sensor in a direction perpendicular to the optical axis of the optical system. In this case, the information related to the correction of camera shake obtained from the camera shake correction unit includes at least the position information of the image sensor.
また前記手振れ補正手段は、前記光学系の光軸に対して垂直な方向に光学素子を動かすことにより手振れ補正を行うものとすることもできる。この場合、前記手振れ補正手段から得る手振れの補正に関する情報は、少なくとも光学素子の位置情報を含むようにする。 The camera shake correction means may perform camera shake correction by moving the optical element in a direction perpendicular to the optical axis of the optical system. In this case, the information related to the correction of the camera shake obtained from the camera shake correction unit includes at least the position information of the optical element.
また撮像素子を移動させて手振れ補正を行う構成では、撮像時間中の撮像素子の移動軌跡により前記シェーディング補正量決定部がシェーディング補正量を決定するようにするとよい。 In the configuration in which the image sensor is moved to perform camera shake correction, the shading correction amount determination unit may determine the shading correction amount based on the movement locus of the image sensor during the imaging time.
また光学素子を移動させて手振れ補正を行う構成では、撮像時間中の光学素子の移動軌跡により前記シェーディング補正量決定部がシェーディング補正量を決定するようにするとよい。 In the configuration in which the optical element is moved to perform the camera shake correction, the shading correction amount determination unit may determine the shading correction amount based on the movement locus of the optical element during the imaging time.
なお、移動軌跡を所定時間毎にサンプリングして、サンプリングした瞬間の移動量を求め、サンプリングごとに求めた前記移動量を積算することにより、当該移動量の積算値に基づいて前記シェーディング補正量を求めるものとしても構わない。 The movement trajectory is sampled every predetermined time, the movement amount at the sampled moment is obtained, and the movement amount obtained for each sampling is integrated, so that the shading correction amount is calculated based on the integrated value of the movement amount. It does not matter as what you want.
さらに上記撮像装置は、前記シェーディング補正量決定部に対して、シェーディング補正量を決定するための演算量を指示する演算量指示手段を有するものとしてもよい。たとえば上記のように移動軌跡のサンプリングを行い、サンプリングされた瞬間の移動値に基づいて必要なシェーディング補正量を得る場合、前記サンプリングした瞬間の移動量よりシェーディング補正量を求めるための算出に係る演算量を指示することができるとする。またサンプリング数についても同様に指示することができるとしても構わない。このような構成にすることで、前記撮像装置から得られる画像データの品質や、前記撮像装置が行うシェーディング補正に係る時間を指示することが可能となる。 Furthermore, the imaging apparatus may include a calculation amount instruction unit that instructs the calculation amount for determining the shading correction amount to the shading correction amount determination unit. For example, when the movement trajectory is sampled as described above and a necessary shading correction amount is obtained based on the sampled movement value, the calculation related to the calculation for obtaining the shading correction amount from the sampled movement amount. Suppose that the amount can be indicated. Also, the number of samplings may be instructed in the same way. With such a configuration, it is possible to instruct the quality of image data obtained from the imaging device and the time for shading correction performed by the imaging device.
なお、前記シェーディング補正に係る演算量の指定は、前記サンプリングの方法を変化させることで、あるいは前記サンプリングにより得た素子(ここでいう素子とは、撮像素子の移動により手振れ補正を行う撮像装置においては撮像素子を意味し、光学素子の移動により手振れ補正を行う撮像装置においては光学素子を意味している。)の位置情報から必要なシェーディング補正量を算出する方法を変化させることで、行うとしてもよい。 The calculation amount related to the shading correction can be specified by changing the sampling method or by the element obtained by the sampling (the element here is an imaging apparatus that performs camera shake correction by moving the imaging element). Means an imaging element, and in an imaging apparatus that performs camera shake correction by movement of an optical element, it means an optical element.) By changing the method for calculating the required shading correction amount from the positional information, Also good.
例えば露光時間より短いサンプリング時間によって素子の軌跡をサンプリングし、サンプリングされた当該素子の各位置に応じたシェーディング補正値より、当該画像データが必要なシェーディング補正量を算出するという方法によりシェーディング補正を行うものとすることができる。また、サンプリング数を少なくすることで、前記サンプリングされた当該素子の各位置情報について、その位置情報の平均値を当該素子の位置情報と見なし、平均値により求めた位置情報におけるシェーディング補正量をもって、当該画像データが必要なシェーディング補正量を算出するという方法によりシェーディング補正を行うものとすることもできる。 For example, the element trajectory is sampled with a sampling time shorter than the exposure time, and the shading correction is performed by calculating the shading correction amount necessary for the image data from the shading correction value corresponding to each position of the sampled element. Can be. Further, by reducing the number of samplings, regarding each sampled position information of the element, the average value of the position information is regarded as the position information of the element, and with the shading correction amount in the position information obtained by the average value, It is also possible to perform shading correction by a method of calculating a shading correction amount necessary for the image data.
サンプリングされた位置情報の平均値からシェーディング補正量を求める方法を用いることで、シェーディング補正に係る演算量を少なくすることが可能となる。なお、サンプリング数は1点としてもよく、この場合はサンプリングされた位置情報におけるシェーディング補正量が、当該画像データに対して必要なシェーディング補正量に該当する。 By using the method of obtaining the shading correction amount from the average value of the sampled position information, it is possible to reduce the calculation amount related to the shading correction. Note that the sampling number may be one point, and in this case, the shading correction amount in the sampled position information corresponds to the shading correction amount necessary for the image data.
本発明による撮像装置によれば、手振れ補正に伴い変化するシェーディング分布に対応したシェーディング補正を行うことができ、手振れ補正時においてもシェーディングによる画質の低下を防ぐことが可能となる。 According to the image pickup apparatus of the present invention, it is possible to perform shading correction corresponding to a shading distribution that changes along with camera shake correction, and it is possible to prevent deterioration in image quality due to shading even during camera shake correction.
また前記撮像装置が、光学素子の移動または撮像素子の移動のいずれの方法によって手振れ補正を行う場合においても、前記撮像装置が素子の位置情報を含む手振れ補正情報を持ち、素子の移動軌跡に応じたシェーディング補正量を決定することで、容易に適切な補正を行うことが可能となる。 In addition, even when the imaging apparatus performs camera shake correction by either the movement of the optical element or the movement of the imaging element, the imaging apparatus has the camera shake correction information including the position information of the element and corresponds to the movement locus of the element. By determining the shading correction amount, it is possible to easily perform appropriate correction.
さらに、前記撮像装置がシェーディング補正量を決定するための補正演算量を指示できる指示手段を有することで、前記撮像装置から得られる画像データの品質や、前記撮像装置が行うシェーディング補正に係る時間を指示することが可能となる。 Furthermore, since the imaging apparatus has an instruction unit that can instruct a correction calculation amount for determining a shading correction amount, the quality of image data obtained from the imaging apparatus and the time required for the shading correction performed by the imaging apparatus can be reduced. It becomes possible to instruct.
<1.デジタルカメラの構成> 図1、図2、および図3は、本発明の実施形態に係るデジタルカメラ1の外観図であり、図1は正面図、図2は背面図、図3は上面図である。
<1. Configuration of Digital Camera> FIGS. 1, 2, and 3 are external views of a
図1に示すように、デジタルカメラ1は正面に撮影レンズ3を有し、また上面には画像データの取得開始指示を受け付けるシャッターレリーズボタン2を設けている。また、図2に示すように、デジタルカメラ1は背面に電子ビューファインダー4と、LCDモニター6とを有し、ユーザーは電子画像によりプレビュー画像および再生画像を確認できる。その際、表示画像の選択については、電子ファインダー切り替えスイッチ5により、ユーザーが任意に設定可能である。また、再生コマ送りスイッチおよびズームスイッチ7は、ズーム操作および再生時のコマ送り操作を行うためのスイッチである。
As shown in FIG. 1, the
図3に示すように、デジタルカメラ1は上面に動作モード切り換えスイッチ8を有しており、ユーザーが当該切り換えスイッチ8を押下することで、デジタルカメラ1のモードを、撮影モードと再生モードとの間において切り替えることが可能である。また、ユーザーが手振れ補正起動スイッチ9を操作することで、デジタルカメラ1は手振れ補正を行う。
As shown in FIG. 3, the
手振れ補正時のシェーディング補正量決定スイッチ10は、デジタルカメラ1が手振れ補正時にシェーディング補正量を決定するための演算量を、ユーザーが制御するためのもので、ユーザーは補正量決定スイッチ10により演算量0、演算量小、演算量中、演算量大のいずれかを選択可能である。シェーディング補正に係る演算量を制御することで、ユーザーは、見かけ上、レリーズから、次のレリーズが可能になるまでの時間の長短を調整することになる。演算量0とした場合に次のレリーズが可能になるまでの時間が最も短くなり、演算量を多くするほど、次のレリーズが可能になるまでの時間は長くなる。
The shading correction amount determination switch 10 at the time of camera shake correction is for the user to control the calculation amount for the
<2.撮影処理> 図4は、上記デジタルカメラ1の撮像処理に関する構成を示す図である。撮像素子21は、R(赤)、G(緑)、B(青)の原色透過フィルタが画素単位に市松模様状に設けられた単板式のエリア撮像素子で、インターレース読み出しタイプであり、撮影レンズ3によって結像された被写体の像を、R、G、Bの色成分の画素信号に光電変換して出力する。
<2. Photographing Process> FIG. 4 is a diagram showing a configuration related to the imaging process of the
デジタルカメラ1は、撮像素子21により測光された光量データに基づいて、予め設定されたプログラム線図に従い、絞りドライバー33により撮像素子への露光量を制御する。
The
すなわち、画像記録時には、カメラ制御部30が絞りドライバー33を駆動することで光学絞り値を開放固定とし、撮像素子21の電荷蓄積時間は、撮像素子21により選択された測光エリアにおいて測光された光量データに従い、カメラ制御部30が求めた露出制御データに基づいて算出される。算出された露出制御データにより、センサドライブ31が、予め設定されたプログラム線図に基づいて、撮像素子21への露光時間を適正にするようフィードバック制御を行う。
That is, at the time of image recording, the
撮像素子21で光電変換により生成された信号は、電荷の蓄積が完了すると受光量を表す信号として出力され、遮光された撮像素子21内の転送路へシフトされた後、この転送路からバッファを介して読み出される。出力された画像信号は、CDS(相関二重サンプリング)回路22でサンプリングされ、撮像素子のノイズを除去された後、AGC(オートゲインコントロール)回路23により感度補正される。
The signal generated by photoelectric conversion in the
A/D変換器24は、12ビットAD変換器で、AGC回路23で補正が行われたアナログ信号をデジタル化する。このデジタル信号は、画像処理部40で所定の処理が施された後、画像データとされる。画像処理部40に取り込まれた画像データは、撮像素子21の読み出しに同期して、画像メモリ41に書き込まれる。以後の画像処理は、画像処理部40が画像メモリ41に保存されたデータにアクセスすることで行われる。
The A /
画像メモリ41上の画像データは、RAW補間処理部42でRGB各画素をそれぞれのフィルタパターンでマスキングされ、必要なRGBの各色信号が取り出される。また画素補間処理部51では、画像データの色補間が行われる。その際、高帯域まで画素を持つGについては、メディアン(中間値)フィルタで周辺4画素の中間2値の平均値に置換され、RおよびBについては平均補間が行われる。
In the image data on the
画素補間が施された画像データは、解像度変換処理部52にて水平および垂直の縮小、あるいは間引きが行われ、設定された記録画像画素数へ解像度が変換される。また画像表示の際は、当該画像データが解像度変換処理部52にて水平画素の間引きが行われた後、LCDモニター6および電子ビューファインダー4により、前記間引きの行われた低解像度画像が表示される。
The image data subjected to the pixel interpolation is subjected to horizontal and vertical reduction or thinning by the resolution
解像度の変換された画像データは、カラーバランス制御部53にてRGBが独立にゲイン補正されることで、RGBのホワイトバランス調整が行われる。すなわちカラーバランス制御部53は、撮影被写体から本来白色と思われる部分を輝度および彩度のデータ等から推測し、その部分におけるRGBそれぞれの平均と、G/R比と、G/B比とを求め、求めた各値より導かれる必要なR、Bのゲインを補正することで補正制御している。
The image data whose resolution has been converted is subjected to RGB white balance adjustment by the color
ホワイトバランス調整が施された画像データは、シェーディング補正部55でシェーディング補正が行われる。またガンマ補正部54では、画像データが各出力機器に対して適切に出力されるよう非線形変換が行われる。各処理が行われた画像データは、画像メモリ41に再度格納される。
The shading correction is performed by the
プレビュー時は、画像メモリ41より640*240画素の低解像度画像が読み出され、当該低解像度画像はビデオエンコーダ61にて、NTSC/PALにエンコードされた後、電子ファインダー4、またはLCDモニター6にて表示される。画像記録時は、設定された記録解像度の画像が画像メモリ41より読み出され、読み出された画像は画像圧縮回路43により圧縮処理が行われる。圧縮処理が施された画像は、メモリーカードドライバー71を介してメモリーカード72に記録される。一方画像記録時は、画像メモリ41が指定された解像度の画像を記録すると同時に、画像処理部40内で再生表示用に作成された縮小画像(VGA)を画像とリンクさせた状態で記録している。記録画像の再生時には、LCDモニター6がこのVGAを表示することで高速な画像表示を可能としている。
At the time of preview, a low-resolution image of 640 * 240 pixels is read from the
手振れ補正時は、ジャイロなどで構成される手振れ検出部36からのぶれ信号を検出し、カメラ制御部30で手振れの方向と量を求める演算を行って手振れ補正量を算出し、手振れ補正ドライブ・位置検出部32を制御して、算出された手振れ補正量に基づいて手振れ補正を行う。このとき位置検出部32が検出する位置検出信号をサンプリングして、後述するように撮像素子(または光学素子)の移動軌跡を得る。
At the time of camera shake correction, a shake signal from a camera
測距演算処理部44はデジタルカメラ1においてオートフォーカスを実現するために設けられたものであり、例えばライブビュー表示時に撮像素子21が逐次画像撮影して得られる画像データに基づいて、デジタルカメラ1と被写体との間を測距する。そして測距演算処理部44は画像データより求めた測距値をカメラ制御部30に与え、カメラ制御部30は測距演算処理部44から入力された測距値に基づいてフォーカスモータードライバー34により撮影レンズ3を駆動し、オートフォーカス制御を行う。
The ranging
<3.シェーディング補正> 手振れ補正には、光学レンズスイング方式とイメージセンサスイング方式の2つの方式がある。図5に、光学レンズスイング方式の基本構成を示す。この方式は、光軸に対して垂直方向に所定の光学レンズを移動させることで手振れ補正を行うものである。光学レンズを移動させるための手振れ補正ユニット201と撮像素子21は各々独立しており、手振れ補正ユニット201は鏡胴内に存在する。
<3. Shading Correction> There are two types of camera shake correction: an optical lens swing method and an image sensor swing method. FIG. 5 shows a basic configuration of the optical lens swing method. In this method, camera shake correction is performed by moving a predetermined optical lens in a direction perpendicular to the optical axis. The camera
図6に、イメージセンサスイング方式の基本構成を示す。この方式は、撮像素子21を光軸に対して垂直方向に移動させて手振れ補正を行うものである。手振れ補正ユニット202は、直交座標系で移動可能なステージ(xyステージ)に撮像素子21を取り付けた構成になっており、ユニット202内のジャイロなどで構成されたセンサが検出した手振れ量に応じて、撮像素子21の目標位置を算出する。xyステージは、その目標位置に撮像素子を位置決めする。
FIG. 6 shows a basic configuration of the image sensor swing method. In this method, image stabilization is performed by moving the
本発明は、光学レンズスイング方式と、イメージセンサスイング方式との双方に適用可能であるが、以下はイメージセンサスイング方式への適用を中心に説明する。 The present invention can be applied to both the optical lens swing method and the image sensor swing method. The following description will focus on application to the image sensor swing method.
図7に、イメージサークル203内における撮像素子21の位置を示す。手振れ補正中は、手振れ補正量に基づいて撮像素子21が移動する。撮像素子中心が位置Aにあるときと位置Bにあるときとでは、撮像素子21面上におけるシェーディング分布が異なるため、手振れ補正中は、撮像素子21の移動により撮像素子面上でのシェーディング分布が変化し、撮像素子21の移動軌跡が撮像画像に影響を及ぼす。
FIG. 7 shows the position of the
図8に、光軸に対する撮像素子位置(x軸)と、シェーディング量との関係を示す。撮像素子位置(y軸)とシェーディング量との関係も同様である(図は省略)。撮像素子のある部分が、AからBに移動したとき、その部分でのシェーディング量はδだけ変化する。同様に、他の位置から別の位置へ移動した場合についてもシェーディング量は変化する。従って、撮像素子位置に応じて、シェーディング補正に関する補正量も変化させる必要がある。 FIG. 8 shows the relationship between the image sensor position (x-axis) with respect to the optical axis and the shading amount. The same applies to the relationship between the image sensor position (y-axis) and the shading amount (not shown). When a certain part of the image sensor moves from A to B, the shading amount in that part changes by δ. Similarly, the amount of shading changes when moving from another position to another position. Therefore, it is necessary to change the correction amount related to the shading correction according to the position of the image sensor.
図9に、シェーディング補正処理に関する構成を示す。手ぶれ補正制御部93は、カメラ制御部30内にあり、撮像素子位置検出部92の出力値と、手振れ検出部36の出力値とより、手振れ補正量(撮像素子目標位置)を算出し、撮像素子位置決め部91に、前記手振れ補正量を指令値として出力する。撮像素子21の出力は、画像データ取込部20、画像処理部40を介して、シェーディング補正量変更部101に入力される。シェーディング補正量決定部102は、手振れ補正制御部93からの撮像素子位置情報に基づいて、シェーディング補正量ルックアップテーブル(LUT)103から補正量のデータを得て、後述する方法により各画素のシェーディング補正量を算出する。
FIG. 9 shows a configuration related to the shading correction process. The camera shake
シェーディング補正量決定部102により算出された前記シェーディング補正量を受け、シェーディング補正量変更部101がシェーディング補正を行う。シェーディング補正された画像データは、画像処理部40にて各種画像処理を施された後、表示あるいは記録される。すなわちLCDモニター6、あるいは電子ビューファインダー4により表示される画像、および画像メモリ41、あるいはメモリーカード72により記録される画像はシェーディング補正が施された画像である。
In response to the shading correction amount calculated by the shading correction
図10に、光軸に対する撮像素子位置と、単位露光時間あたりのシェーディング補正量の関係を示す。シェーディング補正量は、撮像素子位置(x,y)の関数f(x,y)として表される。シェーディング補正量は、輝度箱などを用いて測定により得る。シェーディング補正量LUT35がシェーディング補正量をテーブル、あるいは関数の形で持つ。
FIG. 10 shows the relationship between the image sensor position relative to the optical axis and the shading correction amount per unit exposure time. The shading correction amount is expressed as a function f (x, y) of the image sensor position (x, y). The shading correction amount is obtained by measurement using a luminance box or the like. The shading
図11に、露光時間tにおける撮像素子21の移動軌跡の一例を示す。図11において、(a)は撮像素子21のx軸方向に関する移動軌跡を示しており、(b)はy軸方向に関する移動軌跡を示している。手振れ補正中は、手振れ検出部36の出力値に基づいて手振れ補正制御部93が算出した目標値に追従するように、撮像素子位置決め部91が動作して撮像素子21の目標位置を決定する。手振れ補正ユニット90内にある撮像素子位置検出部92は、撮像素子21の位置を検出できるため、図11に示すような移動軌跡を得ることができる。撮像素子位置検出部92には、位置をデジタル値として検出する光学式エンコーダ、あるいは磁気式エンコーダを用いる。また、位置をアナログ値として検出するものとして、PSD(位置検出素子)があり、これを採用することもできる。
FIG. 11 shows an example of the movement locus of the
ここで、撮像素子位置検出部92により検出される位置を撮像素子の中心としたときのシェーディング補正量について検討する。位置検出のサンプリング間隔をΔt(ただし、Δt=t/nとする。ただしサンプリング数はn+1)、ある瞬間の撮像素子位置(x,y)における単位時間当たりのシェーディング補正量をf(x,y)とすると、撮像素子の中心画素(0,0)におけるシェーディング補正量S(0,0)は(1)式により求められる。
S(0,0)=f(x0,y0)Δt+f(x1,y1)Δt+・・・+f(xn-1,yn-1)Δt+f(xn,yn)Δt (1)
Here, the amount of shading correction when the position detected by the image sensor
S (0,0) = f (x0, y0) Δt + f (x1, y1) Δt +... + F (xn-1, yn-1) Δt + f (xn, yn) Δt (1)
また、撮像素子の中心から(α,β)離れた位置にあるシェーディング補正量S(α,β)は(2)式により求められる。
S(α,β)=f(x0+α,y0+β)Δt+f(x1+α,y1+β)Δt+・・・
+f(xn-1+α,yn-1+β)Δt+f(xn+α,yn+β)Δt (2)
Further, the shading correction amount S (α, β) located at a position (α, β) away from the center of the image sensor is obtained by equation (2).
S (α, β) = f (x0 + α, y0 + β) Δt + f (x1 + α, y1 + β) Δt + ...
+ f (xn-1 + α, yn-1 + β) Δt + f (xn + α, yn + β) Δt (2)
デジタルカメラ1は、撮像素子の全画素について(2)式に従ってシェーディング補正を行う。また補正誤差が許容できるならば、サンプリング間隔Δtを大きくすることで、サンプリング数を減らし、シェーディング補正の処理速度を上げることが可能である。サンプリング数については、前述のように手振れ補正時のシェーディング補正量決定スイッチ10を押下することで、ユーザーが選択可能である。
The
図12に、露光時間tにおける撮像素子の移動軌跡の別の例を示す。図11と同様に、(a)は撮像素子のx軸方向に関する移動軌跡を示しており、(b)はy軸方向に関する移動軌跡を示している。図11の場合と比較して、図12における撮像素子の移動軌跡は緩やかである。実際の手振れは10Hz程度であり、通常の手持ち撮影時のシャッタ速度を考慮すると、図12の移動軌跡が現実的である。図12に示される移動軌跡の場合、撮像素子位置検出部92が撮像素子21の位置を検出するために必要なサンプリング数を図11に示すほど多く取る必要はなく、前記サンプリング数を減らすことができる。この場合には、近似的に各サンプリング値の平均値を撮像素子21の位置情報と見なして、その位置におけるシェーディング補正量をもって必要な補正量とすることができる。
FIG. 12 shows another example of the movement trajectory of the image sensor at the exposure time t. Similarly to FIG. 11, (a) shows the movement locus in the x-axis direction of the image sensor, and (b) shows the movement locus in the y-axis direction. Compared to the case of FIG. 11, the movement locus of the image sensor in FIG. 12 is gentle. The actual camera shake is about 10 Hz, and the movement locus in FIG. 12 is realistic considering the shutter speed during normal hand-held shooting. In the case of the movement trajectory shown in FIG. 12, it is not necessary to take as many samplings as shown in FIG. 11 for the image sensor
図12においては、サンプリングは露光開始時と終了時の2点の位置について行われている。この場合、露光時間tのとき位置(α,β)の画素におけるシェーディング補正量S(α,β)は(3)式により求められる。
S(α,β)=f(((x0+x1)/2)+α), ((y0+y1)/2)+β)t (3)
In FIG. 12, sampling is performed at two positions at the start and end of exposure. In this case, the shading correction amount S (α, β) in the pixel at the position (α, β) at the exposure time t is obtained by the equation (3).
S (α, β) = f (((x0 + x1) / 2) + α), ((y0 + y1) / 2) + β) t (3)
図12には、サンプリング数を2点とした場合を示しているが、サンプリング数は何点でもよい。また、サンプリングした撮像素子位置の全画素におけるシェーディング補正量を算出する(2)式によるシェーディング補正方法(図11)と比較して、サンプリング値の平均値を位置情報と見なす(3)式によるシェーディング補正方法(図12)は、シェーディング補正に係る演算量が少なく、処理速度は速くなる。 Although FIG. 12 shows a case where the number of samplings is two, any number of samplings may be used. Compared with the shading correction method (FIG. 11) that calculates the shading correction amount for all the pixels at the sampled image sensor position (FIG. 11), the average value of the sampling values is regarded as position information. In the correction method (FIG. 12), the amount of calculation related to the shading correction is small, and the processing speed is increased.
図13に、露光時間tにおける撮像素子の移動軌跡のさらに別の例を示す。図11、図12と同様に、(a)は撮像素子のx軸方向に関する移動軌跡を示しており、(b)はy軸方向に関する移動軌跡を示している。図13では、露光時間の中心位置において、1回だけサンプリングが行われている。このときの、位置(α,β)の画素におけるシェーディング補正量S(α,β)は(4)式により求められる。
S(α,β)=f(x0+α, y0+β)t (4)
FIG. 13 shows still another example of the movement locus of the image sensor at the exposure time t. Similarly to FIGS. 11 and 12, (a) shows the movement locus of the image sensor in the x-axis direction, and (b) shows the movement locus in the y-axis direction. In FIG. 13, sampling is performed only once at the center position of the exposure time. At this time, the shading correction amount S (α, β) in the pixel at the position (α, β) is obtained by the equation (4).
S (α, β) = f (x0 + α, y0 + β) t (4)
図13に示すシェーディング補正量の算出方法は、演算量が1回と最も少なく、従って処理時間は最も短くなる。なお連写時のように、毎回のレリーズごとの手振れ補正に伴うシェーディング補正を必要としない場合は、演算量を0回にすることができる。上述のように、ユーザーは手振れ補正時のシェーディング補正量決定スイッチ10によりシェーディング補正に係る演算量を選択でき、演算量大の場合は図11に示すシェーディング補正方法によりシェーディング補正を行い、演算量中の場合はが図12に示す方法によりシェーディング補正を行い、そして演算量小の場合は図13に示す方法によりシェーディング補正を行う。また、手振れ補正に伴うシェーディング補正を行わない場合は、演算量0を選択することができる。
The calculation method of the shading correction amount shown in FIG. 13 has the smallest amount of calculation, and therefore the processing time is the shortest. Note that the amount of calculation can be reduced to zero when no shading correction is required for the camera shake correction for each release as in continuous shooting. As described above, the user can select the calculation amount related to the shading correction by the shading correction
上に示したように、シェーディング補正量を決定するための演算量を指示する指示手段を有することで、画像データの品質を高める場合には演算量を大きく、連続的に撮影するなどのように次のレリーズまでの時間を短くする場合には演算量を小さく、あるいは0にすることができ、撮影者の意図する状況に応じた選択が可能となる。 As shown above, by having an instruction means for instructing the amount of calculation for determining the shading correction amount, the amount of calculation is increased to increase the quality of image data, such as continuous shooting. When the time until the next release is shortened, the calculation amount can be reduced or set to 0, and selection according to the situation intended by the photographer is possible.
1 デジタルカメラ
2 シャッターレリーズボタン
3 撮影レンズ
4 電子ビューファインダー
5 電子ファインダー切り替えスイッチ
6 LCDモニター
7 再生コマ送りスイッチおよびズームスイッチ
8 動作モード切り換えスイッチ
9 手振れ補正起動スイッチ
10 手振れ補正時のシェーディング補正量決定スイッチ
20 画像データ取込部
21 撮像素子
22 CDS回路
23 AGC回路
24 A/D変換器
30 カメラ制御部
31 タイミングジェネレータセンサドライブ
32 手振れ補正ドライブ/位置検出
33 絞りドライバー
34 フォーカスモータードライバー
35 カメラ操作スイッチ
36 手振れ検出部
40 画像処理部
41 画像メモリ
42 RAW補間処理部
43 画像圧縮回路
44 測距演算処理部
51 画素補間処理部
52 解像度変換処理部
53 カラーバランス制御部
54 ガンマ補正部
55 シェーディング補正部
60 画像表示部
61 ビデオエンコーダ
70 画像記録部
71 メモリーカードドライバー
72 メモリーカード
90 手振れ補正ユニット
91 撮像素子位置決め部
92 撮像素子位置検出部
93 手振れ補正制御部
100 シェーディング補正ユニット
101 シェーディング補正量変更部
102 シェーディング補正量決定部
103 シェーディング補正量LUT
201 光学レンズを移動させる手振れ補正ユニット
202 撮像素子を移動させる手振れ補正ユニット
203 イメージサークル
Δt サンプリング間隔
t 露光時間
x1,x2,・・・,xn 撮像素子位置(x軸)
y1,y2,・・・,yn 撮像素子位置(y軸)
DESCRIPTION OF
201 Image stabilization unit for moving an
y1, y2, ..., yn Image sensor position (y-axis)
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077442A JP2005269130A (en) | 2004-03-18 | 2004-03-18 | Imaging device with camera shake correcting function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077442A JP2005269130A (en) | 2004-03-18 | 2004-03-18 | Imaging device with camera shake correcting function |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005269130A true JP2005269130A (en) | 2005-09-29 |
Family
ID=35093213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004077442A Pending JP2005269130A (en) | 2004-03-18 | 2004-03-18 | Imaging device with camera shake correcting function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005269130A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006042320A (en) * | 2004-06-24 | 2006-02-09 | Pentax Corp | Digital camera |
| JP2009049609A (en) * | 2007-08-16 | 2009-03-05 | Fujitsu Microelectronics Ltd | Correction circuit, correction method, and imaging apparatus |
| US20110149112A1 (en) * | 2009-12-23 | 2011-06-23 | Nokia Corporation | Lens shading correction |
| JP2012028877A (en) * | 2010-07-20 | 2012-02-09 | Univ Of Electro-Communications | Projector apparatus, video signal correction apparatus, video signal correction method and program |
| JP2012147499A (en) * | 2012-04-23 | 2012-08-02 | Canon Inc | Imaging apparatus and video signal processing method |
| JP2012226213A (en) * | 2011-04-21 | 2012-11-15 | Canon Inc | Imaging apparatus and control method therefor |
| US8547440B2 (en) | 2010-01-29 | 2013-10-01 | Nokia Corporation | Image correction for image capturing with an optical image stabilizer |
| WO2013190946A1 (en) * | 2012-06-22 | 2013-12-27 | 富士フイルム株式会社 | Imaging device and operation control method thereof |
| JP2014175963A (en) * | 2013-03-12 | 2014-09-22 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
| JP2016167801A (en) * | 2015-03-06 | 2016-09-15 | パナソニックIpマネジメント株式会社 | Imaging apparatus, imaging method, and imaging program |
| JP2017161891A (en) * | 2016-03-02 | 2017-09-14 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
| WO2019065821A1 (en) * | 2017-09-29 | 2019-04-04 | 富士フイルム株式会社 | Lens-replaceable digital camera, method of operating same, and operation program |
| JP2019109426A (en) * | 2017-12-20 | 2019-07-04 | キヤノン株式会社 | Imaging apparatus and its control method |
| JP2025020249A (en) * | 2018-07-20 | 2025-02-12 | 株式会社ニコン | Imaging device |
-
2004
- 2004-03-18 JP JP2004077442A patent/JP2005269130A/en active Pending
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006042320A (en) * | 2004-06-24 | 2006-02-09 | Pentax Corp | Digital camera |
| JP2009049609A (en) * | 2007-08-16 | 2009-03-05 | Fujitsu Microelectronics Ltd | Correction circuit, correction method, and imaging apparatus |
| US8314865B2 (en) * | 2009-12-23 | 2012-11-20 | Nokia Corporation | Lens shading correction |
| US20110149112A1 (en) * | 2009-12-23 | 2011-06-23 | Nokia Corporation | Lens shading correction |
| US8547440B2 (en) | 2010-01-29 | 2013-10-01 | Nokia Corporation | Image correction for image capturing with an optical image stabilizer |
| JP2012028877A (en) * | 2010-07-20 | 2012-02-09 | Univ Of Electro-Communications | Projector apparatus, video signal correction apparatus, video signal correction method and program |
| JP2012226213A (en) * | 2011-04-21 | 2012-11-15 | Canon Inc | Imaging apparatus and control method therefor |
| JP2012147499A (en) * | 2012-04-23 | 2012-08-02 | Canon Inc | Imaging apparatus and video signal processing method |
| WO2013190946A1 (en) * | 2012-06-22 | 2013-12-27 | 富士フイルム株式会社 | Imaging device and operation control method thereof |
| CN104380709A (en) * | 2012-06-22 | 2015-02-25 | 富士胶片株式会社 | Imaging device and operation control method thereof |
| US20150070519A1 (en) * | 2012-06-22 | 2015-03-12 | Fujifilm Corporation | Image sensing apparatus and method of controlling operation of same |
| JP5736512B2 (en) * | 2012-06-22 | 2015-06-17 | 富士フイルム株式会社 | Imaging apparatus and operation control method thereof |
| US9363437B2 (en) | 2012-06-22 | 2016-06-07 | Fujifilm Corporation | Image sensing apparatus and method of controlling operation of same to reduce image distortion |
| CN104380709B (en) * | 2012-06-22 | 2018-05-29 | 富士胶片株式会社 | Photographic device and its method of controlling operation |
| JP2014175963A (en) * | 2013-03-12 | 2014-09-22 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
| JP2016167801A (en) * | 2015-03-06 | 2016-09-15 | パナソニックIpマネジメント株式会社 | Imaging apparatus, imaging method, and imaging program |
| JP2017161891A (en) * | 2016-03-02 | 2017-09-14 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
| WO2019065821A1 (en) * | 2017-09-29 | 2019-04-04 | 富士フイルム株式会社 | Lens-replaceable digital camera, method of operating same, and operation program |
| CN111183631A (en) * | 2017-09-29 | 2020-05-19 | 富士胶片株式会社 | Lens-replaceable digital camera, working method and working program thereof |
| JPWO2019065821A1 (en) * | 2017-09-29 | 2020-10-08 | 富士フイルム株式会社 | Interchangeable lens digital camera, its operation method and operation program |
| JP2021010186A (en) * | 2017-09-29 | 2021-01-28 | 富士フイルム株式会社 | Interchangeable lens digital camera, its operation method and operation program |
| CN111183631B (en) * | 2017-09-29 | 2021-05-18 | 富士胶片株式会社 | Lens-replaceable digital camera, working method thereof and computer readable medium |
| US11115593B2 (en) | 2017-09-29 | 2021-09-07 | Fujifilm Corporation | Lens interchangeable digital camera, and operation method and operation program thereof |
| JP7015354B2 (en) | 2017-09-29 | 2022-02-02 | 富士フイルム株式会社 | Interchangeable lens digital camera, its operation method and operation program |
| US11418711B2 (en) | 2017-09-29 | 2022-08-16 | Fujifilm Corporation | Lens interchangeable digital camera, and operation method and operation program thereof |
| JP2019109426A (en) * | 2017-12-20 | 2019-07-04 | キヤノン株式会社 | Imaging apparatus and its control method |
| JP7086591B2 (en) | 2017-12-20 | 2022-06-20 | キヤノン株式会社 | Image pickup device and its control method |
| JP2025020249A (en) * | 2018-07-20 | 2025-02-12 | 株式会社ニコン | Imaging device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7995852B2 (en) | Imaging device and imaging method | |
| JP5652649B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
| JP5347707B2 (en) | Imaging apparatus and imaging method | |
| US20060007327A1 (en) | Image capture apparatus and image capture method | |
| JP4501994B2 (en) | Imaging device | |
| US20080211902A1 (en) | Imaging device | |
| JP3912404B2 (en) | Imaging device | |
| JP2006121612A (en) | Image pickup device | |
| JP2000341577A (en) | Device and method for correcting camera shake | |
| US20050157188A1 (en) | Image capturing apparatus and method of performing noise process on moving picture | |
| JP2005269130A (en) | Imaging device with camera shake correcting function | |
| JP3798544B2 (en) | Imaging control apparatus and imaging control method | |
| US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
| JP4508991B2 (en) | Imaging device | |
| JP2004328606A (en) | Imaging device | |
| JP2014155002A (en) | Imaging device | |
| JP2008283477A (en) | Image processing apparatus and image processing method | |
| JP2007195122A (en) | Imaging apparatus, image processor and image processing method | |
| JP4925168B2 (en) | Imaging method and apparatus | |
| JPWO2015182021A1 (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
| JPH06113183A (en) | Imaging device | |
| JP2005175864A (en) | Image pickup device and image processing method | |
| JP2006109046A (en) | Imaging device | |
| JP2010204303A (en) | Imaging apparatus |