JP2017005553A

JP2017005553A - Imaging device and imaging method, control device and control method, and program

Info

Publication number: JP2017005553A
Application number: JP2015118807A
Authority: JP
Inventors: 鉄兵岡本; Teppei Okamoto; 直樹越川; Naoki Koshikawa; 広靖上原; Hiroyasu Uehara
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2015-06-12
Filing date: 2015-06-12
Publication date: 2017-01-05
Anticipated expiration: 2035-06-12
Also published as: JP6500618B2

Abstract

【課題】複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラムを得る。【解決手段】複数の画像を取得する画像取得部と、前記複数の画像を合成して合成画像を生成する画像合成部と、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、を有することを特徴とする撮影装置。【選択図】図１０An image capturing apparatus, an image capturing method, a control apparatus and a control method, and a program capable of suitably executing multi-shot composition that combines a plurality of images to obtain a composite image in a user-friendly manner. . An image acquisition unit that acquires a plurality of images, an image combination unit that combines the plurality of images to generate a combined image, and a replacement process performed on at least a part of the combined images. An imaging apparatus comprising: an image replacement unit that generates a replacement image; and a replacement notification unit that notifies that the image replacement unit has performed the replacement process and generates a composite replacement image. [Selection] Figure 10

Description

本発明は、撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラムに関する。 The present invention relates to an imaging device, an imaging method, a control device, a control method, and a program.

近年、通常の１ショット画像よりも高精細（高画質、高精度）な画像を得るために、時系列に撮像した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が知られている。例えば、出願人は、撮像素子に対する光軸を水平および垂直方向に小数画素単位（例えば１画素ピッチ単位）でずらして取り込んだ複数の画像信号を合成して合成画像を得る「超解像撮影（ＲＲＳ撮影）」の開発を進めている。 In recent years, in order to obtain a higher definition (higher image quality, higher accuracy) image than a normal one-shot image, a so-called multi-shot imaging technique that combines a plurality of images taken in time series to obtain a composite image It has been known. For example, the applicant obtains a composite image by synthesizing a plurality of image signals captured by shifting the optical axis with respect to the image sensor horizontally and vertically in units of decimal pixels (for example, 1 pixel pitch unit). RRS photography) ”is under development.

マルチショット合成は、その性質上、複数の画像を時系列に撮像する際の撮像条件に殆ど変化がない（被写体が動かない、カメラに振動が加わらない、障害物が発生しない、照度変化がない等）ことを前提としている。 Due to the nature of multi-shot composition, there is almost no change in the imaging conditions when capturing multiple images in time series (the subject does not move, the camera does not vibrate, no obstacles occur, and there is no change in illuminance) Etc.).

しかし、マルチショット合成の前提に反して、複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じる（被写体が大きく動く、カメラに大きな振動が加わる、障害物が発生する、大きな照度変化がある等）ことがある。この場合、変化が生じた箇所において、その後の合成処理の結果、通常の撮影では起こり得ない特異なパターンが発生し、通常の１ショット画像よりも品質が劣化してしまう。 However, contrary to the premise of multi-shot composition, a large change occurs in the imaging conditions when capturing multiple images in time series (subject moves greatly, camera is subjected to large vibrations, obstacles occur, large illuminance Change). In this case, a unique pattern that cannot occur in normal shooting occurs as a result of the subsequent synthesis processing at the location where the change occurs, and the quality is deteriorated as compared with a normal one-shot image.

そこで、マルチショット合成では、複数の画像のいずれかの画像を基準画像に設定し、合成画像の品質劣化部分を基準画像の対応部分で置換する置換処理が施されることがある。置換処理を施した領域は、マルチショット合成の所望の効果（高い解像感）を得ることは出来ないが、合成画像の品質劣化部分をそのまま残すよりは遥かに好ましい。 Therefore, in multi-shot composition, a replacement process may be performed in which one of a plurality of images is set as a reference image, and a quality-degraded portion of the composite image is replaced with a corresponding portion of the reference image. The region subjected to the replacement process cannot obtain the desired effect (high resolution) of multi-shot composition, but is far more preferable than leaving the quality-degraded portion of the composite image as it is.

特許第３１９３２５８号公報Japanese Patent No. 3193258

ところが、ユーザ（撮影者）の側からすれば、置換処理が施されたのか否か、置換処理が施されたのであればその置換領域はどの辺りなのかといったことを知ることはできず、単に出来上がった合成画像が供給されるだけなので、利便性に富んだものとは言えなかった。 However, from the user (photographer) side, it is impossible to know whether or not the replacement process has been performed, and if the replacement process has been performed, it is simply not possible to know which area the replacement area is. Since only the completed composite image is supplied, it could not be said that it was very convenient.

本発明は、以上の問題意識に基づいてなされたものであり、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラムを得ることを目的とする。 The present invention has been made on the basis of the above problem awareness, and is capable of suitably executing a multi-shot composition that combines a plurality of images to obtain a composite image in a form that is convenient for the user. And an imaging method, a control device, a control method, and a program.

本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像を合成して合成画像を生成する画像合成部と、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、を有することを特徴としている。 An image capturing apparatus according to the present invention performs a replacement process on an image acquisition unit that acquires a plurality of images, an image combination unit that generates a combined image by combining the plurality of images, and at least a part of the combined images. In this manner, the image replacement unit includes an image replacement unit that generates a composite replacement image, and a replacement notification unit that notifies that the image replacement unit has performed the replacement process and generates a composite replacement image.

前記置換報知部は、表示部に、合成置換画像とともにそれが置換処理を施したものである旨を表示させることができる。 The replacement notifying unit can cause the display unit to display that it has been subjected to replacement processing together with the composite replacement image.

前記置換報知部は、表示部に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させることができる。 The replacement notification unit can cause the display unit to display, in a different display mode, a region that has undergone the replacement process and a region that has not undergone the replacement process in the composite replacement image.

前記置換報知部は、表示部に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に表示させることができる。 The replacement notification unit can cause the display unit to display the composite image before the replacement process and the composite replacement image after the replacement process in a comparable manner.

本発明の撮影装置は、前記置換報知部による報知結果を受けて前記合成置換画像を記録画像として取り込むか否かを決定する取込決定部をさらに有することができる。 The photographing apparatus of the present invention may further include a capture determining unit that receives a notification result from the replacement notification unit and determines whether to capture the composite replacement image as a recorded image.

本発明の撮影装置は、前記画像置換部が前記置換処理を施して合成置換画像を生成したときに、当該合成置換画像が使用適格要件を満足するか否かを判定する判定制御部をさらに有することができる。 The photographing apparatus of the present invention further includes a determination control unit that determines whether or not the composite replacement image satisfies the eligibility requirements for use when the image replacement unit performs the replacement process and generates a composite replacement image. be able to.

前記判定制御部は、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知部に置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得部に複数の画像の取得を再実行させることができる。 The determination control unit, when it is determined that the composite replacement image satisfies a use eligibility requirement, causes the replacement notification unit to perform a replacement notification process, and when it is determined that the composite replacement image does not satisfy a use eligibility requirement, The image acquisition unit can re-execute acquisition of a plurality of images.

前記判定制御部は、前記合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、前記合成置換画像が使用適格要件を満足するか否かを判定することができる。 The determination control unit can determine whether or not the composite replacement image satisfies the eligibility requirement for use based on whether or not the ratio of the replacement area in the composite replacement image exceeds a predetermined threshold. .

前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。 The plurality of images are images taken by an image sensor that converts an object image formed by a photographing optical system into an electrical pixel signal, and the optical element that forms at least a part of the photographing optical system and the image Using at least one of the sensors as a moving member and moving the moving member in a direction different from the optical axis of the photographing optical system, the subject light flux after each movement is incident on a plurality of pixels having different detection colors of the image sensor. It can be taken.

本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像を合成して合成画像を生成する画像合成ステップと、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、を有することを特徴としている。 According to the imaging method of the present invention, an image acquiring step for acquiring a plurality of images, an image combining step for generating a combined image by combining the plurality of images, and a replacement process are performed on at least a part of the combined images. The image replacement step of generating a composite replacement image by the above, and the replacement notification step of notifying that the composite replacement image has been generated by performing the replacement processing in the image replacement step.

本発明の制御装置は、複数の画像を合成して合成画像を生成する画像合成部と、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、を有することを特徴としている。 The control device of the present invention includes an image composition unit that generates a composite image by combining a plurality of images, and an image replacement unit that generates a composite replacement image by performing a replacement process on at least a part of the combined image. A replacement notification unit for notifying that the image replacement unit has performed the replacement process and generated a composite replacement image.

本発明の制御方法は、複数の画像を合成して合成画像を生成する画像合成ステップと、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、を有することを特徴としている。 The control method of the present invention includes an image composition step for generating a composite image by combining a plurality of images, and an image replacement step for generating a composite replacement image by performing replacement processing on at least a part of the combined image. And a replacement notification step of notifying that the composite replacement image has been generated by performing the replacement processing in the image replacement step.

本発明のプログラムは、複数の画像を合成して合成画像を生成する画像合成ステップと、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、をコンピュータに実行させることを特徴としている。 The program of the present invention includes an image composition step for generating a composite image by combining a plurality of images, an image replacement step for generating a composite replacement image by performing a replacement process on at least a part of the combined image, A replacement notification step of notifying that the replacement processing has been performed in the image replacement step to generate a composite replacement image is performed by a computer.

本発明によれば、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラムが得られる。 According to the present invention, a photographing apparatus and a photographing method, a control apparatus and a control method that can suitably execute multi-shot composition that combines a plurality of images to obtain a composite image in a user-friendly manner, and A program is obtained.

第１実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the digital camera (imaging device) of 1st Embodiment. 像振れ補正装置の要部構成を示すブロック図である。2 is a block diagram illustrating a main configuration of an image shake correction apparatus. FIG. 像振れ補正装置の構成を示す側面図である。It is a side view which shows the structure of an image shake correction apparatus. 図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。FIG. 4A to FIG. 4D are conceptual diagrams illustrating an example of the “RRS imaging mode” of the present embodiment. ＤＳＰ（制御装置）の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of DSP (control apparatus). 置換領域算出部が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。It is a figure which shows an example of the reference | standard image replacement area | region and non-replacement area | region of a synthesized image which the replacement area | region calculation part calculated. 置換報知部による置換報知処理の第１の態様を示す図である。It is a figure which shows the 1st aspect of the replacement notification process by a replacement notification part. 置換報知部による置換報知処理の第２の態様を示す図である。It is a figure which shows the 2nd aspect of the replacement notification process by a replacement notification part. 置換報知部による置換報知処理の第３の態様を示す図である。It is a figure which shows the 3rd aspect of the replacement notification process by a replacement notification part. 第１実施形態のデジタルカメラによる撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process by the digital camera of 1st Embodiment. 第２実施形態のデジタルカメラを示す図５に対応する機能ブロック図である。It is a functional block diagram corresponding to FIG. 5 which shows the digital camera of 2nd Embodiment. 第２実施形態のデジタルカメラを示す図１０に対応するフローチャートである。It is a flowchart corresponding to FIG. 10 which shows the digital camera of 2nd Embodiment.

≪第１実施形態≫
図１〜図１０を参照して、第１実施形態のデジタルカメラ（撮影装置）１０について説明する。 << First Embodiment >>
A digital camera (imaging device) 10 according to the first embodiment will be described with reference to FIGS.

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（時系列に撮像（取得）した複数の画像データ）としてＤＳＰ（制御装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ（表示部）２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。 As shown in FIG. 1, the digital camera 10 includes a body main body 20 and a photographing lens 30 that can be attached to and detached from the body main body 20 (lens exchangeable). The photographic lens 30 includes, in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1), a photographic lens group (photographic optical system, moving member, shake correction member) 31, and aperture ( Photographing optical system) 32. The body body 20 has a shutter (photographing optical system) 21 and an image sensor (image acquisition unit, imaging unit, movement) in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1). Member, shake correction member) 22. The body body 20 also includes a diaphragm / shutter drive circuit 23 that controls driving of the diaphragm 32 and the shutter 21 in a state where the body body 20 is attached to the photographing lens 30. A subject image is formed on the light receiving surface of the image sensor 22 by the subject light flux that enters from the photographing lens group 31 and passes through the aperture 32 and the shutter 21. The subject image formed on the light receiving surface of the image sensor 22 is converted into an electrical pixel signal by a large number of pixels having different detection colors arranged in a matrix, and image data (taken (acquired) in time series). Are output to a DSP (control device) 40 as a plurality of image data). The DSP 40 performs predetermined image processing on the image data input from the image sensor 22, displays it on the LCD (display unit) 24, and stores it in the image memory 25. In FIG. 1, the photographic lens group 31 is depicted as a single lens. However, the actual photographic lens group 31 may be, for example, a fixed lens, a variable magnification lens that moves during zooming, or a focusing lens that moves during focusing. And a plurality of lenses.

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。 Although not shown, the image sensor 22 includes a plurality of packages, a solid-state image sensor chip housed in the package, and a lid member fixed to the package so as to hermetically protect the solid-state image sensor chip. It consists of the following components. In this specification, “driving the image sensor 22” means “driving at least a part of the plurality of components of the image sensor 22 through which the subject luminous flux passes”.

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。 The photographic lens 30 includes a communication memory 33 that stores various information such as resolving power (MTF) information of the photographic lens group 31 and aperture diameter (aperture value) information of the diaphragm 32. In a state where the photographic lens 30 is attached to the body main body 20, various information stored in the communication memory 33 is read into the DSP 40.

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。 The body main body 20 is connected to the DSP 40 and includes a photographing operation switch 26. The photographing operation switch 26 includes various switches such as a power switch and a release switch.

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。 The body body 20 includes a gyro sensor (a shake detection unit) 27 connected to the DSP 40. The gyro sensor 27 detects a shake detection signal indicating a shake in the plane orthogonal to the optical axis of the body body 20 by detecting a moving angular velocity (around the X axis and the Y axis) applied to the body body 20.

図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。 As shown in FIGS. 1 to 3, the image sensor 22 is mounted on the image blur correction device 50 so as to be movable in the X-axis direction and the Y-axis direction (two orthogonal directions) orthogonal to the optical axis Z of the photographing optical system. Yes. The image shake correction apparatus 50 includes a fixed support substrate 51 fixed to a structure such as a chassis of the body main body 20, a movable stage 52 that fixes the image sensor 22 and is slidable with respect to the fixed support substrate 51, and fixed support. Magnets M1, M2, M3 fixed on the surface of the substrate 51 facing the movable stage 52, and each magnet M1, fixed on the fixed support substrate 51 with the movable stage 52 sandwiched between the magnets M1, M2, M3, For driving to generate a driving force by receiving a current in a magnetic field of the magnetic circuit fixed to the movable stage 52 and the yokes Y1, Y2, Y3 made of a magnetic material constituting the magnetic circuit between M2 and M3 Coils C1, C2, and C3 are provided. By flowing (applying) an AC drive signal (AC voltage) to the drive coils C1, C2, and C3, the movable stage 52 (image sensor 22) is driven in a plane orthogonal to the optical axis with respect to the fixed support substrate 51. It has become. The AC drive signal that flows through the drive coils C1, C2, and C3 is generated by the image sensor drive circuit 60 under the control of the DSP 40.

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。 In the present embodiment, the image sensor 22 includes a magnetic driving unit including the magnet M1, the yoke Y1, and the driving coil C1, and a magnetic driving unit (two sets of magnetic driving units) including the magnet M2, the yoke Y2, and the driving coil C2. Are arranged at predetermined intervals in the longitudinal direction (horizontal direction, X-axis direction), and magnetic drive means (a set of magnetic drive means) including the magnet M3, the yoke Y3, and the drive coil C3 are orthogonal to the longitudinal direction of the image sensor 22. Are arranged in the short direction (vertical (vertical) direction, Y-axis direction).

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。 Further, the fixed support substrate 51 detects the magnetic force of the magnets M1, M2, and M3 in the vicinity (central space) of each of the driving coils C1, C2, and C3, and is orthogonal to the optical axis of the movable stage 52 (image sensor 22). Hall sensors (position detection units) H1, H2, and H3 for outputting (detecting) a hall output signal (position detection signal) indicating a position in the plane are arranged. The position and tilt (rotation) of the movable stage 52 (image sensor 22) are detected by the hall sensors H1 and H2, and the position of the movable stage 52 (image sensor 22) is detected by the hall sensor H3. The DSP 40 detects, via the image sensor drive circuit 60, a shake detection signal indicating a shake in the plane orthogonal to the optical axis of the body main body 20 detected by the gyro sensor 27, and the image sensor 22 output by the hall sensors H1, H2, and H3. The image blur correction device 50 drives the image sensor 22 in the optical axis orthogonal plane based on the Hall output signal indicating the position in the optical axis orthogonal plane. Thereby, the image formation position of the subject image on the image sensor 22 can be displaced, and the image shake due to the camera shake can be corrected.

本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード（マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。 The digital camera 10 according to the present embodiment uses the image shake correction device 50 to make a plurality of image sensors 22 (image sensor units) in time series while finely moving them in a plane perpendicular to the optical axis Z of the photographing optical system. By taking multiple shots and combining the images into a single image (compositing by performing special operations by image processing on the data rather than simple addition of images), ultra-high definition (high image quality, high accuracy) Equipped with a shooting mode (multi-shot composition mode) that generates images. Hereinafter, this photographing mode is referred to as “RRS (Real Resolution System) photographing mode”. Unlike the conventional Bayer method in which only one color information is acquired per pixel, the “RRS shooting mode (multi-shot composition mode)” obtains information on each color of RGB to obtain details and colors in detail. An extremely high-definition image excellent in reproduction can be drawn. Further, moire and false colors are not generated, and an effect of reducing high-sensitivity noise can be obtained.

図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（制御装置）４０に入力される。 4A to 4D are conceptual diagrams showing an example of “RRS imaging mode (multi-shot composition mode)” of the present embodiment. In the figure, an image sensor 22 includes a large number of pixels arranged at a predetermined pixel pitch in a matrix on the light receiving surface, and a Bayer array of color filters R, G (Gr, Gb), B on the front surface of each pixel. Either one is arranged. Each pixel detects the color of the subject light ray that has passed through the front color filters R, G (Gr, Gb), B, that is, photoelectrically converts the light of the color component (color band), and the intensity ( Accumulate charges according to (luminance). More specifically, one image is taken at the reference position shown in FIG. 4A, and one image is taken at the position shown in FIG. 4B where the image sensor 22 is moved downward by one pixel pitch. A single image was taken at the position shown in FIG. 4C where the image sensor 22 was moved to the right by one pixel pitch from there, and the image sensor 22 was moved upward by one pixel pitch therefrom. One image is taken at the position of FIG. 4D, and finally returns to the reference position of FIG. In this way, four images taken in time series while driving the image sensor 22 so as to draw a square of one pixel pitch in the plane orthogonal to the optical axis are input to the DSP (control device) 40 as RAW image data. Is done.

図１に示すように、ボディ本体２０は、ＤＳＰ４０に接続させて、「ＲＲＳ撮影」を行うか否か、更にはその詳細を設定するためのＲＲＳ撮影モード設定部２８を備えている。 As shown in FIG. 1, the body main body 20 includes an RRS shooting mode setting unit 28 that is connected to the DSP 40 to set whether or not to perform “RRS shooting” and further details thereof.

図５は、ＤＳＰ（制御装置）４０の内部構成を示す機能ブロック図である。このＤＳＰ４０は、イメージセンサ２２が「ＲＲＳ撮影モード（マルチショット合成モード）」で時系列に撮像した４枚の画像（ＲＡＷ画像）に対して各種の処理を施すものである。 FIG. 5 is a functional block diagram showing the internal configuration of the DSP (control device) 40. The DSP 40 performs various processes on four images (RAW images) captured in time series by the image sensor 22 in the “RRS photographing mode (multi-shot composition mode)”.

ＤＳＰ４０は、画像入力部４１と、画像合成部４２と、基準画像決定部４３と、置換領域算出部４４と、画像置換部４５と、置換判定部４６と、置換報知部４７と、取込決定部４８とを有している。 The DSP 40 includes an image input unit 41, an image composition unit 42, a reference image determination unit 43, a replacement area calculation unit 44, an image replacement unit 45, a replacement determination unit 46, a replacement notification unit 47, and a capture determination. Part 48.

画像入力部４１は、イメージセンサ２２が時系列に撮像した４枚の画像が入力するものである。 The image input unit 41 inputs four images taken in time series by the image sensor 22.

画像合成部４２は、画像入力部４１に入力した４枚の画像を合成して合成画像を生成するものである。 The image composition unit 42 synthesizes the four images input to the image input unit 41 to generate a composite image.

基準画像決定部４３は、画像入力部４１に入力した４枚の画像の中から１枚を選択してこれを基準画像に決定する。例えば、基準画像決定部４３は、イメージセンサ２２が最初（１枚目）または最後（４枚目）に撮影した画像を基準画像に決定する。 The reference image determination unit 43 selects one of the four images input to the image input unit 41 and determines this as a reference image. For example, the reference image determination unit 43 determines the image captured by the image sensor 22 first (first image) or last (fourth image) as the reference image.

置換領域算出部４４は、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置換するための置換領域を算出する。置換領域算出部４４は、画像合成部４２による合成画像の品質が所定の水準を満足しているか否か、すなわち手振れや被写体の動き、蛍光灯のちらつき（フリッカー）の悪影響を受けているか否か等に基づいて、置換領域を算出する。 The replacement region calculation unit 44 calculates a replacement region for replacing at least a part of the composite image by the image composition unit 42 with the reference image determined by the reference image determination unit 43. The replacement area calculation unit 44 determines whether or not the quality of the combined image by the image combining unit 42 satisfies a predetermined level, that is, whether or not it is adversely affected by camera shake, subject movement, or flickering of a fluorescent lamp. Based on the above, a replacement area is calculated.

より具体的に、置換領域算出部４４は、基準画像と他の合成前フレーム画像とを画素ごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、各合成前フレーム画像をブロック化し、基準画像と他の合成前フレーム画像とをブロックごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、輝度データや色差データにより差分情報を得て、この差分情報に基づいて、置換領域を算出する。あるいは、置換領域算出部４４は、高周波成分の検出を行ってその高周波成分が閾値を超えているか否かを判定することにより、置換領域を算出する。このように、置換領域算出部４４が置換領域を算出する態様には自由度があり、種々の設計変更が可能である。 More specifically, the replacement area calculation unit 44 calculates a replacement area by comparing the reference image with another pre-combination frame image for each pixel. Alternatively, the replacement area calculation unit 44 calculates a replacement area by blocking each pre-combination frame image and comparing the reference image with another pre-combination frame image for each block. Alternatively, the replacement area calculation unit 44 obtains difference information from luminance data and color difference data, and calculates a replacement area based on the difference information. Alternatively, the replacement region calculation unit 44 calculates a replacement region by detecting a high frequency component and determining whether or not the high frequency component exceeds a threshold value. As described above, the manner in which the replacement region calculation unit 44 calculates the replacement region has a degree of freedom, and various design changes are possible.

図６は、置換領域算出部４４が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。合成画像の基準画像置換領域は、合成画像の品質が所定の水準を満足しないために基準画像での置換が指定される領域であり、非置換領域は、合成画像の該当部分をそのまま適用（使用）する領域である。 FIG. 6 is a diagram illustrating an example of the reference image replacement area and the non-replacement area of the composite image calculated by the replacement area calculation unit 44. The reference image replacement area of the composite image is an area in which replacement with the reference image is designated because the quality of the composite image does not satisfy a predetermined level, and the corresponding part of the composite image is applied (used) as the non-replacement area. ).

画像置換部４５は、置換領域算出部４４が算出した置換領域（図６）に従って、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置き換える置換処理を施すことにより、合成置換画像を生成することが可能である。 The image replacement unit 45 performs replacement processing for replacing at least a part of the composite image by the image composition unit 42 with the reference image determined by the reference image determination unit 43 in accordance with the replacement region calculated by the replacement region calculation unit 44 (FIG. 6). Thus, it is possible to generate a composite replacement image.

画像置換部４５は、置換領域算出部４４が算出した置換領域がゼロでなければ当該置換領域に従った置換処理を実行し、置換領域算出部４４が算出した置換領域がゼロであれば置換処理を実行しない。 If the replacement region calculated by the replacement region calculation unit 44 is not zero, the image replacement unit 45 executes a replacement process according to the replacement region. If the replacement region calculated by the replacement region calculation unit 44 is zero, the replacement processing is performed. Do not execute.

置換判定部４６は、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定する。置換判定部４６は、画像置換部４５が全く置換処理を施していない場合（置換領域ゼロ）は勿論のこと、合成置換画像に占める置換領域の割合（面積比）が極めて小さい場合や合成置換画像中の置換領域の分布度合い（例えば合成置換画像中のメイン被写体に置換処理が施されていない場合）により、画像置換部４５が置換処理を施していないと判定する（置換領域ゼロとみなす）ことができる。すなわち、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定するための手法や基準には自由度があり、種々の設計変更が可能である。 The replacement determination unit 46 determines whether or not the image replacement unit 45 has performed a replacement process to generate a composite replacement image. The replacement determination unit 46 is not limited to the case where the image replacement unit 45 has not performed any replacement processing (replacement region zero), but also when the ratio (area ratio) of the replacement region in the composite replacement image is extremely small, or the composite replacement image The image replacement unit 45 determines that the replacement process has not been performed (considered to be the replacement area zero) based on the distribution degree of the replacement area (for example, when the replacement process has not been performed on the main subject in the composite replacement image). Can do. In other words, the method and criteria for determining whether or not the image replacement unit 45 has performed the replacement process to generate the composite replacement image has a degree of freedom, and various design changes are possible.

置換報知部４７は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、ユーザ（撮影者）にその旨を報知するためのユーザインタフェースとして機能する。 The replacement notification unit 47 functions as a user interface for notifying the user (photographer) when the replacement determination unit 46 determines that the image replacement unit 45 has performed a replacement process and has generated a composite replacement image. To do.

図７、図８、図９は、それぞれ、置換報知部４７による置換報知処理の第１、第２、第３の態様を示している。同図の例は、被写体である花が風で揺れ動いていたために花の全体に置換処理を施した場合を想定している。 7, 8, and 9 show the first, second, and third modes of the replacement notification process by the replacement notification unit 47, respectively. In the example of the figure, it is assumed that the replacement process is performed on the entire flower because the flower as the subject is swaying in the wind.

図７の第１の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像とともにそれが置換処理を施したものである旨のメッセージを表示させている。 In the first mode of FIG. 7, the replacement notification unit 47 causes the LCD (display unit) 24 to display a message indicating that it has been subjected to replacement processing together with the composite replacement image.

図８の第２の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させている。ここでは置換報知部４７は、置換処理を施した花の全体を特殊表示（点滅表示）させている。 In the second mode of FIG. 8, the replacement notification unit 47 causes the LCD (display unit) 24 to display the region that has undergone the replacement process and the region that has not been subjected to the replacement process in different display modes in the composite replacement image. Yes. Here, the replacement notification unit 47 performs a special display (flashing display) of the entire flower subjected to the replacement process.

図９の第３の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に交互（あるいは並列して）に表示させている。 In the third mode of FIG. 9, the replacement notification unit 47 alternates (or in parallel) the LCD (display unit) 24 so that the composite image before the replacement process and the composite replacement image after the replacement process can be compared. Displayed).

置換報知部４７は、図７の第１の態様、図８の第２の態様、図９の第３の態様の置換報知処理に加えて、図示しないスピーカーからＬＣＤ（表示部）２４に表示された合成画像が置換処理を施したものであることを知らせるメッセージを音声発信させてもよい。 The replacement notification unit 47 is displayed on the LCD (display unit) 24 from a speaker (not shown) in addition to the replacement notification processing of the first mode of FIG. 7, the second mode of FIG. 8, and the third mode of FIG. A message notifying that the synthesized image has been subjected to replacement processing may be transmitted by voice.

取込決定部４８は、ユーザ（撮影者）が置換報知部４７による報知結果を受けて合成置換画像を記録画像として取り込むか否かを決定するためのユーザインタフェースとして機能する。例えば、取込決定部４８は、ＬＣＤ（表示部）２４に「この合成画像には置換処理が施されていますがこれを保存しますか？」といったメッセージを表示させて、保存するか否かの決定処理をユーザ（撮影者）に促す。取込決定部４８は、合成置換画像を保存する旨の決定処理がなされた場合には、当該合成置換画像を画像メモリ２５に保存し、合成置換画像を保存しない旨の決定処理がなされた場合には、当該合成置換画像を破棄する。 The capture determination unit 48 functions as a user interface for the user (photographer) to receive the notification result from the replacement notification unit 47 and determine whether or not to capture the composite replacement image as a recorded image. For example, the import determining unit 48 displays a message such as “This composite image has been subjected to replacement processing, but is it saved?” On the LCD (display unit) 24, and whether or not to save it. To the user (photographer). When the determination process for saving the composite replacement image is performed, the capture determination unit 48 stores the composite replacement image in the image memory 25 and performs the determination process for not storing the composite replacement image In this case, the composite replacement image is discarded.

図１０のフローチャートを参照して、第１実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。このＲＲＳ撮影処理は、ＤＳＰ（制御装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。 With reference to the flowchart of FIG. 10, the RRS imaging process by the digital camera 10 of the first embodiment will be described. This RRS imaging process is realized by causing a computer of a DSP (control device) 40 to execute a predetermined program.

ステップＳ１では、イメージセンサ（撮像部）２２によって４枚の画像を時系列に撮像する。 In step S <b> 1, four images are captured in time series by the image sensor (imaging unit) 22.

ステップＳ２では、画像合成部４２が、イメージセンサ２２が撮像した４枚の画像を合成して合成画像を生成する。 In step S <b> 2, the image composition unit 42 synthesizes four images captured by the image sensor 22 to generate a composite image.

ステップＳ３では、置換判定部４６が、画像置換部４５が合成画像に置換処理を施して合成置換画像を生成したか否かを判定する。 In step S <b> 3, the replacement determination unit 46 determines whether the image replacement unit 45 has performed a replacement process on the composite image to generate a composite replacement image.

画像置換部４５が置換処理を施していないと置換判定部４６が判定した場合（ステップＳ３：Ｎｏ）、ステップＳ４において、置換処理が施されていない合成画像が「合成成功画像」として画像メモリ２５に保存される。 When the replacement determination unit 46 determines that the image replacement unit 45 has not performed the replacement process (step S3: No), in step S4, the composite image that has not been subjected to the replacement process is designated as a “successful composite image” in the image memory 25. Saved in.

画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ５において、置換報知部４７が、その合成置換画像をＬＣＤ（表示部）２４に表示させて、置換報知処理（警告表示）を実行する（例えば図７〜図９）。 When the replacement determination unit 46 determines that the image replacement unit 45 has performed the replacement process (step S3: Yes), the replacement notification unit 47 causes the LCD (display unit) 24 to display the composite replacement image in step S5. Then, a replacement notification process (warning display) is executed (for example, FIGS. 7 to 9).

ステップＳ６では、取込決定部４８が、置換報知部４７による報知結果を受けたユーザ（撮影者）による決定処理に従って、合成置換画像を記録画像として取り込むか否かを決定する。すなわち、ユーザ（撮影者）は、置換報知部４７による報知結果を参考にしながら合成置換画像を検証することで、当該合成置換画像の品質が許容できるレベルであるか否か（記録する価値があるか否か）を判断する。 In step S <b> 6, the capture determining unit 48 determines whether or not to capture the composite replacement image as a recorded image according to a determination process by the user (photographer) who has received the notification result from the replacement notification unit 47. In other words, the user (photographer) verifies the composite replacement image with reference to the notification result from the replacement notification unit 47, so that the quality of the composite replacement image is at an acceptable level (worth recording). Whether or not).

合成置換画像を記録画像として取り込むことを決定した場合（合成置換画像の品質が許容できるレベルであると判断した場合）（ステップＳ６：Ｙｅｓ）、ステップＳ７において、合成置換画像が「準合成成功画像」として画像メモリ２５に保存される。 When it is determined that the composite replacement image is to be captured as a recorded image (when it is determined that the quality of the composite replacement image is at an acceptable level) (step S6: Yes), the composite replacement image is “semi-synthesizing success image” in step S7. Is stored in the image memory 25.

合成置換画像を記録画像として取り込まないことを決定した場合（合成置換画像の品質が許容できないレベルであると判断した場合）（ステップＳ６：Ｎｏ）、ステップＳ８において、合成置換画像が失敗画像として破棄される。 When it is determined not to capture the composite replacement image as a recorded image (when it is determined that the quality of the composite replacement image is at an unacceptable level) (step S6: No), the composite replacement image is discarded as a failed image in step S8. Is done.

≪第２実施形態≫
図１１、図１２を参照して、第２実施形態のデジタルカメラ（撮影装置）１０について説明する。 << Second Embodiment >>
A digital camera (photographing device) 10 according to the second embodiment will be described with reference to FIGS. 11 and 12.

図１１に示すように、第２実施形態のＤＳＰ（制御装置）４０’は、第１実施形態のＤＳＰ（制御装置）４０の構成において、判定制御部４９をさらに追加したものである。第２実施形態のその他の構成は、第１実施形態の構成と同一なので、同一の符号を付して重複する説明を省略する。 As shown in FIG. 11, the DSP (control device) 40 ′ of the second embodiment is obtained by further adding a determination control unit 49 to the configuration of the DSP (control device) 40 of the first embodiment. Since the other configuration of the second embodiment is the same as the configuration of the first embodiment, the same reference numerals are given and redundant description is omitted.

判定制御部４９は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、当該合成置換画像が使用適格要件を満足するか否かを判定する。この「使用適格要件」は、置換報知処理を行った上で合成置換画像を記録画像として取り込むか否かをユーザ（撮影者）に問い合わせるまでもなく、合成置換画像を明らかな失敗画像として破棄すべきものであるか否か、を判断するための基準である。 When the replacement determination unit 46 determines that the image replacement unit 45 has performed the replacement process and generated the composite replacement image, the determination control unit 49 determines whether the composite replacement image satisfies the eligibility requirements for use. . This “eligibility requirement for use” is that the combined replacement image should be discarded as an apparent failure image without inquiring of the user (photographer) whether or not the combined replacement image should be captured as a recorded image after performing the replacement notification process. It is a standard for judging whether or not it is kimono.

より具体的に、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、合成置換画像が使用適格要件を満足するか否かを判定する。すなわち、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えていれば、合成置換画像が使用適格要件を満足していないと判定し、合成置換画像に占める置換領域の割合が所定の閾値を超えていなければ、合成置換画像が使用適格要件を満足していると判定する。 More specifically, the determination control unit 49 determines whether or not the composite replacement image satisfies the eligibility requirements based on whether or not the ratio of the replacement area in the composite replacement image exceeds a predetermined threshold. . That is, the determination control unit 49 determines that the composite replacement image does not satisfy the eligibility requirements for use if the ratio of the replacement region in the composite replacement image exceeds a predetermined threshold, and the replacement region in the composite replacement image If the ratio does not exceed a predetermined threshold, it is determined that the composite replacement image satisfies the eligibility requirements.

そして、判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。一方、判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき、当該合成置換画像を破棄した上で、イメージセンサ（撮像部）２２に４枚の画像の撮像を再実行させる。 When the determination control unit 49 determines that the composite replacement image satisfies the eligibility requirement, the determination notification unit 49 causes the replacement notification unit 47 to execute a replacement notification process (for example, FIGS. 7 to 9). On the other hand, when the determination control unit 49 determines that the composite replacement image does not satisfy the eligibility requirement, the determination control unit 49 discards the composite replacement image, and then re-executes the image sensor (imaging unit) 22 to capture four images. Let

図１２のフローチャートに示すように、画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ３５において、判定制御部４９が、合成置換画像が使用適格要件を満足するか否かを判定する。判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき（ステップＳ３５：Ｙｅｓ）、ステップＳ５に進んで、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき（ステップＳ３５：Ｎｏ）、合成置換画像を破棄した上で、ステップＳ１に戻って、イメージセンサ２２に４枚の画像の撮像を再実行させる。 As shown in the flowchart of FIG. 12, when the replacement determination unit 46 determines that the image replacement unit 45 has performed the replacement process (step S3: Yes), the determination control unit 49 uses the composite replacement image in step S35. Determine if you meet eligibility requirements. When the determination control unit 49 determines that the composite replacement image satisfies the eligibility requirement (step S35: Yes), the determination control unit 49 proceeds to step S5 and causes the replacement notification unit 47 to execute replacement notification processing (for example, FIGS. 7 to 9). ). When the determination control unit 49 determines that the composite replacement image does not satisfy the eligibility requirement for use (step S35: No), the composite replacement image is discarded, and then the process returns to step S1 and the image sensor 22 receives four images. Re-execute the imaging.

このように本実施形態によれば、置換報知部４７が、画像置換部４５が置換処理を施して合成置換画像を生成したときにその旨を報知するので、複数の画像を合成して合成画像を得るマルチショット合成（例えばＲＲＳ撮影）をユーザの利便性に富んだ形で好適に実行することができる。すなわち、置換処理が行われた場合、その旨をユーザ（撮影者）に報知することで、再撮影を促したり合成結果の成否を確認したりするなどの撮影結果に対するフォローが可能になる。特に、超解像撮影の成否をユーザ（撮影者）が判断できるようにするとともに、失敗していた場合のフォローについてもユーザ（撮影者）の意図に従った動作を実現することができる。 As described above, according to the present embodiment, the replacement notification unit 47 notifies the user when the image replacement unit 45 performs the replacement process and generates the composite replacement image. Multi-shot composition (for example, RRS photography) to obtain the image can be suitably executed in a form convenient for the user. That is, when the replacement process is performed, by notifying the user (photographer) of the fact, it is possible to follow the photographing result such as prompting re-photographing or confirming the success or failure of the composite result. In particular, it is possible for the user (photographer) to determine whether or not the super-resolution imaging is successful, and it is possible to realize an operation according to the intention of the user (photographer) for the follow-up in case of failure.

以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像を「複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。 In the above embodiment, in the RRS shooting mode, four images shot in time series while driving the image sensor 22 so as to draw a square of one pixel pitch in the plane orthogonal to the optical axis are defined as “a plurality of images”. The case has been described by way of example. However, the drive trajectory and drive pitch of the image sensor 22 and the number of “plural images” have a degree of freedom, and various design changes are possible. The direction in which the image sensor 22 is driven is not limited to a plane orthogonal to the optical axis of the photographic optical system, and may be any direction different from the optical axis of the photographic optical system. Furthermore, the “plurality of images” is not limited to those captured (acquired) in the RRS imaging mode, and may be any images that are continuously captured while changing the imaging conditions for the same subject.

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。 In the above embodiment, the image sensor 22 is assumed to be the “moving member” and the image sensor 22 is driven in the plane orthogonal to the optical axis. However, the present invention is not limited to this. For example, an optical element that forms at least a part of the photographing lens group (photographing optical system) 31 is a “moving member”, and this optical element is driven in a plane orthogonal to the optical axis by a voice coil motor provided in the photographing lens 30. Is also possible. Alternatively, it is also possible to adopt a mode in which both the image sensor 22 and the optical elements constituting at least a part of the photographing lens group (photographic optical system) 31 are “moving members” and are driven in a plane orthogonal to the optical axis.

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。 In the above embodiment, the DSP 40 and the image sensor drive circuit 60 are drawn as separate components (blocks), but an aspect in which these are realized as a single component (block) is also possible.

以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。 In the above embodiment, the image shake correction apparatus 50 is configured such that the magnets M1, M2, and M3 and the yokes Y1, Y2, and Y3 are fixed to the fixed support substrate 51, and the driving coils C1, C2, and C3 are connected to the movable stage 52. The case of fixing is described by way of example, but it is also possible to reverse the positional relationship, fix the magnet and the yoke to the movable stage, and fix the driving coil to the fixed support substrate.

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。 In the above embodiment, the mode in which the body main body 20 and the photographic lens 30 are detachable (lens exchangeable) has been described as an example, but the mode in which the body main body 20 and the photographic lens 30 are detachable (lens exchangeable) is not possible. Is also possible.

１０デジタルカメラ（撮影装置）
２０ボディ本体
２１シャッタ（撮影光学系）
２２イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）
ＲＧ（Ｇｒ、Ｇｂ）Ｂカラーフィルタ
２３絞り／シャッタ駆動回路
２４ＬＣＤ（表示部）
２５画像メモリ
２６撮影操作スイッチ
２７ジャイロセンサ（振れ検出部）
２８ＲＲＳ撮影モード設定部
３０撮影レンズ
３１撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２絞り（撮影光学系）
３３通信用メモリ
４０４０’ ＤＳＰ（制御装置）
４１画像入力部
４２画像合成部
４３基準画像決定部
４４置換領域算出部
４５画像置換部
４６置換判定部
４７置換報知部
４８取込決定部
４９判定制御部
５０像振れ補正装置
５１固定支持基板
５２可動ステージ
Ｍ１Ｍ２Ｍ３磁石
Ｙ１Ｙ２Ｙ３ヨーク
Ｃ１Ｃ２Ｃ３駆動用コイル
Ｈ１Ｈ２Ｈ３ホールセンサ（位置検出部）
６０イメージセンサ駆動回路 10 Digital camera (photographing device)
20 Body body 21 Shutter (shooting optical system)
22 Image sensor (image acquisition unit, imaging unit, moving member, shake correction member)
RG (Gr, Gb) B Color filter 23 Aperture / shutter drive circuit 24 LCD (display unit)
25 Image memory 26 Shooting operation switch 27 Gyro sensor (shake detection unit)
28 RRS photographing mode setting unit 30 photographing lens 31 photographing lens group (photographing optical system, moving member, shake correcting member)
32 Aperture (Optical system)
33 Communication memory 40 40 'DSP (control device)
41 Image input unit 42 Image composition unit 43 Reference image determination unit 44 Replacement region calculation unit 45 Image replacement unit 46 Replacement determination unit 47 Replacement notification unit 48 Acquisition determination unit 49 Determination control unit 50 Image shake correction device 51 Fixed support substrate 52 Movable Stage M1 M2 M3 Magnet Y1 Y2 Y3 Yoke C1 C2 C3 Driving coil H1 H2 H3 Hall sensor (position detector)
60 Image sensor drive circuit

Claims

An image acquisition unit for acquiring a plurality of images;
An image composition unit for compositing the plurality of images to generate a composite image;
An image replacement unit that generates a combined replacement image by performing a replacement process on at least a part of the combined image;
A replacement notification unit for notifying that the image replacement unit has performed the replacement process and generated a composite replacement image; and
A photographing apparatus comprising:

The imaging device according to claim 1,
The replacement notification unit is a photographing device that causes a display unit to display that a replacement image has been subjected to a replacement process together with a composite replacement image.

The imaging device according to claim 1,
The said permutation alerting | reporting part is an imaging device on which a display part displays the area | region which performed the substitution process among the synthetic | combination replacement images, and the area | region which did not perform the substitution process in a different display mode.

The imaging device according to claim 1,
The replacement notification unit causes the display unit to display the composite image before the replacement process and the composite replacement image after the replacement process in a displayable manner.

The photographing apparatus according to any one of claims 1 to 4,
An imaging apparatus further comprising an acquisition determining unit that receives a notification result from the replacement notification unit and determines whether to capture the composite replacement image as a recorded image.

The photographing apparatus according to any one of claims 1 to 5,
An imaging apparatus further comprising a determination control unit that determines whether or not the composite replacement image satisfies a use eligibility requirement when the image replacement unit performs the replacement process to generate a composite replacement image.

The imaging device according to claim 6, wherein
The determination control unit, when it is determined that the composite replacement image satisfies the eligibility requirement for use, causes the replacement notification unit to perform a replacement notification process, and when it is determined that the composite replacement image does not satisfy the eligibility requirement for use, An imaging apparatus that causes an image acquisition unit to re-execute acquisition of a plurality of images.

In the imaging device according to claim 6 or 7,
The determination apparatus is a photographing apparatus that determines whether or not the composite replacement image satisfies a use eligibility requirement based on whether or not a ratio of a replacement area in the composite replacement image exceeds a predetermined threshold.

The imaging device according to any one of claims 1 to 8,
The plurality of images are images taken by an image sensor that converts an object image formed by a photographing optical system into an electrical pixel signal, and the optical element that forms at least a part of the photographing optical system and the image Using at least one of the sensors as a moving member and moving the moving member in a direction different from the optical axis of the photographing optical system, the subject light flux after each movement is incident on a plurality of pixels having different detection colors of the image sensor. A photographic device that was taken.

An image acquisition step of acquiring a plurality of images;
An image combining step of combining the plurality of images to generate a combined image;
An image replacement step of generating a combined replacement image by performing a replacement process on at least a part of the combined image;
A replacement notification step for notifying that the replacement processing has been performed in the image replacement step to generate a composite replacement image;
A photographing method characterized by comprising:

An image composition unit that composes a plurality of images to generate a composite image;
An image replacement unit that generates a combined replacement image by performing a replacement process on at least a part of the combined image;
A replacement notification unit for notifying that the image replacement unit has performed the replacement process and generated a composite replacement image; and
A control device comprising:

An image synthesis step of generating a composite image by combining a plurality of images;
An image replacement step of generating a combined replacement image by performing a replacement process on at least a part of the combined image;
A replacement notification step for notifying that the replacement processing has been performed in the image replacement step to generate a composite replacement image;
A control method characterized by comprising:

An image synthesis step of generating a composite image by combining a plurality of images;
An image replacement step of generating a combined replacement image by performing a replacement process on at least a part of the combined image;
A replacement notification step for notifying that the replacement processing has been performed in the image replacement step to generate a composite replacement image;
A program that causes a computer to execute.