[go: up one dir, main page]

WO2010061627A1 - 振れ量測定システム、振れ量測定方法および撮像装置 - Google Patents

振れ量測定システム、振れ量測定方法および撮像装置 Download PDF

Info

Publication number
WO2010061627A1
WO2010061627A1 PCT/JP2009/006431 JP2009006431W WO2010061627A1 WO 2010061627 A1 WO2010061627 A1 WO 2010061627A1 JP 2009006431 W JP2009006431 W JP 2009006431W WO 2010061627 A1 WO2010061627 A1 WO 2010061627A1
Authority
WO
WIPO (PCT)
Prior art keywords
shake amount
shake
acquisition unit
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/006431
Other languages
English (en)
French (fr)
Inventor
橋秀幸
林謙一
日下博也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to US13/131,776 priority Critical patent/US8754949B2/en
Priority to JP2010540387A priority patent/JPWO2010061627A1/ja
Publication of WO2010061627A1 publication Critical patent/WO2010061627A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation

Definitions

  • the shake of the image pickup apparatus includes not only the rotation shake around the X axis, the Y axis, and the Z axis, but also translational shake caused by the parallel movement of the image pickup apparatus itself.
  • this translational shake includes rotational movement of the imaging device that occurs when the rotational center of the rotational shake is separated from the imaging device. Since the inventor of the present application has already verified that the influence of translational shake on an image cannot be ignored, in order to accurately measure the shake amount, it is necessary to consider not only the rotational shake amount but also the translational shake amount. There is.
  • the shake amount of the imaging apparatus is acquired as the second shake amount by the second shake amount acquisition unit by a method different from that of the first shake amount acquisition unit. Since the second shake amount is acquired by a method different from that of the first shake amount acquisition unit, the second shake amount does not include translational shake. Further, the translational shake amount of the imaging apparatus is obtained based on the first and second shake amounts by the third shake amount acquisition unit. As described above, in this shake amount measurement system, the shake amount of the housing can be acquired as the first shake amount and the second shake amount by two different methods. The amount can be acquired, and the measurement accuracy of the shake amount can be increased.
  • An imaging device disclosed herein includes a housing, an image acquisition unit, a first shake amount acquisition unit, a second shake amount acquisition unit, a second shake amount acquisition unit, and a third shake amount acquisition unit. And a shake correction device.
  • the image acquisition unit is housed in the housing and acquires image data of the subject.
  • the first shake amount acquisition unit acquires the shake amount of the housing as the first shake amount based on the image data acquired by the image acquisition unit.
  • the second shake amount acquisition unit acquires the shake amount of the housing as the second shake amount by a method different from that of the first shake amount acquisition unit.
  • the third shake amount acquisition unit acquires the translational shake amount of the housing based on the first shake amount and the second shake amount.
  • the shake correction device suppresses the influence of the shake of the housing on the image data based on the second shake amount and the third shake amount.
  • image processing includes a pattern matching process for comparing a plurality of different test patterns and a captured image, or a process for calculating a motion vector from the captured image.
  • a method different from the first shake amount acquisition unit for example, a method of detecting a shake amount using a physical change is conceivable. More specifically, for example, a mechanical gyro sensor using a rotational inertia force, an optical gyro sensor using a Sagnac effect, a MEMS (Micro Electro Mechanical Systems) gyro sensor using a Coriolis force, etc. It is conceivable to detect.
  • FIGS. 8A to 8C are diagrams showing the relationship between the Y-axis component Yc of the rotation center Oc and the first increase amount.
  • (A)-(C) The figure which shows the relationship between the Z-axis component Zc of the rotation center Oc, and 1st increase amount.
  • FIGS. 8A to 8C are diagrams illustrating the relationship between the translational shake amount ⁇ X of the camera and the second increase amount in the X-axis direction.
  • FIGS. 8A to 8C are diagrams illustrating the relationship between the translational shake amount ⁇ Y of the camera and the second increase amount in the Y-axis direction.
  • FIGS. 9A to 9C are diagrams illustrating the relationship between the translational shake amount ⁇ Z of the camera and the second increase amount in the Z-axis direction.
  • FIG. 1 shows the coordinate system of the camera 101.
  • the camera 101 is abbreviated in a cylindrical shape.
  • an orthogonal coordinate system (X, Y, Z) based on the optical axis A of the optical system of the camera 101 is set.
  • the Z axis coincides with the optical axis A.
  • rotational shake and translational shake can be considered.
  • the rotational shake refers to the shake of the camera 101 that occurs when the camera 101 rotates around a point that exists in the coordinate system.
  • Translational shake refers to shake of the camera 101 that occurs when the camera 101 moves with respect to the coordinate system in a state where the angle (posture) of the camera 101 with respect to the coordinate system does not change.
  • the translational shake includes a rotational movement of the camera 101 that occurs when the rotational center of the rotational shake is separated from the camera 101.
  • the camera shake of the camera 101 is obtained by combining these two shakes.
  • the rotation center of the camera shake is Oc (Xc, Yc, Zc), the rotation angle of the rotation shake around the X axis is the angle ⁇ x (pitch component), the rotation angle around the Y axis is the angle ⁇ y (yaw component) and Z
  • the rotation angle around the axis is defined as an angle ⁇ z (roll component).
  • the X-axis component of the translational shake V of the camera 101 is ⁇ X
  • the Y-axis component is ⁇ Y
  • the Z-axis component is ⁇ Z.
  • the optical system O is replaced with a single lens 102 for convenience.
  • the distance (shooting distance) from the lens 102 to the subject 103 when the camera 101 is not shaken is L, and the distance from the lens 102 to the image sensor 17 when the camera 101 is not shaken is f.
  • f is a focal length (for example, 35 mm equivalent)
  • D is an optical magnification.
  • the shake amount ⁇ x2 ′ is a rotational component of the shake amount of the camera 101 when the center E of the lens 102 is used as a reference, and the shake amount ⁇ x1 ′ is due to the shift of the rotation center Oc and the center E of the lens 102.
  • This is a translational component of the amount of camera 101 shake that occurs.
  • the shake amount ⁇ bx ′ is expressed by the following equation.
  • FIG. 3 is a diagram schematically showing the influence of the rotation angle ⁇ y on the shake amount.
  • the optical system O is replaced with a single lens 102, and the distance (photographing distance) from the lens 102 to the subject 103 when the camera 101 is not shaken is L.
  • the distance from the lens 102 to the image sensor 17 in a state where no shake of 101 occurs is assumed to be f ⁇ D.
  • f is a focal length (for example, 35 mm equivalent)
  • D is an optical magnification.
  • the shake amount ⁇ y2 ′ is a rotational component of the shake amount of the camera 101 when the center E of the lens 102 is used as a reference
  • the shake amount ⁇ y1 ′ is a camera that is generated due to a shift between the rotation center Oc and the center E of the lens 102.
  • 101 is a translational component of the shake amount of 101.
  • the translational shake amount ⁇ y3 ′ of the camera 101 is expressed by the following expression.
  • FIGS. 4A and 4B illustrate the amount of shake ⁇ z2 of the camera 101 when the rotation center Oc coincides with the center E of the lens 102.
  • FIG. FIG. FIG. 5 is a diagram for explaining the shake amount ⁇ z ⁇ b> 1 when the rotation center Oc is deviated from the center E of the lens 102.
  • the lens 102 rotates about the optical axis A by an angle ⁇ z.
  • the width W of the subject 103 is expressed by the following equation.
  • the shake amount ⁇ z2 is expressed by the following equation.
  • the image shake amount is a displacement amount of the optical image with respect to the image sensor 17 caused by the shake of the camera 101.
  • the pitch component, yaw component, and roll component of the image blur amount are calculated based on the above-described pitch component ⁇ bx ′, yaw component ⁇ by ′, and roll component ⁇ bz, and each is represented by the number of pixels. From FIG. 6, when the optical magnification D is small, the pitch component, yaw component, and roll component of the image shake amount are similar, but as the optical magnification D increases, the pitch component and yaw component of the image shake amount increase. You can see that
  • FIGS. 7A to 7C show the relationship between the X axis component Xc of the rotation center Oc and the first increase amount
  • FIGS. 8A to 8C show the Y axis component Yc of the rotation center Oc and the first increase amount
  • FIGS. 9A to 9C show the relationship between the Z-axis component Zc of the rotation center Oc and the first increase amount.
  • the first increase amount is an image shake amount that increases when the rotation center Oc is shifted from the center E of the lens 102, and is an image shake amount corresponding to the above-described shake amounts ⁇ x1 ′ and ⁇ y1 ′.
  • FIGS. 11A to 11C show the relationship between the translational shake amount ⁇ Y of the camera 101 and the second increase amount in the Y-axis direction.
  • 12A to 12C show the relationship between the translational shake amount ⁇ Z of the camera 101 and the second increase amount in the Z-axis direction.
  • the horizontal axis indicates the optical magnification D
  • the vertical axis indicates the second increase amount.
  • a plurality of test patterns are sequentially generated by the test pattern display device 5 at a predetermined update period, as in the above-described method.
  • Display S1
  • the LED elements 72 of the synchronization signal generating device 7 are sequentially caused to emit light at a predetermined cycle (S2).
  • the test pattern display device 5 and the synchronization signal generation device 7 are photographed by the camera 2, and pattern matching processing is performed on the photographed image, whereby the pitch component, yaw component, and roll component of the shake amount of the camera 2 are converted into the first shake amount. (S3, S4, S5).
  • the pitch component, yaw component, and roll component of the shake amount of the camera 2 are calculated as the second shake amount based on the output of the three-axis gyro sensor 3 attached to the camera 2 (S6, S7).
  • the camera 2 is a digital still camera capable of taking a still image, for example, and includes a housing 23, a shutter button detection unit 21, and an image acquisition unit 22. ing. Since the housing 23 constitutes the body of the camera 2, hereinafter, “the shake amount of the camera 2” also means the shake amount of the housing 23.
  • the shutter button detector 21 detects that a shutter button (not shown) has been operated.
  • the image acquisition unit 22 is a unit that acquires image data of an optical image formed by an optical system (not shown), and has an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). ing. When the shutter button is turned on by the shutter button detection unit 21, exposure preparation operations such as a focusing operation and an aperture adjustment operation are performed, and an image is acquired by the image acquisition unit 22.
  • the three-axis gyro sensor 3 is a sensor for detecting the shake amount of the camera 2 using a physical change caused by the shake of the camera 2, and is, for example, a MEMS gyro sensor. is there.
  • the triaxial gyro sensor 3 is a sensor different from the gyro sensor built in the camera 2 and can be removed at the upper part of the camera 2 (more specifically, the upper part of the housing 23) as shown in FIG. It is installed. Since the triaxial gyro sensor 3 is a detachable type, various camera shake amounts can be easily detected.
  • the triaxial gyro sensor 3 detects angular velocities around the X axis, the Y axis, and the Z axis of the camera 2 at a predetermined cycle. These angular velocities are output from the three-axis gyro sensor 3 at a predetermined cycle.
  • the output angular velocity is integrated and converted into an angle by a second shake amount calculation unit 45 (described later) shown in FIG. Thereby, the rotational shake amount (an example of the second shake amount) of the camera 2 can be calculated.
  • the test pattern display device 5 is a device for calculating the shake amount of the camera 2 using image processing. As shown in FIG.
  • control device 51 (first synchronization signal generator) And a liquid crystal monitor 55 (an example of a pattern display unit).
  • the control device 51 is a device that controls the display of the liquid crystal monitor 55.
  • the control device 51 includes a display control unit 53 that controls the display of the liquid crystal monitor 55, and a test pattern storage unit 52 that stores a plurality of test patterns.
  • the display control unit 53 controls the liquid crystal monitor 55 so that a plurality of test patterns stored in the test pattern storage unit 52 are sequentially displayed in a predetermined cycle.
  • nine test patterns P 1 to P 9 having different patterns are stored in the test pattern storage unit 52.
  • These nine test patterns P1 to P9 are sequentially displayed on the liquid crystal monitor 55 by the display control unit 53 at a cycle of 60 [Hz], which is the same as the frame rate of the moving image display, for example.
  • Each test pattern has four black circles B. Since the number of test patterns is 9, there are a total of 36 black circles B on the image formed by combining all the test patterns.
  • the 36 black circles B are arranged at different positions with a predetermined interval, even if the nine test patterns P1 to P9 are overlapped, any one of the 36 black circles B is another black circle. There is no overlap with B. Further, since the interval between the black circles B is wider than the distance corresponding to the shake amount, the accuracy of the pattern matching process can be ensured.
  • the display control unit 53 generates a pattern synchronization signal (an example of a first synchronization signal) simultaneously with displaying the first test pattern P1.
  • the pattern synchronization signal is output from the display control unit 53 to the shake amount calculation device 4 at the same cycle as the cycle of the test patterns P1 to P9 (that is, 9/60 [ms]).
  • This pattern synchronization signal is used when counting time T4.
  • the synchronization signal generation device 7 is a device that displays changes in time so as to be visually distinguishable, and is arranged along with the liquid crystal monitor 55.
  • the synchronization signal generation device 7 includes a light emitting unit 71 (an example of a second display unit) and an LED drive control unit 73 (an example of a second synchronization signal generation unit). As shown in FIG. 17, the light emitting unit 71 has a plurality of LED elements 72 (light emitting diodes) regularly arranged. In the present embodiment, the light emitting unit 71 has 256 LED elements 72 arranged in the vertical 16 and horizontal 16 directions.
  • the LED drive control unit 73 is a unit that controls the light emitting operation of the light emitting unit 71, and sequentially causes the 256 LED elements 72 to emit light one by one. Specifically, the position of the LED element 72 that is lit in order from the upper left LED element L0 to the right side changes. After the uppermost 16 LED elements 72 (L0 to L15) are lit, the lower 16 LED elements 72 (L16 to L31) are lit in order from the left side. After the lower right LED element L255 is turned on, lighting is started again in order from the LED element L0. The lighting time of one LED element 72 is 1 [ms], and the LED element 72 to be lit is switched every 1 [ms]. That is, the light emission of all the LED elements 72 is completed in 256 [ms].
  • the elapsed time from a certain point in time can be visually discriminated within a time range shorter than 256 [ms]. That is, it can be said that the synchronization signal generation device 7 displays the change in time so that it can be visually discriminated.
  • the LED drive control unit 73 causes the upper left LED element L0 to emit light and simultaneously generates an LED synchronization signal (an example of a second synchronization signal).
  • the LED synchronization signal is output from the LED drive control unit 73 to the shake amount calculation device 4 at the same cycle as the cycle of the light emitting unit 71 (that is, 256 [ms]). This LED synchronization signal is used when counting time T1.
  • Shake amount computing device The shake amount computing device 4 is based on the signals transmitted from the camera 2, the 3-axis gyro sensor 3, the test pattern display device 5, and the synchronization signal generating device 7 and the captured image. This is a device for calculating the translational shake amount, and as shown in FIG.
  • the arithmetic device body 4 a is electrically connected to the camera 2, the three-axis gyro sensor 3, the test pattern display device 5, and the synchronization signal generation device 7.
  • the monitor 4b is a device that displays a calculation result or the like in the arithmetic device main body 4a, and is electrically connected to the arithmetic device main body 4a.
  • the second shake amount calculation unit 45 receives the angular velocities ⁇ x (t), ⁇ y (t), and ⁇ z (t) output from the triaxial gyro sensor 3 at a predetermined cycle, and receives the received angular velocities ⁇ x (t), ⁇ y. From (t) and ⁇ z (t), rotation angles ⁇ p (t), ⁇ y (t), and ⁇ r (t) about the X axis, the Y axis, and the Z axis are calculated (see FIG. 15).
  • the rotation lengths f2p (t), f2y (t), and f2r (t) in which the rotation angle is converted into the length based on the shooting distance L and the rotation angles ⁇ p (t), ⁇ y (t), and ⁇ r (t). ) May be calculated by the second shake amount calculation unit 45.
  • the rotation angles ⁇ p (t), ⁇ y (t) and ⁇ r (t) (or the rotation lengths f2p (t), f2y (t) and f2r (t)) calculated by the second shake amount calculation unit 45 are time
  • the information is temporarily stored in the second shake amount storage unit 46 together with the information t.
  • the LED elements 72 that are turned on are switched by the LED drive control unit 73 at a predetermined cycle (1 [ms]). Accordingly, as shown in FIG. 19, the LED drive control unit 73 outputs an LED synchronization signal to the shake amount calculation device 4 at a predetermined cycle (256 [ms]). More specifically, the LED synchronization signal is output from the LED drive control unit 73 to the time calculation unit 40 at the moment when the upper left LED element L0 is turned on toward the light emitting unit 71.
  • the angular velocities ⁇ p (t), ⁇ y (t), and ⁇ r (t) of the camera 2 are detected by the three-axis gyro sensor 3. These angular velocities ⁇ p (t), ⁇ y (t), and ⁇ r (t) are output from the triaxial gyro sensor 3 to the second shake amount calculator 45 at a predetermined cycle. Since the cycle in which the angular velocity is detected is shorter than the aforementioned test pattern switching cycle (60 [Hz]), it is possible to improve the calculation accuracy when synchronizing the first shake amount and the second shake amount. The period in which the angular velocity is detected is, for example, 1 [ms].
  • the camera 2 is used to photograph the liquid crystal monitor 55 and the synchronization signal generation device 7 without using the shake correction function of the camera 2. Specifically, when the shutter button of the camera 2 is pressed, the shutter button detection unit 21 detects that the shutter button has been pressed. As a result, exposure preparation operations such as a focusing operation and an aperture adjustment operation are performed in each part of the camera 2, and a shutter (not shown) operates at a predetermined shutter speed when the exposure preparation is completed.
  • a captured image I0 (see FIG. 20) including the image of the liquid crystal monitor 55 and the image of the synchronization signal generation device 7 is acquired by the image acquisition unit 22, and the captured image is stored in the captured image storage unit 47 shown in FIG. I0 is stored.
  • the liquid crystal monitor 55 and the synchronization signal generator 7 are shown side by side in the captured image I0.
  • a total of 28 black circles B are displayed on the screen of the liquid crystal monitor 55 shown in the photographed image I0. This means that the photographed test patterns are seven.
  • the light emitting unit 71 that appears in the captured image I0 some of the LED elements 72 are turned on and the remaining LED elements 72 are turned off.
  • the LED synchronization signal is output from the LED drive control unit 73 to the time calculation unit 40 at the same time when the LED element L0 is turned on.
  • the time calculation unit 40 receives the LED synchronization signal, it finishes counting the time T1 and temporarily stores the counted time T1.
  • the exposure preparation time T3 is calculated by the time calculation unit 40 based on the following equation (23).
  • test pattern update period 60 [Hz]
  • seven test patterns are displayed on the liquid crystal monitor 55 during the exposure time of 125 [ms].
  • the degree of coincidence of the two images is low.
  • the position of each test pattern is adjusted. Calculated as f1p (t) and f1y (t).
  • the test pattern first displayed on the liquid crystal monitor 55 during the exposure period is a test pattern with a high degree of matching arranged next to a test pattern with a low degree of matching. That is, in this embodiment, as shown in FIG. 23, the eighth test pattern P8 is a test pattern that is first displayed on the liquid crystal monitor 55 during the exposure period. As described above, since the test pattern is displayed on the liquid crystal monitor 55 at a predetermined update period ⁇ t (60 [Hz]), as shown in FIG. The time T6 until the time is represented by the following formula (24).
  • the time tn is expressed by the following equation (26).
  • the translational shake amount calculation unit 44 selects the second shake amounts f2p (tn ′) and f2y (tn ′) by seven.
  • the shake amount of the camera 2 is acquired as the first shake amounts f1p (t) and f1y (t) by the pattern matching processing unit 42 using image processing. Since the first shake amounts f1p (t) and f1y (t) are calculated using image processing, the first shake amounts f1p (t) and f1y (t) include the translational shake of the camera 2. Yes.
  • the translational shake includes a shake that occurs when the camera 2 moves in parallel, or a rotational movement of the camera 2 that occurs when the center of rotation is away from the camera 2.
  • the shake amount of the camera 2 is acquired as the second shake amounts f2p (t) and f2y (t) by a method different from the first shake amount.
  • the second shake amounts f2p (t) and f2y (t) are acquired by the three-axis gyro sensor 3 and the second shake amount calculation unit 45.
  • the second shake amount includes only the rotational shake amount of the camera 2 and does not include the translational shake described above.
  • the translational shake amount calculation unit 44 acquires the translational shake amount based on the first shake amount and the second shake amount.
  • the shake amount of the camera 2 can be acquired as the first shake amount and the second shake amount by two different methods.
  • the translational shake amount calculation unit 44 calculates the translational shake amount using the acquired synchronization information, the first shake amount and the second shake amount can be correlated in time, and the first shake amount at the same timing The translational shake amount can be acquired based on the second shake amount. Thereby, the detection accuracy of the translational shake amount can be increased.
  • the shake amount measuring system 1 since the synchronization signal generation device 7 displays the change in time in a visually distinguishable manner, time information necessary for synchronization can be read from the captured image I0. Specifically, since the LED element 72 that can shorten the driving time is used, the resolution of time information can be increased. In particular, since the lighting of the LED element 72 is switched in a cycle (1 [ms]) shorter than the test pattern update cycle (60 [Hz]), the time when the test pattern is displayed is accurately determined using the captured image I0. Can be specified.
  • the shake amount measuring system 1 image processing in the pattern matching processing unit 42 is performed based on the captured image I 0 acquired by the camera 2. Since the captured image I0 includes the image of the synchronization signal generation device 7 and the image of the liquid crystal monitor 55, the time when the test pattern is displayed on the liquid crystal monitor 55 is accurately specified using the image of the synchronization signal generation device 7. it can. As a result, the first shake amount and the second shake amount can be accurately synchronized.
  • the translational shake amount is calculated using the difference between the first shake amount and the second shake amount. Specifically, since the translational shake amount is calculated using the equations (21) and (22), it is possible to measure the translational shake amount that is difficult to measure with the conventional technique.
  • the first shake amount (translational shake amount) may be calculated by calculating a motion vector from the captured image.
  • the same reference numerals are given to configurations having substantially the same functions, and detailed descriptions thereof are omitted.
  • the rotational shake amount ⁇ p (t) in the pitch direction of the camera 112 the motion vector f1p (t), and the shooting distance L are known, the translational shake amount fy ( t) can be calculated. Also, as shown in FIG.
  • the camera 112 has the following configuration.
  • the camera 112 (an example of an imaging device) includes a housing 180 (see FIGS. 25 and 26), an optical system (not shown), an image acquisition unit 122, and 3
  • An axis gyro sensor 113, a focus detection device 114, a controller 104, a shutter button 125, a liquid crystal monitor 160, and a shake correction device 170 are provided.
  • the housing 180 accommodates each part.
  • the image acquisition unit 122 is a unit for acquiring image data of a subject, and includes an image sensor 123 and a drive circuit 124 for driving the image sensor 123.
  • the image sensor 123 is, for example, a CCD.
  • the drive circuit 124 generates a vertical synchronization signal that serves as a reference for the timing at which the image sensor 123 starts discharging or accumulating charges.
  • the image acquisition unit 122 is accommodated in the housing 180.
  • the 3-axis gyro sensor 113 is a sensor for detecting angular velocities around the X axis, the Y axis, and the Z axis of the camera 112, and is different from the motion vector calculation unit 142 that functions as the first shake amount acquisition unit. Thus, the rotational shake amount of the housing 180 is acquired as the second shake amount.
  • the triaxial gyro sensor 113 only needs to detect at least angular velocities around the X axis and the Y axis.
  • a first correction mode in which correction is started after the shutter button 125 is half-pressed and a second correction mode in which correction is started after the shutter button 125 is fully pressed can be considered.
  • centering for mechanically or electrically holding the correction lens at the center position is performed by the drive unit.
  • the focus detection device 114 realizes an autofocus function using, for example, a contrast detection method or a phase difference detection method.
  • the focus detection device 114 can measure the distance from the camera 112 to the subject.
  • the controller 104 is a unit that controls the camera 112, and includes an image processing unit 198, a captured image recording unit 147, a motion vector calculation unit 142, a first shake amount storage unit 143, a translational shake amount calculation unit 144, An exposure preparation control unit 199, a shutter button detection unit 121, a second shake amount calculation unit 145, a second shake amount storage unit 146, a total shake amount calculation unit 148, and a shake correction control unit 151 are provided. ing.
  • the image processing unit 198 performs predetermined processing such as digitization processing on the image acquired by the image acquisition unit 122.
  • the captured image recording unit 147 stores the image data processed by the image processing unit 198 as a captured image.
  • the motion vector calculation unit 142 (an example of a first shake amount acquisition unit) detects a motion vector based on the captured image (an example of image data) acquired by the image acquisition unit 122.
  • a method for detecting a motion vector for example, a method of calculating a motion of a representative point between two images can be given.
  • the first shake amount storage unit 143 stores the shake amounts (f1p (t), f1y (t)) obtained by the motion vector calculation unit 142 as the first shake amount.
  • the second shake amount storage unit 146 stores the rotation angles ⁇ p (t) and ⁇ y (t) calculated by the second shake amount calculation unit 145 as the second shake amount.
  • the translational shake amount calculation unit 244 (an example of a third shake amount acquisition unit) includes a first shake amount stored in the first shake amount storage unit 243 and a second shake amount stored in the second shake amount storage unit 246. Then, the translational shake amount (an example of the third shake amount) of the casing 180 is calculated. Specifically, the translational shake amount fx (t) and fy (t) are calculated by the translational shake amount calculation unit 244 using the above-described equations (21) and (22).
  • the shake correction control unit 151 controls the shake correction device 170 based on the total shake amounts ⁇ pf and ⁇ yf calculated by the total shake amount calculation unit 148. Specifically, the shake correction control unit 151 transmits target position information of the correction lens to the shake correction device 170 so that the correction lens is driven by the drive unit at a position corresponding to the total shake amount. When the shake correction function is OFF, the shake correction control unit 151 controls the shake correction device 170 so that the correction lens is held at the center position.
  • the operation of the camera 112 will be described with reference to FIG.
  • a case where the second correction mode is selected as the shake correction mode and the live view mode is selected as the shooting mode will be described.
  • the state of the shutter button 125 is monitored by the shutter button detection unit 121 while displaying the real-time image of the subject on the liquid crystal monitor 160 (S11).
  • the shutter button detector 121 detects the half-press, and the shutter button detector 121 outputs a half-press signal (an example of first operation information).
  • a half-press signal is output from the shutter button detection unit 121, autofocus is performed by the focus detection device 114, and further, the amount of rotational shake is detected (S12).
  • the motion vector calculation unit 142 calculates the motion vectors in the pitch direction and the yaw direction as the first shake amounts f1p (t) and f1y (t). As shown in FIGS. 25 and 26, here, the motion vector is converted into a vector on the subject.
  • a vertical synchronization signal is sequentially sent from the drive circuit 124 to the image sensor 123 at a predetermined cycle (for example, 30 Hz of the frame rate in the live view mode). Is output.
  • the vertical synchronization signal is also sent from the drive circuit 124 to the translational shake amount calculation unit 144.
  • the translational shake amount calculation unit 144 can grasp the timing at which a captured image is acquired by the image sensor 123.
  • the translational shake amount calculation unit 144 uses the half-push signal as a reference and the first shake obtained at approximately the same time. Select the amount and the second runout amount. Specifically, as shown in FIG. 30, a vertical synchronizing signal input simultaneously with the half-pressing signal or immediately after the half-pressing signal is specified by the translational shake amount calculation unit 144, and the vertical synchronizing signal is simultaneously with the vertical synchronizing signal or the vertical synchronizing signal.
  • the second shake amounts ⁇ p (t1) and ⁇ y (t1) input immediately after are extracted by the translational shake amount calculation unit 144.
  • the shutter button detection unit 121 When the shutter button 125 is fully pressed, the shutter button detection unit 121 outputs a full press signal. Based on this full-press signal (an example of second operation information), the processing in steps S12 to S15 is stopped. Specifically, when the shutter button 125 is fully pressed, the translational shake amount calculation unit 144 receives a full press signal from the shutter button detection unit 121. Based on this full-press signal, the translational shake amount computing unit 144 stops the translational shake amount calculation process. On the other hand, when the translational shake amount calculation unit 144 receives the full press signal, the 3-axis gyro sensor 113 and the second shake amount calculation unit 145 detect the rotational shake amount.
  • the full-press signal an example of second operation information
  • the rotational shake amount when the full-press operation is performed is extracted from the second shake amount storage unit 146 as the second shake amount by the translational shake amount calculation unit 144.
  • the total shake amount calculation unit 148 calculates the total shake amount using the rotational shake amount and the translational shake amount (S18).
  • the translational shake amount finally calculated in step S15 is used as the translational shake amount, but the latest rotational shake amount detected in step S17 is used as the rotational shake amount.
  • an average value or a predicted value may be calculated using a plurality of data calculated so far, and the value may be used.
  • the total shake amount includes not only the rotational shake amount but also the translational shake amount, it is possible to realize a high shake correction performance in consideration of the translational shake and to capture the shake of the camera 112. The influence on the image can be effectively suppressed.
  • the translational shake amount calculation flow in steps S12 to S15 is started after the half-press operation of the shutter button 125, but the translational shake amount calculation flow is started in a further previous stage. Configuration is also conceivable.
  • the shooting mode is switched to the live view mode, detection of the rotational shake amount, calculation of the motion vector, detection of the shooting distance, and calculation of the translational shake amount may be started.
  • the shooting mode is the live view mode and the continuous autofocus mode in which autofocus is continuously performed is set will be described. As shown in FIG.
  • the time information acquisition unit 249 receives the vertical synchronization signal after the shutter button is pressed based on the vertical synchronization signal output from the drive circuit 224 (more precisely, after the shutter timing signal is received by the time information acquisition unit 249). Count the time to receive. Thereby, it is possible to specify the timing at which the image is acquired with reference to the time when the shutter button is ON.
  • the vertical synchronization signal transmitted to the image sensor 17 may be used in the same manner as the camera 112 in order to obtain synchronization.
  • the synchronization signal generator 7 can be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Gyroscopes (AREA)

Abstract

　振れ量測定システム（１）は、カメラ（２）の振れ量を測定するための装置であって、第１振れ量取得部と、第２振れ量取得部と、第３振れ量取得部と、を備えている。第１振れ量取得部は画像処理を用いてカメラ（２）の振れ量を第１振れ量として取得する。第２振れ量取得部は第１振れ量取得部とは異なる方法でカメラ（２）の振れ量を第２振れ量として取得する。第３振れ量取得部は第１振れ量および第２振れ量に基づいてカメラ（２）の並進振れ量を取得する。

Description

振れ量測定システム、振れ量測定方法および撮像装置
　ここに開示されている技術は、撮像装置の振れ量を測定するための振れ量測定システムおよび振れ補正機能を有する撮像装置に関する。
　撮影時に撮像装置が振れると、光学系により形成される光学像が撮像素子に対して変位し、取得された画像がぼけるおそれがある。そこで、撮像装置の振れが画像に与える影響を低減するために、振れ補正装置が用いられている。
　例えば、振れ補正装置は、補正レンズを駆動する振れ補正ユニットと、筺体の振れ量を検出する角速度センサと、角速度センサの出力に応じて振れ補正ユニットの動作を制御する補正制御部と、を有している。この振れ補正装置が搭載された撮像装置では、角速度センサにより検出された振れ量に基づいて、撮像素子に対する光学像の変位が抑制されるように、補正レンズが振れ補正ユニットにより駆動される。これにより、撮像装置の振れが画像に与える影響を低減することができ、良好な画像を取得することができる（例えば、特許文献１を参照）。
特開平３－３７６１６号公報 国際公開第０８／０７８５３７号
　ところで、撮像装置の振れ量を測定するために、特許文献２に開示される振れ量測定システムが提案されている。この振れ量測定システムは、様々な撮像装置の振れ量を測定するための装置であり、複数のテストパターンを順次表示する表示部と、複数のテストパターンを記憶する記憶部と、パターンマッチング処理部と、を有している。パターンマッチング処理部では、撮像装置により取得された表示部の画像と、複数のテストパターンと、の間でパターンマッチング処理が行われる。これにより、テストパターンの画像に表れる撮像装置の振れ量をテストパターンごとに算出することができ、撮像装置の振れ量の時系列データを取得できる。
　撮像装置の振れには、Ｘ軸回り、Ｙ軸回りおよびＺ軸回りの回転振れだけでなく、撮像装置自体が平行移動することで生じる並進振れが存在する。また、この並進振れには、回転振れの回転中心が撮像装置から離れることで生じる撮像装置の回転移動も含まれている。本願発明者は並進振れが画像に与える影響は無視できないレベルであることをすでに検証しているため、振れ量を正確に測定するためには、回転振れ量だけでなく並進振れ量も考慮する必要がある。
　しかし、前述の振れ量測定システムでは、並進振れは考慮されておらず、パターンマッチングにより得られた振れ量は撮像装置の回転振れとして演算されているため、並進振れ量を測定することができない。つまり、従来の測定装置では振れ量の測定精度を高めることが困難である。
　また、並進振れ量の影響は比較的大きいので、並進振れ量を考慮した振れ補正装置が必要とされているが、並進振れ量を測定するために加速度センサを搭載すると、機器のコストアップを招くことになる。また、加速度センサの検出精度は並進振れ量を検出するセンサとしては問題がある。
　ここに開示されている技術は、振れ量の測定精度を高めることができる振れ量測定システムを提供することを課題とする。また、ここに開示されている技術は、撮像装置の振れ補正性能を高めることを課題とする。
　ここに開示されている振れ量測定システムは、撮像装置の振れ量を測定するための装置であって、第１振れ量取得部と、第２振れ量取得部と、第３振れ量取得部と、を備えている。第１振れ量取得部は画像処理を用いて撮像装置の振れ量を第１振れ量として取得する。第２振れ量取得部は第１振れ量取得部とは異なる方法で撮像装置の振れ量を第２振れ量として取得する。第３振れ量取得部は第１振れ量および第２振れ量に基づいて撮像装置の並進振れ量を取得する。
　この振れ量測定システムでは、第１振れ量取得部により撮像装置の振れ量が画像処理を用いて第１振れ量として取得される。画像処理を利用しているため、第１振れ量には撮像装置が平行移動（並進）した際の振れ量、あるいは回転振れの回転中心が撮像装置から離れていることで生じる撮像装置の回転移動、も含まれている。
　一方で、第１振れ量取得部とは異なる方法で、第２振れ量取得部により撮像装置の振れ量が第２振れ量として取得される。第１振れ量取得部とは異なる方法で第２振れ量が取得されているため、第２振れ量には並進振れが含まれていない。
　さらに、第３振れ量取得部により第１および第２振れ量に基づいて撮像装置の並進振れ量が取得される。
　このように、この振れ量測定システムでは、２つの異なる方法で筐体の振れ量を第１振れ量および第２振れ量として取得できるため、第１振れ量および第２振れ量を用いて並進振れ量を取得することができ、振れ量の測定精度を高めることができる。
　ここに開示されている撮像装置は、筺体と、画像取得部と、第１振れ量取得部と、第２振れ量取得部と、第２振れ量取得部と、第３振れ量取得部と、振れ補正装置と、を備えている。画像取得部は、筐体に収容されており、被写体の画像データを取得する。第１振れ量取得部は、画像取得部により取得された画像データに基づいて筺体の振れ量を第１振れ量として取得する。第２振れ量取得部は、第１振れ量取得部とは異なる方法で筺体の振れ量を第２振れ量として取得する。第３振れ量取得部は、第１振れ量および第２振れ量に基づいて筺体の並進振れ量を取得する。振れ補正装置は、第２振れ量および第３振れ量に基づいて筐体の振れが画像データに与える影響を抑制する。
　この撮像装置では、第１振れ量取得部により筐体の振れ量が画像処理を用いて第１振れ量として取得される。画像処理を利用しているため、第１振れ量には筐体が平行移動（並進）した際の振れ量、あるいは回転振れの回転中心が筐体から離れていることで生じる筐体の回転移動、も含まれている。
　一方で、第１振れ量取得部とは異なる方法で、第２振れ量取得部により筐体の振れ量が第２振れ量として取得される。第１振れ量取得部とは異なる方法で第２振れ量が取得されているため、第２振れ量には並進振れが含まれていない。
　さらに、第３振れ量取得部により第１および第２振れ量に基づいて筐体の並進振れ量が取得される。
　このように、この撮像装置では、２つの異なる方法で筐体の振れ量を第１振れ量および第２振れ量として取得できるため、第１振れ量および第２振れ量を用いて並進振れ量を取得することができる。したがって、並進振れ量を考慮して振れ補正を行うことができ、振れ補正性能を高めることができる。
　ここで、「画像処理」には、互いに異なる複数のテストパターンと、撮影画像と、を比較するパターンマッチング処理、あるいは、撮影画像から動きベクトルを算出する処理などが考えられる。また、第１振れ量取得部とは異なる方法としては、例えば、物理的な変化を利用して振れ量を検出する方法が考えられる。より具体的には、例えば、回転慣性力を利用した機械式ジャイロセンサ、サニャック効果を利用した光学式ジャイロセンサ、コリオリの力を利用したＭＥＭＳ（Micro Electro Mechanical Systems）式ジャイロセンサなどにより振れ量を検出することが考えられる。
カメラの座標系を示す図 回転角度θｘが振れ量に与える影響の模式図 回転角度θｙが振れ量に与える影響の模式図 （Ａ）および（Ｂ）回転中心Ｏｃがレンズ１０２の中心Ｅと一致している場合の振れ量Δｚ２を説明するための図 回転中心Ｏｃがレンズ１０２の中心Ｅからずれている場合の振れ量Δｚ１を説明するための図 振れ量のピッチ成分、ヨー成分およびロール成分の計算結果 （Ａ）～（Ｃ）回転中心ＯｃのＸ軸成分Ｘｃと第１増加量との関係を示す図 （Ａ）～（Ｃ）回転中心ＯｃのＹ軸成分Ｙｃと第１増加量との関係を示す図 （Ａ）～（Ｃ）回転中心ＯｃのＺ軸成分Ｚｃと第１増加量との関係を示す図 （Ａ）～（Ｃ）Ｘ軸方向におけるカメラの並進振れ量ΔＸと第２増加量との関係を示す図 （Ａ）～（Ｃ）Ｙ軸方向におけるカメラの並進振れ量ΔＹと第２増加量との関係を示す図 （Ａ）～（Ｃ）Ｚ軸方向におけるカメラの並進振れ量ΔＺと第２増加量との関係を示す図 振れ量測定システムの概略構成図 振れ量測定方法の概略フロー図 カメラの振れ量を示す図 振れ量測定システムの詳細構成図 同期信号生成装置の正面図 テストパターンの説明図 振れ量測定時のタイミングチャート 撮影画像の一例 撮影画像のうち発光部に対応する範囲の一例 撮影画像のうち液晶モニタに対応する範囲の一例 タイミングチャートとテストパターンとの比較図 振れ量のデータ構成の概略図 並進振れ量の算出方法を示す図（ピッチ方向） 並進振れ量の算出方法を示す図（ヨー方向） カメラの概略構成図（第２実施形態） カメラのタイミングチャート（第２実施形態） カメラのフローチャート（第２実施形態） タイミングチャートの拡大図（第２実施形態） カメラのフローチャート（第３実施形態） カメラのフローチャート（第３実施形態） カメラのフローチャート（第４実施形態） 振れ量の表示例（第５実施形態） カメラの概略構成図（他の実施形態） カメラのタイミングチャート（他の実施形態）
　実施形態の説明をする前に、回転中心の位置が振れ量に与える影響について説明する。
　＜回転中心の位置が振れ量に与える影響＞
　図１はカメラ１０１の座標系を示している。図１ではカメラ１０１は円筒形状で略記している。図１に示すように、カメラ１０１の光学系の光軸Ａを基準とする直交座標系（Ｘ，Ｙ，Ｚ）が設定されている。Ｚ軸は光軸Ａと一致している。
　撮影時のカメラ１０１の振れとしては、回転振れと、並進振れと、が考えられる。回転振れとは、座標系に存在する点を中心にカメラ１０１が回転することにより生じるカメラ１０１の振れを言う。並進振れとは、座標系に対するカメラ１０１の角度（姿勢）が変化しない状態でカメラ１０１が座標系に対して移動することにより生じるカメラ１０１の振れを言う。また、並進振れには、回転振れの回転中心がカメラ１０１から離れることにより生じるカメラ１０１の回転移動も含まれている。通常、これら２つの振れが組み合わされて、カメラ１０１の振れとなっている。
　カメラ１０１の回転振れの回転中心をＯｃ（Ｘｃ，Ｙｃ，Ｚｃ）、回転振れのＸ軸回りの回転角度を角度θｘ（ピッチ成分）、Ｙ軸回りの回転角度を角度θｙ（ヨー成分）およびＺ軸回りの回転角度を角度θｚ（ロール成分）とする。カメラ１０１の並進振れＶのＸ軸成分をΔＸ、Ｙ軸成分をΔＹ、Ｚ軸成分をΔＺとする。
　（１）回転角度θｘが振れ量に与える影響
　図２は、回転角度θｘが振れ量に与える影響を模式的に示した図である。図２では、便宜上、光学系Ｏを単一のレンズ１０２に置き換えている。カメラ１０１の振れが発生していない状態でのレンズ１０２から被写体１０３までの距離（撮影距離）をＬ、カメラ１０１の振れが発生していない状態でのレンズ１０２から撮像素子１７までの距離をｆ×Ｄとする。ここで、ｆは焦点距離（例えば、３５ｍｍ換算）、Ｄは光学倍率である。
　図２において、点Ｏｃ（Ｘｃ，Ｙｃ，Ｚｃ）を中心に角度θｘだけカメラ１０１が回転した後にレンズ１０２が位置１０２´に移動したとすると、Ｘ軸方向から見た場合のカメラ１０１の振れ量Δｂｘ´は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、振れ量Δｘ２´は、レンズ１０２の中心Ｅを基準とした場合のカメラ１０１の振れ量の回転成分、振れ量Δｘ１´は、回転中心Ｏｃおよびレンズ１０２の中心Ｅがずれていることにより生じるカメラ１０１の振れ量の並進成分である。
　振れ量Δｘ１´、ΔＬおよびΔｘ２´を幾何学的に算出すると、以下の式で表される。
　Ｚｃ＝０のとき、
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　Ｚｃ≠０のとき、
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 　さらに、並進振れＶ＝（ΔＸ，ΔＹ，ΔＺ）によってレンズ１０２´が位置１０２´´に移動したとすると、並進振れ量Δｘ３´は以下の式で表される。
Figure JPOXMLDOC01-appb-M000007
 　以上より、振れ量Δｂｘ´は以下の式で表される。
Figure JPOXMLDOC01-appb-M000008
 　（２）回転角度θｙが振れ量に与える影響
　図３は、回転角度θｙが振れ量に与える影響を模式的に示した図である。図３においても図２と同様で、光学系Ｏを単一のレンズ１０２に置き換え、カメラ１０１の振れが発生していない状態でのレンズ１０２から被写体１０３までの距離（撮影距離）をＬ、カメラ１０１の振れが発生していない状態でのレンズ１０２から撮像素子１７までの距離をｆ×Ｄとする。ここで、ｆは焦点距離（例えば、３５ｍｍ換算）、Ｄは光学倍率である。
　図３において、回転中心Ｏｃ（Ｘｃ，Ｙｃ，Ｚｃ）を中心にカメラ１０１が角度θｙだけ回転した結果、レンズ１０２が位置１０２´に移動する場合、Ｙ軸方向から見た場合のカメラ１０１の振れ量Δｂｙ´は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000009
 　ここで、振れ量Δｙ２´はレンズ１０２の中心Ｅを基準とした場合のカメラ１０１の振れ量の回転成分、振れ量Δｙ１´は回転中心Ｏｃおよびレンズ１０２の中心Ｅがずれていることにより生じるカメラ１０１の振れ量の並進成分である。
　振れ量Δｙ１´、ΔＬおよびΔｙ２´を幾何学的に算出すると、以下の式で表される。
　Ｚｃ＝０のとき、
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 　Ｚｃ≠０のとき、
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 　さらに、カメラ１０１の並進振れＶ＝（ΔＸ，ΔＹ，ΔＺ）によってレンズ１０２´が位置１０２´´に移動したとすると、カメラ１０１の並進振れ量Δｙ３´は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000015
 　以上より、振れ量Δｂｙ´は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000016
 　（３）Ｚ軸方向から見た場合の振れ量
　図４（Ａ）および図４（Ｂ）は回転中心Ｏｃがレンズ１０２の中心Ｅと一致している場合のカメラ１０１の振れ量Δｚ２を説明するための図である。図５は回転中心Ｏｃがレンズ１０２の中心Ｅからずれている場合の振れ量Δｚ１を説明するための図である。図４（Ａ）および図４（Ｂ）に示すように、回転中心Ｏｃがレンズ１０２の中心Ｅと一致している場合は光軸Ａ回りにレンズ１０２が角度θｚだけ回転する。この場合、被写体１０３の横幅Ｗは以下の式で表される。
Figure JPOXMLDOC01-appb-M000017
 　したがって、撮像素子１７の横幅をＷｘ、撮像素子１７の縦幅をＷｙとすると、振れ量Δｚ２は以下の式で表される。
Figure JPOXMLDOC01-appb-M000018
 　図５において、回転中心Ｏｃが中心Ｅとずれている場合は、回転中心Ｏｃ（Ｘｃ，Ｙｃ，Ｚｃ）を中心にレンズ１０２が角度θｚだけ回転することになる。したがって、回転中心Ｏｃおよび中心Ｅのずれにより生じる振れ量Δｚ１は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000019
 　したがって、Ｚ軸方向から見た場合の振れ量Δｂｚは、以下の式で表される。
Figure JPOXMLDOC01-appb-M000020
 　（４）振れ量の計算結果
　以上の関係式に基づいて、カメラ１０１の振れ量のピッチ成分Δｂｘ´、ヨー成分Δｂｙ´およびロール成分Δｂｚ（より詳細には、ピッチ成分Δｂｘ´、ヨー成分Δｂｙ´およびロール成分Δｂｚに基づいて算出された撮像素子１７に対する光学像の変位量のピッチ成分、ヨー成分およびロール成分）が光学倍率Ｄ、撮影距離Ｌによってどのように変化するかを計算すると、以下のような結果となる。計算する際の条件としては、光学倍率Ｄ＝１のときの焦点距離ｆを２８ｍｍ、光学倍率Ｄを１～１０倍、撮像素子１７を１／２．５型および７２０万画素のＣＣＤとする。
　なお、前述のように、カメラ１の回転振れに関しては、角度θｘ，θｙ，θｚが同程度であることが、過去の実験結果により確認されており、また例えば、「社団法人　電子情報通信学会　信学技報　IEICE Technical Report PRMU2006-202(2007-1)」に喝載された「手ブレの３Ｄ計測と定量化」にて紹介されている。回転振れの最大回転角度が０．５°程度であることも、過去の撮影実験により確認されている。そのため、ここでは各回転角度をθｘ＝θｙ＝θｚ＝０．５°とする。
　図６は、回転中心Ｏｃがレンズ１０２の中心Ｅと一致し、かつ、カメラ１０１の並進振れがない場合での、像振れ量のピッチ成分、ヨー成分およびロール成分の計算結果を示している。つまり、図６はＸｃ＝Ｙｃ＝Ｚｃ＝０のときの計算結果である。ここで、像振れ量とは、カメラ１０１の振れにより生じる撮像素子１７に対する光学像の変位量である。像振れ量のピッチ成分、ヨー成分およびロール成分は、前述のピッチ成分Δｂｘ´、ヨー成分Δｂｙ´およびロール成分Δｂｚに基づいて算出されており、それぞれ画素数で表されている。図６より、光学倍率Ｄが小さいときは像振れ量のピッチ成分、ヨー成分およびロール成分は同程度であるが、光学倍率Ｄが大きくなるにつれて、像振れ量のピッチ成分およびヨー成分が増加していることがわかる。
　次に、回転中心Ｏｃがレンズ１０２の中心Ｅとずれている場合について説明する。図７（Ａ）～（Ｃ）は回転中心ＯｃのＸ軸成分Ｘｃと第１増加量との関係、図８（Ａ）～（Ｃ）は回転中心ＯｃのＹ軸成分Ｙｃと第１増加量との関係、図９（Ａ）～（Ｃ）は回転中心ＯｃのＺ軸成分Ｚｃと第１増加量との関係を示す。ここで、第１増加量とは、回転中心Ｏｃがレンズ１０２の中心Ｅからずれることにより増加する像振れ量であり、前述の振れ量Δｘ１´およびΔｙ１´に対応する像振れ量である。
　図中、横軸は光学倍率Ｄ、縦軸は第１増加量を示している。図中、上段のグラフは撮影距離Ｌ＝５０ｃｍ、中段のグラフは撮影距離Ｌ＝１ｍ、下段のグラフは撮影距離Ｌ＝１０ｍを示している。また、回転中心Ｏｃからレンズ１０２の中心Ｅまでの距離Ｘｃ、ＹｃおよびＺｃがそれぞれ（Ａ）０ｍｍ、（Ｂ）１５０ｍｍ、（Ｃ）３００ｍｍの３種類の場合について計算を行っている。実際の撮影の際に回転中心となるのは撮影者の関節部分であることが多い。例えば肘や肩のようにカメラから離れた点が回転中心となる場合、レンズ１０２の中心Ｅから回転中心Ｏｃまでの距離は３００ｍｍ程度となる。
　図７（Ａ）～図９（Ｃ）より、光学倍率Ｄが大きく、撮影距離Ｌが短いときに、回転中心Ｏｃとレンズ１０２の中心Ｅとのずれが像振れ量に与える影響は大きくなることがわかる。実際の像振れ量が１０〔Pixel〕以上の場合にカメラ１０１の振れによる画像の劣化が大きく目立つことを考慮すると、回転中心Ｏｃとレンズ３０の中心Ｅとのずれは無視できないレベルである。特に、Ｘ軸方向の回転中心Ｏｃとレンズ１０２の中心Ｅとのずれ量Ｘｃは、像振れ量のロール成分への影響が大きく、Ｙ軸方向の回転中心Ｏｃとレンズ１０２の中心Ｅとのずれ量Ｙｃも像振れ量のロール成分への影響が大きい。さらに、Ｚ軸方向における回転中心Ｏｃとレンズ１０２の中心Ｅとのずれ量Ｚｃが像振れ量のピッチ成分およびヨー成分に与える影響も大きい。なお、これらのグラフにおいて、ピッチ成分の計算結果が表示されていないように見える場合があるが、ピッチ成分の計算結果がヨー成分の計算結果とほぼ同じであるため、ピッチ成分の結果がヨー成分の結果と重なっているだけである。
　＜カメラの並進振れが振れ量に与える影響＞
　次に、カメラ１０１の並進振れが像振れ量に与える影響について説明する。図１０（Ａ）～（Ｃ）はＸ軸方向におけるカメラ１０１の並進振れ量ΔＸと第２増加量との関係を示している。図１１（Ａ）～（Ｃ）はＹ軸方向におけるカメラ１０１の並進振れ量ΔＹと第２増加量との関係を示している。図１２（Ａ）～（Ｃ）はＺ軸方向におけるカメラ１０１の並進振れ量ΔＺと第２増加量との関係を示している。図１０（Ａ）～図１２（Ｃ）では、横軸は光学倍率Ｄ、縦軸は第２増加量を示している。ここで、第２増加量とは、並進振れに対応する像振れ量であり、前述の振れ量Δｘ３´およびΔｙ３´に対応する像振れ量である。
　図１０（Ａ）～図１２（Ｃ）では、上段のグラフが撮影距離Ｌ＝５０ｃｍ、中段のグラフが撮影距離Ｌ＝１ｍ、下段のグラフが撮影距離Ｌ＝１０ｍを示している。ここでは、並進振れ量ΔＸ、ΔＹおよびΔＺがそれぞれ（Ａ）０ｍｍ、（Ｂ）２ｍｍ、（Ｃ）４ｍｍの３種類の場合について計算を行っている。
　図１０（Ａ）～図１２（Ｃ）より、並進振れ量ΔＸおよびΔＹに関しては、光学倍率Ｄが大きくかつ撮影距離Ｌが短い場合に、カメラ１０１の並進振れが像振れ量に与える影響が大きくなることがわかる。具体的には、並進振れ量ΔＸにより第２増加量のヨー成分が大きくなり、並進振れ量ΔＹにより第２増加量のピッチ成分が大きくなる。しかし、Ｚ軸方向の並進振れ量ΔＺについては像振れ量にほとんど影響しないため、並進振れ量ΔＺは無視しても差し支えないレベルであることがわかる。
　以上に述べたように、回転中心Ｏｃの位置が像振れ量に与える影響は大きく、無視できないレベルである。
　〔第１実施形態〕
　＜振れ量測定方法の概要＞
　しかし、前述のように、従来の振れ量測定システムでは、並進振れが考慮されていないため、振れ量の測定精度を高めるのが困難である。
　そこで、振れ量測定システム１では、以下のような方法で並進振れ量も含めて撮像装置の振れ量を測定することを可能としている。
　具体的には、前述の国際公開第０８／０７８５３７号には、表示部と記憶部とパターンマッチング処理部とを有する振れ量測定システムが開示されている。表示部は異なる複数のテストパターンを順次表示する。記憶部は複数のテストパターンを記憶する。パターンマッチング処理部では、撮像装置により取得された表示部の画像と、複数のテストパターンと、の間でパターンマッチング処理が行われる。これにより、テストパターンの画像に表れる撮像装置の振れ量をテストパターンごとに算出することができ、撮像装置の振れ量の時系列データを取得できる。
　この場合、表示部を撮影した画像には、回転振れだけでなく並進振れも表れているはずである。したがって、上記の方法で算出された振れ量から回転振れ量を差し引くことで並進振れ量を算出することができる。
　具体的には図１３および図１４に示すように、振れ量測定システム１を用いた測定方法では、前述の方法と同様に、テストパターン表示装置５により複数のテストパターンを所定の更新周期で順次表示する（Ｓ１）。また、同期信号生成装置７のＬＥＤ素子７２を所定の周期で順次発光させる（Ｓ２）。テストパターン表示装置５および同期信号生成装置７をカメラ２により撮影し、撮影画像に対してパターンマッチング処理を行うことで、カメラ２の振れ量のピッチ成分、ヨー成分およびロール成分を第１振れ量として算出する（Ｓ３、Ｓ４、Ｓ５）。
　一方で、カメラ２に取り付けた３軸ジャイロセンサ３の出力に基づいてカメラ２の振れ量のピッチ成分、ヨー成分およびロール成分を第２振れ量として算出する（Ｓ６、Ｓ７）。
　そして、撮影画像に含まれる同期信号生成装置７の像および前述のパターンマッチング処理結果に基づいて、第１および第２振れ量の同期を取るために必要な時間情報を算出する（Ｓ８）。この時間情報を利用して第１および第２振れ量の同期を取る（Ｓ９）。
　パターンマッチング処理により算出された第１振れ量には、回転振れ量だけでなく並進振れ量も含まれているが、３軸ジャイロセンサ３の出力結果から算出された第２振れ量には回転振れ量しか含まれていない。
　したがって、この振れ量測定システム１では、２つの異なる方法で取得された第１振れ量および第２振れ量から並進振れ量を取得することができる。具体的には、同じタイミングで検出された第１振れ量および第２振れ量の差を算出し、この差から並進振れ量を算出する。これにより、この振れ量測定システム１では、並進振れ量を算出することができ、振れ量の測定精度を高めることができる（Ｓ１０）。
　＜振れ量測定システムの構成＞
　上記の測定方法を実現とするために、振れ量測定システム１は以下のような構成を有している。
　具体的には図１３に示すように、振れ量測定システム１は、カメラ２と、３軸ジャイロセンサ３（第２振れ量取得部の一例）と、テストパターン表示装置５（第１振れ量取得部の一例、パターン表示部の一例）と、同期信号生成装置７（時間情報表示部の一例）と、振れ量演算装置４と、を備えている。
　ここで、図１５に示すように、カメラ２に対してＸ軸、Ｙ軸およびＺ軸を設定する。Ｘ軸、Ｙ軸およびＺ軸は、基準軸の一例である。横撮り姿勢（正姿勢）の場合、Ｘ軸は水平方向に平行であり、Ｙ軸は鉛直方向に平行である。Ｚ軸は光学系（図示せず）の光軸Ａと一致している。
　（１）カメラ
　図１６に示すように、カメラ２は、例えば静止画の撮影が可能なデジタルスチルカメラであり、筐体２３と、シャッターボタン検知部２１と、画像取得部２２と、を有している。筐体２３はカメラ２のボディを構成しているため、以下、「カメラ２の振れ量」とは筐体２３の振れ量も意味している。
　シャッターボタン検知部２１は、シャッターボタン（図示せず）が操作されたことを検知する。画像取得部２２は、光学系（図示せず）により形成された光学像の画像データを取得するユニットであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有している。シャッターボタン検知部２１によりシャッターボタンがＯＮ操作されると、フォーカシング動作および絞り調節動作のような露光準備動作が行われ、画像取得部２２により画像が取得される。
　なお、露光準備動作が行われる時間の長さは撮影条件によって異なるため、シャッターボタンをＯＮ操作してから露光が開始されるまでの時間（後述の時間Ｔ３）は、一定ではない。
　（２）３軸ジャイロセンサ
　３軸ジャイロセンサ３は、カメラ２の振れにより生じる物理的な変化を利用してカメラ２の振れ量を検出するためのセンサであり、例えば、ＭＥＭＳ式のジャイロセンサである。３軸ジャイロセンサ３は、カメラ２に内蔵されたジャイロセンサとは別のセンサであり、図１３に示すように、カメラ２の上部（より詳細には、筐体２３の上部）に取り外し可能に装着されている。３軸ジャイロセンサ３が着脱可能なタイプであるため、様々なカメラの振れ量を簡単に検出することができる。
　３軸ジャイロセンサ３はカメラ２のＸ軸回り、Ｙ軸回りおよびＺ軸回りの角速度を所定の周期で検出する。これらの角速度は３軸ジャイロセンサ３から所定の周期で出力される。出力された角速度は、図１６に示す第２振れ量演算部４５（後述）により積分され角度に変換される。これにより、カメラ２の回転振れ量（第２振れ量の一例）を算出することができる。
　（３）テストパターン表示装置
　テストパターン表示装置５は、画像処理を用いてカメラ２の振れ量を算出するための装置であり、図１３に示すように、制御装置５１（第１同期信号生成部の一例）と、液晶モニタ５５（パターン表示部の一例）と、を有している。
　制御装置５１は液晶モニタ５５の表示を制御する装置である。具体的には図１６に示すように、制御装置５１は、液晶モニタ５５の表示を制御する表示制御部５３と、複数のテストパターンを記憶するテストパターン記憶部５２と、を有している。
　表示制御部５３は、テストパターン記憶部５２に記憶されている複数のテストパターンを所定の周期で順次表示されるように液晶モニタ５５を制御する。本実施形態では、図１８に示すように、互いにパターンが異なる９枚のテストパターンＰ１～Ｐ９がテストパターン記憶部５２に記憶されている。これら９枚のテストパターンＰ１～Ｐ９は、例えば、動画表示のフレームレートと同じ６０〔Ｈｚ〕という周期で、表示制御部５３により液晶モニタ５５に順次表示される。
　各テストパターンは４つの黒丸Ｂを有している。テストパターンの枚数が９枚であるため、全てのテストパターンを合わせて形成された画像上には、全部で３６個の黒丸Ｂが存在する。３６個の黒丸Ｂは所定の間隔を空けて異なる位置に配置されているため、９枚のテストパターンＰ１～Ｐ９を重ね合わせても、３６個の黒丸Ｂのうちいずれの黒丸Ｂも他の黒丸Ｂと重なることはない。また、黒丸Ｂ同士の間隔は、振れ量に相当する距離よりも広いため、パターンマッチング処理の精度を確保できる。
　さらに、表示制御部５３は第１テストパターンＰ１を表示するのと同時にパターン同期信号（第１同期信号の一例）を生成する。パターン同期信号は、テストパターンＰ１～Ｐ９が一巡する周期（つまり、９／６０〔ｍｓ〕）と同じ周期で表示制御部５３から振れ量演算装置４へ出力される。このパターン同期信号は、時間Ｔ４をカウントする際に用いられる。
　（４）同期信号生成装置
　同期信号生成装置７は、時間の変化を視覚的に判別可能に表示する装置であり、液晶モニタ５５と並んで配置されている。同期信号生成装置７は、発光部７１（第２表示部の一例）と、ＬＥＤ駆動制御部７３（第２同期信号生成部の一例）と、を有している。
　図１７に示すように、発光部７１は、規則的に配置された複数のＬＥＤ素子７２（発光ダイオード）を有している。本実施形態では、発光部７１は縦１６および横１６で配置された２５６個のＬＥＤ素子７２を有している。
　ＬＥＤ駆動制御部７３は、発光部７１の発光動作を制御するユニットであり、２５６個のＬＥＤ素子７２を１つずつ順次発光させる。具体的には、左上のＬＥＤ素子Ｌ０から右側に順に点灯するＬＥＤ素子７２の位置が変化していく。最上段の１６個のＬＥＤ素子７２（Ｌ０～Ｌ１５）が点灯した後、その下段の１６個のＬＥＤ素子７２（Ｌ１６～Ｌ３１）が左側から順に点灯する。右下のＬＥＤ素子Ｌ２５５が点灯した後、再び、ＬＥＤ素子Ｌ０から順に点灯が開始される。１つのＬＥＤ素子７２の点灯時間は１〔ｍｓ〕であり、１〔ｍｓ〕ごとに点灯するＬＥＤ素子７２が切り換えられる。つまり、２５６〔ｍｓ〕で全てのＬＥＤ素子７２の発光が完了する。
　点灯しているＬＥＤ素子７２の位置によって、２５６〔ｍｓ〕よりも短い時間の範囲内で、ある時点からの経過時間を視覚的に判別することができる。つまり、同期信号生成装置７は時間の変化を視覚的に判別可能に表示していると言える。
　さらに、ＬＥＤ駆動制御部７３は、左上のＬＥＤ素子Ｌ０を発光させると同時にＬＥＤ同期信号（第２同期信号の一例）を生成する。ＬＥＤ同期信号は、発光部７１が一巡する周期（つまり、２５６〔ｍｓ〕）と同じ周期でＬＥＤ駆動制御部７３から振れ量演算装置４へ出力される。このＬＥＤ同期信号は時間Ｔ１をカウントする際に用いられる。
　（５）振れ量演算装置
　振れ量演算装置４は、カメラ２、３軸ジャイロセンサ３、テストパターン表示装置５および同期信号生成装置７から送信される各信号および撮影画像に基づいて、カメラ２の並進振れ量を算出するための装置であり、図１３に示すように、演算装置本体４ａと、モニタ４ｂと、を有している。演算装置本体４ａは、カメラ２、３軸ジャイロセンサ３、テストパターン表示装置５および同期信号生成装置７と電気的に接続されている。モニタ４ｂは、演算装置本体４ａでの演算結果などを表示する装置であり、演算装置本体４ａに電気的に接続されている。
　演算装置本体４ａは、カメラ２で撮影された画像を取り込めるように、カメラ２に接続されている。例えば、カメラ２のメモリカードドライブ（図示せず）に、演算装置本体４ａに接続された画像出力用のカードを挿入することで、カメラ２の撮影画像を取り込める。
　また、演算装置本体４ａは、カメラ２のシャッターボタン（図示せず）のＯＮ操作およびＯＦＦ操作を示すシャッタータイミング信号を取り込めるように、カメラ２に接続されている。例えば、カメラ２のシャッターボタンの接点（図示せず）に演算装置本体４ａが接続されている。
　演算装置本体４ａは、様々な機能を実現するための装置であり、例えば、ＣＰＵ、ＲＯＭおよびＲＡＭを有している。ＲＯＭに格納されたプログラムがＣＰＵに読み込まれることで、演算装置本体４ａは様々な機能を実現し得る。例えば、演算装置本体４ａにより、画像処理を用いて算出された第１振れ量と、３軸ジャイロセンサ３を用いて算出された第２振れ量と、の同期を取る機能が実現されている。
　図１６に示すように、演算装置本体４ａは、時間演算部４０（同期情報取得部の一例）と、テストパターン記憶部４１と、パターンマッチング処理部４２（第１振れ量取得部の一例）と、第１振れ量記憶部４３と、並進振れ量演算部４４（第３振れ量取得部の一例）と、第２振れ量演算部４５（第２振れ量取得部の一例）と、第２振れ量記憶部４６と、撮影画像記憶部４７と、画像切り出し部４８と、時間情報取得部４９（同期情報取得部の一例）と、を有している。
　時間演算部４０は、第１振れ量および第２振れ量の同期を取るために各部から信号および情報を受信し、受信した信号および情報に基づいて同期を取るのに必要な同期情報を算出する。
　具体的には、時間演算部４０はカメラ２のシャッターボタン検知部２１から出力されるシャッタータイミング信号を受信する。時間演算部４０は、表示制御部５３から所定の周期（１５０〔ｍｓ〕）で出力されるパターン同期信号を受信し、ＬＥＤ駆動制御部７３から所定の周期（２５６〔ｍｓ〕）で出力されるＬＥＤ同期信号を受信する。同期情報の算出方法については後述する。
　撮影画像記憶部４７は、カメラ２により取得された撮影画像を一時的に記憶する。画像切り出し部４８は撮影画像記憶部４７に記憶された撮影画像のうちパターンマッチング処理に必要な範囲のみを切り出す。また、画像切り出し部４８は撮影画像のうち同期信号生成装置７の発光部７１の範囲だけを切り出す。
　テストパターン記憶部４１は、テストパターン記憶部５２と同様に、９枚のテストパターンＰ１～Ｐ９を記憶している。テストパターン記憶部４１に記憶されている９枚のテストパターンは、テストパターン記憶部５２に記憶されている９枚のテストパターンと同じである。テストパターン記憶部４１に記憶された９枚のテストパターンは、パターンマッチング処理部４２での処理に用いられる。
　パターンマッチング処理部４２は、画像切り出し部４８により切り出された画像と、テストパターン記憶部４１に記憶された９枚のテストパターンと、に基づいてパターンマッチングによりカメラ２の第１振れ量を算出する。このパターンマッチング処理としては、例えば国際公開第０８／０７８５３７号に開示されている方法が用いられる。
　さらに、パターンマッチング処理部４２は、後述するように、シャッターボタンが押されてから１枚目の第１テストパターンＰ１が液晶モニタ５５に表示されるまでの時間Ｔ４を算出することができる。
　第１振れ量記憶部４３はパターンマッチング処理部４２で算出された第１振れ量ｆ１ｐ（ｔ）、ｆ１ｙ（ｔ）および時間Ｔ４を一時的に記憶する。第１振れ量記憶部４３に記憶された情報は、必要に応じて時間演算部４０および並進振れ量演算部４４で用いられる。
　第２振れ量演算部４５は、３軸ジャイロセンサ３から所定の周期で出力される角速度ωｘ（ｔ）、ωｙ（ｔ）およびωｚ（ｔ）を受信し、受信した角速度ωｘ（ｔ）、ωｙ（ｔ）およびωｚ（ｔ）からＸ軸回り、Ｙ軸回りおよびＺ軸回りの回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）を算出する（図１５参照）。なお、撮影距離Ｌ、回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）に基づいて、回転角度を長さに換算した回転長さｆ２ｐ（ｔ）、ｆ２ｙ（ｔ）およびｆ２ｒ（ｔ）を第２振れ量演算部４５が算出するようにしてもよい。第２振れ量演算部４５により算出された回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）（あるいは回転長さｆ２ｐ（ｔ）、ｆ２ｙ（ｔ）およびｆ２ｒ（ｔ））は、時間情報ｔとともに第２振れ量記憶部４６に一時的に記憶される。
　並進振れ量演算部４４は、第１振れ量記憶部４３および第２振れ量記憶部４６に記憶された情報に基づいて、Ｘ軸方向およびＹ軸方向の並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）を算出する。具体的には、以下に示す式（２１）および式（２２）に基づいて並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）が算出される。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
 　ここで、Ｌは撮影距離（カメラ２から液晶モニタ５５までの距離）を示している（図１５参照）。なお、式（２１）および式（２２）では、第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）は第２振れ量（回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）、あるいは、回転長さｆ２ｐ（ｔ）およびｆ２ｙ（ｔ））と単位時間が合うように調整された長さの概念である。
　このように、式（２１）および式（２２）により、パターンマッチング処理により得られた第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）を用いて並進振れ量ｆｘ（ｔ）、ｆｙ（ｔ）を算出することができる。
　時間情報取得部４９は、画像切り出し部４８で切り出された発光部７１の画像に基づいて露光開始からＬＥＤ同期信号を受信するまでの時間Ｔ２を算出する。算出された時間Ｔ２は、時間演算部４０に出力され、時間演算部４０で他の時間を算出するために用いられる。時間Ｔ２の算出方法については後述する。
　＜振れ量測定システムの動作＞
　ここで、振れ量測定システム１の動作について説明する。図１９は振れ量測定システム１の動作を示すタイミングチャートである。
　（１）振れ量測定前
　まず、振れ量測定前の状態では、同期信号生成装置７およびテストパターン表示装置５が作動している。具体的には、同期信号生成装置７では、ＬＥＤ駆動制御部７３により所定の周期（１〔ｍｓ〕）で、点灯するＬＥＤ素子７２が切り換えられている。それに伴い、図１９に示すように、ＬＥＤ駆動制御部７３により所定の周期（２５６〔ｍｓ〕）でＬＥＤ同期信号が振れ量演算装置４へ出力されている。より詳細には、発光部７１に向かって左上のＬＥＤ素子Ｌ０が点灯した瞬間に、ＬＥＤ同期信号がＬＥＤ駆動制御部７３から時間演算部４０に出力される。
　テストパターン表示装置５では、表示制御部５３により所定の更新周期（１／６０〔ｍｓ〕）で９枚のテストパターンが液晶モニタ５５に順次表示される。具体的には、図１８に示すように、テストパターン記憶部５２に記憶されている第１テストパターンＰ１～第９テストパターンＰ９が順番に液晶モニタ５５に表示される。また、表示制御部５３から時間演算部４０へ所定の周期（１５０〔ｍｓ〕〕でパターン同期信号が出力される。より詳細には、第１テストパターンＰ１が液晶モニタ５５に表示された瞬間に、パターン同期信号が表示制御部５３から時間演算部４０に出力される。
　さらに、３軸ジャイロセンサ３によりカメラ２の角速度ωｐ（ｔ）、ωｙ（ｔ）およびωｒ（ｔ）が検出されている。これら角速度ωｐ（ｔ）、ωｙ（ｔ）およびωｒ（ｔ）は所定の周期で３軸ジャイロセンサ３から第２振れ量演算部４５に出力されている。角速度が検出される周期は、前述のテストパターンの切り換え周期（６０〔Ｈｚ〕）よりも短いため、第１振れ量と第２振れ量との同期を取る際の演算精度を高めることができる。角速度が検出される周期は、例えば１〔ｍｓ〕である。
　（２）振れ量測定時
　カメラ２の振れ補正機能を使用せずに、カメラ２を用いて液晶モニタ５５および同期信号生成装置７を撮影する。具体的には、カメラ２のシャッターボタンが押されると、シャッターボタンが押されたことがシャッターボタン検知部２１により検知される。この結果、フォーカシング動作および絞り調節動作などの露光準備動作がカメラ２の各部で行われ、露光準備が完了した時点でシャッター（図示せず）が所定のシャッタースピードで動作する。
　露光が完了すると、液晶モニタ５５の像および同期信号生成装置７の像を含んだ撮影画像Ｉ０（図２０参照）が画像取得部２２により取得され、図１６に示す撮影画像記憶部４７に撮影画像Ｉ０が記憶される。図２０に示すように、撮影画像Ｉ０には液晶モニタ５５および同期信号生成装置７が並んで写っている。撮影画像Ｉ０に写る液晶モニタ５５の画面には合計で２８個の黒丸Ｂが表示されている。これは、撮影されたテストパターンが７枚であることを意味している。また、撮影画像Ｉ０に写る発光部７１は、一部のＬＥＤ素子７２が点灯し、残りのＬＥＤ素子７２が消灯している。
　一方で、シャッターボタン検知部２１によりシャッターボタンが押されたことが検知されると、シャッターボタン検知部２１から時間演算部４０および第２振れ量演算部４５へシャッタータイミング信号が出力される。時間演算部４０がシャッタータイミング信号を受信すると、時間演算部４０により時間Ｔ１のカウントが開始される。時間Ｔ１のカウントはＬＥＤ同期信号を受信するまで続行される。つまり、時間Ｔ１は、時間演算部４０がシャッタータイミング信号を受信してからＬＥＤ同期信号を受信するまでの時間である。この時間Ｔ１はシャッターボタンが押されてから露光が開始されるまでの露光準備時間Ｔ３を算出するために用いられる。
　また、第２振れ量演算部４５がシャッタータイミング信号を受信すると、第２振れ量演算部４５により時間Ｔ４のカウントが開始される。時間Ｔ４のカウントはパターン同期信号を受信するまで続行される。つまり、時間Ｔ４は、第２振れ量演算部４５がシャッタータイミング信号を受信してからパターン同期信号を受信するまでの時間である。この時間Ｔ４は露光が開始されてからパターン同期信号を受信するまでの時間Ｔ５を算出するために用いられる。
　時間Ｔ１およびＴ４のカウントが完了すると、カウントされた時間Ｔ１およびＴ４は時間演算部４０に一時的に記憶される。
　次に、例えばユーザーが振れ量演算装置４を操作することで、振れ量演算装置４において各演算処理が開始される。
　具体的には、振れ量演算装置４では、撮影画像Ｉ０を用いて時間情報取得部４９により時間Ｔ２（図１９参照）が算出される。ここで、時間Ｔ２の算出方法について説明する。
　図２１に示すように、画像切り出し部４８により撮影画像Ｉ０に写っている同期信号生成装置７の発光部７１の部分が切り出され、切り出された画像Ｉ２においてＬＥＤ素子Ｌ０～Ｌ２５５のうちどのＬＥＤ素子７２が点灯しているかが、振れ量演算装置４において画像処理により検出される。画像切り出し部４８で画像Ｉ２を切り出す際には、図２０および図２１に示すように正方形の枠線７９を基準に画像Ｉ２が切り出される。
　図２１に示す画像Ｉ２では、例えば、ＬＥＤ素子Ｌ０～Ｌ６２、そしてＬＥＤ素子Ｌ１９３～Ｌ２５５が点灯しており、ＬＥＤ素子Ｌ６３～Ｌ１９２が消灯している。点灯しているＬＥＤ素子７２の数量で、時間情報取得部４９により露光時間を算出することができる。本実施形態では、点灯しているＬＥＤ素子７２の数量が１２５個であるため、露光時間は１２５〔ｍｓ〕となる。
　さらに、点灯していないＬＥＤ素子７２の次に配置された点灯しているＬＥＤ素子７２を特定することで、露光期間中に最初に点灯したＬＥＤ素子７２を特定できる。本実施形態の場合は、消灯しているＬＥＤ素子Ｌ１９２の次に点灯したＬＥＤ素子Ｌ１９３が配置されているため、露光期間中に最初に点灯したＬＥＤ素子７２はＬＥＤ素子Ｌ１９３である。
　そして、露光期間中に最初に点灯したＬＥＤ素子７２がどれかを特定するために、時間情報取得部４９では、図２１に示すセル画像Ｉ３が記憶されている。このセル画像Ｉ３は、ＬＥＤ素子Ｌ０～Ｌ２５５と概ね対応する位置に２５６個のセルＬｃ０～Ｌｃ２５５を有している。時間情報取得部４９により、各セルＬｃ０～Ｌｃ２５５での画像の輝度が算出され、セルの位置とともに一時的に時間情報取得部４９に記憶される。これらの輝度情報に基づいて、消灯しているＬＥＤ素子７２と点灯しているＬＥＤ素子７２との境界が時間情報取得部４９により特定される。
　以上より、露光開始からＬＥＤ素子Ｌ０が点灯するまでの時間Ｔ２は、ＬＥＤ素子Ｌ１９３が点灯してからＬＥＤ素子Ｌ２５５が消灯するまでに要した時間と一致することが分かる。したがって、Ｌ１９３～Ｌ２５５の６３個のＬＥＤ素子７２の点灯時間に相当する６３〔ｍｓ〕が時間Ｔ２となる。時間情報取得部４９により算出された時間Ｔ２は、時間演算部４０に出力され、時間演算部４０で一時的に記憶される。
　ここで、ＬＥＤ素子Ｌ０が点灯すると同時にＬＥＤ同期信号がＬＥＤ駆動制御部７３から時間演算部４０に出力されている。時間演算部４０はＬＥＤ同期信号を受信すると、時間Ｔ１のカウントを終了し、カウントした時間Ｔ１を一時的に記憶する。
　図１９に示すように、時間演算部４０によりカウントされた時間Ｔ１および時間情報取得部４９が算出した時間Ｔ２に基づいて、シャッターボタンが押されてから露光が開始されるまでの露光準備時間Ｔ３を求めることができる。具体的には、以下の式（２３）に基づいて時間演算部４０により時間Ｔ３が算出される。
Figure JPOXMLDOC01-appb-M000023
 　また、パターン同期信号を受信すると、時間演算部４０は時間Ｔ４のカウントを停止し、時間Ｔ４を一時的に記憶する。この時間Ｔ４および時間Ｔ３を用いて、以下の式（２４）に基づいて時間演算部４０により時間Ｔ５が算出される。
Figure JPOXMLDOC01-appb-M000024
 　さらに、液晶モニタ５５に表示される画像に対してパターンマッチング処理することで、時間Ｔ６が算出される。具体的には、図２２に示すように、画像切り出し部４８により撮影画像Ｉ０のうちテストパターンが写っている範囲が画像Ｉ１として切り出される。このとき、例えば液晶モニタ５５の枠を基準にテストパターンの範囲が切り出される。
　パターンマッチング処理部４２において、画像切り出し部４８により切り出された画像Ｉ１に対してパターンマッチング処理が施される。具体的には、国際公開第０８／０７８５３７号に記載されている方法と同様に、撮影画像Ｉ１と、テストパターン記憶部４１に記憶されている第１～第９テストパターンＰ１～Ｐ９と、が比較され、第１～第９テストパターンＰ１～Ｐ９ごとに合致度が算出される。テストパターンの更新周期が６０〔Ｈｚ〕である場合、露光時間１２５〔ｍｓ〕の間に７枚のテストパターンが液晶モニタ５５に表示されるため、９枚中７枚において合致度が高く、残りの２枚について合致度が低い、という結果が得られる。そして、合致度を算出する際に、各テストパターンの位置が調整されるが、国際公開第０８／０７８５３７号に記載されているように、この調整量がパターンマッチング処理部４２により第１振れ量ｆ１ｐ（ｔ）、ｆ１ｙ（ｔ）として算出される。
　本実施形態では、第１テストパターンＰ１～第５テストパターンＰ５および第８テストパターンＰ８～第９テストパターンＰ９が画像Ｉ１に重畳的に写っており、その結果、１枚の画像が形成されている。つまり、残りの第６テストパターンＰ６および第７テストパターンＰ７は画像Ｉ１には写っていない。このため、第１テストパターンＰ１～第５テストパターンＰ５および第８テストパターンＰ８～第９テストパターンＰ９については、合致度が高く、残りの第６テストパターンＰ６および第７テストパターンＰ７については、合致度が低くなる。さらに、第１テストパターンＰ１～第５テストパターンＰ５および第８テストパターンＰ８～第９テストパターンＰ９対して、第１振れ量ｆ１ｐ（ｔ）、ｆ１ｙ（ｔ）が算出される。
　さらに、パターンマッチング処理部４２では、露光期間中に液晶モニタ５５に表示されたテストパターンの枚数Ｎ１が算出される。具体的には、合致度が高いと判定されたテストパターンの枚数がＮ１に相当し、本実施形態ではＮ１＝７となる。
　ここで、露光期間中に最初に液晶モニタ５５に表示されたテストパターンは、合致度が低いテストパターンの次に配列された合致度が高いテストパターンである。つまり、本実施形態では、図２３に示すように、第８テストパターンＰ８が露光期間中に最初に液晶モニタ５５に表示されたテストパターンである。
　前述のように、テストパターンは所定の更新周期Δｔ（６０〔Ｈｚ〕）で液晶モニタ５５に表示されるため、図２３に示すように、露光開始からパターン同期信号が時間演算部４０に受信されるまでの時間Ｔ６は、以下の式（２４）で表される。
Figure JPOXMLDOC01-appb-M000025
 　ここで、Ｎ２は、露光期間中に最初に液晶モニタ５５に表示されたテストパターンから第９テストパターンＰ９までのテストパターン枚数Ｎ２である。本実施形態では、第８テストパターンＰ８および第９テストパターンＰ９の２枚がＮ２に相当するため、Ｎ２＝２である。このようにして、時間Ｔ６を算出することができる。
　ここで、パターンマッチング処理部４２での処理により、第１テストパターンＰ１～第５テストパターンＰ５および第８テストパターンＰ８～第９テストパターンＰ９に対応する第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）が算出されている。図２４に示すように、これらの第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）は、第１振れ量記憶部４３に一時的に記憶されている。具体的には図２４に示すように、第１振れ量記憶部４３には、第１振れ量ｆ１ｐ（ｔｎ）、ｆ１ｙ（ｔｎ）（ｎ＝１～Ｎ１）が記憶されている。
　ここで、シャッタータイミング信号を受信した時点を基準とした場合、時間ｔｎは以下の式（２６）で表される。
Figure JPOXMLDOC01-appb-M000026
 　さらに、図２４に示すように、第２振れ量記憶部４６には、所定の周期で検出された第２振れ量ｆ２ｐ（ｔｎ´）、ｆ２ｙ（ｔｎ´）、ｆ２ｒ（ｔｎ´）が記憶されている。第２振れ量演算部４５がＬレベルのシャッタータイミング信号を受信してからＨレベルのシャッタータイミング信号を受信するまでの間、第２振れ量は３軸ジャイロセンサ３により検出されている。
　しかし、第２振れ量のデータ数は第１振れ量のデータ数よりも多いため、時間ｔｎでの第１振れ量に対応する第２振れ量を選択する必要がある。
　そこで、並進振れ量演算部４４では、式（２６）を用いて、時間ｔｎでの第１振れ量に対応する第２振れ量が選択される。具体的には、ｔｎ´＝ｔｎを満たすｆ２ｐ（ｔｎ´）、ｆ２ｙ（ｔｎ´）が並進振れ量演算部４４により選択される。本実施形態では、ｎ＝１～７であるため、並進振れ量演算部４４により第２振れ量ｆ２ｐ（ｔｎ´）およびｆ２ｙ（ｔｎ´）が７つずつ選択される。
　最後に、図２４に示すように、第１振れ量ｆ１ｐ（ｔｎ）、ｆ１ｙ（ｔｎ）、第２振れ量ｆ２ｐ（ｔｎ´）、ｆ２ｙ（ｔｎ´）および撮影距離Ｌを用いて、前述の式（２１）および（２２）の演算が行われ、並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）が算出される。この演算結果は並進振れ量演算部４４に記憶され、必要に応じてモニタ４ｂに表示される。
　このように、振れ量測定システム１による振れ量の測定が行われる。
　＜特徴＞
　以上に説明した振れ量測定システム１の特徴を以下にまとめる。
　（１）
　この振れ量測定システム１では、パターンマッチング処理部４２によりカメラ２の振れ量が画像処理を用いて第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）として取得される。画像処理を用いて第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）を算出しているため、第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）には、カメラ２の並進振れが含まれている。並進振れとは、カメラ２が平行移動することにより発生する振れ、あるいは回転中心がカメラ２から離れていることにより発生するカメラ２の回転移動、も含まれている。
　一方で、第１振れ量とは異なる方法で、カメラ２の振れ量が第２振れ量ｆ２ｐ（ｔ）およびｆ２ｙ（ｔ）として取得される。具体的には、３軸ジャイロセンサ３および第２振れ量演算部４５により、第２振れ量ｆ２ｐ（ｔ）およびｆ２ｙ（ｔ）が取得される。第２振れ量にはカメラ２の回転振れ量のみが含まれており、前述の並進振れは含まれていない。
　さらに、この振れ量測定システム１では、並進振れ量演算部４４により、第１振れ量および第２振れ量に基づいて並進振れ量が取得される。
　このように、この振れ量測定システム１では、２つの異なる方法でカメラ２の振れ量を第１振れ量および第２振れ量として取得できるため、第１振れ量および第２振れ量を用いて並進振れ量を取得することができ、振れ量の測定精度を高めることができる。
　（２）
　この振れ量測定システム１では、同期信号生成装置７、時間情報取得部４９および時間演算部４０）により第１振れ量および第２振れ量の同期を取るための同期情報（例えば、時間Ｔ１～Ｔ３）を取得することができる。また、テストパターン表示装置５およびパターンマッチング処理部４２により、同期情報（例えば、時間Ｔ４～Ｔ６）を取得することができる。
　取得された同期情報を用いて、並進振れ量演算部４４により並進振れ量が算出されるため、第１振れ量および第２振れ量を時間的に関連付けることができ、同じタイミングの第１振れ量および第２振れ量に基づいて並進振れ量を取得することができる。これにより、並進振れ量の検出精度を高めることができる。
　（３）
　特に、この振れ量測定システム１では、同期信号生成装置７が時間の変化を視覚的に判別可能に表示するため、同期を取るのに必要な時間情報を撮影画像Ｉ０から読み取ることができる。
　具体的には、駆動時間を短くできるＬＥＤ素子７２を用いているため、時間情報の分解能を高めることができる。特に、テストパターンの更新周期（６０〔Ｈｚ〕）よりも短い周期（１〔ｍｓ〕）でＬＥＤ素子７２の点灯が切り換えられるため、撮影画像Ｉ０を用いて、テストパターンが表示された時間を正確に特定できる。
　（４）
　この振れ量測定システム１では、パターンマッチング処理部４２での画像処理が、カメラ２により取得された撮影画像Ｉ０に基づいて行われる。この撮影画像Ｉ０は同期信号生成装置７の像および液晶モニタ５５の像を含んでいるため、液晶モニタ５５にテストパターンが表示された時間を、同期信号生成装置７の像を用いて正確に特定できる。これにより、第１振れ量および第２振れ量の同期を正確に取ることができる。
　（５）
　この振れ量測定システム１では、第１振れ量と第２振れ量との差を用いて並進振れ量を算出する。具体的には、式（２１）および（２２）を用いて並進振れ量を算出するため、従来の技術では測定するのが困難であった並進振れ量を測定することが可能となる。
　〔第２実施形態〕
　前述の第１実施形態では、第１振れ量を算出する際に、パターンマッチング処理を行っているが、他の方法も考えられる。例えば、撮影画像から動きベクトルを算出することで、第１振れ量（並進振れ量）を算出してもよい。
　なお、以下に示す実施形態では、実質的に同じ機能を有する構成には同じ符号を付し、その詳細な説明は省略する。
　図２５に示すように、カメラ１１２のピッチ方向の回転振れ量θｐ（ｔ）、動きベクトルｆ１ｐ（ｔ）および撮影距離Ｌが分かれば、式（２１）を用いてピッチ方向の並進振れ量ｆｙ（ｔ）を算出することができる。また、図２６に示すように、カメラ１１２のヨー方向の回転振れ量θｙ（ｔ）、動きベクトルｆ１ｙ（ｔ）および撮影距離Ｌが分かれば、式（２２）を用いてヨー方向の並進振れ量ｆｘ（ｔ）を算出することができる。このような方法で並進振れ量を算出するために、カメラ１１２は以下のような構成を有している。
　具体的には図２７に示すように、カメラ１１２（撮像装置の一例）は、筐体１８０（図２５および図２６参照）と、光学系（図示せず）と、画像取得部１２２と、３軸ジャイロセンサ１１３と、焦点検出装置１１４と、コントローラ１０４と、シャッターボタン１２５と、液晶モニタ１６０と、振れ補正装置１７０と、を有している。筐体１８０は各部を収容している。
　画像取得部１２２は、被写体の画像データを取得するためのユニットであって、撮像素子１２３と、撮像素子１２３を駆動するための駆動回路１２４と、を有している。撮像素子１２３は例えばＣＣＤである。駆動回路１２４は、例えば、撮像素子１２３が電荷排出あるいは電荷蓄積を開始するタイミングの基準とする垂直同期信号を生成する。画像取得部１２２は筐体１８０に収容されている。
　シャッターボタン１２５は撮影を行う際に操作されるボタンである。シャッターボタン１２５の操作はコントローラ１０４のシャッターボタン検知部１２１により検知される。シャッターボタン１２５は２段式のボタンであり、シャッターボタン検知部１２１はシャッターボタン１２５の半押しおよび全押しを検知することができる。シャッターボタン検知部１２１は、シャッターボタン１２５の半押し操作および全押し操作を検知すると、半押し信号および全押し信号を出力する。
　３軸ジャイロセンサ１１３（第２振れ量取得部の一例）は、前述の３軸ジャイロセンサ３と基本的に同じ構成を有しているが、カメラ１１２にもともと内蔵されている点で異なる。３軸ジャイロセンサ１１３は、カメラ１１２のＸ軸回り、Ｙ軸回りおよびＺ軸回りの角速度を検出するためのセンサであり、第１振れ量取得部として機能する動きベクトル演算部１４２とは異なる方法で、筐体１８０の回転振れ量を第２振れ量として取得する。なお、３軸ジャイロセンサ１１３は少なくともＸ軸回りおよびＹ軸回りの角速度を検出できればよい。
　液晶モニタ１６０は、画像取得部１２２で取得された撮影画像を表示する。ライブビューモードでは、液晶モニタ１６０には被写体の実時間画像が表示される。
　振れ補正装置１７０は、カメラ１１２の振れが撮影画像に与える影響を抑制するための装置であり、例えば光軸に直交する方向に移動可能に設けられた補正レンズ（図示せず）と、補正レンズを駆動する駆動ユニット（図示せず）と、を有している。振れ補正装置１７０では、コントローラ１０４の総振れ量演算部１４８（後述）で算出される振れ量のデータに基づいて駆動ユニットにより補正レンズが駆動される。例えば、振れ補正モードとしては、シャッターボタン１２５が半押しされてから補正が開始される第１補正モード、およびシャッターボタン１２５が全押しされてから補正が開始される第２補正モード、が考えられる。振れ補正を行っていないときは機械的あるいは電気的に補正レンズを中央位置で保持するセンタリングが駆動ユニットによりなされている。
　焦点検出装置１１４は、例えばコントラスト検出方式や位相差検出方式を用いてオートフォーカス機能を実現している。焦点検出装置１１４はカメラ１１２から被写体までの距離を測定することができる。
　コントローラ１０４は、カメラ１１２を制御するユニットであり、画像処理部１９８と、撮影画像記録部１４７と、動きベクトル演算部１４２と、第１振れ量記憶部１４３と、並進振れ量演算部１４４と、露光準備制御部１９９と、シャッターボタン検知部１２１と、第２振れ量演算部１４５と、第２振れ量記憶部１４６と、総振れ量演算部１４８と、振れ補正制御部１５１と、を有している。
　画像処理部１９８は画像取得部１２２に取得された画像に、例えばデジタル化処理などの所定の処理を施す。撮影画像記録部１４７は画像処理部１９８により処理が施された画像データを撮影画像として記憶する。動きベクトル演算部１４２（第１振れ量取得部の一例）は画像取得部１２２により取得された撮影画像（画像データの一例）に基づいて動きベクトルを検出する。動きベクトルの検出方法は、例えば２枚の画像の間で代表点の動きを演算により求める方法が挙げられる。第１振れ量記憶部１４３は動きベクトル演算部１４２により得られた振れ量（ｆ１ｐ（ｔ）、ｆ１ｙ（ｔ））を第１振れ量として記憶する。
　シャッターボタン検知部１２１はシャッターボタン１２５が押されたか否かを検知する。露光準備制御部１９９は、画像取得部１２２での露光を開始する前に、フォーカスユニットおよび絞りユニットを所望の撮影状態に調節するためのユニットである。シャッターボタン１２５が押されたことがシャッターボタン検知部１２１により検知されると、露光準備制御部１９９により各部の制御が開始される。
　第２振れ量演算部１４５（第２振れ量取得部の一例）は、前述の第２振れ量演算部４５と同様に、３軸ジャイロセンサ１１３から出力される角速度に基づいて、回転角度を算出する。第２振れ量記憶部１４６は、第２振れ量演算部１４５により算出された回転角度θｐ（ｔ）およびθｙ（ｔ）を第２振れ量として記憶する。
　並進振れ量演算部２４４（第３振れ量取得部の一例）は、第１振れ量記憶部２４３に記憶された第１振れ量と、第２振れ量記憶部２４６に記憶された第２振れ量と、を用いて筐体１８０の並進振れ量（第３振れ量の一例）を算出する。具体的には、前述の式（２１）および（２２）を用いて、並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）が並進振れ量演算部２４４により算出される。
　総振れ量演算部１４８は、３軸ジャイロセンサ１１３で検出された回転振れ量および並進振れ量演算部１４４で算出された並進振れ量に基づいて総振れ量を算出する。具体的には、ピッチ方向の総振れ量θｐｆおよびヨー方向の総振れ量θｙｆは以下の式で表される。
Figure JPOXMLDOC01-appb-M000027
Figure JPOXMLDOC01-appb-M000028
 　振れ補正制御部１５１は、総振れ量演算部１４８で算出された総振れ量θｐｆおよびθｙｆに基づいて振れ補正装置１７０を制御する。具体的には、振れ補正制御部１５１は、総振れ量に対応する位置に補正レンズが駆動ユニットにより駆動されるように、振れ補正装置１７０に補正レンズの目標位置情報を送信する。また、振れ補正機能がＯＦＦの状態では、補正レンズが中心位置で保持されるように振れ補正制御部１５１は振れ補正装置１７０を制御する。
　ここで、図２９を用いてカメラ１１２の動作について説明する。なお、ここでは、振れ補正モードとして第２補正モードが選択され、かつ、撮影モードとしてライブビューモードが選択されている場合について説明する。
　図２９に示すように、ライブビューモードでは、被写体の実時間画像を液晶モニタ１６０に表示しながら、シャッターボタン１２５の状態がシャッターボタン検知部１２１により監視される（Ｓ１１）。シャッターボタン１２５が半押し操作されると、シャッターボタン検知部１２１により半押しが検知され、シャッターボタン検知部１２１から半押し信号（第１操作情報の一例）が出力される。シャッターボタン検知部１２１から半押し信号が出力されると、焦点検出装置１１４によりオートフォーカスが行われ、さらに回転振れ量の検出が行われる（Ｓ１２）。具体的には、シャッターボタン検知部１２１から第２振れ量演算部１４５に半押し信号が出力されると、３軸ジャイロセンサ１１３から出力される角速度ωｘ（ｔ）、ωｙ（ｔ）およびωｚ（ｔ）に基づいてＸ軸回り、Ｙ軸回りおよびＺ軸回りの回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）が第２振れ量演算部１４５により算出される。第２振れ量演算部４５により算出された回転角度θｐ（ｔ）、θｙ（ｔ）およびθｒ（ｔ）は、時間情報ｔとともに第２振れ量記憶部４６に一時的に記憶される。
　また、シャッターボタン１２５の半押し後、画像処理による動きベクトルの検出が開始される（Ｓ１３）。具体的には、シャッターボタン１２５の半押し後に出力された垂直同期信号に対応する撮影画像と、その撮影画像の前に取得され撮影画像記録部１４７に記憶された撮影画像と、が動きベクトル演算部１４２により比較される。この結果、動きベクトル演算部１４２によりピッチ方向およびヨー方向の動きベクトルが第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）として算出される。図２５および図２６に示すように、ここでは、動きベクトルが被写体上でのベクトルに変換されている。動きベクトル演算部１４２により算出された第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）は第１振れ量記憶部１４３により記憶される。
　さらに、シャッターボタン１２５の半押し後、焦点検出装置１１４により、焦点検出が行われ、さらにカメラ１１２からメインの被写体までの撮影距離Ｌが検出される（Ｓ１４）。焦点検出結果に基づいてオートフォーカスが行われる。算出された撮影距離Ｌは焦点検出装置１１４から並進振れ量演算部１４４に送られる。
　次に、第１振れ量ｆ１ｐ（ｔ）およびｆ１ｙ（ｔ）、第２振れ量θｐ（ｔ）およびθｙ（ｔ）、および撮影距離Ｌに基づいて、並進振れ量演算部１４４により並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）が算出される（Ｓ１５）。並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）を算出する際、前述の式（２１）および式（２２）が用いられる。
　並進振れ量を算出する際に、第１振れ量および第２振れ量の間で同期を取るのが好ましい。例えば、同期処理は並進振れ量演算部１４４により行われる。具体的には、動きベクトルとして算出される第１振れ量の検出周期よりも、３軸ジャイロセンサ１１３により検出される第２振れ量の検出周期の方が短い。例えば、第１振れ量の検出周期が１／３０〔ｍｓ〕（３０〔Ｈｚ〕）であるのに対して、第２振れ量の検出周期は１〔ｍｓ〕（１０００〔Ｈｚ〕）となっている。したがって、検出周期が長い第１振れ量の検出タイミングに合わせて、同じタイミング（あるいは最も近いタイミング）で取得された第２振れ量が並進振れ量演算部１４４により抽出される。
　より詳細には、ライブビューモードでは、被写体の実時間画像を表示するために、所定の周期（例えば、ライブビューモードのフレームレートの３０Ｈｚ）で駆動回路１２４から撮像素子１２３に垂直同期信号が順次出力される。このとき、垂直同期信号は駆動回路１２４から並進振れ量演算部１４４にも送られる。これにより、撮像素子１２３で撮影画像の取得が行われるタイミングを並進振れ量演算部１４４は把握することができる。
　一方で、並進振れ量演算部１４４にはシャッターボタン検知部１２１から半押し信号が入力されるので、並進振れ量演算部１４４は半押し信号を基準として、概ね同じ時間に取得された第１振れ量および第２振れ量を選択する。具体的には図３０に示すように、半押し信号と同時または半押し信号の直後に入力された垂直同期信号が並進振れ量演算部１４４により特定され、その垂直同期信号と同時または垂直同期信号の直後に入力された第２振れ量θｐ（ｔ１）およびθｙ（ｔ１）が並進振れ量演算部１４４により抽出される。
　ここで、動きベクトルの算出は画像処理により行われるので、垂直同期信号の入力から動きベクトルの算出まで若干のタイムラグが発生する。したがって、図３０に示すように、実際には垂直同期信号の入力よりも第１振れ量の出力が若干遅れることになる。
　そこで、半押し信号の入力後に算出された動きベクトル（第１振れ量）ｆ１ｐ（ｔ１′）およびｆ１ｙ（ｔ１′）が、第２振れ量θｐ（ｔ１）およびθｙ（ｔ１）に対応する第１振れ量であるとして、並進振れ量演算部１４４により抽出される。
　第１振れ量および第２振れ量の抽出が完了すると、並進振れ量演算部１４４により、それらの第１振れ量および第２振れ量、および焦点検出装置１１４を用いて検出された撮影距離Ｌに基づいて、並進振れ量が算出される。
　以降、半押し解除または全押しまでの間は、基準とする垂直同期信号を順次変更していき、上記のような第１振れ量および第２振れ量の同期処理が並進振れ量演算部１４４により順次行われる。これにより、概ね同じタイミングで検出された第１振れ量および第２振れ量に基づいて並進振れ量を算出することができ、並進振れ量の精度を確保することができる。
　なお、上記のフローでは、回転振れ量の検出、動きベクトルの算出および撮影距離の検出が順番に並んでいるが、これらが同時に、あるいは上記と異なる順序で実行されてもよい。
　ステップＳ１２～Ｓ１５の後、シャッターボタン１２５の全押しがシャッターボタン検知部１２１により確認され、シャッターボタン１２５が全押しされるまでの間、または半押しが解除されるまでの間、ステップＳ１２～Ｓ１５が繰り返される。ステップＳ１２～Ｓ１５を繰り返すたびに、並進振れ量演算部１４４に記憶されている並進振れ量は最新の値に更新される。更新周期は例えば垂直同期信号の周期（１／３０〔ｓ〕）と同じである。
　なお、並進振れ量演算部１４４に記憶される並進振れ量は、算出直後の最新のデータだけでなく、過去のデータが時間情報とともに格納されていてもよい。
　シャッターボタン１２５が全押し操作されると、シャッターボタン検知部１２１から全押し信号が出力される。この全押し信号（第２操作情報の一例）に基づいてステップＳ１２～Ｓ１５の処理が停止する。具体的には、シャッターボタン１２５が全押し操作されると、並進振れ量演算部１４４がシャッターボタン検知部１２１から全押し信号を受信する。この全押し信号に基づいて並進振れ量演算部１４４は並進振れ量の算出処理を停止する。一方で、並進振れ量演算部１４４が全押し信号を受信すると、３軸ジャイロセンサ１１３および第２振れ量演算部１４５により回転振れ量が検出される。こうして、全押し操作されたときの回転振れ量が並進振れ量演算部１４４により第２振れ量記憶部１４６から第２振れ量として抽出される。
　回転振れ量が抽出されると、回転振れ量および並進振れ量を用いて総振れ量演算部１４８により総振れ量が算出される（Ｓ１８）。このとき、並進振れ量としてステップＳ１５で最後に算出された並進振れ量が用いられるが、回転振れ量としてはステップＳ１７で検出された最新の回転振れ量が用いられる。なお、並進振れ量として最後に算出されたデータではなく、それまでに算出された複数のデータを用いて平均値や予測値を算出し、その値を用いてもよい。
　総振れ量の算出後、露光準備動作の１つとして振れ補正装置１７０の駆動が開始される（Ｓ１９）。具体的には、算出された総振れ量に基づいて、振れ補正装置１７０の補正レンズの駆動量が算出され、算出された駆動量に基づいて補正レンズが所定の位置まで駆動される。
　振れ補正装置１７０の駆動後、他の露光準備動作が完了していれば、画像の取得が行われる（Ｓ２０）。具体的には、シャッターユニット（図示せず）が所定の時間だけ撮像素子１２３を露光させる。画像の取得が完了すると、撮影画像がメモリカードなどの記憶媒体に記憶される。
　以上に説明したように、総振れ量には回転振れ量だけでなく並進振れ量も含まれているので、並進振れも考慮した高い振れ補正性能を実現することができ、カメラ１１２の振れが撮影画像に与える影響を効果的に抑制することができる。
　特に、第１振れ量の検出周期（１／３０〔ｓ〕）が第２振れ量の検出周期（１〔ｍｓ〕）よりも長くなっているが、並進振れは回転振れに比べて周波数が低く、滑らかな振れであることが発明者らの実験によって明らかになっている。そのため、ライブビューなどの比較的フレームレートが低い条件で動きベクトルを算出しても、第１振れ量の精度を十分確保することができる。さらには、比較的高精度で回転振れ量を検出できる３軸ジャイロセンサ１１３の出力を利用しているので、単に動きベクトルだけで総振れ量を検出する場合に比べて、総振れ量の検出精度を高めることができる。つまり、このカメラ１１２であれば、並進振れも考慮した高精度の振れ補正が可能となる。
　なお、並進振れ量を検出するために加速度センサを設ける必要がないので、このカメラ１１２であれば、簡素な構成により高精度の振れ補正を実現できる。
　〔第３実施形態〕
　前述の第２実施形態では、シャッターボタン１２５が全押しされると、並進振れ量の算出動作が停止するが、振れ補正装置１７０が駆動する直前まで並進振れ量の算出を継続する場合も考えられる。例えば、図３１および図３２に示すように、ステップＳ１１～Ｓ１６までは図２９のフローと同じであるが、シャッターボタン１２５の全押し操作後、さらにステップＳ１２～Ｓ１５の動作が振れ補正装置１７０の駆動が開始されるまで繰り返される。
　具体的には、シャッターボタン１２５が全押しされると、シャッターボタン検知部１２１から全押し信号が出力され、図２９のステップＳ１２～Ｓ１４と同様に、回転振れ量、動きベクトルおよび撮影距離がそれぞれ各部で検出される（Ｓ２７～Ｓ２９）。さらに、前述のステップＳ１５と同様に、並進振れ量演算部１４４により並進振れ量が算出される（Ｓ３０）。
　並進振れ量の算出後、振れ補正装置１７０の駆動が開始されるか否かが振れ補正制御部１５１により判定され（Ｓ３１）、振れ補正装置１７０が補正を開始するまでステップＳ２７～Ｓ３０が繰り返される。振れ補正制御部１５１が振れ補正装置１７０の駆動が開始されると判定した場合、ステップＳ３２に処理が移行する。
　ステップＳ３２では、振れ補正制御部１５１から並進振れ量演算部１４４に振れ補正開始信号が送られ、図２９のステップＳ１７～Ｓ２０と同様に、回転振れ量の検出、総振れ量の算出、振れ補正装置１７０の駆動および画像の取得が行われる（Ｓ３２～Ｓ３５）。
　このように、第３実施形態に係るフローでは、振れ補正装置１７０が駆動される直前まで並進振れ量の算出が行われるので、並進振れ量の精度を高めることができ、振れ補正装置１７０の補正性能の向上が期待できる。
　〔第４実施形態〕
　前述の第２および第３実施形態では、シャッターボタン１２５の半押し操作後にステップＳ１２～Ｓ１５の並進振れ量算出フローが開始されているが、さらに前の段階で並進振れ量算出フローが開始される構成も考えられる。例えば、撮影モードがライブビューモードに切り替えられたときに、回転振れ量の検出、動きベクトルの算出、撮影距離の検出および並進振れ量の算出が開始されてもよい。ここでは、撮影モードがライブビューモードであり、かつ、連続的にオートフォーカスが行われるコンティニュアス・オートフォーカスモードが設定されている場合について説明する。
　図３３に示すように、ライブビューモード移行後、図２９のステップＳ１２～Ｓ１５と同様に、回転振れ量の検出、動きベクトルの算出、撮影距離の検出および並進振れ量の算出が開始される（Ｓ４１～Ｓ４４）。このとき、コンティニュアス・オートフォーカスモードが設定されているので、被写体に焦点が合っている状態が保たれている。この状態で、ステップＳ４１～Ｓ４４はシャッターボタン１２５が全押しされるまで繰り返される（Ｓ４５）。被写体に焦点が合っているので、動きベクトルの検出精度を確保することができる。
　シャッターボタン１２５が全押しされると、図２９のステップＳ１７～Ｓ２０と同様に、回転振れ量の検出、総振れ量の算出、振れ補正装置１７０の駆動および画像の取得が順次実行される（Ｓ４６～Ｓ４９）。
　このように、撮影モードがライブビューモードに切り替えられたときに、並進振れ量の検出が開始されるので、シャッターボタン１２５が半押しされる前から並進振れ量を予め算出しておくことができる。これにより、半押しから全押しまでの時間が極端に短い場合（例えば、ユーザーがシャッターボタン１２５を一気に全押しした場合）であっても、並進振れ量の算出処理を半押しから全押しまでの間に実行する必要がなくなるので、撮影時のタイムラグを少なくとも第２および第３実施形態よりも短縮することができる。
　〔第５実施形態〕
　また、前述の第２～第４実施形態のように、回転振れ量および並進振れ量を検出できるカメラであれば、検出した回転振れ量および並進振れ量を液晶モニタ１６０に表示することも考えられる。具体的には図３４に示すように、カメラ１１２の液晶モニタ１６０に、３軸ジャイロセンサ１１３で検出したピッチ方向、ヨー方向およびロール方向の回転振れ量（第２振れ量）、および回転振れ量と動きベクトルとから算出した並進振れ量（第３振れ量）が表示される。例えば、画像取得完了後に撮影画像が液晶モニタ１６０に表示される場合、撮影画像とともに液晶モニタ１６０に図３４に示す棒グラフが表示されてもよい。この場合、ユーザーが撮影時の振れ量を把握することができ、表示されている振れ量を参考に撮影画像の良否を決定することができる。
　なお、ヨー方向およびロール方向の回転振れ量（第２振れ量）、および回転振れ量と動きベクトルとから算出した並進振れ量（第３振れ量）のうち少なくとも１つが表示される構成であれば、上記と同様の効果が得られる。
　〔他の実施形態〕
　本発明は前述の実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　（Ａ）
　前述の第１実施形態では、第１振れ量を算出する際に、パターンマッチング処理を行っているが、他の方法も考えられる。例えば、撮影画像から動きベクトルを算出することで、第１振れ量を算出してもよい。この場合、前述の第２～第４実施形態のように、カメラのみで振れ量測定システムが実現可能である。
　具体的には図３５に示すように、カメラ２１２（撮像装置の一例）は、光学系（図示せず）と、画像取得部２２２と、３軸ジャイロセンサ２１３と、コントローラ２０４と、シャッターボタン２２５と、を有している。この振れ量測定システムを使用する場合は、カメラ２１２が振れ量測定システムのモードに切り換えられる。なお、このモードでは、振れ補正機能はＯＦＦの状態となっている。
　画像取得部２２２は、撮像素子２２３と、撮像素子２２３を駆動するための駆動回路２２４と、を有している。撮像素子２２３は例えばＣＣＤである。駆動回路２２４は、例えば、撮像素子２２３が電荷排出あるいは電荷蓄積を開始するタイミングの基準とする垂直同期信号を生成する。
　シャッターボタン２２５は撮影を行う際に操作されるボタンである。シャッターボタン２２５の操作はコントローラ２０４のシャッターボタン検知部２２１により検知される。
　３軸ジャイロセンサ２１３は、前述の３軸ジャイロセンサ３と基本的に同じ構成を有しているが、カメラ２１２にもともと内蔵されている点で異なる。３軸ジャイロセンサ２１３は、カメラ２１２のＸ軸回り、Ｙ軸回りおよびＺ軸回りの角速度を検出するためのセンサである。
　コントローラ２０４は、カメラ２１２を制御するユニットであり、画像処理部２９８と、撮影画像記録部２４７と、動きベクトル演算部２４２と、第１振れ量記憶部２４３と、並進振れ量演算部２４４と、時間情報取得部２４９と、露光準備制御部２９９と、シャッターボタン検知部２２１と、第２振れ量演算部２４５と、第２振れ量記憶部２４６と、を有している。
　画像処理部２９８は画像取得部２２２に取得された画像に、例えばデジタル化処理などの所定の処理を施す。撮影画像記録部２４７は画像処理部２９８により処理が施された画像データを撮影画像として記憶する。動きベクトル演算部２４２は撮影画像に基づいて動きベクトルを検出する。動きベクトルの検出方法は、例えば２枚の画像の間で代表点の動きを演算により求める方法が挙げられる。第１振れ量記憶部２４３は動きベクトル演算部２４２により得られた振れ量を第１振れ量として記憶する。
　シャッターボタン検知部２２１はシャッターボタン２２５が押されたか否かを検知する。露光準備制御部２９９は、画像取得部２２２での露光を開始する前に、フォーカスユニットおよび絞りユニットを所望の撮影状態に調節するためのユニットである。シャッターボタン２２５が押されたことがシャッターボタン検知部２２１により検知されると、露光準備制御部２９９により各部の制御が開始される。
　時間情報取得部２４９は、駆動回路２２４およびシャッターボタン検知部２２１から出力された信号に基づいて第１振れ量および第２振れ量から並進振れ量を算出する際に同期を取るための時間情報を取得する。
　第２振れ量演算部２４５は、３軸ジャイロセンサ２１３から出力される角速度に基づいて、第２振れ量を算出する。第２振れ量記憶部２４６は、第２振れ量演算部２４５により算出された角速度を第２振れ量として記憶する。
　ここで、図３６を用いてカメラ２１２の動作について説明する。
　図３６に示すように、シャッターボタン２２５がＯＮ操作されると、露光準備制御部１９９により露光準備が開始される。この露光準備にかかる時間は、前述のように撮影状況により異なる。
　次に、画像取得部２２２において露光が開始される。具体的には、露光準備制御部２９９から準備完了の信号を駆動回路２２４が受信すると、駆動回路２２４は垂直同期信号を所定の周期で生成し、撮像素子２２３に出力する。この信号により撮像素子２２３では電荷の蓄積および蓄積電荷の出力が行われる。垂直同期信号の周期は例えば１／３０〔ｓ〕である。図３６に示すように、例えば、露光期間の間に７枚の画像に相当するデータが撮像素子２２３から順次出力される。
　撮像素子２２３から出力された電荷はデジタル信号に変換された後に撮影画像記録部２４７に順次記憶される。
　動きベクトル演算部２４２は、撮影画像記録部２４７で記憶された撮影画像を比較することで動きベクトルを検出する。例えば、１枚目の画像と２枚目の画像とを比較し、カメラ２１２の振れ量のピッチ成分、ヨー成分を第１振れ量として検出する。動きベクトル演算部２４２により検出された第１振れ量は第１振れ量記憶部２４３により記憶される。ここで、カメラ２１２の振れ量のピッチ成分およびヨー成分は、回転振れ量と並進振れ量とを含む。カメラ２１２の振れ量を検出する際、カメラ２１２のロール成分を含まない動きを検出するのが好ましい。
　第２振れ量演算部２４５は、３軸ジャイロセンサ２１３から出力された角速度に基づいてカメラ２１２の振れ量のピッチ成分、ヨー成分およびロール成分を算出する。第２振れ量演算部２４５により算出された第２振れ量は第２振れ量記憶部２４６に記憶される。
　並進振れ量演算部２４４は、第１振れ量記憶部２４３に記憶された第１振れ量と、第２振れ量記憶部２４６に記憶された第２振れ量と、を用いて並進振れ量を算出する。具体的には、前述の式（２１）および（２２）を用いて、並進振れ量ｆｘ（ｔ）およびｆｙ（ｔ）が並進振れ量演算部２４４により算出される。
　並進振れ量を算出する際に、第１振れ量と第２振れ量との間で同期を取る必要があるが、この場合、時間情報取得部２４９および並進振れ量演算部２４４により同期処理が行われる。
　具体的には、時間情報取得部２４９は、シャッターボタン検知部２２１から出力されたシャッタータイミング信号を受信した時点で時間Ｔ１１のカウントを開始する。時間情報取得部２４９は、駆動回路２２４から出力された垂直同期信号に基づいてシャッターボタンが押されてから（正確には、シャッタータイミング信号が時間情報取得部２４９により受信されてから）垂直同期信号を受信するまでの時間をカウントする。これにより、シャッターボタンＯＮ時を基準として画像が取得されたタイミングを特定することができる。
　一方で、シャッターボタン検知部２２１から出力されたシャッタータイミング信号に基づいて第２振れ量演算部２４５および第２振れ量記憶部２４６により第２振れ量の検出および記憶が開始される。第２振れ量はシャッターボタンのＯＮ操作からの時間とともに第２振れ量記憶部２４６に記憶される。
　並進振れ量演算部２４４は、第２振れ量記憶部２４６に記憶された第２振れ量のうち垂直同期信号が出力されたときに検出された第２振れ量を選択する。選択された第２振れ量と動きベクトル検出により算出された第１振れ量とに基づいて、式（２１）および（２２）により並進振れ量が算出される。このように、第１振れ量および第２振れ量の同期処理が時間情報取得部２４９および並進振れ量演算部２４４により行われる。
　以上に説明したように、第１振れ量は動きベクトル検出のような画像処理により算出してもよい。この場合、前述の同期信号生成装置７、テストパターン表示装置５を省略できるため、システムの簡素化が可能となる。
　なお、このカメラ２１２の振れ量測定モードは、ユーザーや開発者がカメラの振れ量を把握する際に、あるいは、振れ量を小さくする撮影方法をユーザーが練習する際に、用いられることが考えられる。
　また、このカメラ２１２の技術は、例えば、装置の動きを検出することが求められるゲーム機の分野でも利用可能である。
　（Ｂ）
　前述の実施形態では、３軸ジャイロセンサ３としてＭＥＭＳ式を例に説明しているが、ジャイロセンサとしては、例えば、回転慣性力を利用した機械式ジャイロセンサ、サニャック効果を利用した光学式ジャイロセンサも考えられる。また、第２振れ量を取得するセンサとして、ジャイロセンサを例に説明しているが、他の方式のセンサであってもよい。
　（Ｃ）
　前述のステップＳ１～Ｓ１０の順序は、図１４に示す順序に限定されない。
　（Ｄ）
　発光部７１の発光素子は、ＬＥＤ素子７２に限定されず、他の発光素子であってもよい。
　また、液晶モニタ５５の代わりに液晶モニタよりも表示更新速度が速い表示装置（例えば、プラズマディスプレイパネル）を用いることも考えられる。この場合、発光部７１に代わるパターンをテストパターンと並べて表示することで、表示装置に表示された画像だけを撮影すれば足りる。この場合も、同期信号生成装置７を省略することができる。
　（Ｅ）
　前述の実施形態において、カメラ２から垂直同期信号を引き出せるようであれば、同期を取るためにカメラ１１２と同様に撮像素子１７に送信される垂直同期信号を利用してもよい。この場合、同期信号生成装置７を省略することができる。
　（Ｆ）
　前述の実施形態では、振れ量演算装置４が画像切り出し部４８を有しているが、パターンマッチング処理部４２および時間情報取得部４９での処理で問題がなければ、画像切り出し部４８を省略することもできる。
　（Ｇ）
　撮像装置としては、コンパクトデジタルカメラだけでなく、交換レンズ式デジタルカメラも考えられる。
　本発明に係る振れ量測定システムでは、振れ量の測定精度を高めることができるため、撮像装置の分野において有用である。
　１　振れ量測定システム
　２　カメラ
２１　シャッターボタン検知部
２２　画像取得部
２３　筐体
　３　３軸ジャイロセンサ（第２振れ量取得部の一例）
　４　振れ量演算装置（第３振れ量取得部の一例）
４０　時間演算部（同期情報取得部の一例）
４１　テストパターン記憶部
４２　パターンマッチング処理部（第１振れ量演算部の一例）
４３　第１振れ量記憶部
４４　並進振れ量演算部
４５　第２振れ量演算部
４６　第２振れ量記憶部
４７　撮影画像記憶部
４８　画像切り出し部
４９　時間情報取得部（同期情報取得部の一例）
　５　テストパターン表示装置（第１振れ量取得部の一例）
５１　制御装置
５２　テストパターン記憶部
５３　表示制御部（第１同期信号生成部の一例）
５５　液晶モニタ（パターン表示部の一例）
　７　同期信号生成装置（同期情報取得部の一例）
７１　発光部（時間情報表示部の一例）
７２　ＬＥＤ素子
７３　ＬＥＤ駆動制御部（第２同期信号生成部の一例）
Ｐ１～Ｐ９　テストパターン

Claims (21)

  1. 　画像取得部を収容する筺体の振れ量を測定するための振れ量測定システムであって、
    　画像処理を用いて前記筺体の振れ量を第１振れ量として取得する第１振れ量取得部と、
    　前記第１振れ量取得部とは異なる方法で前記筺体の振れ量を第２振れ量として取得する第２振れ量取得部と、
    　前記第１振れ量および前記第２振れ量に基づいて前記筺体の並進振れ量を取得する第３振れ量取得部と、
    を備えた振れ量測定システム。
  2. 　前記第３振れ量取得部は、前記第１振れ量と第２振れ量との差を用いて並進振れ量を算出する、
    請求項１に記載の振れ量測定システム。
  3. 　前記第２振れ量取得部は、前記筺体の振れにより生じる物理的な変化を利用して前記第２振れ量を取得する、
    請求項１または２に記載の振れ量測定システム。
  4. 　前記第２振れ量取得部は、少なくとも１つの基準軸回りの前記筐体の回転振れ量を前記第２振れ量として取得する、
    請求項１から３のいずれかに記載の振れ量測定システム。
  5. 　前記第１振れ量および前記第２振れ量の同期を取るための同期情報を取得する同期情報取得部をさらに備え、
    　前記第３振れ量取得部は、前記同期情報を用いて前記並進振れ量を算出する、
    請求項１から４のいずれかに記載の振れ量測定システム。
  6. 　前記同期情報取得部は、時間の変化を視覚的に判別可能に表示する時間情報表示部を有している、
    請求項５に記載の振れ量測定システム。
  7. 　前記第１振れ量取得部は、互いに異なる複数のテストパターンを順次表示するパターン表示部と、前記画像処理により前記第１振れ量を算出する第１振れ量演算部と、を有しており、
    　前記画像処理は、前記画像取得部により取得され前記時間情報表示部の像と前記パターン表示部の像とが含まれる撮影画像に基づいて行われる、
    請求項６に記載の振れ量測定システム。
  8. 　前記第１振れ量取得部は、前記複数のテストパターンのうち特定の前記テストパターンが前記パターン表示部に表示された際に第１同期信号を生成する第１同期信号生成部をさらに有している、
    請求項７に記載の振れ量測定システム。
  9. 　前記時間情報表示部は、互いに異なる複数のパターンを順次表示し、
    　前記同期情報取得部は、前記複数のパターンのうち特定の前記パターンが表示された際に第２同期信号を生成する第２同期信号生成部をさらに有している、
    請求項７または８に記載の振れ量測定システム。
  10. 　前記同期情報取得部は、前記撮影画像に含まれる前記時間情報表示部の像と前記第２同期信号とに基づいて前記同期情報を取得する時間情報取得部をさらに有している、
    請求項９に記載の振れ量測定システム。
  11. 　前記第３振れ量取得部は、前記第１振れ量をｆ１、前記第２振れ量をθ２、並進振れ量をｆ３、撮影距離をＬとした場合に、以下の式を用いて前記並進振れ量を算出する、
    ｆ３＝ｆ１－Ｌ×ｔａｎ（θ２）
    請求項１から１０のいずれかに記載の振れ量測定システム。
  12. 　前記筐体と、
    　前記画像取得部と、
    　請求項１から１１のいずれかに記載の振れ量測定システムと、
    を備えた撮像装置。
  13. 　画像取得部を収容する筺体の振れ量を測定するための振れ量測定方法であって、
    　画像処理を用いて前記筺体の振れ量を第１振れ量として取得する工程と、
    　前記第１振れ量取得部とは異なる方法で前記筺体の振れ量を第２振れ量として取得する工程と、
    　前記第１振れ量および前記第２振れ量に基づいて前記筺体の並進振れ量を取得する工程と、
    を備えた振れ量測定方法。
  14. 　筺体と、
    　前記筐体に収容され被写体の画像データを取得する画像取得部と、
    　前記画像取得部により取得された前記画像データに基づいて前記筺体の振れ量を第１振れ量として取得する第１振れ量取得部と、
    　前記第１振れ量取得部とは異なる方法で前記筺体の振れ量を第２振れ量として取得する第２振れ量取得部と、
    　前記第１振れ量および前記第２振れ量に基づいて前記筺体の並進振れ量を取得する第３振れ量取得部と、
    　前記第２振れ量および前記第３振れ量に基づいて前記筐体の振れが前記画像データに与える影響を抑制する振れ補正装置と、
    を備えた撮像装置。
  15. 　前記第３振れ量取得部は、少なくとも前記画像取得部で前記画像データの取得が行われる前に前記第３振れ量の取得を開始する、
    請求項１４に記載の撮像装置。
  16. 　第１操作情報と、前記第１操作情報よりも後に入力される情報であって前記画像取得部で前記画像データの取得を実行するための前記第２操作情報と、をユーザーが入力できる操作部と、
    　前記第３振れ量取得部は、前記第１操作情報に基づいて前記第３振れ量の取得を開始する、
    請求項１５に記載の撮像装置。
  17. 　前記第３振れ量取得部は、前記第２操作情報に基づいて前記第３振れ量の取得を停止する、
    請求項１６に記載の撮像装置。
  18. 　前記振れ補正装置は、前記第２操作情報が入力された後に取得された前記第２振れ量を用いて、前記筐体の振れが前記画像データに与える影響を抑制する、
    請求項１７に記載の撮像装置。
  19. 　前記第３振れ量取得部は、撮影モードがライブビューモードに切り替えられたときに、前記第３振れ量の取得を開始する、
    請求項１４または１５に記載の撮像装置。
  20. 　前記第３振れ量取得部は、前記振れ補正装置が補正を開始するまで前記第３振れ量の取得を継続する、
    請求項１４から１９のいずれかに記載の撮像装置。
  21. 　前記撮影画像を表示するための表示部をさらに備え、
    　前記表示部は、前記第２振れ量および前記第３振れ量のうち少なくとも一方を表示するようになっている、
    請求項１４から２０のいずれかに記載の撮像装置。
PCT/JP2009/006431 2008-11-28 2009-11-27 振れ量測定システム、振れ量測定方法および撮像装置 Ceased WO2010061627A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/131,776 US8754949B2 (en) 2008-11-28 2009-11-27 Shake measurement system, shake measurement method, and imaging device
JP2010540387A JPWO2010061627A1 (ja) 2008-11-28 2009-11-27 振れ量測定システム、振れ量測定方法および撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008305085 2008-11-28
JP2008-305085 2008-11-28

Publications (1)

Publication Number Publication Date
WO2010061627A1 true WO2010061627A1 (ja) 2010-06-03

Family

ID=42225512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006431 Ceased WO2010061627A1 (ja) 2008-11-28 2009-11-27 振れ量測定システム、振れ量測定方法および撮像装置

Country Status (3)

Country Link
US (1) US8754949B2 (ja)
JP (1) JPWO2010061627A1 (ja)
WO (1) WO2010061627A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013140943A1 (ja) * 2012-03-21 2015-08-03 シャープ株式会社 変位量検出装置、電子機器
JP2022112842A (ja) * 2021-01-22 2022-08-03 キヤノン株式会社 ブレ評価装置、ブレ評価方法、撮影手段の製造方法、およびプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012054911A (ja) * 2010-08-05 2012-03-15 Panasonic Corp 撮像装置
ITTO20110410A1 (it) * 2011-05-10 2012-11-11 Sisvel Technology Srl Apparato per la cattura di immagini con correzione e gestione delle inclinazioni
DE102011078631A1 (de) * 2011-07-05 2013-01-10 Robert Bosch Gmbh Anordnung und Verfahren zum Bestimmen einer Abbildungsabweichung einer Kamera
WO2013076965A1 (ja) * 2011-11-22 2013-05-30 パナソニック株式会社 測定方法、測定装置、コンピュータ・プログラムおよび記録媒体
CN103702025A (zh) * 2013-12-04 2014-04-02 宁波舜宇光电信息有限公司 基于反射型图像的防手抖补正效果判定方法
JP6749724B2 (ja) * 2016-04-07 2020-09-02 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US11202011B2 (en) * 2016-07-25 2021-12-14 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium
GB201821331D0 (en) * 2018-12-31 2019-02-13 3M Innovative Properties Co Inhaler detection
WO2020168519A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 拍摄参数的调整方法、拍摄设备以及可移动平台
US11089220B2 (en) * 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307937A (ja) * 1999-04-22 2000-11-02 Ricoh Co Ltd 撮像装置
JP2007158853A (ja) * 2005-12-06 2007-06-21 Konica Minolta Opto Inc 振れ補正装置
WO2008078537A1 (ja) * 2006-12-22 2008-07-03 The University Of Electro-Communications ブレ測定システムおよびブレ測定方法
JP2008205915A (ja) * 2007-02-21 2008-09-04 Casio Comput Co Ltd 撮像装置、撮像方法、及びプログラム
JP2009105784A (ja) * 2007-10-25 2009-05-14 Sony Corp 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0337616A (ja) 1989-07-05 1991-02-19 Canon Inc 防振カメラ
JPH0346642A (ja) 1989-07-14 1991-02-27 Nec Home Electron Ltd 撮像装置の画ぶれ防止機構
JP3513950B2 (ja) 1993-12-14 2004-03-31 株式会社ニコン 像振れ補正カメラ
JPH10322584A (ja) 1997-05-20 1998-12-04 Canon Inc 振れ補正方法、レンズ装置、撮像装置及びコンピュータ読み取り可能な記録媒体
JP4031646B2 (ja) 2002-01-15 2008-01-09 株式会社リコー 撮像装置
US20050128309A1 (en) * 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP2005311674A (ja) * 2004-04-21 2005-11-04 Toshiba Corp 映像記録表示装置および映像記録表示方法
JP2008217526A (ja) * 2007-03-06 2008-09-18 Canon Inc 画像処理装置、画像処理プログラム及び画像処理方法
US20100041846A1 (en) * 2007-10-04 2010-02-18 Isp Investment Inc. Hydrophobic Crosslinkable Acetoacetylated Lactam/Vinyl Alcohol Copolymers
JP5306628B2 (ja) * 2007-10-16 2013-10-02 富士フイルム株式会社 撮影方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307937A (ja) * 1999-04-22 2000-11-02 Ricoh Co Ltd 撮像装置
JP2007158853A (ja) * 2005-12-06 2007-06-21 Konica Minolta Opto Inc 振れ補正装置
WO2008078537A1 (ja) * 2006-12-22 2008-07-03 The University Of Electro-Communications ブレ測定システムおよびブレ測定方法
JP2008205915A (ja) * 2007-02-21 2008-09-04 Casio Comput Co Ltd 撮像装置、撮像方法、及びプログラム
JP2009105784A (ja) * 2007-10-25 2009-05-14 Sony Corp 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013140943A1 (ja) * 2012-03-21 2015-08-03 シャープ株式会社 変位量検出装置、電子機器
JP2022112842A (ja) * 2021-01-22 2022-08-03 キヤノン株式会社 ブレ評価装置、ブレ評価方法、撮影手段の製造方法、およびプログラム
JP7710853B2 (ja) 2021-01-22 2025-07-22 キヤノン株式会社 ブレ評価装置、ブレ評価方法、撮影手段の製造方法、およびプログラム

Also Published As

Publication number Publication date
US8754949B2 (en) 2014-06-17
JPWO2010061627A1 (ja) 2012-04-26
US20110228102A1 (en) 2011-09-22

Similar Documents

Publication Publication Date Title
WO2010061627A1 (ja) 振れ量測定システム、振れ量測定方法および撮像装置
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4717382B2 (ja) 光学機器
JP5503347B2 (ja) 交換レンズ、カメラボディ及びカメラシステム
JP6098874B2 (ja) 撮像装置および画像処理装置
CN106998413B (zh) 图像处理设备、摄像设备、图像处理方法和介质
CN106488116B (zh) 摄像装置
CN108260360B (zh) 场景深度计算方法、装置及终端
JP2009296561A (ja) 撮像装置及び撮像方法
CN102893196A (zh) 三维成像装置和三维成像装置的自动聚焦调节方法
JP2023073295A (ja) 交換レンズ、カメラボディ、カメラシステム及び情報送信方法
US11178330B2 (en) Image stabilizing apparatus, image processing apparatus, and detection method
WO2012014355A1 (ja) 撮像装置
JP2010107711A (ja) 焦点制御装置、及び撮像装置
JP2011081186A (ja) 撮像装置
US20160360114A1 (en) Image capturing control apparatus, image capturing apparatus and storage medium storing image capturing control program
CN113396578B (zh) 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法
JP2012163824A (ja) ブレ補正装置及び光学機器
JP2015017999A (ja) 撮像装置
JP2014191017A (ja) 撮像装置及びその制御方法
CN101640811B (zh) 照相机
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム
JP4085720B2 (ja) デジタルカメラ
JP2008015815A (ja) 画像処理装置、および画像処理プログラム
JP2012237884A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09828877

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010540387

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13131776

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09828877

Country of ref document: EP

Kind code of ref document: A1