[go: up one dir, main page]

WO2016103976A1 - 撮像装置及び像振れ補正方法 - Google Patents

撮像装置及び像振れ補正方法 Download PDF

Info

Publication number
WO2016103976A1
WO2016103976A1 PCT/JP2015/082155 JP2015082155W WO2016103976A1 WO 2016103976 A1 WO2016103976 A1 WO 2016103976A1 JP 2015082155 W JP2015082155 W JP 2015082155W WO 2016103976 A1 WO2016103976 A1 WO 2016103976A1
Authority
WO
WIPO (PCT)
Prior art keywords
acceleration
vector
reference vector
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/082155
Other languages
English (en)
French (fr)
Inventor
和田　哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016566032A priority Critical patent/JP6220992B2/ja
Priority to CN201580069816.2A priority patent/CN107111207B/zh
Publication of WO2016103976A1 publication Critical patent/WO2016103976A1/ja
Priority to US15/629,158 priority patent/US9891446B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G03B2205/0015—Movement of one or more optical elements for control of motion blur by displacing one or more optical elements normal to the optical axis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Definitions

  • the present invention relates to an imaging apparatus and an image shake correction method.
  • the shake of the image pickup apparatus includes an angular shake in which the image pickup apparatus rotates around an axis orthogonal to the optical axis, and a translational shake in which the image pickup apparatus is displaced in an axial direction orthogonal to the optical axis.
  • image blur correction for rotational shake generally, an angular velocity around an axis orthogonal to the optical axis is detected, and the rotational shake amount of the imaging apparatus is calculated. Then, the correction optical system or the image sensor is moved so as to cancel the image blur on the image pickup surface of the image sensor based on the rotational shake amount.
  • the acceleration in the axial direction orthogonal to the optical axis is detected, and the translational shake amount of the imaging apparatus is calculated. Then, the correction optical system or the image sensor is moved so as to cancel out the image blur on the imaging surface of the image sensor based on the translational shake amount.
  • Accelerometer is used to detect translational shake of the imaging device.
  • the gravitational acceleration component is included in the output of the acceleration sensor, it is necessary to remove the gravitational acceleration component.
  • the gravitational acceleration direction initial posture
  • the gravitational acceleration direction is obtained from the motion equation of the camera as an inertial body using the initial acceleration in the stationary state and the angular velocity change, and then the gravitational force obtained by calculation is calculated.
  • the acceleration component is removed from the output value of the acceleration sensor.
  • the image shake correction apparatus described in Patent Document 2 after obtaining the change in gravity applied to the accelerometer based on the change in the shake angle signal from the angular velocity meter, the shake acceleration signal from the accelerometer and the obtained shake acceleration signal are obtained.
  • the output error of the accelerometer due to the influence of gravity is removed by calculating the difference with the signal accompanying the gravity change.
  • Patent Documents 1 and 2 described above use the angular velocity detected by the sensor in order to derive the gravitational acceleration component. However, if errors due to the angular velocity displacement accumulate, the gravitational acceleration component cannot be accurately removed from the acceleration signal. Even if image blur correction is performed based on an acceleration signal from which the gravitational acceleration component is not removed, image degradation is not eliminated.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an image pickup apparatus and an image shake correction method capable of correcting image shake due to translational shake with high accuracy.
  • An imaging device includes an acceleration detection unit that detects acceleration in each of the three orthogonal axes, and a magnitude of a combined vector of accelerations in each of the three orthogonal axes detected by the acceleration detection unit.
  • a reference vector generation unit that generates a reference vector using the composite vector when the difference between the magnitude and the gravitational acceleration is equal to or less than a predetermined threshold value, and the directions of the three orthogonal axes detected by the acceleration detection unit
  • a shake correction unit that corrects image shake due to translational shake in two axial directions perpendicular to the optical axis of the imaging optical system based on the reference vector.
  • an image shake correction method in which the difference between the magnitude of a combined vector of accelerations in the directions of three orthogonal axes acting on an imaging device and the magnitude of gravitational acceleration is equal to or less than a predetermined threshold value. Based on the generation step of generating a reference vector using a vector and the acceleration in the direction of each of the three orthogonal axes acting on the imaging apparatus, the orthogonal 2 at least perpendicular to the optical axis of the imaging optical system is used using the reference vector. A correction step of correcting image blur due to translational shake in each axial direction of the shaft.
  • an imaging apparatus and an image blur correction method capable of correcting image blur due to translational shake with high accuracy.
  • FIG. 1 is a diagram illustrating an appearance of an example of an imaging apparatus for explaining an embodiment of the present invention. It is a figure which shows the structure of the imaging device of FIG. It is a figure which shows the structure of an example of the image blur correction system of the imaging device of FIG. It is a figure which shows the relationship between the variation
  • 4 is a flowchart illustrating an operation of the image blur correction system illustrated in FIG. 3.
  • FIG. 8 is a flowchart showing an operation of the image blur correction system shown in FIG. 7.
  • FIG. 7 It is a figure which shows the external appearance of the other example of an imaging device for describing embodiment of this invention. It is a figure which shows the structure of the imaging device of FIG.
  • FIG. 1 shows an external appearance of an example of an imaging apparatus for explaining an embodiment of the present invention
  • FIG. 2 shows a configuration of the imaging apparatus of FIG.
  • the digital camera 1 as an example of the imaging device shown in FIGS. 1 and 2 moves in an optical axis direction (z-axis direction) and two axial directions orthogonal to the optical axis direction (x-axis direction and y-axis direction).
  • An imaging optical system 2 including a movable lens 2a that is supported, an imaging element 3 that images a subject through the imaging optical system 2, a focus adjustment unit 4 that determines a focus position of the movable lens 2a, and a movable lens 2a.
  • a focus drive unit 5 that moves in the z-axis direction and a control unit 6 are provided.
  • the movable lens 2 a is elastically supported by a holder spring 2 b so as to be movable in the x-axis, y-axis, and z-axis directions inside the housing of the digital camera 1.
  • the image pickup device 3 is, for example, a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the output signal of the image sensor 3 is digitally converted by the signal processing unit 7 through analog signal processing such as correlated double sampling processing. Then, the signal processing unit 7 performs digital signal processing such as interpolation, gamma correction, and RGB / YC conversion on the signal obtained by digitally converting the output signal of the image sensor 3 to generate image data.
  • analog signal processing such as correlated double sampling processing.
  • the signal processing unit 7 performs digital signal processing such as interpolation, gamma correction, and RGB / YC conversion on the signal obtained by digitally converting the output signal of the image sensor 3 to generate image data.
  • the focus adjusting unit 4 determines the in-focus state based on the image data generated by the signal processing unit 7 using an AF method such as a contrast method, and determines the in-focus position of the movable lens 2a. Then, the focus adjustment unit 4 outputs a focus adjustment signal indicating the determined focus position to the control unit 6.
  • an AF method such as a contrast method
  • the focus drive unit 5 is a so-called voice coil motor, and includes a magnet and a drive coil that are arranged opposite to each other and fixed to the movable lens 2a, and according to a drive current supplied to the drive coil, the movable lens A driving force for moving 2a in the z-axis direction is generated.
  • An instruction signal such as a shooting instruction by the user is input from the operation unit 8 to the control unit 6.
  • the control unit 6 drives the imaging device 3 in response to the shooting instruction, and causes the imaging device 3 to perform imaging.
  • the digital camera 1 includes a main memory 9 that stores setting information and the like, a storage unit 10 that includes a storage medium such as a memory card that stores image data generated by the signal processing unit 7, and a signal processing unit 7.
  • a display unit 11 including a display panel such as a liquid crystal display panel that displays the generated image data and menu is provided.
  • the focus adjustment unit 4, the signal processing unit 7, the main memory 9, the storage unit 10, and the display unit 11 are connected to each other by a control bus 12 and a data bus 13, and are controlled by a command from the control unit 6.
  • the focus adjustment signal that indicates the in-focus position of the movable lens 2a is input from the focus adjustment unit 4 to the control unit 6.
  • the control unit 6 controls the focus driving unit 5 based on the focus adjustment signal, and holds the movable lens 2a at the in-focus position indicated by the focus adjustment signal.
  • the focus drive unit 5 is a voice coil motor, and the focus adjustment signal indicates the value of the drive current supplied to the drive coil.
  • the digital camera 1 further includes an acceleration detection unit 20 that detects acceleration acting on the digital camera 1, and a correction drive unit 21 that corrects image blur on the imaging surface of the image sensor 3 caused by shake of the digital camera 1.
  • an acceleration detection unit 20 that detects acceleration acting on the digital camera 1
  • a correction drive unit 21 that corrects image blur on the imaging surface of the image sensor 3 caused by shake of the digital camera 1.
  • an image blur correction lens may be provided separately from the movable lens 2a as the focus lens, and the image blur correction lens may be corrected by moving the image blur correction lens in each of the x-axis and y-axis directions.
  • Image blur may be corrected by moving the element 3 in the x-axis and y-axis directions.
  • the movable lens 2a only needs to be movable in the z-axis direction.
  • FIG. 3 shows an example of functional blocks of the image blur correction system of the digital camera 1.
  • the acceleration detection unit 20 includes an acceleration sensor 22x that detects acceleration in the x-axis direction, an acceleration sensor 22y that detects acceleration in the y-axis direction, and an acceleration sensor 22z that detects acceleration in the z-axis direction.
  • the control unit 6 includes a reference vector generation unit 23 that generates a reference vector of acceleration acting on the digital camera 1, and a shake correction control unit 24 that controls the correction drive unit 21.
  • the reference vector generation unit 23 calculates the magnitude (
  • the magnitude of the combined acceleration vector M is determined by the sum of squares (ax 2 + ay 2 + az 2 ) of the accelerations ax, ay, and az detected by the acceleration sensors 22x, 22y, and 22z, respectively.
  • the reference vector generation unit 23 stores the calculated composite vector M in the main memory 9 in association with the calculation time.
  • is a predetermined value.
  • the recursive filter used when the reference vector generation unit 23 calculates the reference vector R includes the latest synthesized vector M0 and the current reference vector (previously calculated in the main memory 9). Hereinafter, it is referred to as “past reference vector”.) R1. Note that the sum of the weighting coefficient ⁇ multiplied by the latest combined vector M0 and the weighting coefficient ⁇ multiplied by the past reference vector R1 is 1.
  • the target to be multiplied by the weight coefficient ⁇ is not limited to the past reference vector R1, but may be the past combined vector M1 stored in the main memory 9 as shown below.
  • the past combined vector or the past reference vector used for calculating the reference vector R is not limited to one, and may be plural as shown below.
  • Another example of a recursive filter ⁇ M0 + ⁇ R1 +... + ⁇ Rn (Rn is a reference vector calculated n times before)
  • Another example of a recursive filter ⁇ M0 + ⁇ M1 +... + ⁇ Mn (Mn is a composite vector obtained n times before)
  • the sum of the weight coefficients multiplied by each composite vector or each reference vector is 1.
  • the reference vector generation unit 23 sets the value of the weighting factor ⁇ when determining the recursive filter used for calculating the reference vector R.
  • the weighting factor ⁇ is set to a predetermined value from 0 to 1 according to the amount of change ⁇ M of the latest combined vector M1 or the latest combined vector M0 from the past reference vector R1. That is, the weighting factor ⁇ is set to 0 when the amount of change ⁇ M is from 0 to a predetermined threshold value ⁇ Mth1, is set to 1 when the amount is greater than or equal to a predetermined threshold value ⁇ Mth2 that is greater than the predetermined threshold value ⁇ Mth1, and is set to 1 from the threshold value ⁇ Mth1 to the threshold value ⁇ Mth2.
  • Is set to a value between 0 and 1 proportional to the magnitude of the change ⁇ M.
  • the amount of change ⁇ M is calculated for each axis component of the three orthogonal axes, and the value of the weighting coefficient ⁇ is also set for each axis component of the three orthogonal axes.
  • the shake correction control unit 24 second-order-integrates the difference value obtained by subtracting the x-axis component of the new reference vector R0 calculated by the reference vector generation unit 23 from the acceleration in the x-axis direction detected by the acceleration sensor 22x, and generates the x-axis. Find the translational deflection in the direction. Similarly, the shake correction control unit 24 second-order integrates the difference value obtained by subtracting the y-axis component of the new reference vector R0 calculated by the reference vector generation unit 23 from the acceleration in the y-axis direction detected by the acceleration sensor 22y. The translational shake amount in the y-axis direction is obtained.
  • the shake correction control unit 24 obtains the amount of movement of the movable lens 2a in each axial direction of the x-axis and y-axis based on the obtained translational shake amount in each axial direction of the x-axis and y-axis.
  • the shake correction control unit 24 controls the correction driving unit 21 to move the movable lens 2a in the x-axis and y-axis directions by the obtained movement amount of the movable lens 2a. Thereby, image blur due to translational shake of the digital camera 1 is corrected.
  • the shake correction control unit 24, the correction drive unit 21, and the movable lens 2a as a correction lens constitute a shake correction unit that corrects image shake.
  • the correction drive unit 21 can be configured as a voice coil motor, like the focus drive unit 5.
  • FIG. 5 is a flowchart showing the operation of the image blur correction system shown in FIG.
  • the reference vector generation unit 23 included in the control unit 6 calculates the magnitude
  • the reference vector generation unit 23 determines whether or not the absolute value of the difference C calculated in step S103 is equal to or smaller than a threshold Cth (
  • step S107 the reference vector generation unit 23 calculates the past combined vector or the latest amount of change ⁇ M of the combined vector from the past reference vector for each of the three orthogonal axis components.
  • the reference vector generation unit 23 sets a weighting factor ⁇ corresponding to the change amount ⁇ M for each of the three orthogonal axis components, and also sets other weighting factors corresponding to the weighting factor ⁇ (step S109).
  • the reference vector generation unit 23 calculates a new reference vector using the weighting factor set in step S109 and the latest combined vector and a past reference vector or a cyclic filter based on the combined vector (step S111). ).
  • the shake correction control unit 24 uses the reference vector calculated in step S111, and based on the acceleration in each of the three orthogonal axes detected by the acceleration detection unit 20, the optical axis direction (z-axis direction). Image blur correction processing by translational shake in each of the two orthogonal axes (x-axis direction and y-axis direction) perpendicular to is controlled (step S113).
  • FIG. 6 is a diagram illustrating a change in the reference vector R when the orientation of the digital camera 1 is greatly changed in a state where the reference vector R1 is used for image blur correction processing. Since the posture of the digital camera 1 until time t1 shown in FIG. 6 is stable and the acceleration signal detected by the acceleration detection unit 20 in this state is dominant in gravity, the reference vector generation unit 23 is periodically The reference vector R is calculated. During the time t1 to t2 when the user of the digital camera 1 intentionally changes the posture of the digital camera 1, acceleration other than gravity is added to the acceleration signal. At this time, the difference C between the magnitude
  • the vector generation unit 23 does not calculate the reference vector R. After time t2, the posture of the digital camera 1 is stabilized again, and gravity is dominant again in the acceleration signal. Therefore, the reference vector generation unit 23 calculates the reference vector R, and a new reference vector R0 is obtained. Therefore, the shake correction control unit 24 after the time t2 uses the newly calculated reference vector R0 to control image shake correction processing due to translational shake based on the accelerations in the directions of the three orthogonal axes.
  • the reference vector R calculated by the reference vector generation unit 23 is subjected to low-pass filter processing. In terms of reducing the influence of noise in the processing, it is preferable to set the cutoff frequency to a low value. However, when the cut-off frequency is low, when the reference vector R is also calculated during the time t1 to t2 when the attitude of the digital camera 1 changes greatly, the reference vector R is a desired value as shown by a broken line in FIG. It takes time to follow. In the present embodiment, as described above, since the reference vector R is not calculated during the time t1 to t2, sufficient followability of the reference vector R is realized even when the cutoff frequency is set to a low value. it can.
  • the reference vector is not calculated while the attitude of the digital camera 1 is greatly changed, and the reference vector is calculated based on the combined acceleration vector obtained when the attitude of the digital camera 1 is stable again. . For this reason, image blur due to translational shake can be corrected with high accuracy while appropriately following changes in the direction of gravity.
  • the reference vector is calculated by a weighted average of the latest synthesized vector obtained in a state where the posture of the digital camera 1 is stabilized again and the past synthesized vector or the past reference vector. For this reason, it is possible to obtain a highly accurate reference vector in consideration of past information.
  • the weighting factor multiplied by the latest synthesized vector and the weighting factor multiplied by the past synthesized vector or the past reference vector depend on the amount of change of the latest synthesized vector from the past synthesized vector or the past reference vector. As the amount of change is larger, a larger value is set for the weighting coefficient multiplied by the latest combined vector. For this reason, when the latest information on acceleration has changed significantly from the past information, the ratio of the latest information in the addition average is large and the ratio of the past information is used small. It is possible to obtain a highly accurate reference vector that has been followed.
  • FIG. 7 shows another example of functional blocks of the image blur correction system of the digital camera 1.
  • the system includes an angular velocity detection unit 31 that detects the angular velocity of the digital camera 1 in each of three orthogonal axes.
  • the same components (acceleration detection unit 20 and reference vector generation unit 23) as those in FIG. 3 are denoted by the same reference numerals, and description thereof is simplified or omitted.
  • the control unit 6 includes a reference vector generation unit 23 that generates a reference vector of acceleration acting on the digital camera 1, a gravitational acceleration estimation unit 32, a gravitational acceleration correction unit 33, and a shake correction control unit 34 that controls the correction drive unit 21. And including.
  • the gravitational acceleration estimation unit 32 is based on the orthogonal triaxial acceleration detected by the acceleration detection unit 20 when the posture of the digital camera 1 is stable and the orthogonal triaxial angular velocity detected by the angular velocity detection unit 31.
  • the estimated value of the gravitational acceleration applied to the acceleration detecting unit 20 is calculated using the motion equation of the digital camera 1 as the inertial body.
  • a combined vector of accelerations in the x-axis, y-axis, and z-axis directions detected by the acceleration detection unit 20 when the posture of the digital camera 1 is stable corresponds to the gravitational acceleration, and the angular velocity detection unit 31.
  • the posture of the digital camera 1 can be changed by rotating the composite vector based on the amount of change in angle around each axis obtained by integrating the angular velocities around each of the x, y, and z axes detected by.
  • the gravitational acceleration in the inertial coordinate system of the x axis, the y axis, and the z axis that rotate in conjunction can be estimated.
  • the gravity acceleration correction unit 33 corrects the estimated value of the gravity acceleration calculated by the gravity acceleration estimation unit 32 based on the reference vector calculated by the reference vector generation unit 23.
  • accelerations other than gravity change continuously in the acceleration signal detected by the acceleration detector 20.
  • the gravitational acceleration estimated based on the angular velocity is effective.
  • the error of the angular velocity detected due to the drift of the sensor used for the angular velocity detection unit 31 is accumulated, the error of the estimated gravitational acceleration becomes large.
  • the gravitational acceleration correction unit 33 corrects the estimated value of the gravitational acceleration calculated by the gravitational acceleration estimation unit 32 based on the reference vector calculated by the reference vector generation unit 23. Thereby, accumulation of errors in the detected angular velocity is suppressed, and the accuracy of the estimated value of gravity acceleration calculated by the gravity acceleration estimating unit 32 is maintained.
  • Rotation matrices representing rotations about the x-axis, y-axis, and z-axis in a three-dimensional space are expressed by the following equations (1) to (3).
  • Rx ( ⁇ x) shown in Expression (1) is a rotation matrix in a direction in which the y-axis is directed to the z-axis.
  • Ry ( ⁇ y) shown in Expression (2) is a rotation matrix in a direction in which the z axis is directed to the x axis.
  • Rz ( ⁇ z) shown in Expression (3) is a rotation matrix in a direction in which the x-axis is directed to the y-axis.
  • ⁇ x, ⁇ y, ⁇ z are the rotation angles of the respective axis components of the rotation angle ⁇ obtained from the angular velocity detected by the angular velocity detection unit 31.
  • the composite matrix Rxyz ( ⁇ ) is obtained by the product of Rx ( ⁇ x), Ry ( ⁇ y), and Rz ( ⁇ z).
  • the gravitational acceleration estimation unit 32 adds the Rxyz ( ⁇ ) representing the rotation of the digital camera 1 to the unit gravity vector G1 (x, y, z) obtained before the attitude of the digital camera 1 changes. Then, the unit gravity vector G0 (x, y, z) after the attitude of the digital camera 1 is calculated is calculated.
  • the unit gravity vector represents that the magnitude of the gravity vector is 1.
  • the unit gravity vector G0 (x, y, z) calculated by the gravity acceleration estimation unit 32 is output as an estimated value of gravity acceleration.
  • the gravitational acceleration correcting unit 33 is based on the reference vector R (x, y, z) calculated by the reference vector generating unit 23, and the unit gravity vector G0 (x, y, z) calculated by the gravitational acceleration estimating unit 32. ).
  • the correction is performed when the difference between the value of each axis component of the reference vector R (x, y, z) and the value of the coaxial component of the unit gravity vector G0 (x, y, z) is equal to or greater than the threshold value even in one axis. Performed for all three orthogonal axes.
  • G0a (x) G0 (x) + ⁇ ⁇ G0 (x) ⁇ R (x) ⁇
  • G0a (y) G0 (y) + ⁇ ⁇ G0 (y) ⁇ R (y) ⁇
  • G0a (z) G0 (z) + ⁇ ⁇ G0 (z) ⁇ R (z) ⁇
  • the gravitational acceleration correction unit 33 multiplies the corrected gravity vector G0a (x, y, z) by the inverse of the magnitude of the corrected gravity vector G0a so that the corrected gravity vector G0a (x, y, z) becomes a unit vector.
  • the value is output as a corrected gravity acceleration.
  • the shake correction control unit 34 performs second-order integration on the difference value obtained by subtracting the x-axis component of the gravitational acceleration corrected by the gravitational acceleration correction unit 33 from the acceleration in the x-axis direction detected by the acceleration sensor 22x, and translates in the x-axis direction. Find the runout amount. Similarly, the shake correction control unit 34 second-order integrates the difference value obtained by subtracting the y-axis component of the gravitational acceleration corrected by the gravitational acceleration correction unit 33 from the acceleration in the y-axis direction detected by the acceleration sensor 22y. Find the translational deflection in the direction.
  • the shake correction control unit 34 obtains the amount of movement of the movable lens 2a in each axial direction of the x-axis and y-axis based on the obtained translational shake amount in each axial direction of the x-axis and y-axis.
  • the shake correction control unit 34 controls the correction driving unit 21 to move the movable lens 2a in each of the x-axis and y-axis directions by the obtained amount of movement of the movable lens 2a. Thereby, image blur due to translational shake of the digital camera 1 is corrected.
  • FIG. 8 is a flowchart showing the operation of the image blur correction system shown in FIG.
  • steps S201 and S203 are executed between steps S111 and S113 in the flowchart shown in FIG.
  • step S ⁇ b> 201 the gravitational acceleration estimation unit 32 calculates an estimated value of gravitational acceleration applied to the acceleration detection unit 20.
  • step S203 the gravitational acceleration correction unit 33 corrects the estimated value of gravitational acceleration calculated in step S201 based on the reference vector calculated in step S111.
  • the angular velocity detector 31 that detects the angular velocity of the three orthogonal axes, it is based on the translational shake amount in each of the x-axis and y-axis directions and the rotational shake amount around each axis of the x-axis and y-axis.
  • the moving lens 2a is moved in the x-axis and y-axis directions, and the movable lens 2a is moved in the x-axis and y-axis directions by the obtained moving lens 2a. Image blur due to one translational shake and angular shake may be corrected.
  • the digital camera 1 has a stable posture, and the reference vector R is periodically calculated by the reference vector generation unit 23 until the time t1 and after the time t2. Then, each axis component of the reference vector R is subtracted from the acceleration in the x-axis and y-axis directions detected by the acceleration detection unit 20 to obtain the translational shake amount in each axis direction, and the attitude of the digital camera 1 changes greatly.
  • the gravitational acceleration estimation unit is calculated from the accelerations in the x-axis and y-axis directions detected by the acceleration detection unit 20.
  • the translational shake amount in each axial direction may be obtained by subtracting each axis component of the estimated value of gravity acceleration calculated by 32 and corrected by the gravity acceleration correcting unit 33.
  • the digital camera 1 has been taken as an example of the imaging device, but an embodiment of a smartphone with a camera as the imaging device will be described below.
  • FIG. 9 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 200 illustrated in FIG. 9 includes a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • a housing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 10 shows the configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 204 displays images (still images and moving images), character information, and the like, visually transmits information to the user under the control of the main control unit 220, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the display input unit 204 and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 212 includes a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • an external device connected to the smartphone 200 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
  • Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes a positioning calculation process based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for transmitting / receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 220 has an image processing function such as displaying video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 and the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 208 includes the imaging optical system 2, the imaging device 3, the focus adjustment unit 4, the focus driving unit 5, the control unit 6, the signal processing unit 7, the main memory 9, and the acceleration detection unit 20 in the digital camera 1 illustrated in FIG.
  • the configuration of the correction drive unit 21 is included.
  • the image data generated by the camera unit 208 can be recorded in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited thereto, and may be mounted on the back surface of the display input unit 204. .
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the position can also be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and recorded in the storage unit 212, or can be output through the external input / output unit 213 and the wireless communication unit 210.
  • the imaging device disclosed in the present specification includes an acceleration detection unit that detects acceleration in each of the three orthogonal axes, and each of the three orthogonal axes detected by the acceleration detection unit.
  • a reference vector generation unit that generates a reference vector using the combined vector when the difference between the magnitude of the combined vector of acceleration and the magnitude of gravitational acceleration is equal to or less than a predetermined threshold, and the orthogonality detected by the acceleration detecting unit
  • a shake correction unit that corrects image shake due to translational shake in each of the two orthogonal axes perpendicular to the optical axis of the imaging optical system using the reference vector based on the acceleration in each of the three axes.
  • the shake correction unit is configured to at least light of the imaging optical system based on an acceleration obtained by subtracting a corresponding axial component of the reference vector from an acceleration in each of the three orthogonal axes detected by the acceleration detection unit. Image blur due to translational shake in each axial direction of two orthogonal axes perpendicular to the axis is corrected.
  • a gravitational acceleration estimation unit that estimates the gravitational acceleration in the orthogonal three-axis coordinate system that rotates in conjunction with a change in posture of the imaging device, and the gravitational acceleration estimated by the gravitational acceleration estimation unit is used as the reference vector.
  • a gravitational acceleration correction unit that corrects based on the gravitational acceleration correction unit, wherein the shake correction unit corrects the gravity corrected by the gravitational acceleration correction unit from accelerations in the directions of the three orthogonal axes detected by the acceleration detection unit. Based on the acceleration obtained by subtracting the corresponding axial component of the acceleration, at least image blur due to translational shake in each of the two axes perpendicular to the optical axis of the imaging optical system is corrected.
  • the reference vector generation unit generates the reference vector based on the latest combined vector and the past combined vector or the past reference vector.
  • the reference vector generation unit generates the reference vector by a weighted average of the latest combined vector and the past combined vector or the past reference vector.
  • the reference vector generation unit changes the weighting coefficient in the weighted average according to the past synthetic vector or the amount of change of the latest synthetic vector from the past reference vector.
  • the difference between the magnitude of the acceleration vector in the direction of each of the three orthogonal axes acting on the imaging device and the magnitude of the gravitational acceleration is equal to or less than a predetermined threshold value.
  • the correction step is based on an acceleration obtained by subtracting a corresponding axial component of the reference vector from an acceleration in each of the three orthogonal axes acting on the imaging device, and is at least perpendicular to the optical axis of the imaging optical system. Image blur due to translational shake in each of the two orthogonal axes is corrected.
  • an estimation step for detecting a change in posture of the imaging apparatus and estimating a gravitational acceleration in the orthogonal three-axis coordinate system rotating in conjunction with the change in posture, and using the estimated gravitational acceleration as the reference vector A correction step of correcting based on the acceleration, and the correction step is performed by subtracting the corresponding axial component of the gravitational acceleration corrected from the acceleration of the three orthogonal axes acting on the imaging apparatus. Based on this, at least image blur due to translational shake in each of the two orthogonal axes perpendicular to the optical axis of the imaging optical system is corrected.
  • the generation step generates the reference vector based on the latest combined vector and the past combined vector or the past reference vector.
  • the reference vector is generated by a weighted average of the latest combined vector and the past combined vector or the past reference vector.
  • the generation step changes the weighting coefficient in the weighted average according to the amount of change of the latest synthesized vector from the past synthesized vector or the past reference vector.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　撮像装置は、直交３軸の各軸方向の加速度を検出する検出部と、直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の合成ベクトルを用いて基準ベクトルを生成する生成部と、直交３軸の各軸方向の加速度に基づき、基準ベクトルを用いて、少なくとも撮像光学系２の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する補正部とを備える。

Description

撮像装置及び像振れ補正方法
　本発明は、撮像装置及び像振れ補正方法に関する。
　手振れ等による撮像装置の振れに起因した像振れを補正する撮像装置が知られている。撮像装置の振れは、光軸に直交する軸まわりに撮像装置が回転する角度振れと、光軸に直交する軸方向に撮像装置が変位する並進振れと、がある。
　回転振れに対する像振れ補正では、一般に、光軸に直交する軸まわりの角速度が検出され、撮像装置の回転振れ量が算出される。そして、回転振れ量に基づいて撮像素子の撮像面上での像振れを相殺するように補正光学系又は撮像素子が移動される。
　また、並進振れに対する像振れ補正では、光軸に直交する軸方向の加速度が検出され、撮像装置の並進振れ量が算出される。そして、並進振れ量に基づいて撮像素子の撮像面上での像振れを相殺するように補正光学系又は撮像素子が移動される。
　撮像装置の並進振れを検出するためには加速度センサが用いられる。しかし、加速度センサの出力には重力加速度成分が含まれているため、当該重力加速度成分を除去する必要がある。特許文献１に記載された振れ補正装置では、慣性体としてのカメラの運動方程式より静止状態の初期加速度と角速度変化を用いて重力加速度方向（初期姿勢）を求めた後、演算によって求められた重力加速度成分を加速度センサの出力値から除去している。また、特許文献２に記載された像振れ補正装置では、角速度計からの手振れ角度信号の変化に基づいて加速度計に加わる重力の変化を求めた後、加速度計からの手振れ加速度信号と当該求めた重力変化に伴う信号との差分を計算することで、重力の影響による加速度計の出力誤差の除去を行っている。
日本国特開２０１３－２５０４１４号公報 日本国特許第４７１７６５１号公報
　上記説明した特許文献１，２のいずれの装置も、重力加速度成分を導出するために、センサによって検出された角速度を用いている。しかし、当該角速度の変位に起因する誤差が累積していくと、加速度信号から重力加速度成分を精度良く除去することはできない。重力加速度成分が除去されない加速度信号に基づく像振れの補正を行っても、像劣化は解消されない。
　本発明は、上述した事情に鑑みなされたものであり、並進振れによる像振れを高精度に補正可能な撮像装置及び像振れ補正方法を提供することを目的とする。
　本発明の一態様の撮像装置は、直交３軸の各軸方向の加速度を検出する加速度検出部と、前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、を備える。
　本発明の一態様の像振れ補正方法は、撮像装置に作用する直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、撮像装置に作用する前記直交３軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する補正ステップと、を備える。
　本発明によれば、並進振れによる像振れを高精度に補正可能な撮像装置及び像振れ補正方法を提供することができる。
本発明の実施形態を説明するための、撮像装置の一例の外観を示す図である。 図１の撮像装置の構成を示す図である。 図１の撮像装置の像振れ補正システムの一例の構成を示す図である。 過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量と、最新の合成ベクトルに乗算される重み係数との関係を示す図である。 図３に示した像振れ補正システムの動作を示すフローチャートである。 合成ベクトルの大きさと重力加速度の大きさとの差分の経時変化と、直交３軸のいずれか１軸方向の加速度及び基準ベクトルの経時変化とを示す図である。 図１の撮像装置の像振れ補正システムの他の例の構成を示す図である。 図７に示した像振れ補正システムの動作を示すフローチャートである 本発明の実施形態を説明するための、撮像装置の他の例の外観を示す図である。 図９の撮像装置の構成を示す図である。
　図１は、本発明の実施形態を説明するための、撮像装置の一例の外観を示し、図２は、図１の撮像装置の構成を示す。
　図１及び図２に示す撮像装置の一例としてのデジタルカメラ１は、光軸方向（ｚ軸方向）及び光軸方向に直交する２軸の各軸方向（ｘ軸方向及びｙ軸方向）に移動可能に支持された可動レンズ２ａを含む撮像光学系２と、撮像光学系２を通して被写体を撮像する撮像素子３と、可動レンズ２ａの合焦位置を決定する焦点調節部４と、可動レンズ２ａをｚ軸方向に移動させるフォーカス駆動部５と、制御部６とを備える。
　可動レンズ２ａは、デジタルカメラ１の筐体内部でｘ軸、ｙ軸、ｚ軸の各軸方向に移動可能に、ホルダバネ２ｂによって弾性的に支持されている。
　撮像素子３は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサが用いられる。
　撮像素子３の出力信号は、信号処理部７にて相関二重サンプリング処理等のアナログ信号処理を経てデジタル変換される。そして、信号処理部７は、撮像素子３の出力信号をデジタル変換した信号に対し、補間演算やガンマ補正演算やＲＧＢ／ＹＣ変換処理等のデジタル信号処理を行って画像データを生成する。
　焦点調節部４は、信号処理部７によって生成される画像データに基づき、例えばコントラスト方式等のＡＦ方式によって合焦状態を判定し、可動レンズ２ａの合焦位置を決定する。そして、焦点調節部４は、決定した合焦位置を指示する焦点調節信号を制御部６に出力する。
　フォーカス駆動部５は、いわゆるボイスコイルモータであって、対向して配置されて一方が可動レンズ２ａに固定される磁石及び駆動コイルを含み、駆動コイルに供給される駆動電流に応じて、可動レンズ２ａをｚ軸方向に移動させる駆動力を発生させる。
　制御部６には、ユーザによる撮影指示等の指示信号が操作部８から入力される。制御部６は、撮影指示に応答して撮像素子３を駆動し、撮像素子３に撮像を行わせる。
　デジタルカメラ１には、設定情報などを記憶したメインメモリ９と、信号処理部７にて生成された画像データを記憶するメモリカード等の記憶媒体を含む記憶部１０と、信号処理部７にて生成された画像データやメニューを表示する液晶表示パネル等の表示パネルを含む表示部１１とが設けられている。
　焦点調節部４、信号処理部７、メインメモリ９、記憶部１０、及び表示部１１は、制御バス１２及びデータバス１３によって相互に接続され、制御部６からの指令によって制御される。
　制御部６には、焦点調節部４から可動レンズ２ａの合焦位置を指示する焦点調節信号が入力される。制御部６は、焦点調節信号に基づきフォーカス駆動部５を制御し、焦点調節信号によって指示される合焦位置に可動レンズ２ａを保持する。本例では、フォーカス駆動部５がボイスコイルモータであって、焦点調節信号は駆動コイルに供給される駆動電流の値を指示するものである。
　デジタルカメラ１は、デジタルカメラ１に作用する加速度を検出する加速度検出部２０と、デジタルカメラ１の振れに起因する撮像素子３の撮像面上での像振れを補正する補正駆動部２１とを更に備える。本例では、フォーカスレンズとしてフォーカス駆動部５によってｚ軸方向に移動される可動レンズ２ａが、更に制御部６による制御のもと補正駆動部２１によってｘ軸、ｙ軸の各軸方向に移動されて像振れが補正される。
　なお、フォーカスレンズとしての可動レンズ２ａとは別に像振れ補正用レンズを設け、像振れ補正用レンズをｘ軸、ｙ軸の各軸方向に移動させて像振れを補正してもよく、あるいは撮像素子３をｘ軸、ｙ軸の各軸方向に移動させて像振れを補正してもよい。この場合、可動レンズ２ａはｚ軸方向に移動可能であればよい。
　図３は、デジタルカメラ１の像振れ補正システムの機能ブロックの一例を示す。
　加速度検出部２０は、ｘ軸方向の加速度を検出する加速度センサ２２ｘと、ｙ軸方向の加速度を検出する加速度センサ２２ｙと、ｚ軸方向の加速度を検出する加速度センサ２２ｚと、を含む。
　制御部６は、デジタルカメラ１に働く加速度の基準ベクトルを生成する基準ベクトル生成部２３と、補正駆動部２１を制御する振れ補正制御部２４と、を含む。
　基準ベクトル生成部２３は、加速度検出部２０によって検出された直交３軸の各軸方向の加速度の合成ベクトルＭの大きさ（｜Ｍ｜）を算出する。加速度の合成ベクトルＭの大きさは、加速度センサ２２ｘ，２２ｙ，２２ｚがそれぞれ検出した加速度ａｘ，ａｙ，ａｚの二乗和（ａｘ２＋ａｙ２＋ａｚ２）によって求められる。基準ベクトル生成部２３は、算出した合成ベクトルＭを、算出時間と対応付けてメインメモリ９に格納する。
　更に、基準ベクトル生成部２３は、算出した合成ベクトルＭの大きさ｜Ｍ｜と、予め決められた値である重力加速度の大きさ｜Ｇ｜との差分Ｃ（＝｜Ｍ｜－｜Ｇ｜）の絶対値が所定の閾値Ｃｔｈ以下であれば、加重平均による後述する巡回型フィルタを用いて加速度の基準ベクトルＲを算出する。一方、上述した差分Ｃの絶対値が所定の閾値Ｃｔｈを超える場合、基準ベクトル生成部２３は基準ベクトルＲの算出を行わない。基準ベクトル生成部２３は、算出した基準ベクトルＲを、算出時間と対応付けてメインメモリ９に格納する。なお、重力加速度の大きさ｜Ｇ｜は、予め決められた値である。
　基準ベクトル生成部２３が基準ベクトルＲを算出する際に用いる巡回型フィルタは、以下に示すように、最新の合成ベクトルＭ０と、メインメモリ９に格納された過去に算出された現行の基準ベクトル（以下「過去の基準ベクトル」という。）Ｒ１とを用いる。なお、最新の合成ベクトルＭ０に乗算される重み係数αと、過去の基準ベクトルＲ１に乗算される重み係数βとの総和は１である。
　巡回型フィルタの一例：αＭ０＋βＲ１
　なお、重み係数βを乗算する対象は過去の基準ベクトルＲ１に限らず、以下に示すように、メインメモリ９に格納された過去の合成ベクトルＭ１であっても良い。
　巡回型フィルタの他の例：αＭ０＋βＭ１
　また、基準ベクトルＲの算出に用いる過去の合成ベクトル又は過去の基準ベクトルは一つに限らず、以下に示すように複数であっても良い。
　巡回型フィルタの他の例：αＭ０＋βＲ１＋…＋γＲｎ（Ｒｎは、ｎ回前に算出された基準ベクトル）
　巡回型フィルタの他の例：αＭ０＋βＭ１＋…＋γＭｎ（Ｍｎは、ｎ回前に得られた合成ベクトル）
　なお、この場合も、各合成ベクトル又は各基準ベクトルに乗算される重み係数の総和は１である。
　基準ベクトル生成部２３は、基準ベクトルＲの算出に用いる巡回型フィルタを決定する際に、重み係数αの値を設定する。重み係数αは、図４に示すように、過去の合成ベクトルＭ１又は過去の基準ベクトルＲ１からの最新の合成ベクトルＭ０の変化量ΔＭに応じて、０から１の所定値に設定される。すなわち、重み係数αは、変化量ΔＭが０から所定の閾値ΔＭｔｈ１の値では０に設定され、所定の閾値ΔＭｔｈ１よりも大きい所定の閾値ΔＭｔｈ２以上の値では１に設定され、閾値ΔＭｔｈ１から閾値ΔＭｔｈ２の間の値では、当該変化量ΔＭの大きさに比例した０から１の間の値に設定される。なお、変化量ΔＭの算出は直交３軸の軸成分毎に行われ、重み係数αの値の設定も直交３軸の軸成分毎に行われる。
　振れ補正制御部２４は、加速度センサ２２ｘによって検出されたｘ軸方向の加速度から基準ベクトル生成部２３によって算出された新たな基準ベクトルＲ０のｘ軸成分を減じた差分値を二階積分し、ｘ軸方向の並進振れ量を求める。同様に、振れ補正制御部２４は、加速度センサ２２ｙによって検出されたｙ軸方向の加速度から基準ベクトル生成部２３によって算出された新たな基準ベクトルＲ０のｙ軸成分を減じた差分値を二階積分し、ｙ軸方向の並進振れ量を求める。
　次いで、振れ補正制御部２４は、求めたｘ軸及びｙ軸の各軸方向の並進振れ量に基づいて、可動レンズ２ａのｘ軸及びｙ軸の各軸方向の移動量を求める。
　そして、振れ補正制御部２４は、補正駆動部２１を制御して、求めた可動レンズ２ａの移動量で可動レンズ２ａをｘ軸及びｙ軸の各軸方向に移動させる。それにより、デジタルカメラ１の並進振れによる像振れが補正される。
　振れ補正制御部２４及び補正駆動部２１並びに補正用レンズとしての可動レンズ２ａによって、像振れを補正する振れ補正部が構成される。
　なお、補正駆動部２１はフォーカス駆動部５と同様にボイスコイルモータとして構成することができる。
　図５は、図３に示した像振れ補正システムの動作を示すフローチャートである。図５に示すように、制御部６に含まれる基準ベクトル生成部２３は、加速度検出部２０によって検出された直交３軸の各軸方向の加速度の合成ベクトルＭの大きさ｜Ｍ｜を算出する（ステップＳ１０１）。次に、基準ベクトル生成部２３は、ステップＳ１０１で算出した合成ベクトルＭの大きさ｜Ｍ｜と、予め決められた値である重力加速度の大きさ｜Ｇ｜との差分Ｃ（＝｜Ｍ｜－｜Ｇ｜）を算出する（ステップＳ１０３）。次に、基準ベクトル生成部２３は、ステップＳ１０３で算出した差分Ｃの絶対値が閾値Ｃｔｈ以下（｜Ｃ｜≦Ｃｔｈ）か否かを判断し（ステップＳ１０５）、｜Ｃ｜≦ＣｔｈであればステップＳ１０７に進み、｜Ｃ｜＞Ｃｔｈであれば処理を終了する。
　ステップＳ１０７では、基準ベクトル生成部２３は、過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量ΔＭを、直交３軸の軸成分毎に算出する。次に、基準ベクトル生成部２３は、直交３軸の軸成分毎の変化量ΔＭに対応する重み係数αを設定し、この重み係数αに応じた他の重み係数も設定する（ステップＳ１０９）。次に、基準ベクトル生成部２３は、ステップＳ１０９で設定した重み係数、並びに、最新の合成ベクトル及び過去の基準ベクトル又は合成ベクトルによる巡回型フィルタを用いて、新たな基準ベクトルを算出する（ステップＳ１１１）。
　最後に、振れ補正制御部２４は、ステップＳ１１１で算出された基準ベクトルを用いて、加速度検出部２０によって検出された直交３軸の各軸方向の加速度に基づき、光軸方向（ｚ軸方向）に垂直な直交２軸の各軸方向（ｘ軸方向及びｙ軸方向）の並進振れによる像振れの補正処理を制御する（ステップＳ１１３）。
　図６は、基準ベクトルＲ１が像振れの補正処理のために用いられている状態のときに、デジタルカメラ１の姿勢が大きく変わった際の、基準ベクトルＲの変化を示す図である。図６に示す時間ｔ１までのデジタルカメラ１の姿勢は安定しており、この状態のときの加速度検出部２０によって検出される加速度信号は重力が支配的であるため、基準ベクトル生成部２３は定期的に基準ベクトルＲの算出を行う。デジタルカメラ１のユーザが意図的にデジタルカメラ１の姿勢を変える時間ｔ１～ｔ２の間は、加速度信号には重力以外に姿勢を変えたことによる加速度が加わる。このときの直交３軸の各軸方向の加速度の合成ベクトルＭの大きさ｜Ｍ｜と重力加速度の大きさ｜Ｇ｜との差分Ｃは閾値Ｃｔｈを超えるため、時間ｔ１～ｔ２の間、基準ベクトル生成部２３は基準ベクトルＲの算出を行わない。時間ｔ２以降はデジタルカメラ１の姿勢が再び安定し、加速度信号は重力が再び支配的となるため、基準ベクトル生成部２３は基準ベクトルＲの算出を行い、新たな基準ベクトルＲ０が得られる。したがって、時間ｔ２以降の振れ補正制御部２４は、新たに算出された基準ベクトルＲ０を用いて、直交３軸の各軸方向の加速度に基づき、並進振れによる像振れの補正処理を制御する。
　なお、基準ベクトル生成部２３が算出した基準ベクトルＲには、ローパスフィルタ処理がなされる。当該処理においてノイズの影響を低減するといった点では、カットオフ周波数を低い値に設定することが好ましい。しかし、カットオフ周波数が低いと、デジタルカメラ１の姿勢が大きく変わる時間ｔ１～ｔ２の間にも基準ベクトルＲを算出する場合には、図６に破線で示すように、基準ベクトルＲが所望値に追従するまでに時間を要する。本実施形態では、上述のように、時間ｔ１～ｔ２の間は基準ベクトルＲの算出を行わないため、カットオフ周波数が低い値に設定されていても、基準ベクトルＲの十分な追従性を実現できる。
　以上により、デジタルカメラ１の姿勢が大きく変化している間は基準ベクトルの算出を行わず、デジタルカメラ１の姿勢が再び安定した状態で得られた加速度の合成ベクトルに基づいて基準ベクトルを算出する。このため、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
　また、基準ベクトルは、デジタルカメラ１の姿勢が再び安定した状態で得られた最新の合成ベクトルと、過去の合成ベクトル又は過去の基準ベクトルとの加重平均によって算出される。このため、過去の情報も加味した精度の高い基準ベクトルを求めることができる。
　更に、最新の合成ベクトルに乗算される重み係数及び過去の合成ベクトル又は過去の基準ベクトルに乗算される重み係数は、過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量に応じてそれぞれ異なり、当該変化量が大きいほど最新の合成ベクトルに乗算される重み係数には大きな値が設定される。このため、加速度に関する最新の情報が過去の情報から大きく変動している場合には、加算平均における最新の情報の比率は大きく、過去の情報の比率は小さく利用されるため、重力方向の変化に追従した精度の高い基準ベクトルを求めることができる。
　図７は、デジタルカメラ１の像振れ補正システムの機能ブロックの他の例を示す。なお、当該システムには、直交３軸の各軸方向のデジタルカメラ１の角速度を検出する角速度検出部３１が含まれる。図７において、図３と共通する構成要素（加速度検出部２０及び基準ベクトル生成部２３）には同じ参照符号を付して説明を簡略化又は省略する。
　制御部６は、デジタルカメラ１に働く加速度の基準ベクトルを生成する基準ベクトル生成部２３と、重力加速度推定部３２と、重力加速度補正部３３と、補正駆動部２１を制御する振れ補正制御部３４と、を含む。
　重力加速度推定部３２は、デジタルカメラ１の姿勢が安定しているときの加速度検出部２０によって検出された直交３軸の加速度と、角速度検出部３１によって検出された直交３軸の角速度とに基づいて、慣性体としてのデジタルカメラ１の運動方程式を用いて、加速度検出部２０に加わる重力加速度の推定値を算出する。デジタルカメラ１の姿勢が安定しているときの加速度検出部２０によって検出されたｘ軸、ｙ軸、ｚ軸の各軸方向の加速度の合成ベクトルは重力加速度に対応しており、角速度検出部３１によって検出されたｘ軸、ｙ軸、ｚ軸の各軸まわりの角速度をそれぞれ積分して得られる各軸まわりの角度変化量に基づいて合成ベクトルを回転させることにより、デジタルカメラ１の姿勢変化に連動して回転するｘ軸、ｙ軸、ｚ軸の慣性座標系での重力加速度を推定することができる。
　重力加速度補正部３３は、重力加速度推定部３２によって算出された重力加速度の推定値を、基準ベクトル生成部２３が算出した基準ベクトルに基づいて補正する。デジタルカメラ１の姿勢が連続して変化した場合、加速度検出部２０によって検出される加速度信号には、重力以外の加速度が連続して変化する。この場合は、加速度信号から重力加速度の方向を追尾することができないため、角速度に基づいて推定された重力加速度が有効である。しかし、角速度検出部３１に用いられるセンサのドリフト等に起因して検出される角速度の誤差が累積すると当該推定された重力加速度の誤差も大きくなる。したがって、重力加速度補正部３３は、重力加速度推定部３２によって算出された重力加速度の推定値を、基準ベクトル生成部２３が算出した基準ベクトルに基づいて補正する。それにより、検出される角速度の誤差の累積が抑制され、重力加速度推定部３２によって算出される重力加速度の推定値の精度が維持される。
　以下、重力加速度推定部３２による重力加速度の推定値の算出の詳細と、重力加速度補正部３３による重力加速度の推定値の補正の詳細について説明する。
　３次元空間でのｘ軸、ｙ軸及びｚ軸の各軸まわりの回転を表す回転行列は、以下の式（１）～（３）で示される。式（１）に示すＲｘ（θｘ）は、ｙ軸をｚ軸に向ける方向の回転行列である。また、式（２）に示すＲｙ（θｙ）は、ｚ軸をｘ軸に向ける方向の回転行列である。また、式（３）に示すＲｚ（θｚ）は、ｘ軸をｙ軸に向ける方向の回転行列である。θｘ，θｙ，θｚは、角速度検出部３１が検出した角速度から求められる回転角度θの各軸成分の回転角度である。
Figure JPOXMLDOC01-appb-M000001
　３次元空間でデジタルカメラ１が各軸にそれぞれ任意の回転角で回転した場合、合成行列Ｒｘｙｚ（θ）は、Ｒｘ（θｘ）とＲｙ（θｙ）とＲｚ（θｚ）の積によって得られる。
　重力加速度推定部３２は、デジタルカメラ１の姿勢が変化する前に得られた単位重力ベクトルＧ１（ｘ，ｙ，ｚ）に、デジタルカメラ１の回転を表す上記Ｒｘｙｚ（θ）を積算することで、デジタルカメラ１の姿勢が変化した後の単位重力ベクトルＧ０（ｘ，ｙ，ｚ）を算出する。なお、単位重力ベクトルは、重力ベクトルの大きさが１であることを表す。重力加速度推定部３２が算出した単位重力ベクトルＧ０（ｘ，ｙ，ｚ）は、重力加速度の推定値として出力される。
　次に、重力加速度補正部３３は、基準ベクトル生成部２３が算出した基準ベクトルＲ（ｘ，ｙ，ｚ）に基づいて、重力加速度推定部３２が算出した単位重力ベクトルＧ０（ｘ，ｙ，ｚ）の補正を行う。当該補正は、基準ベクトルＲ（ｘ，ｙ，ｚ）の各軸成分の値と単位重力ベクトルＧ０（ｘ，ｙ，ｚ）の同軸成分の値との差分が１軸でも閾値以上である場合に行われ、直交３軸の全てに対して行われる。
　以下、重力加速度補正部３３による補正重力ベクトルＧ０ａ（ｘ，ｙ，ｚ）の一例を示す。なお、αは係数である。
　Ｇ０ａ（ｘ）＝Ｇ０（ｘ）＋α｛Ｇ０（ｘ）－Ｒ（ｘ）｝
　Ｇ０ａ（ｙ）＝Ｇ０（ｙ）＋α｛Ｇ０（ｙ）－Ｒ（ｙ）｝
　Ｇ０ａ（ｚ）＝Ｇ０（ｚ）＋α｛Ｇ０（ｚ）－Ｒ（ｚ）｝
　重力加速度補正部３３は、上記補正重力ベクトルＧ０ａ（ｘ，ｙ，ｚ）が単位ベクトルとなるよう、補正重力ベクトルＧ０ａの大きさの逆数を補正重力ベクトルＧ０ａ（ｘ，ｙ，ｚ）に乗算した値を、補正された重力加速度として出力する。
　振れ補正制御部３４は、加速度センサ２２ｘによって検出されたｘ軸方向の加速度から重力加速度補正部３３によって補正された重力加速度のｘ軸成分を減じた差分値を二階積分し、ｘ軸方向の並進振れ量を求める。同様に、振れ補正制御部３４は、加速度センサ２２ｙによって検出されたｙ軸方向の加速度から重力加速度補正部３３によって補正された重力加速度のｙ軸成分を減じた差分値を二階積分し、ｙ軸方向の並進振れ量を求める。
　次いで、振れ補正制御部３４は、求めたｘ軸及びｙ軸の各軸方向の並進振れ量に基づいて、可動レンズ２ａのｘ軸及びｙ軸の各軸方向の移動量を求める。
　そして、振れ補正制御部３４は、補正駆動部２１を制御して、求めた可動レンズ２ａの移動量で可動レンズ２ａをｘ軸及びｙ軸の各軸方向に移動させる。それにより、デジタルカメラ１の並進振れによる像振れが補正される。
　図８は、図７に示した像振れ補正システムの動作を示すフローチャートである。図８に示すフローチャートでは、図５に示したフローチャートにおけるステップＳ１１１とステップＳ１１３の間にステップＳ２０１，Ｓ２０３が実行される。ステップＳ２０１では、重力加速度推定部３２は、加速度検出部２０に加わる重力加速度の推定値を算出する。また、ステップＳ２０３では、重力加速度補正部３３は、ステップＳ２０１で算出された重力加速度の推定値を、ステップＳ１１１で算出された基準ベクトルに基づいて補正する。
　以上により、デジタルカメラ１の姿勢が連続して変化した場合であっても、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
　なお、直交３軸の角速度を検出する角速度検出部３１を備える本例においては、ｘ軸及びｙ軸の各軸方向の並進振れ量及びｘ軸及びｙ軸の各軸まわりの回転振れ量に基づいて可動レンズ２ａのｘ軸及びｙ軸の各軸方向の移動量を求め、求めた可動レンズ２ａの移動量で可動レンズ２ａをｘ軸及びｙ軸の各軸方向に移動させることにより、デジタルカメラ１の並進振れ及び角度振れによる像振れを補正するようにしてもよい。
　なお、図６に示したとおり、デジタルカメラ１の姿勢が安定しており、基準ベクトル生成部２３によって定期的に基準ベクトルＲが算出されている時間ｔ１までの期間、及び時間ｔ２以降の期間は、加速度検出部２０によって検出されたｘ軸及びｙ軸の各軸方向の加速度から基準ベクトルＲの各軸成分を減じて各軸方向の並進振れ量を求め、デジタルカメラ１の姿勢が大きく変化しており、基準ベクトル生成部２３によって基準ベクトルＲが算出されない時間ｔ１～ｔ２の間の期間は、加速度検出部２０によって検出されたｘ軸及びｙ軸の各軸方向の加速度から、重力加速度推定部３２によって算出され、重力加速度補正部３３によって補正された重力加速度の推定値の各軸成分を減じて各軸方向の並進振れ量を求めるようにしてもよい。
　ここまで撮像装置としてデジタルカメラ１を例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
　図９は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示す。
　図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図１０は、図９に示すスマートフォン２００の構成を示す。
　図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図２に示したデジタルカメラ１における撮像光学系２、撮像素子３、焦点調節部４、フォーカス駆動部５、制御部６、信号処理部７、メインメモリ９、加速度検出部２０、補正駆動部２１の構成を含む。
　カメラ部２０８によって生成された画像データは、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。
　図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
　以上説明したとおり、本明細書に開示された撮像装置は、直交３軸の各軸方向の加速度を検出する加速度検出部と、上記加速度検出部によって検出された上記直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、上記加速度検出部によって検出された上記直交３軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、を備える。
　また、上記振れ補正部は、上記加速度検出部によって検出された上記直交３軸の各軸方向の加速度から上記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する。
　また、撮像装置の姿勢変化に連動して回転する上記直交３軸の座標系での重力加速度を推定する重力加速度推定部と、上記重力加速度推定部によって推定された上記重力加速度を上記基準ベクトルに基づいて補正する重力加速度補正部と、を更に備え、上記振れ補正部は、上記加速度検出部によって検出された上記直交３軸の各軸方向の加速度から上記重力加速度補正部によって補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する。
　また、上記基準ベクトル生成部は、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとに基づいて上記基準ベクトルを生成する。
　また、上記基準ベクトル生成部は、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとの加重平均によって上記基準ベクトルを生成する。
　また、上記基準ベクトル生成部は、過去の上記合成ベクトル又は過去の上記基準ベクトルからの最新の上記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる。
　また、本明細書に開示された像振れ補正方法は、撮像装置に作用する直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、撮像装置に作用する上記直交３軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する補正ステップと、を備える。
　また、上記補正ステップは、撮像装置に作用する上記直交３軸の各軸方向の加速度から上記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する。
　また、撮像装置の姿勢変化を検出する検出し、姿勢変化に連動して回転する上記直交３軸の座標系での重力加速度を推定する推定ステップと、推定された上記重力加速度を上記基準ベクトルに基づいて補正する補正ステップと、を更に備え、上記補正ステップは、撮像装置に作用する上記直交３軸の各軸方向の加速度から補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する。
　また、上記生成ステップは、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとに基づいて上記基準ベクトルを生成する。
　また、上記生成ステップは、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとの加重平均によって上記基準ベクトルを生成する。
　また、上記生成ステップは、過去の上記合成ベクトル又は過去の上記基準ベクトルからの最新の上記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる。
　本出願は、2014年12月22日出願の日本特許出願（特願2014-258976）に基づくものであり、その内容はここに参照として取り込まれる。
１　デジタルカメラ
２　撮像光学系
２ａ　可動レンズ（フォーカスレンズ）
３　撮像素子
４　焦点調節部
５　フォーカス駆動部
６　制御部
２０　加速度検出部
２１　補正駆動部
２２ｘ，２２ｙ，２２ｚ　加速度センサ
２３　基準ベクトル生成部
２４，３４　振れ補正制御部
３１　角速度検出部
３２　重力加速度推定部
３３　重力加速度補正部

Claims (12)

  1. 　直交３軸の各軸方向の加速度を検出する加速度検出部と、
    　前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、
    　前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、
    　を備える撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記振れ補正部は、前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度から前記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する撮像装置。
  3. 　請求項１記載の撮像装置であって、
    　撮像装置の姿勢変化に連動して回転する前記直交３軸の座標系での重力加速度を推定する重力加速度推定部と、
    　前記重力加速度推定部によって推定された前記重力加速度を前記基準ベクトルに基づいて補正する重力加速度補正部と、
    　を更に備え、
    　前記振れ補正部は、前記加速度検出部によって検出された前記直交３軸の各軸方向の加速度から前記重力加速度補正部によって補正された前記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する撮像装置。
  4. 　請求項１から３のいずれか一項記載の撮像装置であって、
    　前記基準ベクトル生成部は、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとに基づいて前記基準ベクトルを生成する撮像装置。
  5. 　請求項４記載の撮像装置であって、
    　前記基準ベクトル生成部は、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとの加重平均によって前記基準ベクトルを生成する撮像装置。
  6. 　請求項５記載の撮像装置であって、
    　前記基準ベクトル生成部は、過去の前記合成ベクトル又は過去の前記基準ベクトルからの最新の前記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる撮像装置。
  7. 　撮像装置に作用する直交３軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、
    　撮像装置に作用する前記直交３軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する補正ステップと、
    　を備える像振れ補正方法。
  8. 　請求項７記載の像振れ補正方法であって、
    　前記補正ステップは、撮像装置に作用する前記直交３軸の各軸方向の加速度から前記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する像振れ補正方法。
  9. 　請求項７記載の像振れ補正方法であって、
    　撮像装置の姿勢変化を検出する検出し、姿勢変化に連動して回転する前記直交３軸の座標系での重力加速度を推定する推定ステップと、
    　推定された前記重力加速度を前記基準ベクトルに基づいて補正する補正ステップと、
    　を更に備え、
    　前記補正ステップは、撮像装置に作用する前記直交３軸の各軸方向の加速度から補正された前記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交２軸の各軸方向の並進振れによる像振れを補正する像振れ補正方法。
  10. 　請求項７から９のいずれか一項記載の像振れ補正方法であって、
    　前記生成ステップは、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとに基づいて前記基準ベクトルを生成する像振れ補正方法。
  11. 　請求項１０記載の像振れ補正方法であって、
    　前記生成ステップは、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとの加重平均によって前記基準ベクトルを生成する像振れ補正方法。
  12. 　請求項１１記載の像振れ補正方法であって、
    　前記生成ステップは、過去の前記合成ベクトル又は過去の前記基準ベクトルからの最新の前記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる像振れ補正方法。
PCT/JP2015/082155 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法 Ceased WO2016103976A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016566032A JP6220992B2 (ja) 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法
CN201580069816.2A CN107111207B (zh) 2014-12-22 2015-11-16 摄像装置及像抖动校正方法
US15/629,158 US9891446B2 (en) 2014-12-22 2017-06-21 Imaging apparatus and image blur correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014258976 2014-12-22
JP2014-258976 2014-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/629,158 Continuation US9891446B2 (en) 2014-12-22 2017-06-21 Imaging apparatus and image blur correction method

Publications (1)

Publication Number Publication Date
WO2016103976A1 true WO2016103976A1 (ja) 2016-06-30

Family

ID=56150010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082155 Ceased WO2016103976A1 (ja) 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法

Country Status (4)

Country Link
US (1) US9891446B2 (ja)
JP (1) JP6220992B2 (ja)
CN (1) CN107111207B (ja)
WO (1) WO2016103976A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564177B2 (en) * 2016-08-01 2020-02-18 Samsung Electronics Co., Ltd. System and method for user activity recognition using accelerometer
JP6719025B2 (ja) * 2017-06-12 2020-07-08 富士フイルム株式会社 ブレ検出装置、撮像装置、レンズ装置、撮像装置本体、ブレ検出方法及びブレ検出プログラム
CN109199321A (zh) * 2018-07-01 2019-01-15 高波 一种医用眼动仪
EP3770664A3 (en) * 2019-07-26 2021-04-07 Tdk Taiwan Corp. Optical element driving system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033881A (ja) * 2009-08-03 2011-02-17 Canon Inc 撮影システムおよびレンズ装置
JP2012204862A (ja) * 2011-03-23 2012-10-22 Nikon Corp 撮像システム、遠隔操作装置、遠隔操作方法、及び遠隔操作プログラム
JP2013250414A (ja) * 2012-05-31 2013-12-12 Nikon Corp ブレ補正装置および光学機器
JP2014199964A (ja) * 2012-09-04 2014-10-23 パナソニック株式会社 撮像装置および画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717382B2 (ja) * 2004-06-15 2011-07-06 キヤノン株式会社 光学機器
JP4789614B2 (ja) * 2005-12-26 2011-10-12 キヤノン株式会社 防振制御装置およびその制御方法
JP4717651B2 (ja) 2006-02-07 2011-07-06 キヤノン株式会社 像振れ補正装置および撮像装置
JP2013054193A (ja) * 2011-09-02 2013-03-21 Nikon Corp ブレ補正装置及び光学機器
JP2014215357A (ja) * 2013-04-23 2014-11-17 株式会社ニコン 像ブレ補正装置及び光学機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033881A (ja) * 2009-08-03 2011-02-17 Canon Inc 撮影システムおよびレンズ装置
JP2012204862A (ja) * 2011-03-23 2012-10-22 Nikon Corp 撮像システム、遠隔操作装置、遠隔操作方法、及び遠隔操作プログラム
JP2013250414A (ja) * 2012-05-31 2013-12-12 Nikon Corp ブレ補正装置および光学機器
JP2014199964A (ja) * 2012-09-04 2014-10-23 パナソニック株式会社 撮像装置および画像処理装置

Also Published As

Publication number Publication date
CN107111207A (zh) 2017-08-29
US20170285365A1 (en) 2017-10-05
JP6220992B2 (ja) 2017-10-25
CN107111207B (zh) 2018-07-24
US9891446B2 (en) 2018-02-13
JPWO2016103976A1 (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6155403B2 (ja) 撮像装置及び像振れ補正方法
CN108737735B (zh) 图像校正方法、电子设备及计算机可读存储介质
US11539887B2 (en) Video image anti-shake method and terminal
JP6131393B2 (ja) 撮像装置及び撮像方法
EP2933605A1 (en) A device orientation correction method for panorama images
JP6215337B2 (ja) 適応型スケールおよび／または重力推定
CN114791291B (zh) 视觉惯性系统的参数标定方法及装置、电子设备和介质
JP2010211166A (ja) 撮像装置、携帯端末装置および合焦機構制御方法
JP6220992B2 (ja) 撮像装置及び像振れ補正方法
WO2013190946A1 (ja) 撮像装置およびその動作制御方法
JP6771113B2 (ja) 像ぶれ補正装置、撮像装置、位置検出方法、位置検出プログラム
CN105391943A (zh) 拍摄装置的快速对焦方法和系统
TW202029728A (zh) 電子裝置以及圖像穩定化方法
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
WO2016084775A1 (ja) 撮像装置及び焦点調節方法
JP6745416B2 (ja) 像ぶれ補正装置、撮像装置、像ぶれ補正方法、及び像ぶれ補正プログラム
JP6364559B2 (ja) 像ぶれ補正装置、レンズ装置及び撮像装置
JP7734074B2 (ja) 制御装置、撮像装置、制御方法、制御プログラム
JPWO2019131935A1 (ja) 像ぶれ補正装置、撮像装置、像ぶれ補正方法、及び像ぶれ補正プログラム
JP7027609B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2024003460A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
HK40040129B (en) Visual inertial system of parameter calibration method and device, electronic equipment and medium
HK40040129A (en) Visual inertial system of parameter calibration method and device, electronic equipment and medium
CN112771445A (zh) 摄像装置
JP2014216744A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15872545

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016566032

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15872545

Country of ref document: EP

Kind code of ref document: A1