[go: up one dir, main page]

WO2013038656A1 - 投影像自動補正システム、投影像自動補正方法およびプログラム - Google Patents

投影像自動補正システム、投影像自動補正方法およびプログラム Download PDF

Info

Publication number
WO2013038656A1
WO2013038656A1 PCT/JP2012/005748 JP2012005748W WO2013038656A1 WO 2013038656 A1 WO2013038656 A1 WO 2013038656A1 JP 2012005748 W JP2012005748 W JP 2012005748W WO 2013038656 A1 WO2013038656 A1 WO 2013038656A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
image
screen
frame
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/005748
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
彰彦 池谷
仙田　修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013533499A priority Critical patent/JP6176114B2/ja
Priority to US14/344,806 priority patent/US9344695B2/en
Publication of WO2013038656A1 publication Critical patent/WO2013038656A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Definitions

  • the present invention relates to a projection image automatic correction system, a projection image automatic correction method, and a program.
  • a projection display device such as a projector
  • an image (hereinafter referred to as a projector image) output from a PC or the like to a projector is projected onto a screen or the like.
  • the projector is disposed obliquely with respect to the screen and the optical axis of the lens mounted on the projector (hereinafter referred to as the optical axis of the projector) and the normal vector of the screen plane are not parallel, projection is performed on the screen.
  • the projected image (hereinafter referred to as a screen projected image) has a trapezoidally distorted shape when viewed from the direction facing the screen. In order to view the screen projection image more comfortably, it is necessary to correct the distortion of the screen projection image.
  • the positional relationship between the screen and the projector (more specifically, from the image obtained by photographing the screen projection image with the camera (hereinafter referred to as the photographed image) and the projector image
  • the photographed image there is a method of correcting the distortion of the screen projection image by calculating the optical axis of the projector and the inclination of the screen plane, and the distance between the projector and the screen.
  • an image obtained by projecting the projector image 900 onto the screen 906 using the projector 905 is a screen projection image 903.
  • an image obtained by capturing an image projected on the screen 906 with the camera 907 is a captured image 901.
  • the projected image distortion shape of the captured image 901 and the screen projection image 903 (that is, image conversion from the projector image 900 to the captured image 901 or image conversion to the screen projection image 903) is the geometry of the camera / screen / projector.
  • the geometric arrangement between the camera and the projector is generally fixed and determined in advance. Therefore, if the geometrical arrangement between the projector and the screen can be obtained from the photographed image and the projector image, the image conversion from the projector image to the screen projection image is determined. Therefore, the projector corresponding to the screen projection image whose distortion has been corrected is determined. An image can be obtained.
  • the above is the principle of the method for correcting the distortion of the screen projection image using the camera.
  • Patent Document 1 discloses a method for correcting distortion of a projected image based on such a principle.
  • a plurality of screen projection images (2204 and 2205) obtained by superimposing a calibration pattern (2202 and 2203) having a predetermined shape on a projector image 2201 are captured.
  • a difference between the plurality of captured images (2206 and 2207) is calculated, and a measurement image 2208 for calculating the positional relationship between the screen and the projector is generated.
  • the three-dimensional coordinates of the screen are measured based on the principle of triangulation.
  • a method for calculating the positional relationship between the screen and the projector from the measurement result and correcting the distortion of the screen projection image is disclosed. Note that FIG. 22 is cited from Patent Document 1.
  • Patent Document 1 has two problems.
  • the first problem is that the resolution of the image in the screen projection image, that is, the visibility of the screen projection image is lowered.
  • the second problem is that use is limited to still images.
  • the projected image frame detecting means for detecting a straight line constituting the frame of the screen projected image from the photographed image obtained by photographing the screen projected image on the screen projected by the projector with the camera, and the screen projected image
  • a coordinate axis is defined for each of the original image of the projector image and the photographed image, the inclination of the optical axis of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, and the detected straight line in the coordinates of the photographed image.
  • the projected image frame detecting step for detecting a straight line constituting the frame of the screen projected image from a photographed image obtained by photographing the screen projected image on the screen projected by the projector with the camera, the screen projection A coordinate axis is defined for each of the projector image and the photographed image, which are the original images of the image, and the optical axis inclination and distance between the optical center of the projector and the camera, the internal parameters of the camera, and the detected coordinates in the coordinates of the photographed image.
  • the projected image automatic correction method executed by a computer is provided.
  • the captured image input unit 120 receives an image (hereinafter referred to as a captured image) obtained by capturing a screen projection image projected on the screen by the image projection unit 110 with a camera or the like.
  • the captured image input unit 120 stores the input captured image in a memory (not shown).
  • the projection image automatic correction system 1 includes a camera for capturing a screen projection image, and the relative positional relationship between the camera and the projector included in the image projection unit 110 is fixed. It may be. That is, the tilt of the optical axis of the camera and the projector and the distance between the optical centers are fixed, and the projection image automatic correction system may hold these values in advance.
  • the projector image input unit 130 receives an image (projector image) that the user originally intended to project onto the screen.
  • the projection image automatic correction system 1 is configured to be communicable with other devices by wire and / or wireless, and the projector image input unit 130 can receive a projector image from another device such as a PC or a portable terminal. Is entered.
  • Projector image input unit 130 stores the input projector image in a memory (not shown).
  • the image output unit 140 projects the projector image input to the projector image input unit 130 or the “projector image corrected so that the screen projection image is not distorted” generated by the projection pattern generation unit 103 described later. Output to the unit 110.
  • the projected image frame detection unit 101 first detects a group of straight lines existing in the captured image (state 1000 in FIG. 10), and then detects the reliability of the detected straight line, Four lines constituting the frame of the screen projection image in the photographed image are selected based on the inclination and position (state 1001 in FIG. 10), and the position of each of the four lines is stored as the position of the detection line. (Not shown).
  • a group of straight lines existing in the captured image state 1000 in FIG. 10
  • Four lines constituting the frame of the screen projection image in the photographed image are selected based on the inclination and position (state 1001 in FIG. 10), and the position of each of the four lines is stored as the position of the detection line.
  • the projected image frame detection unit 101 calculates the reliability L i (V i , ⁇ i , ⁇ i ) with the number of votes V i , the inclination ⁇ i , and the distance ⁇ i as arguments for all the detected straight lines, and the reliability The straight line with the largest is selected as the straight line at the top of the frame.
  • Reliability L i has a feature to take the inclination theta i and the distance [rho i is the closest, larger value highest linearity is further Votes V i the inclination theta 0 and the distance [rho 0 of the straight line a predetermined Function.
  • the reliability L i (V i , ⁇ i , ⁇ i ) the following may be used.
  • the projected image frame detection unit 101 stores the detected position of the frame formed of the four straight lines in a memory (not shown).
  • the projection image frame detection unit 101 stores a frame detection failure flag in a memory (not shown) when three or more straight lines are not detected in the captured image.
  • the projector plane parameter estimation unit 102 estimates the relationship between the projector and the screen, specifically, the distance between the screen and the projector and / or the inclination of the screen with respect to the optical axis of the projector.
  • the projector plane parameter estimation unit 102 can also estimate the zoom magnification of the projector.
  • the projector plane parameter estimation unit 102 first determines a coordinate axis for each of the projector image and the photographed image that are the original images of the screen projection image, and then the coordinate data of the detection line in the coordinates of the photographed image, and the coordinates of the projector image The coordinate data of the straight line corresponding to the frame of the projector image is acquired.
  • the projector plane parameter estimation unit 102 determines the coordinate data, the camera internal parameters indicating the focal length of the camera, the aspect ratio of the CCD pixels, the angle between the optical axis between the projector and the camera, and the optical Using the distance between the centers, the distance between the screen and the projector, the inclination of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector can be estimated.
  • the projector plane parameter estimation unit 102 includes the tilt between the optical axis of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and The conversion rule for converting the point on the coordinate of the photographed image into the point on the coordinate of the projector image is held using the zoom magnification of the projector.
  • the coordinate data of the detection line in the coordinates of the captured image is converted into the coordinate data in the coordinates of the projector image, and the converted coordinate data and the coordinates of the projector image
  • a plurality of indeterminate values are estimated so that the coordinate data of the straight line corresponding to the frame of the projector image approximate.
  • the projector plane parameter estimation unit 102 holds the above conversion rule, and determines the fixed values of the projector and camera optical axis tilt and the distance between the optical centers, and the values of the internal parameters of the camera, and indefinite. Using the values of the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the values of the zoom magnification of the projector, linear coordinate data corresponding to the frame of the projector image in the coordinates of the projector image It may be converted into coordinate data in the coordinates of the captured image, and a plurality of indeterminate values may be estimated so that the converted coordinate data and the coordinate data of the detected straight line in the coordinates of the captured image are approximated.
  • the projector plane parameter estimation unit 102 defines three coordinate systems, a projector coordinate system, a camera coordinate system, and a screen coordinate system.
  • a coordinate change between the projector coordinates and the camera coordinates can be expressed as follows.
  • R is a rotation matrix, and is defined using Euler's expression using the rotation angle in the XYZ axes between the projector and the camera.
  • X 0 is a translation vector.
  • R and X 0 can be calculated from the distance between the angle and the optical center of the optical axis between the projector-camera.
  • two unit vectors e x and e y orthogonal to each other on the plane of the screen L are defined as vectors perpendicular to the normal vector of the screen plane.
  • a coordinate system in which the x and y axes are parallel to e x and e y is defined as a screen coordinate system. Note that the screen projection image exists on the screen coordinate system.
  • a p is a matrix representing a transformation coordinate u p of the coordinates x p and the projector image (pseudo internal matrix of the projector), expressed as follows using the zoom f projector.
  • Ac is a matrix that represents the transformation between the coordinates of the homogeneous coordinates and the coordinates of the photographed image, and is called a camera internal parameter, and is an amount that represents the focal length, the aspect ratio of the CCD pixel, and the like.
  • the camera internal parameters are given in advance by the following matrix.
  • the screen plane L is expressed as follows using projector coordinates.
  • p, q, and r are parameters that characterize the plane, and are represented by the distance between the screen and the projector and the inclination of the screen plane.
  • a point x p at the coordinates of the projector image is projected onto the plane L, and this is imaged as a point x c at the coordinates of the captured image.
  • the relationship between x p and x c is expressed by the following.
  • the N pieces of coordinate data can be, for example, the vertex of the frame (intersection of two straight lines), the midpoint of each of the four straight lines, or the like.
  • the projector plane parameter estimation unit 102 then converts the N coordinate data after conversion and the N coordinate data corresponding to the four detection straight lines in the coordinates of the captured image (intersection of two straight lines, each of the four straight lines).
  • the plane parameters p, q, r, and the projector zoom f are determined so as to approximate the midpoint.
  • the projector plane parameter estimation unit 102 may determine the plane parameters p, q, r, and the projector zoom f so that the error function E shown in [Equation 13] is minimized, or the error function E There may determine these to be less than a predetermined value E 0.
  • the coordinate data sampled from the detection straight line may be converted into the coordinates of the projector image, and the above processing may be performed.
  • the projector plane parameter estimation unit 102 stores the plane parameters p, q, r, and zoom f in a memory (not shown).
  • the plane parameter estimation is not performed, and the plane parameter estimation failure flag is generated and stored in a memory (not shown).
  • the projection pattern generation unit 103 touches the screen from the plane inclination estimated by the screen plane parameter estimation unit 102 (normal vector n: inclination of the screen with respect to the projector optical axis).
  • Two unit vectors e x and e y orthogonal to each other are determined as vectors perpendicular to the normal vector.
  • the x and y axes (virtual screen coordinate axes) in the screen coordinate system become e x and e y , respectively.
  • FIG. 17 shows a quadrangle (screen projection image 1701 before correction) formed by connecting points obtained by converting the four vertices of the frame of the projector image into a virtual screen coordinate system.
  • the projection pattern generation unit 103 sets the screen projection image 1701 before correction to 4 of the screen projection image 1701 before correction so that the corners of the quadrangle are perpendicular and the aspect ratio is equal to that of the frame of the projector image.
  • the coordinate data of one vertex (1703, etc.) is corrected, and a corrected screen projection image 1704 is obtained.
  • the projection pattern generation unit 103 converts the coordinate data of the four vertices (1801 and the like) of the corrected screen projection image 1704 into coordinate data in the coordinates of the projector image. For example, four straight line formulas connecting the four vertexes (1801 and the like) of the corrected screen projection image 1704 and the optical center of the projector are calculated, and the intersection of the straight line and the xy plane in the coordinates of the projector image is calculated. By calculating, coordinate data (for example, 1802 in FIG. 18) at the coordinates of the projector image corresponding to the four vertices (for example, 1801 in FIG. 18) of the corrected screen projection image 1704 is calculated.
  • a photographed image is input by the photographed image input unit 120 (S201).
  • the projector image input unit 130 inputs a projector image (S202).
  • the projection image frame detection unit 101 detects the frame of the screen projection image (S203).
  • the projector plane parameter estimation unit 102 estimates the plane of the projector (S204).
  • the projection pattern generation unit 103 generates a corrected projection pattern (S205).
  • the image output unit 140 outputs the corrected projection pattern to the image output unit 110 (S206).
  • the image projection unit 110 projects the corrected projection pattern (S207).
  • the projection image automatic correction system 1 of the present embodiment can be realized by installing the following program in a computer, for example.
  • a projected image frame detecting means for detecting a straight line constituting a frame of the screen projected image from a photographed image obtained by photographing a screen projected image on the screen projected by the projector with a camera;
  • a coordinate axis is defined for each of the projector image and the photographed image that are the original images of the screen projection image, the optical axis inclination of the projector and the camera, the distance between the optical centers, the internal parameters of the camera, and the coordinates of the photographed image.
  • a straight line constituting the frame of the screen projection image in the photographed image is detected, the distance between the screen and the projector and the inclination of the screen plane are calculated from the position of the straight line constituting the detected frame, and the calculated screen projector An operation is performed to generate a screen projection image in which the angle and the aspect ratio are corrected from the distance between them and the inclination of the screen plane.
  • the screen projection image is corrected from the straight lines constituting the frame of the screen projection image in the photographed image, and therefore the screen projection image can be corrected regardless of the pattern in the screen projection image. Therefore, the distortion of the screen projection image can be corrected even in an image other than a still image.
  • a projection image automatic correction system 1a includes a computer (central processing unit; processor; data processing unit) 100a that operates under program control, an image projection unit 110, The captured image input unit 120, the projector image input unit 130, and the image output unit 140 are configured.
  • a computer (central processing unit; processor; data processing unit) 100a includes a projection image frame detection unit 101a, a projector plane parameter estimation unit 102, a plane parameter verification unit 304, and a projection pattern 103a.
  • the image projection unit 110, the captured image input unit 120, the projector image input unit 130, the image output unit 140, the projector plane parameter estimation unit 102, and the projection pattern generation unit 103a are the same as those in the first embodiment. Description is omitted.
  • the projection image frame unit 101a uses the same method as in the first embodiment to frame the screen projection image. To detect. On the other hand, when the projection image frame re-detection flag has been generated, the detection straight line detected so far is excluded, and the frame is detected again by the same method as in the first embodiment.
  • the estimated values are recorded in a memory (not shown).
  • a projection image frame redetection flag is generated and recorded in a memory (not shown).
  • the frame detection in the projection image frame detection unit 101a and the estimation parameter verification in the plane parameter verification unit 304 may be repeated until the estimation parameter is determined to be correct, or at a fixed number of times. You can cancel it.
  • the plane parameter verification unit 304 does not perform plane parameter estimation, but generates a plane parameter estimation failure flag and stores it in a memory (not shown).
  • the projection pattern generation unit 103a corrects the screen projection image so as not to be distorted in the same manner as in the first embodiment.
  • a projector image is generated and stored in a memory (not shown).
  • the projector image that has not been subjected to distortion correction is stored in a memory (not shown).
  • a photographed image is input by the photographed image input unit 120 (S401).
  • the projector image input unit 130 inputs a projector image (S402).
  • the projection image frame detection unit 101a detects the frame of the screen projection image (S403).
  • the projector plane parameter estimation unit 102 estimates the plane of the projector (S404).
  • the plane parameter verification unit 304 determines whether the plane parameter is correct (S405).
  • the projection image pattern generation unit 103a generates a corrected projection pattern.
  • the frame of the screen projection image is detected again by the video frame detection unit 101a (S406).
  • the image output unit 140 outputs the corrected projection pattern to the image output unit 110 (S408).
  • the image projection unit 110 projects the corrected projection pattern (S409).
  • the plane parameter verification unit 304 determines whether the plane parameters p, q, r, and zoom f calculated by the projector plane parameter estimation unit 102 are correct, and these plane parameters and zoom are correct. Only when it is determined, the projection pattern generation unit 103a corrects the distortion of the screen projection image. Therefore, it is possible to prevent the projection image from being corrected to an incorrect shape as compared with the first embodiment.
  • a projection image automatic correction system 1b includes a computer (central processing unit; processor; data processing unit) 100b that operates by program control, an image projection unit 110, The captured image input unit 120, the projector image input unit 130, and the image output unit 140 are configured.
  • the computer (central processing unit; processor; data processing unit) 100b includes a projection image frame detection unit 101b, a projector plane parameter estimation unit 102, an image synthesis unit 501, and a projection pattern 103.
  • the image projection unit 110, the captured image input unit 120, the projector image input unit 130, the projector plane parameter estimation unit 102, the projection pattern generation unit 103, and the image output unit 140 are the same as those in the first embodiment. Description is omitted.
  • the image composition unit 501 is more accurate at the projection image frame detection unit 101b.
  • an image obtained by combining the image of the frame with the projector image (hereinafter referred to as a combined image) is generated and recorded in a memory (not shown).
  • a combined image an image obtained by combining the image of the frame with the projector image (hereinafter referred to as a combined image) is generated and recorded in a memory (not shown).
  • a combined image an image in which several pixels from the outer frame to the inside of the projector image are filled with a certain color (for example, white or black) is used.
  • the image composition unit 501 may generate one or a plurality of such images. In the following, as shown in FIG.
  • the projection image frame detection unit 101b detects the frame of the screen projection image by the same method as in the first embodiment when the composite image is not generated by the image composition unit 501.
  • the position of the detected frame is recorded in a memory (not shown).
  • an initial projection image frame detection failure flag is generated and recorded in a memory (not shown).
  • a composite image is generated by the image composition unit 501, and the frame is detected by the following procedure.
  • the image output unit 140 outputs the composite image 2001 to the image projection unit 110, and the image projection unit 110 projects the composite image 2001 on the screen.
  • the frame of the screen projection image is detected by the same method as in the first embodiment. If the detection is successful, the position is recorded in a memory (not shown).
  • the projected image frame detection unit 101b generates a difference image (hereinafter referred to as a difference image (white)) between the photographed image of the projector image and the photographed image 2101 in which no frame is synthesized.
  • a difference image (white)
  • the frame of the screen projection image is detected by the same method as in the first embodiment. If the detection is successful, the position is recorded in a memory (not shown).
  • the image output unit 140 outputs the composite image 2002 to the image projection unit 110, and the image projection unit 110 projects the composite image 2002 on the screen.
  • a difference image hereinafter referred to as difference image (black and white)
  • difference image black and white
  • a frame of the screen projection image is detected from the difference image (black and white) by the same method as in the first embodiment. If the detection is successful, the position is recorded in a memory (not shown). On the other hand, if the detection fails, a projection image frame failure flag is generated and recorded in a memory (not shown).
  • a photographed image is input by the photographed image input unit 120 (S601).
  • the projector image input unit 130 inputs a projector image (S602).
  • the projection image frame detection unit 101b detects the frame of the screen projection image (S603).
  • the image composition unit 501 generates a composite image (S605).
  • the projection image frame detection unit 101b detects the frame of the screen projection image again (S606).
  • the projector plane parameter estimation unit 102 estimates the plane of the projector (S607).
  • the projection pattern generation unit 103 generates a corrected projection pattern (S608).
  • the image output unit 140 outputs the corrected projection pattern to the image output unit 110 (S609).
  • the image projection unit 110 projects the corrected projection pattern (S409).
  • the image composition unit 501 generates a composite image in which the frame area of the projector image is emphasized, and the image projection unit 110 projects the composite image onto the screen. Furthermore, the projection image frame detection unit 101b detects the frame of the screen projection image from the captured image obtained by capturing the screen projection image with the frame region emphasized with the camera, compared to the first embodiment. The frame can be detected more robustly without losing visibility. In the present embodiment, the frame of the screen projection image can be detected more robustly, so that the distortion of the screen projection image can be corrected more robustly than in the first embodiment.
  • a projection image automatic correction system 1c includes a computer (central processing unit; processor; data processing unit) 100c that operates under program control, an image projection unit 110, A captured image input unit 120, a projector image input unit 130, and an image output unit 140 are included.
  • a computer (central processing unit; processor; data processing unit) 100c includes a projection image frame detection unit 101c, a projector plane parameter estimation unit 102, a projection pattern generation unit 103, a projection image frame storage unit 701, and a camera parameter estimation unit. 702.
  • the image projection unit 110, the captured image input unit 120, the projector image input unit 130, the projection image frame detection unit 101, the projection pattern generation unit 103, and the image output unit 140 are the same as those in the first embodiment. The description is omitted.
  • the projection image frame storage unit 701 stores the position of the projection image frame detected by the projection image frame detection unit 101 in the past (coordinate data of the detected straight line in the coordinates of the captured image). At this time, the projection image frame storage unit 701 may store the positions of all the projection image frames detected in the past, or may store a part thereof. For example, the projection image frame storage unit 701 only detects that the position of the frame detected by the projection image frame detection unit 101 is significantly different from the position of any frame stored in the projection image frame storage unit 701. The value may be stored. In addition, among the frame positions stored in the projection image frame storage unit 701 in the past, the value of a frame position that has passed for a certain period of time may be deleted from the storage.
  • the camera parameter estimation unit 702 calculates the angle formed by the optical axis between the projector and the camera from the frame positions (coordinate data of the detection line in the coordinates of the captured image) in the plurality of projection images stored in the projection image frame storage unit 701. Estimate the distance between the optical centers. This will be described in more detail below.
  • the position of the frame stored in the projection image frame storage unit 701 is detected from a projection image having a different zoom and a positional relationship between different screen projectors.
  • a point upmk (a point on the coordinates of the projector image) in the projector image and a point u cmk
  • the relationship between the points on the coordinates of the photographed image can be expressed as follows.
  • the camera parameter estimation unit 702 calculates the rotation R, translation X 0 , plane parameters p m , q m , r m , and projector zoom f m by minimizing the error function E expressed by [Equation 17]. To do.
  • the camera parameter estimation unit 702 calculates rotation R, translation X 0 , plane parameters p m , q m , r m , and projector zoom f m so that the error function E becomes smaller than a predetermined value (design matter). May be.
  • F (•) is a function that outputs a value obtained by dividing all components by the third component of the vector, using a vector of 3 rows and 1 column as an argument, as in [Equation 13].
  • the camera parameter estimation unit 702 can estimate the inclination of the optical axis of the projector and the camera and the distance between the optical centers in the same manner as the projector plane parameter estimation unit 102 described in the first embodiment.
  • the camera parameter estimation unit 702 includes a tilt between the optical axis of the projector and the camera and a distance between the optical centers, an internal parameter of the camera, a distance between the screen and the projector, a tilt of the screen with respect to the optical axis of the projector, and a projector.
  • a conversion rule for converting a point on the coordinate of the photographed image into a point on the coordinate of the projector image is held using the zoom magnification.
  • the values of the internal parameters of the camera that are fixed values, the tilt between the optical axis of the projector and the camera that are indefinite values and the distance between the optical centers, the distance between the screen and the projector in each screen arrangement, the projector's in each screen arrangement Using the tilt of the screen with respect to the optical axis and the respective values of the zoom magnification of the projector in each screen arrangement, the coordinate data of the detection straight line in the coordinates of the captured image in each screen arrangement is converted into the coordinate data in the coordinates of the projector image. Then, a plurality of indefinite values are estimated so that the coordinate data after conversion approximates the coordinate data of the straight line corresponding to the frame of the projector image in the coordinates of the projector image.
  • the camera parameter estimation unit 702 records the plane parameters p m , q m , r m , zoom f m , rotation R, and translation X 0 in a memory (not shown). Note that the estimation of the plane parameters p m , q m , r m , zoom f m , rotation R, and translation X 0 by the camera parameter estimation unit 702 may be performed every time when distortion correction is performed, or a predetermined rule is set. May be performed at intervals according to Or you may perform these estimations by the camera parameter estimation part 702 by a user's instruction
  • the plane parameter is calculated in the same manner as the projector plane parameter estimation unit 102 in the first embodiment from the rotation R, translation X 0 ) and the position of the frame of the projection image detected by the projection image frame detection unit 101.
  • the zoom of the projector is calculated.
  • the calculated plane parameter and zoom are stored in a memory (not shown).
  • a photographed image is input by the photographed image input unit 120 (S801).
  • the projector image input unit 130 inputs a projector image (S802).
  • the projection image frame detection unit 101 detects the frame of the projection image (S803). Further, the detected frame is stored in the projection image frame storage unit 701 (S804).
  • the process proceeds to S806 described below. On the other hand, when camera parameter estimation is not performed, the process proceeds to S807 described later (S805). Further, the camera parameter estimation unit 702 estimates camera parameters from the positions of the plurality of frames stored in the projection image frame storage unit 701 (S806).
  • the projector plane parameter estimation unit estimates the plane parameter of the projector (S807). Further, the projection pattern generation unit 103 generates a corrected projection pattern (S808). Next, the image output unit 140 outputs the corrected projection pattern to the image output unit 110 (S809). Finally, the image projection unit 110 projects the corrected projection pattern (S810).
  • the projection image frame storage unit 701 stores the position of the frame of the screen projection image projected from a plurality of different screen positions, and the angle and optical center formed by the optical axis between the projector and the camera from the stored plurality of frame positions Estimate the distance between.
  • the angle between the optical axis between the projector and the camera and the distance between the optical centers are also estimated. Even if there is an error in the angle between the determined projector-camera optical axis and the distance between the optical centers, the error can be corrected and the distortion of the projected image can be corrected. Therefore, it is possible to generate a projection image in which distortion is corrected with higher accuracy than in the first embodiment.
  • a projected image frame detecting means for detecting a straight line constituting a frame of the screen projected image from a photographed image obtained by photographing a screen projected image on the screen projected by the projector with a camera;
  • a coordinate axis is defined for each of the projector image and the photographed image that are the original images of the screen projection image, the optical axis inclination of the projector and the camera, the distance between the optical centers, the internal parameters of the camera, and the coordinates of the photographed image.
  • the projector plane parameter estimation means includes The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector , And holding a conversion rule for converting a point on the coordinate of the photographed image into a point on the coordinate of the projector image,
  • the distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector
  • the coordinate data of the detected straight line in the coordinates of the photographed image is converted into the coordinate data in the coordinates of the projector image using the inclination of the screen with respect to the axis and the zoom magnification values of the projector, and after the conversion
  • a projection image automatic correction system that estimates a plurality
  • the projector plane parameter estimation means includes The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector Is used to hold a conversion rule for converting a point on the coordinates of the projector image to a point on the coordinates of the captured image,
  • the distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector
  • the coordinate data of the straight line corresponding to the frame in the coordinates of the projector image is converted into the coordinate data in the coordinates of the captured image
  • ⁇ Invention 4> In the projection image automatic correction system according to any one of the inventions 1 to 3, Estimating the projector plane parameter using the distance between the screen and the projector estimated by the projector plane parameter estimation means and the values of the inclination of the screen with respect to the optical axis of the projector to determine a virtual screen coordinate axis Further utilizing the value of the zoom magnification of the projector estimated by the means to calculate the projection position on the virtual screen of any of a plurality of points on the projector image, and using the result, the screen A projection image automatic correction system further comprising projection pattern generation means for generating the projector image corrected so that the projection image is not distorted.
  • the projection image frame detection unit detects a straight line from the screen projection image included in the photographed image, and detects a straight line constituting the frame of the screen projection image from the detected straight line.
  • the projected image frame detecting means detects a straight line constituting a frame of the screen projected image based on at least one of the reliability, straight line inclination and position of the straight line detected from the screen projected image. system.
  • a projection image automatic correction system By determining whether the distance between the screen and the projector estimated by the projector plane parameter estimation means and the value of each inclination of the screen with respect to the optical axis of the projector are within a predetermined value range, A projection image automatic correction system further comprising plane parameter verification means for determining whether the value estimated by the projector plane parameter estimation means is correct.
  • Image synthesis means for generating a composite image in which a frame of a certain color is superimposed on the projector image;
  • the projection image frame detection means is a projection image automatic correction system for detecting a straight line constituting a frame of the screen projection image from a photographed image obtained by photographing the screen projection image of the composite image with a camera.
  • Projection image frame storage means for storing the position of the frame detected by the projection image frame detection means;
  • a coordinate axis is defined for each of the projector image and the captured image which are the original images of the screen projection image, and the position of the frame stored by the projection image frame storage means and the internal parameters of the camera are used to determine the projector and the camera.
  • a projection image automatic correction system further comprising: ⁇ Invention 10> Computer A projected image frame detecting means for detecting a straight line constituting a frame of the screen projected image from a photographed image obtained by photographing a screen projected image on the screen projected by the projector with a camera; A coordinate axis is defined for each of the projector image and the photographed image that are the original images of the screen projection image, the optical axis inclination of the projector and the camera, the distance between the optical centers, the internal parameters of the camera, and the coordinates of the photographed image.
  • the projector plane parameter estimation means includes The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector , And holding a conversion rule for converting a point on the coordinate of the photographed image into a point on the coordinate of the projector image,
  • the distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector
  • the coordinate data of the detected straight line in the coordinates of the photographed image is converted into the coordinate data in the coordinates of the projector image using the inclination of the screen with respect to the axis and the zoom magnification values of the projector, and after the conversion
  • the projector plane parameter estimation means includes The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector Is used to hold a conversion rule for converting a point on the coordinates of the projector image to a point on the coordinates of the captured image,
  • the distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector
  • the coordinate data of the straight line corresponding to the frame in the coordinates of the projector image is converted into the coordinate data in the coordinates of the captured image
  • ⁇ Invention 13> In any one program of invention 10-12, Computer, and Estimating the projector plane parameter using the distance between the screen and the projector estimated by the projector plane parameter estimation means and the values of the inclination of the screen with respect to the optical axis of the projector to determine a virtual screen coordinate axis Further utilizing the value of the zoom magnification of the projector estimated by the means to calculate the projection position on the virtual screen of any of a plurality of points on the projector image, and using the result, the screen A program for functioning as projection pattern generation means for generating the projector image corrected so that the projection image is not distorted.
  • the projection image frame detecting means detects a straight line from the screen projection image included in the photographed image, and detects a straight line constituting the frame of the screen projection image from the detected straight line.
  • the projection image frame detection means is a program for detecting a straight line constituting a frame of the screen projection image based on at least one of the reliability of the straight line detected from the screen projection image, the inclination of the straight line, and the position.
  • ⁇ Invention 16> In any one program of invention 10-15, Computer, and By determining whether the distance between the screen and the projector estimated by the projector plane parameter estimation means and the value of each inclination of the screen with respect to the optical axis of the projector are within a predetermined value range, A program for functioning as a plane parameter verification unit for determining whether a value estimated by the projector plane parameter estimation unit is correct.
  • invention 17 In any one program of invention 10 to 16, Computer, and Function as an image composition means for generating a composite image in which a frame of a certain color is superimposed on a projector image,
  • the projection image frame detecting means is a program for detecting a straight line constituting a frame of the screen projection image from a photographed image obtained by photographing the screen projection image of the composite image with a camera.
  • ⁇ Invention 18> In any one program of invention 10 to 17, Computer, and Projection image frame storage means for storing the position of the frame detected by the projection image frame detection means; A coordinate axis is defined for each of the projector image and the captured image which are the original images of the screen projection image, and the position of the frame stored by the projection image frame storage means and the internal parameters of the camera are used to determine the projector and the camera. Camera parameter estimation means for estimating the tilt of the optical axis and the distance between the optical centers; Program to function as.
  • a projected image frame detecting step for detecting a straight line constituting a frame of the screen projected image from a captured image obtained by photographing a screen projected image on the screen projected by the projector with a camera;
  • a coordinate axis is defined for each of the projector image and the photographed image that are the original images of the screen projection image, the optical axis inclination of the projector and the camera, the distance between the optical centers, the internal parameters of the camera, and the coordinates of the photographed image.
  • ⁇ Invention 20> In the projection image automatic correction method of the invention 19, In the projector plane parameter estimation step, The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector Using a conversion rule for converting a point on the coordinates of the photographed image into a point on the coordinates of the projector image, The distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector The coordinate data of the detected straight line in the coordinates of the photographed image is converted into the coordinate data in the coordinates of the projector image using the inclination of the screen with respect to the axis and the zoom magnification values of the projector, and after the conversion And a projection image automatic correction method for
  • ⁇ Invention 21> In the projection image automatic correction method of the invention 19, In the projector plane parameter estimation step, The optical axis tilt of the projector and the camera and the distance between the optical centers, the internal parameters of the camera, the distance between the screen and the projector, the tilt of the screen with respect to the optical axis of the projector, and the zoom magnification of the projector Using a conversion rule for converting a point on the coordinates of the projector image to a point on the coordinates of the captured image, The distance between the optical axis tilt and optical center of the projector and the camera that are fixed values, the value of each internal parameter of the camera, the distance between the screen and the projector that is an indefinite value, the light of the projector Using the tilt of the screen relative to the axis and the values of the zoom magnification of the projector, the coordinate data of the straight line corresponding to the frame in the coordinates of the projector image is converted into the coordinate data in the coordinates of the captured image, A projection image automatic correction method for estimating
  • ⁇ Invention 22> In the projection automatic correction method according to any one of the inventions 19 to 21, Estimating the projector plane parameter using the distance between the screen and the projector estimated in the projector plane parameter estimation step and the values of the screen tilt relative to the optical axis of the projector to determine a virtual screen coordinate axis Further utilizing the value of the zoom magnification of the projector estimated in the step, the projection position on the virtual screen of any of a plurality of points on the projector image is calculated, and using the result, the screen A projection image automatic correction method in which a computer further executes a projection pattern generation step of generating the projector image corrected so that the projection image is not distorted.
  • ⁇ Invention 23> In the projection image automatic correction method according to any one of the inventions 19 to 22, In the projection image frame detection step, a projection image automatic correction method for detecting a straight line from the screen projection image included in the captured image and detecting a straight line constituting the frame of the screen projection image from the detected straight line.
  • ⁇ Invention 24> In the projection image automatic correction method of the invention 23, In the projected image frame detecting step, a projected image automatic correction for detecting a straight line constituting a frame of the screen projected image based on at least one of the reliability of the straight line detected from the screen projected image, the inclination of the straight line, and the position. Method.
  • ⁇ Invention 25> In the projection image automatic correction method according to any one of the inventions 19 to 24, By determining whether the distance between the screen and the projector estimated in the projector plane parameter estimation step and the value of each inclination of the screen with respect to the optical axis of the projector are within a predetermined value range, A projection image automatic correction method in which a computer further executes a plane parameter verification step of determining whether the value estimated by the projector plane parameter estimation means is correct or incorrect.
  • the computer further executes an image composition step for generating a composite image in which a fixed color frame is superimposed on the projector image,
  • a projected image automatic correction method for detecting a straight line constituting a frame of the screen projected image from a captured image obtained by capturing the screen projected image of the synthesized image with a camera.
  • a projection image frame storage step for storing the position of the frame detected in the projection image frame inspection step;
  • a coordinate axis is defined for each of the projector image and the photographed image that are the original images of the screen projection image, and the position of the frame stored in the projection image frame storing step and the internal parameters of the camera are used to determine the projector and the camera.
  • a camera parameter estimation step for estimating the tilt of the optical axis and the distance between the optical centers;
  • a projection image automatic correction method further executed by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、スクリーン投影画像の枠を構成する直線を検出する投影像枠検出部（１０１）と、スクリーン投影画像の原画であるプロジェクタ画像及び撮影画像各々に座標軸を定め、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、撮影画像の座標における検出された直線の座標データ、及び、プロジェクタ画像の座標における枠に対応する直線の座標データを用いて、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定部（１０２）と、を有する投影像自動補正システム（１）。

Description

投影像自動補正システム、投影像自動補正方法およびプログラム
　本発明は、投影像自動補正システム、投影像自動補正方法およびプログラムに関する。
　プロジェクタなどの投射型表示装置では、ＰＣなどからプロジェクタへ出力された画像(以下、プロジェクタ画像)をスクリーンなどに投影する。このとき、プロジェクタがスクリーンに対して斜めに配置されており、プロジェクタに搭載されているレンズの光軸（以下、プロジェクタの光軸）とスクリーン平面の法線ベクトルが平行でない場合、スクリーン上に投射された投影画像（以下、スクリーン投影画像）は、スクリーンに正対した方向から見て台形に歪んだ形状となる。より快適に、スクリーン投影画像を視聴するためには、スクリーン投影画像の歪みを補正する必要がある。
特開２０１０－１２８１０２号公報
　上述のような歪みを補正する方法のひとつとして、スクリーン投影画像をカメラで撮影して得られた画像（以下、撮影画像）とプロジェクタ画像から、スクリーンとプロジェクタの位置関係（より具体的には、プロジェクタの光軸とスクリーン平面の傾き、及び、プロジェクタ・スクリーン間の距離）を算出し、スクリーン投影画像のひずみを補正する方法がある。
　この方法の原理について、図を用いてより詳しく説明する。まず、プロジェクタ画像と撮影画像及びスクリーン投影画像の関係を、図９を用いて説明する。
　図９では、プロジェクタ９０５を用いてプロジェクタ画像９００をスクリーン９０６に投影した画像が、スクリーン投影画像９０３である。さらに、スクリーン９０６に投影した画像をカメラ９０７で撮影し得られた画像が、撮影画像９０１である。撮影画像９０１及びスクリーン投影画像９０３では、像が９０２及び９０４に示すように歪んでいる。この撮影画像９０１、スクリーン投影画像９０３の投影像の歪みの形状（すなわち、プロジェクタ画像９００から撮影画像９０１への画像変換或いはスクリーン投影画像９０３への画像変換）は、カメラ・スクリーン・プロジェクタの幾何学的配置が決定すれば一意的に定まる。
　一方、一般的にカメラ内蔵プロジェクタの場合には、カメラ・プロジェクタ間の幾何学的配置は固定され、予め定まっている。したがって、撮影画像とプロジェクタ画像から、プロジェクタ・スクリーン間の幾何学的配置を得ることができれば、プロジェクタ画像からスクリーン投影画像への画像変換が定まるため、歪みが補正されたスクリーン投影画像に対応するプロジェクタ画像を求めることができる。以上が、カメラを用いてスクリーン投影画像の歪みを補正する方法の原理である。
　このような原理にもとづき、投影像の歪みを補正する方法が、例えば、特許文献１に開示されている。特許文献１に開示の技術では、まず、プロジェクタ画像２２０１に対し、所定形状の校正用パターン（２２０２及び２２０３）を重畳したスクリーン投影画像（２２０４及び２２０５）を複数撮影する。これら複数の撮影画像（２２０６及び２２０７）の差分を算出し、スクリーンとプロジェクタの位置関係を算出する測定用画像２２０８を生成する。測定用画像から、三角測量の原理に基づき、スクリーンの３次元座標を計測する。最後に、計測結果より、スクリーンとプロジェクタの位置関係を算出し、スクリーン投影画像の歪み補正を行う方法が開示されている。なお、図２２は、特許文献１から引用した。
　しかしながら、特許文献１に記載された方法には、２つの問題点がある。
　第１の問題点は、スクリーン投影画像内の画像の解り易さ、すなわちスクリーン投影画像の視認性が低下するということである。
　その理由は、利用者が本来投影しようと意図していたプロジェクタ画像上に校正用パターンが重畳された画像をスクリーンに投影するため、スクリーン投影画像内のコンテンツの一部が隠されるためである。
　第２の問題点は、利用が静止した画像に限定されていることである。
　その理由は、スクリーン・カメラ間の位置関係を算出するために必要な測定用画像の生成には、同一のプロジェクタ画像に対して、異なる２枚の校正用パターンを重畳したスクリーン投影画像をカメラで撮影することが必要である。このため、補正処理の間はプロジェクタ画像が変化しないことが前提となっているためである。
　本発明の目的は、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムを提供することにある。
　本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、を有する投影像自動補正システムが提供される。
　また、本発明によれば、コンピュータを、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、として機能させるためのプログラムが提供される。
　また、本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、をコンピュータが実行する投影像自動補正方法が提供される。
　本発明によれば、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムが実現される。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
第１の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第１の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第２の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第２の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第３の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第３の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第４の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第４の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 特許文献１に記載されている図である。
　以下、本発明の実施の形態について図面を用いて説明する。
　なお、本実施形態の装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　また、本実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
＜第１の実施形態＞
　図１を参照すると、本発明の第１の実施の形態の投影像自動補正システム１は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００と、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００は、投影像枠検出部１０１と、プロジェクタ平面パラメタ推定部１０２と、投影パターン生成部１０３とを含む。これらの各部はそれぞれ概略つぎのように動作する。
　画像投影部１１０は、後述する画像出力部１４０から出力された画像をスクリーンに投影する。出力された画像をスクリーンに投影する方法としては、例えばプロジェクタなどの投射型表示装置を用いる。
　撮影画像入力部１２０には、画像投影部１１０によりスクリーン上に投影されたスクリーン投影画像をカメラなどによって撮影した画像（以下、撮影画像）が入力される。そして、撮影画像入力部１２０は、入力された撮影画像をメモリ（図示せず）に記憶する。なお、図示しないが、投影像自動補正システム１は、スクリーン投影画像を撮像するためのカメラを備えており、当該カメラと、上記画像投影部１１０が備えるプロジェクタとの相対的な位置関係は固定されていてもよい。すなわち、カメラとプロジェクタの光軸の傾き及び光学中心間の距離は固定されており、投影像自動補正システムはこれらの値を予め保持しておいてもよい。
　プロジェクタ画像入力部１３０には、利用者が本来スクリーンに投影しようと意図した画像（プロジェクタ画像）が入力される。例えば、投影像自動補正システム１は有線及び／又は無線で他の機器と通信可能に構成されており、プロジェクタ画像入力手段１３０には、例えばＰＣや、携帯端末などの他の機器から、プロジェクタ画像が入力される。そして、プロジェクタ画像入力部１３０は、入力されたプロジェクタ画像をメモリ（図示せず）に記憶する。
　画像出力部１４０は、プロジェクタ画像入力部１３０に入力されたプロジェクタ画像あるいは、後述する投影パターン生成部１０３にて生成された「スクリーン投影画像が歪まないように補正されたプロジェクタ画像」を、画像投影部１１０に出力する。
　投影像枠検出部１０１は、撮影画像入力部１２０に入力された撮影画像から、スクリーン投影画像の枠を構成する直線を検出する。例えば、投影像枠検出部１０１は、撮影画像に含まれるスクリーン投影画像から複数の直線を検出し、検出した直線群の中から、直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいて、スクリーン投影画像の枠を構成する直線を検出してもよい。以下、スクリーン投影画像の枠を構成する直線として検出された直線を「検出直線」という。
　例えば、投影像枠検出部１０１は、図１０に示すように、まず撮影画像中に存在する直線群を検出し（図１０中の１０００の状態）、次に検出した直線の信頼度、直線の傾き及び位置に基づき撮影画像中のスクリーン投影画像の枠を構成する４本の直線を選択し（図１０中の１００１の状態）、その４本の直線各々の位置を、検出直線の位置としてメモリ（図示せず）に記憶する。以下、各処理の詳細の一例について説明する。
　最初の処理となる撮影画像中に存在する直線を検出する方法としては、例えば、ハフ変換による直線検出法を用いることができる。なお、ハフ変換による直線検出法とは、まず初めに画像でエッジセグメントが存在する画素を判定し、次に撮影画像上での２次元座標を定義したとき、全ての傾きθ及び原点からの距離ρで表される直線について、それぞれの直線上に存在するエッジセグメントの画素数をそれぞれ投票し、最後に投票数が一定以上である直線のみを画像中に存在する直線として検出するという方法である。以下では、ハフ変換により検出された直線群のそれぞれの直線を添え字ｉで区別し、各直線の投票数、傾き、距離をそれぞれＶｉ、θｉ、ρｉで表す。
　図１０中の１０００を例にとって説明すると、点線１００２や点線１００３がハフ変換により検出された直線である。なお、以上では、全ての傾きθ及び距離ρで表される直線を検出の対象とする場合について述べたが、図１１に示すような撮影画像中の予め定められた領域（図１１中の斜線部１１０１）に存在する直線のみ投票を行い、直線の検出をしてもよい。さらに、同時に、この予め定められた領域に存在するエッジセグメントの画素数のみを投票してもよい。このように予め定められた領域でのみ直線検出を行うことで、スクリーン投影画像の枠を構成しない直線の検出を抑えることができる。
　次に、得られた直線群からスクリーン投影画像の枠を構成する４本の直線を選択する。以下では、図１０における枠上部の直線１００４を選択する場合について述べる。投影像枠検出部１０１は、投票数Ｖｉ、傾きθｉ、距離ρｉを引数とする信頼度Ｌｉ（Ｖｉ、θｉ、ρｉ）を全ての検出した直線について算出し、信頼度が最も大きい直線を枠上部の直線として選択する。信頼度Ｌｉは、傾きθｉ及び距離ρｉが、予め定められた直線の傾きθ0及び距離ρ0に最も近く、さらに投票数Ｖｉが最も多い直線ほど大きな値をとることを特徴とする関数である。例えば、信頼度Ｌｉ（Ｖｉ、θｉ、ρｉ）としては、以下のようなものを用いればよい。
Figure JPOXMLDOC01-appb-M000001
　同様の処理を枠下部、枠右部、枠左部についても行い、４本の直線を検出する。最後に、投影像枠検出部１０１は、検出された４本の直線からなる枠の位置をメモリ（図示せず）に記憶する。一方で、投影像枠検出部１０１は、撮影画像中から３本以上の直線が検出されなかった場合には、枠検出失敗フラグをメモリ（図示せず）に記憶する。
　図１に戻り、プロジェクタ平面パラメタ推定部１０２は、プロジェクタとスクリーンの関係、具体的には、スクリーンとプロジェクタ間の距離、及び／又は、プロジェクタの光軸に対するスクリーンの傾きを推定する。プロジェクタ平面パラメタ推定部１０２は、さらに、プロジェクタのズーム倍率をも推定することができる。
　例えば、プロジェクタ平面パラメタ推定部１０２は、まず、スクリーン投影画像の原画であるプロジェクタ画像及び撮影画像各々に座標軸を定め、次いで、撮影画像の座標における検出直線の座標データ、及び、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを取得する。そして、プロジェクタ平面パラメタ推定部１０２は、上記座標データと、予め定められたカメラの焦点距離やＣＣＤの画素の縦横比などを表すカメラの内部パラメタ、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を用いて、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を推定することができる。
　より詳細には、プロジェクタ平面パラメタ推定部１０２は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。
　または、プロジェクタ平面パラメタ推定部１０２は、上記変換ルールを保持しておき、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを撮影画像の座標における座標データに変換し、変換後の座標データと、撮影画像の座標における検出直線の座標データとが近似するように複数の不定値の値を推定してもよい。
　これらの処理の詳細を述べる。まず、プロジェクタ平面パラメタ推定部１０２は、３つの座標系、プロジェクタ座標系、カメラ座標系、スクリーン座標系を定義する。図１２に示すように、プロジェクタの光学中心を原点とし、光軸がＺ軸と一致している座標系をプロジェクタ座標とし、各座標はＸ＝（Ｘ、Ｙ、Ｚ）Ｔと表す。同様にカメラの光学中心を原点とし、光軸がＺ軸と一致している座標をカメラ座標系とし、各座標はＸ'=(Ｘ'，Ｙ'、Ｚ'）Ｔと表す。このとき、プロジェクタ座標とカメラ座標との間の座標変化を以下で表せる。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｒは回転行列でありプロジェクタとカメラとの間のＸＹＺ軸における回転角を用いてオイラー表現を用いて定義される。Ｘ０は並進ベクトルである。Ｒ及びＸ０は、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離から算出することができる。また、スクリーンＬの平面上の互いに直交する２つの単位ベクトルｅｘ、ｅｙを、スクリーン平面の法線ベクトルに垂直なベクトルとして定義する。そして、ｘ、ｙ軸がそれぞれｅｘ、ｅｙに平行な座標系を、スクリーン座標系として定義する。なお、スクリーン投影画像はスクリーン座標系上に存在することに注意する。
　さらに、図１３に示すように、プロジェクタ座標Ｘ＝（Ｘ，Ｙ、Ｚ）Ｔとプロジェクタ座標の同次座標ｘｐ＝（ｘｐ，ｙｐ、１）Ｔとの関係を以下のように定義する。
Figure JPOXMLDOC01-appb-M000003
　また、図１４に示すように、同次座標ｘｐとプロジェクタ画像の座標ｕｐ＝（ｕｐ、ｖｐ、１）Ｔとの関係を以下で定義する。
Figure JPOXMLDOC01-appb-M000004
　ここでＡｐは同次座標ｘｐとプロジェクタ画像の座標ｕｐの変換を表す行列（プロジェクタの擬似的な内部行列）であり、プロジェクタのズームｆを用いて以下のように表わされる。
Figure JPOXMLDOC01-appb-M000005
　同様に、カメラ座標の同次座標ｘｃ＝（ｘｃ，ｙｃ、１）Ｔと撮影画像の座標ｕｃ＝（ｕｃ，ｖｃ、１）Ｔ及びカメラ座標との関係を、以下のように定義する。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　ただし、Ａｃは同次座標と撮影画像の座標の変換を表す行列であり、カメラ内部パラメタと呼ばれ、焦点距離やＣＣＤの画素の縦横比などを表す量である。カメラ内部パラメタは、予め以下のような行列によって与えられている。
Figure JPOXMLDOC01-appb-M000008
　また、スクリーン平面Ｌを、プロジェクタ座標を用いて以下のように表す。
Figure JPOXMLDOC01-appb-M000009
　ここで、ｐ、ｑ、ｒは平面を特徴付けるパラメタであり、スクリーン・プロジェクタ間の距離、スクリーン平面の傾きにより表される。このとき、図１２に示すように、プロジェクタ画像の座標における点ｘｐが平面Ｌに投影され、これが撮影画像の座標における点ｘｃとして撮像される。このとき、ｘｐとｘｃの関係は以下で表される。
Figure JPOXMLDOC01-appb-M000010
　ただし、Ｔは３×３の行列で、回転Ｒ、並進Ｘ０、平面パラメタｐ、ｑ、ｒを用いて以下で表される。なお、∝は、右辺と左辺のベクトルが比例の関係であることを示している（以下同様）。
Figure JPOXMLDOC01-appb-M000011
　［数４］、［数７］、［数１０］より、プロジェクタ画像における点ｕp（プロジェクタ画像の座標上の点）と、撮影画像上の点ｕｃ（撮影画像の座標上の点）は、以下の式を満たす。
Figure JPOXMLDOC01-appb-M000012
　［数１２］によれば、撮影画像上の点ｕｃからプロジェクタ画像上の点ｕpへの変換（及びその逆の変換）は、カメラの内部パラメタＡｃ、ズームｆ、回転Ｒ、並進Ｘ０を用いて記述できることを示している。なお、本実施の形態では、内部パラメタＡｃ、回転Ｒ、並進Ｘ０の値は予め与えられており、未知変数は平面パラメタｐ、ｑ、ｒ及びズームｆのみである。プロジェクタ平面パラメタ推定部１０２は、投影像枠検出部１０１にて検出された検出直線上の点のいくつか、例えば全ての点が［数１２］の関係式を満たすように、平面パラメタｐ、ｑ、ｒ、及び、プロジェクタのズームｆを決定する。
　具体的には、プロジェクタ平面パラメタ推定部１０２は、まず、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線からサンプリングされたＮ個の座標データ｛ｕpｋ｝＝（ｕp１、ｕp２、・・・、ｕpＮ）を、［数１２］を用いて撮影画像の座標における座標データに変換する。Ｎ個の座標データは、例えば、枠の頂点（２つの直線の交点）や、４つの直線各々の中点などとすることができる。そして、プロジェクタ平面パラメタ推定部１０２は、変換後のＮ個の座標データと、撮影画像の座標における４本の検出直線の対応するＮ個の座標データ（２つの直線の交点、４つの直線各々の中点など）とが近似するように、平面パラメタｐ、ｑ、ｒ、プロジェクタのズームｆを決定する。例えば、プロジェクタ平面パラメタ推定部１０２は、［数１３］に示す誤差関数Ｅが最小になるように平面パラメタｐ、ｑ、ｒ、プロジェクタのズームｆを決定してもよいし、または、誤差関数Ｅが所定値Ｅ０より小さくなるようにこれらを決定してもよい。所定値Ｅ０は、例えば、Ｍ個の座標データがある場合には、Ｅ０＝ε／Ｍとしてもよい。なお、εは１にくらべ充分に小さい正の実数であり、予め利用者が定めることができる設計的事項である。
Figure JPOXMLDOC01-appb-M000013
　ただし、Ｆ（・）は３行１列のベクトルを引数とし、引数ベクトルの第３成分の要素で全ての成分を除した値を要素とするベクトルを出力する関数である。例えば、Ｘ＝（Ｘ，Ｙ，Ｚ）Ｔを引数とした場合、Ｆ（Ｘ）＝（Ｘ／Ｚ，Ｙ／Ｚ，１）Ｔとなる。
　なお、上記に準じて、検出直線からサンプリングされた座標データをプロジェクタ画像の座標に変換し、上記処理を行ってもよい。
　さらに、プロジェクタ平面パラメタ推定部１０２は、平面パラメタｐ、ｑ、ｒ、及びズームｆをメモリ（図示せず）に記憶する。一方、投影像枠検出部１０１にて枠検出失敗フラグが出力された場合には、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ（図示せず）に記憶する。
　投影パターン生成部１０３は、プロジェクタ平面パラメタ推定部１０２が推定したスクリーンとプロジェクタ間の距離、及び、プロジェクタの光軸に対するスクリーンの傾きを用いて、仮想的なスクリーンの座標軸を定める。そして、投影パターン生成部１０３は、プロジェクタ平面パラメタ推定部１０２が推定したプロジェクタのズーム倍率をさらに用いて、プロジェクタ画像上の任意の複数の点の仮想的なスクリーン上での投影位置を算出する。その後、投影パターン生成部１０３は、当該結果を利用して、スクリーン投影画像が歪まないように補正されたプロジェクタ画像を生成する。以下、より具体的に説明する。
　まず、図１５に示すように、投影パターン生成部１０３は、スクリーン平面パラメタ推定部１０２にて推定された平面の傾き（法線ベクトルｎ：プロジェクタの光軸に対するスクリーンの傾き）から、スクリーンに接する互いに直交する２つの単位ベクトルｅｘ、ｅｙを法線ベクトルに垂直なベクトルとして決定する。この時、スクリーン座標系の定義より、スクリーン座標系におけるｘ、ｙ軸（仮想的なスクリーンの座標軸）がそれぞれｅｘ、ｅｙとなる。
　次に、スクリーン平面パラメタ推定部１０２は、図１６に示すように、プロジェクタ画像の任意の複数の点、例えばコーナー４点に対応するスクリーン投影画像上の点を推定する。具体的には、スクリーン平面パラメタ推定部１０２は、プロジェクタ画像の座標におけるプロジェクタ画像の座標データを、上記仮想的なスクリーンの座標における座標データに変換する変換ルールを保持しておく。そして、スクリーン平面パラメタ推定部１０２は、当該変換ルールを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の点（例：コーナー４点）を、仮想的なスクリーンの座標における座標データに変換する。そして、スクリーン平面パラメタ推定部１０２は、当該変換後の座標データを、プロジェクタ画像の任意の複数の点に対応するスクリーン投影画像上の点と推定する。
　変換ルールの内容としては、例えば、図１６に示すように、スクリーンの光学中心と、プロジェクタ画像の任意の点（例：プロジェクタ画像の枠の４つの頂点の１つ）とを結ぶ直線の式を算出し、当該直線と、仮想的なスクリーンの座標系におけるｘ－ｙ平面との交点を算出するものであってもよい。例えば、図１６では、プロジェクタ画像１６０１がスクリーン１６０２に投影され、スクリーン投影画像１６０３となるとき、プロジェクタ画像の枠の４つの頂点１６０４に対応するスクリーン投影画像上の点１６０５の座標値を、スクリーン座標系にて算出する。
　次に、投影パターン生成部１０３が、スクリーン投影画像が歪まないようにプロジェクタ画像を補正する構成について説明する。
　まず、投影パターン生成部１０３は、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の座標点（例：プロジェクタ画像の枠の４つの頂点）を結んで構成される形状（例：プロジェクタ画像の枠の４つの頂点を結んで構成される四角形）と、当該複数の座標点を仮想的なスクリーンの座標系に変換した複数の座標点を結んで構成される形状とを比較し、これらの形状が略同一になるように、仮想的なスクリーンの座標系における複数の座標点を補正する。例えば、上述のようにプロジェクタ画像の枠の４つの頂点の座標点を変換した場合、投影パターン生成部１０３は、変換後の４つの座標点を結んで形成される四角形の４つの角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正する。
　ここで、図１７を用いて一例を説明する。図１７には、プロジェクタ画像の枠の４つの頂点を仮想的なスクリーンの座標系に変換した点を結んで形成される四角形（補正前のスクリーン投影画像１７０１）が記載されている。投影パターン生成部１０３は、補正前のスクリーン投影画像１７０１を、四角形の角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正前のスクリーン投影画像１７０１の４つの頂点（１７０３等）の座標データを補正し、補正後のスクリーン投影画像１７０４を得る。
　その後、投影パターン生成部１０３は、図１８に示すように、補正後のスクリーン投影画像１７０４の４つの頂点（１８０１等）の座標データを、プロジェクタ画像の座標における座標データに変換する。例えば、補正後のスクリーン投影画像１７０４の４つの頂点（１８０１等）各々とプロジェクタの光学中心を結ぶ４つの直線の式を算出し、当該直線とプロジェクタ画像の座標におけるｘ－ｙ平面との交点を算出することで、補正後のスクリーン投影画像１７０４の４つの頂点（例えば図１８中の１８０１）に対応するプロジェクタ画像の座標における座標データ（例えば図１８中の１８０２）を算出する。
　その後、投影パターン生成部１０３は、図１９に示すように、補正前のプロジェクタ画像（図１９中の１９０１）の４つの頂点が補正後のプロジェクタ画像の４つの頂点に変換されるような変換（ホモグラフィ）を算出し、算出された変換にてプロジェクタ画像全体を変換することで、歪み補正されたプロジェクタ画像（図１９中の１９０２）を生成する。投影パターン生成部１０３は、生成した補正画像をメモリ（図示せず）に記憶する。一方、プロジェクタ平面パラメタ推定部にて、平面パラメタ推定失敗フラグが出力された場合には、補正は行わず、プロジェクタ画像をそのままメモリ（図示せず）に記憶する。
　次に、図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
　まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ２０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ２０２）。さらに、投影像枠検出部１０１にて、スクリーン投影画像の枠を検出する（Ｓ２０３）。次に、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ２０４）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ２０５）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ２０６）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ２０７）。
　本実施形態の投影像自動補正システム１は、例えば、以下のプログラムをコンピュータにインストールすることで実現することができる。
　コンピュータを、
　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。
　次に、本実施の形態の効果について説明する。撮影画像中のスクリーン投影画像の枠を構成する直線を検出し、検出した枠を構成する直線の位置からスクリーン・プロジェクタの間の距離及びスクリーン平面の傾きを算出し、さらに算出したスクリーン・プロジェクタの間の距離およびスクリーン平面の傾きから、角度及びアスペクト比が補正されたスクリーン投影画像を生成するよう動作する。このような構成を採用することで、撮影画像中のスクリーン投影画像の枠を構成する直線を用いてスクリーン投影画像の補正を行うため、スクリーン投影画像内部に校正用パターンを重畳する必要がなく、ゆえに視認性を低下させることなくスクリーン投影画像の歪みを補正できる。また、本実施の形態では、さらに、撮影画像中のスクリーン投影画像の枠を構成する直線からスクリーン投影画像を補正し、ゆえにスクリーン投影画像内のパターンによらずスクリーン投影画像の補正が可能であるため、静止した画像以外の画像においてもスクリーン投影画像の歪みを補正できる。
＜第２の実施形態＞
　図３を参照すると、本発明の第２の実施の形態の投影像自動補正システム１ａは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ａと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ａは、投影像枠検出部１０１ａと、プロジェクタ平面パラメタ推定部１０２と、平面パラメタ検証部３０４と、投影パターン１０３ａとを含む。
　これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、画像出力部１４０、プロジェクタ平面パラメタ推定部１０２、投影パターン生成部１０３ａは、第１の実施の形態と同様であるため、説明を省略する。
　投影像枠部１０１ａは、後述する平面パラメタ検証部３０４にて投影像枠再検出フラグが生成されていない場合には、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。一方、投影像枠再検出フラグが生成されている場合には、これまで検出された検出直線を除外して、再度、第１の実施の形態と同様の方法にて枠の検出を行う。
　平面パラメタ検証部３０４は、プロジェクタ平面パラメタ推定部１０２にて推定された平面パラメタｐ、ｑ、ｒ、及び、ズームｆの正誤を判定する。具体的には、平面パラメタ検証部３０４は、予め、平面パラメタｐ、ｑ、ｒ、及び、ズームｆの数値範囲を定めたデータを保持しておき、プロジェクタ平面パラメタ推定部１０２にて推定された値が、当該数値範囲内に含まれるか否かを判定する。そして、これらの全て平面パラメタ及びズームが予め指定された値の範囲内である場合には正しいと判定し、範囲外である場合には誤りと判定する。
　推定された平面パラメタｐ、ｑ、ｒ、及び、ズームｆが正しいと判定された場合には、推定された値をメモリ（図示せず）に記録する。一方、推定された値が誤りであると判定された場合には、投影像枠再検出フラグを生成し、これをメモリ（図示せず）に記録する。なお、本実施の形態では、投影像枠検出部１０１ａにおける枠検出と、平面パラメタ検証部３０４における推定パラメタの検証を、推定パラメタが正しいと判定されるまで繰り返し行ってもよいし、一定回数で打ち切っても良い。一定回数で打ち切る場合には、平面パラメタ検証部３０４は、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ（図示せず）に記憶する。
　投影パターン生成部１０３ａは、平面パラメタ検証部３０４にて、平面パラメタ推定失敗フラグが出力されていない場合には、第１の実施の形態と同様にして、スクリーン投影画像が歪まないように補正したプロジェクタ画像を生成し、メモリ（図示せず）に記憶する。一方、平面パラメタ検証部３０４にて平面パラメタ推定失敗フラグを出力された場合には、歪み補正していないプロジェクタ画像を、メモリ（図示せず）に記憶する。
　次に、図４のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
　まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ４０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ４０２）。さらに、投影像枠検出部１０１ａにて、スクリーン投影画像の枠を検出する（Ｓ４０３）。次に、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ４０４）。さらに、平面パラメタ検証部３０４にて、平面パラメタの正誤を判定する（Ｓ４０５）。平面パラメタの値が正である場合（或いは、投影像枠検出部１０１ａにて一定回数以上の試行を行った場合）には、投影像パターン生成部１０３ａにて、補正された投影パターンを生成する（Ｓ４０７）。それ以外の場合には再び、映像枠検出部１０１ａにてスクリーン投影画像の枠を検出する（Ｓ４０６）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ４０８）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ４０９）。
　本実施形態では、平面パラメタ検証部３０４にて、プロジェクタ平面パラメタ推定部１０２にて算出された平面パラメタｐ、ｑ、ｒ、及び、ズームｆの正誤を判定し、これらの平面パラメタ及びズームが正と判定された場合のみ投影パターン生成部１０３ａにて、スクリーン投影画像の歪みの補正を行う。したがって、第１の実施形態に比べ、投影像が誤った形に補正されることを防ぐことができる。
＜第３の実施形態＞
　図５を参照すると、本発明の第３の実施の形態の投影像自動補正システム１ｂは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｂと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｂは、投影像枠検出部１０１ｂと、プロジェクタ平面パラメタ推定部１０２と、画像合成部５０１と、投影パターン１０３とを含む。
　これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、プロジェクタ平面パラメタ推定部１０２、投影パターン生成部１０３、画像出力部１４０は、第１の実施の形態と同様であるため、説明を省略する。
　画像合成部５０１は、後述する投影像枠検出部１０１ｂがスクリーン投影画像の枠の検出に失敗し、初期投影像枠検出失敗フラグが生成されている場合、投影像枠検出部１０１ｂにてより正確に枠を検出可能にするために、プロジェクタ画像に枠の画像を合成した画像（以下、合成画像）を生成し、メモリ（図示せず）に記録する。合成画像は、プロジェクタ画像の外枠から内部への数画素を一定の色（例えば、白或いは黒）で塗りつぶした画像を用いる。画像合成部５０１はこのような画像を、１枚生成してもいいし、或いは複数枚生成しても良い。以下では、図２０に示すように合成画像として、プロジェクタ画像の外枠から内部への数画素を白色（図２０中の２００１）及び黒色（図２０中の２００２）で塗りつぶした画像を生成した例について述べる。なお、一定色強調された領域は、プロジェクタ画像の端の領域であり、この領域にコンテンツが含まれていることは少ない。従って、この領域を、一定色で塗りつぶしたプロジェクタ画像を投影しても、視聴者の視認性は損なわれない。
　投影像枠検出部１０１ｂは、画像合成部５０１にて合成画像が生成されていない場合には、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。スクリーン投影画像の枠の検出に成功した場合には、検出した枠の位置をメモリ（図示せず）に記録する。
　一方、スクリーン投影画像の枠の検出に失敗した場合には、初期投影像枠検出失敗フラグを生成し、メモリ（図示せず）に記録する。そして、画像合成部５０１にて合成画像を生成し、さらに、以下のような手順で、枠の検出を行う。まず、画像出力部１４０が合成画像２００１を画像投影部１１０に出力し、さらに画像投影部１１０は合成画像２００１をスクリーンに投影する。これを撮影し得られた画像（図２１中の２１０１）を用いて、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。
　一方、検出に失敗した場合には、投影像枠検出部１０１ｂは、枠が合成されていないプロジェクタ画像の撮影画像と撮影画像２１０１の差分画像(以下、差分画像（白）と呼ぶ)を生成し、差分画像（白）に対し、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。
　一方、検出に失敗した場合には、画像出力部１４０は合成画像２００２を画像投影部１１０に出力し、さらに画像投影部１１０は合成画像２００２をスクリーンに投影する。これを撮影し得られた画像（図２１中の２１０２）を用いて、撮影画像２１０１及び撮影画像２１０２との差分画像（以下、差分画像（白黒））を生成する。さらに差分画像（白黒）に対し、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。一方、検出に失敗した場合には、投影像枠失敗フラグを生成し、これをメモリ（図示せず）に記録する。
　次に、図６のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
　まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ６０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ６０２）。さらに、投影像枠検出部１０１ｂにて、スクリーン投影画像の枠を検出する（Ｓ６０３）。スクリーン投影画像の枠の検出に成功した場合には、後述するＳ６０７に進み、一方、枠の検出に失敗した場合には、画像合成部５０１にて、合成画像を生成する（Ｓ６０５）。次に、投影像枠検出部１０１ｂにて、再びスクリーン投影画像の枠を検出する（Ｓ６０６）。さらに、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ６０７）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ６０８）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ６０９）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ４０９）。
　本実施形態では、画像合成部５０１にて、プロジェクタ画像の枠領域が強調された合成画像を生成し、合成画像を画像投影部１１０にて、スクリーン上へ投影する。さらに、投影像枠検出部１０１ｂは、枠領域が強調されたスクリーン投影画像をカメラで撮影し得られた撮影画像から、スクリーン投影画像の枠を検出することで第１の実施の形態に比べ、視認性を損なうことなく、よりロバストに枠を検出できる。本実施の形態では、ロバストにスクリーン投影画像の枠を検出することが可能であるため、第１の実施の形態に比べ、よりロバストにスクリーン投影画像の歪み補正を行うことができる。
＜第４の実施形態＞
　図７を参照すると、本発明の第４の実施の形態の投影像自動補正システム１ｃは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｃと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とを含む。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｃは、投影像枠検出部１０１ｃと、プロジェクタ平面パラメタ推定部１０２と、投影パターン生成部１０３と、投影像枠記憶部７０１と、カメラパラメタ推定部７０２とを含む。
　これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、投影像枠検出部１０１と、投影パターン生成部１０３、画像出力部１４０は、第１の実施の形態と同様であるため、説明を省略する。
　投影像枠記憶部７０１は、過去に投影像枠検出部１０１にて検出された投影像の枠の位置（撮影画像の座標における検出直線の座標データ）を記憶する。この時、投影像枠記憶部７０１は、過去に検出された全ての投影像の枠の位置を記憶してもよいし、その一部を記憶してもよい。例えば、投影像枠記憶部７０１は、投影像枠検出部１０１にて検出された枠の位置が、投影像枠記憶部７０１に記憶されているどの枠の位置とも大きく異なっている場合のみ、その値を記憶してもよい。また、過去に投影像枠記憶部７０１にて記憶した枠の位置のうち、ある一定時間以上経過した枠の位置については、その値を記憶から削除してもよい。以下では、記憶された投影像の枠の位置はＭ種類であるとし、添え字ｍで区別する。例えば、Ｍ種類のスクリーン投影像から検出された各枠からサンプリングされたＮ個の点群とプロジェクタ画像のそれらに対応する点群は、それぞれ｛ｕｃｍｋ｝＝（ｕｃｍ１、ｕｃｍ２、・・・、ｕｃｍＮ）、｛ｕpｍｋ｝＝（ｕpｍ１、ｕp２、・・・、ｕpｍＮ）と表す。
　カメラパラメタ推定部７０２は、投影像枠記憶部７０１に記憶された複数の投影像における枠の位置（撮影画像の座標における検出直線の座標データ）から、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。以下で、より詳細に説明する。
　一般的に、投影像枠記憶部７０１に記憶された枠の位置は、異なるズーム及び異なるスクリーン・プロジェクタの位置関係での投影像から検出されたものである。以下では、これらを区別するために、記憶されたＭ種類の各枠に対応する平面パラメタをそれぞれｐｍ、ｑｍ、ｒｍ（ｍ＝1・・・Ｍ）とし、それぞれのズームをｆｍ（ｍ＝1・・・Ｍ）と表す。この時、［数１１］と同様に、下記で定義される行列Ｔｍ及びＡｐｍを用いて、プロジェクタ画像における点ｕpｍｋ（プロジェクタ画像の座標上の点）と、撮影画像における点ｕｃｍｋ（撮影画像の座標上の点）の関係は以下のように表せる。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　［数１６］は、撮影画像における点ｕｃｍｋからプロジェクタ画像における点ｕpｍｋへの変換はカメラの内部パラメタＡｃ、平面パラメタｐｍ、ｑｍ、ｒｍ、ズームｆｍ、回転Ｒ、並進Ｘ０を用いて記述できることを示している。カメラパラメタ推定部７０２では、内部パラメタＡｃのみが予め与えられており、平面パラメタｐｍ、ｑｍ、ｒｍ、ズームｆｍ、回転Ｒ、並進Ｘ０が未知変数である。カメラパラメタ推定部７０２は、［数１７］で表される誤差関数Ｅを最小化させることで、回転Ｒ、並進Ｘ０、平面パラメタｐｍ、ｑｍ、ｒｍ、プロジェクタのズームｆｍを算出する。カメラパラメタ推定部７０２は、誤差関数Ｅが所定値（設計的事項）よりも小さくなるように、回転Ｒ、並進Ｘ０、平面パラメタｐｍ、ｑｍ、ｒｍ、プロジェクタのズームｆｍを算出してもよい。
Figure JPOXMLDOC01-appb-M000017
　ただし、Ｆ（・）は［数１３］と同様に３行１列のベクトルを引数とし、ベクトルの第３成分の要素で全ての成分を除した値を出力する関数である。
　すなわち、カメラパラメタ推定部７０２は、第１の実施形態で説明したプロジェクタ平面パラメタ推定部１０２と同様にして、プロジェクタとカメラの光軸の傾き及び光学中心間の距離を推定することができる。詳細には、カメラパラメタ推定部７０２は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるカメラの内部パラメタの値と、不定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、各スクリーン配置におけるスクリーンとプロジェクタ間の距離、各スクリーン配置におけるプロジェクタの光軸に対するスクリーンの傾き、及び、各スクリーン配置におけるプロジェクタのズーム倍率各々の値とを用いて、各スクリーン配置における撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。
　さらに、カメラパラメタ推定部７０２は、平面パラメタｐｍ、ｑｍ、ｒｍ、ズームｆｍ、回転Ｒ、並進Ｘ０をメモリ（図示せず）に記録する。なお、カメラパラメタ推定部７０２による平面パラメタｐｍ、ｑｍ、ｒｍ、ズームｆｍ、回転Ｒ、並進Ｘ０の推定は、歪み補正を行うときは毎回行ってもよいし、定められた規則に従った間隔ごとに行っても良い。あるいは、利用者の指示によりカメラパラメタ推定部７０２によるこれらの推定を行ってもよい。
　プロジェクタ平面パラメタ推定部１０２ｃは、予め与えられているカメラの内部パラメタＡｃと、カメラパラメタ推定部７０２にて推定されたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離（すなわち、回転Ｒ、並進Ｘ０）と、投影像枠検出部１０１にて検出された投影像の枠の位置から、第１の実施の形態におけるプロジェクタ平面パラメタ推定部１０２と同様の方法にて、平面パラメタ及びプロジェクタのズームを算出する。算出した平面パラメタ及びズームは、メモリ（図示せず）に記憶する。
　次に、本実施の形態の動作について述べる。
　まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ８０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ８０２）。さらに、投影像枠検出部１０１にて、投影像の枠を検出する（Ｓ８０３）。さらに、投影像枠記憶部７０１にて、検出された枠を記憶する（Ｓ８０４）。次に、投影像枠記憶部７０２にて記憶された複数の枠を用いて、カメラパラメタ推定を行う場合には、後述のＳ８０６に進む。一方、カメラパラメタ推定を行わない場合には、後述のＳ８０７に進む（Ｓ８０５）。さらに、カメラパラメタ推定部７０２にて、投影像枠記憶部７０１に記憶された複数の枠の位置から、カメラパラメタを推定する（Ｓ８０６）。次に、プロジェクタ平面パラメタ推定部にて、プロジェクタの平面パラメタを推定する（Ｓ８０７）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ８０８）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ８０９）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ８１０）。
　投影像枠記憶部７０１にて複数の異なるスクリーン位置から投影されたスクリーン投影像の枠の位置を記憶し、記憶された複数の枠の位置からプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。第４の実施の形態では、スクリーン投影像を補正する過程で、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離も推定するため、何らかの原因（製品の劣化、衝撃など）により予め定めたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離に誤差が生じていた場合にも、その誤差を補正し、投影像の歪みを補正できる。したがって、実施の形態１に比べ、高精度に歪みが補正された投影像を生成することができる。
＜＜付記＞＞
＜発明１＞
　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
を有する投影像自動補正システム。
＜発明２＞
　発明１の投影像自動補正システムにおいて、
　前記プロジェクタ平面パラメタ推定手段は、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
＜発明３＞
　発明１の投影像自動補正システムにおいて、
　前記プロジェクタ平面パラメタ推定手段は、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
＜発明４＞
　発明１から３のいずれか１の投影像自動補正システムにおいて、
　前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
＜発明５＞
　発明１から４のいずれか１の投影像自動補正システムにおいて、
　前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明６＞
　発明５の投影像自動補正システムにおいて、
　前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明７＞
　発明１から６のいずれか１の投影像自動補正システムにおいて、
　前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段をさらに有する投影像自動補正システム。
＜発明８＞
　発明１から７のいずれか１の投影像自動補正システムにおいて、
　プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
　前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明９＞
　発明１から８のいずれか１の投影像自動補正システムにおいて、
　前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
をさらに有する投影像自動補正システム。
＜発明１０＞
　コンピュータを、
　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。
＜発明１１＞
　発明１０のプログラムにおいて、
　前記プロジェクタ平面パラメタ推定手段は、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
＜発明１２＞
　発明１０のプログラムにおいて、
　前記プロジェクタ平面パラメタ推定手段は、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
＜発明１３＞
　発明１０から１２のいずれか１のプログラムにおいて、
　コンピュータを、さらに、
　前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段として機能させるためのプログラム。
＜発明１４＞
　発明１０から１３のいずれか１のプログラムにおいて、
　前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１５＞
　発明１４のプログラムにおいて、
　前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１６＞
　発明１０から１５のいずれか１のプログラムにおいて、
　コンピュータを、さらに、
　前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段として機能させるためのプログラム。
＜発明１７＞
　発明１０から１６のいずれか１のプログラムにおいて、
　コンピュータを、さらに、
　プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段として機能させ、
　前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１８＞
　発明１０から１７のいずれか１のプログラムにおいて、
　コンピュータを、さらに、
　前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段、
として機能させるためのプログラム。
＜発明１９＞
　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
をコンピュータが実行する投影像自動補正方法。
＜発明２０＞
　発明１９の投影像自動補正方法において、
　前記プロジェクタ平面パラメタ推定ステップでは、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを利用し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
＜発明２１＞
　発明１９の投影像自動補正方法において、
　前記プロジェクタ平面パラメタ推定ステップでは、
　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを利用し、
　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
＜発明２２＞
　発明１９から２１のいずれか１の投影自動補正方法において、
　前記プロジェクタ平面パラメタ推定ステップで推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定ステップで推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成ステップをコンピュータがさらに実行する投影像自動補正方法。
＜発明２３＞
　発明１９から２２のいずれか１の投影像自動補正方法において、
　前記投影像枠検出ステップでは、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２４＞
　発明２３の投影像自動補正方法において、
　前記投影像枠検出ステップでは、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２５＞
　発明１９から２４のいずれか１の投影像自動補正方法において、
　前記プロジェクタ平面パラメタ推定ステップにて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証ステップをコンピュータがさらに実行する投影像自動補正方法。
＜発明２６＞
　発明１９から２５のいずれか１の投影像自動補正方法において、
　プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成ステップをコンピュータがさらに実行し、
　前記投影像枠検出ステップでは、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２７＞
　発明１９から２６のいずれか１の投影像自動補正方法において、
　前記投影像枠検ステップにて検出された枠の位置を記憶する投影像枠記憶ステップと、
　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶ステップで記憶した枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定ステップと、
をコンピュータがさらに実行する投影像自動補正方法。
　この出願は、２０１１年９月１５日に出願された日本特許出願特願２０１１－２０１７８９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
    　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
    を有する投影像自動補正システム。
  2. 　請求項１に記載の投影像自動補正システムにおいて、
    　前記プロジェクタ平面パラメタ推定手段は、
    　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
    　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
  3. 　請求項１に記載の投影像自動補正システムにおいて、
    　前記プロジェクタ平面パラメタ推定手段は、
    　　前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
    　　固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
  4. 　請求項１から３のいずれか１項に記載の投影像自動補正システムにおいて、
    　前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
  5. 　請求項１から４のいずれか１項に記載の投影像自動補正システムにおいて、
    　前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  6. 　請求項５に記載の投影像自動補正システムにおいて、
    　前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  7. 　請求項１から６のいずれか１項に記載の投影像自動補正システムにおいて、
    　前記プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
    　前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  8. 　請求項１から７のいずれか１項に記載の投影像自動補正システムにおいて、
    　前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
    　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
    をさらに有する投影像自動補正システム。
  9. 　コンピュータを、
    　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
    　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
    として機能させるためのプログラム。
  10. 　プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
    　前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
    をコンピュータが実行する投影像自動補正方法。
PCT/JP2012/005748 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム Ceased WO2013038656A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013533499A JP6176114B2 (ja) 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム
US14/344,806 US9344695B2 (en) 2011-09-15 2012-09-11 Automatic projection image correction system, automatic projection image correction method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-201789 2011-09-15
JP2011201789 2011-09-15

Publications (1)

Publication Number Publication Date
WO2013038656A1 true WO2013038656A1 (ja) 2013-03-21

Family

ID=47882905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005748 Ceased WO2013038656A1 (ja) 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム

Country Status (3)

Country Link
US (1) US9344695B2 (ja)
JP (1) JP6176114B2 (ja)
WO (1) WO2013038656A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068858A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN104580966A (zh) * 2013-10-22 2015-04-29 光宝科技股份有限公司 投影装置以及其投影图像处理方法
WO2017084391A1 (zh) * 2015-11-19 2017-05-26 广景视睿科技（深圳）有限公司 一种投影仪图像荧光处理的方法及系统
WO2017169186A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 画像投影システムおよび補正方法
JPWO2017169725A1 (ja) * 2016-03-28 2019-02-07 ソニー株式会社 画像処理装置および方法
CN114640833A (zh) * 2022-03-11 2022-06-17 峰米(重庆)创新科技有限公司 投影画面调整方法、装置、电子设备和存储介质
WO2022127558A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 投影校正方法、投影校正装置及电子设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP6525612B2 (ja) * 2015-01-30 2019-06-05 キヤノン株式会社 画像投射装置
EP3346699B1 (en) * 2015-09-01 2023-02-01 NEC Platforms, Ltd. Projection device, projection method and projection program
CN105227881B (zh) * 2015-09-15 2019-02-26 海信集团有限公司 一种投影画面校正方法及投影设备
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム
TWI586173B (zh) * 2016-07-14 2017-06-01 張修誠 投影系統及投影影像的修正方法
CN109644248B (zh) * 2016-09-01 2021-03-19 麦克赛尔株式会社 投射型影像显示装置和投射影像的调整方法
CN109313799B (zh) * 2016-12-21 2021-02-26 华为技术有限公司 图像处理方法及设备
US11601626B2 (en) * 2017-03-09 2023-03-07 Sony Corporation Image processing apparatus and method
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
CN106937101A (zh) * 2017-03-22 2017-07-07 成都市极米科技有限公司 投影区域校正方法及系统
JP6766720B2 (ja) * 2017-03-27 2020-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109587459B (zh) * 2017-09-29 2021-07-06 中强光电股份有限公司 投影系统及其自动设定方法
TWI678926B (zh) * 2018-09-25 2019-12-01 華碩電腦股份有限公司 投影方法及投影系統
CN110309828B (zh) * 2019-06-27 2021-08-17 浙江工业大学 一种倾斜车牌矫正方法
US11356611B2 (en) * 2019-07-01 2022-06-07 Canon Kabushiki Kaisha Image capture apparatus and control method thereof
KR102803131B1 (ko) 2020-04-02 2025-05-07 삼성전자주식회사 영상 투사 장치 및 영상 투사 장치의 제어 방법
CN112689135B (zh) * 2021-03-19 2021-07-02 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质及电子设备
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
CN115719439B (zh) * 2022-11-24 2025-07-22 浙江大学 一种自动驾驶仿真数据生成方法
CN116708734B (zh) * 2023-08-02 2023-11-24 深圳市科迈信息技术有限公司 一种基于投影机输出图像的校准设备及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220081A (ja) * 1994-01-31 1995-08-18 Tec Corp 画像認識装置の図形の切出し方法
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2008109337A (ja) * 2006-10-25 2008-05-08 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3722146B1 (ja) * 2004-06-16 2005-11-30 セイコーエプソン株式会社 プロジェクタおよび画像補正方法
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
JP5401940B2 (ja) * 2008-11-17 2014-01-29 セイコーエプソン株式会社 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
JP5493340B2 (ja) 2008-11-26 2014-05-14 セイコーエプソン株式会社 投写型表示装置および配置関係検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220081A (ja) * 1994-01-31 1995-08-18 Tec Corp 画像認識装置の図形の切出し方法
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2008109337A (ja) * 2006-10-25 2008-05-08 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068858A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN104580966A (zh) * 2013-10-22 2015-04-29 光宝科技股份有限公司 投影装置以及其投影图像处理方法
WO2017084391A1 (zh) * 2015-11-19 2017-05-26 广景视睿科技（深圳）有限公司 一种投影仪图像荧光处理的方法及系统
JPWO2017169725A1 (ja) * 2016-03-28 2019-02-07 ソニー株式会社 画像処理装置および方法
JP7001966B2 (ja) 2016-03-28 2022-01-20 ソニーグループ株式会社 画像処理装置および方法
WO2017169186A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 画像投影システムおよび補正方法
US10578955B2 (en) 2016-03-31 2020-03-03 Sony Corporation Image projection system and correction method that corrects a shape of a projection plane
WO2022127558A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 投影校正方法、投影校正装置及电子设备
CN114640833A (zh) * 2022-03-11 2022-06-17 峰米(重庆)创新科技有限公司 投影画面调整方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JPWO2013038656A1 (ja) 2015-03-23
JP6176114B2 (ja) 2017-08-09
US9344695B2 (en) 2016-05-17
US20140340529A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
JP6176114B2 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
CN102170545B (zh) 校正信息计算装置、图像处理装置、显示系统及校正方法
CN110099267B (zh) 梯形校正系统、方法以及投影仪
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN107003109B (zh) 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN110809786A (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5388921B2 (ja) ３次元距離計測装置及びその方法
CN105026997A (zh) 投影系统、半导体集成电路及图像修正方法
JP2001320652A (ja) プロジェクタ装置
US10252417B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6582683B2 (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
Wang et al. Geometric and photometric correction of projected rectangular pictures
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP3914938B2 (ja) プロジェクタの台形歪み補正装置と該台形歪み補正装置を備えたプロジェクタ
JP4548228B2 (ja) 画像データ作成方法
JP2023546037A (ja) 画像記録装置
JP5967470B2 (ja) 検査装置
JP7139953B2 (ja) 三次元形状測定装置、三次元形状測定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12831455

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013533499

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14344806

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12831455

Country of ref document: EP

Kind code of ref document: A1