[go: up one dir, main page]

WO2011148595A1 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents

画像処理装置、画像処理方法および画像処理用プログラム Download PDF

Info

Publication number
WO2011148595A1
WO2011148595A1 PCT/JP2011/002765 JP2011002765W WO2011148595A1 WO 2011148595 A1 WO2011148595 A1 WO 2011148595A1 JP 2011002765 W JP2011002765 W JP 2011002765W WO 2011148595 A1 WO2011148595 A1 WO 2011148595A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference point
image
conversion target
candidate
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/002765
Other languages
English (en)
French (fr)
Inventor
中野学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012517123A priority Critical patent/JP5825256B2/ja
Priority to US13/699,216 priority patent/US9053522B2/en
Publication of WO2011148595A1 publication Critical patent/WO2011148595A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program, and in particular, an image processing device for generating an image for performing three-dimensional display of a target object from a plurality of conversion target images including the target object,
  • the present invention relates to an image processing method and an image processing program.
  • Patent Documents 1 to 3 describe an example of a method for capturing an image in which the object of interest is located at the center of the image.
  • the object of interest is photographed from various angles using a plurality of cameras and a supporting portion that supports them.
  • the imaging device described in Patent Document 2 captures an object of interest from various angles using a plurality of cameras and a turntable connected to a computer.
  • the object of interest is photographed from various angles with a camera that is not fixed, and the center of the object of interest in the image is detected from the camera posture information detected by the posture detector.
  • a two-dimensional geometric transformation matrix for aligning the positions is calculated, and image transformation is performed.
  • Patent Documents 1 to 3 in order to position the target object at the center of the image, in addition to a single camera, a plurality of cameras and target objects whose installation locations are fixed are used. There existed a subject that many apparatuses, such as a turntable to install and an acceleration sensor, were required.
  • the support unit requires a plurality of devices such as a plurality of pan heads for fixing the camera, a support frame for supporting the pan head, a support arm, and a support column.
  • the photographer must arrange a plurality of cameras on the same straight line, in the same arc shape, on the same plane, or in the same shape, and preparation for taking a picture is very complicated.
  • the operation of the turntable is controlled by a computer.
  • the cameras are installed at equal intervals on the arcuate imaging device installation base. Since the photographer can shoot only by placing the object of interest on the turntable, knowledge of the camera and work is not required, but as in Patent Document 1, many devices other than the camera are required.
  • Patent Document 3 does not require a plurality of cameras or an installation base for fixing the cameras. Therefore, the photographer only needs to photograph with the camera.
  • a device other than a camera such as an attitude detection device such as an acceleration sensor or a magnetic sensor is required.
  • the present invention provides an image processing apparatus capable of generating an image for three-dimensional display from an image photographed by a single camera without using other devices such as a turntable on which an object of interest is installed and an acceleration sensor.
  • An object of the present invention is to provide an image processing method and an image processing program.
  • An image processing apparatus is an image processing apparatus that generates an image for performing three-dimensional display of a target object from a plurality of conversion target images including the target object, and is an image display that displays at least one conversion target image.
  • information on the first reference point candidate which is a candidate for the first reference point serving as a reference for the input of geometric transformation, and the information on the first reference point candidate are displayed on the conversion target image.
  • a first reference point reception determination means for receiving a determination signal for the first reference point candidate and determining a first reference point based on information on the first reference point candidate that is a target of the received determination signal; Receiving a second reference point information serving as a reference for the output of the first reference point, a second reference point reception determining means for determining the second reference point, a first reference point determined by the first reference point reception determining means, and a second reference point By reference point acceptance decision means Based on the second reference point which is a constant, the image to be transformed by geometric transformation, is characterized in that a geometric transformation means for outputting the converted image.
  • An image processing method is an image processing method for generating a three-dimensional image by performing geometric transformation on each of conversion target images, which are a plurality of images including a target object, via an image display means. At least one image to be converted is displayed, and in response to a user operation, information on a first reference point candidate that is a first reference point candidate serving as a reference for input of geometric transformation is received, and the received first reference point candidate The first reference point candidate is displayed on the conversion target image based on the information, and a determination signal for the first reference point candidate displayed on the conversion target image is received in accordance with a user operation, and is the target of the received determination signal.
  • the first reference point is determined based on the information on the first reference point candidate, the second reference point is received as the reference for the output of the geometric transformation, the second reference point is determined, and each of the conversion target images is determined. Determined It was based on the first reference point and the second reference point, the conversion target image geometric transformation, and outputting the converted image.
  • An image processing program is an image processing program for generating a three-dimensional image by performing geometric transformation on each of conversion target images that are a plurality of images including an object of interest. Processing for displaying at least one image to be converted via the display means, and information on a first reference point candidate that is input in response to a user operation and that is a candidate for a first reference point serving as a reference for geometric transformation input. The process of displaying the first reference point candidate on the conversion target image, the determination received when the determination signal for the first reference point candidate displayed on the conversion target image input according to the user operation is received.
  • the second reference point is received when the information on the second reference point, which is the reference for the output of geometric transformation, is determined. Process of determining a point, and a first reference point on the basis of the second reference point, and wherein the conversion target image thereby execute a process of geometric transformation.
  • an image for three-dimensional display can be generated from an image captured by a single camera without using other devices such as a turntable on which an object of interest is installed, an acceleration sensor, and the like.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus shown in FIG. 1 includes a first reference point accepting unit 11, an image display unit 12, a second reference point accepting unit 13, a geometric transformation method determining unit 14, and a geometric transformation unit 15.
  • the first reference point accepting unit 11 accepts, as an input from the user, a first reference point candidate as a first reference point candidate for each of a plurality of images including the target object (hereinafter referred to as a conversion target image). .
  • the first reference point receiving means 11 receives a determination signal for the received first reference point candidate and determines the first reference point.
  • the first reference point is a reference point on the input side among points serving as input and output references for geometric transformation. That is, the first reference point is a reference point represented by position information (image coordinates) in the coordinate system of the conversion target image.
  • the first reference point is set for each conversion target image.
  • the reference point may be, for example, two or more points that constitute the rotation axis of the camera in a three-dimensional image (for example, a 360-degree rotated image of the object of interest) that is desired to be represented by the converted image.
  • the rotation axis of the camera is not the rotation axis of the camera at the time of actual shooting, but the axis that the user wants to use as the center of camera movement in the target three-dimensional image.
  • the number of points necessary as reference points can be set according to the geometric transformation method, but is 2 or more in any method.
  • the second reference point is a reference point on the output side, and is a point to which the first reference point is converted. That is, the second reference point is a reference point represented by position information in the coordinate system of the converted image.
  • Each point of the first reference point and each point of the second reference point have a correspondence relationship that they are image coordinates on which the same three-dimensional coordinates are projected. In generating a three-dimensional image, it is more desirable to use the same three-dimensional coordinate as a reference point between the conversion target images, such as two or more points constituting the rotation axis of the camera.
  • the first reference point accepting unit 11 inputs information (position information and the like) of the first reference point candidate in response to a user operation performed on each conversion target image displayed on the image display unit 12. May accept the first reference point candidate.
  • the first reference point receiving unit 11 may display the received first reference point candidate on the conversion target image via the image display unit 12.
  • the first reference point is moved on the conversion target image based on the information.
  • the information input of the first reference point candidate is performed, for example, through pointing with a mouse or the like, a keyboard, or the like.
  • the first reference point receiving means 11 sends a first reference point determination signal (information for instructing to determine a first reference point candidate as a target of the first reference point determination signal as the first reference point).
  • the first reference point candidate at that time may be determined as the first reference point.
  • the first reference point receiving means 11 determines at least two points as the first reference point.
  • the two points set as initial values of the first reference point candidates in advance may be displayed in the drawing area of the operation screen, and the position of the two points may be moved to the user.
  • the first reference point receiving unit 11 When the first reference point is determined, the first reference point receiving unit 11 outputs the determined first reference point to the geometric transformation method determining unit 14.
  • the image display means 12 displays an image.
  • the image display unit 12 displays the conversion target image or displays an image in which the first reference point is superimposed on the conversion target image. Further, the image display unit 12 may display the second reference point or display the converted image within the frame of the converted image that is the image after conversion. For example, the image display unit 12 may display image information of an operation screen including these displays.
  • the second reference point receiving unit 13 receives the second reference point that is the conversion destination of the first reference point, and outputs the second reference point to the geometric conversion method determining unit 14. For example, when the first reference point is a plurality of image coordinates indicating the positions of the points (two or more) constituting the rotation axis of the camera in the conversion target image, the second reference point is set in the converted image. What is necessary is just to set it as the some image coordinate which shows the position which wants to project each point which comprises a rotating shaft. Similarly to the first reference point, the second reference point receiving means 13 may cause the user to set (input) the second reference point each time. The second reference point may be set in advance. Each point of the second reference point is set in association with each point of the first reference point.
  • the reading of the setting information corresponds to the input of the second reference point. It is also possible to set the second reference point as a value common to all converted images. For example, the position (image coordinates) of the rotation axis of the camera may be set so that the object of interest is positioned approximately at the center in each converted image.
  • the geometric transformation method determining means 14 applies to each image to be converted based on the first reference point output from the first reference point receiving means 11 and the second reference point output from the second reference point receiving means 13. Determine the geometric transformation method. More specifically, the geometric transformation method determination means 14 determines a parameter of a transformation formula (coordinate transformation formula) for geometric transformation to be applied to the transformation target image.
  • the geometric transformation technique determination means 14 is used in the transformation technique based on a necessary number of first reference points and second reference points set for each conversion target image, for example, according to a preset transformation technique. A parameter of a predetermined conversion formula (coordinate conversion formula) may be determined.
  • the geometric transformation method determination unit 14 outputs the determined parameter or information on the coordinate conversion formula including the determined parameter to the geometric transformation unit 15 as information indicating the geometric transformation method.
  • the geometric transformation means 15 performs geometric transformation on each transformation target image based on the geometric transformation technique determined by the geometric transformation technique decision means 14 and outputs a converted image.
  • the geometric conversion unit 15 obtains a converted image by converting pixel information of the conversion target image using, for example, a coordinate conversion formula input as information indicating a geometric conversion method. This conversion process includes a process of interpolating the converted image coordinates to compensate for pixel loss.
  • the geometric conversion unit 15 may be configured to include the function of the geometric conversion method determination unit 14. That is, the geometric transformation method determining unit 14 may be mounted on the geometric transformation unit 15.
  • the first reference point receiving means 11 and the second reference point receiving means 13 are realized by, for example, an information input device such as a mouse, a keyboard, and a touch panel, and a CPU that operates according to a program.
  • the image display means 12 is implement
  • the geometric transformation method determination unit 14 and the geometric transformation unit 15 are realized by, for example, hardware designed to perform specific arithmetic processing or the like, or a CPU that operates according to a program.
  • FIG. 2 is a flowchart showing an example of the operation of the image processing apparatus according to the present embodiment.
  • the image display means 12 displays a conversion target image (step S11).
  • the conversion target image is displayed in order to receive the input of the first reference point candidate.
  • the image display unit 12 draws a drawing area (with one conversion target image selected from the input conversion target image group as a background).
  • an operation screen including a point, a mark, and an input area such as a line connecting them according to the mouse operation is displayed.
  • the image display unit 12 may sequentially switch the conversion target images to be displayed, or may arbitrarily switch in accordance with a user operation.
  • the first reference point accepting means 11 inputs a first reference point candidate for the conversion target image being displayed in response to a user operation (step S12).
  • the first reference point receiving means 11 inputs information on the first reference point candidate for one conversion target image.
  • the first reference point receiving unit 11 displays a message for prompting the input of the first reference point candidate on the operation screen displaying the conversion target image, or the initial of the first reference point candidate on the conversion target image. After displaying the two points set as values and displaying a message prompting the user to adjust the points, the user is prompted to input the first reference point candidate.
  • the image display means 12 displays the first reference point candidate on the conversion target image based on the input information (step S13). That is, the image display unit 12 displays a composite image of the conversion target image and the first reference point candidate. In the process of step S13, the image display means 12 may use a user interface such that the first reference point candidate is drawn based on information input in the drawing area of the operation screen.
  • the first reference point receiving means 11 determines the first reference point according to the user operation (step S14). For example, when receiving a first reference point determination signal input in response to a user operation, the first reference point receiving unit 11 determines the first reference point candidate displayed at that time as the first reference point. Alternatively, the first reference point accepting unit 11 may determine that the first reference point candidate that is in a selected state at that time is the first reference point candidate. For example, when more first reference point candidates are displayed than the number of essential reference points, the first reference point receiving unit 11 determines the first reference point in a state where some of them are selected. An interface for inputting a signal may be provided.
  • the first reference point determination signal may be input by the user pressing a determination button.
  • the user may confirm the position of the first reference point candidate displayed in step S13 and press the determination button when determining that the reference point condition is satisfied. Note that the user may adjust, delete, add, etc., if necessary.
  • the first reference point receiving means 11 receives the first reference point determination signal, the first reference point candidate that is the target of the first reference point determination signal (for example, the first reference point candidate being displayed or selected) It is assumed that the number of first reference point candidates in the state is less than the number of essential reference points. In this case, the first reference point accepting unit 11 may notify the user to that effect and redo the selection operation, or may input information on a new first reference point candidate.
  • the first reference point receiving unit 11 determines a first reference point including two or more points for each of the conversion target images in accordance with such a user operation. It is assumed that identification information for associating with the second reference point is given to each point set as the first reference point.
  • the identification information may be any information that can hold the relationship between one point having the first reference point and one point having the second reference point corresponding thereto.
  • the identification information may be, for example, an array subscript.
  • the second reference point receiving means 13 inputs the second reference point (step S15).
  • the second reference point accepting unit 13 may input the second reference point by, for example, reading preset second reference point information from the storage unit or the like.
  • the second reference point may be input by receiving information on the second reference point from the user.
  • the second reference point receiving unit 13 may input, for example, information on the second reference point common to all the conversion target images.
  • the geometric conversion method determination means 14 determines each conversion target from the first reference point and the second reference point.
  • a geometric transformation method to be applied to the image is determined (step S16).
  • the geometric transformation method determination means 14 determines the transformation formula by determining parameters of the transformation formula of the geometric transformation to be applied to each transformation target image based on, for example, the number of reference points and the positions (image coordinates) in those images. Generate.
  • the geometric conversion means 15 performs geometric conversion on each conversion target image using the conversion method (conversion formula) determined in step S16. Then, the geometric conversion means 15 outputs the image generated as a result as a converted image (step S17).
  • conversion formula conversion formula
  • FIG. 3 is an explanatory diagram showing an outline of geometric transformation performed on the transformation target image in the present embodiment.
  • ⁇ image 1,..., Image m,..., Image n the first reference point is an example of a line segment that is a rotation axis of the camera in a three-dimensional space, and image coordinates of two points that constitute a line segment that is perpendicular to the ground and passes through the center of gravity of the object of interest Coordinates). Two points are the upper end and the lower end of the object of interest.
  • the ⁇ mark and the X mark written on the upper conversion target image are the first reference points set for the conversion target image (the ⁇ mark is the upper end, ⁇ Represents the lower end).
  • the symbol ⁇ is the first point (first reference point) of the first reference point
  • the symbol X is the second point (lower reference point) of the first reference point.
  • the ⁇ mark and the x mark written in the lower converted images 1, m, n indicate the second reference point that is the conversion destination of the first reference point set for the conversion target images 1, m, n. Represents.
  • the first reference point is represented as “P1”
  • the second reference point is represented as “P2”
  • B reference point index.
  • each index is shown as a value starting from 1.
  • P1 [1] [1] represents image coordinates that are information of the first point (upper reference point) of the first reference points in the first conversion target image (image 1)
  • P1 [1 ] [2] represents image coordinates which are information of the second point (lower end reference point) of the first reference points in the image 1.
  • P2 [n] [1] is an image coordinate that is information on the first point (upper reference point) of the second reference point in the converted image n generated from the nth conversion target image (image n).
  • P2 [n] [2] represents image coordinates that are information on the second point (lower end reference point) of the second reference point in the converted image n generated from the image n.
  • the second reference point is common to all images.
  • the image display unit 12 displays an image including the target object input as the conversion target image via an image display device such as a monitor or a projector included in the image display unit 12.
  • the image display unit 12 displays an operation screen including the conversion target image and an input interface such as a toolbar or a cursor.
  • the user inputs the first reference point candidate using a mouse, a keyboard, or the like while viewing the conversion target image displayed on the image display unit 12.
  • the information of the first reference point candidate (the image coordinates of the mark ⁇ and the mark X) is input by pointing the position of two points constituting the line segment perpendicular to the ground and passing through the center of gravity of the object of interest. .
  • the first reference point receiving means 11 receives, for example, information on the first reference point candidate (the image coordinates of the mark ⁇ and the mark X) as an input from the user for the currently displayed image 1.
  • the image display means 12 displays the input first reference point candidate so as to overlap the conversion target image so that the user can confirm the position of the first reference point candidate in the conversion target image.
  • the first reference point Input a point determination signal. If the user is not satisfied with the positional relationship, the user can switch the validity / invalidity of the first reference point candidate or adjust the position by operating an input interface such as a toolbar or a cursor using a mouse or a keyboard. That's fine.
  • the first reference point receiving means 11 sets these first reference point candidates as the first reference points and outputs them to the geometric transformation method determining means 14.
  • the second reference point receiving means 13 receives the second reference point that is the conversion destination of the first reference point.
  • the user inputs the second reference point candidate using a mouse or a keyboard, and if satisfied, the input of the second reference point determination signal is accepted as the second reference point.
  • the user matches the horizontal coordinates of the first reference point and the second reference point.
  • the image coordinates of the first point (upper reference point) are (0.5w, 0.9h), and the image coordinates of the second point (lower reference point) are (0.5w, 0.1h).
  • the above setting may be determined in advance, and the information on the second reference point may be read from storage means such as an external recording medium.
  • the second reference point receiving unit 13 When receiving the second reference point, the second reference point receiving unit 13 outputs the second reference point to the geometric transformation method determining unit 14.
  • the geometric transformation method determining means 14 determines the geometric transformation method from the first reference point and the second reference point, and outputs it to the geometric transformation means 15.
  • similarity transformation is used.
  • the similarity transformation is given by the following equation (1).
  • the similarity conversion parameters (a, b, c, d) to be obtained are vectors that minimize Equation (2), and the fifth component of the eigenvector corresponding to the absolute minimum eigenvalue of the 4 ⁇ 5 matrix on the right side of Equation (2) Can be calculated by scaling to.
  • the geometric transformation means 15 performs geometric transformation on the transformation target image to be processed using the similarity transformation parameters (a, b, c, d) obtained in this way, and outputs the transformation image.
  • the geometric conversion means 15 performs interpolation to compensate for pixel loss.
  • Interpolation methods include a nearest neighbor method that uses the pixel value of the observation point closest to the interpolation point as the pixel value of the interpolation point, and linear interpolation of the pixel values of the four observation points around the interpolation point.
  • Various methods such as a bilinear method, which is a method of setting the pixel value of the interpolation point, can be used.
  • the geometric transformation means 15 outputs the image subjected to the similarity transformation as a transformed image.
  • the reason is that for each of a plurality of images including the target object, the user can specify a plurality of image coordinates constituting the rotation axis of the camera, and geometric conversion is performed so that the specified image coordinates coincide with each other. This is because the size and inclination of the object of interest in each of the images are aligned. Further, this is because the first reference point for determining the geometric transformation method is obtained from a plurality of images including the target object. That is, by calculating the geometric transformation parameter using only the image information, no equipment other than the camera is required at the time of shooting.
  • first reference point receiving means 11 and the second reference point receiving means 12 may each receive two or more image coordinates and output them to the geometric transformation method determining means 14. Then, it is possible to cope with this by changing the calculation method of the geometric transformation method determination means 14 according to the selected number of geometric transformation parameters and the transformation formula.
  • the required number of corresponding points is at least 3 points.
  • the first reference point receiving unit 11 and the second reference point receiving unit 12 may receive three or more image coordinates and output them to the geometric transformation method determining unit 14.
  • the geometric transformation method determination means 14 obtains the transformation parameters (a, b, c, d, e, f) from the following formula (3) based on the output information of the first reference point and the second reference point. Good.
  • the required number of corresponding points is at least 4 points.
  • the first reference point receiving unit 11 and the second reference point receiving unit 12 may each receive four or more image coordinates and output them to the geometric transformation method determining unit 14.
  • the geometric transformation method determining means 14 may obtain the transformation parameters (a1 to a8) from the following equation (4) based on the output information on the first reference point and the second reference point.
  • FIG. 4 is a block diagram illustrating a configuration example of the image processing apparatus according to the present embodiment.
  • the image processing apparatus shown in FIG. 4 is different from the first embodiment shown in FIG. 1 in that it further includes a camera position / posture estimation unit 21 and a first reference point candidate projection unit 22.
  • the user is allowed to input a plurality of three-dimensional coordinates constituting a candidate for the rotation axis of the camera in the image including the target object (conversion target image) as the first reference point candidate.
  • the camera position / orientation estimation means 21 estimates the position and orientation of the camera that captured the conversion target image for each of the conversion target images, and outputs the estimated position and orientation to the first reference point candidate projection means 22.
  • various methods such as a method using a predetermined marker and a method using a correspondence between a known three-dimensional coordinate and an image coordinate where the coordinate is observed can be used.
  • the first reference point candidate projecting means 22 converts the first reference point candidate (or the line segment connecting them) into the conversion based on the input first reference point candidate information and the camera position and orientation of the conversion target image.
  • the projection is performed on the target image, and the result is output to the image display means 12 as a projected first reference point candidate.
  • the projected first reference point candidate can also be said to be the first reference point candidate represented by the coordinate information in the conversion target image.
  • the projection first reference point candidate in another conversion target image generated by the first reference point candidate projection unit 22 based on the information Is determined as the first reference point in the other conversion target image.
  • the projection first reference point candidate is temporarily displayed to allow the user to make a pass / fail decision or individually It is also possible to adjust.
  • the operation of adjusting individually is the same as the operation of the first embodiment. Whether or not the adjustment to the projected first reference hand candidate to be reflected is reflected in another conversion target image is determined by switching the operation screen such as allowing the user to specify the adjustment or shifting to an individual adjustment page. it can.
  • the first reference point candidate projection unit 22 appropriately outputs information on the first reference point in each determined conversion target image to the geometric conversion method determination unit 14.
  • the first reference point candidate projecting means 22 outputs information on the projection first reference point candidates of each conversion target image to the first reference point accepting means 11, and the first reference point accepting means 11 based on the information.
  • the first reference point in each conversion target image may be output.
  • the image display means 12 displays an image in which the projection first reference point candidates are superimposed on the conversion target image.
  • the camera position / orientation estimation means 21 and the first reference point candidate projection means 22 are realized by, for example, hardware designed to perform specific arithmetic processing or the like, or a CPU that operates according to a program.
  • FIG. 5 is a flowchart showing an example of the operation of the image processing apparatus according to the present embodiment.
  • the camera position / orientation estimation means 21 estimates the camera position / orientation of the conversion target image (step S21).
  • the camera position and orientation estimation means 21 estimates the position and orientation of the camera for each input conversion target image.
  • the camera position / orientation estimation means 21 estimates, for example, the three-dimensional coordinates (X, Y, Z) in the world coordinate system as the camera position from the captured image information, and uses the world coordinate system as the camera attitude.
  • a 3 ⁇ 3 matrix representing the rotation with respect to may be estimated.
  • the first reference point accepting means 11 inputs a plurality of three-dimensional coordinates constituting the rotation axis candidate of the camera in the conversion target image as information on the first reference point candidate for at least one image (step S21). ).
  • the first reference point receiving means 11 displays, for example, an operation screen including input fields for information input of first reference point candidates corresponding to the number of corresponding points required in the geometric transformation formula to be used, and displays the first reference point to the user.
  • Candidate information may be input.
  • the first reference point receiving means 11 may obtain the value by reading a preset initial value. Then, the input information on the first reference point candidate is output to the first reference point candidate projection means 22.
  • the first reference point candidate projecting unit 22 projects the input first reference point candidate on the image based on the camera position and orientation (step S23).
  • the image display means 12 displays the projected first reference point candidate and the image in an overlapping manner (step S24).
  • the image display unit 12 displays an operation screen for adjusting the position or the like of the projected first reference point candidate on the conversion target image.
  • the image display means 12 may display an operation screen including a rotation axis (line segment) projected on the image by connecting a plurality of projected first reference point candidates.
  • the user confirms the position of the projected first reference point candidate displayed in step S23 in the conversion target image, and inputs the first reference point determination signal if satisfied.
  • the user moves the position of the projection first reference point candidate so that the length, inclination, and position of the line segment connecting the plurality of projection first reference point candidates are appropriate as the rotation axis of the camera. Make adjustments.
  • information on the first reference point candidate is changed.
  • the user may directly change the value (three-dimensional coordinates) input as information on the first reference point candidate.
  • the first reference point determination signal is input to the first reference point receiving unit 11 and the first reference point candidate projecting unit 22.
  • the first reference point receiving means 11 or the first reference point candidate projecting means 22 determines the projected first reference point candidate as the first reference point (step S25).
  • the first reference point accepting means 11 or the first reference point candidate projecting means 22 is, for example, the projected first reference point candidate (currently displayed as a projected first reference point candidate as a target of the first reference point determination signal) ( More specifically, the projected first reference point candidate constituting the displayed line segment may be determined as the first reference point.
  • the first reference point when the first reference point is determined from the projected first reference point candidates for one conversion target image, the three-dimensional coordinates that are the projection sources of the projected first reference point candidates are determined. Therefore, based on the three-dimensional coordinates and the camera position and orientation of each image, the first reference point can be calculated for other conversion target images.
  • the second reference point receiving means 13 inputs the second reference point (step S26).
  • the geometric transformation method determination means 14 determines a geometric transformation method from the first reference point and the second reference point (step S27).
  • the geometric transformation means 15 performs geometric transformation on the image and outputs a transformed image (step S28).
  • the operations in steps S26 to S28 may be the same as those in steps S15 to S17 in the first embodiment.
  • steps S21 to S28 may be repeated for the number of conversion target images.
  • steps S22 to S24 if any of the images in the conversion target image group has already been processed, the processing for the other conversion target images can be omitted. This is because the first reference point in the conversion target image can be obtained in step S25 without requiring the user to input the first reference point candidate again. More specifically, once the first reference point is determined for a certain conversion target image, the first reference point for each image is uniquely determined based on the camera position and orientation for each image.
  • the camera position / orientation estimation means 21 estimates the camera position / orientation of each image to be converted, which is taken from the image.
  • the camera position / orientation estimation means 21 estimates the camera position t and orientation R from the appearance of the marker registered in advance, for example, by printing on paper or the like.
  • the camera position / orientation estimation means 21 estimates the camera position t and orientation R from a plurality of combinations of corresponding points of known three-dimensional coordinates and image coordinates where the coordinates are observed, for example.
  • As the camera position t for example, three-dimensional coordinates (X, Y, Z) in the world coordinate system are obtained.
  • the camera position / orientation estimation means 21 obtains, for example, a 3 ⁇ 3 matrix representing the rotation with respect to the world coordinate system as the attitude R of the camera.
  • the posture R of the camera is expressed by the following expression (5) according to the expression by roll, pitch, and yaw.
  • the expression by the quaternion it is expressed as the following expression (6).
  • ⁇ rotation around the Z axis (roll)
  • ⁇ rotation around the new Y axis (pitch)
  • ⁇ rotation around the new X axis (yaw).
  • the first reference point accepting means 11 accepts the first reference point candidate as an input from the user and outputs it to the first reference point candidate projecting means 22.
  • the user inputs the first reference point candidate using a mouse or a keyboard while viewing the image displayed on the image display unit 12.
  • the user for example, uses the three-dimensional coordinates (0, 0, 0) as the initial value of the first point (upper reference point) of the first reference point candidate and 3 as the initial value of the second point (lower reference point). Dimensional coordinates (0, 1, 0) may be input.
  • the first reference point candidate projecting means 22 receives the input first reference point candidate based on the input three-dimensional coordinate value of the first reference point candidate and the estimated value of the camera position and orientation for the conversion target image. Is projected onto the conversion target image. Note that the initial value of the first reference point candidate is not a value input by the user but may be a preset value.
  • the projected first reference point candidate is represented by the following equation (where t is the camera position, R is the posture, X 1 is the first three-dimensional coordinate of the first reference point candidate, and X 2 is the second three-dimensional coordinate). 7).
  • K is an internal parameter of the camera. K may be determined in advance using, for example, a method of estimating internal parameters of the camera using projective transformation (for example, the method of Zhang et al.). Further, K may be obtained at the same time as shooting using a method (for example, a method of Pollefeys et al.) That estimates an internal parameter of the camera from three or more images.
  • the camera position / posture estimation means 21 outputs the camera internal parameters to the first reference point candidate projection means 22 in addition to the camera position / posture.
  • the user compares the displayed projected first reference point candidate with the object of interest, and sets the length, inclination, and position of the line segment connecting the projected first reference point candidates as the rotation axis of the camera.
  • One reference point candidate is adjusted, and if satisfied, a first reference point determination signal is input.
  • the first reference point receiving means 11 does not operate even when a first reference point determination signal is input.
  • the first reference point candidate projection means 22 determines the projected first reference point candidate currently displayed as the first reference point in the conversion target image, and determines the geometric conversion method. Output to means 14. Further, the first reference point candidate projecting means 22 for the other conversion target images, based on the information of the first reference point candidate of the projection source at this time and the camera position and orientation for each image, the first reference point for each image. Find a point. The subsequent operations are the same as those in the first embodiment.
  • the user it is not necessary for the user to input information on the first reference point candidate for each image or to determine it as the first reference point. The reason is that once the first reference point is determined, the first reference point for each image is uniquely determined based on the camera position and orientation for each image.
  • FIG. 6 is a block diagram illustrating a configuration example of the image processing apparatus according to the third embodiment.
  • the image processing apparatus shown in FIG. 6 is different from the first embodiment shown in FIG. 1 in that an image feature point detection unit 31 is further provided.
  • the first reference point candidate is a plurality of image coordinates that constitute a candidate for the rotation axis of the camera in each of a plurality of images (conversion target images) including the object of interest.
  • conversion target images images
  • the first reference point for each image is determined using that.
  • the image feature point detection means 31 detects an image feature point for each of the conversion target images. Further, the image feature point detection unit 31 performs matching between the conversion target images with respect to the detected image feature points, and the image features observed as the image coordinates on which the same three-dimensional coordinates are projected on a plurality of images. Detect points. Further, the image feature point detection unit 31 causes the image display unit 12 to display the detected image feature point. For the detection of the image feature point, for example, a Harris corner detection method for determining whether or not the corner is based on the surrounding gradient of the pixel value may be used to detect the portion determined as the corner as the image feature point.
  • the image feature point detection means 31 detects the image feature points using various methods such as an image feature point detection method robust to illumination fluctuation, rotation, and enlargement / reduction and a feature description method SIFT.
  • Various methods such as a method using a normalized cross-correlation of pixel values and a KLT method can be used for matching with image feature points.
  • a method using normalized cross-correlation is a method in which a correlation value is calculated and compared for an image obtained by subtracting an average pixel value and dividing by a standard deviation within a search range.
  • the KLT method is a method of searching for corresponding points on the assumption that the luminance gradient in a minute time is unchanged.
  • the image display means 12 displays an image in which image feature points are superimposed on the conversion target image.
  • the image display unit 12 displays an image in which the first reference point candidate selected from the image feature points is superimposed on the conversion target image.
  • the image feature point detection means 31 is realized by, for example, hardware designed to perform specific arithmetic processing or the like, or a CPU that operates according to a program.
  • FIG. 7 is a flowchart showing an example of the operation of the image processing apparatus according to the present embodiment.
  • the image feature point detection unit 31 detects, for each conversion target image, image feature points that are common to a plurality of images including the conversion target image (step S31).
  • the image display means 12 displays the image and the image feature point detected from the image in an overlapping manner for each image (step S32).
  • the user compares a certain image displayed by the image display unit 12 with the image feature point of the image, and determines a point to be a first reference point candidate from the displayed image feature point in the image.
  • An operation of selecting two or more is performed (step S33).
  • the first reference point accepting unit 11 obtains information on the image feature point selected as the first reference point candidate in response to a user operation.
  • the image display unit 12 displays the first reference point candidates in the image in an overlapping manner for each image in accordance with the user's selection operation (step S34).
  • the image display means 12 may display the first reference point candidate for each image. In other words, if the selected image feature point is an image feature point common to a plurality of images, the first reference point accepting unit 11 automatically automatically sets other images having the image feature point as first reference point candidates. select.
  • the user may input a first reference point determination signal and determine it as the first reference point (step S35).
  • the method for determining the first reference point using the first reference point determination signal is the same as in the first embodiment. For example, when the first reference point accepting unit 11 accepts a first reference point determination signal input in response to a user operation, the first reference point determination signal 11 is displayed. The image feature point displayed as the reference point candidate) is determined as the first reference point.
  • the first reference point accepting unit 11 may repeat the processes of steps S32 to S35 for the undetermined image.
  • the second reference point receiving means 13 inputs the second reference point (step S36).
  • the geometric transformation method determination means 14 determines a geometric transformation method from the first reference point and the second reference point (step S37).
  • the geometric transformation means 15 performs geometric transformation on the image and outputs a transformed image (step S38).
  • the operations in steps S36 to S38 may be the same as those in steps S15 to S17 in the first embodiment.
  • the image feature point detection means 31 detects and matches image feature points in each of the conversion target images, and detects image feature points that can be matched between a plurality of images.
  • the image feature point detection unit 31 detects, for example, image feature points that are common to images in a certain section in a group of images taken continuously. .
  • image feature points common to all images are n points per image, the number of images is N, and n ⁇ N image feature points are detected.
  • the user selects two arbitrary points from the n points while comparing the displayed image feature points with the image, and inputs a first reference point determination signal if satisfied. These two points are matched in all images. Therefore, if two points of an image are selected, the first reference point (2 ⁇ N points) of all images can be automatically determined.
  • the first reference point reception unit 11 When the first reference point determination signal is input, the first reference point reception unit 11 outputs the determined 2 ⁇ N first reference points to the geometric transformation method determination unit 14 for each corresponding image processing.
  • the subsequent operations are the same as those in the first embodiment.
  • the first reference point candidate may be automatically determined in the range where the common image feature point is detected.
  • the image feature point detection unit 31 may perform the matching until the image feature point is interrupted with respect to the entire screen. Then, when image feature point matching is interrupted, the image feature point detecting means 31 repeatedly performs the image feature point matching operation from the image until it is interrupted next, and the image feature point is detected together with the detection of the common image feature point. May be detected as well as intervals between the intervals (intermittent portions). Then, the first reference point receiving unit 11 calculates a geometric transformation parameter for a section in which the feature points are continuous, using the first reference point candidate selected by the user from the common image feature points.
  • the geometric transformation parameter may be calculated by automatically selecting a point close to the first reference point candidate selected for the continuous section. According to the latter method, if the user selects once, the first reference point can be automatically determined for all other images to be converted.
  • the present embodiment it is not necessary to determine the first reference point for each image. Further, it is not necessary to estimate the camera position and orientation. The reason is that an image feature point common to a plurality of images is detected and the first reference point is determined using the detected image feature point.
  • FIG. 8 is a block diagram when the image processing apparatus according to the present invention is mounted in an information processing system.
  • the information processing system shown in FIG. 8 is a general information processing system including a processor 400, a program memory 401, and a storage medium 402.
  • the storage medium 402 may be a storage area composed of separate storage media, or may be a storage area composed of the same storage medium.
  • a RAM or a magnetic storage medium such as a hard disk can be used.
  • the program memory 401 causes the processor 400 to perform the processing of each part of the first reference point receiving means 11, the second reference point receiving means 13, the geometric transformation method determining means 14, and the geometric transformation means 15 described above. Are stored, and the processor 400 operates in accordance with this program.
  • the processor 400 may be a processor that operates according to a program such as a CPU, for example.
  • the present invention can be realized by a computer program. It should be noted that all of the means that can be operated by the program (for example, the first reference point receiving means 11, the second reference point receiving means 13, the geometric transformation method determining means 14, the geometric transformation means 15) need to be operated by the program. Alternatively, a part may be configured by hardware. Moreover, you may implement
  • FIG. 9 is a block diagram showing an outline of the present invention.
  • the image processing apparatus shown in FIG. 9 includes an image display unit 501, a first reference point reception determination unit 502, a second reference point reception determination unit 503, and a geometric conversion unit 504.
  • the image display unit 501 displays at least one conversion target image.
  • the image display unit 501 is illustrated as the image display unit 12, for example.
  • the first reference point reception determination unit 502 is based on information on a first reference point candidate that is a candidate for a first reference point that is a reference for input of geometric transformation and information on the first reference point candidate in response to a user operation.
  • the determination signal for the first reference point candidate displayed on the conversion target image is received, and the first reference point is determined based on the information of the first reference point candidate that is the target of the received determination signal.
  • the first reference point reception determination unit 502 receives, for example, information on a first reference point candidate that is a candidate for a first reference point that is a reference for input of geometric transformation in response to a user operation.
  • the first reference point candidate is displayed on the conversion target image based on the candidate information, and then a determination signal for the first reference point candidate displayed on the conversion target image is received and received according to the user operation.
  • the first reference point may be determined based on information on the first reference point candidate that is the signal target.
  • the 1st reference point reception determination means 502 is shown as the 1st reference point reception means 11 in the said embodiment, for example.
  • the first reference point reception determination unit 502 is, for example, a camera position / posture estimation unit 21, a first reference point candidate projection unit 22, and an image feature point detection unit, which are other units necessary for determining the first reference point. 31 may be included, or a control unit that controls them may be included.
  • the second reference point reception determination means 503 receives information on the second reference point that is a reference for the output of the geometric transformation, and determines the second reference point.
  • the second reference point reception determination unit 503 is illustrated as the second reference point reception unit 13, for example.
  • the geometric conversion unit 504 geometrically converts the conversion target image. Convert and output the converted image.
  • the geometric transformation unit 504 is illustrated as, for example, the geometric transformation method determination unit 14 and the geometric transformation unit 15.
  • An image processing apparatus that generates an image for performing three-dimensional display of a target object from a plurality of conversion target images including the target object, an image display unit that displays at least one conversion target image, and a user Depending on the operation, information on the first reference point candidate, which is a candidate for the first reference point, which is a reference for input of geometric transformation, and the first reference displayed on the conversion target image based on the information on the first reference point candidate
  • a first reference point reception determination means for receiving a determination signal for the point candidate and determining a first reference point based on information of the first reference point candidate that is a target of the received determination signal; and a reference for output of geometric transformation 2nd reference point reception determination means for receiving the second reference point information to determine the second reference point, the first reference point determined by the first reference point reception determination means, and the second reference point reception determination Second criteria determined by means Based on the bets, the image processing apparatus and a geometric transformation means for geometric transformation, and outputs the converted image converted image.
  • the first reference point reception determination means for each conversion target image, the first reference point displayed on the conversion target image based on the information on the first reference point candidate and the information on the first reference point candidate
  • the camera position and orientation estimation means for estimating the camera position and orientation at the time of shooting, and the camera position and orientation estimated by the camera position and orientation estimation means are expressed in three-dimensional coordinates.
  • a first reference point candidate projecting unit that projects one reference point candidate onto each conversion target image and generates a projected first reference point candidate in each conversion target image; And receiving a decision signal for the first reference point candidate projected on the at least one conversion target image based on the information on the first reference point candidate expressed by
  • Each of the projection first reference point candidates in each conversion target image generated based on the information of the first reference point candidate that is the projection source of the projection first reference point candidate that is the target of the determination signal.
  • the image processing apparatus according to any one of Appendices 3 Appendixes 1 to determine a first reference point in the converted image.
  • Image feature inspection is performed for detecting image feature points for each conversion target image, comparing the detected image feature points between the conversion target images, and detecting image feature points common to the plurality of conversion target images.
  • a first reference point reception determination unit that includes information indicating that the image feature point displayed on the conversion target image is designated as the first reference point candidate, and the first reference point that is the designated image feature point.
  • a determination signal for the point candidate is received, and when the determination signal is received, the designated image feature point that is the first reference point candidate of the determination signal is determined as the first reference point in the conversion target image;
  • the image feature point of each conversion target image that is the same as the image feature point is used as the first reference point in each conversion target image based on the correspondence between the image feature points that are the targets of the determination signal.
  • the second reference point acceptance determination means accepts a plurality of image coordinates constituting the rotation axis of the camera in the converted image as information of the second reference point, and the first reference point acceptance determination means
  • the image processing apparatus according to any one of supplementary notes 1 to 6, which receives a plurality of image coordinates or three-dimensional coordinates constituting a rotation axis of a camera in a conversion target image as point candidate information.
  • the first reference point candidate is displayed on the first reference point candidate, receives a determination signal for the first reference point candidate displayed on the conversion target image in response to a user operation, and is the target of the received determination signal
  • the first reference point is determined on the basis of the above information, information on the second reference point serving as a reference for the output of the geometric transformation is received, the second reference point is determined, and the determined first reference point is determined for each of the conversion target images.
  • Reference point and second reference Based on the bets, the converted image to geometric conversion, image processing method and outputs the converted image
  • the first reference point candidate displayed on the conversion target image input in response to a user operation and a process for displaying the first reference point candidate is received
  • the first selected as the target of the received determination signal A process for determining the first reference point based on the reference point candidate information, a process for determining the second reference point when information on the second reference point serving as a reference for the output of the geometric transformation is received, and the first reference point Point and based on the second reference point, the image processing program causing the image to be transformed to execute the process of geometric transformation.
  • the image feature points of each conversion target image are detected by the computer, and the detected image feature points are compared between the conversion target images to detect image feature points common to the plurality of conversion target images.
  • Processing, processing for displaying image feature points detected on at least one conversion target image, and information for designating image feature points displayed on the conversion target image as first reference point candidates When a process for displaying an image feature point designated as a first reference point candidate on at least one conversion target image based on information and a determination signal for the first reference point candidate that is the designated image feature point are received
  • the designated image feature point which is the first reference point candidate that is the target of the determination signal, is determined as the first reference point in the conversion target image, and On the basis of the correspondence between the image feature points determined as images, a process of determining the image feature point of each conversion target image that is the same as the image feature point as the first reference point in each conversion target image is executed.
  • the image processing program according to attachment 13 The image processing program according to attachment 13.
  • the present invention can be suitably applied to an application for generating an image for three-dimensional display of an object of interest.
  • Geometric transformation means 1st reference point reception means 12 Image display means 13 2nd reference point reception means 14 Geometric transformation method determination means 15 Geometric transformation means 21 Camera position and orientation estimation means 22 First reference point candidate projection means 31 Image feature point detection means 400 Processor 401 Program memory 402 Recording medium 501 Image display means 502 First reference point reception determination means 503 Second reference point reception determination means 504 Geometric transformation means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　少なくとも注目物体を含む複数の変換対象画像の１つを表示する画像表示手段と、ユーザ操作に応じて、第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段とを備える。

Description

画像処理装置、画像処理方法および画像処理用プログラム
　本発明は、画像処理装置、画像処理方法および画像処理用プログラムに関し、特に、注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成するための画像処理装置、画像処理方法および画像処理用プログラムに関する。
　様々な角度から撮影した注目物体の画像をユーザ操作により連続的に切り替えることで、３次元表示を行う表現方法がある。ユーザに見やすい３次元映像を提供するためには、注目物体が画像の中心に位置していることが望ましい。
　注目物体が画像の中心に位置する画像を撮影する方法の一例が特許文献１～３に記載されている。特許文献１に記載されている撮影方法では、複数のカメラとそれらを支える支持部を用いて注目物体が様々な角度から撮影されている。
　また、特許文献２に記載されている撮影装置は、複数のカメラと計算機に接続された回転台とを用いて注目物体を様々な角度から撮影する。
　また、特許文献３に記載されている画像入力方法では、固定されていないカメラで注目物体が様々な角度から撮影され、姿勢検出部により検出されたカメラの姿勢情報から画像中の注目物体の中心位置を揃えるための２次元幾何変換行列が算出され、画像変換が施される。
特開２００４－２６４４９２号公報 特開２００７－７２５３７号公報 特開２００５－４９９９９号公報
　しかし、特許文献１～３に記載されている方法および装置では、注目物体を画像の中心に位置させるために、単一のカメラ以外にも、設置場所が固定された複数のカメラや注目物体を設置する回転台、加速度センサ等の多数の装置が必要であるという課題があった。
　例えば、特許文献１に記載されている撮影方法では、支持部はカメラを固定する複数の雲台と、雲台を支える支持フレームと支持アームおよび支柱などの多数の装置が必要である。また、撮影者は複数のカメラを同一直線上、同一円弧状、同一平面上、同一形状のいずれかに配置しなければならず、撮影にいたるまでの準備が非常に複雑である。
　また、特許文献２に記載されている撮影装置では、回転台は計算機により動作を制御される。またカメラは、円弧状の撮像装置設置台に等間隔に設置されている。撮影者は注目物体を回転台に載せるだけで撮影できるため、カメラや工作の知識は必要ないが、特許文献１と同様にカメラ以外にも多数の装置が必要である。
　また、特許文献３に記載されている画像入力方法では、複数のカメラやカメラを固定するための設置台は不要である。従って、撮影者はカメラで撮影するだけでよい。しかし、特許文献１や特許文献２と同様に、加速度センサや磁気センサといった姿勢検出装置等のカメラ以外の装置が必要である。
　そこで、本発明は、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで撮影した画像から３次元表示用の画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。
　本発明による画像処理装置は、注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、少なくとも１つの変換対象画像を表示する画像表示手段と、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段とを備えたことを特徴とする。
　また、本発明による画像処理方法は、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、画像表示手段を介して少なくとも１つの変換対象画像を表示し、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、ユーザ操作に応じて、変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定し、幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力することを特徴とする。
　また、本発明による画像処理用プログラムは、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、コンピュータに、画像表示手段を介して少なくとも１つの変換対象画像を表示する処理、ユーザ操作に応じて入力される、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付けて、変換対象画像上に第１基準点候補を表示する処理、ユーザ操作に応じて入力される、変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、受け付けた決定信号の対象とされた第１基準点候補の情報に基づき、第１基準点を決定する処理、幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換する処理を実行させることを特徴とする。
　本発明によれば、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで撮影した画像から３次元表示用の画像を生成することができる。
第１の実施形態の構成例を示すブロック図である。 第１の実施形態の動作の一例を示すフローチャートである。 第１の実施形態の変換処理の概要を示す説明図である。 第２の実施形態の構成例を示すブロック図である。 第２の実施形態の動作の一例を示すフローチャートである。 第３の実施形態の構成例を示すブロック図である。 第３の実施形態の動作の一例を示すフローチャートである。 本発明を情報処理システムに適用した場合のブロック図である。 本発明の概要を示すブロック図である。
実施形態１．
　以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の画像処理装置の構成例を示すブロック図である。図１に示す画像処理装置は、第１基準点受付手段１１と、画像表示手段１２と、第２基準点受付手段１３と、幾何変換手法決定手段１４と、幾何変換手段１５とを備える。
　第１基準点受付手段１１は、ユーザからの入力として、注目物体を含む複数の画像（以下、変換対象画像という。）のそれぞれについて、第１基準点の候補とする第１基準点候補を受け付ける。また、第１基準点受付手段１１は、受け付けた第１基準点候補に対する決定信号を受け付けて、第１基準点を決定する。
　第１基準点は、幾何変換の入力と出力の基準となる点のうち、入力側の基準点である。すなわち、第１基準点は、変換対象画像の座標系における位置情報（画像座標）によって表される基準点である。なお、第１基準点は、変換対象画像それぞれに対して設定される。基準点は、例えば、変換画像により表現したい３次元画像（例えば、注目物体の３６０度回転画像など）においてカメラの回転軸を構成する２以上の点であってもよい。なお、カメラの回転軸は、実際に撮影した際のカメラの回転軸ではなく、目的とする３次元画像においてユーザがカメラの移動の中心としたい軸である。また、基準点として必要な点の数（対応点数）は、幾何変換の方式に応じて設定可能であるが、いずれの方式においても２以上である。第２基準点は、出力側の基準点をいい、第１基準点の変換先となる点である。すなわち、第２基準点は、変換画像の座標系における位置情報によって表される基準点である。第１基準点の各点と第２基準点の各点とは、同一の３次元座標が投影された画像座標であるという対応関係をもつ。また、３次元画像の生成において、カメラの回転軸を構成する２以上の点のように、各変換対象画像間で同一の３次元座標を基準点とすることがより望ましい。
　第１基準点受付手段１１は、例えば、画像表示手段１２に表示される各変換対象画像に対して行われるユーザ操作に応じて、第１基準点候補の情報（位置情報等）を入力することによって、第１基準点候補を受け付けてもよい。第１基準点受付手段１１は、受け付けた第１基準点候補を画像表示手段１２を介して変換対象画像上に表示させればよい。なお、第１基準点候補の情報が変更された場合にはその情報を基に変換対象画像上で第１基準点を移動させる。第１基準点候補の情報入力は、例えば、マウス等によるポインティングやキーボード等を介して行われる。最終的に、第１基準点受付手段１１が第１基準点決定信号（当該第１基準点決定信号の対象とする第１基準点候補を第１基準点に決定する旨を指示する情報）を受け付けることによって、そのときの第１基準点候補を第１基準点として決定すればよい。なお、第１基準点受付手段１１は、第１基準点として少なくとも２点を決定する。
　なお、操作画面の描画領域に予め第１基準点候補の初期値として設定しておいた２点を表示した上で、その２点の位置をユーザに移動させてもよい。
　第１基準点受付手段１１は、第１基準点を決定すると、決定した第１基準点を幾何変換手法決定手段１４に出力する。
　画像表示手段１２は、画像を表示する。本実施形態では、画像表示手段１２は、変換対象画像を表示したり、変換対象画像に第１基準点を重ねた画像を表示する。また、画像表示手段１２は、変換後の画像である変換画像の枠内に第２基準点を表示したり、変換画像を表示してもよい。画像表示手段１２は、例えば、これらの表示を含む操作画面の画像情報を表示すればよい。
　第２基準点受付手段１３は、第１基準点の変換先である第２基準点を受け付け、幾何変換手法決定手段１４に出力する。例えば、第１基準点が変換対象画像においてカメラの回転軸を構成する点（２以上）の位置を示す複数の画像座標である場合には、第２基準点を、その変換画像においてそのカメラの回転軸を構成する各点を投影したい位置を示す複数の画像座標とすればよい。第２基準点受付手段１３は、第１基準点と同様に、ユーザにその都度第２基準点を設定（入力）させてもよい。第２基準点は、予め設定されておいてもよい。第２基準点の各点は第１基準点の各点と対応づけて設定される。なお、第２基準点が予め設定される場合には、その設定情報の読み出しが、第２基準点の入力に相当する。また、第２基準点を、全変換画像共通の値として設定することも可能である。例えば、各変換画像において注目物体がほぼ中央に位置するようにカメラの回転軸の位置（画像座標）を設定してもよい。
　幾何変換手法決定手段１４は、第１基準点受付手段１１から出力される第１基準点と、第２基準点受付手段１３から出力される第２基準点とに基づき、各変換対象画像に施す幾何変換手法を決定する。より具体的には、幾何変換手法決定手段１４は、変換対象画像に施す幾何変換の変換式（座標変換式）のパラメータを決定する。幾何変換手法決定手段１４は、例えば、予め設定された変換手法に従って、各変換対象画像に対して設定された必要な数の第１基準点および第２基準点を基に、該変換手法において使用される所定の変換式（座標変換式）のパラメータを決定してもよい。幾何変換手法決定手段１４は、決定したパラメータまたは決定したパラメータを含む座標変換式の情報を、幾何変換手法を示す情報として幾何変換手段１５に出力する。
　幾何変換手段１５は、幾何変換手法決定手段１４によって決定された幾何変換手法に基づき各変換対象画像に幾何変換を施し、変換画像を出力する。幾何変換手段１５は、例えば、幾何変換手法を示す情報として入力される座標変換式を用いて、変換対象画像の画素情報を変換することにより変換画像を得る。この変換処理には、変換後の画像座標に対して内挿を行い画素の欠損を補償する処理を含む。なお、幾何変換手段１５が、幾何変換手法決定手段１４の機能を含んで構成されてもよい。すなわち、幾何変換手法決定手段１４は、幾何変換手段１５に実装されていてもよい。
　第１基準点受付手段１１、第２基準点受付手段１３は、例えば、マウスやキーボード、タッチパネルなどの情報入力装置と、プログラムによって動作するＣＰＵとによって実現される。また、画像表示手段１２は、例えば、モニタやプロジェクタなどの画像表示装置と、プログラムに従って動作するＣＰＵによって実現される。また、幾何変換手法決定手段１４、幾何変換手段１５は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。
　次に、本実施形態の動作を図２を参照して説明する。図２は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図２に示す例では、まず、画像表示手段１２が、変換対象画像を表示する（ステップＳ１１）。ここでは、第１基準点候補の入力を受け付けるために変換対象画像を表示する。例えば、注目物体を含む複数の画像が変換対象画像として入力されると、画像表示手段１２は、入力された変換対象画像群の中から選択された１つの変換対象画像を背景とする描画領域（例えばマウス操作に応じて点や印、それらを結ぶ線などの入力が可能な領域）を含む操作画面を表示する。画像表示手段１２は、表示する変換対象画像を順次切り替えてもよいし、ユーザ操作に応じて任意に切り替えてもよい。
　次いで、第１基準点受付手段１１は、ユーザ操作に応じて、表示中の変換対象画像に対する第１基準点候補を入力する（ステップＳ１２）。ここでは、第１基準点受付手段１１は、１つの変換対象画像につき第１基準点候補の情報を入力する。第１基準点受付手段１１は、例えば、変換対象画像を表示している操作画面上に第１基準点候補の入力を促すメッセージを表示したり、変換対象画像上に第１基準点候補の初期値として設定されている２点を表示した上で、それらの点の調節を促すメッセージを表示するなどして、ユーザに第１基準点候補を入力させる。
　また、第１基準点候補の情報が入力されると、画像表示手段１２は、入力された情報に基づき第１基準点候補を変換対象画像に重ねて表示する（ステップＳ１３）。すなわち、画像表示手段１２は、変換対象画像と第１基準点候補との合成画像を表示する。ステップＳ１３の処理において、画像表示手段１２は、操作画面の描画領域において入力された情報に基づき第１基準点候補が描画されるようなユーザ・インタフェースを用いてもよい。
　次いで、第１基準点受付手段１１は、ユーザ操作に応じて第１基準点を決定する（ステップＳ１４）。第１基準点受付手段１１は、例えば、ユーザ操作に応じて入力される第１基準点決定信号を受け付けた場合に、その時表示している第１基準点候補を第１基準点に決定する。または、第１基準点受付手段１１は、その時選択状態である第１基準点候補が第１基準点候補を第１基準点に決定してもよい。第１基準点受付手段１１は、例えば、必須とする基準点の数より多く第１基準点候補が表示されている場合には、ユーザがそのうちのいくつかを選択した状態で第１基準点決定信号を入力するようなインタフェースを備えていてもよい。
　第１基準点決定信号は、ユーザが決定ボタンを押下することによって入力されるようにしてもよい。ユーザは、ステップＳ１３において表示された第１基準点候補の位置等を確認し、基準点の条件を満たしていると判断した場合に決定ボタンを押下すればよい。なお、ユーザは、必要であれば位置の調節や削除、追加等を行ってもよい。例えば、第１基準点受付手段１１が第１基準点決定信号を受け付けた時に、第１基準点決定信号の対象とされた第１基準点候補（例えば、表示中の第１基準点候補や選択状態にある第１基準点候補）の数が、必須とする基準点の数に満たなかったとする。この場合、第１基準点受付手段１１は、その旨をユーザに通知して選択操作をやり直させたり、新たな第１基準点候補の情報を入力させてもよい。第１基準点受付手段１１は、このようなユーザ操作に応じて、変換対象画像それぞれに対して２以上の点からなる第１基準点を決定する。なお、第１基準点とされた各点には、第２基準点との対応づけのための識別情報が付与されるものとする。識別情報は、第１基準点のある１点とそれに対応する第２基準点のある１点との関係が保持できるものであればよい。識別情報は、例えば、配列の添字であってもよい。
　次いで、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ１５）。第２基準点受付手段１３は、例えば予め設定されている第２基準点の情報を記憶手段等から読み出すことによって第２基準点を入力してもよい。また、第１基準点受付手段１１と同様に、ユーザから第２基準点の情報を受け付けることにより第２基準点を入力してもよい。また、第２基準点を全変換対象画像に共通とする場合には、第２基準点受付手段１３は、例えば、全変換対象画像に共通の第２基準点の情報を入力すればよい。
　各変換対象画像に対して必要な対応点数分の第１基準点と第２基準点とが決まると、幾何変換手法決定手段１４は、それら第１基準点および第２基準点から、各変換対象画像に対して施す幾何変換手法を決定する（ステップＳ１６）。幾何変換手法決定手段１４は、例えば、基準点の数やそれらの画像における位置（画像座標）に基づいて、各変換対象画像に施す幾何変換の変換式のパラメータを決定することにより、変換式を生成する。
　最後に、幾何変換手段１５は、ステップＳ１６で決定した変換手法（変換式）を用いて各変換対象画像に幾何変換を施す。そして、幾何変換手段１５は、その結果生成される画像を変換画像として出力する（ステップＳ１７）。なお、上記説明では、各ステップで複数ある変換対象画像全てに対して処理を行う例を示したが、当該フローチャートを１つの変換対象画像に対する一連の処理として実行することも可能である。そのような場合には、変換対象画像の数分上記ステップ（ステップＳ１１～Ｓ１７）を繰り返せばよい。
　以下、具体的な例を用いて本実施形態を説明する。図３は、本実施形態において変換対象画像に施す幾何変換の概要を示す説明図である。図３に示す例では、｛画像１，・・・，画像ｍ，・・・，画像ｎ，・・・｝が変換対象画像として入力されている。また、第１基準点を、３次元空間においてカメラの回転軸となる線分の一例として、地面に垂直で注目物体の重心を通る線分を構成する２点の画像座標（当該変換対象画像軸における座標）としている。なお、２点は注目物体の上端と下端である。
　図３において、上段の変換対象画像（画像１、ｍ、ｎ）上に記された◇印と×印は、その変換対象画像に対して設定された第１基準点（◇印が上端、×印が下端）を表している。なお、◇印の方を第１基準点の第１の点（上端基準点）とし、×印を第１基準点の第２の点（下端基準点）とする。また、下段の変換画像１，ｍ、ｎに記された◇印と×印は、変換対象画像１，ｍ，ｎに対して設定された第１基準点の変換先である第２基準点を表している。
　なお、図３では、第１基準点を”Ｐ１”、第２基準点を”Ｐ２”と表し、つづく［Ａ］［Ｂ］の添字で、Ａ＝画像のインデックスとＢ＝基準点のインデックスを表している。本例では、各インデックスがともに１から始まる値として示している。例えば、Ｐ１［１］［１］は、第１の変換対象画像（画像１）における第１基準点のうちの第１の点（上端基準点）の情報である画像座標を表し、Ｐ１［１］［２］は、画像１における第１基準点のうちの第２の点（下端基準点）の情報である画像座標を表している。また、例えばＰ２［ｎ］［１］は、第ｎの変換対象画像（画像ｎ）から生成される変換画像ｎにおける第２基準点の第１の点（上端基準点）の情報である画像座標を表し、Ｐ２［ｎ］［２］は、画像ｎから生成される変換画像ｎにおける第２基準点の第２の点（下端基準点）の情報である画像座標を表している。なお、本例では第２基準点は全画像で共通としている。
　本例では、まず画像表示手段１２が、当該画像表示手段１２が有するモニタやプロジェクタなどの画像表示装置を介して、変換対象画像として入力された注目物体を含む画像を表示する。このとき、画像表示手段１２は、変換対象画像と、ツールバー、カーソル等の入力用インタフェースとを含む操作画面を表示する。ユーザは、画像表示手段１２に表示された変換対象画像を見ながら、マウスやキーボードなどを用いて第１基準点候補を入力する。ここでは、地面に垂直で注目物体の重心を通る線分を構成する２点の位置をクリック操作で指し示すことにより、第１基準点候補の情報（◇印と×印の画像座標）を入力する。
　第１基準点受付手段１１は、例えば、現在表示中の画像１に対する第１基準点候補の情報（◇印と×印の画像座標）をユーザから入力として受け付ける。このとき、画像表示手段１２は、入力された第１基準点候補を変換対象画像に重ねて表示するなどして、ユーザがその変換対象画像における第１基準点候補の位置を確認できるようにする。ユーザは、表示された変換対象画像に対する第１基準点候補の位置等を確認し、現在表示されている第１基準点候補を第１基準点としてもよいと判断した場合には、第１基準点決定信号を入力する。なお、ユーザは、位置関係が満足できなければ、マウスやキーボードなどを用いてツールバー、カーソル等の入力用インタフェースを操作して、第１基準点候補の有効／無効を切り替えたり、位置を調節すればよい。
　第１基準点決定信号が入力されると、第１基準点受付手段１１は、それら第１基準点候補を第１基準点とし、幾何変換手法決定手段１４に出力する。
　次に、第２基準点受付手段１３は、第１基準点の変換先である第２基準点を受け付ける。本例では、ユーザがマウスやキーボードなどを用いて第２基準点候補を入力し、満足すれば第２基準点決定信号を入力したものを第２基準点として受け付ける。例えば、変換対象画像中に注目物体が傾いて写っている場合、これを画面に対して垂直に幾何変換を施すには、ユーザは、第１基準点と第２基準点の水平座標を一致させるように入力すればよい。変換画像の幅をｗ画素、高さをｈ画素とした場合、幾何変換後の注目物体が横方向の中央に位置し、縦方向の８割の長さであるようには、第２基準点の第１の点（上端基準点）の画像座標を（０．５ｗ，０．９ｈ）とし、第２の点（下端基準点）の画像座標を（０．５ｗ，０．１ｈ）とする。または、上記の設定を事前に決めておき、このような第２基準点の情報を外部記録媒体等の記憶手段から読み込んでもよい。第２基準点受付手段１３は、第２基準点を受け付けると、幾何変換手法決定手段１４に出力する。
　次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定し、幾何変換手段１５に出力する。本例では第１基準点、第２基準点でそれぞれ２点が選択されているため、相似変換を利用する。相似変換は以下の式（１）で与えられる。
ｕｉ’＝ａｕｉ－ｂｖｉ＋ｃ
ｖｉ’＝ｂｕｉ＋ａｖｉ＋ｃ　・・・式（１）
　ここで、（ｕｉ，ｖｉ）は、処理対象とした変換対象画像における第１基準点のうちの第１または第２の点の画像座標を表す。また、（ｕｉ’，ｖｉ’）は、処理対象とした変換対象画像から生成される変換画像における第２基準点のうちの第１または第２の点の画像座標を表している。また、（ａ，ｂ，ｃ，ｄ）は、相似変換パラメータである。添字のｉは、ｉ＝１で第１の点（上端基準点）を表し、ｉ＝２で第２の点（下端基準点）を表している。式（１）を変形すると以下の式（２）を得る。
Figure JPOXMLDOC01-appb-M000001
　求める相似変換パラメータ（ａ，ｂ，ｃ，ｄ）は、式（２）を最小化するベクトルであり、式（２）右辺の４×５行列の絶対値最小固有値に対応する固有ベクトルの第５成分を１にスケーリングすることで算出できる。
　幾何変換手段１５は、このようにして得られた相似変換パラメータ（ａ，ｂ，ｃ，ｄ）を用いて、処理対象とした変換対象画像に幾何変換を施し、変換画像を出力する。ここでは、得られた相似変換パラメータを式（１）に代入し、画像の全画素に対して実行することで相似変換が施された画像を得ることができる。ここで、変換後の画像座標は一般に整数値にならないため、幾何変換手段１５は、内挿を行い画素の欠損を補償する。内挿の手法には、内挿点に最も近い観測点の画素値を内挿点の画素値とする方法である最近隣法や、内挿点周囲の観測点４点の画素値の線形補間を内挿点の画素値とする方法であるバイリニア法など様々な手法が利用可能である。幾何変換手段１５は、相似変換が施された画像を変換画像として出力する。
　以上のように、本実施形態によれば、簡単なユーザ操作を行うだけで、回転台やカメラ位置姿勢情報を検出する加速度センサなどの機材がなくても単一のカメラで３次元画像を生成することができる。
　その理由は、注目物体を含む複数の画像のそれぞれについて、カメラの回転軸を構成する複数の画像座標をユーザに指定させ、指定された画像座標が一致するように幾何変換を施すことにより、複数の画像のそれぞれにおける注目物体の大きさと傾きが揃うためである。また、幾何変換手法を決定する第１基準点を、注目物体を含む複数の画像から求めるためである。すなわち、画像情報のみを利用して幾何変換パラメータを算出することによって、撮影時にカメラ以外の機材を不要としたためである。
　なお、上記説明では、具体的な例として相似変換を行う例を示したが、相似変換以外にもアフィン変換、射影変換など任意の幾何変換が選択可能である。その場合、第１基準点受付手段１１と第２基準点受付手段１２とがそれぞれ２点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。そして、選択した幾何変換のパラメータ数と変換式により、幾何変換手法決定手段１４の計算方法を変更することで対応することが可能である。
　例えば、アフィン変換を選択する場合、必要な対応点数（基準点の数）は最低３点である。第１基準点受付手段１１と第２基準点受付手段１２とは、それぞれ３点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。幾何変換手法決定手段１４は、出力される第１基準点および第２基準点の情報に基づき、以下の式（３）から変換パラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）を求めればよい。
ｕｉ’＝ａｕｉ＋ｂｖｉ＋ｃ
ｖｉ’＝ｄｕｉ＋ｅｖｉ＋ｆ　・・・式（３）
　また、例えば、射影変換を選択する場合、必要な対応点数は最低４点である。第１基準点受付手段１１と第２基準点受付手段１２とは、それぞれ４点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。幾何変換手法決定手段１４は、出力される第１基準点および第２基準点の情報に基づき、以下の式（４）から変換パラメータ（ａ１～ａ８）を求めればよい。
ｕｉ’＝（ａ１＊ｕｉ＋ａ２＊ｖｉ＋ａ３）／（ａ７＊ｕｉ＋ａ８＊ｖｉ＋１）
ｖｉ’＝（ａ４＊ｕｉ＋ａ５＊ｖｉ＋ａ６）／（ａ７＊ｕｉ＋ａ８＊ｖｉ＋１）
　・・・式（４）
実施形態２．
　次に、本発明の第２の実施形態を図面を参照して説明する。図４は、本実施形態の画像処理装置の構成例を示すブロック図である。図４に示す画像処理装置は、図１に示す第１の実施形態と比べて、さらにカメラ位置姿勢推定手段２１と第１基準点候補射影手段２２とを備える点が異なる。
　本実施形態では、第１基準点候補として、注目物体を含む画像（変換対象画像）におけるカメラの回転軸の候補を構成する複数の３次元座標をユーザに入力させる。
　カメラ位置姿勢推定手段２１は、変換対象画像のそれぞれについて、当該変換対象画像を撮影したカメラの位置および姿勢を推定し、第１基準点候補射影手段２２に出力する。カメラの位置および姿勢を推定するために、既定のマーカを用いる手法や既知の３次元座標とそれが観測された画像座標の対応を用いる手法など、様々な手法を利用可能である。
　第１基準点候補射影手段２２は、入力された第１基準点候補の情報と変換対象画像のカメラ位置姿勢とに基づいて、第１基準点候補（またはそれらを結んだ線分）を当該変換対象画像へ射影し、その結果を射影第１基準点候補として画像表示手段１２に出力する。なお、射影第１基準点候補は、当該変換対象画像における座標情報で表された第１基準点候補ともいえる。
　本実施形態では、１つの変換対象画像について第１基準点が決定されると、その情報を基に、第１基準点候補射影手段２２が生成した他の変換対象画像における射影第１基準点候補を、当該他の変換対象画像における第１基準点として決定する。
　なお、他の変換対象画像について、算出した射影第１基準点候補を第１基準点として出力するのではなく、一旦射影第１基準点候補を表示させてユーザに良否の判定をさせたり、個別に調節させることも可能である。個別に調節する動作は、第１の実施形態の動作と同様である。なお、表示した射影第１基準手候補に対する調節を他の変換対象画像に反映させるか否かは、その旨をユーザに指定させたり、個別調節用のページに移行するなど操作画面の切り替えによって判定できる。第１基準点候補射影手段２２は、決定した各変換対象画像における第１基準点の情報を、適宜幾何変換手法決定手段１４に出力する。
　なお、第１基準点候補射影手段２２が各変換対象画像の射影第１基準点候補の情報を第１基準点受付手段１１に出力し、第１基準点受付手段１１がその情報を元に、各変換対象画像における第１基準点を出力するようにしてもよい。
　また、本実施形態では、画像表示手段１２は、変換対象画像に射影第１基準点候補を重ねた画像を表示する。
　カメラ位置姿勢推定手段２１および第１基準点候補射影手段２２は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。
　次に、本実施の形態の動作を図５を参照して説明する。図５は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図５に示す例では、まず、カメラ位置姿勢推定手段２１が、変換対象画像のカメラ位置姿勢を推定する（ステップＳ２１）。ここでは、カメラ位置姿勢推定手段２１は、入力された各変換対象画像についてカメラの位置姿勢を推定する。カメラ位置姿勢推定手段２１は、例えば、撮影された画像情報から、カメラの位置として、ワールド座標系における３次元座標（Ｘ，Ｙ，Ｚ）を推定し、かつ、カメラの姿勢として、ワールド座標系に対する回転を表す３×３行列を推定してもよい。
　次に、第１基準点受付手段１１は、少なくとも１つの画像に対する第１基準点候補の情報として、変換対象画像においてカメラの回転軸の候補を構成する複数の３次元座標を入力する（ステップＳ２１）。第１基準点受付手段１１は、例えば、使用する幾何変換式で必要な対応点数分の第１基準点候補の情報入力用の入力フィールドを含む操作画面を表示して、ユーザに第１基準点候補の情報を入力させてもよい。また、第１基準点受付手段１１は、予め設定されている初期値を読み込むことによって、その値を得てもよい。そして、入力された第１基準点候補の情報は、第１基準点候補射影手段２２に出力される。
　第１基準点候補射影手段２２は、ある変換対象画像に対する第１基準点候補の情報が入力されると、入力された第１基準点候補をカメラ位置姿勢に基づき画像に射影する（ステップＳ２３）。次に、画像表示手段１２が、射影第１基準点候補とその画像とを重ねて表示する（ステップＳ２４）。画像表示手段１２は、例えば、変換対象画像上で射影第１基準点候補の位置等を調節するための操作画面を表示する。画像表示手段１２は、複数の射影第１基準点候補を結ぶことで画像上に射影した回転軸（線分）を生成したものを含む操作画面を表示してもよい。
　ユーザは、ステップＳ２３により表示された射影第１基準点候補の変換対象画像における位置等を確認し、満足すれば第１基準点決定信号を入力する。また、ユーザは、複数の射影第１基準点候補を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように、射影第１基準点候補の位置を移動させるなどの調節を行う。このとき、第１基準点候補の情報が変更される。なお、ユーザは、第１基準点候補の情報として入力した値（３次元座標）を直接変更してもよい。第１基準点決定信号は、第１基準点受付手段１１および第１基準点候補射影手段２２に入力される。
　第１基準点受付手段１１または第１基準点候補射影手段２２は、第１基準点決定信号を受け付けると、射影第１基準点候補を第１基準点として決定する（ステップＳ２５）。第１基準点受付手段１１または第１基準点候補射影手段２２は、例えば、当該第１基準点決定信号の対象とされた射影第基準点候補として、その時表示している射影第基準点候補（より具体的には、表示している線分を構成している射影第基準点候補）を第１基準点に決定してもよい。本実施の形態では、１つの変換対象画像について射影第１基準点候補から第１基準点を決定すると、その射影第１基準点候補の射影元となる３次元座標が決定することになる。そのため、その３次元座標と各画像のカメラ位置姿勢に基づいて、他の変換対象画像についても第１基準点を算出することができる。
　次いで、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ２６）。次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定する（ステップＳ２７）。最後に、幾何変換手段１５は、画像に幾何変換を施し、変換画像を出力する（ステップＳ２８）。なお、ステップＳ２６～Ｓ２８の動作は、第１の実施形態におけるステップＳ１５～Ｓ１７と同様でよい。
　なお、上記説明では、各ステップにおいて、複数の変換対象画像全てに対して処理を行うことが想定されているが、１つの変換対象画像ごとに各々のステップの処理を施すことも可能である。そのような場合には、変換対象画像の数分上記ステップ（ステップＳ２１～Ｓ２８）を繰り返せばよい。なお、ステップＳ２２～Ｓ２４については、変換対象画像群のうちのいずれかの画像に対して既に処理済みであれば、他の変換対象画像についての当該処理を省略することができる。ユーザに第１基準点候補を改めて入力させなくても、ステップＳ２５で当該変換対象画像における第１基準点を求めることができるからである。より具体的には、ある変換対象画像について第１基準点を一度決定すれば、画像毎のカメラ位置姿勢に基づき、画像毎の第１基準点は一意に定まるからである。
　以下、具体的な例を用いて本実施形態を説明する。まず、カメラ位置姿勢推定手段２１は、変換対象画像それぞれについて、その画像を撮影したカメラ位置姿勢を推定する。カメラ位置姿勢推定手段２１は、例えば、紙などに印刷するなどして事前に登録したマーカの画像上の見えからカメラの位置ｔおよび姿勢Ｒを推定する。また、カメラ位置姿勢推定手段２１は、例えば、既知の３次元座標とそれが観測された画像座標との対応点の複数の組み合わせからカメラの位置ｔおよび姿勢Ｒを推定する。カメラの位置ｔとして、例えば、ワールド座標系における３次元座標（Ｘ、Ｙ、Ｚ）を求める。また、カメラ位置姿勢推定手段２１は、カメラの姿勢Ｒとして、例えば、ワールド座標系に対する回転を表す３×３行列を求める。なお、カメラの姿勢Ｒは、ロール・ピッチ・ヨーによる表現によれば、以下の式（５）のように表現される。また、４元数による表現によれば、以下の式（６）のように表現される。
Figure JPOXMLDOC01-appb-M000002
　なお、φはＺ軸回りの回転（ｒｏｌｌ）を表し、θは新しいＹ軸回りの回転（ｐｉｔｃｈ）を表し、ψは新しいＸ軸回りの回転（ｙａｗ）を表している。
Figure JPOXMLDOC01-appb-M000003
　次に、第１基準点受付手段１１は、第１基準点候補をユーザから入力として受け付け、第１基準点候補射影手段２２へ出力する。ユーザは、画像表示手段１２に表示された画像を見ながら、マウスやキーボードなどを用いて第１基準点候補を入力する。ユーザは、例えば、第１基準点候補の第１の点（上端基準点）の初期値として３次元座標（０，０，０）を、第２の点（下端基準点）の初期値として３次元座標（０，１，０）を入力してもよい。
　第１基準点候補射影手段２２は、入力された第１基準点候補の３次元座標値と、当該変換対象画像についてのカメラ位置姿勢の推定値とに基づいて、入力された第１基準点候補を当該変換対象画像に射影する。なお、第１基準点候補の初期値は、ユーザによって入力された値ではなく、予め設定しておいたものを用いてもよい。
　射影第１基準点候補は、カメラの位置をｔ、姿勢をＲ、第１基準点候補の第１の３次元座標をＸ１、第２の３次元座標をＸ２とすると、以下の式（７）で求めることができる。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｋ［ＲＴ　－ＲＴｔ］Ｘｉの左側の符合は、定数倍に等しいことを表す。なお、添字のＴは、行列の転置を表す。また、Ｋはカメラの内部パラメータである。Ｋは、例えば、射影変換を利用してカメラの内部パラメータを推定する方法（例えば、Ｚｈａｎｇらの手法）を用いて予め決定されていてもよい。また、Ｋは、３枚以上の画像からカメラの内部パラメータを推定する方法（例えば、Ｐｏｌｌｅｆｅｙｓらの手法）を用いて撮影と同時に求められてもよい。カメラの内部パラメータを推定する場合、カメラ位置姿勢推定手段２１は、カメラ位置姿勢に加え、カメラの内部パラメータを第１基準点候補射影手段２２に出力する。
　ユーザは、表示された射影第１基準点候補と注目物体とを比較し、射影第１基準点候補を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように第１基準点候補を調節し、満足すれば第１基準点決定信号を入力する。本実施形態では、第１基準点受付手段１１は、第１基準点決定信号が入力されても何も動作はしない。
　ユーザが第１基準点決定信号を入力すると、第１基準点候補射影手段２２は、現在表示中の射影第１基準点候補を当該変換対象画像における第１基準点として決定し、幾何変換手法決定手段１４に出力する。また、第１基準点候補射影手段２２は、他の変換対象画像について、このときの射影元の第１基準点候補の情報と画像毎のカメラ位置姿勢とに基づいて、画像毎の第１基準点を求める。これ以降の動作は第１の実施形態と同様である。
　以上のように、本実施の形態では、ユーザが画像毎に第１基準点候補の情報を入力したり、第１基準点として決定したりする必要がない。その理由は、第１基準点を一度決定すれば、画像毎のカメラ位置姿勢に基づき、画像毎の第１基準点は一意に定まるからである。
実施形態３．
　次に、本発明の第３の実施形態について図面を参照して説明する。図６は、第３の実施形態の画像処理装置の構成例を示すブロック図である。図６に示す画像処理装置は、図１に示す第１の実施形態と比べて、さらに画像特徴点検出手段３１を備える点が異なる。
　本実施形態では、第１基準点候補は、注目物体を含む複数の画像（変換対象画像）のそれぞれにおいて、カメラの回転軸の候補を構成する複数の画像座標とする。ただし、画像毎にそれらをユーザに入力させるのではなく、複数の画像に共通する画像特徴点がある場合にはそれを利用して画像毎の第１基準点を決定する。
　画像特徴点検出手段３１は、変換対象画像のそれぞれについて、画像特徴点を検出する。また、画像特徴点検出手段３１は、検出した画像特徴点に対して変換対象画像間でマッチングを行い、複数の画像上で同一の３次元座標が射影された画像座標として観測されている画像特徴点を検出する。また、画像特徴点検出手段３１は、検出した画像特徴点を、画像表示手段１２に表示させる。画像特徴点の検出には、例えば、画素値の周囲勾配からコーナーか否かを判別するＨａｒｒｉｓコーナー検出法を利用して、コーナーと判別した箇所を画像特徴点として検出してもよい。また、画像特徴点検出手段３１は、例えば、照明変動や回転、拡大縮小に強靱な画像特徴点の検出手法および特徴量の記述方法であるＳＩＦＴなど、様々な手法を利用して検出する。また、画像特徴点に対するマッチングとして、画素値の正規化相互相関を利用する手法やＫＬＴ法など、様々な手法を利用することができる。正規化相互相関を利用する手法は、探索範囲内において、平均画素値を引き、標準偏差で割った画像に対して相関値を計算して比較する方法である。また、ＫＬＴ法は、微小時間における輝度勾配は不変と仮定して対応点探索を行う手法である。
　本実施形態において、画像表示手段１２は、変換対象画像に画像特徴点を重ねた画像を表示する。また、画像表示手段１２は、変換対象画像に画像特徴点から選択された第１基準点候補を重ねた画像を表示する。
　画像特徴点検出手段３１は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。
　次に、本実施形態の動作を説明する。図７は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図７に示す例では、まず、画像特徴点検出手段３１は、各変換対象画像について、当該変換対象画像を含む複数の画像に共通する画像特徴点を検出する（ステップＳ３１）。
　次に、画像表示手段１２が、各画像につき、当該画像と当該画像から検出された画像特徴点とを重ねて表示する（ステップＳ３２）。ここで、ユーザは、画像表示手段１２によって表示されているある画像とその画像の画像特徴点とを見比べながら、当該画像において、表示されている画像特徴点から第１基準点候補とする点を２以上選択する操作を行う（ステップＳ３３）。第１基準点受付手段１１は、ユーザ操作に応じて、第１基準点候補として選択された画像特徴点の情報を得る。また、画像表示手段１２は、ユーザの選択操作に応じて、各画像について、当該画像における第１基準点候補を重ねて表示する（ステップＳ３４）。ここでは、ある画像に対して行われた第１基準点候補の選択結果に基づいて、その第１基準点候補とされた画像特徴点と同一の特徴点とされる画像特徴点を有する他の画像においても、その画像特徴点が第１基準点候補として選択されたものとする。画像表示手段１２は、各画像について第１基準点候補を表示させればよい。すなわち、第１基準点受付手段１１は、選択された画像特徴点が複数の画像に共通の画像特徴点であればその画像特徴点を有する他の画像についても自動的に第１基準点候補として選択する。
　ユーザは、表示される第１基準点候補が各画像において満足するものであれば、第１基準点決定信号を入力して、第１基準点として決定すればよい（ステップＳ３５）。第１基準点決定信号による第１基準点の決定方法は、第１の実施形態と同様である。例えば、第１基準点受付手段１１は、ユーザ操作に応じて入力される第１基準点決定信号を受け付けた場合に、その時表示されている第１基準候補（すなわち、選択されたことによって第１基準点候補として表示されている画像特徴点）を第１基準点に決定する。
　また、第１基準点受付手段１１は、このとき未決定の画像があれば、未決定の画像を対象にして、ステップＳ３２～Ｓ３５の処理を繰り返せばよい。
　次に、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ３６）。次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定する（ステップＳ３７）。最後に、幾何変換手段１５は、画像に幾何変換を施し、変換画像を出力する（ステップＳ３８）。なお、ステップＳ３６～Ｓ３８の動作は、第１の実施形態におけるステップＳ１５～Ｓ１７と同様でよい。
　以下、具体的な例を用いて本実施形態を説明する。まず、画像特徴点検出手段３１は、変換対象画像のそれぞれにおいて、画像特徴点の検出とマッチングを行い、複数の画像間で対応がとれる画像特徴点を検出する。ここでは、全ての画像に共通する画像特徴点が検出されることが望ましい。ただし、全ての画像に共通する画像特徴点が検出されない場合には、画像特徴点検出手段３１は、例えば、連続して撮影された画像群における一定区間の画像で共通する画像特徴点を検出する。
　ここでは、全ての画像に共通な画像特徴点を画像１枚あたりｎ点、画像数をＮ枚とし、ｎ×Ｎ点の画像特徴点が検出されたとする。ユーザは、表示される画像特徴点と画像とを見比べながらｎ点から任意の２点を選択し、満足すれば第１基準点決定信号を入力する。この２点は全画像でマッチングが取れている。そのため、ある画像の２点を選択すれば、全画像の第１基準点（２×Ｎ点）を自動で決定することができる。
　第１基準点決定信号が入力されると、第１基準点受付手段１１は、決定した２×Ｎ点の第１基準点を対応する画像の処理毎に幾何変換手法決定手段１４に出力する。これ以降の動作は第１の実施形態と同様である。
　なお、全ての画像に共通な画像特徴点が検出されなかった場合には、共通する画像特徴点が検出された範囲において、上記第１基準点候補の自動決定を行うようにしてもよい。
　また、例えば、画像特徴点検出手段３１は、共通の画像特徴点を検出する場合に、全画面に対して、画像特徴点のマッチングが途切れるまで行ってもよい。そして、画像特徴点検出手段３１は、画像特徴点のマッチングが途切れたら、その画像から次に途切れるまで再度画像特徴点のマッチングを行う動作を繰り返し行い、共通する画像特徴点の検出とともに画像特徴点が連続する区間と区間の切れ目（不連続になる部分）とを検出してもよい。そして、第１基準点受付手段１１は、特徴点が連続した区間については、共通する画像特徴点からユーザに選択させた第１基準点候補を用いて、幾何変換パラメータを算出させる。一方、区間の切れ目に対しては、ユーザに個別に第１基準点候補を選択させる手動設定としてもよい。また、連続区間に対して選択された第１基準点候補に近い点を自動で選択して、幾何変換パラメータを算出させてもよい。後者の方法によれば、ユーザに１度選択させれば、他の全ての変換対象画像について第１基準点を自動で決定することができる。
　以上のように、本実施形態では、画像毎に第１基準点を決定する必要がない。また、カメラ位置姿勢の推定も必要がない。その理由は、複数の画像に共通する画像特徴点を検出し、それを利用して第１基準点を決定するためである。
　なお、上記各実施形態は、各手段に対応したハードウェア等により実現される画像処理装置に限らず、図８に示すような情報処理システムによっても実現可能である。図８は、本発明による画像処理装置を情報処理システムに実装した場合のブロック図である。図８に示す情報処理システムは、プロセッサ４００と、プログラムメモリ４０１と、記憶媒体４０２とを備える一般的な情報処理システムである。
　記憶媒体４０２は、別個の記憶媒体からなる記憶領域であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。
　プログラムメモリ４０１には、上述した第１基準点受付手段１１と、第２基準点受付手段１３と、幾何変換手法決定手段１４と、幾何変換手段１５の各部の処理を、プロセッサ４００に行わせるためのプログラムが格納されており、このプログラムに従ってプロセッサ４００は動作する。
　プロセッサ４００は、例えば、ＣＰＵ等のプログラムに従って動作するプロセッサであればよい。
　このように、本発明は、コンピュータプログラムにより実現することも可能である。なお、プログラムによる動作が可能な手段（例えば、第１基準点受付手段１１、第２基準点受付手段１３、幾何変換手法決定手段１４、幾何変換手段１５など）の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。また、それぞれ別々のユニットとして実現されていてもよい。
　次に、本発明の概要について説明する。図９は、本発明の概要を示すブロック図である。図９に示す画像処理装置は、画像表示手段５０１と、第１基準点受付決定手段５０２と、第２基準点受付決定手段５０３と、幾何変換手段５０４とを備えている。
　画像表示手段５０１は、少なくとも１つの変換対象画像を表示する。画像表示手段５０１は、上記実施形態では、例えば、画像表示手段１２として示されている。
　第１基準点受付決定手段５０２は、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する。
　第１基準点受付決定手段５０２は、例えば、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、その上でユーザ操作に応じて、変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定してもよい。
　なお、第１基準点受付決定手段５０２は、上記実施形態では、例えば、第１基準点受付手段１１として示されている。なお、第１基準点受付決定手段５０２は、例えば、さらに第１基準点の決定に必要な他の手段であるカメラ位置姿勢推定手段２１や第１基準点候補射影手段２２、画像特徴点検出手段３１を含むものとして捉えてもよいし、またはそれらを制御する制御手段を含むものとして捉えてもよい。
　第２基準点受付決定手段５０３は、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する。第２基準点受付決定手段５０３は、上記実施形態では、例えば、第２基準点受付手段１３として示されている。
　幾何変換手段５０４は、第１基準点受付決定手段５０２によって決定された第１基準点と、第２基準点受付決定手段５０３によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する。幾何変換手段５０４は、上記実施形態では、例えば、幾何変換手法決定手段１４および幾何変換手段１５として示されている。
　また、上記実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、少なくとも１つの変換対象画像を表示する画像表示手段と、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段とを備えた画像処理装置。
　（付記２）各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段を備え、幾何変換手段は、幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する付記１に記載の画像処理装置。
　（付記３）第１基準点受付決定手段は、各変換対象画像について、第１基準点候補の情報と、第１基準点候補の情報に基づき当該変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補を当該変換対象画像における第１基準点として決定する付記１または付記２に記載の画像処理装置。
　（付記４）各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する第１基準点候補射影手段とを備え、第１基準点受付決定手段は、３次元座標で表現される第１基準点候補の情報と、第１基準点候補の情報に基づき少なくとも１つの変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する付記１から付記３のうちのいずれかに記載の画像処理装置。
　（付記５）各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出する画像特徴点検出手段を備え、第１基準点受付決定手段は、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報と、指定された画像特徴点である第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する付記１から付記４のうちのいずれかに記載の画像処理装置。
　（付記６）第２基準点受付決定手段は、全ての変換画像に共通の情報として第２基準点の情報を受け付ける付記１から付記５のうちのいずれかに記載の画像処理装置。
　（付記７）第２基準点受付決定手段は、第２基準点の情報として、変換画像においてカメラの回転軸を構成する複数の画像座標を受け付け、第１基準点受付決定手段は、第１基準点候補の情報として、変換対象画像においてカメラの回転軸を構成する複数の画像座標または３次元座標を受け付ける付記１から付記６のうちのいずれかに記載の画像処理装置。
　（付記８）幾何変換手段は、内挿を行い画素の欠損を補償する付記１から付記７のうちのいずれかに記載の画像処理装置。
　（付記９）注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、画像表示手段を介して少なくとも１つの変換対象画像を表示し、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、ユーザ操作に応じて、変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定し、幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する画像処理方法。
　（付記１０）各変換対象画像について、第１基準点候補の情報と、第１基準点候補の情報に基づき当該変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補を当該変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。
　（付記１１）各変換対象画像について、撮影時のカメラ位置姿勢を推定し、画像表示手段を介して少なくとも１つの変換対象画像を表示し、ユーザ操作に応じて、３次元座標で表現される第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報と推定されたカメラ位置姿勢とに基づいて、変換対象画像上に第１基準点候補を射影した射影第１基準点候補を表示し、変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。
　（付記１２）各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出し、画像表示手段を介して少なくとも１つの変換対象画像上に画像特徴点を表示し、ユーザ操作に応じて、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報を受け付け、受け付けた情報に基づいて少なくとも１つの変換対象画像上に第１基準点候補として指定された画像特徴点を表示し、ユーザ操作に応じて、指定された画像特徴点である第１基準点候補に対する決定信号を受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。
　（付記１３）注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、コンピュータに、画像表示手段を介して少なくとも１つの変換対象画像を表示する処理、ユーザ操作に応じて入力される、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付けて、変換対象画像上に第１基準点候補を表示する処理、ユーザ操作に応じて入力される変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、受け付けた決定信号の対象とされた第１基準点候補の情報に基づき、第１基準点を決定する処理、幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換する処理を実行させる画像処理用プログラム。
　（付記１４）コンピュータに、各変換対象画像における第１基準点候補の情報を受け付けさせ、受け付けた変換対象画像上に第１基準点候補を表示させ、ユーザ操作に応じて入力される変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、当該決定信号の対象とされた第１基準点候補を該決定信号を受け付けた変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。
　（付記１５）コンピュータに、各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理、推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する処理、ユーザ操作に応じて入力される３次元座標で表現される第１基準点候補の情報を受け付けて、少なくとも１つの変換対象画像上に第１基準点候補の情報から生成される射影第１基準点候補を表示する処理、およびユーザ操作に応じて入力される変換対象画像上に表示される射影第１基準点候補に対する決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。
　（付記１６）コンピュータに、各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出する処理、少なくとも１つの変換対象画像上に検出された画像特徴点を表示する処理、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報を受け付けて、受け付けた情報に基づいて少なくとも１つの変換対象画像上に第１基準点候補として指定された画像特徴点を表示する処理、および指定された画像特徴点である第１基準点候補に対する決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年５月２６日に出願された日本特許出願２０１０－１２１０１８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、注目物体の３次元表示用の画像を生成する用途に好適に適用可能である。
　１１　第１基準点受付手段
　１２　画像表示手段
　１３　第２基準点受付手段
　１４　幾何変換手法決定手段
　１５　幾何変換手段
　２１　カメラ位置姿勢推定手段
　２２　第１基準点候補射影手段
　３１　画像特徴点検出手段
　４００　プロセッサ
　４０１　プログラムメモリ
　４０２　記録媒体
　５０１　画像表示手段
　５０２　第１基準点受付決定手段
　５０３　第２基準点受付決定手段
　５０４　幾何変換手段

Claims (10)

  1. 　注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、
    　少なくとも１つの変換対象画像を表示する画像表示手段と、
    　ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、前記第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた前記決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、
    　幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、
    　前記第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段とを備えた
    　ことを特徴とする画像処理装置。
  2. 　各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段を備え、
    　幾何変換手段は、前記幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する
    　請求項１に記載の画像処理装置。
  3. 　第１基準点受付決定手段は、各変換対象画像について、第１基準点候補の情報と、前記第１基準点候補の情報に基づき当該変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、前記決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補を当該変換対象画像における第１基準点として決定する
    　請求項１または請求項２に記載の画像処理装置。
  4. 　各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、
    　前記カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する第１基準点候補射影手段とを備え、
    　第１基準点受付決定手段は、３次元座標で表現される第１基準点候補の情報と、前記第１基準点候補の情報に基づき少なくとも１つの変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、前記決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される前記各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する
    　請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
  5. 　各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出する画像特徴点検出手段を備え、
    　第１基準点受付決定手段は、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報と、前記指定された画像特徴点である第１基準点候補に対する決定信号とを受け付け、前記決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である前記指定された画像特徴点を前記変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた前記画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　第２基準点受付決定手段は、全ての変換画像に共通の情報として第２基準点の情報を受け付ける
    　請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
  7. 　第２基準点受付決定手段は、第２基準点の情報として、変換画像においてカメラの回転軸を構成する複数の画像座標を受け付け、
    　第１基準点受付決定手段は、第１基準点候補の情報として、変換対象画像においてカメラの回転軸を構成する複数の画像座標または３次元座標を受け付ける
    　請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
  8. 　幾何変換手段は、内挿を行い画素の欠損を補償する
    　請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
  9. 　注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、
    　画像表示手段を介して少なくとも１つの変換対象画像を表示し、
    　ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、
    　受け付けた前記第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、
    　ユーザ操作に応じて、前記変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、
    　受け付けた前記決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定し、
    　幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、
    　変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する
    　ことを特徴とする画像処理方法。
  10. 　注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、
    　コンピュータに、
    　画像表示手段を介して少なくとも１つの変換対象画像を表示する処理、
    　ユーザ操作に応じて入力される、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付けて、変換対象画像上に第１基準点候補を表示する処理、
    　ユーザ操作に応じて入力される、前記変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、受け付けた前記決定信号の対象とされた第１基準点候補の情報に基づき、第１基準点を決定する処理、
    　幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および
    　前記第１基準点と前記第２基準点とに基づいて、変換対象画像を幾何変換する処理
    　を実行させるための画像処理用プログラム。
PCT/JP2011/002765 2010-05-26 2011-05-18 画像処理装置、画像処理方法および画像処理用プログラム Ceased WO2011148595A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012517123A JP5825256B2 (ja) 2010-05-26 2011-05-18 画像処理装置、画像処理方法および画像処理用プログラム
US13/699,216 US9053522B2 (en) 2010-05-26 2011-05-18 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-121018 2010-05-26
JP2010121018 2010-05-26

Publications (1)

Publication Number Publication Date
WO2011148595A1 true WO2011148595A1 (ja) 2011-12-01

Family

ID=45003596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002765 Ceased WO2011148595A1 (ja) 2010-05-26 2011-05-18 画像処理装置、画像処理方法および画像処理用プログラム

Country Status (3)

Country Link
US (1) US9053522B2 (ja)
JP (1) JP5825256B2 (ja)
WO (1) WO2011148595A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105205A1 (ja) * 2012-01-10 2013-07-18 日本電気株式会社 画像処理装置、画像処理方法および画像処理用プログラム
US20150244928A1 (en) * 2012-10-29 2015-08-27 Sk Telecom Co., Ltd. Camera control method, and camera control device for same
JP2016162079A (ja) * 2015-02-27 2016-09-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102190904B1 (ko) * 2013-09-25 2020-12-14 삼성전자 주식회사 윈도우 제어 방법 및 이를 지원하는 전자장치
KR101668802B1 (ko) * 2014-09-03 2016-11-09 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
CN105631454B (zh) * 2014-10-27 2019-02-12 浙江大华技术股份有限公司 一种球机定位方法、设备及球机
US10157439B2 (en) * 2015-07-20 2018-12-18 Qualcomm Incorporated Systems and methods for selecting an image transform
CN108269282B (zh) * 2016-12-30 2021-10-22 技嘉科技股份有限公司 对位装置和对位方法
CN107610042B (zh) * 2017-08-23 2019-06-07 维沃移动通信有限公司 一种图像美化方法及移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149455A (ja) * 1996-11-20 1998-06-02 Matsushita Electric Ind Co Ltd 画像生成表示装置および生成表示画像編集装置
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2008217243A (ja) * 2007-03-01 2008-09-18 Mitsubishi Electric Corp 画像生成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6081577A (en) * 1998-07-24 2000-06-27 Wake Forest University Method and system for creating task-dependent three-dimensional images
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
US7228006B2 (en) * 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
JP2004264492A (ja) 2003-02-28 2004-09-24 Sony Corp 撮影方法及び撮像装置
JP2005049999A (ja) 2003-07-30 2005-02-24 Ricoh Co Ltd 画像入力装置、画像入力方法、この方法を情報処理装置上で実行可能に記述されたプログラム、及びこのプログラムを記憶した記憶媒体
US7409108B2 (en) * 2003-09-22 2008-08-05 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration of 2D/3D medical images
JP4508049B2 (ja) 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
US8355579B2 (en) * 2009-05-20 2013-01-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automatic extraction of planetary image features

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149455A (ja) * 1996-11-20 1998-06-02 Matsushita Electric Ind Co Ltd 画像生成表示装置および生成表示画像編集装置
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2008217243A (ja) * 2007-03-01 2008-09-18 Mitsubishi Electric Corp 画像生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105205A1 (ja) * 2012-01-10 2013-07-18 日本電気株式会社 画像処理装置、画像処理方法および画像処理用プログラム
US20150244928A1 (en) * 2012-10-29 2015-08-27 Sk Telecom Co., Ltd. Camera control method, and camera control device for same
US9509900B2 (en) * 2012-10-29 2016-11-29 Sk Telecom Co., Ltd. Camera control method, and camera control device for same
JP2016162079A (ja) * 2015-02-27 2016-09-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置

Also Published As

Publication number Publication date
US20130064430A1 (en) 2013-03-14
JP5825256B2 (ja) 2015-12-02
JPWO2011148595A1 (ja) 2013-07-25
US9053522B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
JP5825256B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP4363151B2 (ja) 撮影装置、その画像処理方法及びプログラム
US9667864B2 (en) Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
WO2006004043A1 (ja) 広視野画像入力方法及び装置
JP4975679B2 (ja) ノート型情報処理装置、および、射影変換パラメータ算出方法
WO2005024723A1 (ja) 画像合成システム、画像合成方法及びプログラム
JPWO2014069247A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2018179040A1 (ja) カメラパラメータ推定装置、方法およびプログラム
JP2014514539A (ja) 共線変換ワープ関数を用いて第１の画像の少なくとも一部と第２の画像の少なくとも一部を位置合わせする方法
JP2005123667A (ja) 複数の画像データからの静止画像データの生成
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN112655194A (zh) 用于捕获视图的电子装置和方法
JP2003015218A (ja) 投影型表示装置
JP2008217526A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
CN115412670A (zh) 信息处理设备及其控制方法和存储介质
CN106373154B (zh) 图像处理装置及图像处理方法
JP5151922B2 (ja) 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JPWO2018101135A1 (ja) 撮影調整情報導出装置、撮影装置、撮影調整情報導出方法、制御プログラム、および記録媒体
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JPH07160412A (ja) 指示位置検出方法
KR20220108683A (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
JP2017079024A (ja) 画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11786299

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012517123

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13699216

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11786299

Country of ref document: EP

Kind code of ref document: A1