[go: up one dir, main page]

WO2019058415A1 - マルチプロジェクションシステム、映像投射方法及びプロジェクタ - Google Patents

マルチプロジェクションシステム、映像投射方法及びプロジェクタ Download PDF

Info

Publication number
WO2019058415A1
WO2019058415A1 PCT/JP2017/033686 JP2017033686W WO2019058415A1 WO 2019058415 A1 WO2019058415 A1 WO 2019058415A1 JP 2017033686 W JP2017033686 W JP 2017033686W WO 2019058415 A1 WO2019058415 A1 WO 2019058415A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
blur
image
projection
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/033686
Other languages
English (en)
French (fr)
Inventor
青柳　寿和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Priority to US16/636,295 priority Critical patent/US11620732B2/en
Priority to PCT/JP2017/033686 priority patent/WO2019058415A1/ja
Publication of WO2019058415A1 publication Critical patent/WO2019058415A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/02—Multiple-film apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/606—Projection screens characterised by the nature of the surface for relief projection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present invention relates to a multi-projection system, an image projection method for projecting an image onto a three-dimensional object from a plurality of projectors provided in the multi-projection system, and a projector provided in the multi-projection system.
  • projection mapping that projects images onto various three-dimensional objects such as buildings, human bodies, furniture, automobiles, trees, and uneven wall surfaces using a projector has been actively performed.
  • projection mapping since an image is projected to a three-dimensional object having a depth, there is a problem that an unfocused portion (blur) occurs in the projection image. Therefore, in the projection mapping in the background art, for example, blurring is reduced by using a projection lens having a wide range of distance (projection distance) to the image forming surface that appears to be in focus, ie, a deep depth of field. The method was adopted.
  • a method of reducing the influence of blurring by devising at the time of creation of a projection image has been adopted, such as projecting a low resolution image onto a projection surface where the blurring is large.
  • Patent Documents 1 to 3 propose techniques for correcting a projection image in multi-projection.
  • the distance between a plurality of projectors and a plurality of projection planes is measured, and a projector whose distance to the projection plane corresponds to a focal distance is selected to project an image, thereby achieving an in-focus image.
  • the technology to display the is described.
  • Patent Document 2 describes that adjustment images having different characteristics are respectively projected from a plurality of projectors used for stack projection or stereo projection, and the projection conditions of each projector are adjusted based on imaging data of the adjustment image. ing.
  • the characteristics of the adjustment image are a wavelength range, a polarization characteristic, a projection position and the like, and the projection conditions are an adjustment value of a focal length and a zoom magnification, a correction value of trapezoidal distortion and the like.
  • Patent Document 3 describes that a three-dimensional position of a screen on which an image is projected is measured, and geometric correction of a projection image projected on each screen is performed based on the three-dimensional position.
  • Patent Document 1 The technology described in Patent Document 1 is to select a projector capable of displaying an in-focus image for each face of a three-dimensional object to project the image. Therefore, it is impossible to solve the above-described problem that occurs when projecting images from a plurality of projectors onto the same plane.
  • the techniques described in Patent Documents 2 and 3 are not for projecting an image on a three-dimensional object.
  • An object of the present invention is to provide a multi-projection system, an image projection method, and a projector capable of suppressing an increase in the amount of blur in a projected image on a three-dimensional object and deterioration of the projected image on a three-dimensional object.
  • a multi-projection system of the present invention is a multi-projection system which projects an image from a plurality of projectors onto a three-dimensional object
  • a master projector which is one of the plurality of projectors, which controls the operation of the multi-projection system
  • a slave projector that is not the master projector among the plurality of projectors that executes processing according to an instruction of the master projector
  • Have The slave projector is Each of the plurality of surfaces of the three-dimensional object is estimated on the amount of blur of the image projected from the device itself, and the estimated amount of blur is provided to the master projector;
  • the master projector is Each of the plurality of planes is estimated based on the amount of blur estimated by the device and the amount of blur estimated by the slave projector, on each of the plurality of surfaces of the three-dimensional object.
  • the area of the image projected from the plurality of projectors is determined for each of the plurality of planes such that the amount of blur of the image in each is minimized.
  • the image projection method of the present invention is an image projection method for projecting an image onto a three-dimensional object from a plurality of projectors provided in a multi-projection system,
  • a master projector which is one of the plurality of projectors, which controls the operation of the multi-projection system;
  • a slave projector that is not the master projector among the plurality of projectors that executes processing according to an instruction of the master projector; Equipped with The slave projector is Each of the plurality of surfaces of the three-dimensional object is estimated on the amount of blur of the image projected from the device itself, and the estimated amount of blur is provided to the master projector;
  • the master projector is Each of the plurality of planes is estimated based on the amount of blur estimated by the device and the amount of blur estimated by the slave projector, on each of the plurality of surfaces of the three-dimensional object. It is a method of determining an area of an image to be projected from the plurality of projectors for each of the plurality of planes so that the amount of blur
  • a projector is a multi-projection system for projecting an image onto a three-dimensional object from a plurality of projectors, wherein the projector is one of the plurality of projectors,
  • a blur amount estimation unit configured to estimate the blur amount of an image projected from the projector on a plurality of planes of the three-dimensional object; The amount of blur of the image on the plurality of planes is based on the amount of blur estimated by the blur amount estimation unit and the amount of blur estimated by the projector notified by a projector other than the projector among the plurality of projectors.
  • a blending unit configured to determine an area of an image projected from the plurality of projectors for each of the plurality of planes so as to minimize each of the plurality of planes; Have.
  • the present invention it is possible to suppress an increase in the amount of blur in a projected image on a three-dimensional object and deterioration of the projected image on a three-dimensional object.
  • FIG. 1 is a schematic view showing an example of the configuration of a multi-projection system according to the present invention.
  • FIG. 2 is a schematic view showing an example of the relationship between an image projected from a plurality of projectors and an image on each surface of a three-dimensional object.
  • FIG. 3 is a block diagram showing an example of the configuration of the projector according to the first embodiment.
  • FIG. 4 is a schematic view showing an example of the relationship between a projector equipped with a three-dimensional sensor and its projection area.
  • FIG. 5 is a schematic view showing an example of the relationship between the sensor coordinate system and the projector coordinate system.
  • FIG. 6 is a schematic view showing an arrangement example of the projectors.
  • FIG. 1 is a schematic view showing an example of the configuration of a multi-projection system according to the present invention.
  • FIG. 2 is a schematic view showing an example of the relationship between an image projected from a plurality of projectors and an image on each surface of a three-dimensional object.
  • FIG. 7 is a schematic view showing an example of three-dimensional position data of a three-dimensional object in the projector coordinate system detected by the projector shown in FIG.
  • FIG. 8 is a schematic view showing how three-dimensional position data of a three-dimensional object obtained from the projector shown in FIG. 1 are integrated.
  • FIG. 9 is a schematic view showing an example of three-dimensional position data after integration of three-dimensional objects.
  • FIG. 10 is a schematic view showing an example of the segmentation process.
  • FIG. 11 is a schematic view showing an example of the position, blur amount, and blending coefficient of each pixel of the projection image on the surface of the three-dimensional object.
  • FIG. 12 is a schematic view showing the appearance of projected images on a plurality of projection planes when the projector is viewed from the side or the top.
  • FIG. 13 is a schematic view showing that each surface of a three-dimensional object which is a projection target of an image is tilted with respect to the projection surface of the projector.
  • FIG. 14 is a flowchart illustrating an example of processing of the blur minimization region dividing unit.
  • FIG. 15 is a schematic view showing an example of the blur minimizing area division in the multi-projection system shown in FIG.
  • FIG. 16 is a schematic view showing another example of the blur minimizing area division in the multi-projection system shown in FIG.
  • FIG. 17 is a schematic view showing a configuration example of a multi-projection system in which two projectors are arranged at the position of each projector shown in FIG. FIG.
  • FIG. 18 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 19 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 20 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 21 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 22 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 22 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 22 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of
  • FIG. 23 is a schematic view showing an example of the blending operation on the surface of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 24 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 25 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 26 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 27 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 24 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 25 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of
  • FIG. 28 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 29 is a schematic view showing an example of the blending operation on the surface of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 30 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 31 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 32 is a schematic view showing an example of the blending operation in the plane of the three-dimensional object of the multi-projection system shown in FIG.
  • FIG. 33 is a block diagram showing an example of the configuration of a projector according to the second embodiment.
  • FIG. 34 is a block diagram showing an example of the main configuration of a projector according to the present invention.
  • FIG. 1 is a schematic view showing an example of the configuration of a multi-projection system according to the present invention.
  • the multi-projection system of the present invention comprises a plurality of projectors (three units in FIG. 3) PJ1 to PJ3 which are mutually connected so as to be able to transmit and receive data and signals via communication means. It is a structure.
  • the number of projectors provided in the multi-projection system is not limited to three, and may be any number as long as it is two or more.
  • a communication means a communication device conforming to the RS (Recommended Standard) -232 standard, a wired LAN (Local Area Network) realized by a known communication method, a wireless LAN or the like is used.
  • a communication means is not limited to these, You may implement
  • Video signals are input to the projectors PJ1 to PJ3 from a video output device 103 such as a personal computer.
  • the projectors PJ1 to PJ3 project the video represented by the input video signal onto the three-dimensional object 102 to be projected.
  • a projection center point of the projector PJ1 is indicated by TC1
  • a projection area thereof is indicated by TA1
  • an image forming plane thereof is indicated by IP1
  • a projection image indicated by a video signal input to the projector PJ1 is indicated by TI1.
  • TI projection image indicated by a video signal input to the projector PJ1
  • the projection center point of the projector PJ2 is indicated by TC2
  • its projection area is indicated by TA2
  • its image formation plane is indicated by IP2
  • the projection image indicated by the video signal input to the projector PJ2 is indicated by TI2. It shows by.
  • the projection center point of the projector PJ 3 is indicated by TC 3
  • the projection area thereof is indicated by TA 3
  • the image formation plane is indicated by IP 3
  • the projection image indicated by the video signal input to the projector PJ 3 is indicated by TI 3 It shows.
  • the projection areas TA1 to TA3 indicate the ranges of the images projected from the projectors PJ1 to PJ3 on the imaging planes IP1 to IP3 of the projectors PJ1 to PJ3, respectively.
  • the drawings used for the description include the projectors and three-dimensional objects, and the projection center point of each projector, the imaging plane and the projection image. The same code as is assigned.
  • FIG. 2 shows an example in which a three-dimensional object is constituted by three faces of a face A, a face B and a face C in order to simplify the description.
  • the projector PJ1 is installed in front of the surface A of the three-dimensional object
  • the projector PJ2 is installed in front of the surface B of the three-dimensional object
  • the projector PJ3 is installed in front of the surface C of the three-dimensional object It shall be done.
  • the image A is projected on the surface A
  • the image B is projected on the surface B
  • the image C is projected on the surface C.
  • the projector PJ1 projects an image on the surface A, a part of the right side of the surface B when viewed from the front, and a part of the left side of the surface C when viewed from the front.
  • the projector PJ2 projects an image on the surface B and part of the left side of the surface A viewed from the front
  • the projector PJ3 projects an image on the surface C and part of the right side of the surface A viewed from the front It shall be.
  • the video projected from the projector PJ 1 needs to include the video A, a part of the video B, and a part of the video C.
  • the video projected from the projector PJ 2 needs to include a part of the video B and the video A
  • the video projected from the projector PJ 3 needs to include a part of the video C and the video A. That is, the projectors PJ1 to PJ3 project different images respectively on a plurality of planes in the projection area of the own apparatus. Therefore, in the example shown in FIG. 2, the video projected from the projectors PJ1 to PJ3 is created in advance so that the video A is on the surface A, the video B is on the surface B, and the video C is on the surface C.
  • any one of the plurality of projectors is a master projector, and the remaining projectors are slave projectors.
  • FIG. 1 shows an example in which the projector PJ1 is a master projector, and the projectors PJ2 and PJ3 are slave projectors.
  • the master projector controls the operation of the entire multi-projection system including the master projector and the slave projectors.
  • the slave projector performs processing in accordance with the instruction of the master projector.
  • the projectors PJ1 to PJ3 three-dimensionally measure the position (the distance to the three-dimensional object 102) of the three-dimensional object 102 which is the projection target of the image, and generate three-dimensional position data as the measurement result. Further, the projectors PJ1 to PJ3 generate projector data including projector position coordinates indicating the position of the apparatus and a lens optical axis direction vector indicating the optical axis direction of the projection lens which is the projection direction of the image.
  • the master projector acquires three-dimensional position data generated by the slave projectors. Further, the master projector aligns the three-dimensional object 102 indicated by the three-dimensional position data generated by the device itself and the three-dimensional position data acquired from each slave projector, and integrates them into one three-dimensional position data. Furthermore, the master projector converts the coordinate system of the integrated three-dimensional position data into the world coordinate system of the master projector, and detects a plurality of planes of the three-dimensional object 102 indicated by the three-dimensional position data of the world coordinate system. Surface data indicating the detected surface of the three-dimensional object 102 is transmitted to each slave projector.
  • the world coordinate system is a coordinate system based on a horizontal plane.
  • the projectors PJ1 to PJ3 estimate the amount of blur caused by the defocus of each pixel of the projection image on each surface, which is projected from the own device onto the three-dimensional object 102, based on the integrated three-dimensional position data.
  • the master projector acquires the amount of blur for each surface estimated by each slave projector.
  • the master projector determines the area of the image projected from the projectors PJ1 to PJ3 for each plane so that the amount of blur on each surface of the three-dimensional object 102 is minimized based on the blur amount estimated by the projectors PJ1 to PJ3.
  • the master projector determines an area on which an image is projected from one projector and a blending area on which an image projected from a plurality of projectors is superimposed on a plane on which an image is projected.
  • the blending region is a region that is provided at the boundary of adjacent images on the surface and that partially overlaps each of the images.
  • the master projector calculates a blending coefficient for adjusting the luminance of each pixel of the video signal corresponding to the video projected on the plurality of planes of the three-dimensional object 102 based on the set area for projecting the video of each projector.
  • the master projector transmits the calculated blending coefficient on each surface to each slave projector.
  • the projectors PJ1 to PJ3 combine the blending coefficients on each surface of the three-dimensional object 102 to generate a blending coefficient of the entire projection image. Also, the projectors PJ1 to PJ3 adjust the brightness of the projected video by adjusting the signal level of the video signal using the generated blending coefficient. In the present embodiment, a series of operations in the projectors PJ1 to PJ3 described above are referred to as "blending operations".
  • FIG. 3 is a block diagram showing an example of the configuration of the projector according to the first embodiment.
  • the projector according to the first embodiment includes the communication control unit 1, blending control unit 3, user I / F unit 4, projection unit 6, three-dimensional position detection unit 7, projector data generation unit 8, surface extraction unit 9, and surface A data switching unit 10 and a blur amount estimation unit 11 are provided.
  • the projector according to the first embodiment also includes a blending unit 12, a blending coefficient switching unit 13, a blending coefficient generation unit 14, a projector projection design data storage unit 15, an attitude sensor 16, and another projector detection unit 17.
  • the communication control unit 1 transmits and receives data and signals to and from other projectors by controlling communication means (not shown).
  • the blending control unit 3 stores various parameters used in the processing of the surface detection unit 9 and the blending unit 12 and controls the blending operation.
  • the user I / F unit 4 is a user interface used by the user to input an instruction, parameters and the like to the projector.
  • the projection unit 6 projects the video represented by the video signal supplied from the video output device 103 such as a personal computer onto the three-dimensional object 102 to be projected.
  • the projection unit 6 includes an image processing unit 18, a blending image brightness adjustment unit 19, and a projection lens unit 20.
  • the video processing unit 18 performs resolution conversion for converting the resolution of the video represented by the video signal supplied from the video output device 103 into the resolution of the image forming element provided in the projector, and image quality adjustment of the video represented by the video signal.
  • the image forming element DMD (Digital Micro-mirror Device (registered trademark), liquid crystal panel or the like is used.
  • the blending video brightness adjustment unit 19 adjusts the signal level of each pixel of the video represented by the video signal output from the video processing unit 18 based on the blending coefficient generated by the blending coefficient generation unit 14.
  • the projection lens unit 20 has a zoom function to adjust the size of the projection image, a focus function to adjust the image forming position of the projection image, and a lens shift function to adjust the image position to be projected up, down, left and right.
  • the projection lens unit 20 projects a video represented by the video signal whose signal level has been adjusted by the blending video luminance adjustment unit 19.
  • the projection lens unit 20 also detects the zoom position, focus position, and lens shift position of the projection lens, and outputs data indicating the detected values to the blur amount estimation unit 11 and the three-dimensional position detection unit 7.
  • the zoom position indicates the amount of enlargement or reduction of the image on the projection plane.
  • the focus position indicates the amount of adjustment of the imaging position.
  • the lens shift position indicates the amount of movement of the image position on the projection surface in the vertical and horizontal directions.
  • the maximum range in which an image can be projected by using the lens shift function of the projector will be referred to as a “projectable area”.
  • the three-dimensional position detection unit 7 includes a three-dimensional sensor 21, a calibration data storage unit 22, a three-dimensional position data projector coordinate conversion unit 23, and a three-dimensional position data world coordinate conversion unit 24.
  • the three-dimensional sensor 21 three-dimensionally measures the position (the distance from the three-dimensional object 102) of the three-dimensional object 102 which is the projection target of the image, and outputs three-dimensional position data indicating the measurement result.
  • the calibration data storage unit 22 stores the amount of rotation and the amount of translation, which are parameters for converting the coordinate system of the three-dimensional sensor 21 into the projector coordinate system.
  • the amount of rotation and the amount of translation used for transforming the coordinate system may be obtained by measuring in advance the positional relationship between the coordinate system of the three-dimensional sensor 21 and the coordinate system of the projector.
  • processing for converting the coordinate system of the three-dimensional sensor 21 into the coordinate system of the projector may be referred to as "calibration".
  • the calibration data storage unit 22 stores the zoom position and the lens shift position at the time of determination of the rotation amount and the translation amount used for the conversion of the coordinate system as a reference zoom position and a reference lens shift position.
  • the three-dimensional position data projector coordinate conversion unit 23 converts three-dimensional position data of the three-dimensional object 102 obtained by the three-dimensional sensor 21 into three-dimensional position data of a projector coordinate system.
  • the rotation amount, translation amount, reference zoom position and reference lens shift position stored in the calibration data storage unit 22 are used.
  • the zoom position and lens shift position of the current projection lens unit 20 and the design data of the projection function stored in the projector projection design data storage unit 15 are used.
  • the three-dimensional position data world coordinate conversion unit 24 converts the three-dimensional position data of the three-dimensional object 102 of the projector coordinate system into three-dimensional position data of the world coordinate system using the tilt amount of the projector detected by the posture sensor 16 with respect to the horizontal plane. Convert. Also, the three-dimensional position data world coordinate conversion unit 24 translates the world coordinate system in the vertical direction so that the minimum value of the coordinate in the vertical direction of the three-dimensional position data becomes “0”.
  • the projector data generation unit 8 includes an initial projector data generation unit 25 and a projector data world coordinate conversion unit 26.
  • the initial projector data generation unit 25 sets the origin of the projector coordinate system, that is, coordinates (0, 0, 0) which is the projection center point of the image as the projector position coordinates. Further, the initial projector data generation unit 25 sets the optical axis direction of the projection lens equal to the projection direction of the image as a lens optical axis direction vector, and generates projector data including the projector position coordinates and the lens optical axis direction vector.
  • the projector data world coordinate conversion unit 26 converts the projector position coordinate and the lens optical axis direction vector from the projector coordinate system to the world coordinate system using the tilt amount of the projector with respect to the horizontal plane. In addition, the projector data world coordinate conversion unit 26 parallelly moves the world coordinate system of the projector data in the vertical direction by the shift amount in the vertical direction parallelly moved by the three-dimensional position data world coordinate conversion unit 24.
  • the plane extraction unit 9 integrates the three-dimensional position data generated by the three-dimensional position detection unit 7 of the projectors PJ1 to PJ3 and detects each plane of the three-dimensional object 102 which is the projection target of the video from the integrated three-dimensional position data. Output surface data indicating the detected surface. These processes in the face extraction unit 9 are executed by the master projector. The surface data generated by the surface extraction unit 9 is transmitted to each slave projector via the communication means.
  • the surface extraction unit 9 includes a three-dimensional registration unit 27 and a three-dimensional position data segmentation unit 28.
  • the three-dimensional registration unit 27 aligns the three-dimensional object 102 indicated by the three-dimensional position data generated by the three-dimensional position detection unit 7 of the projectors PJ1 to PJ3.
  • the three-dimensional registration unit 27 integrates the three-dimensional position data after the alignment in the world coordinate system of the master projector. Furthermore, the three-dimensional registration unit 27 generates coordinate conversion amounts for converting the world coordinate system of each slave projector into the world coordinate system of the master projector.
  • the three-dimensional position data segmentation unit 28 detects a plurality of planes of the three-dimensional object 102 using the segmentation parameters stored in advance by the blending control unit 3 based on the three-dimensional position data after integration.
  • a three-dimensional object 102 to which an image is to be projected has a flat surface and various curved surfaces.
  • the segmentation parameter is a parameter used to detect a plane or a curved surface of the three-dimensional object 102 as a “plane” to be a projection target.
  • the surface data switching unit 10 selects the surface data of the solid object 102 detected by the surface extraction unit 9 of the master projector in the master projector, and the surface of the solid object 102 detected by the surface extraction unit 9 of the master projector in the slave projector. Select data
  • the blur amount estimating unit 11 specifies the position of the pixel of the projection video on each surface of the three-dimensional object 102 from the surface data selected by the surface data switching unit 10, and estimates the amount of blurring due to defocusing for each pixel And convert it to the blur amount of the computational resolution.
  • images are projected from a plurality of projectors on an arbitrary surface of the three-dimensional object 102, usually the resolutions of the plurality of projected images on the surface are not the same, and the positions of the respective pixels of the plurality of projected images on the surface also coincide. do not do. Therefore, on each surface of the three-dimensional object 102, it is necessary to make the resolutions of projected images projected from a plurality of projectors the same.
  • the highest resolution is set as the calculation resolution for each plane of the three-dimensional object 102, and the blur amount at the calculation resolution Ask for The computational resolution referred to here corresponds to the “surface-specific maximum resolution” described later.
  • the amount of blur of the resolution in calculation is, for example, based on the ratio of the resolution of the projected image of each projector to the resolution of the calculation, the amount of blur obtained for each pixel position of the projected image It should be converted.
  • the blur amount estimation unit 11 includes a projector data coordinate conversion unit 29, a projector data switching unit 30, a pixel information calculation unit 31, a blur amount storage unit 32, and a pixel unit blur amount calculation unit 33.
  • the projector data coordinate conversion unit 29 converts the projector data into the world coordinate system of the master projector by using the coordinate conversion amount for converting the world coordinate system of the slave projector into the world coordinate system of the master projector.
  • the projector data switching unit 30 causes the projector data coordinate conversion unit 29 to execute processing in the slave projector and prevents the projector data coordinate conversion unit 29 from executing the processing in the master projector.
  • the pixel information calculation unit 31 detects the position of each pixel of the projection image on each surface of the three-dimensional object 102 detected by the master projector and the position of each pixel in the image projected from the projector corresponding to the pixel. Further, the pixel information calculation unit 31 detects the projection distance for each pixel position of the projection video on each surface of the three-dimensional object 102. Further, the pixel information calculation unit 31 detects the position of each pixel in the projectable area corresponding to each pixel of the projection video on each surface of the three-dimensional object 102 detected by the master projector. In addition, the pixel information calculation unit 31 detects the amount of inclination of each surface of the three-dimensional object 102 with respect to the projection surface at the position of each pixel of the projection video.
  • the pixel information calculation unit 31 obtains the density of the pixels of the projection image on each surface of the three-dimensional object 102, and detects the resolution of the portion with the highest density as the highest resolution by surface.
  • video in each surface of the solid object 102 detected by the pixel information calculation part 31 is hereafter called "the pixel information according to surface.”
  • the blur amount storage unit 32 stores an area represented by the number of pixels, which indicates the blur amount generated due to the focus shift for each zoom position according to the focus position and the projection distance. Further, the blur amount storage unit 32 stores the correction coefficient of the blur amount for each zoom position corresponding to the position of each pixel of the projection video in the projectable area according to the focus position and the projection distance. Furthermore, the blur amount storage unit 32 stores the conversion coefficient of the blur amount for each zoom position corresponding to the tilt amount with respect to the projection plane according to the focus position and the projection distance. The blur amount for each zoom position according to the focus position and the projection distance, the correction coefficient of the blur amount, and the conversion coefficient of the blur amount are measured in advance for each projector and stored as actual values.
  • the pixel unit blur amount conversion unit 33 obtains the pixel unit blur amount per surface which is the blur amount for each pixel position of the projection video on each surface of the three-dimensional object 102.
  • the per-pixel pixel unit blur amount is based on the per-pixel pixel information detected by the pixel information calculation unit 31, the blur amount stored in the blur amount storage unit 32, and the correction coefficient and conversion of the blur amount for each zoom position.
  • the coefficients may be used for each pixel position of the projection video.
  • the blending unit 12 includes a calculation unit blur amount conversion unit 34, a blur minimization region division unit 35, and a calculation unit blending coefficient calculation unit 36.
  • the calculation unit blur amount conversion unit 34 calculates the blur amount of the resolution in calculation of each surface of the three-dimensional object 102 by the pixel unit-specific blur amount on each surface of the three-dimensional object 102 calculated by the pixel unit blur amount conversion unit 33 Hereinafter, it is converted to "the calculation amount of blurring per plane".
  • the blur minimizing area dividing unit 35 uses the blur amount per surface calculated by the blur amount estimation unit 11 to minimize the blur amount per surface in each surface of the three-dimensional object 102.
  • the area of the image projected from the projector is determined for each plane.
  • the calculation unit blending coefficient calculation unit 36 adjusts the luminance for each pixel using the calculated resolution of the projected image on each surface of the three-dimensional object 102 based on the processing result of the blur minimization area division unit 35. Calculate
  • the blending coefficient switching unit 13 selects the blending coefficient for each pixel of the projection image on each surface of the three-dimensional object 102 calculated by the own device. Further, in the slave projector, the blending coefficient switching unit 13 selects the blending coefficient for each pixel of the projection video on each surface of the three-dimensional object 102 calculated by the master projector.
  • the blending coefficient generation unit 14 includes a pixel unit blending coefficient conversion unit 37 and a pixel unit blending coefficient integration unit 38.
  • the pixel unit blending coefficient conversion unit 37 converts the blending coefficient for each pixel corresponding to the calculated resolution obtained by the calculation unit blending coefficient calculation unit 36 into a blending coefficient for each pixel of the projection image on each surface of the three-dimensional object 102 .
  • the pixel unit blending coefficient integration unit 38 integrates the blending coefficients for each pixel of the projection image on each surface of the three-dimensional object 102 converted by the pixel unit blending coefficient conversion unit 37 to generate a blending coefficient of the entire projection image.
  • the projector projection design data storage unit 15 stores design data related to the projection function of the projector.
  • the posture sensor 16 detects the inclination of the projector main body with respect to the horizontal plane, and outputs it as the amount of inclination.
  • the other projector detection unit 17 detects another projector connected to the apparatus via the communication unit.
  • the information processing apparatus includes a central processing unit (CPU) that executes processing in accordance with a program, a storage device that stores a program and data, and various logic circuits.
  • CPU central processing unit
  • FIG. 4 is a schematic view showing an example of the relationship between a projector equipped with a three-dimensional sensor and its projection area.
  • the three-dimensional sensor 21 is a three-dimensional position sensor that measures the distance to the three-dimensional object 102 that is the projection object of the image in three dimensions, and the position of the three-dimensional object 102 in the projection area of the projector shown in FIG. Detect the distance between The three-dimensional sensor 21 can measure the position of the three-dimensional object 102 in the projectable area in three dimensions even when the projector moves the projection area in the vertical and horizontal directions with the lens shift function or expands the projection image with the zoom function. I assume.
  • FIG. 1 shows an example in which the projector PJ1 is a master projector.
  • the master projector uses the three-dimensional sensor 21 to measure the position of the three-dimensional object 102 that is the projection object of the image.
  • the slave projectors use the three-dimensional sensor 21 to measure the positions of the three-dimensional objects 102 to be projected images, according to the instructions from the master projector. Further, the master projector and the slave projector each generate projector data including the position coordinates of the own device and the lens optical axis direction vector using the projector data generation unit 8.
  • the master projector acquires three-dimensional position data measured by each slave projector.
  • the master projector uses the surface extraction unit 9 to align the three-dimensional object 102 indicated by the three-dimensional position data measured by the own device and the three-dimensional position data measured by each slave projector in the world coordinate system of the own device. I do. Then, the three-dimensional position data after the alignment are combined and integrated into one three-dimensional position data.
  • the master projector detects each surface of the three-dimensional object 102 on which the image is projected from the three-dimensional position data after integration using the surface extraction unit 9, and surface data which is three-dimensional data indicating the detected surface Generate Further, the master projector transmits coordinate conversion amounts for converting the world coordinate system of the slave projector to the world coordinate system of the master projector and surface data indicating each surface of the three-dimensional object 102 to each slave projector.
  • the master projector executes the following processing using the blur amount estimation unit 11.
  • the slave projector executes the following processing using the blur amount estimation unit 11 according to the instruction of the master projector.
  • the surface data switching unit 10 selects the surface data of the surface extraction unit 9 of its own device in the master projector, and selects the surface data transmitted from the master projector in the slave projector.
  • the slave projector converts the projector data into the world coordinate system of the master projector based on the coordinate conversion amount transmitted from the master projector.
  • the master projector does not perform coordinate conversion of projector data using the coordinate conversion amount.
  • the master projector and the slave projector From the three-dimensional data included in the surface data selected by the surface data switching unit 10, the master projector and the slave projector detect the pixels of the projection video on each surface of the three-dimensional object 102 detected in the above [3] Identify). Further, the master projector and the slave projector estimate the amount of blur per pixel, which is the amount of blur for each pixel position caused by the defocus on each surface, and set it as the amount of blur per pixel per surface. Further, the master projector and the slave projector generate per-plane pixel unit blur amount data including the per-plane pixel unit blur amount and the pixel position and the per-plane maximum resolution included in the per-plane pixel information.
  • the master projector acquires plane pixel unit blur amount data generated by each slave projector, and uses the blending unit 12 to calculate the plane calculation unit resolution which is the computational resolution of each plane of the three-dimensional object 102 Calculate Also, the master projector sets the blur amount (pixel unit blur amount per surface) in each pixel of the surface included in the pixel unit blur amount per surface data to the blur amount (plane calculation unit blur amount per surface) Convert to).
  • the master projector uses the per-plane calculation unit resolution and the minimum blending pixel number to obtain a per-projector per-plane calculation unit minimum blending size corresponding to the calculated resolution in each side of the three-dimensional object 102.
  • the minimum blending pixel number is the minimum pixel number of an image that can be projected as a blending area, which is set in advance for each projector.
  • the area-based calculation unit minimum blending size is the minimum size of the blending area for each projector, which is expressed by the calculation resolution.
  • the master projector generates surface calculation unit blur amount data for each projector including the surface calculation unit blur amount and the surface calculation unit minimum blending size.
  • the master projector uses an area-based calculation unit blur amount for each projector and a area-based calculation unit minimum blending size to generate an area for projecting an image for each projector in which the amount of blur is minimum on each surface of the three-dimensional object 102. decide.
  • the master projector calculates a calculation unit blending coefficient for adjusting the luminance for each pixel of the calculation resolution on each surface of the three-dimensional object 102, and transmits the calculation unit blending coefficient to each slave projector.
  • the master projector uses the blending coefficient generation unit 14 to convert the calculation unit blending coefficient calculated by the blending unit 12 of the own device into a pixel unit blending coefficient.
  • the pixel-by-pixel blending coefficient is a blending coefficient for each pixel of the projection image on each surface of the three-dimensional object 102.
  • the slave projector uses the blending coefficient generation unit 14 to convert the calculation unit blending coefficient transmitted from the master projector into a pixel unit blending coefficient.
  • the master projector and the slave projector use the blending coefficient generation unit 14 to integrate the pixel unit blending coefficients, generate a blending coefficient of the entire projection image, and output the blending coefficient to the projection unit 6.
  • the projection unit 6 adjusts the luminance of the projected video indicated by the video signal by changing the signal level of the video signal in accordance with the blending coefficient of the projected video.
  • the video is projected from the projectors PJ1 to PJ3 to each surface so that the blur amount on each surface of the three-dimensional object 102 which is the projection object of the video is minimized.
  • the projectors PJ1 to PJ3 use the three-dimensional sensor 21 provided in the three-dimensional position detection unit 7 to set the three-dimensional object 102 as an image projection target. Measure the position in three dimensions.
  • Three-dimensional position data indicating the measured position of the three-dimensional object 102 is represented by a point data group in the coordinate system of the three-dimensional sensor 21.
  • a measurement method of a three-dimensional position which measures the position (distance with the three-dimensional object 102) of the three-dimensional object 102 in three dimensions there are, for example, a TOF (Time of Flight) method, a passive triangulation method, and an active triangulation method.
  • TOF Time of Flight
  • the TOF method is a method of measuring the distance to an object based on the time from when light is irradiated to the object to when the light is reflected by the object and returns.
  • passive triangulation an object is simultaneously photographed with two cameras arranged at two points, and the distance to the object is calculated using the principle of triangulation from the difference in the position of the object obtained from the photographed image of each camera. It is a so-called stereo camera system to measure.
  • the active triangulation method in the stereo camera method, one of the cameras is replaced with a light emitting device, light is emitted from the light emitting device to the object, and the distance to the light point irradiated to the object is the triangulation principle.
  • Measurement method The measurement method of the three-dimensional position is not limited to the TOF method, the passive triangulation method, and the active triangulation method, and any well-known method may be used.
  • the three-dimensional position detection unit 7 converts the three-dimensional position data of the three-dimensional object 102 detected by the three-dimensional sensor 21 into a projector coordinate system whose origin is the projection center point.
  • the amount of rotation and translation for transforming the coordinate system of the three-dimensional sensor 21 into the coordinate system of the projector, and the reference zoom position and reference lens shift position at the time of determination of the amount of rotation and translation Use are used.
  • the zoom position and the lens shift position of the projection lens unit 20 and the design data of the projection function of the projector stored in the projector projection design data storage unit 15 are used. The conversion process of this coordinate system will be described with reference to FIG.
  • the origin does not coincide with the projection center point of the projector, and the measurement direction is also the optical axis direction of the projection lens of the projector It does not match. That is, as shown in FIG. 5, three-dimensional position data of the three-dimensional object 102 in the sensor coordinate system SA1 to SA3 measured by the three-dimensional sensor 21 and three-dimensional position data of the three-dimensional object 102 in the projector coordinate system PA1 to PA3 Is different.
  • the three-dimensional position data of the three-dimensional object 102 measured by the three-dimensional sensor 21 is converted to three-dimensional position data in the projector coordinate system.
  • the transformation amount of the coordinate system can be defined using rotation amounts with respect to three coordinate axes orthogonal to each other and translation amounts indicating movement amounts with respect to the three coordinate axes.
  • the projection center point which is the origin of the projector coordinate system, is not fixed, but is moved by using the zoom function or the lens shift function. Therefore, together with the rotation amount and the translation amount, the zoom position and the lens shift position at the time of determination of the rotation amount and the translation amount are stored in the calibration data storage unit 22 as a reference zoom position and a reference lens shift position.
  • the three-dimensional position data projector coordinate conversion unit 23 obtains the coordinates of the current projection center point from the current zoom position and lens shift position.
  • the coordinates of the reference projection center point are obtained based on the design data of the projection function stored in the projector projection design data storage unit 15, the reference zoom position and the reference lens shift position.
  • the three-dimensional position data projector coordinate conversion unit 23 converts the three-dimensional position data measured by the three-dimensional sensor 21 into data of the projector coordinate system using the rotation amount and the translation amount stored in the calibration data storage unit 22. Do. Thereafter, in accordance with the current zoom position and the lens shift position, the projector coordinate system is moved by the translation amount from the coordinates of the reference projection center point to the coordinates of the current projection center point. Thus, the three-dimensional position data output from the three-dimensional sensor 21 can be converted into a projector coordinate system having the current projection center point as an origin.
  • the translation amount for converting the coordinates of the reference projection center point to the coordinates of the current projection center point is measured in advance and stored in the three-dimensional position data projector coordinate conversion unit 23.
  • the three-dimensional position data world coordinate conversion unit 24 determines the three-dimensional position data of the three-dimensional object 102 in the projector coordinate system based on the tilt amount of the projector detected by the posture sensor 16 Convert to data.
  • the three-dimensional position data world coordinate conversion unit 24 translates the world coordinate system in the vertical direction so that the minimum value of the coordinate in the vertical direction of the three-dimensional position data becomes “0”.
  • a 3-axis acceleration sensor that can detect a rotation angle with respect to the front and rear axes and a rotation angle with respect to the left and right axes may be used.
  • the projector is installed in an inclined manner in the front-rear direction or the left-right direction with respect to the projection direction of the image, or installed with the top plate vertically upward or vertically downward. Therefore, the three-dimensional position data world coordinate conversion unit 24 converts the three-dimensional position data of the projector coordinate system into the world coordinate system based on the horizontal plane, using the amount of inclination with respect to the horizontal direction detected by the attitude sensor 16 .
  • FIG. 7 shows how three-dimensional position data of the three-dimensional object 102 in the projector coordinate system detected by the projector shown in FIG. 1 is converted into three-dimensional position data of the world coordinate system.
  • FIG. 7A shows three-dimensional position data of the three-dimensional object 102 in the projector coordinate system PA2 detected by the projector PJ2 and the world coordinate system WA2 of the projector PJ2.
  • FIG. 7B shows three-dimensional position data of the three-dimensional object 102 in the projector coordinate system PA1 detected by the projector PJ1 and the world coordinate system WA1 of the projector PJ1.
  • FIG. 7C shows three-dimensional position data of the three-dimensional object 102 in the projector coordinate system PA3 detected by the projector PJ3 and the world coordinate system WA3 of the projector PJ3.
  • Three-dimensional position data detected by the projectors PJ1 to PJ3 are represented by point cloud data PD1 to PD3 indicating the positions of a large number of points in the three-dimensional object 102. Coordinate conversion of the three-dimensional position data is executed to shorten the processing time when integrating the three-dimensional position data of the three-dimensional object 102 detected by the projectors PJ1 to PJ3.
  • the initial projector data generation unit 25 sets the optical axis direction of the projection lens equal to the projection direction of the image to the lens optical axis direction vector, and generates projector data including the projector position coordinate and the lens optical axis direction vector.
  • the projector data world coordinate conversion unit 26 converts the projector data (the projector position coordinate and the lens optical axis direction vector) into the world coordinate system based on the horizontal plane using the tilt amount detected by the posture sensor 16.
  • the projector data world coordinate conversion unit 26 translates the world coordinate system of the projector data in the vertical direction by the shift amount in the vertical direction parallelly moved by the three-dimensional position data world coordinate conversion unit 24.
  • the three-dimensional registration unit 27 determines the three-dimensional position indicated by the three-dimensional position data output from the master projector and the slave projectors. The object 102 is aligned. Further, the three-dimensional registration unit 27 combines the three-dimensional position data after the alignment and integrates them into one three-dimensional position data.
  • the three-dimensional registration unit 27 moves, for example, three-dimensional position data output from the slave projectors (projectors PJ2 and PJ3) to the world coordinate system WA1 of the master projector (projector PJ1). Further, the three-dimensional position data output from each slave projector is rotated and moved with respect to each coordinate axis of world coordinate system WA1 of the master projector so that the same portion of three-dimensional object 102 indicated by each three-dimensional position data overlaps. Integrate.
  • the translation amount indicating the rotation angle and the movement amount with respect to each coordinate axis of the world coordinate system WA1 is a coordinate conversion amount for integrating three-dimensional position data.
  • the three-dimensional position data of the three-dimensional object 102 after integration is, for example, defined in the world coordinate system WA1 of the projector PJ1 which is the master projector as shown in FIG.
  • the three-dimensional sensor 21 provided in the projectors PJ1 to PJ3 can not necessarily measure the distances to all the surfaces of the three-dimensional object 102 because of the presence of the dead angle.
  • the process of integrating the three-dimensional position data of the three-dimensional object 102 is also performed to detect the surface of the three-dimensional object 102 which is a blind spot in some projectors using three-dimensional position data obtained from other projectors. .
  • the three-dimensional position data segmentation unit 28 uses the segmentation parameters stored in advance by the blending control unit 3 to use each of the three-dimensional position data after integration to project each surface of the three-dimensional object 102 to be projected. To detect Hereinafter, the process of detecting each surface of the three-dimensional object 102 is referred to as “segmentation process”.
  • the segmentation parameter is, for example, a value preset by the manufacturer of the projector in advance, and is a value that can be adjusted by the user using the user I / F unit 4 as needed.
  • FIG. 10 is a schematic view showing an example of the segmentation process.
  • the three-dimensional position data segmentation unit 28 first obtains the normal vector 126 at each point of the three-dimensional position data of the solid object 102 composed of the point cloud data 124.
  • the three-dimensional position data segmentation unit 28 finds the normal vector 125 of the triangular surface formed by the point of interest and its peripheral points as shown in FIG. It may be used as a line vector 126.
  • the three-dimensional position data segmentation unit 28 compares the normal vectors 126 of adjacent points, and if their difference is smaller than a predetermined threshold which is a segmentation parameter, the adjacent points are on the same plane 127. Determine that there is. That is, the threshold value set as the segmentation parameter determines how many curved surfaces are to be detected as one surface.
  • the threshold value set as the segmentation parameter determines how many curved surfaces are to be detected as one surface.
  • the example which uses the threshold value set to the difference of the normal vector 126 of an adjacent point as a segmentation parameter was shown. If the content of the segmentation process is different, a value corresponding to the content of the process may be used as a segmentation parameter.
  • the position of each surface of the three-dimensional object 102 extracted by the segmentation processing of the three-dimensional position data segmentation unit 28 included in the surface extraction unit 9 is output as three-dimensional data.
  • the master projector transmits three-dimensional data indicating the position of each surface of the three-dimensional object 102 to be projected and extracted by the surface extraction unit 9 to each slave projector as surface data.
  • the projector data coordinate conversion unit 29 of the slave projector uses the coordinate conversion amount transmitted from the master projector to adjust the projector position coordinate and the lens optical axis direction vector Into the world coordinate system of the master projector.
  • the projector position coordinates and the lens optical axis direction vector after conversion are, for example, the projector position coordinates PO1 and the lens optical axis direction vector LC1 in the world coordinate system WA1 of the master projector (PJ1), as shown in FIG.
  • the projector data switching unit 30 selects the coordinate-converted projector data in the slave projector, and selects the projector data generated by the projector data generation unit 8 in the master projector. That is, the above-mentioned coordinate conversion processing is not performed in the master projector.
  • the pixel information calculation unit 31 generates the following five data (a) to (e) for each pixel of the projection image on each surface of the three-dimensional object 102, and uses the data as surface pixel information.
  • (A) The position of the pixel of the projected image on each surface of the three-dimensional object 102 and the position of the pixel in the image projected from the projector corresponding to the pixel The position of each pixel of the projected image on each surface and the position of each pixel in the image projected from the projector corresponding to each pixel are determined.
  • Projector projection design data storage unit 15 design data of projection function such as angle of view, zoom characteristic, lens shift characteristic etc. of the projector.
  • the resolution is defined by, for example, the number of pixels per unit area (for example, 1 cm 2 ).
  • (C) Projection distance to each pixel of projection image in plane Based on the following data, the distance to each pixel of projection image on the projection plane perpendicular to the optical axis of the projection lens from the projector position coordinate is determined as projection distance .
  • Position of each pixel in the projectable area corresponding to each pixel of the projection video in the plane The position of each pixel of the projection video in the projectable area is determined from the following data.
  • the design data of the projection function such as the angle of view, zoom characteristic, lens shift characteristic, etc. of the own device stored in the projector projection design data storage unit 15.
  • the pixel unit blur amount calculation unit 33 calculates the blur amount for each pixel of the projection video on each surface of the three-dimensional object 102 based on the plane pixel information calculated by the pixel information calculation unit 31.
  • the pixel unit blur amount calculation unit 33 acquires, as a blur amount, an area indicated by the number of pixels for each zoom position stored in the blur amount storage unit 32 corresponding to the focus position and the projection distance.
  • the projection distance is included in the per-plane pixel information calculated by the pixel information calculation unit 31.
  • the focus position and the zoom position are output from the projection lens unit 20.
  • the pixel unit blur amount calculation unit 33 acquires the correction coefficient of the blur amount for each zoom position stored in the blur amount storage unit 32 corresponding to the position of each pixel of the projection video in the projectable area. Each blur amount is multiplied respectively.
  • FIG. 12 shows how the magnitude of blur changes on a plurality of projection planes.
  • the size of the blur of the pixels (a) to (e) of the projection image on the image formation surface is (Ia ⁇ ⁇ ) ⁇ ⁇ (I-e) ⁇ ⁇ ⁇ ⁇ .
  • the magnitude of the blur of the pixels (a) to (e) of the projection image on the imaging plane is (II It shows how it changes from -a) to (II-e).
  • the size of the blur ideally does not depend on the position of the pixel of the projection image on the same projection plane.
  • the actual amount of blur differs depending on the position of the pixel of the projection image on the projection plane. Therefore, in the present embodiment, a correction coefficient is created in advance for each position of the pixel of the projection image on the projection surface based on the actual measurement value measured in advance, and the blur amount is corrected using the correction coefficient.
  • the pixel unit blur amount calculation unit 33 obtains the conversion coefficient of the blur amount for each zoom position stored in the blur amount storage unit 32 corresponding to the position of each pixel of the projection video in the projectable area and the tilt amount to the projection plane. Do. Further, the pixel unit blur amount calculation unit 33 multiplies the blur amount for each pixel of the projection image on each surface corrected by the correction coefficient by the acquired conversion coefficient.
  • FIG. 13 shows how the magnitude of blurring changes as the surface of a three-dimensional object is inclined on a plurality of projection planes.
  • FIG. 13 shows an imaging surface due to the inclined surfaces (Ia) to (Ie) of the solid object on the projection surface (I) at a position close to the projection lens unit 20 with respect to the imaging surface.
  • 7 shows how the magnitudes of blurring of pixels (a) to (e) of the projection image in FIG. 9 change to (Ia) to (Ie).
  • the conversion factor can be ideally obtained from the position of each pixel of the projection image on the projection plane and the inclination angle of the plane of the solid object with respect to the projection plane. However, since it does not actually follow the calculation, it is desirable to determine and store the conversion coefficient in advance based on the actual measurement value measured in advance.
  • the pixel unit blur amount calculation unit 33 sets the blur amount for each pixel of the projection video on each surface finally obtained as the pixel unit blur amount for each plane, and each pixel included in the plane pixel information generated by the pixel information calculation unit 31 The position of each pixel of the projection image on the plane is taken as the per-surface pixel position.
  • the pixel unit blur amount calculation unit 33 combines the surface pixel by region blur amount and the pixel position by surface, and the surface by pixel maximum resolution in each surface of the three-dimensional object 102 included in the pixel data by surface. It is set as unit blur amount data.
  • Blending unit 12 is a pixel-by-pixel blur amount by surface included in the pixel-by-pixel blur amount by surface calculated by the pixel-by-pixel blur calculation unit 33 of each projector
  • the following processing is performed for each face of the three-dimensional object 102 using the face-specific pixel position and the face-specific maximum resolution. Of the highest resolutions of the projectors projected on any surface, the resolution higher than the highest resolution is taken as the surface unit resolution for that surface.
  • the per-plane pixel unit blur amount corresponding to each surface is converted into a per-plane calculation unit blur amount using the per-surface calculation unit resolution while referring to the per-plane pixel position.
  • the amount of blur of the same resolution in a plurality of projectors corresponding to an arbitrary surface of the three-dimensional object 102 can be obtained. This is performed because the resolutions of projected images of a plurality of projectors in the same plane are not the same, and the positions of the pixels of the projected image in the planes do not match, and hence the processing must be performed with the same resolution thereafter. .
  • the blending unit 12 obtains a surface-based calculation unit minimum blending size according to the calculated resolution of each surface from the surface-based calculation unit resolution and the minimum blending pixel number stored in the blending control unit 3.
  • the blending unit 12 outputs the surface-based calculation unit blur amount and the surface-based calculation unit minimum blending size as surface-based calculation unit blur amount data.
  • the blur amount conversion unit 34 sets the resolution higher than the highest resolution among the plane highest resolutions of the projector projected on an arbitrary plane as the plane calculation unit resolution in that plane.
  • the calculation unit blur amount conversion unit 34 converts the blur amount per pixel by face calculated by the blur amount calculation unit by pixel 33 into a per-plane calculation unit resolution included in the surface data while referring to the pixel position by face. It is assumed that the calculation unit blur amount per plane. As a result, in the plurality of projectors that project an image on the same surface of the three-dimensional object 102, the amount of blur at the same resolution is determined.
  • the calculation unit blur amount conversion unit 34 calculates the surface unit calculation unit minimum corresponding to the calculation resolution of each surface from the plane calculation unit resolution and the minimum blending pixel number stored in the blending control unit 3. Determine the blending size. Furthermore, the calculation unit blur amount conversion unit 34 outputs the calculated calculation amount of blur by surface and the minimum blending size of the calculation unit by surface as the data of blur amount calculation unit.
  • An example of the relationship between the per-plane pixel position, the per-plane pixel unit blur amount, and the per-plane calculation unit blur amount in each surface of the three-dimensional object 102 is shown in FIG.
  • the blur minimization region division unit 35 compares the amount of blur per unit of calculation for each projector on an arbitrary surface of the three-dimensional object 102, and blurs the region of the image for each projector with the smallest value. Divide the area to be the conversion area. Hereinafter, the area division is referred to as "blur minimized area division". The blur minimizing region division is performed for each surface of the three-dimensional object 102 detected by the surface extraction unit 9. Further, the blur minimizing area dividing unit 35 determines a blending area, which is an area on which the projected images of the plurality of projectors are superimposed, at the boundary of the areas of the images of the plurality of divided projectors.
  • the blur minimizing area dividing unit 35 uses information indicating the area of the image for each projector in each plane as the area-divided area information by plane, sets the blending area in each plane as the area-oriented blending area, and combines them to perform plane-specific blending It is information.
  • FIG. 14 is a flowchart illustrating an example of processing of the blur minimization region dividing unit.
  • FIG. 15 and FIG. 16 are schematic diagrams showing an example of the blur minimized area division in the multi-projection system shown in FIG.
  • a minimum size ratio (horizontal / vertical) indicating the minimum size of the projection image that is allowed with respect to the size of the surface.
  • An allowable blur amount which is an upper limit value of the blur amount.
  • a prescribed number of projected images indicating the number of projected images to be projected in an overlapping manner.
  • -Calculation unit minimum blending size for all projectors.
  • the minimum size ratio is set in advance by the manufacturer of the projector as a standard, and is set to a value that can be changed by the user.
  • the allowable blur amount and the prescribed number of projected images are set in advance as standard by the manufacturer of the projector, and can be changed by the user as needed.
  • the minimum size ratio, the allowable blur amount, and the prescribed number of projected images are stored in the blending control unit 3 respectively.
  • the blur minimizing area dividing unit 35 executes the blur minimizing area division for each surface of the detected three-dimensional object 102.
  • the blur minimizing area dividing unit 35 sets the area of the image projected from each projector (hereinafter referred to as “image area”) in the plane of the projection target in the following condition 1 and It is determined whether 2 is satisfied (step S1).
  • Condition 1 Size of image area (horizontal / vertical direction) ⁇ size calculated by minimum size ratio (horizontal / vertical direction).
  • Condition 2 Size of image area (horizontal / vertical direction) ⁇ area-based calculation unit twice the minimum blending size (horizontal / vertical direction).
  • the blur minimization region dividing unit 35 proceeds to the processing of step S3.
  • the blur minimization region dividing unit 35 excludes those projectors from the projection candidates of the image on the surface of the projection target in step S2 and invalidates them. Thereafter, the blur minimizing area dividing unit 35 proceeds to the process of step S3.
  • a projector whose size of the image projected on the surface is smaller than a predetermined size is excluded.
  • projectors that can not secure a blending area with a predetermined size of the image projected on the surface are excluded from projectors that project the image on the surface.
  • video with respect to the surface of the said projection object is called "a blurring minimum area
  • the projector PJ 3 minimizes blurring because the image area in the plane to be projected (hereinafter referred to as “projected plane”) is smaller than the size calculated by the minimum size ratio. It is excluded from the segmentation candidate. Further, the projector PJ2 is excluded from the blur minimized area division candidates because the image area on the projection target surface is smaller than twice the area-based calculation unit minimum blending size.
  • the blur minimizing area dividing unit 35 determines whether or not the entire projection target surface can be covered only by the image area of the effective projector remaining as the blur minimizing area dividing candidate (step S3). If the entire projection target surface can not be covered, the blur minimization region dividing unit 35 proceeds to step S7 and invalidates all the projectors. In this case, an image is not projected on the projection target surface processed by the blur minimizing area dividing unit 35 in the three-dimensional object 102.
  • the blur minimizing area dividing unit 35 executes the blur minimizing area division in step S4.
  • the blur minimizing area division using all or part of the effective projector's image area, the combination of effective projector's image areas that can minimize the blur amount and cover the entire projection target surface is determined. Do.
  • the blur minimizing area dividing unit 35 determines an effective combination of projectors under the condition that the size of each image area is not smaller than the size calculated by the minimum size ratio.
  • the blur minimizing area dividing unit 35 provides an area on which an image is projected in an overlapping manner on the boundaries of the image areas of a plurality of projectors, that is, a blending area.
  • the blending area is the widest size among the calculation unit minimum blending sizes of the plurality of projectors, and the blur minimizing area dividing unit 35 performs the blur minimizing area division so as to secure the blending area of this size .
  • FIG. 16 shows an example of the blur minimized area division and blending area.
  • FIG. 16A shows the distribution of the blurred area of the projected image of the projectors PJ1 to PJ3 on the projection target surface.
  • FIG. 16B shows an example of the image area of the projectors PJ1 to PJ3 after the blur minimization area division is performed based on the distribution of the blur area shown in FIG. 16A.
  • FIG. 16C shows an example of blending coefficients to be given to the projectors PJ1 to PJ3 on the projection target surface.
  • the left half area uses the projector PJ2
  • the right end area uses the projector PJ3, and the remaining area projects the image using the projector PJ1.
  • the blur amount is minimized.
  • Blending areas are respectively provided at the boundary between the projectors PJ1 and PJ2 and at the boundary between the projectors PJ1 and PJ3.
  • the blur minimizing area dividing unit 35 determines that the blur minimizing area division has failed. In addition, the blur minimizing area dividing unit 35 determines the combination of the above-described image areas based on the prescribed number of projection images indicating the number of projection images to be projected in an overlapping manner.
  • FIG. 17 in order to increase the brightness of the projected image, two projectors are arranged at each of the positions of the projectors shown in FIG. 1 so that the image areas of the two projectors substantially overlap.
  • FIG. 17 shows an example in which the projectors PJ1 and PJ4 are arranged at the position of the projector PJ1 shown in FIG. Similarly, FIG.
  • FIG. 17 shows an example in which the projectors PJ2 and PJ5 are arranged at the position of the projector PJ2 shown in FIG. 1 and the projectors PJ3 and PJ6 are arranged at the position of the projector PJ3.
  • the prescribed number of projected images is “2”.
  • step S5 the blur minimizing area dividing unit 35 determines whether or not the blur minimizing area division has succeeded in step S4. If the blur minimization area division fails, the blur minimization area division unit 35 proceeds to step S7 and invalidates all the projectors. If the blurring minimized area division is successful, the blurring minimized area dividing unit 35 determines in step S6 whether or not the maximum value of the amount of blurring of each area after the blurring minimized area division is equal to or less than the allowable blurring amount. Do. If the maximum value of the blur amount is larger than the allowable blur amount, the blur minimizing area dividing unit 35 proceeds to step S7 and invalidates all the projectors. If the maximum value of the blur amount is smaller than the allowable blur amount, the blur minimizing area dividing unit 35 ends the blur minimizing area division.
  • the blending coefficient is set to a value in the range of “0” to “1”, and is set to “0” so that the image is not projected in the image area not selected as the blur minimizing area.
  • the blending coefficient is set to “1” in the area excluding the blending area among the video areas selected as the blur minimizing area, and “0” to “1” or “1” to “0” in the blending area. Set to a value that changes gradually.
  • FIG. 16C shows an example in which the blending coefficient is linearly changed in the blending region
  • the blending coefficient may not necessarily be linearly changed.
  • An example of the relationship between the per-surface calculation unit blur amount, the per-surface pixel unit blur amount after the blur minimization region division, and the per-surface calculation unit blending coefficient is shown in FIG.
  • Pixel Unit Blending Coefficient Conversion Unit 37 Converts the Surface-by-Plane Calculation Unit Blending Coefficients Output from Blending Coefficient Switching Unit 13 into Each Surface of Solid Object 102 It converts into the blending coefficient for every pixel position of the projection image in. For the conversion of the blending coefficient, each pixel position of the projection image on each surface of the three-dimensional object 102 included in the pixel information by surface output from the blur estimation unit 11 is used.
  • the pixel unit blending coefficient integration unit 38 integrates the blending coefficients converted by the pixel unit blending coefficient conversion unit 37, and generates a projection image blending coefficient.
  • the generation of the projection image blending coefficient uses the position of the pixel in the image to be projected corresponding to each pixel of the projection image on the surface of the three-dimensional object 102, which is included in the plane-specific pixel information.
  • An example of the relationship between the surface-based calculation unit blending coefficient, the surface-based pixel-based blending coefficient, and the integrated blending coefficient for projection image is shown in FIG.
  • FIGS. 18 to 32 The diagrams shown in the upper left as viewed from the front of FIGS. 18 to 32 respectively show planes (projection target planes) on which the image in the three-dimensional object 102 shown in FIG. 1 is projected.
  • Each (a) of FIG. 18 to FIG. 32 shows the image area of the projectors PJ1 to PJ3 and the blur amount thereof on the respective projection target surfaces.
  • each (b) in FIG. 18 to FIG. 32 shows the image area (blur minimizing area) projected from the projectors PJ1 to PJ3 after the blur minimizing area division and the blur amount thereof.
  • the blur amount is indicated by the square root of the blur area.
  • the size calculated by the minimum size ratio used in the process of step S1 shown in FIG. 14 is 10 times the size in the vertical direction and horizontal direction of the plane. And%.
  • the size and the area-by-area calculation unit minimum blending size in which the size of the image area is calculated by the minimum size ratio.
  • FIG. The projection image of the projector PJ 2 is partially projected at a shallow angle on the projection target surface of the three-dimensional object 102 shown at the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size in the vertical direction of the video region of the projector PJ 2 does not satisfy the condition 2 in step S1 of FIG. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ2 from the blur minimizing area division candidates in step S2 of FIG. Therefore, there is no effective projector.
  • the blur minimization region dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 18 can not be covered in the effective projector image region. As a result, the blur minimizing area dividing unit 35 invalidates all the projectors in step S7 and ends the processing.
  • the calculation unit blending coefficient calculation unit 36 sets all calculation coefficient blending units of the image areas of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG. Set to Therefore, no image is projected from any of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • the blur reduction region division unit 35 determines that the size in the vertical direction of the video region of the projector PJ 3 does not satisfy the condition 2 in step S1 of FIG. 14. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ3 from the blur minimizing area dividing candidates in step S2 of FIG. Therefore, there is no effective projector. In step S3 of FIG. 14, the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 19 can not be covered with the effective projector image area. As a result, the blur minimizing area dividing unit 35 invalidates all the projectors in step S7 and ends the processing.
  • the calculation unit blending coefficient calculation unit 36 sets all calculation coefficient blending units of the image areas of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG. Set to Therefore, no image is projected from any of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. The projection image of the projector PJ2 is entirely projected on the projection target surface of the three-dimensional object 102 shown at the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size of the video region of the projectors PJ1 and PJ2 satisfies the above conditions 1 and 2 in step S1 of FIG.
  • the blur minimizing area dividing unit 35 determines in step S3 in FIG. 14 that the entire projection target surface shown in FIG. 20 can be covered with the image areas of the effective projectors PJ1 and PJ2.
  • the blur minimizing area dividing unit 35 sets the image area of the projector PJ1 on the right end of the projection target surface of the three-dimensional object 102 shown in FIG. judge.
  • the blending area is determined using the surface-based calculation unit minimum blending size of the projector PJ1.
  • the calculation unit blending coefficient calculation unit 36 sets the surface calculation unit blending coefficient of the area not selected as the blur minimizing area to “0” in the image areas of the projectors PJ1 and PJ2. Do. Further, the calculation unit blending coefficient calculation unit 36 sets an area other than the blending area in the blur minimizing area to “1”, and changes the blending area from “0” to “1” or “1” to “0”. Set to a value that changes gradually. Therefore, an image is projected from the projectors PJ1 and PJ2 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • the blur minimization region division unit 35 determines that the horizontal size of the video region of the projector PJ1 does not satisfy the condition 1 in step S1 of FIG. 14. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ1 from the blur minimizing area dividing candidates in step S2 of FIG. In addition, the blur minimizing area dividing unit 35 determines that the size of the image area of the projector PJ 3 satisfies the above conditions 1 and 2 in step S1 of FIG. 14. The blur minimizing area dividing unit 35 determines in step S3 of FIG. 14 that the entire projection target surface of the three-dimensional object 102 shown in FIG. 21 can be covered with the image area of the effective projector PJ3. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ3 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface shown in FIG. 21 to “0”. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ 3 on the projection target surface of the three-dimensional object 102 shown in FIG. 21 to “1”. Therefore, an image is projected only from the projector PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 1 The projection image of the projector PJ2 is entirely projected on the projection target surface of the three-dimensional object 102 shown at the upper left when viewed from the front of FIG. 22, and the projection image of the projector PJ1 is projected at a shallow angle though.
  • the blur minimization region division unit 35 determines that the horizontal size of the video region of the projector PJ1 does not satisfy the condition 2 in step S1 of FIG. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ1 from the blur minimizing area dividing candidates in step S2 of FIG. Further, the blur minimizing area dividing unit 35 determines that the size of the image area of the projector PJ 2 satisfies the above conditions 1 and 2 in step S1 of FIG. The blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 22 can be covered with the image area of the effective projector PJ 2 in step S3 of FIG. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ2 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. In addition, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ2 on the projection target surface of the three-dimensional object 102 shown in FIG. 22 to “1”. Therefore, an image is projected only from the projector PJ2 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 6 The projection image of the projector PJ3 is entirely projected on the projection target surface of the three-dimensional object 102 shown at the upper left when viewed from the front of FIG. 23, and the projection image of the projector PJ1 is projected at a shallow angle although it is overall.
  • the blur minimization region division unit 35 determines that the size in the horizontal direction of the video region of the projector PJ1 does not satisfy the condition 2 in step S1 of FIG. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ1 from the blur minimizing area dividing candidates in step S2 of FIG. In addition, the blur minimizing area dividing unit 35 determines that the size of the image area of the projector PJ 3 satisfies the above conditions 1 and 2 in step S1 of FIG. 14. The blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 23 can be covered with the image area of the effective projector PJ 3 in step S3 of FIG. 14. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ3 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the surface of the three-dimensional object 102 shown in FIG. 23 to “0”. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ 3 on the projection target surface of the three-dimensional object 102 shown in FIG. 23 to “1”. Therefore, an image is projected only from the projector PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 24 The projection image of the projector PJ1 is entirely projected on the projection target surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size of the video region of the projector PJ1 satisfies the above conditions 1 and 2 in step S1 of FIG. In step S3 of FIG. 14, the blur minimization region dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 24 can be covered with the image region of the effective projector PJ1. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ1 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Therefore, an image is projected only from the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 25 The projection image of the projector PJ1 is entirely projected on the surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size of the video region of the projector PJ1 satisfies the above conditions 1 and 2 in step S1 of FIG. In step S3 of FIG. 14, the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 25 can be covered with the image area of the effective projector PJ1. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ1 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Therefore, an image is projected only from the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 9 The projection image of the projector PJ1 is entirely projected on the projection target surface of the three-dimensional object 102 shown in the upper left when viewed from the front of FIG. 26, and the projection image of the projector PJ2 is partially projected.
  • the blur minimization area division unit 35 determines that the horizontal size of the video area of the projector PJ 2 does not satisfy the condition 1 in step S1 of FIG. 14. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ2 from the blur minimizing area division candidates in step S2 of FIG. In addition, the blur minimizing area dividing unit 35 determines that the size of the video area of the projector PJ1 satisfies the above conditions 1 and 2 in step S1 of FIG. In step S3 of FIG. 14, the blur minimization region dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 26 can be covered with the image region of the effective projector PJ1. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ1 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ 2 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. 26 to “1”. Therefore, an image is projected only from the projector PJ1 on the surface of the three-dimensional object 102 shown in FIG.
  • FIG. 27 The projection image of the projector PJ1 is entirely projected, and the projection image of the projector PJ3 is partially projected, on the projection target surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size of the video region of the projector PJ1 satisfies the above conditions 1 and 2 in step S1 of FIG. In addition, the blur minimizing area dividing unit 35 determines that the size of the image area in the horizontal direction of the projector PJ 3 does not satisfy the above-described condition 2 in step S1 of FIG. 14. Therefore, the blur minimizing area dividing unit 35 excludes the projector PJ3 from the blur minimizing area dividing candidates in step S2 of FIG. The blur minimizing area dividing unit 35 determines in step S3 in FIG. 14 that the entire projection target surface of the three-dimensional object 102 shown in FIG. 27 can be covered with the image area of the effective projector PJ1. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ1 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ 3 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. 27 to “1”. Therefore, an image is projected only from the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 1 The projection image of the projector PJ1 is entirely projected on the projection target surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur reduction region division unit 35 determines that the size of the video region of the projector PJ1 satisfies the above conditions 1 and 2 in step S1 of FIG. In step S3 of FIG. 14, the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 28 can be covered with the image area of the effective projector PJ1. The blur minimizing area dividing unit 35 determines that the image area of the projector PJ1 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Therefore, an image is projected only from the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • Figure 29 The projection image of the projector PJ2 is entirely projected on the surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG. 29 and the projection image of the projector PJ1 is partially projected.
  • the blur minimizing area dividing unit 35 determines that the sizes of the image areas of the projectors PJ1 and PJ2 satisfy the above conditions 1 and 2 in step S1 of FIG. 14. .
  • the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 29 can be covered with the image areas of the effective projectors PJ1 and PJ2.
  • the blur minimizing area dividing unit 35 determines that the image area of the projector PJ2 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ 2 on the projection target surface of the three-dimensional object 102 shown in FIG. 29 to “1”. Therefore, an image is projected only from the projector PJ2 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. 30 The projection image of the projector PJ 3 is entirely projected on the projection target surface of the three-dimensional object 102 shown in the upper left when viewed from the front of FIG. 30, and the projection image of the projector PJ 1 is partially projected.
  • the blur minimizing area dividing unit 35 determines that the size of the video area of the projectors PJ1 and PJ3 satisfies the above conditions 1 and 2 in step S1 of FIG. 14. .
  • the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 30 can be covered with the image areas of the effective projectors PJ1 and PJ3.
  • the blur minimizing area dividing unit 35 determines that the image area of the projector PJ3 is a blur minimizing area in step S4 of FIG.
  • the calculation unit blending coefficient calculation unit 36 sets all surface calculation unit blending coefficients of the image area of the projector PJ1 on the projection target surface of the three-dimensional object 102 shown in FIG. Do. Further, the calculation unit blending coefficient calculation unit 36 sets all of the surface calculation unit blending coefficients of the image area of the projector PJ 3 on the projection target surface of the three-dimensional object 102 shown in FIG. 30 to “1”. Therefore, an image is projected only from the projector PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. The projection image of the projector PJ1 is entirely projected, and the projection images of the projectors PJ2 and PJ3 are partially projected, on the projection target surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur minimizing area dividing unit 35 determines that the size of the video area of the projectors PJ1 to PJ3 satisfies the above conditions 1 and 2 in step S1 of FIG. 14. .
  • the blur minimizing area dividing unit 35 determines that the entire projection target surface of the three-dimensional object 102 shown in FIG. 31 can be covered with the image areas of the effective projectors PJ1 to PJ3 in step S3 of FIG.
  • the blur minimizing area dividing unit 35 determines that the image area of the projector PJ2 is the blur minimizing area at the left end side of the projection target plane, and blurs the image area of the projector PJ1 at the center of the projection target plane.
  • the image area of the projector PJ 3 is determined as the blur minimized area. Further, the blur minimizing area dividing unit 35 sets a blending area at the boundary between the image areas of the projectors PJ1 and PJ2 using the calculation unit minimum blending size for each plane of the projector PJ1. Further, the blur minimizing area dividing unit 35 sets a blending area at the boundary between the image areas of the projectors PJ1 and PJ3 using the calculation unit minimum blending size for each plane of the projector PJ1.
  • the calculation unit blending coefficient calculation unit 36 sets “0” to “0” of the surface calculation unit blending coefficients of the video region not selected as the blur minimizing region among the video regions of the projectors PJ1, PJ2 and PJ3. Set to ". Further, the calculation unit blending coefficient calculation unit 36 sets an image area other than the blending area in the blur minimizing area to “1”, and the blending area is from “0” to “1” or “1” to “0”. Set to a value that changes gradually. Therefore, images are projected from the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • FIG. The projection image of the projector PJ1 is entirely projected, and the projection images of the projectors PJ2 and PJ3 are partially projected on the projection target surface of the three-dimensional object 102 shown in the upper left as viewed from the front of FIG.
  • the blur minimizing area dividing unit 35 determines that the size of the video area of the projectors PJ1 to PJ3 satisfies the above conditions 1 and 2 in step S1 of FIG. 14. .
  • the blur minimizing area dividing unit 35 determines in step S3 of FIG. 14 that the entire projection target surface of the three-dimensional object 102 shown in FIG. 32 can be covered with the image areas of the effective projectors PJ1 to PJ3.
  • step S4 in FIG. 14 the blur minimizing area dividing unit 35 determines that the image area of the projector PJ2 is the blur minimizing area at the left end side of the projection target plane, and blurs the image area of the projector PJ1 at the center of the projection target plane.
  • the blur minimizing area dividing unit 35 determines that the image area of the projector PJ3 is the blur minimizing area on the right end side of the projection target surface. Further, the blur minimizing area dividing unit 35 sets a blending area at the boundary between the image areas of the projectors PJ1 and PJ2 using the calculation unit minimum blending size for each plane of the projector PJ1. Further, the blur minimizing area dividing unit 35 sets a blending area at the boundary between the image areas of the projectors PJ1 and PJ3 using the calculation unit minimum blending size for each plane of the projector PJ1. However, as shown in FIG. 32A, in step S6 of FIG.
  • the blur minimizing area dividing unit 35 has the maximum value of the amount of blurring of each area after the blur minimizing area division is larger than the allowable blurring amount. It is determined that As a result, the blur minimizing area dividing unit 35 invalidates all the projectors in step S7 and ends the processing.
  • the calculation unit blending coefficient calculation unit 36 sets all calculation coefficient blending units of the image areas of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG. Set to Therefore, no image is projected from any of the projectors PJ1 to PJ3 on the projection target surface of the three-dimensional object 102 shown in FIG.
  • the projector in which the master-specific calculation unit blur amount on the projection target surface of the three-dimensional object 102 is minimum based on the calculation amount per unit of blur calculated by the blur amount estimation unit 11. Determine the area to project each image.
  • a projector that projects an image with a large amount of blur is invalidated. Therefore, the video is not projected from the projector that projects the video with a large amount of blur. Therefore, the increase in the amount of blur of the projection image on each surface of the three-dimensional object 102 is suppressed.
  • the master projector excludes projectors whose image area is too small relative to the size of the projection target plane of the three-dimensional object 102 and projectors whose blending area can not be secured from the candidates for projecting an image on the projection target plane as invalid. Do. Therefore, an image from an unintended projector or an image with greatly reduced resolution is not projected onto the projection target surface. Therefore, the deterioration of the projection image on each surface of the three-dimensional object 102 is suppressed. Therefore, according to the present embodiment, the increase in the amount of blur of the projected image on each surface of the three-dimensional object 102 and the deterioration of the projected image on each surface of the three-dimensional object 102 are suppressed.
  • FIG. 33 is a block diagram showing an example of the configuration of a projector according to the second embodiment.
  • the projector of the second embodiment has a configuration excluding the blur amount storage unit 32 provided in the projector of the first embodiment shown in FIG.
  • the pixel unit blur amount calculation unit 33 relates to the per-plane pixel information calculated by the pixel information calculation unit 31 and the projection function stored in the projector projection design data storage unit Design data is input.
  • the pixel unit blur amount calculation unit 33 uses the per-plane pixel information calculated by the pixel information calculation unit 31 and the actual value stored in the blur amount storage unit 32 to use the three-dimensional object 102. The pixel unit blur amount in each surface of is calculated.
  • the pixel unit blur amount calculation unit 33 calculates the pixel unit blur amount on each surface of the three-dimensional object 102 using the pixel information by surface and the design data related to the projection function. Calculated theoretically. A method of calculating the amount of blur per pixel on each surface of the three-dimensional object 102 is known to those skilled in the art, and thus the description thereof is omitted here. The other configurations and operations are the same as those of the projector of the first embodiment, and thus the description thereof is omitted.
  • the measured value is not used as the blur amount for each zoom position according to the focus position and the projection distance, the correction coefficient for the blur amount, and the conversion coefficient for the blur amount. Accuracy may be reduced. However, in the second embodiment, at the time of manufacture of the projector, the blur amount for each zoom position according to each focus position and projection distance, the correction coefficient of the blur amount, the conversion coefficient of the blur amount, etc. There is no need to keep it. Therefore, according to the second embodiment, compared with the first embodiment, the manufacturing process of the projector is shortened, and the manufacturing cost of the projector is also reduced.
  • FIG. 34 is a block diagram showing an example of the main configuration of a projector according to the present invention.
  • a projector 200 according to the third embodiment includes a blur amount estimation unit 201 and a blending unit 202.
  • the blur amount estimation unit 201 estimates blur amounts of images projected from the projector 200 on a plurality of planes of the three-dimensional object 102.
  • the blending unit 202 generates an image on a plurality of planes of the three-dimensional object 102 based on the blur amount estimated by the blur amount estimation unit 201 and the blur amount notified from a projector other than the projector 200 among the plurality of projectors.
  • the areas of the image projected from the plurality of projectors are determined for each of the plurality of planes so that the amount of blur is minimized.
  • the blur amount estimation unit 11 shown in the first and second embodiments is an example of the blur amount estimation unit 201.
  • the blending unit 12 shown in the first and second embodiments is an example of the blending unit 202.
  • the present invention can take the forms described in the following appendices, but is not limited to the forms described in the appendices.
  • a multi-projection system for projecting an image from a plurality of projectors onto a three-dimensional object A master projector, which is one of the plurality of projectors, which controls the operation of the multi-projection system; A slave projector that is not the master projector among the plurality of projectors that executes processing according to an instruction of the master projector; Have The slave projector is Each of the plurality of surfaces of the three-dimensional object is estimated on the amount of blur of the image projected from the device itself, and the estimated amount of blur is provided to the master projector; The master projector is Each of the plurality of planes is estimated based on the amount of blur estimated by the device and the amount of blur estimated by the slave projector, on each of the plurality of surfaces of the three-dimensional object.
  • the multi-projection system which determines the area
  • the master projector is The multi-projection system which excludes the projector whose size of the image projected on the said surface is smaller than a preset size with respect to the size of the field which the said solid thing has from the projector which projects an image on the said surface.
  • the master projector is When an image is projected onto the same surface of the three-dimensional object from the plurality of projectors, a blending region which is a region in which a part of each image is superimposed is provided at the boundary of adjacent images on the surface;
  • the multi-projection system which excludes the projector which can not ensure the said blending area
  • the master projector and the slave projector are Each provided with a three-dimensional position sensor that measures the position of the three-dimensional object in three dimensions;
  • the master projector is Three-dimensional position data indicating positions of the three-dimensional object measured by the three-dimensional position sensor provided in the own device and the slave projector are integrated, and a plurality of the three-dimensional objects are provided based on the three-dimensional position data after integration.
  • Multi-projection system that detects the plane of
  • the master projector is The normal vector of each point of the integrated three-dimensional position data of the three-dimensional object consisting of point group data is determined, and the difference between the normal vectors of the adjacent points is smaller than a predetermined threshold.
  • the multi-projection system which each detects the several surface which the said three-dimensional object has by determining that the said adjacent point exists on the same surface.
  • the master projector and the slave projector are The highest resolution among the resolutions of the image projected from the projector in the plurality of planes of the three-dimensional object is set as the calculated resolution for each plane of the three-dimensional object, and the plurality of planes in the plurality of planes of the three-dimensional object
  • the blur amount per pixel of each surface of the image projected from the projector is calculated for each surface of the solid object, and the blur amount per pixel of the surface is a blur amount at the resolution in the calculation
  • a multi-projection system which converts a separate calculation unit blur amount and uses the per-plane calculation unit blur amount as the estimated blur amount in a plurality of planes included in the three-dimensional object.
  • the master projector and the slave projector are The blur amount for each zoom position according to the focus position of the projection lens and the distance to the projection surface measured in advance, the focus position corresponding to the position of each pixel of the image to be projected, and the distance to the projection surface Converting the amount of blur for each zoom position according to the distance between the focus position corresponding to the correction coefficient of the amount of blur for each zoom position and the amount of inclination of the surface of the three-dimensional object with respect to the projection surface Save the measured values of the coefficients respectively,
  • requires the said pixel unit blurring amount per surface based on the said actual value.
  • the master projector is The multi-projection system which does not project an image on the said surface by making all the said projectors invalid, when the minimum amount of blurring of the image
  • the master projector is Setting a coefficient for adjusting the luminance of each pixel of the video signal corresponding to the video projected onto the plurality of planes of the three-dimensional object; "0" is set as the coefficient to the video signal corresponding to the image projected by the projector excluded from the projector which projects the image onto the surface of the three-dimensional object.
  • the video signal corresponding to the video projected onto the blending area is used as the coefficient Set a value that gradually changes from “0” to “1” or “1” to “0”,
  • the video signal corresponding to the video projected onto the region excluding the blending region Is a multi-projection system that sets "1" as the coefficient.
  • a video projection method for projecting an image onto a three-dimensional object from a plurality of projectors provided in a multi-projection system A master projector, which is one of the plurality of projectors, which controls the operation of the multi-projection system;
  • Each of the plurality of surfaces of the three-dimensional object is estimated on the amount of blur of the image projected from the device itself, and the estimated amount of blur is provided to the master projector;
  • the master projector is Each of the plurality of planes is estimated based on the amount of blur estimated by the device and the amount of blur estimated by the slave projector, on each of the plurality of surfaces of the three-dimensional object.
  • a blur amount estimation unit configured to estimate the blur amount of an image projected from the projector on a plurality of planes of the three-dimensional object; The amount of blur of the image on the plurality of planes is based on the amount of blur estimated by the blur amount estimation unit and the amount of blur estimated by the projector notified by a projector other than the projector among the plurality of projectors.
  • a blending unit configured to determine an area of an image projected from the plurality of projectors for each of the plurality of planes so as to minimize each of the plurality of planes; Projector with.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムであって、マスタプロジェクタとスレーブプロジェクタとを有し、スレーブプロジェクタは、立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量をマスタプロジェクタに提供し、マスタプロジェクタは、立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及びスレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、複数のプロジェクタから投射する映像の領域を複数の面毎にそれぞれ決定する。

Description

マルチプロジェクションシステム、映像投射方法及びプロジェクタ
　本発明はマルチプロジェクションシステム、該マルチプロジェクションシステムが備える複数のプロジェクタから立体物に映像を投射する映像投射方法及び該マルチプロジェクションシステムが備えるプロジェクタに関する。
　近年、プロジェクタを用いて建造物、人体、家具、自動車、樹木、凹凸を有する壁面等の様々な立体物に映像を投射するプロジェクションマッピングが盛んに行われている。プロジェクションマッピングでは、奥行きのある立体物へ映像を投射するため、投射映像内で焦点が合わない部位（ボケ）が生じてしまう課題がある。そのため、背景技術のプロジェクションマッピングでは、例えば焦点が合っているように見える結像面との距離（投射距離）の範囲が広い、すなわち被写界深度が深い投射レンズを用いることでボケを軽減する手法が採用されていた。あるいは、背景技術のプロジェクションマッピングでは、ボケが大きくなる投射面に対して低解像度の映像を投射する等、投射映像の作成時における工夫でボケの影響を低減する手法が採用されていた。
　プロジェクションマッピングでは、複数台のプロジェクタを用いて１つあるいは複数の映像を投射するマルチプロジェクションが多く用いられる。
　マルチプロジェクションでは、任意のプロジェクタから任意の面に投射される映像のボケ量が少なくても、他のプロジェクタから同じ面にボケ量が大きい映像が投射されると、該面における映像のボケ量が増大してしまう課題がある。
　また、立体物へ映像を投射するマルチプロジェクションでは、任意の面に対して意図しないプロジェクタから意図しない映像が投射されることがある。さらに、立体物へ映像を投射するマルチプロジェクションでは、任意の面に対する投射映像の傾きが極端に大きいと、該面に解像度が大きく低下した映像が投射されることになる。そのため、意図しない映像が投射された面、または解像度が大きく低下した映像が投射された面では、投射映像が悪化する課題もある。
　なお、マルチプロジェクションにおける投射映像を補正するための技術は、例えば特許文献１～３で提案されている。
　特許文献１には、複数のプロジェクタと複数の投射面との距離をそれぞれ測定し、投射面との距離が焦点距離に相当するプロジェクタを選択して映像を投射することで、焦点の合った映像を表示する技術が記載されている。
　特許文献２には、スタック投影またはステレオ投影に用いる複数のプロジェクタから特性が異なる調整用画像をそれぞれ投射し、該調整用画像の撮像データに基づいて各プロジェクタの投射条件を調整することが記載されている。調整用画像の特性とは、波長域、偏光特性、投射位置等であり、投射条件とは、焦点距離やズーム倍率の調整値、台形歪の補正値等である。
　特許文献３には、映像を投射するスクリーンの三次元位置を測定し、該三次元位置に基づいてスクリーン毎に投射する投射映像の幾何補正を行うことが記載されている。
特開２００７－１５６３２５号公報 特開２０１２－０４７８４９号公報 特開２０１３－１６５３４４号公報
　特許文献１に記載された技術は、立体物の面毎に焦点の合った映像を表示できるプロジェクタを選択して映像を投射するものである。そのため、同じ面に対して複数のプロジェクタから映像を投射する際に生じる上記の課題を解決することはできない。一方、特許文献２及び３に記載された技術は、立体物に映像を投射するためのものではない。
　本発明は、立体物への投射映像におけるボケ量の増大、並びに立体物への投射映像の悪化を抑制できるマルチプロジェクションシステム、映像投射方法及びプロジェクタを提供することを目的とする。
　上記目的を達成するため本発明のマルチプロジェクションシステムは、複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムであって、
　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
を有し、
　前記スレーブプロジェクタは、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
　前記マスタプロジェクタは、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定する構成である。
　一方、本発明の映像投射方法は、マルチプロジェクションシステムが備える複数のプロジェクタから立体物に映像を投射する映像投射方法であって、
　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
を備え、
　前記スレーブプロジェクタが、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
　前記マスタプロジェクタが、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定する方法である。
　本発明のプロジェクタは、複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムにおいて、前記複数のプロジェクタのうち１つのプロジェクタであって、
　前記立体物が有する複数の面における、当該プロジェクタから投射する映像のボケ量をそれぞれ推定するボケ量推定部と、
　前記ボケ量推定部が推定したボケ量と、前記複数のプロジェクタのうち当該プロジェクタ以外のプロジェクタから通知された該プロジェクタで推定されたボケ量とに基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定するブレンディング部と、
を有する。
　本発明によれば、立体物への投射映像におけるボケ量の増大、並びに立体物への投射映像の悪化を抑制できる。
図１は、本発明のマルチプロジェクションシステムの一構成例を示す模式図である。 図２は、複数のプロジェクタから投射する映像と立体物の各面における映像との関係例を示す模式図である。 図３は、第１の実施の形態のプロジェクタの一構成例を示すブロック図である。 図４は、３次元センサを搭載したプロジェクタとその投射エリアの関係例を示す模式図である。 図５は、センサ座標系とプロジェクタ座標系の関係例を示す模式図である。 図６は、プロジェクタの配置例を示す模式図である。 図７は、図１に示したプロジェクタで検出したプロジェクタ座標系における立体物の３次元位置データの一例を示す模式図である。 図８は、図１に示したプロジェクタから得られた立体物の３次元位置データを統合する様子を示す模式図である。 図９は、立体物の統合後の３次元位置データの一例を示す模式図である。 図１０は、セグメンテーション処理の一例を示す模式図である。 図１１は、立体物の面における投射映像の画素毎の位置、ボケ量及びブレンディング係数の一例を示す模式図である。 図１２は、プロジェクタを側面または上面から見たときの複数の投射面における投射映像の様子を示す模式図である。 図１３は、映像の投射対象である立体物の各面がプロジェクタの投射面に対して傾いている様子を示す模式図である。 図１４は、ボケ最小化領域分割部の一処理例を示すフローチャートである。 図１５は、図１に示したマルチプロジェクションシステムにおけるボケ最小化領域分割の一例を示す模式図である。 図１６は、図１で示したマルチプロジェクションシステムにおけるボケ最小化領域分割の他の例を示す模式図である。 図１７は、図１で示した各プロジェクタの位置にそれぞれプロジェクタを２台ずつ配置したマルチプロジェクションシステムの構成例を示す模式図である。 図１８は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図１９は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２０は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２１は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２２は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２３は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２４は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２５は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２６は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２７は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２８は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図２９は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図３０は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図３１は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図３２は、図１で示したマルチプロジェクションシステムの立体物の面におけるブレンディング動作例を示す模式図である。 図３３は、第２の実施の形態のプロジェクタの一構成例を示すブロック図である。 図３４は、本発明のプロジェクタの主要な構成例を示すブロック図である。
　次に本発明について図面を用いて説明する。
（第１の実施の形態）
　図１は、本発明のマルチプロジェクションシステムの一構成例を示す模式図である。
　図１で示すように、本発明のマルチプロジェクションシステムは、複数のプロジェクタ（図３では３台）ＰＪ１～ＰＪ３を備え、それらが通信手段を介して互いにデータや信号の送受信が可能に接続された構成である。マルチプロジェクションシステムが備えるプロジェクタの数は３台に限定されるものではなく、２台以上であれば何台でもよい。通信手段としては、ＲＳ（Recommended Standard）－２３２規格に準拠した通信装置、あるいは周知の通信方式で実現された有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等を用いる。通信手段は、これらに限定されるものではなく、その他の通信方式を用いて実現してもよい。
　プロジェクタＰＪ１～ＰＪ３には、パーソナルコンピュータ等の映像出力装置１０３から映像信号が入力される。プロジェクタＰＪ１～ＰＪ３は、入力された映像信号が示す映像を投射対象となる立体物１０２へ投射する。
　図１では、プロジェクタＰＪ１の投射中心点をＴＣ１で示し、その投射エリアをＴＡ１で示し、その結像面をＩＰ１で示し、該プロジェクタＰＪ１に入力される映像信号が示す投射映像をＴＩ１で示している。同様に、図１では、プロジェクタＰＪ２の投射中心点をＴＣ２で示し、その投射エリアをＴＡ２で示し、その結像面をＩＰ２で示し、該プロジェクタＰＪ２に入力される映像信号が示す投射映像をＴＩ２で示している。また、図１では、プロジェクタＰＪ３の投射中心点をＴＣ３で示し、その投射エリアをＴＡ３で示し、その結像面をＩＰ３で示し、該プロジェクタＰＪ３に入力される映像信号が示す投射映像をＴＩ３で示している。投射エリアＴＡ１～ＴＡ３は、プロジェクタＰＪ１～ＰＪ３の結像面ＩＰ１～ＩＰ３における、該プロジェクタＰＪ１～ＰＪ３から投射される映像の範囲をそれぞれ示している。
　以下、図１に示すマルチプロジェクションシステムを例にして説明する場合、該説明に用いる図には、各プロジェクタ及び立体物、並びに各プロジェクタの投射中心点、結像面及び投射映像に対して、上記と同じ符号が付与される。
　図１で示す立体物１０２の１つの面に対して複数のプロジェクタから映像を投射する場合、それら複数のプロジェクタから投射する映像は、該面において同じ映像となるように予め作成されているものとする。
　ここで、複数のプロジェクタから投射する映像と立体物の各面における映像との関係について、図２を用いて具体的に説明する。図２は、説明を簡単にするために、立体物が面Ａ、面Ｂ及び面Ｃの３面で構成される例を示している。
　図２で示すように、立体物の面Ａの正面にはプロジェクタＰＪ１が設置され、立体物の面Ｂの正面にはプロジェクタＰＪ２が設置され、立体物の面Ｃの正面にはプロジェクタＰＪ３が設置されているものとする。また、面Ａには映像Ａが投射され、面Ｂには映像Ｂが投射され、面Ｃには映像Ｃが投射されるものとする。さらに、プロジェクタＰＪ１は、面Ａと、正面から見て面Ｂの右側の一部と、正面から見て面Ｃの左側の一部とに映像を投射するものとする。プロジェクタＰＪ２は、面Ｂと、正面から見て面Ａの左側の一部とに映像を投射し、プロジェクタＰＪ３は、面Ｃと、正面から見て面Ａの右側の一部とに映像を投射するものとする。
　この場合、プロジェクタＰＪ１から投射する映像には、映像Ａ、映像Ｂの一部及び映像Ｃの一部を含む必要がある。同様に、プロジェクタＰＪ２から投射する映像には、映像Ｂ及び映像Ａの一部を含む必要があり、プロジェクタＰＪ３から投射する映像には、映像Ｃ及び映像Ａの一部を含む必要がある。すなわち、プロジェクタＰＪ１～ＰＪ３は、自装置の投射エリア内の複数の面に対してそれぞれ異なる映像を投射する。
　したがって、図２で示す例では、面Ａにおいて映像Ａとなり、面Ｂにおいて映像Ｂとなり、面Ｃにおいて映像Ｃとなるように、プロジェクタＰＪ１～ＰＪ３から投射する映像が予め作成される。
　図１に示したマルチプロジェクションシステムでは、複数のプロジェクタのうち、任意の１台がマスタプロジェクタとなり、残りのプロジェクタがスレーブプロジェクタとなる。図１では、プロジェクタＰＪ１がマスタプロジェクタとなり、プロジェクタＰＪ２及びＰＪ３がスレーブプロジェクタとなる例を示している。マスタプロジェクタは、該マスタプロジェクタ及びスレーブプロジェクタを含むマルチプロジェクションシステム全体の動作を制御する。スレーブプロジェクタは、マスタプロジェクタの指示にしたがって処理を実行する。
　プロジェクタＰＪ１～ＰＪ３は、映像の投射対象である立体物１０２の位置（立体物１０２までの距離）を３次元でそれぞれ測定し、該測定結果である３次元位置データを生成する。また、プロジェクタＰＪ１～ＰＪ３は、自装置の位置を示すプロジェクタ位置座標及び映像の投射方向である投射レンズの光軸方向を示すレンズ光軸方向ベクトルを含むプロジェクタデータを生成する。
　マスタプロジェクタは、スレーブプロジェクタで生成された３次元位置データをそれぞれ取得する。また、マスタプロジェクタは、自装置で生成した３次元位置データ及び各スレーブプロジェクタから取得した３次元位置データで示される立体物１０２の位置合わせを行い、それらを１つの３次元位置データに統合する。さらに、マスタプロジェクタは、統合した３次元位置データの座標系をマスタプロジェクタにおけるワールド座標系に変換し、該ワールド座標系の３次元位置データで示される立体物１０２が有する複数の面を検出する。検出した立体物１０２の面を示す面データは、各スレーブプロジェクタへそれぞれ送信される。ワールド座標系は、水平面を基準とする座標系である。
　プロジェクタＰＪ１～ＰＪ３は、統合した３次元位置データに基づいて、自装置から立体物１０２へ投射する、各面における投射映像の画素毎のフォーカスずれに起因するボケ量をそれぞれ推定する。マスタプロジェクタは、各スレーブプロジェクタで推定した面毎のボケ量を取得する。マスタプロジェクタは、プロジェクタＰＪ１～ＰＪ３で推定したボケ量に基づき、立体物１０２の各面におけるボケ量がそれぞれ最小となるように、プロジェクタＰＪ１～ＰＪ３から投射する映像の領域を面毎に決定する。このとき、マスタプロジェクタは、映像を投射する面において、１台のプロジェクタから映像を投射する領域と、複数のプロジェクタから投射した映像を重ね合わせる領域であるブレンディング領域とを決定する。ブレンディング領域は、複数のプロジェクタから立体物１０２の同じ面に対して映像を投射する場合に、該面における隣接する映像の境界に設ける、それぞれの映像の一部を重ね合せる領域である。
　マスタプロジェクタは、設定したプロジェクタ毎の映像を投射する領域に基づき、立体物１０２が有する複数の面に投射する映像に対応する映像信号の画素毎の輝度を調整するためのブレンディング係数を算出する。マスタプロジェクタは、算出した各面におけるブレンディング係数を各スレーブプロジェクタへそれぞれ送信する。
　プロジェクタＰＪ１～ＰＪ３は、立体物１０２の各面におけるブレンディング係数を統合して投射映像全体のブレンディング係数を生成する。また、プロジェクタＰＪ１～ＰＪ３は、生成したブレンディング係数を用いて映像信号の信号レベルを調整することで投射映像の輝度を調整する。
　本実施形態では、以上示したプロジェクタＰＪ１～ＰＪ３における一連の動作を「ブレンディング動作」と称す。
　図３は、第１の実施の形態のプロジェクタの一構成例を示すブロック図である。
　第１の実施の形態のプロジェクタは、通信制御部１、ブレンディング制御部３、ユーザＩ／Ｆ部４、投射部６、３次元位置検出部７、プロジェクタデータ生成部８、面抽出部９、面データ切替部１０及びボケ量推定部１１を有する。また、第１の実施の形態のプロジェクタは、ブレンディング部１２、ブレンディング係数切替部１３、ブレンディング係数生成部１４、プロジェクタ投射設計データ格納部１５、姿勢センサ１６及び他プロジェクタ検出部１７を有する。
　通信制御部１は、不図示の通信手段を制御することで、他のプロジェクタとデータや信号を送受信する。
　ブレンディング制御部３は、面検出部９及びブレンディング部１２の処理で用いる各種パラメータを保存すると共に、上記ブレンディング動作を制御する。
　ユーザＩ／Ｆ部４は、ユーザがプロジェクタに対して指示やパラメータ等を入力するために用いるユーザインタフェースである。
　投射部６は、パーソナルコンピュータ等の映像出力装置１０３から供給される映像信号が示す映像を投射対象である立体物１０２に投射する。
　投射部６は、映像処理部１８、ブレンディング用映像輝度調整部１９及び投射レンズユニット２０を備える。
　映像処理部１８は、映像出力装置１０３から供給される映像信号が示す映像の解像度をプロジェクタが備える画像形成素子の解像度へ変換する解像度変換及び映像信号が示す映像の画質調整等を行う。画像形成素子には、ＤＭＤ（Digital Micro-mirror Device：登録商標）や液晶パネル等が用いられる。
　ブレンディング用映像輝度調整部１９は、ブレンディング係数生成部１４で生成されたブレンディング係数に基づいて、映像処理部１８から出力された映像信号が示す映像の画素毎の信号レベルを調整する。
　投射レンズユニット２０は、投射映像の大きさを調整するズーム機能、投射映像の結像位置を調整するフォーカス機能、並びに投射する映像位置を上下左右に調整するレンズシフト機能を有する。投射レンズユニット２０は、ブレンディング用映像輝度調整部１９で信号レベルが調整された映像信号が示す映像を投射する。また、投射レンズユニット２０は、投射レンズのズーム位置、フォーカス位置及びレンズシフト位置を検出し、検出したそれらの値を示すデータをボケ量推定部１１及び３次元位置検出部７へ出力する。ズーム位置は、投射面における映像の拡大量または縮小量を示す。フォーカス位置は、結像位置の調整量を示す。レンズシフト位置は、投射面における映像位置の上下左右方向の移動量を示す。
　以下では、プロジェクタのレンズシフト機能を利用することで映像が投射可能となる最大の範囲を「投射可能エリア」と称す。
　３次元位置検出部７は、３次元センサ２１、キャリブレーションデータ格納部２２、３次元位置データプロジェクタ座標変換部２３及び３次元位置データワールド座標変換部２４を備える。
　３次元センサ２１は、映像の投射対象である立体物１０２の位置（立体物１０２との距離）を３次元で測定し、その測定結果を示す３次元位置データを出力する。
　キャリブレーションデータ格納部２２は、３次元センサ２１の座標系をプロジェクタ座標系に変換するためのパラメータである回転量及び並進量を保存する。座標系の変換に用いる回転量及び並進量は、３次元センサ２１の座標系とプロジェクタの座標系との位置関係を予め測定することで求めておけばよい。本実施形態では、３次元センサ２１の座標系をプロジェクタの座標系へ変換するための処理を「キャリブレーション」と称す場合がある。キャリブレーションデータ格納部２２は、上記座標系の変換に用いる回転量及び並進量の決定時におけるズーム位置及びレンズシフト位置を、基準ズーム位置及び基準レンズシフト位置としてそれぞれ保存する。
　３次元位置データプロジェクタ座標変換部２３は、３次元センサ２１で得られた立体物１０２の３次元位置データをプロジェクタ座標系の３次元位置データに変換する。座標系の変換には、キャリブレーションデータ格納部２２で保存された上記回転量、並進量、基準ズーム位置及び基準レンズシフト位置を用いる。さらに、座標系の変換には、現在の投射レンズユニット２０のズーム位置及びレンズシフト位置と、プロジェクタ投射設計データ格納部１５で保存された投射機能の設計データとを用いる。
　３次元位置データワールド座標変換部２４は、姿勢センサ１６で検出されたプロジェクタの水平面に対する傾き量を用いて、プロジェクタ座標系の立体物１０２の３次元位置データをワールド座標系の３次元位置データに変換する。また、３次元位置データワールド座標変換部２４は、３次元位置データの垂直方向の座標の最小値が「０」となるように、ワールド座標系を垂直方向に平行移動させる。
　プロジェクタデータ生成部８は、初期プロジェクタデータ生成部２５及びプロジェクタデータワールド座標変換部２６を備える。
　初期プロジェクタデータ生成部２５は、プロジェクタ座標系の原点、すなわち映像の投射中心点である座標（０，０，０）をプロジェクタ位置座標として設定する。また、初期プロジェクタデータ生成部２５は、映像の投射方向と等しい投射レンズの光軸方向をレンズ光軸方向ベクトルとして設定し、上記プロジェクタ位置座標及びレンズ光軸方向ベクトルを含むプロジェクタデータを生成する。
　プロジェクタデータワールド座標変換部２６は、水平面に対するプロジェクタの傾き量を用いて、プロジェクタ位置座標及びレンズ光軸方向ベクトルをプロジェクタ座標系からワールド座標系に変換する。また、プロジェクタデータワールド座標変換部２６は、３次元位置データワールド座標変換部２４で平行移動させた垂直方向のシフト量だけプロジェクタデータのワールド座標系を垂直方向に平行移動させる。
　面抽出部９は、プロジェクタＰＪ１～ＰＪ３の３次元位置検出部７で生成された３次元位置データを統合し、統合した３次元位置データから映像の投射対象である立体物１０２の各面を検出し、検出した面を示す面データを出力する。面抽出部９におけるこれらの処理は、マスタプロジェクタで実行される。面抽出部９で生成された面データは、通信手段を介して各スレーブプロジェクタへ送信される。
　面抽出部９は、３次元レジストレーション部２７及び３次元位置データセグメンテーション部２８を備える。
　３次元レジストレーション部２７は、プロジェクタＰＪ１～ＰＪ３の３次元位置検出部７で生成された３次元位置データで示される立体物１０２の位置合わせを行う。また、３次元レジストレーション部２７は、該位置合わせ後の３次元位置データをマスタプロジェクタのワールド座標系において統合する。さらに、３次元レジストレーション部２７は、各スレーブプロジェクタのワールド座標系をマスタプロジェクタのワールド座標系に変換するための座標変換量を生成する。
　３次元位置データセグメンテーション部２８は、統合後の３次元位置データに基づき、ブレンディング制御部３で予め保存されたセグメンテーションパラメータを用いて立体物１０２が有する複数の面を検出する。一般的に、映像の投射対象となる立体物１０２は、平面及び様々な曲面を有すると考えられる。セグメンテーションパラメータは、立体物１０２が有する平面や曲面を投射対象となる「面」として検出するために用いるパラメータである。
　面データ切替部１０は、マスタプロジェクタでは自装置の面抽出部９で検出された立体物１０２の面データを選択し、スレーブプロジェクタではマスタプロジェクタの面抽出部９で検出された立体物１０２の面データを選択する。
　ボケ量推定部１１は、面データ切替部１０で選択された面データから立体物１０２が有する各面における投射映像の画素の位置を特定し、該画素毎のフォーカスずれに起因するボケ量を推定して計算上の解像度のボケ量に変換する。
　立体物１０２の任意の面に対して複数のプロジェクタから映像を投射する場合、通常、該面における複数の投射映像の解像度は同じではなく、該面における複数の投射映像の各画素の位置も一致しない。そのため、立体物１０２の各面では、複数のプロジェクタから投射される投射映像の解像度を同一にして処理する必要がある。そこで、本実施形態では、立体物１０２の面における各プロジェクタの投射映像の解像度のうち、最も高い解像度を計算上の解像度として立体物１０２の面毎に設定し、該計算上の解像度におけるボケ量を求める。ここで言う計算上の解像度は、後述する「面別最高解像度」に相当する。
　計算上の解像度のボケ量は、例えば、各プロジェクタの投射映像の解像度と計算上の解像度との比に基づいて、投射映像の画素位置毎に求めたボケ量を計算上の解像度のボケ量に変換すればよい。
　ボケ量推定部１１は、プロジェクタデータ座標変換部２９、プロジェクタデータ切替部３０、画素情報算出部３１、ボケ量格納部３２及び画素単位ボケ量算出部３３を備える。
　プロジェクタデータ座標変換部２９は、スレーブプロジェクタのワールド座標系をマスタプロジェクタのワールド座標系に変換するための座標変換量を用いて、プロジェクタデータをマスタプロジェクタのワールド座標系に変換する。
　プロジェクタデータ切替部３０は、スレーブプロジェクタではプロジェクタデータ座標変換部２９に処理を実行させ、マスタプロジェクタではプロジェクタデータ座標変換部２９に処理を実行させないようにする。
　画素情報算出部３１は、マスタプロジェクタで検出された立体物１０２が有する各面における投射映像の画素毎の位置及び該画素に対応するプロジェクタから投射する映像における画素毎の位置をそれぞれ検出する。また、画素情報算出部３１は、該立体物１０２の各面における投射映像の画素位置毎の投射距離をそれぞれ検出する。また、画素情報算出部３１は、マスタプロジェクタで検出された立体物１０２の各面における投射映像の各画素に対応する、投射可能エリアにおける各画素の位置を検出する。また、画素情報算出部３１は、投射映像の各画素の位置における、投射面に対する立体物１０２の各面の傾き量をそれぞれ検出する。さらに、画素情報算出部３１は、立体物１０２の各面における投射映像の画素の密度を求め、該密度が最も高い部位の解像度を面別最高解像度として検出する。画素情報算出部３１で検出された、立体物１０２の各面における投射映像の上記画素に関する情報を、以下では「面別画素情報」と称す。
　ボケ量格納部３２は、フォーカス位置及び投射距離に応じた、ズーム位置毎のフォーカスずれに起因して生じるボケ量を示す、画素数で表される面積を保存する。また、ボケ量格納部３２は、フォーカス位置及び投射距離に応じた、投射可能エリアにおける投射映像の各画素の位置に対応するズーム位置毎のボケ量の補正係数を保存する。さらに、ボケ量格納部３２は、フォーカス位置及び投射距離に応じた、投射面に対する傾き量に対応するズーム位置毎のボケ量の変換係数を保存する。フォーカス位置及び投射距離に応じたズーム位置毎のボケ量、ボケ量の補正係数及びボケ量の変換係数は、予めプロジェクタ毎に測定して実測値として保存しておくものとする。
　画素単位ボケ量変換部３３は、立体物１０２の各面における投射映像の画素位置毎のボケ量である面別画素単位ボケ量を求める。面別画素単位ボケ量は、画素情報算出部３１で検出された面別画素情報に基づいて、ボケ量格納部３２で保存されているボケ量、並びにズーム位置毎のボケ量の補正係数及び変換係数を用いて投射映像の画素位置毎に求めればよい。
　ブレンディング部１２は、計算単位ボケ量変換部３４、ボケ最小化領域分割部３５及び計算単位ブレンディング係数算出部３６を備える。
　計算単位ボケ量変換部３４は、画素単位ボケ量変換部３３で求めた立体物１０２の各面における面別画素単位ボケ量を、該立体物１０２の各面における計算上の解像度のボケ量（以下、「面別計算単位ボケ量」と称す）に変換する。
　ボケ最小化領域分割部３５は、ボケ量推定部１１で求めた面別計算単位ボケ量を用いて、立体物１０２の各面における該面別計算単位ボケ量がそれぞれ最小となるように、各プロジェクタから投射する映像の領域を面毎に決定する。
　計算単位ブレンディング係数算出部３６は、ボケ最小化領域分割部３５の処理結果に基づき、立体物１０２の各面における投射映像の計算上の解像度を用いて画素毎の輝度を調整するためのブレンディング係数を算出する。
　ブレンディング係数切替部１３は、マスタプロジェクタでは、自装置で算出した立体物１０２の各面における投射映像の画素毎のブレンディング係数を選択する。また、ブレンディング係数切替部１３は、スレーブプロジェクタでは、マスタプロジェクタで算出された立体物１０２の各面における投射映像の画素毎のブレンディング係数を選択する。
　ブレンディング係数生成部１４は、画素単位ブレンディング係数変換部３７及び画素単位ブレンディング係数統合部３８を備える。
　画素単位ブレンディング係数変換部３７は、計算単位ブレンディング係数算出部３６で求めた計算上の解像度に対応する画素毎のブレンディング係数を立体物１０２の各面における投射映像の画素毎のブレンディング係数に変換する。
　画素単位ブレンディング係数統合部３８は、画素単位ブレンディング係数変換部３７で変換された立体物１０２の各面における投射映像の画素毎のブレンディング係数を統合して投射映像全体のブレンディング係数を生成する。
　プロジェクタ投射設計データ格納部１５は、プロジェクタが備える投射機能に関連する設計データを保存する。
　姿勢センサ１６は、水平面に対するプロジェクタ本体の傾きを検出し、傾き量として出力する。
　他プロジェクタ検出部１７は、通信手段を介して自装置に接続された他のプロジェクタを検出する。
　図３で示した投射部６を除く各構成要素は、例えば３次元位置センサ、姿勢センサ及び通信手段を備えた情報処理装置（コンピュータ）で実現できる。情報処理装置は、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）、プログラムやデータを保存する記憶装置及び各種の論理回路を備えた構成である。
　図４は、３次元センサを搭載したプロジェクタとその投射エリアの関係例を示す模式図である。
　３次元センサ２１は、映像の投射対象となる立体物１０２との距離を３次元で測定する３次元位置センサであり、図４で示すプロジェクタの投射エリア内の立体物１０２の位置（立体物１０２との距離）を検出する。３次元センサ２１は、プロジェクタがレンズシフト機能で投射エリアを上下左右方向へ移動した場合またはズーム機能で投射映像を拡大した場合でも投射可能エリア内の立体物１０２の位置を３次元で測定できるものとする。
　次に、図１で示したマルチプロジェクションシステムを例にして、本発明のプロジェクタのブレンディング動作について説明する。
［１］まず、任意のプロジェクタにおいて、ユーザがユーザＩ／Ｆ部４を用いてブレンディング動作の開始指示を入力すると、該プロジェクタがマスタプロジェクタとなる。マスタプロジェクタは、他プロジェクタ検出部１７を用いて通信可能に接続された他のプロジェクタを検出し、検出した他のプロジェクタをスレーブプロジェクタとしてそれぞれ認識する。上述したように、図１はプロジェクタＰＪ１がマスタプロジェクタとなる例を示している。
［２］マスタプロジェクタは、３次元センサ２１を用いて映像の投射対象となる立体物１０２の位置をそれぞれ測定する。スレーブプロジェクタは、マスタプロジェクタの指示にしたがって、３次元センサ２１を用いて映像の投射対象となる立体物１０２の位置をそれぞれ測定する。また、マスタプロジェクタ及びスレーブプロジェクタは、プロジェクタデータ生成部８を用いて、自装置の位置座標及びレンズ光軸方向ベクトルを含むプロジェクタデータをそれぞれ生成する。
［３］マスタプロジェクタは、各スレーブプロジェクタで測定された３次元位置データをそれぞれ取得する。マスタプロジェクタは、面抽出部９を用いて、自装置のワールド座標系において、自装置で測定した３次元位置データ及び各スレーブプロジェクタで測定された３次元位置データで示される立体物１０２の位置合わせを行う。そして、該位置合わせ後の各３次元位置データを結合して１つの３次元位置データに統合する。
　また、マスタプロジェクタは、面抽出部９を用いて、統合後の３次元位置データから映像を投射する立体物１０２の各面を検出し、該検出した面を示す３次元データである面データを生成する。さらに、マスタプロジェクタは、スレーブプロジェクタのワールド座標系をマスタプロジェクタのワールド座標系に変換するための座標変換量と、立体物１０２の各面を示す面データとを各スレーブプロジェクタへ送信する。
［４］マスタプロジェクタは、ボケ量推定部１１を用いて下記の処理を実行する。スレーブプロジェクタは、マスタプロジェクタの指示にしたがってボケ量推定部１１を用いて下記の処理を実行する。但し、面データ切替部１０は、マスタプロジェクタでは自装置の面抽出部９の面データを選択し、スレーブプロジェクタではマスタプロジェクタから送信された面データを選択する。
　スレーブプロジェクタは、マスタプロジェクタから送信された座標変換量に基づいて、プロジェクタデータをマスタプロジェクタのワールド座標系に変換する。マスタプロジェクタは、座標変換量を用いたプロジェクタデータの座標変換を実行しない。
　マスタプロジェクタ及びスレーブプロジェクタは、面データ切替部１０で選択した面データに含まれる３次元データから、上記［３］で検出された立体物１０２の各面における投射映像の画素及びその位置（画素位置）を特定する。また、マスタプロジェクタ及びスレーブプロジェクタは、各面においてフォーカスずれに起因する画素位置毎のボケ量である画素単位ボケ量を推定し、面別画素単位ボケ量として設定する。さらに、マスタプロジェクタ及びスレーブプロジェクタは、面別画素単位ボケ量、並びに面別画素情報に含まれる画素位置及び面別最高解像度から成る面別画素単位ボケ量データを生成する。
［５］マスタプロジェクタは、各スレーブプロジェクタで生成された面別画素単位ボケ量データを取得し、ブレンディング部１２を用いて、立体物１０２の各面における計算上の解像度である面別計算単位解像度を算出する。
　また、マスタプロジェクタは、面別画素単位ボケ量データに含まれる面毎の各画素におけるボケ量（面別画素単位ボケ量）を、該面別計算単位解像度におけるボケ量（面別計算単位ボケ量）に変換する。
　マスタプロジェクタは、面別計算単位解像度及び最小ブレンディング画素数を用いて、立体物１０２の各面における計算上の解像度に対応する、プロジェクタ毎の面別計算単位最小ブレンディングサイズを求める。最小ブレンディング画素数は、予めプロジェクタ毎に設定された、ブレンディング領域として投射可能な映像の最小画素数である。面別計算単位最小ブレンディングサイズは、計算上の解像度で表される、プロジェクタ毎のブレンディング領域の最小サイズとなる。マスタプロジェクタは、面別計算単位ボケ量と面別計算単位最小ブレンディングサイズとを含むプロジェクタ毎の面別計算単位ボケ量データをそれぞれ生成する。
　また、マスタプロジェクタは、プロジェクタ毎の面別計算単位ボケ量及び面別計算単位最小ブレンディングサイズを用いて、立体物１０２の各面においてボケ量が最小となる、プロジェクタ毎の映像を投射する領域を決定する。
　マスタプロジェクタは、立体物１０２の各面における計算上の解像度の各画素に対する輝度を調整するための計算単位ブレンディング係数を算出し、該計算単位ブレンディング係数を各スレーブプロジェクタへ送信する。
［６］マスタプロジェクタは、ブレンディング係数生成部１４を用いて、自装置のブレンディング部１２で算出した計算単位ブレンディング係数を画素単位ブレンディング係数に変換する。画素単位ブレンディング係数は、立体物１０２の各面における投射映像の画素毎のブレンディング係数である。
　スレーブプロジェクタは、ブレンディング係数生成部１４を用いて、マスタプロジェクタから送信された計算単位ブレンディング係数を画素単位ブレンディング係数に変換する。
　マスタプロジェクタ及びスレーブプロジェクタは、ブレンディング係数生成部１４を用いて、各画素単位ブレンディング係数を統合し、投射映像全体のブレンディング係数を生成して投射部６へ出力する。投射部６は、投射映像のブレンディング係数にしたがって映像信号の信号レベルを変更することで該映像信号が示す投射映像の輝度を調整する。
　以上の処理によって、映像の投射対象である立体物１０２の各面におけるボケ量が最小となるように、それぞれの面に対してプロジェクタＰＪ１～ＰＪ３から映像が投射される。
　次に、上述した本実施形態のプロジェクタの動作のうち、上記［２］～［６］で示した動作について、より詳細に説明する。
［２］各プロジェクタの３次元位置検出部７の動作
［２－１］プロジェクタＰＪ１～ＰＪ３は、３次元位置検出部７が備える３次元センサ２１を用いて映像の投射対象である立体物１０２の位置を３次元で測定する。測定した立体物１０２の位置を示す３次元位置データは、３次元センサ２１の座標系における点データ群で表される。
　立体物１０２の位置（立体物１０２との距離）を３次元で測定する３次元位置の測定方式としては、例えばＴＯＦ（Time of Flight）方式、パッシブ三角測量方式及びアクティブ三角測量方式がある。
　ＴＯＦ方式は、光を対象物に照射してから該対象物で光が反射して戻ってくるまでの時間に基づいて対象物までの距離を測定する方式である。
　パッシブ三角測量方式は、２点に配置した２つのカメラで対象物を同時に撮影し、各カメラの撮影画像から得られる対象物の位置の差から三角測量の原理を用いて対象物までの距離を測定する、いわゆるステレオカメラ方式である。アクティブ三角測量方式は、ステレオカメラ方式において、一方のカメラを発光装置に置き換え、該発光装置から対象物に光を照射し、対象物に照射された光点までの距離を三角測量の原理を用いて測定する方式である。
　３次元位置の測定方式は、上記ＴＯＦ方式、パッシブ三角測量方式及びアクティブ三角測量方式に限定されるものではなく、周知のどのような方式を用いてもよい。
［２－２］３次元位置検出部７は、３次元センサ２１で検出された立体物１０２の３次元位置データを、投射中心点を原点とするプロジェクタ座標系に変換する。座標系の変換には、３次元センサ２１の座標系をプロジェクタの座標系に変換するための回転量及び並進量、並びに該回転量及び並進量の決定時における基準ズーム位置及び基準レンズシフト位置を用いる。また、座標系の変換には、これらの値と併せて、投射レンズユニット２０のズーム位置及びレンズシフト位置、並びにプロジェクタ投射設計データ格納部１５で保存されたプロジェクタの投射機能の設計データを用いる。この座標系の変換処理について、図５を用いて説明する。
　３次元センサ２１は、通常、プロジェクタの投射中心点とは異なる位置に設置されるため、その原点はプロジェクタの投射中心点と一致せず、またその測定方向もプロジェクタの投射レンズの光軸方向と一致しない。すなわち、図５で示すように、３次元センサ２１で測定されたセンサ座標系ＳＡ１～ＳＡ３における立体物１０２の３次元位置データと、プロジェクタ座標系ＰＡ１～ＰＡ３における立体物１０２の３次元位置データとは異なる。
　本発明では、プロジェクタの投射エリアと３次元位置データとの位置関係が重要であるため、３次元センサ２１で測定された立体物１０２の３次元位置データをプロジェクタ座標系における３次元位置データに変換する必要がある。座標系の変換量は、互いに直交する３つの座標軸に対する回転量と該３つ座標軸に対する移動量を示す並進量とを用いて定義できる。
　なお、プロジェクタにおいて、プロジェクタ座標系の原点となる投射中心点は固定ではなく、ズーム機能やレンズシフト機能を用いることで移動する。そのため、上記回転量及び並進量と共に、該回転量及び並進量の決定時におけるズーム位置及びレンズシフト位置を、基準ズーム位置及び基準レンズシフト位置としてキャリブレーションデータ格納部２２でそれぞれ保存する。
　３次元位置データプロジェクタ座標変換部２３は、基準投射中心点の座標を求めた後、現在のズーム位置及びレンズシフト位置から現在の投射中心点の座標を求める。基準投射中心点の座標は、プロジェクタ投射設計データ格納部１５で保存された投射機能の設計データ、上記基準ズーム位置及び基準レンズシフト位置に基づいて求める。
　３次元位置データプロジェクタ座標変換部２３は、３次元センサ２１で測定された３次元位置データを、キャリブレーションデータ格納部２２で保存された回転量及び並進量を用いてプロジェクタ座標系のデータに変換する。その後、現在のズーム位置及びレンズシフト位置に合わせて、基準投射中心点の座標から現在の投射中心点の座標へ並進量分だけプロジェクタ座標系を移動する。これにより、３次元センサ２１から出力された３次元位置データを現在の投射中心点を原点とするプロジェクタ座標系に変換できる。なお、上記基準投射中心点の座標を現在の投射中心点の座標へ変換するための並進量は、予め測定されて３次元位置データプロジェクタ座標変換部２３で保存されているものとする。
［２－３］３次元位置データワールド座標変換部２４は、プロジェクタ座標系における立体物１０２の３次元位置データを姿勢センサ１６で検出されたプロジェクタの傾き量に基づいてワールド座標系の３次元位置データに変換する。３次元位置データワールド座標変換部２４は、３次元位置データの垂直方向の座標の最小値が「０」となるように、ワールド座標系を垂直方向に平行移動させる。姿勢センサ１６には、前後軸に対する回転角及び左右軸に対する回転角をそれぞれ検出できる、例えば３軸の加速度センサを用いればよい。
　図６で示すように、プロジェクタは、映像の投射方向に対して前後方向または左右方向に傾いて設置されたり、天板が鉛直上方または鉛直下方となるように設置されたりして使用される。そのため、３次元位置データワールド座標変換部２４は、姿勢センサ１６で検出された水平方向に対する傾き量を用いて、プロジェクタ座標系の３次元位置データを、水平面を基準とするワールド座標系に変換する。
　図７は、図１に示したプロジェクタで検出したプロジェクタ座標系における立体物１０２の３次元位置データをワールド座標系の３次元位置データに変換する様子を示している。図７（ａ）は、プロジェクタＰＪ２で検出したプロジェクタ座標系ＰＡ２における立体物１０２の３次元位置データ及びプロジェクタＰＪ２のワールド座標系ＷＡ２を示している。図７（ｂ）は、プロジェクタＰＪ１で検出したプロジェクタ座標系ＰＡ１における立体物１０２の３次元位置データ及びプロジェクタＰＪ１のワールド座標系ＷＡ１を示している。図７（ｃ）は、プロジェクタＰＪ３で検出したプロジェクタ座標系ＰＡ３における立体物１０２の３次元位置データ及びプロジェクタＰＪ３のワールド座標系ＷＡ３を示している。プロジェクタＰＪ１～ＰＪ３で検出される３次元位置データは、立体物１０２における多数の点の位置を示す点群データＰＤ１～ＰＤ３で表される。３次元位置データの座標変換は、プロジェクタＰＪ１～ＰＪ３で検出された立体物１０２の３次元位置データを統合する際の処理時間を短縮するために実行される。
　初期プロジェクタデータ生成部２５は、プロジェクタ座標系の原点、すなわち座標（水平、垂直、投射方向）＝（０，０，０）を自装置の位置を示すプロジェクタ位置座標に設定する。また、初期プロジェクタデータ生成部２５は、映像の投射方向と等しい投射レンズの光軸方向をレンズ光軸方向ベクトルに設定し、プロジェクタ位置座標及びレンズ光軸方向ベクトルを含むプロジェクタデータを生成する。
　プロジェクタデータワールド座標変換部２６は、姿勢センサ１６で検出された傾き量を用いて、上記プロジェクタデータ（プロジェクタ位置座標及びレンズ光軸方向ベクトル）を、水平面を基準とするワールド座標系に変換する。また、プロジェクタデータワールド座標変換部２６は、３次元位置データワールド座標変換部２４で平行移動させた垂直方向のシフト量だけ、プロジェクタデータのワールド座標系を垂直方向に平行移動させる。
［３］マスタプロジェクタの面抽出部９の処理
［３－１］マスタプロジェクタの面抽出部９において、３次元レジストレーション部２７は、マスタプロジェクタ及びスレーブプロジェクタから出力された３次元位置データが示す立体物１０２の位置合わせを行う。また、３次元レジストレーション部２７は、該位置合わせ後の３次元位置データを結合して１つの３次元位置データに統合する。
　３次元レジストレーション部２７は、例えばスレーブプロジェクタ（プロジェクタＰＪ２及びＰＪ３）から出力された３次元位置データをマスタプロジェクタ（プロジェクタＰＪ１）のワールド座標系ＷＡ１に移動させる。また、各３次元位置データで示す立体物１０２の同じ部位が重なるように、各スレーブプロジェクタから出力された３次元位置データをマスタプロジェクタのワールド座標系ＷＡ１の各座標軸に対して回転及び移動させて統合する。このワールド座標系ＷＡ１の各座標軸に対する回転角及び移動量を示す並進量が３次元位置データを統合するための座標変換量となる。図８は、プロジェクタＰＪ１～ＰＪ３から得られた立体物１０２の３次元位置データを統合する様子を示している。統合後の立体物１０２の３次元位置データは、例えば、図９で示すようにマスタプロジェクタであるプロジェクタＰＪ１のワールド座標系ＷＡ１で定義される。
　なお、プロジェクタＰＪ１～ＰＪ３が備える３次元センサ２１は、死角が存在することで立体物１０２の全ての面との距離を測定できるとは限らない。立体物１０２の３次元位置データを統合する処理は、一部のプロジェクタでは死角となる立体物１０２の面を、他のプロジェクタから得られる３次元位置データを用いて検出するためにも実行される。
［３－２］３次元位置データセグメンテーション部２８は、ブレディング制御部３で予め保存されたセグメンテーションパラメータを用いて、統合後の３次元位置データから映像の投射対象となる立体物１０２の各面を検出する。以下では、立体物１０２の各面を検出する処理を「セグメンテーション処理」と称す。セグメンテーションパラメータは、例えばプロジェクタの製造メーカが予め標準設定した値であり、ユーザが必要に応じてユーザＩ／Ｆ部４を用いて調整できる値とする。
　図１０は、セグメンテーション処理の一例を示す模式図である。
　セグメンテーション処理において、３次元位置データセグメンテーション部２８は、まず点群データ１２４から成る立体物１０２の３次元位置データの各点において、それぞれの法線ベクトル１２６を求める。３次元位置データセグメンテーション部２８は、図１０で示すように注目する点とその周辺の点で構成される三角状の面の法線ベクトル１２５を求め、それらの合成ベクトルを該注目する点の法線ベクトル１２６として用いればよい。
　次に、３次元位置データセグメンテーション部２８は、隣接する点の法線ベクトル１２６を比較し、それらの差がセグメンテーションパラメータである所定の閾値よりも小さい場合は該隣接する点が同一面１２７上にあると判定する。すなわち、セグメンテーションパラメータとして設定された閾値によって、どの程度の曲面を１つの面として検出するのかが決まることになる。ここでは、隣接する点の法線ベクトル１２６の差に設定する閾値をセグメンテーションパラメータとして用いる例を示した。セグメンテーション処理の内容が異なる場合は、該処理の内容に応じた値をセグメンテーションパラメータとして用いればよい。面抽出部９が備える３次元位置データセグメンテーション部２８のセグメンテーション処理で抽出された立体物１０２の各面の位置は３次元データとして出力される。
　マスタプロジェクタは、面抽出部９で抽出された投射対象である立体物１０２の各面の位置を示す３次元データを面データとして各スレーブプロジェクタへ送信する。
［４］各プロジェクタにおけるボケ量推定部１１の処理
［４－１］スレーブプロジェクタのプロジェクタデータ座標変換部２９は、マスタプロジェクタから送信された座標変換量を用いてプロジェクタ位置座標及びレンズ光軸方向ベクトルをマスタプロジェクタのワールド座標系に変換する。変換後のプロジェクタ位置座標及びレンズ光軸方向ベクトルは、例えば、図９で示すように、マスタプロジェクタ（ＰＪ１）のワールド座標系ＷＡ１におけるプロジェクタ位置座標ＰＯ１及びレンズ光軸方向ベクトルＬＣ１となる。
　プロジェクタデータ切替部３０は、スレーブプロジェクタでは上記座標変換されたプロジェクタデータを選択し、マスタプロジェクタではプロジェクタデータ生成部８で生成されたプロジェクタデータを選択する。すなわち、マスタプロジェクタでは上記座標変換処理を実行しない。
［４－２］画素情報算出部３１は、立体物１０２の各面における投射映像の各画素について、下記の５つのデータ（ａ）～（ｅ）を生成して面別画素情報として用いる。
（ａ）立体物１０２の各面における投射映像の画素の位置と該画素に対応するプロジェクタから投射する映像における画素の位置
　投射映像のどの画素が立体物１０２の面のどこに投射されているかを特定し、各面における投射映像の画素毎の位置と、該画素毎に対応するプロジェクタから投射する映像における各画素の位置とを求める。
・面データ切替部１０から出力された面データに含まれる、立体物１０２における各面の３次元データ。
・プロジェクタデータ切替部３０から出力されたプロジェクタデータ。
・投射レンズユニット２０から出力されたズーム位置及びレンズシフト位置。
・プロジェクタ投射設計データ格納部１５で保存されているプロジェクタの画角、ズーム特性、レンズシフト特性等の投射機能の設計データ。
（ｂ）面における最高解像度
　立体物１０２の各面における投射映像の画素毎の位置から、各面における画素密度が最も高い部位の解像度を面別最高解像度として求める。解像度は、例えば単位面積（例えば１ｃｍ２）当たりの画素数で定義する。
（ｃ）面における投射映像の各画素との投射距離
　下記データに基づき、プロジェクタ位置座標から投射レンズの光軸に対して垂直な投射面における、投射映像の各画素までの距離を投射距離として求める。
・面データ切替部１０から出力された面データに含まれる立体物１０２の各面の３次元データ、
・上記面における投射映像の画素の位置、
・プロジェクタデータ切替部３０から出力されたプロジェクタデータ。
（ｄ）面における投射映像の各画素に対応する投射可能エリアにおける各画素の位置
　下記のデータから投射可能エリアにおける投射映像の各画素の位置を求める。
・立体物１０２の各面における投射映像の画素毎に対応するプロジェクタから投射する映像における画素毎の位置。
・投射レンズユニット２０から出力されたズーム位置及びレンズシフト位置。
・プロジェクタ投射設計データ格納部１５で保存された自装置の画角、ズーム特性、レンズシフト特性等の投射機能の設計データ。
（ｅ）各画素の位置における投射面に対する面の傾き
　下記のデータから投射レンズの光軸に対して垂直な投射面における投射映像の各画素位置における面の局所的な傾き量を求める。
・面データ切替部１０から出力される面データに含まれる立体物１０２の各面の３次元データ。
・上記面における投射映像の画素毎の位置。
・プロジェクタデータ。
　映像を投射している面と該映像における各画素の位置、該面における投射映像の各画素の位置、投射可能エリアにおける投射映像の各画素の位置の関係の一例は、図１１に示されている。
［４－３］画素単位ボケ量算出部３３は、画素情報算出部３１で算出された面別画素情報に基づいて立体物１０２の各面における投射映像の画素毎のボケ量を算出する。
　画素単位ボケ量算出部３３は、フォーカス位置及び投射距離に対応する、ボケ量格納部３２で保存されたズーム位置毎の画素数で示される面積を、ボケ量として取得する。投射距離は、画素情報算出部３１で算出された面別画素情報に含まれる。フォーカス位置及びズーム位置は、投射レンズユニット２０から出力される。
　なお、実際の投射面におけるボケの大きさ、すなわちボケの面積は、投射映像の焦点が合う結像面から実際の投射面までの距離に応じて変化し、そのボケ量はズーム位置によって変化する。そこで、画素単位ボケ量算出部３３は、投射可能エリアにおける投射映像の各画素の位置に対応する、ボケ量格納部３２で保存されたズーム位置毎のボケ量の補正係数を取得し、上記画素毎のボケ量にそれぞれ乗算する。
　図１２は、複数の投射面においてボケの大きさが変化する様子を示している。
　図１２は、結像面に対して投射レンズユニット２０と近い位置の投射面（Ｉ）において、結像面における投射映像の画素（ａ）～（ｅ）のボケの大きさが（Ｉ－ａ）～（Ｉ－ｅ）に変化する様子を示している。また、図１２は、結像面に対して投射レンズユニット２０から遠い位置の投射面（ＩＩ）において、結像面における投射映像の画素（ａ）～（ｅ）のボケの大きさが（ＩＩ－ａ）～（ＩＩ－ｅ）に変化する様子を示している。
　図１２で示したように、ボケの大きさは、理想的には、同一投射面においては投射映像の画素の位置に依存しない。しかしながら、実際のボケ量は投射面における投射映像の画素の位置に応じて異なっている。そのため、本実施形態では、予め測定した実測値に基づいて、投射面における投射映像の画素の位置毎に補正係数を予め作成しておき、該補正係数を用いてボケ量を補正する。
　画素単位ボケ量算出部３３は、投射可能エリアにおける投射映像の各画素の位置及び投射面に対する傾き量に対応する、ボケ量格納部３２で保存されたズーム位置毎のボケ量の変換係数を取得する。
　また、画素単位ボケ量算出部３３は、上記補正係数で補正した各面における投射映像の画素毎のボケ量に該取得した変換係数をそれぞれ乗算する。
　映像の投射対象である立体物１０２の各面がプロジェクタの投射面に対して傾いていると、ボケの大きさ、すなわちボケの面積が大きくなる。これは各面における投射映像の画素の位置に応じて異なる。
　図１３は、複数の投射面において立体物の面が傾いていることでボケの大きさが変化するする様子を示している。
　図１３は、結像面に対して投射レンズユニット２０と近い位置の投射面（Ｉ）において、立体物の傾いた面（Ｉ－ａ）～（Ｉ－ｅ）に起因して、結像面における投射映像の画素（ａ）～（ｅ）のボケの大きさが（Ｉ－ａ）～（Ｉ－ｅ）に変化する様子を示している。また、図１３は、結像面に対して投射レンズユニット２０から遠い位置の投射面（ＩＩ）において、立体物の傾いた面（ＩＩ－ａ）～（ＩＩ－ｅ）に起因して、結像面における投射映像の画素（ａ）～（ｅ）のボケの大きさが（ＩＩ－ａ）～（ＩＩ－ｅ）に変化する様子を示している。
　変換係数は、理想的には投射面における投射映像の画素毎の位置と該投射面に対する立体物の面の傾き角とから求めることができる。しかしながら、実際には計算通りとはならないため、予め測定した実測値等に基づいて変換係数を予め決定して保存しておくことが望ましい。
　画素単位ボケ量算出部３３は、最終的に求めた各面における投射映像の画素毎のボケ量を面別画素単位ボケ量とし、画素情報算出部３１で生成した面別画素情報に含まれる各面における投射映像の画素毎の位置を面別画素位置とする。また、画素単位ボケ量算出部３３は、これら面別画素単位ボケ量及び面別画素位置、並びに上記面別画素情報に含まれる立体物１０２の各面における面別最高解像度を合わせて面別画素単位ボケ量データとする。
［５］マスタプロジェクタのブレンディング部１２の処理
［５－１］ブレンディング部１２は、各プロジェクタの画素単位ボケ量算出部３３で求めた面別画素単位ボケ量に含まれる面別画素単位ボケ量、面別画素位置及び面別最高解像度を用いて、立体物１０２の面毎に下記の処理を実行する。
・任意の面に投射するプロジェクタの面別最高解像度のうち、最も高い解像度以上の解像度をその面における面別計算単位解像度とする。
・各面に対応する面別画素単位ボケ量を、面別画素位置を参照しつつ上記面別計算単位解像度を用いて面別計算単位ボケ量に変換する。
　これにより、立体物１０２の任意の面に対応する、複数のプロジェクタにおける同じ解像度のボケ量が求まることになる。これは、同一の面における複数のプロジェクタの投射映像の解像度は同じではなく、該面における投射映像の画素の位置も一致しないため、以降、同じ解像度で処理する必要があるために行うものである。
　ブレンディング部１２は、面別計算単位解像度及びブレンディング制御部３で保存された最小ブレンディング画素数から、各面の計算上の解像度に合わせた面別計算単位最小ブレンディングサイズを求める。ブレンディング部１２は、面別計算単位ボケ量及び面別計算単位最小ブレンディングサイズを面別計算単位ボケ量データとして出力する。
［５－２］計算単位ボケ量変換部３４は、任意の面に投射するプロジェクタの面別最高解像度のうち、最も高い解像度以上の解像度をその面における面別計算単位解像度とする。また、計算単位ボケ量変換部３４は、画素単位ボケ量算出部３３で求めた面別画素単位ボケ量を、面別画素位置を参照しながら面データに含まれる面別計算単位解像度に変換し、面別計算単位ボケ量とする。これにより、立体物１０２の同一面に映像を投射する複数のプロジェクタにおいて、同じ解像度のボケ量を求めることになる。
　また、計算単位ボケ量変換部３４は、面別計算単位解像度と、ブレンディング制御部３で保存している最小ブレンディング画素数とから、各面の計算上の解像度に対応させた面別計算単位最小ブレンディングサイズを求める。さらに、計算単位ボケ量変換部３４は、求めた面別計算単位ボケ量と面別計算単位最小ブレンディングサイズとを面別計算単位ボケ量データとして出力する。
　立体物１０２の各面における面別画素位置、面別画素単位ボケ量及び面別計算単位ボケ量の関係例は、図１１に示されている。
［５－３］ボケ最小化領域分割部３５は、立体物１０２の任意の面におけるプロジェクタ毎の面別計算単位ボケ量を比較し、その値が最小となるプロジェクタ毎の映像の領域をボケ最小化領域とする領域分割を行う。以下では、該領域分割を「ボケ最小化領域分割」と称す。ボケ最小化領域分割は、面抽出部９で検出した立体物１０２の面毎に実行する。
　また、ボケ最小化領域分割部３５は、分割した複数のプロジェクタの映像の領域の境界において、該複数のプロジェクタの投射映像を重ね合わせる領域であるブレンディング領域を決定する。また、ボケ最小化領域分割部３５は、各面におけるプロジェクタ毎の映像の領域を示す情報を面別領域分割情報とし、各面におけるブレンディング領域を面別ブレンディング領域とし、それらを合わせて面別ブレンディング情報とする。
　ここでは、図１４～図１６を用いてボケ最小化領域分割部３５の処理について説明する。
　図１４は、ボケ最小化領域分割部の一処理例を示すフローチャートである。
　図１５及び図１６は、図１に示したマルチプロジェクションシステムにおけるボケ最小化領域分割の一例を示す模式図である。
　ボケ最小化領域分割では、ブレンディングパラメータとして、以下のパラメータを用いる。
・面の大きさに対して許容される投射映像の最小の大きさを示す最小サイズ比（水平／垂直）。
・ボケ量の上限値である許容ボケ量。
・重ねて投射すべき投射映像の数を示す規定投射映像数。
・全プロジェクタの面別計算単位最小ブレンディングサイズ。
　最小サイズ比は、予めプロジェクタの製造メーカが標準設定し、ユーザが変更可能な値とする。許容ボケ量及び規定投射映像数は、予めプロジェクタの製造メーカが標準設定し、ユーザが必要に応じて変更可能な値とする。最小サイズ比、許容ボケ量及び規定投射映像数は、ブレディング制御部３でそれぞれ保存される。
　ボケ最小化領域分割部３５は、検出された立体物１０２の面毎にボケ最小化領域分割をそれぞれ実行する。
　図１４で示すように、ボケ最小化領域分割部３５は、投射対象の面において、各プロジェクタから投射する映像の領域（以下、「映像領域」と称す）が予め設定された下記の条件１及び２を満たしているか否かを判定する（ステップＳ１）。
　条件１：
　映像領域の大きさ（水平／垂直方向）≧最小サイズ比で計算される大きさ（水平／垂直方向）。
　条件２：
　映像領域の大きさ（水平／垂直方向）≧面別計算単位最小ブレンディングサイズ（水平／垂直方向）の２倍。
　全てのプロジェクタが上記条件１及び２を満たしている場合、ボケ最小化領域分割部３５は、ステップＳ３の処理へ移行する。
　上記条件１及び２を満たさないプロジェクタがある場合、ボケ最小化領域分割部３５は、ステップＳ２においてそれらのプロジェクタを該投射対象の面に対する映像の投射候補から除外して無効とする。その後、ボケ最小化領域分割部３５は、ステップＳ３の処理へ移行する。これにより、立体物１０２の投射対象となる面の大きさに対して当該面に投射する映像の大きさが所定の大きさよりも小さいプロジェクタを除外する。また、当該面に投射する映像の大きさが所定の大きさのブレンディング領域を確保できないプロジェクタを、当該面に映像を投射するプロジェクタから除外する。以下では、上記投射対象の面に対する映像の投射候補を「ボケ最小化領域分割候補」と称す。
　例えば、図１５に示す例では、プロジェクタＰＪ３は、投射対象となる面（以下、「投射対象面」と称す）における映像領域が、最小サイズ比で計算される大きさよりも小さいため、ボケ最小化領域分割候補から除外される。また、プロジェクタＰＪ２は、投射対象面における映像領域が、面別計算単位最小ブレンディングサイズの２倍よりも小さいため、ボケ最小化領域分割候補から除外される。
　次に、ボケ最小化領域分割部３５は、ボケ最小化領域分割候補として残った有効なプロジェクタの映像領域だけで投射対象面全体を覆うことができるか否かを判定する（ステップＳ３）。投射対象面全体を覆うことができない場合、ボケ最小化領域分割部３５は、ステップＳ７へ移行して全てのプロジェクタを無効とする。この場合、立体物１０２におけるボケ最小化領域分割部３５が処理している投射対象面には映像が投射されない。
　ステップＳ３において、有効なプロジェクタの映像領域だけで投射対象面全体を覆うことができる場合、ボケ最小化領域分割部３５は、ステップＳ４においてボケ最小化領域分割を実行する。
　ボケ最小化領域分割では、有効なプロジェクタの映像領域の全部または一部を用いて、ボケ量が最小となり、かつ投射対象面全体を覆うことが可能な、有効なプロジェクタの映像領域の組み合わせを決定する。このとき、ボケ最小化領域分割部３５は、有効なプロジェクタの組み合わせを、それぞれの映像領域の大きさが最小サイズ比で計算される大きさよりも小さくならないという条件下で決定する。
　また、ボケ最小化領域分割部３５は、複数のプロジェクタの映像領域の境界に映像を重ねて投射する領域、すなわちブレンディング領域を設ける。ブレンディング領域は、該複数のプロジェクタの面別計算単位最小ブレンディングサイズのうちの最も広いサイズとし、ボケ最小化領域分割部３５は、このサイズのブレンディング領域が確保できるようにボケ最小化領域分割を行う。
　図１６は、ボケ最小化領域分割及びブレンディング領域の一例を示している。図１６（ａ）は、投射対象面におけるプロジェクタＰＪ１～ＰＪ３の投射映像のボケ面積の分布を示している。図１６（ｂ）は、図１６（ａ）に示したボケ面積の分布に基づいてボケ最小化領域分割を実行した後のプロジェクタＰＪ１～ＰＪ３の映像領域の一例を示している。図１６（ｃ）は、投射対象面においてプロジェクタＰＪ１～ＰＪ３に付与するブレンディング係数の一例を示している。
　図１６（ｂ）から分かるように、投射対象面の正面から見て左半分の領域はプロジェクタＰＪ２を用い、右端の領域はプロジェクタＰＪ３を用い、残りの領域はプロジェクタＰＪ１を用いて映像を投射すると、ボケ量が最小となる。ブレンディング領域は、プロジェクタＰＪ１とＰＪ２の境界、並びにプロジェクタＰＪ１とＰＪ３の境界にそれそれぞれ設ける。
　なお、上記条件にて、投射対象面全体を覆うプロジェクタの映像領域の組み合わせが無い場合、ボケ最小化領域分割部３５は、ボケ最小化領域分割が失敗したと判定する。また、ボケ最小化領域分割部３５は、上記の映像領域の組み合わせを、重ねて投射する投射映像数を示す規定投射映像数に基づいて決定する。
　例えば、図１に示した例では、３つのプロジェクタＰＪ１～ＰＪ３から１つの面に投射する投射映像数が「１」であるため、規定投射映像数は「１」である。一方、図１７で示すように、投射映像の明るさを増大させるため、図１で示した各プロジェクタの位置にそれぞれプロジェクタを２台ずつ配置し、該２台のプロジェクタの映像エリアがほぼ重なるように映像を投射する例がある。
　図１７は、図１で示したプロジェクタＰＪ１の位置にプロジェクタＰＪ１及びＰＪ４を配置した例を示している。同様に、図１７は、図１に示したプロジェクタＰＪ２の位置にプロジェクタＰＪ２及びＰＪ５を配置し、プロジェクタＰＪ３の位置にプロジェクタＰＪ３及びＰＪ６を配置した例を示している。このような場合、１つの面に投射する映像数は「２」であるため、規定投射映像数は「２」となる。
　次に、ボケ最小化領域分割部３５は、ステップＳ５において、ステップＳ４にてボケ最小化領域分割が成功したか否かを判定する。ボケ最小化領域分割が失敗した場合、ボケ最小化領域分割部３５は、ステップＳ７へ移行して全てのプロジェクタを無効とする。
　ボケ最小化領域分割が成功した場合、ボケ最小化領域分割部３５は、ステップＳ６において、ボケ最小化領域分割後の各領域のボケ量の最大値が許容ボケ量以下であるか否かを判定する。
　ボケ量の最大値が許容ボケ量よりも大きい場合、ボケ最小化領域分割部３５は、ステップＳ７へ移行して全てのプロジェクタを無効とする。ボケ量の最大値が許容ボケ量よりも小さい場合、ボケ最小化領域分割部３５は、ボケ最小化領域分割を終了する。
［５－３］マスタプロジェクタの計算単位ブレンディング係数算出部３６は、面別ブレンディング情報に基づいてプロジェクタＰＪ１～ＰＪ３の投射映像の画素毎の輝度を調整するための面別計算単位ブレンディング係数を算出する。マスタプロジェクタは、計算単位ブレンディング係数算出部３６で算出した面別計算単位ブレンディング係数を各スレーブプロジェクタへそれぞれ送信する。
　ブレンディング係数は、例えば図１６（ｃ）で示すように、「０」～「１」の範囲の値に設定し、ボケ最小化領域として選択されない映像領域では映像が投射されないように「０」に設定する。また、ブレンディング係数は、ボケ最小化領域に選択された映像領域のうち、ブレンディング領域を除く領域では「１」に設定し、ブレンディング領域では「０」から「１」または「１」から「０」へ徐々に変化する値に設定する。
　なお、図１６（ｃ）では、ブレンディング領域において、ブレンディング係数が直線状に変化させる例を示しているが、ブレンディング係数は必ずしも直線状に変化させなくてもよい。
　面別計算単位ボケ量と、ボケ最小化領域分割後の面別画素単位ボケ量と、面別計算単位ブレンディング係数との関係の一例は、図１１に示されている。
［６］各プロジェクタのブレンディング係数生成部１４の処理
［６－１］画素単位ブレンディング係数変換部３７は、ブレンディング係数切替部１３から出力された面別計算単位ブレンディング係数を、立体物１０２の各面における投射映像の画素位置毎のブレンディング係数に変換する。該ブレンディング係数の変換には、ボケ推定部１１から出力される面別画素情報に含まれる、立体物１０２の各面における投射映像の各画素位置を用いる。
［６－２］画素単位ブレンディング係数統合部３８は、画素単位ブレンディング係数変換部３７で変換されたブレンディング係数を統合し、投射映像用ブレンディング係数を生成する。投射映像用ブレンディング係数の生成には、面別画素情報に含まれる、立体物１０２の面における投射映像の各画素に対応する、投射する映像における画素の位置を用いる。
　面別計算単位ブレンディング係数と、面別画素単位ブレンディング係数と、統合後の投射映像用ブレンディング係数との関係の一例は、図１１に示されている。
　最後に、図１で示したマルチプロジェクションシステムにおけるブレンディング動作例について、図１８～図３２を用いて説明する。
　図１８～図３２の正面から見て左上で示す図は、図１に示した立体物１０２における映像を投射する面（投射対象面）をそれぞれ示している。図１８～図３２の各（ａ）は、それぞれの投射対象面におけるプロジェクタＰＪ１～ＰＪ３の映像領域とそのボケ量を示している。また、図１８～図３２の各（ｂ）は、ボケ最小化領域分割後にプロジェクタＰＪ１～ＰＪ３から投射される映像領域（ボケ最小化領域）と、そのボケ量を示している。
　なお、図１８～図３２において、ボケ量はボケ面積の平方根で示されている。また、図１８～図３２で示す立体物１０２の面において、図１４で示したステップＳ１の処理で用いる最小サイズ比で計算される大きさは、該面の垂直方向及び水平方向におけるサイズの１０％とする。
　また、図１８～図３２で示す立体物１０２の投射対象面に対して映像を投射できないプロジェクタは、その映像領域の大きさが最小サイズ比で計算される大きさ及び面別計算単位最小ブレンディングサイズの２倍よりも小さくなる。したがって、以下では、説明を省略するが、図１８～図３２で示す立体物１０２の投射対象面に対して映像を投射できないプロジェクタは、図１４のステップＳ１において、ボケ最小化領域分割候補から除外されるものとする。
（１）図１８
　図１８の正面から見て左上に示す立体物１０２の投射対象面にはプロジェクタＰＪ２の投射映像が浅い角度で部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ２の映像領域の垂直方向の大きさが上記条件２を満たさないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ２をボケ最小化領域分割候補から除外する。したがって、有効なプロジェクタが無くなる。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタの映像領域で、図１８で示す立体物１０２の投射対象面全体を覆うことができないと判定する。その結果、ボケ最小化領域分割部３５は、ステップＳ７において全てのプロジェクタを無効として処理を終了する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図１８で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１～ＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。
　したがって、図１８で示す立体物１０２の投射対象面にはいずれのプロジェクタＰＪ１～ＰＪ３からも映像が投射されない。
（２）図１９
　図１９の正面から見て左上に示す立体物１０２の投射対象面にはプロジェクタＰＪ３の投射映像が浅い角度で部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ３の映像領域の垂直方向の大きさが上記条件２を満たさないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ３をボケ最小化領域分割候補から除外する。したがって、有効なプロジェクタが無くなる。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタの映像領域で、図１９で示す立体物１０２の投射対象面全体を覆うことができないと判定する。その結果、ボケ最小化領域分割部３５は、ステップＳ７において全てのプロジェクタを無効として処理を終了する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図１９で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１～ＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。
　したがって、図１９で示す立体物１０２の投射対象面にはいずれのプロジェクタＰＪ１～ＰＪ３からも映像が投射されない。
（３）図２０
　図２０の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ２の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１及びＰＪ２の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１及びＰＪ２の映像領域で、図２０で示す投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、図２０で示す立体物１０２の投射対象面における右端のプロジェクタＰＪ１の映像領域及びその左側のプロジェクタＰＪ２の映像領域をボケ最小化領域と判定する。ブレンディング領域は、プロジェクタＰＪ１の面別計算単位最小ブレンディングサイズを用いて定める。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、プロジェクタＰＪ１及びＰＪ２の映像領域のうち、ボケ最小化領域に選択されない領域の面別計算単位ブレンディング係数を「０」に設定する。また、計算単位ブレンディング係数算出部３６は、ボケ最小化領域のうち、ブレンディング領域以外の領域を「１」に設定し、ブレンディング領域を「０」から「１」または「１」から「０」に徐々に変化する値に設定する。
　したがって、図２０で示す立体物１０２の投射対象面にはプロジェクタＰＪ１及びＰＪ２から映像が投射される。
（４）図２１
　図２１の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ３の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の水平方向の大きさが上記条件１を満たさないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ１をボケ最小化領域分割候補から除外する。
　また、ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ３の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ３の映像領域で、図２１で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ３の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２１で示す投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２１で示す立体物１０２の投射対象面におけるプロジェクタＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２１で示す立体物１０２の投射対象面にはプロジェクタＰＪ３からのみ映像が投射される。
（５）図２２
　図２２の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ２の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が全体ではあるが浅い角度で投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の水平方向の大きさが上記条件２を満たさないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ１をボケ最小化領域分割候補から除外する。
　また、ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ２の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ２の映像領域で、図２２で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ２の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２２で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２２で示す立体物１０２の投射対象面におけるプロジェクタＰＪ２の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２２で示す立体物１０２の投射対象面にはプロジェクタＰＪ２からのみ映像が投射される。
（６）図２３
　図２３の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ３の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が全体ではあるが浅い角度で投射される。
・ボケ最小化領域分割部３５での処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の水平方向の大きさが上記条件２を満たさないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ１をボケ最小化領域分割候補から除外する。
　また、ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ３の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ３の映像領域で、図２３で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ３の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２３で示す立体物１０２の面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２３で示す立体物１０２の投射対象面におけるプロジェクタＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２３で示す立体物１０２の投射対象面にはプロジェクタＰＪ３からのみ映像が投射される。
（７）図２４
　図２４の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１の映像領域で、図２４で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２４で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２４で示す立体物１０２の投射対象面にはプロジェクタＰＪ１からのみ映像が投射される。
（８）図２５
　図２５の正面から見て左上に示す立体物１０２の面には、プロジェクタＰＪ１の投射映像が全体に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の大きさが上記条件１及び２をそれぞれ満たすと判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１の映像領域で、図２５で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２５で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２５で示す立体物１０２の投射対象面にはプロジェクタＰＪ１からのみ映像が投射される。
（９）図２６
　図２６の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射され、プロジェクタＰＪ２の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ２の映像領域の水平方向の大きさが上記条件１を満たしていないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ２をボケ最小化領域分割候補から除外する。
　また、ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１の映像領域で、図２６で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２６で示す立体物１０２の投射対象面におけるプロジェクタＰＪ２の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２６で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２６で示す立体物１０２の面にはプロジェクタＰＪ１からのみ映像が投射される。
（１０）図２７
　図２７の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射され、プロジェクタＰＪ３の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　また、ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ３の水平方向の映像領域の大きさが上記条件２を満たしていないと判定する。そのため、ボケ最小化領域分割部３５は、図１４のステップＳ２において、プロジェクタＰＪ３をボケ最小化領域分割候補から除外する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１の映像領域で、図２７で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２７で示す立体物１０２の投射対象面におけるプロジェクタＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２７で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２７で示す立体物１０２の投射対象面にはプロジェクタＰＪ１からのみ映像が投射される。
（１１）図２８
　図２８の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１の映像領域で、図２８で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２８で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２８で示す立体物１０２の投射対象面にはプロジェクタＰＪ１からのみ映像が投射される。
（１２）図２９
　図２９の正面から見て左上に示す立体物１０２の面には、プロジェクタＰＪ２の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１及びＰＪ２の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１及びＰＪ２の映像領域で、図２９で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ２の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図２９で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図２９で示す立体物１０２の投射対象面におけるプロジェクタＰＪ２の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図２９で示す立体物１０２の投射対象面にはプロジェクタＰＪ２からのみ映像が投射される。
（１３）図３０
　図３０の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ３の投射映像が全体に投射され、プロジェクタＰＪ１の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１及びＰＪ３の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１及びＰＪ３の映像領域で、図３０で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、プロジェクタＰＪ３の映像領域をボケ最小化領域と判定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図３０で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。また、計算単位ブレンディング係数算出部３６は、図３０で示す立体物１０２の投射対象面におけるプロジェクタＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「１」に設定する。
　したがって、図３０で示す立体物１０２の投射対象面にはプロジェクタＰＪ３からのみ映像が投射される。
（１４）図３１
　図３１の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射され、プロジェクタＰＪ２及びＰＪ３の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１～ＰＪ３の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１～ＰＪ３の映像領域で、図３１で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、投射対象面の左端側ではプロジェクタＰＪ２の映像領域をボケ最小化領域と判定し、投射対象面の中央ではプロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。また、投射対象面の右端側ではプロジェクタＰＪ３の映像領域をボケ最小化領域と判定する。
　また、ボケ最小化領域分割部３５は、プロジェクタＰＪ１及びＰＪ２の映像領域の境界において、プロジェクタＰＪ１の面別計算単位最小ブレンディングサイズを用いてブレンディング領域を設定する。さらに、ボケ最小化領域分割部３５は、プロジェクタＰＪ１及びＰＪ３の映像領域の境界において、プロジェクタＰＪ１の面別計算単位最小ブレンディングサイズを用いてブレンディング領域を設定する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、プロジェクタＰＪ１、ＰＪ２及びＰＪ３の映像領域のうち、ボケ最小化領域に選択されない映像領域の面別計算単位ブレンディング係数を「０」に設定する。また、計算単位ブレンディング係数算出部３６は、ボケ最小化領域のうち、ブレンディング領域以外の映像領域を「１」に設定し、ブレンディング領域を「０」から「１」または「１」から「０」に徐々に変化する値に設定する。
　したがって、図３１で示す立体物１０２の投射対象面には、プロジェクタＰＪ１～ＰＪ３からそれぞれ映像が投射される。
（１５）図３２
　図３２の正面から見て左上に示す立体物１０２の投射対象面には、プロジェクタＰＪ１の投射映像が全体に投射され、プロジェクタＰＪ２及びＰＪ３の投射映像が部分的に投射される。
・ボケ最小化領域分割部３５の処理
　ボケ最小化領域分割部３５は、図１４のステップＳ１において、プロジェクタＰＪ１～ＰＪ３の映像領域の大きさが上記条件１及び２をそれぞれ満たしていると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ３において、有効なプロジェクタＰＪ１～ＰＪ３の映像領域で、図３２で示す立体物１０２の投射対象面全体を覆うことができると判定する。
　ボケ最小化領域分割部３５は、図１４のステップＳ４において、投射対象面の左端側ではプロジェクタＰＪ２の映像領域をボケ最小化領域と判定し、投射対象面の中央ではプロジェクタＰＪ１の映像領域をボケ最小化領域と判定する。また、ボケ最小化領域分割部３５は、図１４のステップＳ４において、投射対象面の右端側ではプロジェクタＰＪ３の映像領域をボケ最小化領域と判定する。
　また、ボケ最小化領域分割部３５は、プロジェクタＰＪ１及びＰＪ２の映像領域の境界において、プロジェクタＰＪ１の面別計算単位最小ブレンディングサイズを用いてブレンディング領域を設定する。さらに、ボケ最小化領域分割部３５は、プロジェクタＰＪ１及びＰＪ３の映像領域の境界において、プロジェクタＰＪ１の面別計算単位最小ブレンディングサイズを用いてブレンディング領域を設定する。
　しかしながら、ボケ最小化領域分割部３５は、図１４のステップＳ６において、図３２（ａ）で示すように、ボケ最小化領域分割後の各領域のボケ量の最大値が許容ボケ量よりも大きいと判定する。その結果、ボケ最小化領域分割部３５は、ステップＳ７において全てのプロジェクタを無効として処理を終了する。
・計算単位ブレンディング係数算出部３６の処理
　計算単位ブレンディング係数算出部３６は、図３２で示す立体物１０２の投射対象面におけるプロジェクタＰＪ１～ＰＪ３の映像領域の面別計算単位ブレンディング係数を全て「０」に設定する。
　したがって、図３２で示す立体物１０２の投射対象面にはいずれのプロジェクタＰＪ１～ＰＪ３からも映像が投射されない。
　本実施形態によれば、マスタプロジェクタが、ボケ量推定部１１で求めた面別計算単位ボケ量に基づいて、立体物１０２の投射対象面における、該面別計算単位ボケ量が最小となるプロジェクタ毎の映像を投射する領域を決定する。このとき、立体物１０２の同じ面に対してボケ量が少ない投射映像とボケ量が大きい投射映像とが投射される場合は、ボケ量の大きい映像を投射するプロジェクタが無効とされる。そのため、該ボケ量の大きい映像を投射するプロジェクタから映像が投射されることがない。したがって、立体物１０２の各面における投射映像のボケ量の増大が抑制される。
　また、マスタプロジェクタは、立体物１０２の投射対象面の大きさに対して映像領域が小さすぎるプロジェクタ及びブレンディング領域を確保できないプロジェクタを、該投射対象面に映像を投射する候補から除外して無効とする。そのため、該投射対象面に対して意図しないプロジェクタからの映像または解像度が大きく低下した映像が投射されることがない。したがって、立体物１０２の各面における投射映像の悪化が抑制される。
　よって、本実施形態によれば、立体物１０２の各面における投射映像のボケ量の増大、並びに立体物１０２の各面における投射映像の悪化が抑制される。
（第２の実施の形態）
　図３３は、第２の実施の形態のプロジェクタの一構成例を示すブロック図である。
　図３３で示すように、第２の実施の形態のプロジェクタは、図３で示した第１の実施の形態のプロジェクタが備えるボケ量格納部３２を除いた構成である。また、第２の実施の形態のプロジェクタでは、画素単位ボケ量算出部３３に画素情報算出部３１で算出された面別画素情報及びプロジェクタ投射設計データ格納部１５で保存された投射機能に関連する設計データが入力される。
　第１の実施の形態のプロジェクタでは、画素単位ボケ量算出部３３が、画素情報算出部３１で算出された面別画素情報及びボケ量格納部３２で保存された実測値を用いて立体物１０２の各面における画素単位ボケ量を求める。
　一方、第２の実施の形態のプロジェクタは、画素単位ボケ量算出部３３が、上記面別画素情報及び投射機能に関連する設計データを用いて立体物１０２の各面における画素単位ボケ量をそれぞれ理論的に計算する。立体物１０２の各面における画素単位ボケ量の計算方法は当業者に周知であるため、ここではその説明を省略する。その他の構成及び動作は第１の実施の形態のプロジェクタと同様であるため、その説明は省略する。
　第２の実施の形態では、フォーカス位置及び投射距離に応じたズーム位置毎のボケ量、ボケ量の補正係数及びボケ量の変換係数として、実測値を用いないため、求めた画素単位ボケ量の精度が低下する可能性がある。
　しかしながら、第２の実施の形態では、プロジェクタの製造時に、それぞれのフォーカス位置及び投射距離に応じたズーム位置毎のボケ量、ボケ量の補正係数及びボケ量の変換係数等を予め測定して保存しておく必要がない。したがって、第２の実施の形態によれば、第１の実施の形態と比べて、プロジェクタの製造工程が短縮され、該プロジェクタの製造コストも低減される。
（第３の実施の形態）
　図３４は、本発明のプロジェクタの主要な構成例を示すブロック図である。
　図３４で示すように、第３の実施の形態のプロジェクタ２００は、ボケ量推定部２０１と、ブレンディング部２０２とを有する。
　ボケ量推定部２０１は、立体物１０２が有する複数の面における、当該プロジェクタ２００から投射する映像のボケ量をそれぞれ推定する。
　ブレンディング部２０２は、ボケ量推定部２０１が推定したボケ量と、複数のプロジェクタのうち当該プロジェクタ２００以外のプロジェクタから通知されたボケ量とに基づいて、立体物１０２が有する複数の面における映像のボケ量がそれぞれ最小となるように、複数のプロジェクタから投射する映像の領域を複数の面毎にそれぞれ決定する。
　第１及び第２の実施の形態で示したボケ量推定部１１は上記ボケ量推定部２０１の一例である。第１及び第２の実施の形態で示したブレンディング部１２は上記ブレンディング部２０２の一例である。
　本願発明は、以下の付記に記載された形態を採りうるが、該付記に記載された形態に限定されるものではない。
（付記１）
　複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムであって、
　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
を有し、
　前記スレーブプロジェクタは、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
　前記マスタプロジェクタは、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定するマルチプロジェクションシステム。
（付記２）
　付記１記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタは、
　前記立体物が有する面の大きさに対して、当該面に投射する映像の大きさが予め設定された大きさよりも小さいプロジェクタを、当該面に映像を投射するプロジェクタから除外するマルチプロジェクションシステム。
（付記３）
　付記１または２記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタは、
　前記複数のプロジェクタから前記立体物の同じ面に対して映像を投射する場合、当該面における隣接する映像の境界にそれぞれの映像の一部を重ね合せる領域であるブレンディング領域を設け、
　当該面に投射する映像の大きさが予め設定された大きさの前記ブレンディング領域を確保できないプロジェクタを、当該面に映像を投射するプロジェクタから除外するマルチプロジェクションシステム。
（付記４）
　付記１から３のいずれか１項記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
　前記立体物の位置を３次元で測定する３次元位置センサをそれぞれ備え、
　前記マスタプロジェクタは、
　自装置及び前記スレーブプロジェクタが備える前記３次元位置センサでそれぞれ測定された前記立体物の位置を示す３次元位置データを統合し、該統合後の３次元位置データに基づいて前記立体物が有する複数の面を検出するマルチプロジェクションシステム。
（付記５）
　付記４記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタは、
　点群データから成る前記立体物の前記統合後の３次元位置データの各点の法線ベクトルをそれぞれ求め、隣接する点の前記法線ベクトルの差が予め設定された所定の閾値よりも小さい場合に、該隣接する点が同一面上にあると判定することで、前記立体物が有する複数の面をそれぞれ検出するマルチプロジェクションシステム。
（付記６）
　付記１から５のいずれか１項記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
　前記立体物が有する複数の面における前記プロジェクタから投射される映像の解像度のうち、最も高い解像度を計算上の解像度として前記立体物の面毎に設定し、前記立体物が有する複数の面における前記プロジェクタから投射される映像の画素毎のボケ量である面別画素単位ボケ量を前記立体物の面毎にそれぞれ求め、前記面別画素単位ボケ量を前記計算上の解像度におけるボケ量である面別計算単位ボケ量に変換し、前記面別計算単位ボケ量を前記立体物が有する複数の面における前記推定したボケ量として用いるマルチプロジェクションシステム。
（付記７）
　付記６記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
　予め測定された、投射レンズのフォーカス位置及び投射面との距離に応じたズーム位置毎のボケ量、投射する映像の各画素の位置に対応する前記フォーカス位置及び前記投射面との距離に応じた前記ズーム位置毎のボケ量の補正係数、並びに前記投射面に対する前記立体物が有する面の傾き量に対応する前記フォーカス位置及び前記投射面との距離に応じた前記ズーム位置毎のボケ量の変換係数の実測値をそれぞれ保存し、
　前記実測値に基づいて、前記面別画素単位ボケ量を求めるマルチプロジェクションシステム。
（付記８）
　付記１から７のいずれか１項記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタは、
　前記立体物が有する面における映像の最小のボケ量が予め設定された許容ボケ量よりも大きい場合、前記複数のプロジェクタを全て無効として当該面に映像を投射させないマルチプロジェクションシステム。
（付記９）
　付記２または３記載のマルチプロジェクションシステムにおいて、
　前記マスタプロジェクタは、
　前記立体物が有する複数の面に投射する映像に対応する映像信号の画素毎の輝度を調整するための係数を設定し、
　前記立体物が有する面に対して映像を投射するプロジェクタから除外されたプロジェクタが当該面へ投射する映像に対応する映像信号には前記係数として「０」を設定し、
　前記立体物が有する面に対して映像を投射するプロジェクタから除外されないプロジェクタが当該面へ投射する映像に対応する映像信号のうち、前記ブレンディング領域に投射する映像に対応する映像信号には前記係数として「０」から「１」または「１」から「０」に徐々に変化する値を設定し、
　前記立体物が有する面に対して映像を投射するプロジェクタから除外されないプロジェクタが当該面へ投射する映像に対応する映像信号のうち、前記ブレンディング領域を除いた領域に投射する映像に対応する映像信号には前記係数として「１」を設定するマルチプロジェクションシステム。
（付記１０）
　マルチプロジェクションシステムが備える複数のプロジェクタから立体物に映像を投射する映像投射方法であって、
　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
を備え、
　前記スレーブプロジェクタが、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
　前記マスタプロジェクタが、
　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定する映像投射方法。
（付記１１）
　複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムにおいて、前記複数のプロジェクタのうち１つのプロジェクタであって、
　前記立体物が有する複数の面における、当該プロジェクタから投射する映像のボケ量をそれぞれ推定するボケ量推定部と、
　前記ボケ量推定部が推定したボケ量と、前記複数のプロジェクタのうち当該プロジェクタ以外のプロジェクタから通知された該プロジェクタで推定されたボケ量とに基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定するブレンディング部と、
を有するプロジェクタ。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細は本願発明のスコープ内で当業者が理解し得る様々な変更が可能である。

Claims (10)

  1. 　複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムであって、
    　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
    　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
    を有し、
    　前記スレーブプロジェクタは、
    　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
    　前記マスタプロジェクタは、
    　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定するマルチプロジェクションシステム。
  2. 　請求項１記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタは、
    　前記立体物が有する面の大きさに対して、当該面に投射する映像の大きさが予め設定された大きさよりも小さいプロジェクタを、当該面に映像を投射するプロジェクタから除外するマルチプロジェクションシステム。
  3. 　請求項１または２記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタは、
    　前記複数のプロジェクタから前記立体物の同じ面に対して映像を投射する場合、当該面における隣接する映像の境界にそれぞれの映像の一部を重ね合せる領域であるブレンディング領域を設け、
    　当該面に投射する映像の大きさが予め設定された大きさの前記ブレンディング領域を確保できないプロジェクタを、当該面に映像を投射するプロジェクタから除外するマルチプロジェクションシステム。
  4. 　請求項１から３のいずれか１項記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
    　前記立体物の位置を３次元で測定する３次元位置センサをそれぞれ備え、
    　前記マスタプロジェクタは、
    　自装置及び前記スレーブプロジェクタが備える前記３次元位置センサでそれぞれ測定された前記立体物の位置を示す３次元位置データを統合し、該統合後の３次元位置データに基づいて前記立体物が有する複数の面を検出するマルチプロジェクションシステム。
  5. 　請求項４記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタは、
    　点群データから成る前記立体物の前記統合後の３次元位置データの各点の法線ベクトルをそれぞれ求め、隣接する点の前記法線ベクトルの差が予め設定された所定の閾値よりも小さい場合に、該隣接する点が同一面上にあると判定することで、前記立体物が有する複数の面をそれぞれ検出するマルチプロジェクションシステム。
  6. 　請求項１から５のいずれか１項記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
    　前記立体物が有する複数の面における前記プロジェクタから投射される映像の解像度のうち、最も高い解像度を計算上の解像度として前記立体物の面毎に設定し、前記立体物が有する複数の面における前記プロジェクタから投射される映像の画素毎のボケ量である面別画素単位ボケ量を前記立体物の面毎にそれぞれ求め、前記面別画素単位ボケ量を前記計算上の解像度におけるボケ量である面別計算単位ボケ量に変換し、前記面別計算単位ボケ量を前記立体物が有する複数の面における前記推定したボケ量として用いるマルチプロジェクションシステム。
  7. 　請求項６記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタ及び前記スレーブプロジェクタは、
    　予め測定された、投射レンズのフォーカス位置及び投射面との距離に応じたズーム位置毎のボケ量、投射する映像の各画素の位置に対応する前記フォーカス位置及び前記投射面との距離に応じた前記ズーム位置毎のボケ量の補正係数、並びに前記投射面に対する前記立体物が有する面の傾き量に対応する前記フォーカス位置及び前記投射面との距離に応じた前記ズーム位置毎のボケ量の変換係数の実測値をそれぞれ保存し、
    　前記実測値に基づいて、前記面別画素単位ボケ量を求めるマルチプロジェクションシステム。
  8. 　請求項１から７のいずれか１項記載のマルチプロジェクションシステムにおいて、
    　前記マスタプロジェクタは、
    　前記立体物が有する面における映像の最小のボケ量が予め設定された許容ボケ量よりも大きい場合、前記複数のプロジェクタを全て無効として当該面に映像を投射させないマルチプロジェクションシステム。
  9. 　マルチプロジェクションシステムが備える複数のプロジェクタから立体物に映像を投射する映像投射方法であって、
    　前記マルチプロジェクションシステムの動作を制御する、前記複数のプロジェクタのうちの１台であるマスタプロジェクタと、
    　前記マスタプロジェクタの指示にしたがって処理を実行する、前記複数のプロジェクタのうちの前記マスタプロジェクタではないスレーブプロジェクタと、
    を備え、
    　前記スレーブプロジェクタが、
    　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該推定したボケ量を前記マスタプロジェクタに提供し、
    　前記マスタプロジェクタが、
    　前記立体物が有する複数の面における、自装置から投射する映像のボケ量をそれぞれ推定し、該自装置で推定したボケ量及び前記スレーブプロジェクタで推定されたボケ量に基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定する映像投射方法。
  10. 　複数のプロジェクタから立体物に映像を投射するマルチプロジェクションシステムにおいて、前記複数のプロジェクタのうち１つのプロジェクタであって、
    　前記立体物が有する複数の面における、当該プロジェクタから投射する映像のボケ量をそれぞれ推定するボケ量推定部と、
    　前記ボケ量推定部が推定したボケ量と、前記複数のプロジェクタのうち当該プロジェクタ以外のプロジェクタから通知された該プロジェクタで推定されたボケ量とに基づいて、前記複数の面における映像のボケ量がそれぞれ最小となるように、前記複数のプロジェクタから投射する映像の領域を前記複数の面毎にそれぞれ決定するブレンディング部と、
    を有するプロジェクタ。
PCT/JP2017/033686 2017-09-19 2017-09-19 マルチプロジェクションシステム、映像投射方法及びプロジェクタ Ceased WO2019058415A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/636,295 US11620732B2 (en) 2017-09-19 2017-09-19 Multi-projection system, image projection method and projector
PCT/JP2017/033686 WO2019058415A1 (ja) 2017-09-19 2017-09-19 マルチプロジェクションシステム、映像投射方法及びプロジェクタ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033686 WO2019058415A1 (ja) 2017-09-19 2017-09-19 マルチプロジェクションシステム、映像投射方法及びプロジェクタ

Publications (1)

Publication Number Publication Date
WO2019058415A1 true WO2019058415A1 (ja) 2019-03-28

Family

ID=65811308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033686 Ceased WO2019058415A1 (ja) 2017-09-19 2017-09-19 マルチプロジェクションシステム、映像投射方法及びプロジェクタ

Country Status (2)

Country Link
US (1) US11620732B2 (ja)
WO (1) WO2019058415A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511831A (zh) * 2022-09-27 2022-12-23 佳木斯大学 一种组织胚胎病理切片的数据分析处理系统及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238298B2 (ja) * 2018-09-03 2023-03-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
JP7789481B2 (ja) * 2020-11-30 2025-12-22 セイコーエプソン株式会社 投写方法、及びプロジェクター
CN112927731B (zh) * 2021-01-27 2021-12-07 深圳冠兰达电子科技有限公司 一种方便调节方向的激光播放器
JP7669863B2 (ja) * 2021-08-06 2025-04-30 セイコーエプソン株式会社 表示方法
US20230127730A1 (en) * 2021-10-26 2023-04-27 Scalable Display Technologies, Inc. System and method for projection mapping
KR20240053125A (ko) * 2022-10-14 2024-04-24 삼성디스플레이 주식회사 메타물질 부재를 포함하는 디스플레이 시스템 및 메타물질 부재의 나노 구조체의 제조 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165949A (ja) * 2004-12-07 2006-06-22 Seiko Epson Corp プロジェクタシステムおよびプロジェクタ
JP2007156325A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置及び情報提示方法とそのプログラム
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
US20080095468A1 (en) * 2004-08-30 2008-04-24 Bauhaus-Universitaet Weimar Method And Device For Representing A Digital Image On A Surface Which Is Non-Trivial In Terms Of Its Geometry And Photometry
JP2009524849A (ja) * 2006-01-24 2009-07-02 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
WO2017085802A1 (ja) * 2015-11-18 2017-05-26 日立マクセル株式会社 画像投射装置
JP2017201748A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 画像生成装置、画像生成方法、及びそのプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641820B2 (ja) 2010-08-25 2014-12-17 キヤノン株式会社 投射型表示システム及び投射型表示装置
JP2013165344A (ja) 2012-02-09 2013-08-22 Canon Inc 画像処理装置及び画像処理方法
GB2499635B (en) * 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
JP6192125B2 (ja) * 2013-01-21 2017-09-06 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、マルチ表示システム、およびマルチ表示方法
KR101583289B1 (ko) * 2013-12-09 2016-01-07 씨제이씨지브이 주식회사 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095468A1 (en) * 2004-08-30 2008-04-24 Bauhaus-Universitaet Weimar Method And Device For Representing A Digital Image On A Surface Which Is Non-Trivial In Terms Of Its Geometry And Photometry
JP2006165949A (ja) * 2004-12-07 2006-06-22 Seiko Epson Corp プロジェクタシステムおよびプロジェクタ
JP2007156325A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置及び情報提示方法とそのプログラム
JP2009524849A (ja) * 2006-01-24 2009-07-02 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
WO2017085802A1 (ja) * 2015-11-18 2017-05-26 日立マクセル株式会社 画像投射装置
JP2017201748A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 画像生成装置、画像生成方法、及びそのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511831A (zh) * 2022-09-27 2022-12-23 佳木斯大学 一种组织胚胎病理切片的数据分析处理系统及方法

Also Published As

Publication number Publication date
US20200193568A1 (en) 2020-06-18
US11620732B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
WO2019058415A1 (ja) マルチプロジェクションシステム、映像投射方法及びプロジェクタ
KR101639962B1 (ko) 교정 장치, 투영기 및 교정 방법
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US8717414B2 (en) Method and apparatus for matching color image and depth image
JP5401940B2 (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
JP2005347790A (ja) 台形歪み補正装置を備えたプロジェクタ
JP7195801B2 (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
US20230085042A1 (en) Camera Switchover Control Techniques for Multiple-Camera Systems
JP6990694B2 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
WO2018154634A1 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JP6635764B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP7579306B2 (ja) マルチカメラシステムのためのカメラ切替制御技法
JP6628678B2 (ja) 距離測定装置、撮像装置、および距離測定方法
US9787891B2 (en) Focus control apparatus and focus control method
US11468586B2 (en) Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium
JP3382346B2 (ja) 撮像装置
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
JP3914938B2 (ja) プロジェクタの台形歪み補正装置と該台形歪み補正装置を備えたプロジェクタ
JP2005017350A (ja) プロジェクタ
US12015845B2 (en) Object depth estimation and camera focusing techniques for multiple-camera systems
CN114283183B (zh) 一种双目成像装置、深度图像获取系统、方法及介质
JP2020067511A (ja) カメラシステム、その制御方法およびプログラム
JP7463133B2 (ja) 面積計測装置、面積計測方法、及びプログラム
JP2010041418A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17926091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP