[go: up one dir, main page]

WO2017072842A1 - プロジェクタ、映像表示装置、及び映像表示方法 - Google Patents

プロジェクタ、映像表示装置、及び映像表示方法 Download PDF

Info

Publication number
WO2017072842A1
WO2017072842A1 PCT/JP2015/080164 JP2015080164W WO2017072842A1 WO 2017072842 A1 WO2017072842 A1 WO 2017072842A1 JP 2015080164 W JP2015080164 W JP 2015080164W WO 2017072842 A1 WO2017072842 A1 WO 2017072842A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
superimposed
image
pattern
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/080164
Other languages
English (en)
French (fr)
Inventor
田中　和彦
中嶋　満雄
樋口　晴彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to US15/771,318 priority Critical patent/US10244216B2/en
Priority to PCT/JP2015/080164 priority patent/WO2017072842A1/ja
Priority to JP2017547219A priority patent/JP6630363B2/ja
Priority to CN201580084167.3A priority patent/CN108353154B/zh
Publication of WO2017072842A1 publication Critical patent/WO2017072842A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/08—Sequential recording or projection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H04N9/3114—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources by using a sequential colour filter producing one colour at a time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to a projector, a video display device, and a video display method, and more particularly to superimposing an invisible pattern on a projected video for shape recognition of a projection target.
  • Patent Document 1 One method for realizing this is described in Japanese Patent Application Laid-Open No. 2005-37771 (Patent Document 1).
  • Patent Document 1 the shape of a projection target is acquired by projecting a grid with infrared light from a projector and shooting with an infrared camera.
  • Patent Document 1 in a projector using a single-plate micromirror array as a light modulation element, an invisible pattern such as a grid is projected by providing a color wheel with a region through which only infrared light passes.
  • a dedicated color wheel which is disadvantageous in terms of cost, and the infrared light region on the color wheel is displayed on the image display even when pattern projection is not performed. Since it is a period during which it cannot be used, there is a problem that the brightness of the projected image is reduced.
  • the present invention decomposes an input image into a plurality of color component images, and projects each color component image on the same position of the projection object in a time-sharing manner.
  • a projector that optically synthesizes an image of a plurality of color components on the surface of a projection object and displays an input image in color, and only a light source and light having a wavelength corresponding to each color component of the light from the light source.
  • a color wheel that passes in a time-division manner, a light modulation device that modulates light from a light source that has passed through the color wheel based on a supplied color component image, and a lens that projects light modulated by the light modulation device onto a projection object
  • a projection image generation circuit that decomposes the input image into images of a plurality of color components and supplies them to the light modulation device at a timing synchronized with the operation of the color wheel, and the color components are R primary colors.
  • the projection image generation circuit superimposes the first superimposed image pattern on the image of the color component other than RGB and averages it in the time direction, including at least one of the three components B and color components other than RGB.
  • the second superimposed video pattern generated so as to cancel the first superimposed video pattern on the surface of the projection object is configured to be superimposed on each color component video of RGB.
  • FIG. 1 is a configuration diagram of a video projection system in Embodiment 1.
  • FIG. 2 is a configuration diagram of an RGB color wheel that is a premise of Embodiment 1.
  • FIG. 2 is a configuration diagram of an RGBW color wheel in Embodiment 1.
  • FIG. It is an example of the video sequence which embedded the invisible pattern in Example 1.
  • FIG. It is the figure which expanded the marker periphery in FIG. It is the figure which showed the luminance distribution before the invisible pattern embedding in Example 1.
  • FIG. It is the figure which showed the luminance distribution after the invisible pattern embedding in Example 1.
  • FIG. 6 is a configuration diagram of RGBCMY color wheels in Embodiment 2.
  • FIG. 6 is a configuration diagram of RGBCMY color wheels in Embodiment 2.
  • FIG. 10 is an example of grid pattern embedding in scene 1 in Embodiment 3.
  • FIG. 10 is an example of multi-projector projection using a plurality of projectors in Example 4. It is the figure which expanded a part of overlap area
  • FIG. 10 is a diagram illustrating an example of embedding a coded pattern in the fifth embodiment. It is the figure which showed the example of the disturbance pattern embedding from which the timing in Example 6 differs. It is the figure which showed the example of the interference pattern embedding timing from which the timing in Example 6 differs.
  • FIG. 1 is a diagram showing a configuration example of a video projection system in this embodiment.
  • reference numeral 1 denotes a projector, which performs image processing on an input image 5 and then projects it on a projection object 2.
  • the projection object 2 is not only a normal flat screen but also a three-dimensional object such as a cube or a mannequin, and the projector 1 displays the input image 5 of the projection object 2. After being deformed to match the shape, it is projected on the surface of the projection object 2.
  • the image projection unit of the projector has a structure based on a projector using a single-plate type micromirror array, and the parts similar to those of a projector using a single-plate type micromirror array are provided unless otherwise specified. ⁇ It is operating.
  • Reference numeral 10 denotes a light source. Light emitted from the light source 10 passes through the color wheel 11, is modulated by the light modulation device 12 according to the projected image 14, and is projected onto the projection object 2 through the lens 13.
  • the light modulation device 12 has a structure in which extremely small mirrors are spread on a two-dimensional plane, and each mirror has a structure in which the direction can be changed according to the value of each pixel constituting the projected image 14. An amount of light corresponding to each pixel value is projected onto the projection object 2.
  • the input video is composed of the three primary colors RGB, but a single-panel projector equipped with only one light modulation device 12 cannot simultaneously modulate a plurality of color components in the video. .
  • color video projection is realized by processing each color component in a time-sharing manner. That is, a color wheel 11 that rotates at high speed is disposed between the light source 10 and the light modulation device 12, and images of RGB components are projected onto the projection object 2 in a time division manner, thereby realizing color display.
  • a region 800 written as R is a region that transmits only a light component having a wavelength corresponding to R and absorbs G and B. Similarly, the portions written as G and B transmit only the target light component.
  • this RGB color wheel is rotated about the center 801 so that it rotates exactly once in one frame period of the input video 5
  • each RGB component of the light emitted from the light source 10 is converted into a light modulation device by 1/3 frame period. 12 is irradiated.
  • an R image that is an image in which only the R (red) component of the input image 5 is extracted by the sub-frame forming circuit 22 in the projection image generation circuit 20, and a G image in which only the G (green) component is extracted.
  • a B image in which only the B (blue) component is extracted is generated. Since three images of R image, G image, and B image are obtained from one frame of input image, these images are called sub-frames.
  • the sub-frame forming circuit 22 has a function of using the frame buffer 21 and outputting these sub-frames in a time-sharing manner with time shift.
  • the projection video generation circuit 20 drives the light modulation device 12 in a time division manner by synchronizing the three RGB sub-frames generated from each frame of the input video 5 with the rotation of the color wheel 11.
  • the light modulation device 12 is driven with an R subframe image
  • when it is G it is driven with a G subframe image
  • when it is B it is driven with a B subframe image.
  • the R component, G component, and B component of the input video 5 are projected in a time division manner. Since the human eye has the property of integrating and recognizing incoming video in the time direction, RGB video projected in time division is recognized as color video if subframe switching is fast enough. It will be.
  • RGB color wheel when the projection period of each color component is equal, about 1/3 of the light generated by the light source 10 is used as the projection light to the projection object 2 and the remaining 2/3 is reflected by the color wheel 11. ⁇ It will be absorbed and thrown away.
  • the projection video generation circuit 20 When the RGBW color wheel is used, the projection video generation circuit 20 generates a projection video 14 having R, G, B, and W components that are visible light from the input video 5 and outputs the projection video 14 in a time-sharing manner. .
  • the color expression method has a degree of freedom and color redundancy occurs.
  • RGBW color wheel is used and the pixel values of RGB are made equal, if the same color and brightness as W of the same pixel value are adjusted, RGB can be projected to project white Projection may be performed with the same pixel value and white may be turned off, or RGB may be turned off and only white may be projected with the aforementioned pixel value.
  • an invisible pattern is superimposed on an image using the degree of freedom and color redundancy of the RGBW color wheel.
  • the luminance value (Ri, Gi, Bi) of each RGB component at the pixel position (xi, yi) on the screen and the pixel value (Rp, Gp, Bp) of each subframe , Wp) can be expressed by the following equation.
  • Ri Kr x g (Rp) + Kwr x g (Wp) (Formula 1a)
  • Gi Kg x g (Gp) + Kwg x g (Wp)
  • Bi Kb x g (Bp) + Kwb x g (Wp) (Formula 1c)
  • g () is a gamma function representing the relationship between the pixel value and the luminance, and is usually designed to be a power function.
  • Kr, Kg, Kb, Kwr, Kwg, Kwb are proportional constants.
  • Wp is decreased by ⁇ W.
  • Ri Kr x g (Rp + ⁇ R) + Kwr x g (Wp – ⁇ W) (Formula 2a)
  • Gi Kg x g (Gp + ⁇ G) + Kwg x g (Wp – ⁇ W) (Formula 2b)
  • Bi Kb ⁇ g (Bp + ⁇ B) + Kwb ⁇ g (Wp ⁇ W) (Formula 2c) It is possible to uniquely determine a set of ⁇ R, ⁇ G, and ⁇ B that satisfies the above.
  • FIG. 3 is a diagram in which subframe images corresponding to the RGBW color wheel are arranged in the horizontal direction in time series. Marker 110 is embedded in R subframe 100 of frame N, marker 111 is embedded in G subframe 101, marker 112 is embedded in B subframe 102, and marker 113 is embedded in W subframe 103. An enlarged view of the periphery of the marker 110 in the R subframe 100 is shown in FIG.
  • FIG. 5 is a graph of pixel values of the projected video before embedding the marker
  • FIG. 6 is a graph of pixel values of the projected video after embedding the marker.
  • the pixel value of the coordinates (xi, yi) is (Rp, Gp, Bp, Wp) in FIG. 5, and (Rp + ⁇ R, Gp + ⁇ G, Bp + ⁇ B, Wp ⁇ W) in FIG.
  • Each subframe is projected in a time-sharing manner, but if the period is sufficiently short, it is recognized as an image in which the luminance of each subframe is averaged by the integration effect of the human eye. In this case, ⁇ R + ⁇ G + ⁇ B and ⁇ W are canceled, and the luminance before and after the marker embedding is (Ri, Gi, Bi), and does not change depending on the presence or absence of the marker. That is, the markers 110 to 113 embedded in each subframe in FIG. 3 are invisible markers that are not visible to the human eye.
  • the marker image is obtained by superimposing the input image 5 on the captured image of the camera, pattern matching or the like is performed by an image analysis circuit that analyzes the captured image such as the pattern detection circuit 31 and the parameter calculation circuit 32 shown in FIG. It is possible to detect the marker coordinates using the above method. If the input video 5 includes a pattern similar to a marker, the pattern matching malfunction can be reduced by changing the shape of the superimposed marker to another.
  • the invisible pattern embedded in the present embodiment is not limited to this, and a pattern having an arbitrary shape can be embedded.
  • a usage example when embedding a regular pattern such as a grid is shown below.
  • FIG. 7 is a diagram in which the sub-frame images corresponding to the RGBW color wheel are arranged in the horizontal direction in time series.
  • a grid-like grid pattern is superimposed on each subframe in the same manner as the cross marker described above. That is, grid 120 is embedded in R subframe 100 of frame N, grid 121 is embedded in G subframe 101, grid 122 is embedded in B subframe 102, and grid 123 is embedded in W subframe 103.
  • the grid pattern can be photographed without showing unnecessary grid display to a person viewing the three-dimensional object to be measured.
  • the grid pattern superposition shown in FIG. 7 makes it possible to perform 3D measurement without showing an unnecessary grid display to a person viewing a three-dimensional object to be measured.
  • this embodiment embeds an invisible pattern that is invisible to the human eye in the video and shoots the video in synchronism with the rotation of the color wheel using a camera. Make it identifiable.
  • the input image is decomposed into a plurality of color component images, and each color component image is projected on the same position of the projection object in a time-sharing manner.
  • a projector that optically synthesizes an image and displays an input image in color, and passes through a light source, a color wheel that passes only light of a wavelength corresponding to each color component of the light from the light source in a time-sharing manner, and the color wheel.
  • a light modulation device that modulates light from the light source based on the supplied color component image, a lens that projects light modulated by the light modulation device onto the projection target, and an input image that is decomposed into multiple color component images
  • a projection video generation circuit that supplies the light modulation device with timing synchronized with the operation of the color wheel, and the color components are at least one of three primary RGB components and one of the non-RGB color components.
  • the first superimposed video pattern is superimposed on the video of the color components other than RGB, and the first superimposed video pattern is canceled on the surface of the projection target when averaged in the time direction.
  • the second superimposed video pattern generated in this way is configured to be superimposed on each RGB color component video.
  • the present invention is an image display device that displays a color image by dividing an input color image into four or more color component images and displaying them in a time-division manner.
  • the display image is averaged over a period of one frame period in the time direction.
  • a video generation circuit that superimposes the superimposed video patterns that cancel each other on each color component video of four or more colors.
  • an image display method for displaying a color image by dividing an input color image into four or more color component images and displaying them in a time division manner, and averaging the display image for one frame period in the time direction.
  • a pattern that cancels each other is superimposed on each color component image.
  • the present embodiment is not limited to this, and there is a degree of freedom and color redundancy between the color components of each subframe. The point which can be realized even with a color wheel of a combination of different colors will be described.
  • FIG. 8 shows an example of the RGBCMY color wheel used in this embodiment.
  • R is red
  • G is green
  • B is blue.
  • CMY is a complementary color of each of C: cyan, M: magenta, and Y: yellow.
  • These complementary colors can be made by mixing RGB. For example, it is possible to generate Y: yellow by mixing R: red and G: green. By utilizing this fact, it is possible to embed an invisible pattern as in the first embodiment.
  • the relationship between the pixel value of each subframe before embedding the marker and the luminance is as follows.
  • FIG. 9 is a graph of pixel values of a projected video before embedding a marker
  • FIG. 10 is a graph of pixel values of a projected video after embedding a marker.
  • the B, C, and M components are not affected by the above-described marker embedding, and are therefore omitted in these drawings.
  • the pixel values of the projected image 14 at the coordinates (xi, yi) are (Rp, Gp, Bp, Cp, Mp, Yp) in FIG. 9 and (Rp + ⁇ R, Gp + ⁇ G, Bp, Cp, Mp, Yp ⁇ Y) in FIG. ( ⁇ B is 0).
  • Each subframe is projected in a time-sharing manner, but if the period is sufficiently short, it is recognized as an image in which the luminance of each subframe is averaged by the integration effect of the human eye. That is, ⁇ R + ⁇ G and ⁇ Y are canceled, and the marker embedded in each subframe becomes an invisible marker that cannot be seen by human eyes.
  • this projected video is shot with a camera with a fast shutter speed, there is almost no integration effect, so a video with markers superimposed is shot.
  • RGBCMY color wheel it is possible to embed a pattern not only between R, G and Y but also by using the degree of freedom and color redundancy between G, B, C and R, B, M. .
  • FIG. 11 shows an example.
  • FIG. 11 shows a scene in which the moon and planets are reflected in the night sky.
  • the night sky portion is completely black, that is, when the pixel values of all components are 0, a pattern cannot be embedded in this portion.
  • an invisible pattern here, a grid pattern
  • each color component is 8 bits wide and can take a value of 0 to 255, it is determined by the following formula whether the area can be embedded by the pattern defined by the formulas 2a to c when the RGBW color wheel is used. can do.
  • a region where all of the equations 5a to 5d are satisfied is a region where a pattern can be embedded.
  • a video sequence is created by embedding a pattern at a different position for each scene, as shown in FIG. 11 or FIG. It is possible to embed a pattern in the entire screen as a whole. If the shape and position of the projection object does not change with time, or if the rate of change is so slow that it can be ignored, the pattern is sequentially embedded in the entire projection area in this way, and this is used for 3D measurement, etc. Can be done.
  • the invisible marker can be embedded in the projected video, in multi-projector projection, the overlapping area of the video may shift with time after installation / adjustment due to the effects of vibration, projector weight, etc. It is also possible to perform the correction without affecting the video content being projected. In the present embodiment, an example for realizing this will be described.
  • FIG. 13 shows an example of multi-projector projection using two projectors in this embodiment.
  • a horizontally long image 70 is projected on the horizontally long screen 4 using two projectors A and B.
  • the video divider 3 cuts out the left and right videos 71 and 72 from the input video 70 and sends them to the projectors A and B.
  • the video 71 and the video 72 are cut out so that some areas overlap in order to make the joint portion inconspicuous.
  • the projectors A and B have the same internal configuration as the projector 1 in FIG. 1 and are connected to the video divider 3 and the control PC 7 via the control bus 6.
  • Projectors A and B project the input images 71 and 72 on the screen 4 so as to overlap each other as 73 and 74. At this time, the geometric conversion circuit 24 in each projector corrects trapezoidal distortion and adjusts the projection size and position.
  • the geometric transformation parameters given to the geometric transformation circuit 24 should be adjusted only once by projecting the test pattern when the projectors A and B and the projection object 2 are installed. Since the projector projection position gradually shifts over time due to changes in the installation angle due to its own weight, the influence of vibrations, etc., it is necessary to periodically adjust the geometric conversion parameters.
  • geometric transformation if the coordinates of four points in the input video and corresponding coordinates in the projected video after applying geometric transformation can be obtained, geometric transformation parameters can be obtained by solving simultaneous equations. Is possible. A method of realizing this using an invisible marker will be described with reference to FIG.
  • FIG. 14 is an enlarged view of the periphery of the lower region 75 of the overlap region in FIG.
  • the marker 400 is an invisible marker projected by the projector A
  • the marker 401 is an invisible marker projected by the projector B. Both of these markers are embedded at the coordinates corresponding to the point 402 in the input image 70, and should be completely overlapped if the image 73 and the image 74 are accurately superimposed. That is, by adjusting the perspective transformation parameter so that the marker 400 and the marker 401 coincide with each other, it is possible to overlap the overlap regions without deviation.
  • the marker 400 and the marker 401 are photographed using the camera 30 mounted on the projector A.
  • This camera does not necessarily have to be built in the projector, and an external camera connected to the control PC 7 may be used.
  • the shooting timing is sent from the projector A to the control PC 7 via the control bus 6.
  • the control microcomputer 42 mounted on the projector A updates the geometric transformation parameter so that the distance between the projection position of the marker 400 and the marker 401 is reduced, and performs the feedback process to thereby change the projection position of the marker 400 and the marker 401. It is possible to match the projected images 73 and 74 without deviation.
  • the same processing can be performed by detecting the position of each marker from a plurality of images.
  • an example of projecting a pattern in which a URL or the like is encoded such as a two-dimensional barcode, will be described as an invisible pattern to be embedded in a projected image of a projector.
  • FIG. 15 is a diagram showing an example of embedding a coded pattern in this embodiment.
  • FIG. 15 in a scene in which all black and others exist as shown in the left figure, it is possible to embed a two-dimensional barcode as an invisible pattern in a non-black part as shown in the right figure.
  • the projected images shot by a camera such as a smartphone are posted on social media etc. Even when it is not desired to be diffused, it is effective to embed an invisible pattern as a disturbing pattern by the method described so far. This embodiment will explain this.
  • FIG. 16 is a diagram showing an example of embedding interference patterns with different timings in this embodiment.
  • the obstructing patterns 510 to 513 can be embedded as invisible patterns at different positions of the non-black part as shown in the right figure.
  • characters are embedded, but the entire screen may be embedded while changing a pattern position such as a stripe.
  • the timing for shooting with the camera cannot be limited as in the fifth embodiment.
  • this embodiment is implemented.
  • the interference pattern when a plurality of images are taken at different timings, it is required that the interference pattern be reflected in all the photos.
  • this is realized by embedding a plurality of invisible patterns at different timings at different positions of the projected image of the projector.
  • FIG. 17 shows an example in which these interference patterns are embedded in different subframes.
  • a jamming pattern 510 is embedded using R, G, B, and W subframes of frame N
  • a jamming pattern 511 is a G, B, and W subframe of frame N and an R subframe of frame N + 1.
  • the interference patterns with different embedding positions are embedded while sequentially shifting the embedding timing in accordance with the state of embedding. As a result, if the shutter speed is high to some extent (less than a few frames of the projector video), some of the interference patterns will appear in the photo no matter what timing.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. It is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of each embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

プロジェクタを用いて立体物の形状に合わせて映像を投映する場合、グリッド等のパターンをプロジェクタから投映してカメラで撮影し、投映対象の位置や形状を算出することで投映映像に適切な幾何変換を行うことが可能となる。しかし、映像コンテンツ表示中にグリッドを重畳投映すると、映像を見ている人にもグリッドが見えてしまうため、映像コンテンツ表示中は投映対象の位置や形状の算出ができないという課題があった。　上記課題を解決するために、カラーホイールの色の表現方法の自由度および色冗長性を利用して、人間の目には見えない不可視パターンを映像中に埋め込むと共に、カメラを用いてカラーホイールの回転に同期して映像を撮影することで、埋め込んだ不可視パターンを識別可能とする。

Description

プロジェクタ、映像表示装置、及び映像表示方法
　本発明は、プロジェクタ、映像表示装置、及び映像表示方法に係り、特に、投映対象物の形状認識等のための投映映像への不可視パターン重畳に関する。
　近年、実世界に置かれた物体に対して、プロジェクタ等の映像表示装置を用いて映像を投映するいわゆるプロジェクションマッピングと呼ばれる技術が注目を浴びている。
　この技術を用いると、プロジェクタに正対した平面のスクリーンだけでなく、プロジェクタに正対せず角度を持って置かれたスクリーンや凹凸のある物体等に対して映像を投映することが可能となる。プロジェクタに対してスクリーン等の投映対象が正対していない場合、すなわちプロジェクタの光軸と投映対象面が直角に交わっていない場合、投映された映像に幾何学的な歪が発生する。例えばスクリーンの上辺がプロジェクタに近く、下辺が遠くになるようにスクリーンが設置された場合に、プロジェクタから正方形の映像を投映すると、正方形の上辺が下辺よりも短く投映される、いわゆる台形歪が発生することになる。実際には上下方向だけでなく、左右方向にも同様の現象が発生するので、プロジェクタから投映した正方形の映像は、平行な辺の無い歪んだ四角形として投映されうることになる。
　この場合、この歪を打ち消すようにあらかじめ投映する映像に逆方向の幾何補正を掛けておくことで、正しく正方形として表示することが可能となる。この幾何補正（幾何変換）は透視変換または射影変換と呼ばれ、行列計算によって実現することが可能である。
　この行列を算出するためには、なんらかの手段で投映対象物の形状や位置の情報を取得する必要がある。
　これを実現するための一つの方法が、特開２００５－３７７７１号公報（特許文献１）に記載されている。特許文献１では、プロジェクタから赤外光によってグリッドを投映し、赤外カメラで撮影することで、投映対象の形状を取得している。
特開２００５－３７７７１号公報
　特許文献１では、光変調素子として単板式のマイクロミラーアレーを用いたプロジェクタにおいて、カラーホイールに赤外光のみ通過する領域を設けることで、グリッド等の不可視パターンの投映を実現している。しかし、この発明を実現するためには、専用のカラーホイールを搭載する必要があるためコスト的に不利となる上、パターン投映を行わない場合にもカラーホイール上の赤外光領域は映像表示に利用できない期間となるため、投映映像の輝度を低下させる要因となってしまうという課題があった。
　上記課題を解決するために、本発明は、その一例を挙げるならば、入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、投映対象物の表面に複数の色成分の映像を光学的に合成し入力映像をカラー表示するプロジェクタであって、光源と、光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、カラーホイールを通過した光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、光変調デバイスによって変調された光を投映対象物へ投射するレンズと、入力映像を複数の色成分の映像に分解して、カラーホイールの動作と同期したタイミングで光変調デバイスへ供給する投映映像生成回路を備え、色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、投映映像生成回路において、ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに投映対象物の表面上で第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳するように構成する。
　本発明によれば、マイクロミラーアレーを用いたプロジェクタのカラーホイールをそのまま利用して、一般的な可視光カメラを用いて不可視パターンの投映と識別が可能となる。
実施例１における映像投映システムの構成図である。 実施例１の前提となるＲＧＢカラーホイールの構成図である。 実施例１におけるＲＧＢＷカラーホイールの構成図である。 実施例１における不可視パターンを埋め込んだ映像シーケンスの例である。 図３におけるマーカー周辺を拡大した図である 実施例１における不可視パターン埋め込み前の輝度分布を示した図である。 実施例１における不可視パターン埋め込み後の輝度分布を示した図である。 実施例１におけるグリッドパターンを埋め込んだ映像シーケンスの例である。 実施例２におけるＲＧＢＣＭＹのカラーホイール構成図である。 実施例２における不可視パターン埋め込み前の輝度分布を示した図である。 実施例２における不可視パターン埋め込み後の輝度分布を示した図である。 実施例３におけるシーン０でのグリッドパターン埋め込み例である。 実施例３におけるシーン１でのグリッドパターン埋め込み例である。 実施例４における複数台のプロジェクタを用いたマルチプロジェクタ投映の例である。 図１３のオーバーラップ領域の一部を拡大した図である。 実施例５におけるコード化されたパターンの埋め込み例を示した図である。 実施例６におけるタイミングの異なる妨害パターン埋め込み例を示した図である。 実施例６におけるタイミングの異なる妨害パターン埋め込みタイミングの例を示した図である。
　以下、本発明の実施例を図面を用いて説明する。
　図１は本実施例における映像投映システムの構成例を示した図である。図１において、１はプロジェクタであり、入力映像５に映像処理を行った後、投映対象物２へ投映する。本実施例では、投映対象物２は通常の平面スクリーンだけでなく、立方体やマネキン人形のような立体的な物である場合も想定しており、プロジェクタ１は入力映像５を投映対象物２の形状に合致するように変形した後に投映対象物２の表面上に投映する。
　次にプロジェクタ１の内部構成を説明する。本実施例ではプロジェクタの映像投映部は単板式のマイクロミラーアレーを用いたプロジェクタをベースにした構造となっており、特記無き部分については、単板式のマイクロミラーアレーを用いたプロジェクタと同様の構造・動作となっている。１０は光源であり、光源１０から出た光はカラーホイール１１を通過した後、光変調デバイス１２によって投映映像１４に応じた変調を施され、レンズ１３を通して投映対象物２へ投映される。光変調デバイス１２は、極小なミラーを二次元平面に敷き詰めた構造となっており、それぞれのミラーは投映映像１４を構成する各画素の値に応じてその向きを変えられる構造となっており、各画素値に応じた量の光が投映対象物２へ投映されることになる。
　本実施例では、入力映像はＲＧＢの３原色から構成されているが、光変調デバイス１２を１個のみ搭載した単板構成のプロジェクタでは、映像中の複数の色成分を同時に変調することができない。このため、各色成分毎に時分割で処理することによってカラー映像の投映を実現している。すなわち、光源１０と光変調デバイス１２の間に高速で回転するカラーホイール１１を配置し、ＲＧＢ各成分の映像を時分割で投映対象物２へ投映することで、カラー表示を実現とする。
　まず、カラーホイール１１として、図２Ａに示すようなＲＧＢカラーホイール１１ａを使用する場合を考える。ここでＲと書かれている領域８００はＲに対応する波長の光成分のみを透過し、Ｇ、Ｂを吸収する領域である。Ｇ、Ｂと書かれている部分も同様に対象とする光成分のみを透過する。このＲＧＢカラーホイールを入力映像５の１フレーム期間にちょうど１回転するように中心８０１を軸に回転させると、光源１０から照射された光のＲＧＢ各成分が１／３フレーム期間ずつ、光変調デバイス１２に照射される。
　ここで、投映映像生成回路２０の中にあるサブフレーム化回路２２によって、入力映像５のＲ（赤）成分のみを取りだした映像であるＲ映像、Ｇ(緑）成分のみを取りだしたＧ映像、Ｂ（青）成分のみを取りだしたＢ映像を生成する。１フレーム分の入力映像からＲ映像、Ｇ映像、Ｂ映像の三枚の映像が得られるので、これらの映像をサブフレームと呼ぶこととする。サブフレーム化回路２２はフレームバッファ２１を用いて、これらのサブフレームを時間的にずらして時分割出力する機能を持つ。
投映映像生成回路２０は、入力映像５の各フレームから生成したＲＧＢ三枚のサブフレームをカラーホイール１１の回転に同期させて、時分割で光変調デバイス１２を駆動する。すなわち、カラーホイール１１がＲの時に光変調デバイス１２をＲサブフレームの映像で駆動し、Ｇの時にはＧサブフレーム、Ｂの時にはＢサブフレームの映像で駆動することで、投映対象物２には入力映像５のＲ成分、Ｇ成分、Ｂ成分が時分割で投映されることになる。人間の目は、入ってきた映像を時間方向に積分して認識する性質があるため、サブフレームの切り替えが十分に高速であれば、時分割に投映されたＲＧＢ映像はカラー映像として認識されることになる。
　ＲＧＢカラーホイールでは各色成分の投映期間が等しい場合には、光源１０が発生する光の約１／３が投映対象物２への投映光として利用され、残りの２／３がカラーホイール１１で反射・吸収され、捨てられることになる。この捨てられる光を減らして、投映輝度を明るくするために、例えば図２Ｂに示すＲＧＢＷのカラーホイール１１ｂを使用する方法がある。Ｗは白色光を意味し、入力された光をそのまま透過させる領域である。全白映像を投映する場合を考えると、カラーホイールがＲ、Ｇ、Ｂの期間では光源光の１／３のみが利用されるが、Ｗの期間では光源光を全て利用できることになる。この結果、ＲＧＢＷのカラーホイールを使用した場合には、全白映像投映時は光源光の１／２（＝１／３×３／４＋１×１／４）を利用できることになる。
　ＲＧＢＷのカラーホイールを用いる際には、投映映像生成回路２０は、入力映像５から、可視光であるＲ、Ｇ、Ｂ、Ｗ成分を持つ投映映像１４を生成し、時分割出力することになる。
　一方、このようにカラーホイールにＲＧＢ三原色以外の色を追加することにより、色の表現方法に自由度が発生し色冗長性が生ずることになる。例えば、ＲＧＢＷのカラーホイールを使用し、ＲＧＢの画素値を等しくした場合に、同一画素値のＷと同じ色および輝度が得られるように調整されている場合、白色を投映するには、ＲＧＢを同じ画素値で投映し白を消灯しても良いし、ＲＧＢを消灯して白のみ前述の画素値で投映してもよい。
本実施例では、ＲＧＢＷのカラーホイールの持つ自由度および色冗長性を利用して不可視パターンを映像に重畳する。ここで、説明を簡単にするために、R:G:B:W=1:1:1:0としたときと、R:G:B:W=0:0:0:1としたときに投映対象物２上の色および輝度が一致するようにカラーホイール１１を調整してある場合を考える。実際にはこの条件が成り立たなくても、事前に画素値を補正する処理を加えることにより、本実施例の方式を利用することが可能である。
　このカラーホイールを使用している時に、スクリーン上の画素位置（xi,yi）の点におけるＲＧＢ各成分の輝度値(Ri,Gi,Bi)と、各サブフレームの画素値(Rp,Gp,Bp,Wp)の関係は以下の式で表わすことができる。
　Ri = Kr×g(Rp) + Kwr×g(Wp)　　　　…（式１a）
　Gi = Kg×g(Gp) + Kwg×g(Wp)　　　　…（式１b）
　Bi = Kb×g(Bp) + Kwb×g(Wp)　　　　…（式１c）

　ここで、g()は画素値と輝度の関係を表わすガンマ関数であり、通常はべき乗関数となるように設計する。Kr、Kg、Kb、Kwr、Kwg、Kwbは比例定数である。ここで、白成分の画素値ＷｐをΔWだけ減少させる場合を考える。この場合、

　Ri = Kr×g(Rp＋ΔR) + Kwr×g(Wp－ΔW) 　　…（式２a）
　Gi = Kg×g(Gp＋ΔG) + Kwg×g(Wp－ΔW) 　  …（式２b）
　Bi = Kb×g(Bp＋ΔB) + Kwb×g(Wp－ΔW)　　 …（式２c）

を満たすΔR、ΔG、ΔBの組を一意に定めることが可能である。これは、各サブフレームの画素値を(Rp,Gp,Bp,Wp)とした場合と、(Rp＋ΔR,Gp＋ΔG,Bp＋ΔB,Wp－ΔW)とした場合は、各サブフレームを時分割投映して得られる投映対象物２上の映像のＲＧＢ各成分の輝度値が等しくなることを意味する。すなわち、ΔR＋ΔG＋ΔB＝ΔWとなりお互いでキャンセルするように働く。本実施例では、このことを利用して投映映像に不可視パターンを埋め込む。
　本実施例では、各サブフレーム中の同一位置に「十」という文字形状の不可視マーカーを埋め込む場合を例に説明する。このマーカーの縦線上の一点の座標を(xi,yi)とする。この様子を図３、図４に示す。図３はＲＧＢＷカラーホイールに対応したサブフレーム映像を時系列に横方向に並べた図である。フレームＮのＲサブフレーム１００にマーカー１１０、Ｇサブフレーム１０１にマーカー１１１、Ｂサブフレーム１０２にマーカー１１２、Ｗサブフレーム１０３にマーカー１１３を埋め込んでいる。Ｒサブフレーム１００におけるマーカー１１０周辺を拡大した図を図４に示す。
　ここで、ｙ＝ｙｉで表わされるＸ軸に平行な直線Ａ上の画素に着目して、マーカー周辺領域のｘ座標と画素値の関係をグラフ化したものを図５、図６に示す。図５はマーカー埋め込み前の投映映像の画素値、図６はマーカー埋め込み後の投映映像の画素値のグラフである。座標(xi,yi)の画素値は、図５では(Rp,Gp,Bp,Wp)、図６では(Rp＋ΔR,Gp＋ΔG,Bp＋ΔB,Wp－ΔW)となっている。各サブフレームは時分割で投映されるが、その周期が十分に短ければ、人間の目の持つ積分効果によって各サブフレームの輝度を平均化した映像として認識される。この場合、ΔR＋ΔG＋ΔBとΔWがキャンセルし、マーカー埋め込み前後の輝度はどちらも(Ri,Gi,Bi)となり、マーカーの有無によって変化しない。すなわち、図３の各サブフレームに埋め込んだマーカー１１０～１１３は、人間の目には見えない不可視マーカーとなる。
　一方、この投映対象物２に投映された映像をシャッター速度の速いカメラ３０で撮影すると積分効果がほとんど発生しないため、マーカーが重畳された映像が撮影されることになる。
　より確実にマーカーを撮影するためには、カラーホイール１１の回転と同期してカメラ撮影を行うと良い。例えば、常にＷのサブフレーム期間中にカメラ撮影を行うように制御すると、撮影映像中には周囲の画素よりも相対的に輝度が低いマーカーが写ることになる。なお、Ｒ、Ｇ、Ｂいずれでも、そのサブフレーム期間中にカメラ撮影を行うようにしてもよい。
　カメラの撮影映像では、入力映像５に重畳した形でマーカー映像が得られるため、図１に示す、パターン検出回路３１やパラメータ算出回路３２等の撮影映像を解析する映像解析回路により、パターンマッチング等の手法を用いてマーカー座標を検出することが可能である。また、入力映像５中にマーカーと似ているパターンが含まれている場合には、重畳するマーカーの形状を別の物に変更することで、パターンマッチングの誤動作を低減することが可能である。
　なお、マーカー投映前の画素値によっては、マーカーを重畳出来ないケースがある。これについては、実施例３で対応策を示す。
　以上の例では、十字の不可視マーカーを埋め込む方法を説明した。本実施例で埋め込む不可視パターンはこれに限定されるものではなく、任意の形状のパターンを埋め込むことが可能である。例えば、グリッド等の規則的なパターンを埋め込む場合の利用例を以下に示す。
　図７はＲＧＢＷカラーホイールに対応したサブフレーム映像を時系列に横方向に並べた図である。図７においては、前述の十字マーカーと同じ方法で各サブフレームに格子状のグリッドパターンを重畳する。すなわち、フレームＮのＲサブフレーム１００にグリッド１２０、Ｇサブフレーム１０１にグリッド１２１、Ｂサブフレーム１０２にグリッド１２２、Ｗサブフレーム１０３にグリッド１２３を埋め込んでいる。これにより、前述と同様に、測定対象の立体物を見ている人に不要なグリッド表示を見せることなく、グリッドパターンを撮影することができる。特に、立体物の３Ｄ計測を行う方法の一つとして、プロジェクタによりグリッドパターンやストライプパターンを測定対象物に投映し、これをカメラで撮影する方法がある。したがって、図７に示すグリッドパターン重畳により、測定対象の立体物を見ている人に不要なグリッド表示を見せることなく、３Ｄ計測を行うことが可能となる。
　以上のように、本実施例は、人間の目には見えない不可視パターンを映像中に埋め込むと共に、カメラを用いてカラーホイールの回転に同期して映像を撮影することで、埋め込んだ不可視パターンを識別可能とする。
　具体的には、入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、投映対象物の表面に複数の色成分の映像を光学的に合成し入力映像をカラー表示するプロジェクタであって、光源と、光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、カラーホイールを通過した光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、光変調デバイスによって変調された光を投映対象物へ投射するレンズと、入力映像を複数の色成分の映像に分解して、カラーホイールの動作と同期したタイミングで光変調デバイスへ供給する投映映像生成回路を備え、色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、投映映像生成回路において、ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに投映対象物の表面上で第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳するように構成する。
　また、入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示装置であって、表示映像を時間方向に１フレーム周期の期間平均化した際に互いに打ち消し合う重畳映像パターンを４色以上の各色成分映像に重畳する映像生成回路を有するように構成する。
　また、入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示方法であって、表示映像を時間方向に１フレーム周期期間平均化した際に互いに打ち消し合うパターンを各色成分映像に重畳するように構成する。
　これにより、マイクロミラーアレーを用いたプロジェクタのカラーホイールをそのまま利用して、一般的な可視光カメラを用いて不可視パターンの投映と識別が可能となる。
　実施例１では、ＲＧＢＷカラーホイールを使用する場合を例に説明したが、本実施例はこれに限定されるものではなく、各サブフレームの色成分の間に自由度および色冗長性があれば異なる色の組み合わせのカラーホイールでも実現可能である点について説明する。
　図８は、本実施例で用いるＲＧＢＣＭＹのカラーホイールの例を示す。Ｒは赤、Ｇは緑、Ｂは青であり、ＣＭＹは、それぞれの補色であるＣ：シアン、Ｍ：マゼンダ、Ｙ：イエローである。これらの補色はＲＧＢを混合することで作ることが可能である。例えば、Ｒ：赤とＧ:緑を混合することで、Ｙ：イエローを生成することが可能である。このことを利用して、実施例１と同様に不可視パターンを埋め込むことが可能である。
　まず、マーカー埋め込み前の各サブフレームの画素値と輝度の関係は次のようになる。
　Ri = Kr×g(Rp) + Kcr×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp)　　（式３a）
　Gi = Kg×g(Gp) + Kcg×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp)　　（式３b）
　Bi = Kb×g(Bp) + Kcb×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp)　　（式３c）

　ここで、(Ri,Gi,Bi)は投映対象物２上の画素位置（xi,yi）の点におけるＲＧＢ各成分の輝度値、(Rp,Gp,Bp,Cp,Mp,Yp)はマーカー埋め込み前の画素値、g()は画素値と輝度の関係を表わすガンマ関数、Kr、Kg、Kb、Kcr、Kcg、Kcb、Kmr、Kmg、Kmb、Kyr、Kyg、Kybは比例定数である。ここでY成分の画素値をΔYだけ減少させることを考える。この場合、

　Ri = Kr×g(Rp＋ΔR) + Kcr×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp－ΔY)   （式４a）
  Gi = Kg×g(Gp＋ΔG) + Kcg×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp－ΔY)   （式４b）
　Bi = Kb×g(Bp＋ΔB) + Kcb×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp－ΔY)   （式４c）

を満たすΔR、ΔG、ΔBの組を一意に定めることが可能である。ここで、BとYは補色関係にあるため、式４ｃのようにY成分をΔYだけ減少させても、Biは変化しない。
　すなわち、ΔBは0となるため、R,G,Yの３サブフレームのみで不可視マーカーを埋め込むことが可能となる。この様子を図９、１０に示す。図９はマーカー埋め込み前の投映映像の画素値、図１０はマーカー埋め込み後の投映映像の画素値のグラフである。なお、B、C、M成分は上記のマーカーの埋め込みに影響されないため、これらの図では省略している。
　座標(xi,yi)における投映映像１４の画素値は、図９では(Rp,Gp,Bp,Cp,Mp,Yp)、図１０では(Rp＋ΔR,Gp＋ΔG,Bp,Cp,Mp,Yp-ΔY)となっている（ΔBは0）。各サブフレームは時分割で投映されるが、その周期が十分に短ければ、人間の目の持つ積分効果によって各サブフレームの輝度を平均化した映像として認識される。すなわち、ΔR＋ΔGとΔYがキャンセルし、各サブフレームに埋め込んだマーカーは、人間の目には見えない不可視マーカーとなる。
　一方、この投映映像をシャッター速度の速いカメラで撮影すると積分効果がほとんどないため、マーカーを重畳した映像が撮影される。より確実にマーカーを検出するためには、カラーホイールの回転と同期してカメラ撮影を行うと良い。例えば、常にＹのサブフレーム期間中にカメラ撮影を行うように制御すれば、マーカー映像は常に周囲の画素よりも輝度が低い十字記号となる。
　このＲＧＢＣＭＹカラーホイールでは、Ｒ、Ｇ、Ｙの間だけでなく、Ｇ、Ｂ、ＣやＲ、Ｂ、Ｍの間の自由度および色冗長性を利用して、パターンを埋め込むことも可能である。この事を利用すると、カラーホイールのＹ、Ｃ、Ｍの各期間を利用してカメラ撮影を行うことで、１フレーム周期あたり、３つの異なったパターン映像を独立に埋め込むことが可能である。この３つのパターンを利用すると、各画素位置にフレーム当たり３ビットの情報を埋め込めるため、これを用いて、各マーカーにＩＤを振って区別するといった使い方も可能となる。
　これまでの実施例では、映像中の任意の場所に不可視パターンを埋め込み可能な映像が入力されることを前提に説明を行ってきたが、実際の映像ではパターンを埋め込めない領域が存在することがある。これは式２ａ～ｃまたは式４ａ～ｃでガンマ関数g()の引数であるマーカー埋め込み後の画素値がオーバーフロー（1画素当たりNbitの画素表現において2^N以上になること）またはアンダーフロー（負の値になること）する場合に相当する。
　図１１に、その例を示す。図１１は、夜空に月と惑星が写っているシーンである。ここで左図に示すように、夜空の部分が真っ黒すなわち全成分の画素値が０の場合、この部分にはパターンを埋め込むことはできない。ＲＧＢＷのカラーホイールを使用している場合を例に取ると、(Rp,Gp,Bp,Wp)=(0,0,0,0)の画素に対してはWpからΔWを減算するとWpが負の値となってしまうためである。しかし、この映像では図１１の右図に示すように夜空以外の部分には、不可視パターン（ここではグリッドパターン）を埋め込むことが可能である。
　ここで、各色成分の画素値が８ビット幅で、０～２５５の値を取り得る場合、ＲＧＢＷのカラーホイール使用時に式２ａ～ｃで規定するパターン埋め込み可能な領域かどうかは以下の式で判定することができる。
　　０　≦　Rp ＋　ΔR　≦　２５５　　　　　　　（式５ａ）
　　０　≦　Gp ＋　ΔG　≦　２５５　　　　　　　（式５ｂ）
　　０　≦　Bp ＋　ΔB　≦　２５５　　　　　　　（式５ｃ）
　　０　≦　Wp －　ΔW　≦　２５５　　　　　　　（式５ｄ）

　式５ａ～ｄが全て成立する領域がパターンを埋め込み可能な領域となる。
　入力映像が動画のように時間と共に変化する場合、式５ａ～ｄに基づいて、図１１や、シーンの異なる図１２のように、シーン毎に異なる位置にパターンを埋め込んでいくことで、映像シーケンス全体として画面全体にパターンを埋め込むことが可能である。投映対象物の形状や位置が時間と共に変化しない、あるいは変化速度が無視できるほど遅い場合には、このように時間をかけて投映領域全体にパターンを順次埋め込んでいき、これを用いて３Ｄ計測等を行うことが可能である。
　以上説明したように、不可視マーカーを投映映像に埋め込むことができれば、マルチプロジェクタ投映において、振動やプロジェクタの自重等の影響によって映像の重ね合わせ領域が設置・調整後に時間と共にずれていってしまう場合の補正を投映中の映像コンテンツに影響を与えずに行うことも可能である。本実施例は、これを実現する例について説明する。
　図１３は、本実施例における２台のプロジェクタを用いたマルチプロジェクタ投映の例を示している。図１３においては、横長のスクリーン４に二台のプロジェクタＡ、Ｂを用いて横長の映像７０を投映する場合を想定している。映像分割機３は、入力された映像７０から、左右２枚の映像７１、７２を切り出して、プロジェクタＡ、Ｂへ送出する。このとき、映像７１と映像７２はつなぎ合わせ部分を目立たなくするためにある程度の領域がオーバーラップするように切り出す。ここで、プロジェクタＡ、Ｂは図１のプロジェクタ１と同じ内部構成となっており、制御バス６を介して映像分割機３や制御用ＰＣ７と接続されているものとする。
　プロジェクタＡ、Ｂは入力された映像７１、７２をスクリーン４上に７３，７４のようにオーバーラップさせて投映する。この際に、各プロジェクタ中の幾何変換回路２４は、台形歪みの補正や投映サイズ・位置の調整を行う。
　理論的には、幾何変換回路２４に与える幾何変換パラメータは、プロジェクタＡ、Ｂと投映対象物２を設置した際に、テストパターン投映によって一度だけ調整すれば良いはずであるが、実際にはプロジェクタの自重による設置角度の経時変化や振動の影響等によって、時間が経過するとプロジェクタの投映位置が徐々にずれてくるため、定期的に幾何変換パラメータを調整する必要がある。
　本実施例では、実施例１等で説明した不可視パターン投映を用いることで、通常の映像コンテンツ再生に影響を与えずに、幾何変換パラメータの自動調整を実現する。
　幾何変換では４個の点について、入力映像中におけるその点の座標と幾何変換を適用後の投映映像中で対応する座標を取得することができれば、連立方程式を解くことで幾何変換パラメータを求めることが可能である。不可視マーカーを用いてこれを実現する方法を図１４を用いて説明する。
　図１４は図１３のオーバーラップ領域の下の方の領域７５周辺を拡大した図である。図１４において、マーカー４００はプロジェクタＡによって投映された不可視マーカーであり、マーカー４０１はプロジェクタＢによって投映された不可視マーカーである。これらのマーカーはどちらも入力映像７０中の点４０２に相当する座標に埋め込まれたものであり、映像７３と映像７４が正確に重ね合わされていれば、完全に重なるべきものである。すなわち、マーカー４００とマーカー４０１が一致するように、透視変換パラメータを調整することで、オーバーラップ領域をずれなく重ね合わせることが可能となる。
　本実施例では、プロジェクタＡに搭載されたカメラ３０を用いてマーカー４００とマーカー４０１を撮影する。なお、このカメラは必ずしもプロジェクタに内蔵されている必要はなく、制御用ＰＣ７に接続された外部カメラを使用しても良い。この場合、撮影タイミングは制御バス６を介してプロジェクタＡから制御用ＰＣ７へ送られることになるが、撮影タイミングを制御せずに、連続して撮影した画像の中から、マーカーが識別可能な画像を選択して使用しても良い。
　ここで、映像分割機３からプロジェクタＡ、Ｂへ出力する２つの映像送出タイミングはクロックレベルで完全に同期しており、各プロジェクタの内部は入力映像に同期して動作しているものとすると、プロジェクタＡとＢのカラーホイールの位相はほぼ一致することになる。
　この結果、プロジェクタＡでマーカー４００を撮影すると、マーカー４０１も同時に撮影されることになる。ここで、マーカー４００の形状を「＋」、マーカー４０１の形状を「×」としておくと、カメラ映像中の２つのマーカーがどちらのプロジェクタから投映されたものかどうかを一意に識別可能となる。そこで、プロジェクタＡに搭載された制御マイコン４２によって、マーカー４００とマーカー４０１の投映位置の距離が小さくなるように幾何変換パラメータを更新し、フィードバック処理を行うことでマーカー４００とマーカー４０１の投映位置を一致させ、投映像７３と７４をずれなく重ね合わせることが可能となる。
　なお、プロジェクタＡとＢのカラーホイールの位相がずれている場合であっても、複数枚の画像から、各マーカーの位置を検出することで同様の処理を行うことも可能である。
　本実施例は、プロジェクタの投映映像に埋め込む不可視パターンとして、二次元バーコードのようにＵＲＬ等をコード化したパターンを投映する例について説明する。
　図１５は本実施例におけるコード化されたパターンの埋め込み例を示した図である。図１５において、左図に示すように全黒とそれ以外が存在するシーンにおいて、右図に示すように全黒でない部分に不可視パターンとして二次元バーコードを埋め込むことが可能である。
　これにより、例えば、プロジェクタを用いたデジタルサイネージなどに、コード化したパターンを不可視状態にして埋め込んでおくことで、サイネージの前に立ってスマートフォン等のカメラで撮影した人にだけ、クーポンを配るといった使用形態が可能となる。デジタルサイネージを撮影する人が増えることで、撮影した写真をソーシャルメディア等に投稿する人が増え、広告の露出が増えることが期待される。また、デジタルサイネージ映像の特定のシーンの特定箇所にのみ、パターンを埋め込んでおけば、宝探しのようなゲーム感覚でクーポンを探すといった用途も考えられる。
　このように不特定多数の人がプロジェクタの投映映像を撮影する場合、カメラ側がカラーホイールと同期して撮影するようにすることは非常に困難である。しかし、カメラ側が静止画を連続して撮影するようにしておけば、カメラの撮影間隔とカラーホイールの回転が完全に一致しない限り、数枚に一枚程度は不可視パターンを識別可能な映像を取得出来ることになり、撮影映像中のパターンから埋め込まれたコードを得ることが可能である。すなわち、撮影時に異なるタイミングで複数枚の静止画を撮影し、複数枚の静止画から埋め込みパターンが識別しやすい映像を選んで埋め込みパターン情報の取得を行う。
実施例５とは逆に、デジタルサイネージ等の映像コンテンツ中の人物の肖像権や著作権の制約等により、プロジェクタの投映映像をスマートフォン等のカメラで撮影されたものをソーシャルメディア等に投稿して拡散されたくない場合にも、これまで述べてきた方法によって、不可視パターンを妨害パターンとして埋め込むことが有効である。本実施例は、これについて説明する。
　図１６は本実施例におけるタイミングの異なる妨害パターン埋め込み例を示した図である。図１６において、左図に示すように全黒とそれ以外が存在するシーンにおいて、右図に示すように全黒でない部分の異なる位置に不可視パターンとして妨害パターン５１０～５１３を埋め込むことができる。この例では文字を埋め込んでいるが、画面全体にストライプのようなパターン位置を変えながら埋め込んでもよい。
　この場合も、実施例５と同様にカメラで撮影するタイミングを制限することはできないが、複数枚撮影して最適な映像を選択することで対応可能であった実施例５とは異なり、本実施例では、異なるタイミングで複数枚撮影した場合に、全ての写真にも妨害パターンが写り込むことが求められる。
本実施例ではプロジェクタの投映映像の異なる位置に異なるタイミングで複数の不可視パターンを埋め込むことでこれを実現する。図１７は、これらの妨害パターンを異なるサブフレームに埋め込む例を示している。図１７において、妨害パターン５１０は、フレームＮのＲ、Ｇ、Ｂ、Ｗのサブフレームを用いて埋め込み、妨害パターン５１１はフレームＮのＧ、Ｂ、ＷのサブフレームとフレームＮ＋１のＲサブフレームを用いて埋め込みを行う、と行った具合に順次埋め込みタイミングをずらしながら、埋め込み位置の異なる妨害パターンを埋め込んでいく。これにより、シャッター速度がある程度高速（プロジェクタ映像の数フレーム分以下）であれば、どのようなタイミングで撮影しても、妨害パターンのいくつかが写真に写り込むようになる。
　なお、シャッター速度を十分に遅くすれば、全ての埋め込みパターンが撮影されないようにすることは可能であるが、表示映像が動きのあるコンテンツである場合には、遅いシャッター速度で撮影した写真では被写体ぶれが発生し、鮮明な写真とはならないのでソーシャルメディア等で拡散されるリスクは低いと言える。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。
１:プロジェクタ、２：投映対象物、３：映像分割機、４：スクリーン、５：入力映像、６：制御バス、７：制御用ＰＣ、１０：光源、１１：カラーホイール、１２：光変調デバイス、１３：レンズ、１４：投映映像、２０：投映映像生成回路、２１：フレームバッファ、２２：サブフレーム化回路、２３：パターン合成回路、２４：幾何変換回路、３０：カメラ、３１：パターン検出回路、３２：パラメータ算出回路、４０：タイミング生成回路、４１：バスＩ／Ｆ回路、４２：制御マイコン、１００：Ｒサブフレーム、１０１：Ｇサブフレーム、１０２：Ｂサブフレーム：１０３：Ｗサブフレーム、１１０～１１３：マーカー、１２０～１２３：グリッド、７０：入力映像（全体）、７１：分割後映像（左側）、７２：分割後映像（右側）、７３：プロジェクタＡ投映映像、７４：プロジェクタＢ投映映像、４００：プロジェクタＡで重畳した不可視マーカー、４０１：プロジェクタＢで重畳した不可視マーカー

Claims (13)

  1. 　入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、前記投映対象物の表面に複数の前記色成分の映像を光学的に合成し前記入力映像をカラー表示するプロジェクタであって、
    　光源と、
    　前記光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、
    　前記カラーホイールを通過した前記光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、
    　前記光変調デバイスによって変調された光を前記投映対象物へ投射するレンズと、
    　前記入力映像を複数の色成分の映像に分解して、前記カラーホイールの動作と同期したタイミングで前記光変調デバイスへ供給する投映映像生成回路を備え、
    　前記色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、
    　前記投映映像生成回路において、前記ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに前記投映対象物の表面上で前記第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳することを特徴とするプロジェクタ。
  2. 　請求項１に記載のプロジェクタであって、
    　前記投映対象物に投映された映像を撮影するカメラと、
    　該カメラで撮影した映像を解析する映像解析回路を備え、
    　前記カメラは前記カラーホイールの動作に同期して撮影を行うことによって、前記ＲＧＢ以外の色成分の映像が前記投映対象物に投映されている期間の映像を撮影し、前記映像解析回路によって撮影映像中から前記第１の重畳映像パターンの投映位置を求めることを特徴とするプロジェクタ。
  3. 　請求項２に記載のプロジェクタであって、
    　前記投映映像生成回路は、前記第１の重畳映像パターンの投映位置を用いて、前記入力映像に対して前記投映対象物の投映面の形状および向きに適合するように幾何変換を実施した第２の投映映像を生成し、
    前記光変調デバイスと前記レンズを介して前記投映対象物へ前記第２の投映映像を投映することを特徴とするプロジェクタ。
  4. 　請求項１から３の何れか１項に記載のプロジェクタであって、
    　前記ＲＧＢ以外の色成分とは白色またはシアン、マゼンダ、イエローのいずれかであることを特徴とするプロジェクタ。
  5. 　入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示装置であって、
    表示映像を時間方向に１フレーム周期の期間平均化した際に互いに打ち消し合う重畳映像パターンを前記４色以上の各色成分映像に重畳する映像生成回路を有することを特徴とする映像表示装置。
  6. 　請求項５に記載の映像表示装置であって、
    　前記表示されたカラー映像を撮影するカメラと、
    　該カメラで撮影した映像を解析する映像解析回路を備え、
    　前記カメラは前記１フレーム周期に同期して撮影を行うことによって、前記重畳映像パターンが重畳されている色成分映像を撮影し、前記映像解析回路によって撮影した映像から前記重畳映像パターンの重畳位置を求めることを特徴とする映像表示装置。
  7. 　請求項６に記載の映像表示装置であって、
    　前記映像生成回路は、前記重畳映像パターンの重畳位置を用いて、前記入力されたカラー映像に対して幾何変換を実施した表示映像を生成することを特徴とする映像表示装置。
  8. 　請求項５から７の何れか１項に記載の映像表示装置であって、
    　前記４色以上の色成分映像とは、ＲＧＢと少なくとも白色またはシアン、マゼンダ、イエローのいずれかの色成分映像であることを特徴とする映像表示装置。
  9. 　請求項５に記載の映像表示装置であって、
    　前記入力されたカラー映像は時間と共に内容が変化する一連の映像シーケンスを構成しており、
    　前記映像生成回路は、各映像において、前記重畳映像パターンの重畳に適した領域を特定し、前記重畳に適した領域に前記重畳映像パターンを重畳し、
    　前記映像解析回路は、前記重畳映像パターンが重畳された領域で前記重畳映像パターンの重畳位置を求める処理を行い、
    　これを前記映像シーケンス全体に対して順次実施することで、映像表示領域全体の重畳パターンを取得することを特徴とする映像表示装置。
  10. 　請求項５に記載の重畳映像パターンを重畳した映像の撮影に使用されるカメラであって、
    　撮影時に異なるタイミングで複数枚の静止画を撮影し、前記複数枚の静止画から前記重畳パターンが識別しやすい映像を選んで重畳パターン情報の取得を行うことを特徴とするカメラ。
  11. 　請求項５に記載の映像表示装置であって、
    　表示映像中に重畳位置と重畳期間を変えた複数の重畳映像パターンを埋め込むことで、前記複数の重畳映像パターンのうちの少なくとも１個以上の重畳映像パターンが、表示映像を撮影するタイミングによらず、撮影される映像に含まれるようにしたことを特徴とする映像表示装置。
  12. 　請求項５に記載の映像表示装置を複数備えたマルチプロジェクタ投映システムであって、
    前記重畳映像パターンを用いて、前記映像表示装置の各表示映像の重ね合わせ領域の位置ずれを、映像を表示しながら補正できることを特徴とするマルチプロジェクタ投映システム。
  13. 　入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示方法であって、
    表示映像を時間方向に１フレーム周期期間平均化した際に互いに打ち消し合うパターンを各色成分映像に重畳することを特徴とする映像表示方法。
PCT/JP2015/080164 2015-10-27 2015-10-27 プロジェクタ、映像表示装置、及び映像表示方法 Ceased WO2017072842A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/771,318 US10244216B2 (en) 2015-10-27 2015-10-27 Projector, video display device, and video display method
PCT/JP2015/080164 WO2017072842A1 (ja) 2015-10-27 2015-10-27 プロジェクタ、映像表示装置、及び映像表示方法
JP2017547219A JP6630363B2 (ja) 2015-10-27 2015-10-27 プロジェクタ、映像表示装置、及び映像表示方法
CN201580084167.3A CN108353154B (zh) 2015-10-27 2015-10-27 投影仪、影像显示装置以及影像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080164 WO2017072842A1 (ja) 2015-10-27 2015-10-27 プロジェクタ、映像表示装置、及び映像表示方法

Publications (1)

Publication Number Publication Date
WO2017072842A1 true WO2017072842A1 (ja) 2017-05-04

Family

ID=58631393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080164 Ceased WO2017072842A1 (ja) 2015-10-27 2015-10-27 プロジェクタ、映像表示装置、及び映像表示方法

Country Status (4)

Country Link
US (1) US10244216B2 (ja)
JP (1) JP6630363B2 (ja)
CN (1) CN108353154B (ja)
WO (1) WO2017072842A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017154628A1 (ja) * 2016-03-11 2019-02-07 ソニー株式会社 画像処理装置および方法
CN110870317A (zh) * 2017-06-30 2020-03-06 Vid拓展公司 用于使用基于立方体贴图的投影的360度视频质量评估的加权至球面均匀psnr

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656372B (zh) * 2018-12-28 2024-06-18 河南宏昌科技有限公司 基于红外不可见结构光的人机交互装置及其操作方法
CN111479099A (zh) * 2019-01-24 2020-07-31 中强光电股份有限公司 投影装置及其投影方法
CN112540676B (zh) * 2020-12-15 2021-06-18 广州舒勇五金制品有限公司 一种基于投影系统的可变信息展示装置
KR102829935B1 (ko) * 2021-12-07 2025-07-04 엘지디스플레이 주식회사 표시장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318564A (ja) * 2001-04-20 2002-10-31 Fujitsu Ltd 表示装置
JP2007199351A (ja) * 2006-01-26 2007-08-09 Nikon Corp 表示システム、表示装置およびカメラ
WO2009142015A1 (ja) * 2008-05-21 2009-11-26 パナソニック株式会社 プロジェクタ
WO2012120853A1 (ja) * 2011-03-04 2012-09-13 国立大学法人徳島大学 情報提供方法および情報提供装置
JP2015156663A (ja) * 2012-12-27 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法、表示装置およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735158B2 (ja) 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JP2000350230A (ja) 1999-06-07 2000-12-15 Olympus Optical Co Ltd 画像投影システム
JP3901072B2 (ja) * 2002-10-23 2007-04-04 ソニー株式会社 映像表示装置、映像表示方法
JP3709395B2 (ja) 2002-12-27 2005-10-26 オリンパス株式会社 画像投影システム
JP2005037771A (ja) 2003-07-17 2005-02-10 Nec Viewtechnology Ltd プロジェクタ
CN1591164A (zh) * 2003-09-04 2005-03-09 台达电子工业股份有限公司 投影照明系统及其投影照明方法
FR2859857A1 (fr) * 2003-09-17 2005-03-18 Thomson Licensing Sa Procedes de traitement et d'affichage d'images et appareil d 'affichage utilisant les procedes
US7338175B2 (en) 2003-12-01 2008-03-04 Seiko Epson Corporation Front projection type multi-projection display
JP2006284718A (ja) 2005-03-31 2006-10-19 Olympus Corp マルチプロジェクションシステム
JP4661576B2 (ja) 2005-12-16 2011-03-30 セイコーエプソン株式会社 投写画像の位置調整方法
US20080095363A1 (en) * 2006-10-23 2008-04-24 Dicarto Jeffrey M System and method for causing distortion in captured images
EP2459960B1 (en) * 2009-07-29 2019-11-13 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and computer program
US9094656B2 (en) * 2010-09-13 2015-07-28 Thomson Licensing Method for sequentially displaying a colour image
CN106888357B (zh) 2012-05-24 2019-09-17 松下电器（美国）知识产权公司 信息通信方法、信息通信装置及记录介质
JP2015026992A (ja) 2013-07-26 2015-02-05 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318564A (ja) * 2001-04-20 2002-10-31 Fujitsu Ltd 表示装置
JP2007199351A (ja) * 2006-01-26 2007-08-09 Nikon Corp 表示システム、表示装置およびカメラ
WO2009142015A1 (ja) * 2008-05-21 2009-11-26 パナソニック株式会社 プロジェクタ
WO2012120853A1 (ja) * 2011-03-04 2012-09-13 国立大学法人徳島大学 情報提供方法および情報提供装置
JP2015156663A (ja) * 2012-12-27 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法、表示装置およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017154628A1 (ja) * 2016-03-11 2019-02-07 ソニー株式会社 画像処理装置および方法
JP7074052B2 (ja) 2016-03-11 2022-05-24 ソニーグループ株式会社 画像処理装置および方法
CN110870317A (zh) * 2017-06-30 2020-03-06 Vid拓展公司 用于使用基于立方体贴图的投影的360度视频质量评估的加权至球面均匀psnr
CN110870317B (zh) * 2017-06-30 2023-05-23 Vid拓展公司 用于对360度视频内容进行编码的方法和装置

Also Published As

Publication number Publication date
CN108353154A (zh) 2018-07-31
JPWO2017072842A1 (ja) 2018-07-26
US20180309968A1 (en) 2018-10-25
JP6630363B2 (ja) 2020-01-15
CN108353154B (zh) 2020-11-20
US10244216B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
JP6630363B2 (ja) プロジェクタ、映像表示装置、及び映像表示方法
US9052575B2 (en) Determining correspondence mappings from infrared patterns projected during the projection of visual content
US20080158259A1 (en) Image warping and lateral color correction
US8982184B2 (en) Method for compensating for cross-talk in 3-D display
EP2641400B1 (en) System for geometrically calibrating a plurality of projectors, method for geometrically calibrating a plurality of projectors and corresponding computer program
JP3620537B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US10440337B2 (en) Projection apparatus, information processing apparatus, and control methods thereof
Sajadi et al. Color seamlessness in multi-projector displays using constrained gamut morphing
US11003411B2 (en) Image display system, image display device and method of controlling image display system
JP2016519330A (ja) 短焦点カメラを用いてディスプレイシステムを校正するためのシステム及び方法
JP5372857B2 (ja) 投写型映像表示装置
KR20160031966A (ko) 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법
KR101767853B1 (ko) 정보 처리 장치, 화상 투영 시스템 및 컴퓨터 프로그램
JP2012118289A (ja) 投写型映像表示装置
US20130208008A1 (en) Projector and projection image adjustment method
US20080036785A1 (en) Image correction apparatus, method and medium
JP2011188404A (ja) マルチプロジェクションシステムにおける画像処理装置、マルチプロジェクションシステムにおける画像処理方法及びマルチプロジェクションシステム
US20180278905A1 (en) Projection apparatus that reduces misalignment between printed image and projected image projected on the printed image, control method therefor, and storage medium
US10218926B2 (en) Device, system and method for cross-talk reduction in visual sensor systems
KR20160004123A (ko) 이미지 처리 장치, 및 이의 동작 방법
JP5605473B2 (ja) 投写型映像表示装置
JP2014003465A (ja) 画像表示装置及びその制御方法
Kamei et al. PILC Projector: RGB-IR projector for pixel-level infrared light communication
JP2013232705A (ja) レジストレーション補正装置、プロジェクタシステム、レジストレーション補正方法、および、プログラム
JP2019075688A (ja) 画像投影装置及びその制御方法並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907206

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547219

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15771318

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907206

Country of ref document: EP

Kind code of ref document: A1