[go: up one dir, main page]

WO2006085580A1 - ポインタ光トラッキング方法、プログラムおよびその記録媒体 - Google Patents

ポインタ光トラッキング方法、プログラムおよびその記録媒体 Download PDF

Info

Publication number
WO2006085580A1
WO2006085580A1 PCT/JP2006/302249 JP2006302249W WO2006085580A1 WO 2006085580 A1 WO2006085580 A1 WO 2006085580A1 JP 2006302249 W JP2006302249 W JP 2006302249W WO 2006085580 A1 WO2006085580 A1 WO 2006085580A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer light
display
image data
pointer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/302249
Other languages
English (en)
French (fr)
Inventor
Kinya Tagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAKRAM DESIGN ENGINEERING
Original Assignee
TAKRAM DESIGN ENGINEERING
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAKRAM DESIGN ENGINEERING filed Critical TAKRAM DESIGN ENGINEERING
Priority to US11/816,033 priority Critical patent/US8049721B2/en
Priority to EP06713392A priority patent/EP1855184A4/en
Priority to JP2007502636A priority patent/JPWO2006085580A1/ja
Publication of WO2006085580A1 publication Critical patent/WO2006085580A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Definitions

  • the present invention relates to a presentation system such as a projector system that projects computer images from a projector onto a projector screen, which is used in various presentations.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-85395
  • Patent Document 2 Japanese Patent Laid-Open No. 11-39095
  • Patent Document 3 Japanese Patent Laid-Open No. 2004-265235
  • Non-Special Reference 1 R. suk thankar, R. Stockton, M. Mullin., Smarter Presentations: Expl oiting Homography in Camera-Projector Systems ", Proceedings of International Conference on Computer Vision, 2001
  • Non-Patent Document 2 R. Suk thankar, R. Stockton, M. Mullin., "Self- Calibrating Camera- As sisted Presentation Interface, Proceedings of International Conference on Control, Automation, Robotics and Vision, 2000
  • various presentations may utilize a large liquid crystal display, a plasma display, or the like.
  • a large display system high-precision tracking of the laser pointer light is possible. Is preferred.
  • an LED pointer that can be manufactured at a lower cost than a laser pointer alone, and to realize similar drawing by tracking the LED pointer light.
  • the laser light from the laser pointer and the LED light from the LED pointer are referred to as pointer light.
  • the invention of the present application is highly capable of tracking the pointer light projected on various displays such as a projector screen even when an image is displayed on the display. This makes it possible for anyone to draw lines and figures on the display easily and neatly, and to improve user abilities other than this drawing.
  • An object of the present invention is to provide a pointer light tracking method, a pointer light tracking program, and a recording medium thereof that can realize various applications.
  • a pointer light projected on the display is photographed by a camera, and on the display based on the obtained image data.
  • a pointer light tracking method for tracking pointer light by a computer which projects a black solid image and white square images located at its four corners on a display, and displays a black solid image and a white square image on the display.
  • the area corresponding to the white square image is extracted from the obtained image data, and the center of the extracted area is extracted.
  • Coordinates (x, y) are calculated and projected from the calculated center coordinates ( ⁇ , y) and the center coordinates (X, Y) of the white square image to the coordinates representing the position of the pointer light on the display. It is characterized in that it calculates the parameters required for distortion correction using conversion.
  • the invention of the present application captures pointer light projected on a display by a camera, and tracks pointer light on the display by a computer based on the obtained image data.
  • This is a tracking method in which pointer light is projected and only one or more pointer light is projected by adjusting one or more of shutter speed, exposure, and gamma value of the camera that shoots the display. Image data obtained.
  • the invention of the present application takes a pointer light projected on a display by a camera, and tracks the pointer light on the display by a computer based on the obtained image data.
  • a tracking method is characterized in that the image data is subjected to a blurring process to enlarge a light spot area of the pointer light included in the image data.
  • the present invention is a pointer light tracking program, which is projected on the display and based on image data obtained by photographing the pointer light with a camera.
  • the computer corresponds to the white square image from the image data obtained by photographing the black solid image and the display showing the white square image located at the four corners.
  • For extracting the area to be extracted means for calculating the center coordinates (X, y) of the extracted area, and the center coordinates (X, y) and the center coordinates (X, Y) of the white square image described above From the above, it is made to function as a means for calculating parameters necessary for performing distortion correction using projective transformation for the coordinates representing the position of the pointer light on the display.
  • the present invention is a pointer light tracking program, which is a pointer on the display based on image data obtained by photographing the pointer light projected on the display with a camera.
  • the computer captures the image on which the pointer light is projected so that only the pointer light can be captured, and the shutter speed, exposure, or gamma value of the camera that captures the display.
  • One or two It functions as a means for adjusting the above.
  • the invention of the present application is a pointer light tracking program, and a pointer on the display is based on image data obtained by photographing a pointer light projected on a display with a camera.
  • a computer is caused to function as means for performing a blurring process on the image data so as to expand a light spot region of the pointer light included in the image data.
  • the present invention is a computer-readable recording medium on which the pointer light tracking program is recorded.
  • the projector pointer, the large liquid crystal display, and the like V are projected on various displays used for the presentation! Tracking is possible, and this high-precision tracking can be realized even when an image is shown on the display.
  • the first invention by taking into account image distortion that normally occurs in projector projection and using the parameters obtained as described above, it is possible to perform extremely effective distortion correction, thereby enabling camera photography.
  • the two-dimensional coordinate value of the pointer light spot included in the obtained image data can be calculated more accurately.
  • this image distortion may occur in various display images other than the projection by the projector.
  • distortion correction can be made favorable and high-precision tracking can be realized.
  • the pointer light is buried in the projector light. It is difficult to extract it by computer image processing. ⁇ The power that is easy to fall into the situation.
  • the projector by adjusting one or more of the shutter speed, exposure, and gamma value of the camera optimally, the projector The camera image data in which only the pointer light is strongly projected can be obtained by blocking the light, so that the pointer light spot can be accurately extracted.
  • optimization adjustment can be performed on various displays other than the projector screen. It is also effective when using a key, and it is possible to block the extra light and extract the pointer light spot with high accuracy.
  • the light spot of the pointer light is very small when viewed from the entire display, and image data in which the pointer light spot is emphasized can be obtained by adjusting the shutter speed. Even so, the size of the light spot itself remains small, so by performing the blurring process as described above to enlarge the light spot size, the pointer light spot that is not buried in the surrounding image can be more accurately identified. It can be extracted.
  • this squeezing process with the above-described correction coordinate calculation and the above-described optimization adjustment, even higher-precision pointer light tracking can be realized.
  • a computer program capable of obtaining the same effect as the first to third inventions, and a recording medium such as a flexible disk, a CD, or a DVD on which the computer program is recorded. Provided.
  • Fig. 1 shows an embodiment of the present invention having the above-described features.
  • This section mainly describes the projector system configuration that is often used for presentations.
  • the projector system includes a projector screen 1, a projector 2, a computer 3, a laser pointer 4, and a camera 5.
  • the projector screen 1 is capable of projecting the image projected from the projector 2.
  • the projector screen 1 may be a wall surface as much as possible so that an image projected by only a screen installed on a wall or the like can be projected. ,.
  • the projector 2 is a device capable of projecting the image sent from the computer 3 onto the projector screen 1.
  • the projector 2 projects light that projects the image, and between the projector 3 and the projector 3.
  • a communication unit for transmitting and receiving data signals and control signals.
  • the computer 3 sends an image to be projected to the projector 2 and executes various application processes such as a laser beam tracking process and drawing based on the tracking according to the present invention. These processes are performed using laser light stored in the storage unit (memory) 32. It is executed by the processing unit (CPU) 31 that has received a command from the racking program and application program.
  • the processing unit 31 includes a data file unit 33 that stores various data, a display unit 34 such as a program execution screen and a display that displays various data, an input unit 35 such as a keyboard and a mouse, and the projector 2.
  • a bus 38 also connects the projector communication unit 36 that transmits and receives data signals and control signals to and the camera communication unit 37 that transmits and receives data signals and control signals to and from the camera 5.
  • the image sent from the computer 3 to the projector 2 is usually a desktop screen displayed on the display.
  • a presentation image created using presentation software is first displayed on the desktop screen (usually Is displayed on the full screen), the desktop screen is sent to the projector 2 and projected onto the projector screen 1, whereby the presentation image appearing on the desktop screen is projected onto the projector screen 1.
  • the laser pointer 4 is a device capable of projecting laser light, and includes a light projecting unit that projects laser light, a part held by a user, and the like. Since it is possible to draw on the image as long as the desired part of the projected image can be indicated with laser light, it can also be called a laser pen.
  • the camera 5 is a device that can take an image of the projector screen 1 on which an image from the projector 2 and a laser beam from the laser pointer 4 are projected, and input the image data to the computer 3. .
  • an image sensor such as a CCD (Charge Coupled Device) and a communication unit that transmits and receives data signals and control signals to and from the computer 3 are provided.
  • CCD Charge Coupled Device
  • a communication unit that transmits and receives data signals and control signals to and from the computer 3 are provided.
  • the overall configuration of the laser beam tracking program in the present embodiment is as shown in FIG. 2, and the distortion correction parameter acquisition program shown in FIG. 3, the camera control program shown in FIG. 6, and FIG.
  • the light spot detection program shown in Fig. 11 and the distortion correction program shown in Fig. 11 are incorporated in relation to each other.
  • the camera image data acquisition program shown in FIG. 7 and the camera image data input program shown in FIG. 8 are also incorporated, but are not shown in FIG.
  • the application program executes various application functions such as drawing for improving the user's parity based on the processing result of the 1S laser beam tracking program, which will be described in detail later, that is, the coordinate data of the laser beam being tracked.
  • the distortion correction parameter is a parameter necessary for matrix calculation of projective transformation performed in the distortion correction process described later.
  • This process is an initial setting process that is performed only once when the laser beam tracking program is started.
  • the process is incorporated in the laser beam tracking program and executed by the distortion correction parameter acquisition program (see FIG. 2). ).
  • the distortion correction parameter acquisition program see FIG. 2.
  • an event occurs in which the value of the distortion correction parameter fluctuates unacceptably in the execution of the tracking process, such as the positions of the projector 2 and the camera 5 being displaced, Execution is necessary.
  • a solid black image is created and stored in advance by the computer 3, sent from the computer 3 to the projector 2, and projected from the projector 3 onto the projector screen 1.
  • the created black solid image is displayed on the desktop screen on the display. If shown, it will be projected onto the projector screen 1 via the projector 2.
  • the computer 3 previously creates and stores four white small square images located at the four corners of the black solid image and sends them to the projector 2 from the computer 3. Project to the projector screen 1. In this case as well, if the four white square images created are superimposed on the black solid image and displayed at the four corners of the desktop screen on the display, they are projected onto the projector screen 1 via the projector 2. Will be.
  • the center coordinates of each of these four white square images are stored as (XI, Yl) (X2, Y2) (X3, Y3) (X4, Y4) (see Fig. 4).
  • the respective center coordinates in the X-axis / ⁇ -axis coordinate system set in advance on the black solid image are also calculated.
  • the coordinate system the screen coordinate system normally set for the display or desktop screen can be used, and the center coordinates of the white square image at the four corners in the screen coordinate system can be obtained.
  • the black solid image and the white square image projected on the projector screen 1 are captured by the camera 5.
  • the camera 5 starts shooting the projector screen 1 in accordance with a control signal from the computer 3 that instructs to start shooting.
  • the system configuration can start the shooting of the camera 5 manually even if the computer 3 and the camera 5 are not linked in this way, needless to say!
  • Extract areas corresponding to the above four white square images from the captured image data More specifically, since the solid black image and the white square image appear in the camera image data captured by the camera 5 and taken into the computer 3, the white image is obtained from the camera image data by image processing. If only the areas are extracted, four areas corresponding to the above four white square images can be obtained.
  • center coordinates of each of these four areas are calculated and stored as (xl, yl) (x2, y2) (x3, y3) (x4, y4).
  • the computer 3 calculates the center coordinates of each region in the X-axis / axis-axis coordinate system and stores them.
  • This distortion correction is performed by two-dimensional projective transformation in which the camera image data obtained by capturing the projected image with the camera 5 is inserted into the original image data before the projection. Calculate 8 parameters necessary for the matrix calculation of the transformation and obtain the projective transformation formula.
  • the center coordinates (XI, Yl) (X2, Y2) (X3, Y3) (X4, Y4) of the original image data of the white square and the center coordinates (xl, yl) of the camera image data are used.
  • the formula in Fig. 5 is an example of a two-dimensional projective transformation formula. Since this equation allows scalar denominator, the number of independent parameters is 8.
  • a presentation image is actually projected from the projector 2 to the projector screen 1, and the user starts the presentation using the laser pointer 4 as appropriate (hereinafter referred to as the following).
  • the projector 5 blocks the light from the laser pointer 4 with the Veg Camera 5 which realizes even more suitable tracking. Perform processing to adjust the shutter speed, exposure, and gamma value of the camera 5 so that only the laser can capture image data that is strongly projected (see Fig. 6).
  • tracking of the laser light projected on the projector screen 1 is performed by photographing the laser light on the projector screen 1 with the camera 5 as described in detail below.
  • the area corresponding to the light spot is extracted from the image and the coordinates of the area are calculated by repeating the process according to the shooting speed of the camera 5 (the obtained coordinate values are used for the drawing process, etc.)
  • the camera 5 In order to improve the accuracy of the light spot region extraction at this time, it is necessary that the camera 5 accurately captures the laser light. Therefore, it is a very important process to adjust the shutter speed of the camera 5 to block the projector light as much as possible so that only the laser light can be photographed. This process is executed by the camera control program incorporated in the laser beam tracking program (see Fig. 2).
  • an arbitrary shutter speed value, exposure, and gamma value are sent from the computer 3 to the camera 5. More specifically, when the initial value of the shutter speed is input to the computer 3 by the user, it is sent from the computer 3 to the camera 5. Alternatively, a preset initial value stored in advance is sent from the computer 3 to the camera 5.
  • Camera 5 uses the shutter speed value, exposure, and gamma values sent to it to release the shutter.
  • Camera image data obtained by shooting (hereinafter simply referred to as “image data” for the sake of brevity) will be sent to the computer 3, and the computer 3 will provide sufficient laser light to the image data. Judge whether or not the image is strongly projected.
  • color information data RGB value, luminance value, etc.
  • RGB value a value representing laser light
  • luminance value a value representing laser light
  • the initial values are adjusted and new shutter speed values, exposure, and gamma values are set.
  • Yes is when there is one or more images of the light spot and the image is of a size suitable for the laser beam.
  • the determination is made based on whether the predetermined RGB value or the like exists continuously for a predetermined number of pixels.
  • other determination methods can be applied.
  • the light from the projector 2 can be blocked by hardware of the camera 5, and only the light from the laser pointer 4 can be selectively captured.
  • the projector light is blocked, so only the laser light is in a dark background. Is bright and shining strongly.
  • a power depending on the performance of the camera 5 and the surrounding environment for example, a shutter speed of 150 to 300 Zsec is one preferable range.
  • the shutter speed, exposure, and gamma value to be optimized / adjusted do not necessarily need to be adjusted for all three, and may be a combination of two or more. However, although it depends on the usage environment, adjusting the shutter speed is considered to be the most effective. Therefore, for the combination, it is possible to increase the stability of good laser light extraction, which is more preferable to include the shutter speed and add exposure or gamma value to it.
  • any combination is automatically selected, and the image is shot with the initial value of the combined parameter (S2-2-2). From the periphery of the combination, adjust the combination method with each parameter value and repeat this until the light spot can be identified (S2-2-3No, S2-2-4). Then, when it is discriminated, each parameter is set to an optimum value (S 2-2-3Yes, S2-2-5).
  • the image data in which the laser beam is enhanced as described above is acquired by the camera 5.
  • the camera 5 has the power to shoot the projector screen 1 on which the presentation image and the laser light are projected. Since the shutter speed of the camera 5 is optimized as described above, In the captured image, only the laser beam appears with emphasis. Therefore, in the case of a digital camera, when imaged by an image sensor such as a CCD, the color information of the image in which the laser beam is emphasized as described above can be acquired.
  • the image size is 320 pixels X 240 pixels.
  • the image data sent from the camera 5 is received by the camera communication unit 37 provided in the computer 3. Transmission and reception between the camera 5 and the computer 3 may be wired or wireless.
  • the received image data is stored in the storage unit 32 included in the computer 3 or stored in the data file 33.
  • the image data is taken into the computer 3.
  • the entire image data is subjected to processing so as to enlarge the light spot area in the image data (see FIGS. 10A and 10B).
  • averaging or Gaussian squeezing which are generally known in the field of image processing, can be used.
  • a region extraction process is performed on the image data subjected to the blurring process.
  • a region having a value equal to or larger than a predetermined threshold in color information in units of pixels constituting image data so as to detect a region corresponding to the enlarged light spot in image data. See Fig. 10 (C)).
  • the threshold value is set in advance to the color information value (RGB value or luminance value) corresponding to the light spot.
  • the coordinates (inputX, inputY) of the center of gravity of the extracted area are calculated (see FIG. 10C).
  • calculation methods generally known in the field of image processing can be used.
  • centroid coordinates (inputX, inputY) are projectively transformed by a projective transformation formula using the eight parameters obtained by the distortion correction parameter acquisition process.
  • the corrected center-of-gravity coordinates (AGPointX, AGPointY) may be stored in the computer 3.
  • the laser light from the laser pointer 4 projected on the projector screen 1 is accurately detected by the computer 3 and the camera 5, and the movement is tracked. (See Fig. 12 (A)).
  • the projector system according to the present embodiment that realizes the high-precision tracking of the laser light on the projector screen 1 also realizes various functions that can further improve the user-friendliness not only by drawing with the laser pointer 4. can do. Specifically, while tracking the laser beam on the projector screen 1 by each of the above-mentioned processes 2.1 to 2.6, each application program is performed based on the coordinate data (AGPointX, AGPointY) as necessary. Execute.
  • the overall configuration of the application program in the present embodiment is as shown in FIG. 13, the history recording program shown in FIG. 14, the history reproduction program shown in FIG. 15, and the function switching shown in FIG.
  • the program, the pen drawing program shown in Fig. 17, the mouse emulation program shown in Fig. 19, the presentation software control program shown in Fig. 21, and the translucent display program are incorporated in relation to each other.
  • these programs can be combined into one software, and the laser beam tracking program can be combined into one software and installed in the computer 3.
  • FIG. 22 shows an example of a menu screen displayed on the desktop screen when the combined software is installed in the computer 3 and activated. Icons indicating various functions executed by each program are displayed. This menu screen is projected from the projector 2 onto the projector screen 1, and the laser light from the laser pointer 4 is projected. Easy icon operation just by projecting It is possible to do so, and the user pity is greatly improved.
  • the coordinate data (AGPointX, AGPointY) is transferred from the distortion correction program to the history recording program.
  • time t for example, the time when the delivery is performed or the time when the coordinate data is calculated can be considered. Also set to 0 when recording started.
  • this coordinate history data represents the laser light projection history on the projector screen 1, and each icon operation and drawing operation by the laser light on the above menu screen of the projector screen 1 etc. It can be said that it represents the operation history.
  • the coordinate history data is output as dummy data according to the recorded time t.
  • a selection region for each icon is determined in advance and the region coordinate data is stored.
  • the coordinate history data (AGPointX, AGPointY, t) is received from the history recording program.
  • This function is a drawing function on the projector screen 1 by the laser pointer 4. Since the one pointer 4 functions like a pen, it is called a pen drawing function.
  • the above-mentioned coordinate history data (AGPointX, AGPointY, t) is received in turn as the history recording program force, and the position force on the desktop screen corresponding to the first coordinate data Bitmap connecting to the position corresponding to the next coordinate data Generate data.
  • each coordinate data is connected in the order of the time t, and the drawing is performed (see FIG. 18 (A)).
  • interpolation processing with a coffee curve is performed on discrete data so that a more natural and smooth curve can be drawn.
  • a new curve is created by offsetting the control point in the direction perpendicular to the curve.
  • the offset amount is determined so that it is inversely proportional to the moving speed of the light spot. If this offset curve is increased to multiple lines (for example, about 30 lines), it is possible to draw the texture as if writing with a brush (see Fig. 18 (C)).
  • the mouse emulation function is selected by switching the function with the laser beam as described above.
  • the mouse emission function is selected by allowing laser light to stay in the mouse icon area representing the mouse emulation function on the menu screen for a certain period of time.
  • a “move mouse” icon is displayed as shown in FIG.
  • the laser light is allowed to stay in the icon area representing the desired mouse function for a certain period of time, so that the selected mouse function can be executed.
  • This function is provided for various software such as presentation software by laser light on the projector screen 1, such as "Page forward”, “Page back”, “Cue”, “List display”. ”Etc. are sent, and software control is realized.
  • the software control function is selected by switching the function with the laser beam as described above. More specifically, the software control function is selected by allowing laser light to stay in the area of the icon representing the software control function on the menu screen for a certain period of time.
  • Icons indicating various software functions such as “back to page”, “cue” and “list display” are displayed.
  • the laser beam is allowed to stay in the area of the icon representing the desired software function for a certain period of time, so that an instruction signal for selecting the icon and executing the assigned software function is sent to the software in the computer 3. Can be sent to.
  • the page can be advanced to the next presentation page by selecting the page turning icon.
  • This function is an option of the drawing function, and the bitmap data created as described above is arranged on the forefront of the desktop screen and is displayed in a translucent manner.
  • the laser pointer 5 is capable of emitting two or more laser beams (for example, red and green), and the light spot area extraction by the light spot detection program is performed for each color.
  • the laser pointer 5 is capable of emitting two or more laser beams (for example, red and green), and the light spot area extraction by the light spot detection program is performed for each color.
  • the present invention can also be applied to tracking LED light from an LED pointer.
  • the LED pointer is, for example, a pen-type or indicator-type with an LED at the tip, and emits red or green LED light as well as laser light. Of course, those that can emit light of two or more colors can also be used.
  • high-precision tracking can be achieved by the same system configuration, tracking processing, and application processing, regardless of whether the laser light is laser pointer 5 or LED pointer LED light. And high user friendliness.
  • the projector screen 1 can take various forms that can display the image from the projector 2, such as a white board or a white wall that can be used only in a general screen form.
  • the present invention can be directly applied to various types of displays capable of displaying images, such as liquid crystal displays, plasma displays, projection televisions, etc. It becomes feasible.
  • FIG. 1 is a diagram for explaining an embodiment of the present invention.
  • FIG. 2 is a program configuration diagram for explaining an embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining a distortion correction parameter acquisition process.
  • FIG. 4 is a diagram for explaining a distortion correction parameter acquisition process.
  • FIG. 5 is another diagram for explaining a distortion correction parameter acquisition process.
  • FIG. 7 is a flowchart for explaining camera image acquisition processing.
  • FIG. 8 is a flowchart for explaining camera image input processing.
  • FIG. 9 is a flowchart for explaining light spot detection processing.
  • FIG. 10 (A), (B), and (C) are diagrams for explaining light spot detection processing.
  • FIG. 11 is a flowchart for explaining a distortion correction process.
  • FIGS. 12A and 12B are diagrams for explaining distortion correction processing, respectively.
  • FIG. 14 is a flowchart for explaining history recording processing.
  • FIG. 15 is a flowchart for explaining history reproduction processing.
  • FIG. 16 is a flowchart for explaining function switching processing.
  • FIG. 17 is a flowchart for explaining pen drawing processing.
  • FIG. 18 (A), (B), and (C) are diagrams for explaining pen drawing processing.
  • FIG. 19 is a flowchart for explaining mouse emulation processing.
  • FIG. 20 is a diagram for explaining mouse emulation processing.
  • FIG. 21 is a flowchart for explaining software control processing.
  • FIG. 22 shows an example of a menu screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

 プロジェクタスクリーンや大型液晶ディスプレイ等の各種ディスプレイに投光されているレーザポインタやLEDポインタからのポインタ光をカメラにより撮影し、得られた画像データに基づいてディスプレイ上のポインタ光をコンピュータによりトラッキングするポインタ光トラッキング方法において、ディスプレイに画像が映し出されているときでも高精度なトラッキングを実現する。  黒ベタ画像とその四隅に位置する白正方形画像をディスプレイに投影させ、これら黒ベタ画像と白正方形画像が映し出されているディスプレイを撮影し、得られた画像データから前記白正方形画像に対応する領域を抽出し、抽出された領域の中心座標(x,y)を算出し、算出された中心座標(x,y)と前記白正方形画像の中心座標(X,Y)とから、ディスプレイ上のポインタ光の位置を表す座標に対して射影変換を用いたゆがみ補正を行う際に必要なパラメータを算出する。  

Description

明 細 書
ポインタ光トラッキング方法、プログラムおよびその記録媒体
技術分野
[0001] 本願発明は、各種プレゼンテーションにて活用される、コンピュータ画像をプロジェ クタからプロジェクタスクリーンに投影するプロジェクタシステムなどのプレゼンテーシ ヨンシステムに関するものである。
背景技術
[0002] 上記のプロジェクタシステムは学会や講義、説明会、プレゼンテーションなどの様々 なシーンで活用されており、その使用にあたって使用者は、レーザポインタを用いて 投影画像の所望部分を指示しながら説明等を行うことがしばしばある。
[0003] このプロジェクタシステムとレーザポインタとの組み合わせにつ 、ては様々な研究開 発が進められているが(たとえば特許文献 1〜3参照)、特にレーザポインタからの光 で投影画像上に簡単な線や図形を描画する技術は (たとえば非特許文献 1、 2参照) 、プロジェクタスクリーンに画像を映し出しながらその画像に重ねて観者の注意をさら に惹力せる下線や丸囲み、矢印などを描画できることになり、様々なシーンでのプレ ゼンテーシヨン効果を高めて、プロジェクタシステムの活用価値を一層向上できるもの と考えられる。
特許文献 1:特開平 11— 85395号公報
特許文献 2:特開平 11― 39095号公報
特許文献 3:特開 2004— 265235号公報
非特干文献 1 : R. sukthankar, R. Stockton, M. Mullin., Smarter Presentations: Expl oiting Homography in Camera-Projector Systems", Proceedings of International Con ference on Computer Vision, 2001
非特許文献 2 : R. Sukthankar, R. Stockton, M. Mullin., "Self- Calibrating Camera- As sisted Presentation Interface , Proceedings of International Conference on Control, Automation, Robotics and Vision, 2000
発明の開示 発明が解決しょうとする課題
[0004] し力しながら、未だ実用に耐える程十分に性能の良 、描画技術は実現されて 、な いのが現状である。
[0005] これは、プロジェクタスクリーン上にプロジェクタからの投影画像に重なって映し出さ れているレーザポインタからのレーザ光を的確に検知して、その動きを精度高くトラッ キングできて 、な 、ためである。
[0006] なお、各種プレゼンテーションは、プロジェクタシステム以外にも、大型の液晶ディ スプレイやプラズマディスプレイなどを活用することがあり、この大型ディスプレイシス テムにおいてもレーザポインタ光の高精度トラッキングを可能ならしめることが好まし い。
[0007] さらには、レーザポインタだけでなぐより安価に製造できる LEDポインタを利用し、 その LEDポインタ光をトラッキングすることで同様な描画を実現できるようにすることも 好ましい。ここでは、これらレーザポインタからのレーザ光および LEDポインタからの LED光を含めてポインタ光と呼ぶこととする。
[0008] そこで、以上のとおりの事情に鑑み、本願発明は、プロジェクタスクリーン等の各種 ディスプレイ上に投光されて ヽるポインタ光のトラッキングを、ディスプレイに画像が映 し出されているときでも高精度で実現することができ、これにより、ディスプレイ上への 線や図形などの描画を誰もが簡単にかつ綺麗に行うことを可能ならしめ、またさらに はこの描画以外のユーザピリティを向上させる各種アプリケーションも実現できるよう にした、ポインタ光トラッキング方法ならびにポインタ光トラッキングプログラムおよび その記録媒体を提供することを課題として 、る。
課題を解決するための手段
[0009] 本願発明は、上記の課題を解決するものとして、第 1には、ディスプレイに投光され て ヽるポインタ光をカメラにより撮影し、得られた画像データに基づ 、てディスプレイ 上のポインタ光をコンピュータによりトラッキングするポインタ光トラッキング方法であつ て、黒ベタ画像とその四隅に位置する白正方形画像をディスプレイに投影させ、これ ら黒ベタ画像と白正方形画像が映し出されて ヽるディスプレイを撮影し、得られた画 像データから前記白正方形画像に対応する領域を抽出し、抽出された領域の中心 座標 (x, y)を算出し、算出された中心座標 (χ, y)と前記白正方形画像の中心座標( X, Y)とから、ディスプレイ上のポインタ光の位置を表す座標に対して射影変換を用 いたゆがみ補正を行う際に必要なパラメータを算出することを特徴とする。
[0010] 第 2には、本願発明は、ディスプレイに投光されているポインタ光をカメラにより撮影 し、得られた画像データに基づ 、てディスプレイ上のポインタ光をコンピュータによりト ラッキングするポインタ光トラッキング方法であって、ポインタ光が映し出されて 、るデ イスプレイを撮影するカメラのシャッタースピード、露出、ガンマ値のいずれか一つま たは二つ以上を調整して、ポインタ光のみが強く映し出された画像データを取得する ことを特徴とする。
[0011] 第 3には、本願発明は、ディスプレイに投光されているポインタ光をカメラにより撮影 し、得られた画像データに基づ 、てディスプレイ上のポインタ光をコンピュータによりト ラッキングするポインタ光トラッキング方法であって、前記画像データに対してぼかし 処理を施して、当該画像データに含まれて 、るポインタ光の光点の領域を拡大させ ることを特徴とする。
[0012] さらに、第 4には、本願発明は、ポインタ光トラッキングプログラムであって、ディスプ レイに投光されて 、るポインタ光をカメラ撮影して得られた画像データに基づ 、てデ イスプレイ上のポインタ光をトラッキングするために、コンピュータを、黒ベタ画像とそ の四隅に位置する白正方形画像が映し出されているディスプレイをカメラ撮影して得 られた画像データから、前記白正方形画像に対応する領域を抽出する手段、抽出さ れた領域の中心座標 (X, y)を算出する手段、および算出された中心座標 (X, y)と前 記白正方形画像の中心座標 (X, Y)とから、ディスプレイ上のポインタ光の位置を表 す座標に対して射影変換を用いたゆがみ補正を行う際に必要なパラメータを算出す る手段として機能させることを特徴とする。
[0013] 第 5には、本願発明は、ポインタ光トラッキングプログラムであって、ディスプレイに 投光されて ヽるポインタ光をカメラ撮影して得られた画像データに基づ ヽてディスプ レイ上のポインタ光をトラッキングするために、コンピュータを、ポインタ光のみが強く 映し出された画像データを取得するように、ポインタ光が映し出されているディスプレ ィを撮影するカメラのシャッタースピード、露出、ガンマ値のいずれか一つまたは二つ 以上を調整する手段として機能させることを特徴とする。
[0014] 第 6には、本願発明は、ポインタ光トラッキングプログラムであって、ディスプレイに 投光されて ヽるポインタ光をカメラ撮影して得られた画像データに基づ ヽてディスプ レイ上のポインタ光をトラッキングするために、コンピュータを、前記画像データに含ま れて 、るポインタ光の光点の領域を拡大するように、前記画像データに対してぼかし 処理を施す手段として機能させることを特徴とする。
[0015] そして、第 7には、本願発明は、前記ポインタ光トラッキングプログラムを記録したコ ンピュータ読取可能な記録媒体である。
発明の効果
[0016] 上記第 1〜3の発明によれば、プロジェクタスクリーンや大型液晶ディスプレイなどと V、つたプレゼンテーションに利用される各種ディスプレイ上に投光されて!、るポインタ 光を、的確に検知してトラッキングすることができ、ディスプレイに画像が映し出されて いるときでもこの高精度トラッキングを実現できる。
[0017] 特に第 1の発明では、プロジェクタ投影で通常生じる画像のひずみを考慮し、上記 のとおりに求められたパラメータを用いて極めて効果的なひずみ補正を可能ならしめ ることで、カメラ撮影により得られた画像データに含まれているポインタ光点の二次元 座標値をより正確に算出できるようになる。もちろん、この画像ひずみはプロジェクタ 投影以外の各種ディスプレイ映像でも生じる場合があり、同様にしてひずみ補正を良 好なものとでき、高精度トラッキングを実現できる。
[0018] また第 2の発明では、通常プロジェクタからの光とレーザポインタや LEDポインタか らのポインタ光が映し出されて ヽるディスプレイをカメラ撮影した場合、ポインタ光が プロジェクタ光の中に埋もれてしま 、、コンピュータ画像処理ではそれを抽出し難 ヽ 状況に陥り易いのである力 上記のとおりにカメラのシャッタースピード、露出、ガンマ 値のいずれか一つまたは二つ以上を最適に調整することで、プロジェクタ光をブロッ クし、ポインタ光のみが強く映し出されたカメラ画像データを得ることができ、よってポ インタ光点を的確に抽出できるようになる。もちろん、この最適化調整と上記補正座 標算出とを組み合わせることで、一層優れたポインタ光トラッキングが実現されること は言うまでもない。また、最適化調整はプロジェクタスクリーン以外の各種ディスプレ ィを用いた場合にも有効であり、同様に余計な光をブロックしてポインタ光点の高精 度抽出が可能となる。
[0019] さらに第 3の発明では、ディスプレイ全体から見るとポインタ光の光点は非常に小さ なものであり、仮に上記シャッタースピード調整を行ってポインタ光点が強調された画 像データが得られたとしても、光点そのもののサイズは小さいままであるため、上記の とおりにぼカゝし処理を施して光点サイズを拡大させることで、周囲画像に埋もれること なぐポインタ光点をより的確に抽出できるようになる。もちろん、このぼ力し処理も上 記補正座標算出や上記最適化調整と組み合わせることで、さらに一層高精度のボイ ンタ光トラッキングが実現される。
[0020] そして、上記第 4〜7の発明によれば、上記第 1〜第 3の発明と同様な効果が得ら れるコンピュータプログラムおよびそれを記録したフレキシブルディスクや CD、 DVD などの記録媒体が提供される。
発明を実施するための最良の形態
[0021] 図 1は、上記のとおりの特徴を有する本願発明の一実施形態を示したものである。
ここでは、主に、プレゼンテーションに多く採用されるプロジェクタシステム形態につ いて説明する。
[0022] < < 1.システム構成 > >
本実施形態におけるプロジェクタシステムは、プロジェクタスクリーン 1、プロジェクタ 2、コンピュータ 3、レーザポインタ 4、カメラ 5により構成されている。
[0023] プロジェクタスクリーン 1は、プロジェクタ 2から投光された画像を映し出すことが可能 なものであり、たとえば、壁等に設置されたスクリーン体だけでなぐ画像の映し出し が可能な限り壁面そのものでもよ 、。
[0024] プロジェクタ 2は、コンピュータ 3から送られてきた画像をプロジェクタスクリーン 1に 投影することが可能な装置であり、画像を映し出す光を投光する投光部や、コンビュ ータ 3との間でデータ信号や制御信号を送受する通信部などを備える。
[0025] コンピュータ 3は、プロジェクタ 2に投影対象の画像を送るとともに、本願発明に従つ たレーザ光トラッキング処理およびこのトラッキングに基づく描画等の各種アプリケー シヨン処理を実行する。これらの処理は、記憶部 (メモリ) 32に格納されたレーザ光ト ラッキングプログラムおよびアプリケーションプログラムの指令を受けた処理部(CPU ) 31により実行される。処理部 31は、記憶部 32の他、各種データを格納するデータ ファイル部 33、プログラム実行画面や各種データを表示するディスプレイなどの表示 部 34、キーボードやマウスなどの入力部 35、プロジェクタ 2との間でデータ信号や制 御信号を送受するプロジェクタ通信部 36、カメラ 5との間でデータ信号や制御信号を 送受するカメラ通信部 37ともバス 38により接続されている。
[0026] なお、コンピュータ 3からプロジェクタ 2に送られる画像は、通常、ディスプレイに表 示されているデスクトップ画面であり、たとえばプレゼンテーションソフトウェアを用い て作成されたプレゼンテーション画像はまずデスクトップ画面に表示され (通常は全 画面表示)、このデスクトップ画面がプロジェクタ 2に送られてプロジェクタスクリーン 1 に投影され、これによりデスクトップ画面に表れているプレゼンテーション画像がプロ ジェクタスクリーン 1に映し出されることになる。
[0027] レーザポインタ 4は、レーザ光を投光することが可能な装置であり、レーザ光を投光 する投光部や、使用者が手に持つ部位などを備える。レーザ光で投影画像中の所 望部分を指示できるだけでなぐ画像上に描画も可能になることから、レーザペンとも 呼ぶことができる。
[0028] カメラ 5は、プロジェクタ 2からの画像およびレーザポインタ 4からのレーザ光が映し 出されているプロジェクタスクリーン 1を撮影し、その撮像データをコンピュータ 3に入 力することが可能な装置である。デジタルカメラの場合には、 CCD (Charge Coupled Device)等のイメージセンサや、コンピュータ 3との間でデータ信号や制御信号を送受 する通信部などを備える。もちろんデジタルカメラでなくてもよ 、。
[0029] これらプロジェクタスクリーン 1、プロジェクタ 2、コンピュータ 3、レーザポインタ 4、力 メラ 5は市販されているものを用いることができ、プロジェクタスクリーン 1、プロジェクタ 2およびコンピュータ 3をセットすることまでは従来どおりであり、これにカ卩えて、カメラ 5 をプロジェクタスクリーン 1を撮影可能な場所に設置し、且つコンピュータ 3にデータ 通信可能に接続する。コンピュータ 3には、レーザ光トラッキングプログラムおよびァ プリケーシヨンプログラムをインストールしておく。もちろんこれらのプログラムを一つに まとめたソフトウェアとすることも可能である。後は、発表者等のユーザがレーザポイン タ 4を持てばよい。
[0030] < < 2.レーザ光トラッキング > >
以下に、まず、このように準備したプロジェクタシステムにおけるレーザ光トラツキン グ処理について、図 2〜図 12を適宜参照しながら説明する。
[0031] 本実施形態におけるレーザ光トラッキングプログラムの全体構成は、図 2に示したよ うになつており、図 3に示したゆがみ補正パラメータ取得プログラム、図 6に示したカメ ラコントロールプログラム、図 9に示した光点検知プログラム、図 11に示したゆがみ補 正プログラムが相互に関係付けられて組み込まれて 、る。図 7に示したカメラ画像デ ータ取得プログラムおよび図 8に示したカメラ画像データ入力プログラムも組み込ま れているが、図 2では図示していない。アプリケーションプログラムは、後に詳述する 1S レーザ光トラッキングプログラムによる処理結果つまりトラッキングしているレーザ 光の座標データに基づいて、ユーザピリティを向上させる描画等の各種アプリケーシ ヨン機能を実行するものである。
[0032] < 2- 1.ゆがみ補正パラメータの取得 >
まず、正確なトラッキングに必要なゆがみ補正のためのパラメータを取得する処理 を実行する(図 3参照)。ゆがみ補正パラメータとは、後述するゆがみ補正処理で行わ れる射影変換の行列計算に必要なパラメータである。
[0033] この処理は、レーザ光トラッキングプログラムを起動させたときに一度だけ行う初期 設定処理であり、レーザ光トラッキングプログラムに組み込まれて 、るゆがみ補正パラ メータ取得プログラムにより実行される(図 2参照)。もちろん、この実行後に、プロジェ クタ 2やカメラ 5の位置がずれてしまうなどといった、ゆがみ補正パラメータの値がトラ ッキング処理の実行上許容できない程大きく変動するような事象が生じた際には、再 実行が必要である。
[0034] くステップ S 2— 1—1 >
まず、プロジェクタスクリーン 1に、黒ベタの画像を映す。
[0035] より具体的には、予めコンピュータ 3により黒ベタ画像を作成し記憶しておき、これを コンピュータ 3からプロジェクタ 2に送り、プロジェクタ 3からプロジェクタスクリーン 1に 投影する。端的には、作成した黒ベタ画像をディスプレイ上のデスクトップ画面に表 示させれば、それがプロジェクタ 2を介してプロジェクタスクリーン 1に投影されることに なる。
[0036] くステップ S 2—1— 2 >
続いて、この黒ベタ画像の四隅に、白色の小さな正方形の画像を順番に映し出す( 図 4参照)。
[0037] より具体的には、予めコンピュータ 3により上記黒ベタ画像の四隅に位置する 4つの 白色の小さな正方形画像を作成し記憶しておき、これをコンピュータ 3からプロジェク タ 2に送り、プロジェクタ 3からプロジェクタスクリーン 1に投影する。この場合も、端的 には、作成した 4つの白正方形画像を黒ベタ画像に重ねてディスプレイ上のデスクト ップ画面の四隅に表示させれば、それらがプロジェクタ 2を介してプロジェクタスクリー ン 1に投影されることになる。
[0038] くステップ S 2—1— 3 >
これら 4つの白正方形画像それぞれの中心座標を (XI, Yl) (X2, Y2) (X3, Y3) (X4, Y4)として記憶する(図 4参照)。
[0039] より具体的には、コンピュータ 3により、上記 4つの白正方形画像データを作成した 段階で、予め上記黒ベタ画像上に設定した X軸 ·Υ軸座標系におけるそれぞれの中 心座標も算出し、記憶しておく。この座標系としてはディスプレイまたはデスクトップ画 面に通常設定されているスクリーン座標系を利用することもでき、スクリーン座標系に おける四隅の白正方形画像の中心座標を求めればょ 、。
[0040] くステップ S 2—1— 4 >
次に、プロジェクタスクリーン 1に映し出されて 、る上記黒ベタ画像および白正方形 画像を、カメラ 5により撮影する。
[0041] より具体的には、コンピュータ 3からの撮影開始を指示する制御信号に従って、カメ ラ 5がプロジェクタスクリーン 1の撮影を開始する。
[0042] もちろん、このようにコンピュータ 3とカメラ 5とが連動していなくてもよぐ手動でカメ ラ 5の撮影を開始できるシステム構成になって 、てもよ 、ことは言うまでもな!/、。
[0043] くステップ S 2—1— 5 >
撮影された画像データから、上記 4つの白正方形画像に対応する領域を抽出する [0044] より具体的には、カメラ 5により撮影されてコンピュータ 3に取り込まれたカメラ画像デ ータには、黒ベタ画像および白正方形画像が現れているので、画像処理によりカメラ 画像データから白色領域のみを抽出すれば、上記 4つの白正方形画像に対応する 4 つの領域を取得できる。
[0045] くステップ S 2—1— 6 >
さらに、これら 4つの領域それぞれの中心座標を計算して、 (xl, yl) (x2, y2) (x3 , y3) (x4, y4)として記憶する。
[0046] より具体的には、コンピュータ 3により、上記 X軸 ·Υ軸座標系における各領域の中 心座標を算出し、これを記憶する。
[0047] くステップ S 2—1— 7 >
そして、中心座標(XI, Y1) (Χ2, Υ2) (Χ3, Υ3) (Χ4, Υ4)と中心座標(xl, yl) ( x2, y2) (x3, y3) (x4, y4)の連立方程式を解いて、射影変換の行列計算に必要な 8つのパラメータを算出する。
[0048] 一般にプロジェクタ投影では、コンピュータ 3のディスプレイに映し出されている画像 とプロジェクタ 2からプロジェクタスクリーン 1に投影された画像を比較すると、投影画 像にゆがみが生じていることがしばしばあり、このゆがみを考慮せずにトラッキング処 理を続けると、最終的に求めるレーザ光の座標値にも同様にゆがみの影響が出てし まい、さらにはこの座標値に基づいた描画処理等も正確に行えなくなってしまう。
[0049] そこで、本願発明では、より精度の高いトラッキングを実現し、且つそれに基づく描 画処理等のアプリケーションも一層好適なものとすべぐゆがみ補正を行うこととして いる。
[0050] このゆがみ補正は、投影後の画像をカメラ 5により撮影して得られたカメラ画像デー タを投影前の原画像データに嵌め込む二次元の射影変換により行うので、ここで、射 影変換の行列計算に必要な 8つのパラメータを算出し、射影変換式を取得しておく。
[0051] パラメータ算出には、上記白正方形の原画像データの中心座標 (XI, Yl) (X2, Y 2) (X3, Y3) (X4, Y4)とカメラ画像データの中心座標(xl, yl) (x2, y2) (x3, y3) (x4, y4)との 8元連立方程式を解けばよい。 [0052] すなわち、図 5に例示したように、投影前の白正方形画像の中心座標 (X, Y)と投 影後の白正方形画像の中心座標 (X, y)とのズレがゆがみであり、このゆがみ度合い を表す 8つのパラメータを用いた二次元射影変換式によりゆがみ補正を行うことで、 ゆがみを考慮したトラッキングが実現されるのである。図 5中の式は二次元射影変換 式の一例である。この式は分子分母をスカラーで通分できるので、独立したパラメ一 タは 8個になる。
[0053] < 2- 2.カメラシャッタースピード、露出、ガンマ値の調整 >
さて、上記ゆがみ補正パラメータの取得処理が実行された後は、実際にプロジェク タ 2からプロジェクタスクリーン 1にプレゼンテーション画像を映し出し、使用者が適宜 レーザポインタ 4を用いてプレゼンテーションを始めるのであるが(以下、説明の簡略 化のために、プレゼンテーションシーンでの活用を一例として説明を進める)、その前 に、さらに一層好適なトラッキングを実現させるベぐカメラ 5によりプロジェクタ力もの 光をブロックしレーザポインタ 4からのレーザのみが強く映し出された画像データを取 得できるように、カメラ 5のシャッタースピード、露出、ガンマ値を調整する処理を実行 する(図 6参照)。
[0054] 本願発明では、プロジェクタスクリーン 1に映し出されているレーザ光のトラッキング を、以下に詳述するようにカメラ 5でプロジェクタスクリーン 1上のレーザ光を撮影し、 得られたカメラ画像データの中から光点に対応する領域を抽出し、そして領域の座 標を算出する処理をカメラ 5の撮影スピードに合わせて繰り返すことで行うのであるが (得られた座標値は描画処理等に用いられる)、このときの光点の領域抽出の精度を 高めるには、カメラ 5でレーザ光を的確に捕らえている必要がある。そこで、カメラ 5の シャッタースピードを調整することによりできる限りプロジェクタ光はブロックしてレーザ 光のみを撮影できるようにすることが、非常に重要な処理となる。なお、この処理は、 レーザ光トラッキングプログラムに組み込まれているカメラコントロールプログラムによ り実行される(図 2参照)。
[0055] くステップ S 2— 2—1 >
まず、任意のシャッタースピード値、露出、ガンマ値をコンピュータ 3からカメラ 5に送 る。 [0056] より具体的には、使用者によってコンピュータ 3にシャッタースピードの初期値が入 力されると、それがコンピュータ 3からカメラ 5に送られる。または、予め設定され記憶 されている初期値がコンピュータ 3からカメラ 5に送られる。
[0057] くステップ S2— 2— 2>
カメラ 5では、送られてきたシャッタースピード値、露出、ガンマ値でシャッターを切り
、プロジェクタスクリーン 1上のプレゼンテーション画像とレーザ光を撮影する。プレゼ ンテーシヨン画像とレーザ光が映し出されているプロジェクタスクリーン 1を撮影すると も言える。
[0058] くステップ S 2— 2— 3 >
撮影により得られたカメラ画像データ (以下説明の簡略ィ匕のために単に「画像デー タ」と呼ぶこととする)がコンピュータ 3に送られ、コンピュータ 3により画像データにレ 一ザ光が十分に強く映し出されているカゝ否かを判断する。
[0059] より具体的には、たとえば、予めレーザ光を表す色情報のデータ (RGB値や輝度値 など)を設定しておき、これに相当するデータのみが画像データに含まれている力否 かを判断する。
[0060] くステップ S2— 2— 3No, S2— 2— 4 >
レーザ光の映し出しが十分でない、逆に言うとプロジェクタ光のブロックが十分でな いと判断した場合には、上記初期値を調整して新たなシャッタースピード値、露出、 ガンマ値を設定する。
[0061] くステップ S2— 2— 3Yes, S2— 2— 5 >
後は、上記各ステップを Yesの判断が得られるつまり光点が判別できるまで繰り返し て、シャッタースピード、露出、ガンマ値を最適化する。 Yesは、光点の像が一個以上 あり、かつ、像がレーザ光にふさわしい大きさの場合である。大きさの判断については
、たとえば、上記既定の RGB値等が既定の画素数連続して存在するかどうかに基づ いて行う。もちろんこれ以外の判断手法も適用できる。
[0062] これにより、カメラ 5のハードウェア的に、プロジェクタ 2からの光をブロックし、レーザ ポインタ 4からの光のみを選択的に捉えることができるようになる。得られた画像デー タは、プロジェクタ光がブロックされているので、暗いバックグランド中にレーザ光のみ が明るく光って強く現れたものとなっている。
[0063] シャッタースピードの具体値としては、カメラ 5の性能や周囲環境にもよる力 たとえ ば 150〜300Zsecのシャッタースピードが一つの好ましい範囲である。
[0064] なお、最適化調整するシャッタースピード、露出、ガンマ値は、必ずしも三つ全部を 調整対象とする必要はなぐいずれか一つでも、二つ以上の組み合わせでもよい。た だし、使用環境には依存するが、シャッタースピードの調整が最も効果的であると考 えられる。そのため、組み合わせについては、シャッタースピードを必ず含め、それに 露出またはガンマ値を加えることがより好ましぐ良好なレーザ光抽出の安定性を高 めることができるようになる。組み合わせる場合の上記各処理は、まず任意の組み合 わせを自動選択し、組み合わされたパラメータの初期値で撮影し (S2— 2— 2)、光点 をロストした場合には、その時点での組み合わせの周辺から、各パラメータ値とともに 組み合わせ方を調整し、これを光点が判別できるまで繰り返す (S2— 2— 3No, S2 — 2—4)。そして判別できたところで、それぞれのパラメータを最適値に設定する(S 2- 2- 3Yes, S2— 2— 5)。
[0065] < 2— 3.カメラ画像データの取得 >
続、て、上記のとおりにシャッタースピードなどが最適化されたカメラ 5による画像デ ータの取得処理について説明する(図 7参照)。この処理は、レーザ光トラッキングプ ログラムに組み込まれて 、るカメラ画像データ取得プログラムにより実行される。
[0066] くステップ S 2— 3—1 >
まず、カメラ 5により、上記のとおりにレーザ光が強調された画像データを取得する。
[0067] より具体的には、カメラ 5は、プレゼンテーション画像およびレーザ光が映し出され ているプロジェクタスクリーン 1を撮影する力 カメラ 5のシャッタースピードが上記の通 りに最適化されて 、るので、その撮影像にはレーザ光のみが強調されて現れて 、る ことになる。したがって、デジタルカメラの場合において CCD等のイメージセンサによ り撮像した場合、上記のとおりにレーザ光が強調された画像の色情報を取得できるこ とになる。
[0068] くステップ S 2— 3— 2 >
後は、この色情報が画像データとしてカメラ 5からコンピュータ 3に転送される。 [0069] 以上のカメラ画像データ取得処理は、毎秒 30フレームの撮影レートで繰り返される
。また、たとえばその画像サイズは 320pixel X 240pixelとする。
[0070] < 2— 4.カメラ画像データの入力 >
続いて、上記のとおりに転送されてきた画像データをコンピュータ 3内に入力する処 理について説明する(図 8参照)。この処理は、レーザ光トラッキングプログラムに組み 込まれているカメラ画像データ入力プログラムにより実行される。
[0071] くステップ S2— 4— 1 >
まず、カメラ 5から送られてきた画像データを、コンピュータ 3が備えるカメラ通信部 3 7により受信する。カメラ 5とコンピュータ 3との間の送受信はワイヤードでもワイヤレス でもよい。
[0072] くステップ S 2—4— 2 >
続いて、受信した画像データを、コンピュータ 3が備える記憶部 32に格納する、また はデータファイル 33に格納する。これによりコンピュータ 3へ画像データが取り込まれ る。
[0073] < 2— 5.光点検知 >
続、て、コンピュータ 3により上記のとおりに取り込まれた画像データの中から光点 を検知する処理について説明する(図 9参照)。この処理は、レーザ光トラッキングプ ログラムに組み込まれて 、る光点検知プログラムにより実行される(図 2参照)。
[0074] くステップ S 2— 5—1 >
まず、取り込まれた画像データに対し、ぼかし処理を行う。
[0075] より具体的には、画像データ中の光点の領域を拡大するように、画像データ全体に ぼ力し処理を施す(図 10 (A) (B)参照)。このぼ力し処理には、一般に画像処理の分 野で知られている平均化やガウスぼ力しなどを用いることができる。
[0076] これにより、光点が画像データ中に埋もれて検知し難くなることを防ぐことができ、光 点を見失う確率を著しく低減させて、光点のトラッキング、つまりプロジェクタスクリーン 1に映し出されているレーザポインタ 4からのレーザ光をカメラ 5により撮影してコンビ ユータ 3によりトラッキングすることをより高精度で実現できるようになる(図 12 (A)参照
) o [0077] くステップ S 2— 5— 2 >
上記ぼかし処理の施された画像データに対し、領域抽出処理を行う。
[0078] より具体的には、画像データ中の上記拡大された光点に対応する領域を検出する ように、画像データを構成する画素単位の色情報の中で既定閾値以上の値を持つ 領域を抽出する(図 10 (C)参照)。閾値は、予め光点に対応する色情報値 (RGB値 や輝度値)に設定しておく。
[0079] くステップ S 2— 5— 3 >
そして、この抽出された領域の重心の座標 (inputX, inputY)を算出する(図 10 (C) 参照)。この重心座標の算出処理には、一般に画像処理の分野で知られている計算 手法を用いることができる。
[0080] < 2-6.ゆがみ補正 >
続いて、コンピュータ 3により上記のとおりに算出された重心座標に対するゆがみ補 正処理について説明する(図 11参照)。この処理は、レーザ光トラッキングプログラム に組み込まれて 、るゆがみ補正プログラムにより実行される(図 2参照)。
[0081] くステップ S 2— 6—1 >
まず、上記重心座標 (inputX, inputY)を射影変換する。
[0082] より具体的には、重心座標 (inputX, inputY)を、上記ゆがみ補正パラメータ取得処 理により得られた 8つのパラメータを用いた射影変換式によって、射影変換する。
[0083] これにより、前述したようにプロジェクタ投影で生じたゆがみ(図 5参照)を補正した 重心座標 (AGPointX, AGPointY)を得ることができる。
[0084] くステップ S 2— 6— 2 >
後は、この補正済み重心座標(AGPointX, AGPointY)をコンピュータ 3内に記憶し ておけばよい。
[0085] < 2. 7 ループ処理 >
なお、以上の描画処理を構成する 2. 1〜2. 6の各処理は、カメラ 5からコンピュータ 3に毎秒 30フレーム入力される画像に対して、繰り返し行われる。
[0086] 以上により、プロジェクタスクリーン 1上に映し出されているレーザポインタ 4からのレ 一ザ光をコンピュータ 3およびカメラ 5によって的確に検知して、その動きをトラツキン グできるようになる(図 12 (A)参照)。
[0087] 後は、たとえば、トラッキングしたレーザ光の上記重心座標に対応する描画データ をコンピュータ 3により自動作成し、プロジェクタ 2からプレゼンテーション画像と一緒 にプロジェクタスクリーン 1上に投影すれば、図 12 (B)に例示したように、プロジェクタ スクリーン 1上にレーザ光の動きに従った線や円などが映し出され、レーザポインタ 4 によるプロジェクタスクリーン 1への描画が実現される。
[0088] < < 3.アプリケーション〉 >
ところで、以上のとおりにプロジェクタスクリーン 1上のレーザ光の高精度トラッキング を実現した本実施形態のプロジェクタシステムは、レーザポインタ 4による描画だけで なぐユーザピリティをより一層向上させる様々な機能をも実現することができる。具体 的には、上記 2. 1〜2. 6の各処理によりプロジェクタスクリーン 1上のレーザ光をトラ ッキングしながら、上記座標データ (AGPointX, AGPointY)を基に必要に応じて各ァ プリケーシヨンプログラムを実行する。
[0089] 以下に、これら各アプリケーションプログラムによる各種機能について、図 13〜図 2 2を適宜参照しながら説明する。
[0090] 本実施形態におけるアプリケーションプログラムの全体構成は、図 13に示したよう になっており、図 14に示した履歴記録プログラム、図 15に示した履歴再生プログラム 、図 16に示した機能切換プログラム、図 17に示したペン描画プログラム、図 19に示 したマウスエミユレーシヨンプログラム、図 21に示したプレゼンテーションソフトコント口 ールプログラム、そして半透明表示プログラムが相互に関係付けられて組み込まれて いる。もちろんこれらのプログラムを一つにまとめたソフトウェアとすることも可能であり 、また上記レーザ光トラッキングプログラムをもまとめて一つのソフトウェアとし、これを コンピュータ 3にインストールしておくことも可能である。
[0091] 図 22は、一つにまとめたソフトウェアをコンピュータ 3にインストールして起動させた 際にデスクトップ画面に表示されるメニュー画面の一例を示したものである。各プログ ラムにより実行される様々な機能を示すアイコンが表示されており、このメニュー画面 がプロジェクタ 2からプロジェクタスクリーン 1に投影され、レーザポインタ 4からのレー ザ光を投影メニュー画面上の任意のアイコンに投光するだけで、簡単にアイコン操作 できるようになっており、ユーザピリティが格段に向上されている。
[0092] < 3. 1 履歴記録 >
まずは、履歴記録について説明する(図 14参照)。
[0093] くステップ S3— 1—1 >
まず、座標データ(AGPointX, AGPointY)を、上記ゆがみ補正プログラムから履歴 記録プログラムに受け渡す。
[0094] くステップ S3— 1—2 >
次に、この座標データと時刻 tとをワンセット(AGPointX, AGPointY, t)にして、順番 に記録する。
[0095] 時刻 tとしては、たとえば、上記受け渡しが行われた時刻や、座標データが算出され た時刻などを考慮できる。また、記録が始まった時点を 0にセットする。
[0096] これにより、各座標データがいつの時点でのデータなのか、つまり各座標データで 示される各位置にいつレーザ光が投光されていたかが記録されることになる。したが つて、この座標履歴データは、プロジェクタスクリーン 1上でのレーザ光の投光履歴を 表しているとも言え、またプロジェクタスクリーン 1の上記メニュー画面上でのレーザ光 による各アイコン操作や描画操作などの操作履歴を表しているとも言える。
[0097] < 3. 2 履歴再生 >
続いて、履歴再生について説明する(図 15参照)。
[0098] くステップ S3— 2—1 >
まず、上記履歴記録プログラムからの生データの出力を止める。
[0099] くステップ S3— 1—2 >
次に、座標履歴データを、記録されている時間 tのとおりに従ってダミーデータとし て出力する。
[0100] アプリケーションは、それが通常のデータなのかダミーデータなのかを区別せずに 動作するため、ダミーデータの出力により、プロジェクタスクリーン 1の上記メニュー画 面上でのユーザのレーザ光による操作を正確に、時間通りに再現することができる。
[0101] このとき、ダミーデータの記録時間 tを無視し、高速で連続出力すると、操作の「頭 出し」が可能になる。 [0102] < 3. 3 機能切換 >
続いて、機能切換について説明する(図 16参照)。
[0103] これは、プロジェクタスクリーン 1に映し出されている上記メニュー画面上のアイコン をユーザがレーザ光により選択することで、そのアイコンに割り当てられている機能に 切り換える処理である。
[0104] <ステップ S3— 3—1 >
より具体的には、まず、予め各アイコンの選択領域を定めて、その領域座標データ を記憶しておく。
[0105] <ステップ S3— 3— 2>
上記座標履歴データ (AGPointX, AGPointY, t)を上記履歴記録プログラムから受 け取る。
[0106] <ステップ S3— 3— 3 >
次に、この座標履歴データ(AGPointX, AGPointY, t)に基づき、レーザ光がいずれ のアイコンの選択領域に入って 、る力否かを判断する。座標データと上記各領域座 標データとを比較すればょ ヽ。
[0107] < <ステップ S3— 3— 4> >
入っているアイコンがあれば、さらにそのアイコンの選択領域内に既定時間以上入 つている力否かを判断する。同じアイコンの選択領域内に入っている座標履歴デー タの時刻データ tがどれだけ続 、て 、るかを算出すればよ!、。
[0108] < <ステップ S3— 3— 5 > >
そして、既定時間以上入っていれば、そのアイコンが選択されたと判断し、そのアイ コンに割り当てられて!/、る機能を起動させる。
[0109] これにより、ユーザは、レーザ光を上記メニュー画面上のアイコン群の中力 所望の アイコンに一定時間当てているだけで、そのアイコンを選択でき、そのアイコンに割り 当てられている機能を起動させることができる。
[0110] < 3. 4 ペン描画 >
続いて、ペン描画について説明する(図 17参照)。
[0111] この機能は、レーザポインタ 4によるプロジェクタスクリーン 1への描画機能であり、レ 一ザポインタ 4がペンのような役割を果たすので、ペン描画機能と呼ぶこととする。
[0112] くステップ S3— 4—1, S3— 4— 2>
まず、上記座標履歴データ (AGPointX, AGPointY, t)を順番に上記履歴記録プロ グラム力 受け取り、最初の座標データに対応するデスクトップ画面上の位置力 次 の座標データに対応する位置までをつなぐビットマップデータを生成する。
[0113] これを各座標データについて順に繰り返すことで、各座標データをその時刻 t順に つな 、だ描画が行われることになる(図 18 (A)参照)。
[0114] くステップ S3—4— 3 >
し力しながら、座標データは離散的であるため、そのまま直線でつないで描画を行 うと、座標データに対応する位置毎に折れ曲がった不自然な線しか描画できない。
[0115] そこで、本願発明では、離散的なデータに対しベジヱ曲線での補間処理を施し、よ り自然でなめらかな曲線の描画を可能にしている。
[0116] より具体的には、まず、 4点の座標値から、ベジヱ曲線の描画に必要な 2個のコント ロールポイントの座標を割り出し、曲線を生成する。このとき、隣り合う曲線同士が接 線連続となるような処理を行うことで、なめらかに連続した曲線を得ることができる(図
18 (B)参照)。
[0117] くステップ S3—4—4>
またさらに、本願発明では、上記補間機能の拡張として、筆ペンのような質感の描 画をち行うことができる。
[0118] より具体的には、まず、上記曲線について、そのコントロールポイントをその曲線と 垂直の方向にオフセットして、新しい曲線をつくる。その際のオフセット量を光点の移 動速度に反比例するように決める。このオフセット曲線を複数本 (たとえば 30本程度) に増やすと、あた力も筆で書いているような質感の描画を行うことができる(図 18 (C) 参照)。
[0119] < 3. 5 マウスエミユレーシヨン >
続ヽて、マウスエミユレーシヨンにっ 、て説明する(図 19参照)。
[0120] この機能は、プロジェクタスクリーン 1上のレーザ光によって通常のマウス機能と同 等の機能を実現させるものである。 [0121] <ステップ S3— 5—1 >
まず、上記のとおりのレーザ光による機能切換によってマウスエミユレーシヨン機能 を選択する。
[0122] より具体的には、上記メニュー画面上のマウスエミユレーシヨン機能を表したマウス アイコンの領域にレーザ光を一定時間滞留させて、マウスエミユレーシヨン機能を選 択させる。
[0123] <ステップ S3— 5— 2>
マウスエミユレーシヨン機能が選択されると、図 20に例示したような、「マウス移動」「 すアイコンが表示される。
[0124] <ステップ S3— 5— 3 >
後は、所望のマウス機能を表したアイコンの領域にレーザ光を一定時間滞留させる ことで、そのアイコンを選択して、割り当てられているマウス機能を実行できるようにな る。
[0125] たとえば、シングルクリックアイコンを選択すれば、レーザポインタ 5をプロジェクタス クリーン 1に向けたままで、そのレーザ光によりシングルクリックを行うことができる。こ れらのマウス機能は、プレゼンテーションソフトや本願発明のソフトの機能に連動して おり、シングルクリックするとシングルクリックに対応したソフトの機能が実行されること になる。
[0126] < 3. 6 ソフトウェアコントロール〉
続、て、ソフトウェアコントロールにつ 、て説明する(図 21参照)。
[0127] この機能は、プロジェクタスクリーン 1上のレーザ光によって、プレゼンテーションソ フト等の各種ソフトウェアに対しそれが有している機能、たとえば「ページ送り」「ぺー ジ戻し」「頭出し」「一覧表示」などを実行させる命令を送り、ソフトウェアのコントロール を実現させるものである。
[0128] <ステップ S3— 6— l >
まず、上記のとおりのレーザ光による機能切換によってソフトウェアコントロール機能 を選択する。 [0129] より具体的には、上記メニュー画面上のソフトウェアコントロール機能を表したアイコ ンの領域にレーザ光を一定時間滞留させて、ソフトウェアコントロール機能を選択さ せる。
[0130] <ステップ S3— 6— 2>
ソフトウェアコントロール機能が選択されると、図 22に例示したような、「ページ送り」
「ページ戻し」「頭出し」「一覧表示」といった各種ソフトウェア機能を示すアイコンが表 示される。
[0131] <ステップ S3— 6— 3 >
後は、所望のソフトウェア機能を表したアイコンの領域にレーザ光を一定時間滞留 させることで、そのアイコンを選択して、割り当てられているソフトウェア機能を実行さ せる命令信号をコンピュータ 3内でそのソフトウェアに送ることができるようになる。
[0132] たとえば、プレゼンテーションソフトウェアの場合において、ページ送りアイコンを選 択すれば、次のプレゼンテーションページに進めることができる。
[0133] < 3. 7 半透明表示 >
最後に、半透明表示について説明する。
[0134] この機能は、上記描画機能のオプション的なものであり、上記のとおりに作成された ビットマップデータを、デスクトップ画面の最前面に配置させ、且つ半透明で表示させ るものである。
[0135] これにより、ユーザは、自分の操作するアプリケーションの上に直接手書き文字を書 き込んでいるかのような感覚を得ることができ、ユーザピリティの一層の向上を図るこ とができるようになる。
[0136] < <4.その他 > >
<4. 1 レーザポインタ >
以上のとおりの本願発明では、レーザポインタ 5として 2色または 3色以上のレーザ 光 (たとえば赤と緑)を発光可能なものを用い、上記光点検知プログラムによる光点領 域抽出をそれら各色に対応させて予め設定した複数種類の閾値を用いて処理する ことで、それら各色のレーザ光を区別して認識することができ、これにより、各レーザ 光別に上記のとおりの高精度トラッキングを実現でき、これに基づいた描画処理等の アプリケーション処理をも実現できる。
[0137] <4. 2 LEDポインタ >
また、本願発明は、レーザポインタ 5以外にも、 LEDポインタからの LED光のトラッ キングにも適用できる。 LEDポインタは、たとえば、先端部に LEDを具備したペン型 や指示棒型のものであり、レーザ光と同様に赤や緑などの LED光を発光する。もちろ ん 2色または 3色以上の発光が可能なものも採用できる。
特筆すべきことは、本願発明によれば、レーザポインタ 5のレーザ光であっても LE Dポインタの LED光であっても、同等な上記システム構成、トラッキング処理、アプリ ケーシヨン処理によって、高精度トラッキングおよび高ユーザピリティが可能なことで ある。
[0138] <4. 3 プロジェクタスクリーン >
プロジェクタスクリーン 1については、一般的なスクリーン形態だけでなぐホワイトボ ードゃ白壁などといった、プロジェクタ 2からの画像を映し出すことができる様々な形 態のものを考慮できることは言うまでもな 、。
[0139] <4. 4 ディスプレイ〉
またさらに、本願発明は、プロジェクタスクリーン 1以外にも、液晶ディスプレイ、ブラ ズマディスプレイ、プロジェクシヨンテレビなどといった、画像表示が可能な様々な種 類のディスプレイにそのまま適用でき、よりバリエーションに富んだプレゼンテーション が実現可能となる。
図面の簡単な説明
[0140] [図 1]本願発明の一実施形態について説明するための図。
[図 2]本願発明の一実施形態について説明するためのプログラム構成図。
[図 3]ゆがみ補正パラメータ取得処理について説明するためのフローチャート。
[図 4]ゆがみ補正パラメータ取得処理について説明するための図。
[図 5]ゆがみ補正パラメータ取得処理について説明するための別の図。
[図 6]カメラシャッタースピード、露出、ガンマ値調整処理について説明するためのフ 口1 ~~チヤ1 ~~卜。
[図 7]カメラ画像取得処理について説明するためのフローチャート。 [図 8]カメラ画像入力処理について説明するためのフローチャート。
[図 9]光点検知処理について説明するためのフローチャート。
[図 10] (A) (B) (C)は、各々、光点検知処理について説明するための図。
[図 11]ゆがみ補正処理について説明するためのフローチャート。
[図 12] (A) (B)は、各々、ゆがみ補正処理について説明するための図。
圆 13]本願発明の一実施形態について説明するための別のプログラム構成図。
[図 14]履歴記録処理について説明するためのフローチャート。
[図 15]履歴再生処理について説明するためのフローチャート。
[図 16]機能切換処理について説明するためのフローチャート。
[図 17]ペン描画処理について説明するためのフローチャート。
[図 18] (A) (B) (C)は、各々、ペン描画処理について説明するための図。
[図 19]マウスエミユレーシヨン処理について説明するためのフローチャート。
[図 20]マウスエミユレーシヨン処理について説明するための図。
[図 21]ソフトウェアコントロール処理について説明するためのフローチャート。
[図 22]メニュー画面の一例を示した図。
符号の説明
1 プロジェクタスクリーン
2 プロジェクタ
3 コンピュータ
31 処理部
32 記憶部
33 データファイル部
34 表示部
35 入力部
36 プロジェクタ通信部
37 カメラ通信部
38 バス
4 レーザポインタ カメラ

Claims

請求の範囲
[1] ディスプレイに投光されているポインタ光をカメラにより撮影し、得られた画像データ に基づいてディスプレイ上のポインタ光をコンピュータによりトラッキングするポインタ 光トラッキング方法であって、
黒ベタ画像とその四隅に位置する白正方形画像をディスプレイに投影させ、 これら黒ベタ画像と白正方形画像が映し出されて ヽるディスプレイを撮影し、 得られた画像データから前記白正方形画像に対応する領域を抽出し、 抽出された領域の中心座標 (X, y)を算出し、
算出された中心座標 (X, y)と前記白正方形画像の中心座標 (X, Y)とから、デイス プレイ上のポインタ光の位置を表す座標に対して射影変換を用いたゆがみ補正を行 う際に必要なパラメータを算出する
ことを特徴とするポインタ光トラッキング方法。
[2] ディスプレイに投光されているポインタ光をカメラにより撮影し、得られた画像データ に基づいてディスプレイ上のポインタ光をコンピュータによりトラッキングするポインタ 光トラッキング方法であって、
ポインタ光が映し出されているディスプレイを撮影するカメラのシャッタースピード、 露出、ガンマ値のいずれか一つまたは二つ以上を調整して、ポインタ光のみが強く 映し出された画像データを取得する
ことを特徴とするポインタ光トラッキング方法。
[3] ディスプレイに投光されているポインタ光をカメラにより撮影し、得られた画像データ に基づいてディスプレイ上のポインタ光をコンピュータによりトラッキングするポインタ 光トラッキング方法であって、
前記画像データに対してぼかし処理を施して、当該画像データに含まれて ヽるボイ ンタ光の光点の領域を拡大させる
ことを特徴とするポインタ光トラッキング方法。
[4] ディスプレイに投光されて ヽるポインタ光をカメラ撮影して得られた画像データに基 づ 、てディスプレイ上のポインタ光をトラッキングするために、コンピュータを、 黒ベタ画像とその四隅に位置する白正方形画像が映し出されているディスプレイを カメラ撮影して得られた画像データから、前記白正方形画像に対応する領域を抽出 する手段、
抽出された領域の中心座標 (X, y)を算出する手段、および
算出された中心座標 (X, y)と前記白正方形画像の中心座標 (X, Y)とから、デイス プレイ上のポインタ光の位置を表す座標に対して射影変換を用いたゆがみ補正を行 う際に必要なパラメータを算出する手段
として機能させることを特徴とするポインタ光トラッキングプログラム。
[5] ディスプレイに投光されて ヽるポインタ光をカメラ撮影して得られた画像データに基 づ 、てディスプレイ上のポインタ光をトラッキングするために、コンピュータを、 ポインタ光のみが強く映し出された画像データを取得するように、ポインタ光が映し 出されているディスプレイを撮影するカメラのシャッタースピード、露出、ガンマ値のい ずれか一つまたは二つ以上を調整する手段
として機能させることを特徴とするポインタ光トラッキングプログラム。
[6] ディスプレイに投光されて ヽるポインタ光をカメラ撮影して得られた画像データに基 づ 、てディスプレイ上のポインタ光をトラッキングするために、コンピュータを、 前記画像データに含まれて 、るポインタ光の光点の領域を拡大するように、前記画 像データに対してぼ力 処理を施す手段
として機能させることを特徴とするポインタ光トラッキングプログラム。
[7] 請求項 4な 、し 6の 、ずれかに記載のポインタ光トラッキングプログラムを記録したコ ンピュータ読取可能な記録媒体。
PCT/JP2006/302249 2005-02-10 2006-02-09 ポインタ光トラッキング方法、プログラムおよびその記録媒体 Ceased WO2006085580A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/816,033 US8049721B2 (en) 2005-02-10 2006-02-09 Pointer light tracking method, program, and recording medium thereof
EP06713392A EP1855184A4 (en) 2005-02-10 2006-02-09 PROGRAM AND METHOD FOR TRACKING POINTER LIGHT AND RECORDING MEDIUM FOR SAID PROGRAM
JP2007502636A JPWO2006085580A1 (ja) 2005-02-10 2006-02-09 ポインタ光トラッキング方法、プログラムおよびその記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005035284 2005-02-10
JP2005-035284 2005-02-10

Publications (1)

Publication Number Publication Date
WO2006085580A1 true WO2006085580A1 (ja) 2006-08-17

Family

ID=36793151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/302249 Ceased WO2006085580A1 (ja) 2005-02-10 2006-02-09 ポインタ光トラッキング方法、プログラムおよびその記録媒体

Country Status (6)

Country Link
US (1) US8049721B2 (ja)
EP (1) EP1855184A4 (ja)
JP (1) JPWO2006085580A1 (ja)
KR (1) KR20070105322A (ja)
CN (1) CN101116049A (ja)
WO (1) WO2006085580A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225554A (ja) * 2007-03-08 2008-09-25 Takram Design Engineering:Kk プロジェクタシステム
JP2008293289A (ja) * 2007-05-24 2008-12-04 Sharp Corp プロジェクタ
WO2009061619A3 (en) * 2007-11-07 2009-08-06 Omnivision Tech Inc Apparatus and method for tracking a light pointer
CN101430482B (zh) * 2007-11-05 2010-06-09 鸿富锦精密工业(深圳)有限公司 投影画面操作系统及操作方法
JP2010151997A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd プレゼンテーションシステム及びそのプログラム
US7862179B2 (en) 2007-11-07 2011-01-04 Omnivision Technologies, Inc. Dual-mode projection apparatus and method for locating a light spot in a projected image
WO2011090176A1 (ja) * 2010-01-22 2011-07-28 京セラ株式会社 投影制御装置及び投影制御方法
US8188973B2 (en) 2007-11-07 2012-05-29 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
JP2012234382A (ja) * 2011-05-02 2012-11-29 Ricoh Co Ltd 画像表示システムおよび画像表示方法
JP2013164489A (ja) * 2012-02-10 2013-08-22 Seiko Epson Corp 画像表示装置、画像表示システム、および画像表示装置の制御方法
JP2014120023A (ja) * 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、位置検出装置、及び、表示装置の制御方法
WO2015012409A1 (en) * 2013-07-24 2015-01-29 Ricoh Company, Limited Information processing device, image projecting system, and computer program
JP2015060087A (ja) * 2013-09-19 2015-03-30 セイコーエプソン株式会社 プロジェクターシステム、およびプロジェクターシステムの制御方法
JP2015114975A (ja) * 2013-12-13 2015-06-22 株式会社東芝 電子機器および表示方法
CN107885315A (zh) * 2016-09-29 2018-04-06 南京仁光电子科技有限公司 一种提高触控系统跟踪精确度的方法
CN111788826A (zh) * 2018-03-06 2020-10-16 索尼公司 信息处理装置、信息处理方法和程序
EP4250756A1 (en) 2022-03-24 2023-09-27 FUJIFILM Corporation Image generation device, image generation method, and image generation program

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404924B2 (ja) * 2007-09-13 2010-01-27 シャープ株式会社 表示システム
US20090244492A1 (en) * 2008-03-28 2009-10-01 Christie Digital Systems Usa, Inc. Automated geometry correction for rear projection
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8602564B2 (en) 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US8820939B2 (en) 2008-06-17 2014-09-02 The Invention Science Fund I, Llc Projection associated methods and systems
US8267526B2 (en) 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8403501B2 (en) 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8540381B2 (en) 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8384005B2 (en) * 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
FR2933511A1 (fr) * 2008-07-04 2010-01-08 Optinnova Dispositif et procede de visualisation interactif utilisant une camera de detection et un pointeur optique
US8248372B2 (en) * 2009-06-26 2012-08-21 Nokia Corporation Method and apparatus for activating one or more remote features
US20100328214A1 (en) * 2009-06-27 2010-12-30 Hui-Hu Liang Cursor Control System and Method
KR20110058438A (ko) * 2009-11-26 2011-06-01 삼성전자주식회사 프리젠테이션 녹화 장치 및 방법
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
US9100681B2 (en) * 2010-07-08 2015-08-04 Nokia Technologies Oy Visual data distribution
KR101054895B1 (ko) * 2010-09-28 2011-08-05 하이브모션 주식회사 원격 포인팅 시스템
JP2012145646A (ja) * 2011-01-07 2012-08-02 Sanyo Electric Co Ltd 投写型映像表示装置
CN102622120B (zh) * 2011-01-31 2015-07-08 宸鸿光电科技股份有限公司 多点触控面板的触碰轨迹追踪方法
CN102841767B (zh) * 2011-06-22 2015-05-27 华为终端有限公司 多投影拼接几何校正方法及校正装置
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN102611822B (zh) * 2012-03-14 2015-07-01 海信集团有限公司 投影仪及其投影图像校正方法
CN104918028A (zh) * 2012-03-21 2015-09-16 海信集团有限公司 一种投影屏幕上的激光点位置去抖动方法
DE102012210065A1 (de) * 2012-06-14 2013-12-19 Robert Bosch Gmbh Vorrichtung und Verfahren zum Identifizieren eines Laserzeigers
US8922486B2 (en) 2012-07-24 2014-12-30 Christie Digital Systems Usa, Inc. Method, system and apparatus for determining locations in a projected image
JP2014059678A (ja) * 2012-09-14 2014-04-03 Ricoh Co Ltd 画像出力装置、画像出力システム、画像出力プログラム
KR101258910B1 (ko) * 2013-02-07 2013-04-29 (주)유한프리젠 프리젠테이션 시스템에서 레이저 포인터를 이용한 영상 판서 방법
JP5830055B2 (ja) * 2013-05-31 2015-12-09 京セラドキュメントソリューションズ株式会社 画像処理装置および画像処理システム
JP2015094768A (ja) * 2013-11-08 2015-05-18 セイコーエプソン株式会社 表示装置、表示システムおよび制御方法
JP6488653B2 (ja) * 2014-11-07 2019-03-27 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
CN105653025B (zh) * 2015-12-22 2019-12-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN106896746A (zh) * 2017-01-09 2017-06-27 深圳前海勇艺达机器人有限公司 具有主持会议功能的机器人
TWI629617B (zh) * 2017-04-19 2018-07-11 中原大學 投影幕雷射筆偵測定位系統與方法
CN111131800B (zh) * 2018-10-31 2022-02-18 中强光电股份有限公司 影像拼接融合方法与投影系统
CN111131799B (zh) 2018-10-31 2021-11-19 中强光电股份有限公司 影像拼接融合方法、投影系统与其处理装置
US11224798B2 (en) 2018-12-27 2022-01-18 Mattel, Inc. Skills game
KR102433603B1 (ko) * 2022-03-08 2022-08-18 (주)에이블소프트 전자칠판용 적외선 터치펜의 인식 좌표 검출 및 인식 좌표 보정 시스템
CN115103169B (zh) * 2022-06-10 2024-02-09 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139095A (ja) 1997-07-18 1999-02-12 Canon Inc プレゼンテーション装置、その方法、及びペン入力装置
JPH1185395A (ja) 1997-09-08 1999-03-30 Sharp Corp ポインティング機能付き液晶プロジェクタ装置
JP2000276297A (ja) * 1999-03-25 2000-10-06 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
WO2001003106A1 (en) 1999-07-06 2001-01-11 Hansen Karl C Computer presentation system and method with optical tracking of wireless pointer
WO2001047285A1 (en) 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
WO2003056505A1 (en) 2001-12-21 2003-07-10 British Telecommunications Public Limited Company Device and method for calculating a location on a display
JP2004265235A (ja) 2003-03-03 2004-09-24 Matsushita Electric Ind Co Ltd プロジェクタシステム、プロジェクタ装置、画像投射方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139095A (ja) 1997-07-18 1999-02-12 Canon Inc プレゼンテーション装置、その方法、及びペン入力装置
JPH1185395A (ja) 1997-09-08 1999-03-30 Sharp Corp ポインティング機能付き液晶プロジェクタ装置
JP2000276297A (ja) * 1999-03-25 2000-10-06 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
WO2001003106A1 (en) 1999-07-06 2001-01-11 Hansen Karl C Computer presentation system and method with optical tracking of wireless pointer
JP2003504705A (ja) * 1999-07-06 2003-02-04 ハンセン、カール、シー. 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法
WO2001047285A1 (en) 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
WO2003056505A1 (en) 2001-12-21 2003-07-10 British Telecommunications Public Limited Company Device and method for calculating a location on a display
JP2004265235A (ja) 2003-03-03 2004-09-24 Matsushita Electric Ind Co Ltd プロジェクタシステム、プロジェクタ装置、画像投射方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
R. SUKTHANKAR; R. STOCKTON; M. MULLIN.: "Self-Calibrating Camera-Assisted Presentation Interface", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION, ROBOTICS AND VISION, 2000
R. SUKTHANKAR; R. STOCKTON; M. MULLIN.: "Smarter Presentation: Exploiting Homography in Camera-Projector Systems", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2001
See also references of EP1855184A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225554A (ja) * 2007-03-08 2008-09-25 Takram Design Engineering:Kk プロジェクタシステム
JP2008293289A (ja) * 2007-05-24 2008-12-04 Sharp Corp プロジェクタ
CN101430482B (zh) * 2007-11-05 2010-06-09 鸿富锦精密工业(深圳)有限公司 投影画面操作系统及操作方法
WO2009061619A3 (en) * 2007-11-07 2009-08-06 Omnivision Tech Inc Apparatus and method for tracking a light pointer
US7862179B2 (en) 2007-11-07 2011-01-04 Omnivision Technologies, Inc. Dual-mode projection apparatus and method for locating a light spot in a projected image
US8188973B2 (en) 2007-11-07 2012-05-29 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
JP2010151997A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd プレゼンテーションシステム及びそのプログラム
US8890811B2 (en) 2010-01-22 2014-11-18 Kyocera Corporation Projection controlling apparatus and projection controlling method
WO2011090176A1 (ja) * 2010-01-22 2011-07-28 京セラ株式会社 投影制御装置及び投影制御方法
JP2011150609A (ja) * 2010-01-22 2011-08-04 Kyocera Corp 投影制御装置及び投影方法、並びに投影制御用コンピュータプログラム
JP2012234382A (ja) * 2011-05-02 2012-11-29 Ricoh Co Ltd 画像表示システムおよび画像表示方法
JP2013164489A (ja) * 2012-02-10 2013-08-22 Seiko Epson Corp 画像表示装置、画像表示システム、および画像表示装置の制御方法
JP2014120023A (ja) * 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、位置検出装置、及び、表示装置の制御方法
WO2015012409A1 (en) * 2013-07-24 2015-01-29 Ricoh Company, Limited Information processing device, image projecting system, and computer program
JP2015043556A (ja) * 2013-07-24 2015-03-05 株式会社リコー 情報処理装置、画像投影システム、及びプログラム
JP2015060087A (ja) * 2013-09-19 2015-03-30 セイコーエプソン株式会社 プロジェクターシステム、およびプロジェクターシステムの制御方法
JP2015114975A (ja) * 2013-12-13 2015-06-22 株式会社東芝 電子機器および表示方法
CN107885315A (zh) * 2016-09-29 2018-04-06 南京仁光电子科技有限公司 一种提高触控系统跟踪精确度的方法
CN107885315B (zh) * 2016-09-29 2018-11-27 南京仁光电子科技有限公司 一种提高触控系统跟踪精确度的方法
CN111788826A (zh) * 2018-03-06 2020-10-16 索尼公司 信息处理装置、信息处理方法和程序
EP4250756A1 (en) 2022-03-24 2023-09-27 FUJIFILM Corporation Image generation device, image generation method, and image generation program
JP2023142262A (ja) * 2022-03-24 2023-10-05 富士フイルム株式会社 画像生成装置、画像生成方法、及び画像生成プログラム
US12483796B2 (en) 2022-03-24 2025-11-25 Fujifilm Corporation Image generation device, image generation method, and image generation program

Also Published As

Publication number Publication date
EP1855184A4 (en) 2008-12-10
US20090021480A1 (en) 2009-01-22
JPWO2006085580A1 (ja) 2008-06-26
US8049721B2 (en) 2011-11-01
KR20070105322A (ko) 2007-10-30
EP1855184A1 (en) 2007-11-14
CN101116049A (zh) 2008-01-30

Similar Documents

Publication Publication Date Title
WO2006085580A1 (ja) ポインタ光トラッキング方法、プログラムおよびその記録媒体
JP5122641B2 (ja) カメラとマーク出力とによるポインティング装置
JP3640156B2 (ja) 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
CN106664465B (zh) 用于创建和再现增强现实内容的系统以及使用其的方法
JP5870639B2 (ja) 画像処理システム、画像処理装置、及び画像処理プログラム
JP5560721B2 (ja) 画像処理装置、画像表示システム、及び画像処理方法
CN101562703A (zh) 用于在成像设备内执行基于触摸的调整的方法和装置
EP2880508A2 (en) Improved identification of a gesture
CN107659769A (zh) 一种拍摄方法、第一终端及第二终端
US11277567B2 (en) Electronic apparatus, control method of electronic apparatus and non-transitory computer readable medium
JP6028589B2 (ja) 入力プログラム、入力装置および入力方法
US9875565B2 (en) Information processing device, information processing system, and information processing method for sharing image and drawing information to an external terminal device
JP7198043B2 (ja) 画像処理装置、画像処理方法
KR101613438B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
JP2000276297A (ja) ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
US11048400B2 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
JP4500036B2 (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
JP6269227B2 (ja) 表示装置、プロジェクター、および表示制御方法
JP2010068222A (ja) 顔検出制御装置、顔検出制御プログラムおよび顔検出制御方法
GB2583813A (en) Electronic apparatus for controlling display of image, control method of electronic apparatus and program
US12348702B2 (en) Electronic device and method for controlling electronic device
US12445700B2 (en) Electronic device, control method of an electronic device, and non-transitory computer readable medium
JP2008076445A (ja) 投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体
HK1110131A (en) Pointer light tracking method, program, and recording medium thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007502636

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020077018106

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200680004415.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 11816033

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006713392

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2006713392

Country of ref document: EP