WO2019035256A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019035256A1 WO2019035256A1 PCT/JP2018/020035 JP2018020035W WO2019035256A1 WO 2019035256 A1 WO2019035256 A1 WO 2019035256A1 JP 2018020035 W JP2018020035 W JP 2018020035W WO 2019035256 A1 WO2019035256 A1 WO 2019035256A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- projection
- user
- information processing
- attraction
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Definitions
- the present disclosure relates to an information processing device, an information processing method, and a program.
- an interactive utilization method in which a user operates a UI projected by the projector is also proposed.
- an image can be projected on any place in daily life, such as a desk, a table, a wall, a sofa, a human body (arms, palms, etc.), and can be used interactively as a touch panel.
- the projection type display apparatus which discriminate
- Such a projection display apparatus can detect an obstacle or the like by using an area sensor such as a depth sensor, and can determine a projectable area.
- Patent Document 2 discloses a projector that detects an obstacle in a projection area, and presents a user with an object to be excluded and a projectable area after exclusion to the user in order to secure a wider projection area. There is.
- the visibility of the projection environment may be influenced by environmental factors and human factors, but it has not been sufficiently performed to prompt the user to take action to improve the projection environment according to the environment in space.
- the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of prompting a user for an action to improve a projection environment.
- An information processing apparatus comprising: an attraction control unit that presents, to a user, attraction information to be changed to the two projection environment states.
- the processor is configured to recognize the projection environment in the space based on sensor data obtained by sensing the space in which the content is projected, and to improve the visibility from the first projection environment state recognized. And providing the user with attraction information to be changed to the second projection environment state.
- visibility is improved from a recognition unit that recognizes a projection environment in a space based on sensor data obtained by sensing a space in which content is projected, and a first projection environment state that has been recognized.
- a program is proposed to function as an attraction control unit that presents to the user attraction information to be changed to the second projection environment state.
- FIG. 1 It is a figure explaining the means which displays the projection image which excludes the obstruction by this embodiment, and attracts a user action. It is a figure explaining the means which displays the projection image which excludes the obstruction by this embodiment, and attracts a user action. It is a figure which shows an example of the indoor eyelid image for excluding the shielding by this embodiment. It is a figure which shows an example of an action inducer in, when the user itself by this embodiment is shielding object. It is a figure which shows an example of the projection image for excluding the obstruction which exists on the projection surface by this embodiment. It is a figure which shows an example of the projection image for excluding the obstruction which exists on the projection surface by this embodiment. FIG.
- FIG. 8 is a diagram showing an example of expressing the size of the effect at the time of exclusion in the projection image superimposed and displayed on the obstacle according to the present embodiment. It is a figure which shows an example of the action attraction means which makes a user erase
- FIG. 1 is a diagram for describing an overview of an information processing system according to an embodiment of the present disclosure.
- the information processing system 1 according to the present embodiment includes an information processing device 10, a sensor 11, and an output device 12.
- the information processing system 1 according to the present embodiment includes an information processing device 10, a sensor 11, and an output device 12.
- the sensor 11 detects surrounding environment information and outputs the information to the information processing apparatus 10. Specifically, the sensor 11 senses information related to the user's position, posture, gaze direction, face orientation, human state such as finger gestures, and is in a space including a projection surface, an obstacle, and a shield. Information on the environment in the space such as three-dimensional information, roughness and material of the projection surface, information on the projection surface such as color, illuminance environment, and volume etc. is sensed.
- the sensor 11 may be single or plural. Also, the sensor 11 may be provided in the output device 12.
- the senor 11 is realized by, for example, a camera 11a, a distance sensor 11b, an illuminance sensor 11c, and a microphone 11d, and acquires information related to people in space and information related to the environment.
- Each sensor 11 may be installed on an indoor ceiling, a wall, an object side such as a table, or the like, and may be worn by the user.
- the camera 11 a captures one or more users in the space and the projection area to obtain a captured image.
- the camera 11a may be single or plural.
- the imaging wavelength is not limited to the visible light range, and may include ultraviolet light and infrared light, or may be limited to a specific wavelength range. Also, it may be a sensor that measures only the illuminance.
- the distance sensor 11 b can acquire a three-dimensional image that can comprehensively recognize three-dimensional information in a space, and may be realized by a depth sensor that can be driven by a mechanical mechanism. Further, as the distance sensor 11b, a method using infrared light as a light source, a method using ultrasonic waves, a method using a plurality of cameras, a method using image processing, and the like can be mentioned. The distance sensor 11b may be single or plural, or may collectively acquire distance information in the area.
- the illuminance sensor 11c acquires the illuminance of each place in the space.
- the illuminance sensor 11c may be single or plural.
- the microphone 11 d collects surrounding voice (including environmental sound) and acquires voice data.
- achieves the sensor 11 may each be provided in a different place, and may be provided in the same place.
- the information processing apparatus 10 analyzes the information acquired from the sensor 11, and recognizes the environment of the projection area on which the projector 12a performs the projection and the state of the user. Thereafter, the information processing apparatus 10 determines an action for prompting the user to set an optimal projection environment, and notifies the user of the action via the projector 12a or the speaker 12b.
- the visibility of the projection environment in the case of projecting an image by the projector 12a is not limited to the size of the projection area alone, and DPI (dots per inch) after projection, color and optics of the projection plane
- DPI dots per inch
- Environmental factors such as specific reflection characteristics and illuminance of the projection environment, and human factors such as the position, posture, line of sight, and the number of users of the user with respect to the projection location. Therefore, in the present embodiment, when projecting a video, the user can easily view the content by urging the user to perform a predetermined action for improving the visibility of the projection environment, and the projected UI can be easily operated. To create an ideal projection environment.
- the output device 12 is various devices that present information to the user according to the control of the information processing apparatus 10.
- the output device 12 is realized by a projector 12 a (projection display device) and a speaker 12 b (audio output device).
- the specific example of the output device 12 is not limited to that shown in FIG. 1 and, for example, a display device having a display unit, a lighting device, a vibration device, a wind output device, an air conditioner, various actuators, etc. Any device that can be presented to the user can be envisioned. Also, a plurality of output devices 12 may exist in the space.
- the output device 12 is realized by a wearable device (head mounted display (HMD), smart eyeglass, smart watch, smart band, smart neck, neck type speaker, earring type speaker, ear cuff type speaker, etc.) owned by the user. May be
- HMD head mounted display
- smart eyeglass smart watch
- smart band smart neck
- neck type speaker smart band
- earring type speaker smart ear cuff type speaker
- the projector 12a and the speaker 12b may be fixed in space or may be output anywhere in the space.
- a notification that prompts the user to take action to improve the projection environment is performed via the projector 12a and the speaker 12b.
- the projector 12a is realized by a drive-type projector capable of controlling the rotational direction with two axes.
- a display display device
- other projectors such as an all-sky type projector and a hologram image apparatus May be used.
- smart eyeglasses or HMDs worn by the user may be used.
- a video display device such as a television or a tablet terminal installed on the object side such as a table or a sofa may be used.
- the speaker 12b may be a directional speaker.
- the speaker 12b may be a unit integrated with the projector 12a, may be disposed indoors, or may be provided in a personal terminal such as a smartphone or a mobile phone.
- the configuration of the information processing system 1 according to the present embodiment has been described above.
- the respective devices of the information processing system 1 may be installed at different places or at the same place.
- each device of the information processing system 1 may be separately configured, or at least a portion of the devices may be configured as one.
- the information processing apparatus 10 may be integrated with the sensor 11 or the output device 12.
- FIG. 2 is a block diagram showing an example of the configuration of the information processing apparatus 10 according to the present embodiment.
- the information processing apparatus 10 includes a control unit 100, a communication unit 110, an input unit 120, and a storage unit 130.
- the control unit 100 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 10 according to various programs.
- the control unit 100 is realized by, for example, an electronic circuit such as a central processing unit (CPU) or a microprocessor.
- the control unit 100 may also include a ROM (Read Only Memory) that stores programs to be used, operation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters and the like that change appropriately.
- ROM Read Only Memory
- RAM Random Access Memory
- the control unit 100 also functions as a recognition unit 101, a projection area determination unit 102, an action attraction determination unit 103, an attraction control unit 104, and a projection control unit 105.
- the recognition unit 101 recognizes the environment of the projection location and the state of the user based on various sensor data transmitted from the sensor 11. For example, in the environment recognition process, recognition of “projection plane”, “obstacle”, “obstacle”, “environmental illuminance”, “environmental noise (noise)” and the like is performed.
- the recognition unit 101 recognizes a three-dimensional shape of the room based on depth data acquired from the distance sensor 11 b (depth sensor) (space recognition), and a projection area that becomes a projection plane candidate from the recognition result Calculate some plane area as
- FIG. 3 shows an example of detection of a flat area in space.
- the recognition unit 101 can also recognize the reflectance of the projection plane and the texture (color, characters, etc.) on the plane based on the color image acquired by the camera 11a. .
- the recognition unit 101 recognizes the object placed in front of the projection plane with the depth sensor after calculating the “projection plane” as described above (object recognition). For example, it may be assumed that another user is standing near the place where the user wants to project, or that the projectable area is reduced because furniture is placed. Since the size of the shield affects the area that can be projected by the projector 12a, the priority of the trigger action is determined according to the size of the shield in the content determination of the behavior trigger to be described later.
- the recognition unit 101 recognizes an object placed on a plane with a depth sensor. For example, a cup placed on a table or a remote controller may be assumed.
- the recognition unit 101 measures the illuminance around the projection location based on the illuminance data acquired by the illuminance sensor 11 c. By comparing the illuminance of the projection plane with the projected illuminance of the projector 12a, it is possible to calculate an index of the visibility of the image.
- the recognition unit 101 detects the position, the posture, the gaze direction, and the like of the user existing in the space based on the depth data and the captured image of color.
- FIG. 4 shows an example of human state recognition.
- the line-of-sight direction (field-of-view vector) or the position of the user may be acquired at the three-dimensional coordinate position (x, y, z).
- the posture user states such as "standing”, “sit", and "lying" are recognized.
- the projection area determination unit 102 determines an appropriate projection location from the projection plane candidates (planar areas) recognized by the recognition unit 101.
- the projection area determination unit 102 may include projection plane information (projection size, DPI value), human information (position, posture, gaze direction), and content information to be projected (content size, metadata (moving image, image, Web) Determine the appropriate projection location based on the site, text, GUI etc)). More specifically, in the case where, for example, the user is requested to input a GUI (Graphical User Interface) to the screen and the screen is displayed on a wide screen, the projection area determination unit 102 selects one of the projection planes P1 to P7 shown in FIG. The projection location is determined on the projection plane P3 (dining table) which is a nearby and wide area.
- the behavior attraction determination unit 103 determines the content of the behavior attraction to the user for improving the projection environment (viewing and operation environment) at the projection location determined by the projection area determination unit 102. That is, in the present embodiment, it is possible to present the user with attraction information to be changed from the first projection environment state recognized by the recognition unit 101 to the second projection environment state with improved visibility.
- the action inducement determination unit 103 calculates and calculates an evaluation value for each element based on the recognized environment or human condition. The priority of each attraction content is determined based on the evaluation value.
- the “elements” are, for example, the viewing distance of the user, the angle difference of the projection plane, the shield to the projection plane, the obstacle on the projection plane, the reflection on the projection plane, the color and characters of the projection plane, the diagram, the environment illuminance It can be mentioned.
- the attraction control unit 104 performs control to perform notification (notification) prompting the user to perform an action to improve the projection environment.
- the notification of action attraction may display a message or may be presented by voice.
- the user may be notified of the contents of the attraction actions in order.
- the attraction control unit 104 explicitly presents the attraction content so that the user can easily view and recognize, and when the priority is low, presents a presentation or a word by voice in the gaze direction. It may be a degree.
- the projection control unit 105 performs control to project predetermined content (such as a video) on the determined projection location.
- the projection control unit 105 may project after all the notification by the attraction control unit 104 is finished. Further, the projection control unit 105 may recalculate and project the geometric area of the image, color correction, and the projection area at the time of projection. Since the environment may change due to the notification of the action inducement, the projection is performed in real time more in line with the current environment.
- the communication unit 110 transmits and receives data to and from an external device directly or through a network by wire or wirelessly.
- the communication unit 110 communicates with the sensor 11 and the output device 12 using a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), near field wireless communication, or the like.
- the input unit 120 receives input information to the information processing apparatus 10.
- the input unit 120 may be an operation input unit that receives an operation instruction from a user.
- the operation input unit may be a touch sensor, a pressure sensor, or a proximity sensor.
- the operation input unit may be a physical configuration such as a button, a switch, and a lever.
- the input unit 120 may be a voice input unit (microphone).
- the storage unit 140 is realized by a ROM (Read Only Memory) that stores a program used for processing of the control unit 100, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters and the like that change appropriately.
- ROM Read Only Memory
- RAM Random Access Memory
- the storage unit 140 stores, for example, content (video and the like).
- the content may be transmitted from an external device via the communication unit 110.
- the configuration of the information processing apparatus 10 according to the present embodiment has been specifically described above.
- the configuration of the information processing apparatus 10 according to the present embodiment is not limited to the example illustrated in FIG. 2, and may further include an output unit, for example.
- the output unit may be realized by, for example, a display unit or an audio output unit (microphone).
- the display unit outputs an operation screen, a menu screen or the like, and may be a display device such as a liquid crystal display (LCD) or an organic electro luminescence (EL) display.
- LCD liquid crystal display
- EL organic electro luminescence
- the information processing apparatus 10 may be configured by a plurality of devices. Also, the information processing apparatus 10 may be realized by a client device (smartphone, tablet terminal, PC (Personal Computer), etc.) or may be realized by a server on a network.
- client device smart phone, tablet terminal, PC (Personal Computer), etc.
- server on a network.
- FIG. 5 is a flowchart showing projection control processing according to the present embodiment.
- the recognition unit 101 of the information processing apparatus 10 determines the human state in the space based on various sensor data (captured image, depth data, illuminance information, audio data, etc.) acquired from the sensor 11. Recognition (step S103) and environment recognition (step S106).
- the projection area determination unit 102 determines the location of the projection area on which the content is to be projected by the projector 12a (step S109). Specifically, the projection area determination unit 102 selects information on the projection plane (projection size, DPI value) and state information (position, posture, sight line) of one or more plane areas in the space extracted in the environment recognition. An appropriate projection location is determined based on the orientation, content information to be projected (content size, metadata (moving image, image, website, text, GUI)) and the like.
- the action inducement determination unit 103 determines the contents of the action inducement that attracts the user (step S112). Although the details will be described later, for example, the action inducement determining unit 103 calculates the evaluation value of each element based on the recognition result of the human state and the environment recognition result, and prioritizes whether to perform each action inducement based on the evaluation value. Determine the degree.
- the inducement control unit 104 determines notification means for notification (notification) that urges the user to perform an action to improve the projection environment (step S115), and performs notification (notification) using the determined means (step S118).
- notification means for notification (notification) that urges the user to perform an action to improve the projection environment (step S115)
- the attraction control unit 104 determines the notification means according to the priority of each action attraction based on the evaluation value for each element of the person or the environment determined in step S112, for example. It can be decided.
- the recognition unit 101 again performs human state recognition (step S121) and environment recognition (step S124).
- step S127 / No if the projection environment has not changed (it is presumed that the user has not executed the notification content) (step S127 / No), the user is fed back that effect (step S130). Specifically, it may be notified that the environment has not changed, or may be notified of action inducement again.
- step S133 if there is another content to be attracted (step S133 / Yes), the process returns to step S115 to notify the user of the next content of the attraction.
- the control unit 100 determines the projection area again by the projection area determination unit 102 (step S136), and controls the video projection by the projection control unit 105 (step S136) S139). Since it is also assumed that the environment has changed, the control unit 100 causes the projection area determination unit 102 to calculate and determine the projection area again based on real-time sensor data. In addition, the projection control unit 105 may perform geometric correction and / or color correction based on sensor data on an image to be projected as necessary.
- step S112 The projection control process according to the present embodiment has been described above. Subsequently, the “attraction content determination process” in step S112 will be described in detail.
- the action inducement determination unit 103 calculates an evaluation value of each element from human state recognition and environment recognition, and determines a priority of whether to induce each attraction action based on the evaluation value.
- FIG. 6 and FIG. 7 show an example of attraction content for each element and priority determination and notification means of the attraction content.
- FIG. 6 shows an example of priority determination and notification means for the trigger content corresponding to each element based on human state recognition.
- FIG. 7 shows an example of the priority determination of the attraction content corresponding to each element based on environment recognition, and a notification means.
- the action inducement determining unit 103 calculates an evaluation value for each element as shown in FIGS. 6 and 7.
- the angle between the projection surface normal to the orientation (Watch Angle) and the angle from the orientation of the person to the projection location (Screen Angle) are calculated as element evaluation values.
- FIG. 8 is an explanatory view of evaluation axes regarding a person and a projection plane.
- the large category "environment information” is divided into information on the projection plane and information on the environment illumination.
- the information on the projection plane relates to the obstacle recognized based on the sensor data, the obstacle, the reflectivity of the projection plane, the color or characters of the projection plane, etc.
- “Occlusion” of the projection area by the obstacle The amount of reduction of the projection area due to obstacles (Obstacle), the "reflectance of projector light on the projection surface (Reflectance)", and the “amount of reduction of projection area due to texture (color or character) of projection surface” (Letter Color) Calculate the evaluation value of the element.
- the “reduction amount of the projection area due to the shielding object” is calculated, for example, as the evaluation value because the projection area decreases when the shielding object such as a stand light is disposed in front of the projection plane detected on the wall surface. .
- the reduction amount of the projection area due to the obstacle is calculated as an evaluation value because the projection area decreases when an obstacle such as a cup or a remote controller is placed on the table, for example.
- the reflectance of the projector light on the projection surface is calculated as an evaluation value because the reflectance of the projector light differs depending on the material of the projection surface.
- the reduction amount of the projection area due to the texture of the projection surface indicates that, when the projection surface is a whiteboard or a notice board, the projection area is reduced because the portion where the characters and illustrations are drawn is the projection inappropriate area Therefore, this is calculated as an evaluation value.
- the evaluation value is calculated using the ratio of the projector projection illumination on the projection plane and the environmental illumination around the projection plane as the environmental illumination.
- the determination of the priority of the attraction content of each element by the behavior attraction determination unit 103 will be described.
- the invitation content of “move to the optimum viewing position with respect to the projection position” is associated with the “viewing distance”, and “for the angle of the projection plane” is associated.
- the content of the invitation to be guided to the position in the vertical direction from the projection plane is associated.
- the behavior inducement determining unit 103 determines the priority of each such attraction content based on the evaluation value of the element. For example, the following two types of determination formulas may be applied to the determination of the priority. Note that even the elements other than the elements illustrated in FIG. 6 and FIG. 7 can be applied to the following determination formula and added.
- the priority is determined by the following formula 1a and formula 1b.
- value is an evaluation value of the element
- Priority High_Threshold Low and Priority High_Threshold High are thresholds when it is determined that the priority is “high”.
- Priority Low_Threshold Low and Priority Low_Threshold High are thresholds for determining priority “low”.
- the above determination formulas 1a and 1b can be applied to the above-described elements of Dist, Watch Angle, Screen Angle, and Reflectance.
- Dist it may not be suitable for viewing if it is too far or too near.
- Watch Angle and Screen Angle the visibility decreases if the angle is too large in both the positive and negative directions.
- Reflectance is not suitable for projection surfaces of materials such as concrete with low reflectance and metal materials with too high reflectance.
- Equations 1a and 1b are applied to the above elements.
- the priority is determined by the following formula 2a and formula 2b. Also, if the higher the evaluation value, the better, the priority is determined by Equations 3a and 3b below.
- value is a threshold used to determine the evaluation value of the element, Priority High_Threshold, and Priority Low_Threshold are “high” priority and “low” priority. If the judgment formula holds, the priority is applied.
- Formula 2a which is determination of priority "high” is applied. Equations 3a and 3b apply similarly.
- Priority High_Threshold ⁇ value ... Formula 2a Priority Low_Threshold ⁇ value ... Formula 2b Priority High_Threshold> value ... Formula 3a Priority Low_Threshold> value ... Formula 3b
- Equations 2a, 2b, 3a and 3b can be applied to the above-mentioned judgment of the priority of the evaluation value of occlusion, obstacle, letter color and environmental light.
- Equations 2a and 2b are applied.
- Equations 3a and 3b are applied.
- the attraction content is associated with each element, but even if the attraction content is associated with a combination of a plurality of elements, the priority is determined. Good. For example, since the viewing distance and the angle difference between the projection planes are correlated elements, two evaluation values may be added to determine the priority of the corresponding attraction content.
- FIGS. 9 and 10 are diagrams for explaining means for moving the projection image from the direction of the user's line of sight to the projection location to attract user's action.
- the information processing apparatus 10 when projecting an image on a place away from the user's line of sight direction V (for example, outside the field of view, projection plane P4), the information processing apparatus 10 causes the projector 12a to The projection image 200 such as a spotlight is displayed on the screen, and from there, the projection image of the spotlight is moved to the projection location (projection plane P4 of the armrest portion of the sofa) (projection images 201, 202, 203).
- the projection image used for attraction is not limited to the spotlight shown in FIG. 9, and may be, for example, arrow images 210 to 214 as shown in FIG.
- FIG. 11 is a diagram for explaining a means for displaying a projection image at a projection position and an ideal viewing position to attract user's action.
- V projection plane P5
- a projected image 220 like a spotlight is displayed.
- a projected image 230 such as a footprint may be displayed from the foot of the user to the viewing position.
- the projected images used for attraction are not limited to the examples shown in FIGS. 11 and 12, and may be projected images 240A to 240C as shown in FIG. 13, for example. That is, a tailing representation like a meteor like the projection image 240A, a triangle like representation as the projection image 240B, color, brightness, transparency, thickness etc. are changed in the direction shown like the projection image 240C It may be an expression.
- FIG. 14 and FIG. 15 are diagrams for explaining means for displaying a projection image for excluding a shield to attract user's action.
- the information processing apparatus 10 displays a projection image that causes the user to emphasize or recognize the shield to be excluded.
- a projection image 250 such as a spotlight is displayed on the shield 20 existing in front of the projection plane P8.
- the icon image 251 of the person who carries the package onto the shield 20 it is also possible to project the icon image 251 of the person who carries the package onto the shield 20 and urge the user to move it.
- the filled rectangular image 252 may be projected on the projection plane P8 to notify the user of the presence of the shield 20.
- the overhead view image 30 in the room may be projected in the direction of the user's line of sight, etc., and the user may be notified of the projector position 32, the projector projection direction, and the shield position 31.
- FIG. 17 shows an example of the action inducer when the user himself / herself is the shielding target.
- a shadow 260 of the user can be created, so that the user can be notified that the user is a target of shielding.
- FIGS. 18 to 19 an example of means for excluding an obstacle placed on the table or the like will be described with reference to FIGS. 18 to 19.
- the top of the table is a projection area (see projection planes P3 and P5 in FIG. 3)
- a predetermined projection image is displayed on the table to exclude an obstacle existing on the projection plane.
- an arrow image 270 or an animation image 271 such as a wave from the projectable area to the direction in which the obstacle exists on the table 15, the obstacle or obstacle to be excluded
- the user can be informed of the direction of movement, and in which direction the region should be expanded.
- the fill images 272a and 272b matched to the shapes of the obstacles 16a and 16b are superimposed on the obstacles 16a and 16b, and the user wants the user to explicitly exclude the obstacles. It is possible to present.
- the filled images 272a and 272b may be displayed in a blinking manner.
- the color of the image superimposed and displayed on the obstacles 16 a and 16 b may be changed according to the size of the effect. For example, a predetermined color is projected on an obstacle with a large effect (an obstacle in which the projection area greatly expands when excluded).
- the difference in the size of the effect may be expressed by changing the degree of transparency and the blink rate.
- the example of expression of the magnitude of the effect is not limited to this, and may be another expression method.
- FIG. 20 shows an example of expressing the magnitude of the effect. As shown in FIG. 20, a color image 280A representing the size of the effect by color, an animation image 280B representing the size of the effect by animation, and an icon image 280C representing the size of the effect by an icon can be mentioned.
- emphasis expressions 274a and 274b may be performed such that the obstacle vibrates, or as shown in the upper right side of FIG.
- An invitation image 275 may be displayed.
- movement trajectory images 276a and 276b may be shown to indicate how far the obstacle should be moved.
- the moving destination of the obstacle is indicated by a broken line.
- the moving destination of the obstacle may be displayed as animation images 277a and 277b, and the moving destination may be presented to the user.
- the user is allowed to move the obstacle to the user (action inducement) by explicitly showing the user the presence of the obstacle to be excluded, the direction to be moved, etc. to improve the environment of environmental factors. it can.
- FIG. 22 is a diagram for explaining a case where the user is informed of the content of the attraction by words. As shown in FIG. 22, for example, when the environment illuminance of the projection surface P1 is bright, a notification image 300 showing a word such as "The environment illuminance is too high. Please make the room a little darker.” It may be projected.
- the action inducer may be considered to be presented by voice. For example, if it is judged that the priority is "high” in the category of ambient illumination and you want to lower the ambient light, output an audio from the speaker 12b such as "The ambient is too bright. Please close the fluorescent light and curtain.” It is also good. Further, when it is desired to exclude an obstacle on the projection surface, a voice such as "Please put up on the table” may be output from the speaker 12b. In addition, when the projection area can not be secured, an audio such as "There is no projectable area. Prepare a flat surface" may be output from the speaker 12b.
- the preparation of the flat surface is not particularly limited, but in the case of a kitchen, for example, a cutting board is assumed.
- an audio such as “display UI at lower left” may be output from the speaker 12 b.
- Notification means determination process ⁇ 3-2. Notification means determination process> Subsequently, in the projection control process described with reference to FIG. 5, the notification means process shown in step S115 will be specifically described with reference to FIGS. 23 and 24.
- the notification means as shown in FIG. 6 and FIG. 7, there may be a case where a plurality of notification means (image presentation (projection display) and sound) are set in one item.
- the information processing apparatus 10 may determine the notification means to be adopted, for example, by the following first determination processing or second determination processing.
- FIG. 23 is a flowchart showing informing means determination processing according to the user state according to the present embodiment.
- the recognition unit 101 of the information processing apparatus 10 performs human state recognition (step S203) and environment recognition based on sensor data (step S206).
- the attraction control unit 104 of the information processing device 10 determines whether there is a plurality of informing means corresponding to the user attraction content determined in step S112 shown in FIG. 5 (step S209).
- the attraction control unit 104 determines whether the user is looking at the projection location based on the human state recognition result (step S212).
- the attraction control unit 104 employs notification means (display of a projection image) by visual expression or text (step S215).
- the inducement control unit 104 adopts an audio notification means (step S218).
- step S209 / No when the notification means is singular (step S209 / No), the inducement control unit 104 notifies by the set one predetermined means (step S221).
- the attraction control unit 104 may determine whether the notification unit is image display or sound notification according to whether the user is looking at the projection location.
- FIG. 24 is a flowchart showing informing means determination processing according to the environmental sound according to the present embodiment.
- the recognition unit 101 of the information processing apparatus 10 performs human state recognition (step S233) and environment recognition based on sensor data (step S236).
- the attraction control unit 104 of the information processing device 10 determines whether there is a plurality of informing means corresponding to the user attraction content determined in step S112 shown in FIG. 5 (step S239).
- the attraction control unit 104 determines whether the noise level is equal to or higher than a predetermined level based on the environment recognition result (step S242).
- step S242 when the noise level is not equal to or higher than a certain level (step S242 / No), the attraction control unit 104 adopts a notification means by voice (step S245).
- the attraction control unit 104 employs notification means (display of a projection image) by visual expression or text (step S248).
- step S251 when the notification means is singular (step S239 / No), the attraction control unit 104 notifies by the set predetermined one means (step S251).
- the attraction control unit 104 may determine whether the user is in an environment in which the user can recognize voice and determine whether the user is informing means by image display or informing means by voice.
- the projection of an image or word by the projector 12a and the presentation by sound from the speaker 12b are used as a notification means, but may be a notification means for notifying a terminal such as a smartphone possessed by an individual.
- a notification may be performed by combining a device (mounted by a user like a remote controller and used) in which a vibrator for generating a sense of touch is mounted. This also enables notification using tactile information.
- the present embodiment is to attract behavior to secure the visibility of the image to the user.
- the video display by the projector 12a is taken as an example in the present embodiment, the present embodiment is not limited to this, and the present invention can also be applied to the case where content is viewed on a glasses-type device.
- the glasses-type device is a device in which a transmissive display is mounted on glasses, and views AR superimposed content on the real world through the display.
- the same factors as those in the above-described example affect the visibility, such as the environmental illumination, the angle between the user and the AR overlapping place, the shield to the AR overlapping place, and the obstacle on the AR overlapping place. Therefore, the notification of the action attraction to the user according to the present embodiment is similarly applicable to the case of an eyewear device.
- the user action is induced to realize the optimal projection environment for the user, but such video representation in the attraction is also applied as a means to attract the user to the optimum place like car parking. It can. For example, when it is possible to recognize, for example, that it is better to move slightly to the right with respect to the result of parking by the user, a destination may be presented on a monitor in the ground or in the car to attract the user.
- a system assuming a driving projector is constructed, but the system may be constructed with a TV device, a tablet terminal or the like as a display place (projection plane). That is, a display screen in a video output device such as a tablet or a TV apparatus may be detected as an image output area in the same manner as the projection plane.
- information such as the arrangement and orientation of each display device and the screen size is acquired as information on the projection plane.
- a plurality of target users may be provided.
- the first display position may be calculated from the area where the views of the plurality of users overlap.
- a recognition unit that recognizes a projection environment in a space based on sensor data sensing a space in which content is projected;
- An attraction control unit that presents, to the user, attraction information to be changed from the recognized first projection environment state to a second projection environment state whose visibility is improved;
- An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the attraction information is an action that prompts a user to change a human factor or an environmental factor that affects the visibility.
- the human factor is a viewing distance, an attitude, a state, an angle difference with a projection plane, a viewing direction, or a viewing position of the user.
- the environmental factor is a shield around the projection surface, an obstacle on the projection surface, reflection of the projection surface, color of the projection surface, characters or figures, environmental illuminance, or environmental sound, as described in (2).
- Information processing equipment (5) The information processing apparatus according to any one of (2) to (4), wherein the attraction control unit controls the user to notify the user of the attraction information by voice, image, or vibration. (6) The information processing apparatus is The information processing apparatus according to (5), further including an inducement determination unit configured to determine which notification means of voice or image is to be used according to the state of the person or the environmental sound.
- the information processing apparatus is Based on the sensor data, the evaluation value of each element related to the human state and the environment related to the environment is calculated, the priority of the invitation content linked to the element is calculated based on the evaluation value, and the priority is calculated according to the priority
- the information processing apparatus according to any one of (1) to (5), wherein the content of the attraction is determined.
- the attraction control unit moves the projection image from the user's gaze direction to the projection location to change the user's gaze.
- the attraction control unit displays a projection image at a viewing position and prompts an action of moving a user.
- Processor is Recognizing a projection environment in space based on sensor data sensing a space in which content is projected; Presenting the user with trigger information to be changed from the recognized first projection environment state to a second projection environment state having improved visibility;
- Information processing methods including: (15) Computer, A recognition unit that recognizes a projection environment in a space based on sensor data sensing a space in which content is projected; An attraction control unit that presents, to the user, attraction information to be changed from the recognized first projection environment state to a second projection environment state whose visibility is improved; A program to function as.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
投影環境を改善するための行動をユーザに促すことを可能とするための、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部とを備える、情報処理装置であり、また、情報処理方法、プログラムである。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、プロジェクタの小型化が進み、会議室や個人の部屋などに設置して利用するケースが多く見受けられるようになった。また、プロジェクタに関する近年の関連研究では、プロジェクタで投影されたUIをユーザが操作するインタラクティブな活用方法も提案されている。例えば机やテーブル、壁やソファー、さらには人体(腕、手のひら等)等、日常生活におけるあらゆる場所に画像を投影してタッチパネルとしてインタラクティブに用いることが可能である。
このようなプロジェクタの導入に際しては、投影領域の確保と最適化が不可欠であったが、従来は投影領域をユーザが手動で調整する必要があった。
また、投影領域の調整に関し、例えば下記特許文献1では、投射可能な領域を自動判別する投射型表示装置が開示されている。かかる投射型表示装置は、デプスセンサなどのエリアセンサを用いて障害物等を検出し、投影可能な領域を判定することができる。
また、下記特許文献2では、投影領域内の障害物を検出し、投影領域をより広く確保するために排除すべき物体の対象や排除後の投影可能領域をユーザに提示するプロジェクタが開示されている。
ここで、上述した先行特許文献はいずれも投影可能な領域のサイズに関するものであるが、プロジェクタで映像を投影する場合における投影環境の視認性は、投影領域のサイズだけが要因になるものではない。
例えば投影環境の視認性には、環境的要因や人的要因が影響し得るが、空間内の環境に応じてユーザに投影環境改善の行動を促すことは十分に行われていなかった。
そこで、本開示では、投影環境を改善するための行動をユーザに促すことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、投影環境を改善するための行動をユーザに促すことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.情報処理装置10の構成
3.動作処理
3-1.全体の流れ
(3-1-1.誘引内容決定処理)
(評価値の算出)
(優先度の決定)
(報知手段の具体例)
3-2.報知手段決定処理
(3-2-1.ユーザ状態に応じた報知手段決定処理)
(3-2-2.環境音に応じた報知手段決定処理)
4.応用例
5.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.情報処理装置10の構成
3.動作処理
3-1.全体の流れ
(3-1-1.誘引内容決定処理)
(評価値の算出)
(優先度の決定)
(報知手段の具体例)
3-2.報知手段決定処理
(3-2-1.ユーザ状態に応じた報知手段決定処理)
(3-2-2.環境音に応じた報知手段決定処理)
4.応用例
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、情報処理装置10、センサ11、および出力装置12を含む。以下、本実施形態による情報処理システム1に含まれる各装置について説明する。
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、情報処理装置10、センサ11、および出力装置12を含む。以下、本実施形態による情報処理システム1に含まれる各装置について説明する。
(センサ11)
センサ11は、周辺の環境情報を検知し、情報処理装置10に出力する。具体的には、センサ11は、ユーザの位置、姿勢、視線方向、顔の向き、および手指のジェスチャ等の人の状態に関する情報のセンシングと、投影面や障害物、遮蔽物を含む空間内の3次元情報、投影面の粗さや材質、色など投影面の情報、照度環境、および音量等の空間内の環境に関する情報のセンシングを行う。センサ11は、単一若しくは複数であってもよい。また、センサ11は、出力装置12に設けられていてもよい。
センサ11は、周辺の環境情報を検知し、情報処理装置10に出力する。具体的には、センサ11は、ユーザの位置、姿勢、視線方向、顔の向き、および手指のジェスチャ等の人の状態に関する情報のセンシングと、投影面や障害物、遮蔽物を含む空間内の3次元情報、投影面の粗さや材質、色など投影面の情報、照度環境、および音量等の空間内の環境に関する情報のセンシングを行う。センサ11は、単一若しくは複数であってもよい。また、センサ11は、出力装置12に設けられていてもよい。
本実施形態によるセンサ11は、図1に示すように、例えばカメラ11a、距離センサ11b、照度センサ11c、およびマイクロホン11dにより実現され、空間内おける人関連の情報や環境関連の情報を取得する。各センサ11は、室内の天井や壁、テーブル等オブジェクト側に設置されてもよいし、ユーザが身に着けていてもよい。
カメラ11aは、空間内に居る1以上のユーザや投影領域を撮像して撮像画像を取得する。当該カメラ11aは、単一若しくは複数個であってもよい。また、撮像波長は、可視光域に限らず、紫外、赤外を含んでもよいし、特定波長領域に制限してもよい。また、照度のみを測定するセンサであってもよい。
距離センサ11bは、空間内の3次元情報を網羅的に認識可能な3次元画像を取得でき、メカ機構によって駆動可能なデプスセンサにより実現されてもよい。また、距離センサ11bは、赤外光を光源とした方式、超音波を用いた方式、複数台のカメラを用いた方式、および画像処理を用いた方式等が挙げられる。また、距離センサ11bは、単一若しくは複数個であってもよいし、エリア内の距離情報を一括取得してもよい。
照度センサ11cは、空間内の各箇所の照度を取得する。照度センサ11cは、単一若しくは複数個であってもよい。
マイクロホン11dは、周辺の音声(環境音を含む)を集音し、音声データを取得する。
なおセンサ11を実現するカメラ11a、距離センサ11b、照度センサ11c、およびマイクロホン11dは、それぞれ異なる場所に設けられてもよいし、同一の場所に設けられてもよい。
(情報処理装置10)
情報処理装置10は、センサ11から取得した情報を解析し、プロジェクタ12aによる投影を行う投影領域の環境、およびユーザの状態を認識する。その後、情報処理装置10は、最適な投影環境にするためのユーザに促す行動を決定し、プロジェクタ12aやスピーカ12bを介してユーザに報知する。上述したように、プロジェクタ12aで映像を投影する場合における投影環境の視認性は、投影領域のサイズだけが要因になるものではなく、投射後のDPI(dots per inch)、投影面の色や光学的反射特性、投影環境の照度といった環境的要因や、投影場所に対するユーザの位置、姿勢、視線、ユーザ人数といった人的要因が影響する。そこで本実施形態では、映像を投影する際に、投影環境の視認性を改善するための所定の行動をユーザに促すことで、コンテンツを視聴しやすく、また、投影されたUIの操作がし易くなるよう理想的な投影環境を構築する。
情報処理装置10は、センサ11から取得した情報を解析し、プロジェクタ12aによる投影を行う投影領域の環境、およびユーザの状態を認識する。その後、情報処理装置10は、最適な投影環境にするためのユーザに促す行動を決定し、プロジェクタ12aやスピーカ12bを介してユーザに報知する。上述したように、プロジェクタ12aで映像を投影する場合における投影環境の視認性は、投影領域のサイズだけが要因になるものではなく、投射後のDPI(dots per inch)、投影面の色や光学的反射特性、投影環境の照度といった環境的要因や、投影場所に対するユーザの位置、姿勢、視線、ユーザ人数といった人的要因が影響する。そこで本実施形態では、映像を投影する際に、投影環境の視認性を改善するための所定の行動をユーザに促すことで、コンテンツを視聴しやすく、また、投影されたUIの操作がし易くなるよう理想的な投影環境を構築する。
かかる情報処理装置10の具体的な構成については、図2を参照して後述する。
(出力装置12)
出力装置12は、情報処理装置10の制御に従ってユーザに情報提示を行う各種デバイスである。例えば出力装置12は、図1に示すように、プロジェクタ12a(投影表示装置)およびスピーカ12b(音声出力装置)により実現される。なお出力装置12の具体例は図1に図示したものに限定されず、他にも例えば表示部を有する表示装置、照明装置、振動装置、風出力装置、空調装置、各種アクチュエータ等、何らかの情報をユーザに提示し得る装置は全て想定し得る。また、空間内には、複数の出力装置12が存在していてもよい。また、出力装置12は、ユーザが所有するウェアラブルデバイス(HMD(Head Mounted Display)、スマートアイグラス、スマートウォッチ、スマートバンド、スマートネック、ネック型スピーカ、イヤリング型スピーカ、イヤカフ型スピーカ等)により実現されてもよい。
出力装置12は、情報処理装置10の制御に従ってユーザに情報提示を行う各種デバイスである。例えば出力装置12は、図1に示すように、プロジェクタ12a(投影表示装置)およびスピーカ12b(音声出力装置)により実現される。なお出力装置12の具体例は図1に図示したものに限定されず、他にも例えば表示部を有する表示装置、照明装置、振動装置、風出力装置、空調装置、各種アクチュエータ等、何らかの情報をユーザに提示し得る装置は全て想定し得る。また、空間内には、複数の出力装置12が存在していてもよい。また、出力装置12は、ユーザが所有するウェアラブルデバイス(HMD(Head Mounted Display)、スマートアイグラス、スマートウォッチ、スマートバンド、スマートネック、ネック型スピーカ、イヤリング型スピーカ、イヤカフ型スピーカ等)により実現されてもよい。
また、プロジェクタ12aおよびスピーカ12bは、空間内に固定されたものであってもよいし、空間内の任意の場所にどこでも出力できるものであってもよい。本実施形態では、プロジェクタ12aやスピーカ12bを介して、投影環境を改善するための行動をユーザに促す報知を行う。例えばプロジェクタ12aは、2軸で回転方向を制御できる駆動型プロジェクタにより実現される。また、空間内の任意の場所に情報を表示する方法としては、例えば空間内の全周囲にディスプレイ(表示装置)を配置してもよいし、全天周型プロジェクタ等その他のプロジェクタやホログラム映像装置を用いてもよい。また、ユーザが装着しているスマートアイグラスやHMD等を用いてもよい。また、テーブルやソファー等、オブジェクト側に設置された映像表示装置(テレビやタブレット端末など)を用いてもよい。また、スピーカ12bは、指向性スピーカであってもよい。また、スピーカ12bは、プロジェクタ12aと一体化したユニットであってもよいし、室内に配置されてもよいし、スマートフォンや携帯電話など個人端末に設けられたものであってもよい。
以上、本実施形態による情報処理システム1の構成について説明した。情報処理システム1の各装置は、各々別箇所に設置してもよいし、同一箇所に設置してもよい。
また、情報処理システム1の各装置は、各々別体として構成されてもよいし、少なくとも一部の装置が同一体として構成されてもよい。例えば、情報処理装置10は、センサ11や出力装置12と一体化した構成であってもよい。
<<2.情報処理装置10の構成>>
図2は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図2に示すように、情報処理装置10は、制御部100、通信部110、入力部120、および記憶部130を有する。
図2は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図2に示すように、情報処理装置10は、制御部100、通信部110、入力部120、および記憶部130を有する。
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部100は、認識部101、投影領域決定部102、行動誘引決定部103、誘引制御部104、および投影制御部105としても機能する。
認識部101は、センサ11から送信された各種センサデータに基づいて、投影場所の環境およびユーザの状態を認識する。例えば環境認識処理では、「投影面」、「遮蔽物」、「障害物」、「環境照度」、「環境音(騒音)」等の認識を行う。
「投影面」に関しては、認識部101は、距離センサ11b(デプスセンサ)から取得したデプスデータに基づいて室内の3次元形状を認識し(空間認識)、認識結果から投影面の候補となる投影領域として、平面領域をいくつか算出する。ここで、図3に、空間内における平面領域の検出例を示す。図3に示すように、空間S内において、壁やテーブルの上、ソファーの肘掛等、デプスデータに基づいていくつかの投影面P1~P7が算出される。なお認識部101は、「投影面」の認識において、カメラ11aにより取得されたカラー画像に基づいて、投影面の反射率や平面上のテクスチャ(色や文字など)を認識することも可能である。
「遮蔽物」に関しては、認識部101は、上述したように「投影面」を算出した後に、投影面の手前に配置された物をデプスセンサで認識する(物体認識)。例えば、投影したい場所の付近に他のユーザが立っている場合や、家具が配置されたため投影可能な領域が減少した場合等が想定される。かかる遮蔽物の大きさはプロジェクタ12aで投影可能な領域に影響するため、後述する行動誘因の内容決定においては、遮蔽物の大きさによって誘引行動の優先度を決定する。
「障害物」に関しては、認識部101は、平面上に配置された物体をデプスセンサで認識する。例えばテーブル上に置かれたカップやリモートコントーラ等が想定される。
「環境照度」に関しては、認識部101は、照度センサ11cにより取得された照度データに基づいて、投影場所周辺の照度を計測する。投影面の照度を、プロジェクタ12aの投影照度と比較することで、映像の視認性の指標を算出することが可能である。
また、人状態認識処理では、認識部101は、デプスデータやカラーの撮像画像に基づいて、空間内に存在するユーザの位置や、姿勢、および視線方向等を検出する。ここで、図4に、人状態認識の一例を示す。図4に示すように、例えばユーザの視線方向(視界ベクトル)や位置を3次元座標位置(x,y,z)で取得してもよい。また、姿勢としては、「立っている」、「座っている」、「横たわっている」等のユーザ状態が認識される。
投影領域決定部102は、認識部101で認識した投影面の候補(平面領域)から、適切な投影場所を決定する。例えば、投影領域決定部102は、投影面の情報(投影サイズ、DPI値)、人の情報(位置、姿勢、視線方向)、および投影するコンテンツ情報(コンテンツサイズ、メタデータ(動画、画像、Webサイト、テキスト、GUIなど))に基づいて、適切な投影場所を決定する。より具体的には、投影領域決定部102は、例えばGUI((Graphical User Interface)をユーザに入力させ、かつ広い画面で表示したい場合、図3に示す各投影面P1~P7のうち、ユーザの近くにあって広めの領域である投影面P3(ダイニングテーブル)に投影場所を決定する。
行動誘引決定部103は、投影領域決定部102により決定した投影場所における投影環境(視聴、操作環境)を改善するためのユーザへの行動誘引の内容を決定する。すなわち、本実施形態では、認識部101により認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することが可能である。
行動誘引決定処理の詳細については図6および図7を参照して後述するが、例えば行動誘引決定部103は、認識された環境や人状態に基づいて要素毎に評価値を算出し、算出した評価値に基づいて各誘引内容の優先度を決定する。「要素」とは、例えばユーザの視聴距離、投影面の角度差、投影面までの遮蔽物、投影面上の障害物、投影面の反射、投影面の色や文字、図表、環境照度等が挙げられる。
誘引制御部104は、投影環境を改善する行動をユーザに促す通知(報知)を行うよう制御する。行動誘引の報知は、メッセージを表示してもよいし、音声により提示してもよい。また、複数の誘引行動がある場合は、順次誘引行動の内容をユーザに報知してもよい。また、誘引制御部104は、誘引行動の優先度が高い場合は、ユーザが視認、認識し易いよう明示的に誘引内容を提示し、低い場合は、音声による提示や文言を視線方向に提示する程度としてもよい。
投影制御部105は、決定した投影場所に所定のコンテンツ(映像等)を投影するよう制御する。投影制御部105は、誘引制御部104による報知が全て終了した後に投影するようにしてもよい。また、投影制御部105は、投影時に映像の幾何補正や色補正、投影領域を再度算出して投影するようにしてもよい。行動誘引の報知により環境が変化している場合もあるため、リアルタイムでより現状の環境に即した投影を行うためである。
(通信部110)
通信部110は、有線または無線により外部装置と直接若しくはネットワークを介してデータの送受信を行う。例えば通信部110は、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信等を用いてセンサ11や出力装置12と通信接続する。
通信部110は、有線または無線により外部装置と直接若しくはネットワークを介してデータの送受信を行う。例えば通信部110は、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信等を用いてセンサ11や出力装置12と通信接続する。
(入力部120)
入力部120は、情報処理装置10への入力情報を受け付ける。例えば入力部120は、ユーザによる操作指示を受け付ける操作入力部であってもよい。操作入力部は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。また、入力部120は、音声入力部(マイクロホン)であってもよい。
入力部120は、情報処理装置10への入力情報を受け付ける。例えば入力部120は、ユーザによる操作指示を受け付ける操作入力部であってもよい。操作入力部は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。また、入力部120は、音声入力部(マイクロホン)であってもよい。
(記憶部140)
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
記憶部140には、例えばコンテンツ(映像等)が記憶される。なおコンテンツは、通信部110を介して外部装置から送信されてもよい。
以上、本実施形態による情報処理装置10の構成について具体的に説明した。なお、本実施形態による情報処理装置10の構成は図2に示す例に限定されず、例えばさらに出力部を有していてもよい。出力部は、例えば表示部または音声出力部(マイクロホン)により実現されていてもよい。表示部は、操作画面やメニュー画面等を出力し、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL((Electro Luminescence)ディスプレイなどの表示装置であってもよい。
また、情報処理装置10が複数の装置により構成されていてもよい。また、情報処理装置10は、クライアント装置(スマートフォン、タブレット端末、PC(Personal Computer)、等)により実現されてもよいし、ネットワーク上のサーバにより実現されてもよい。
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
<3-1.全体の流れ>
まず、図5を参照して本実施形態による投影制御処理について説明する。図5は、本実施形態による投影制御処理を示すフローチャートである。
まず、図5を参照して本実施形態による投影制御処理について説明する。図5は、本実施形態による投影制御処理を示すフローチャートである。
図5に示すように、まず、情報処理装置10の認識部101は、センサ11から取得した各種センサデータ(撮像画像、デプスデータ、照度情報、音声データ等)に基づいて、空間内における人状態の認識(ステップS103)および環境認識を行う(ステップS106)。
次に、投影領域決定部102は、プロジェクタ12aによりコンテンツを投影する投影領域の場所を決定する(ステップS109)。具体的には、投影領域決定部102は、環境認識において抽出した空間内の1以上の平面領域のうち、投影面の情報(投影サイズ、DPI値)、人の状態情報(位置、姿勢、視線方向)、および投影するコンテンツ情報(コンテンツサイズ、メタデータ(動画、画像、Webサイト、テキスト、GUI))等に基づいて、適切な投影場所を決定する。
次いで、行動誘引決定部103は、ユーザを誘引する行動誘引の内容を決定する(ステップS112)。詳細は後述するが、例えば行動誘引決定部103は、人状態の認識結果および環境認識結果に基づく各要素の評価値を算出し、評価値に基づいて各行動誘引を行うべきか否かの優先度を決定する。
次に、誘引制御部104は、投影環境を改善する行動をユーザに促す通知(報知)の報知手段決定し(ステップS115)、決定した手段で通知(報知)を行う(ステップS118)。報知手段の決定処理の詳細は後述するが、誘引制御部104は、例えば上記ステップS112により決定された、人や環境の要素毎の評価値に基づく各行動誘引の優先度に応じて報知手段を決定し得る。
続いて、ユーザへの報知を実行した後、認識部101は、再度、人状態の認識(ステップS121)および環境認識を行う(ステップS124)。
次いで、投影環境が変化しなかった場合(ユーザが報知内容を実行しなかったことが推定される)は(ステップS127/No)、ユーザにその旨をフィードバックする(ステップS130)。具体的には、環境が変化していない旨を通知したり、再度行動誘引の報知を行ってもよい。
次に、他に誘引する内容がある場合は(ステップS133/Yes)、上記ステップS115に戻り、次の誘引内容をユーザに報知する。
次いで、全ての報知が終了すると(ステップS133/No)、制御部100は、投影領域決定部102により投影領域を再度決定し(ステップS136)、投影制御部105により映像投影の制御を行う(ステップS139)。環境が変化していることも想定されるため、制御部100は、投影領域決定部102によりリアルタイムのセンサデータに基づいて再度投影領域を算出、決定する。また、投影制御部105は、必要に応じて投影する映像に対してセンサデータに基づいて幾何補正や色補正を行うようにしてもよい。
以上、本実施形態による投影制御処理について説明した。続いて、上記ステップS112における「誘引内容決定処理」について詳細に説明する。
(3-1-1.誘引内容決定処理)
本実施形態による行動誘引決定部103は、人状態認識および環境認識から各要素の評価値を算出し、評価値に基づいて各誘引行動について誘引するべきか否かの優先度を決定する。ここで、図6および図7に、要素毎の誘引内容と、誘引内容の優先度判定および報知手段の一例を示す。図6は、人状態認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。また、図7は、環境認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。
本実施形態による行動誘引決定部103は、人状態認識および環境認識から各要素の評価値を算出し、評価値に基づいて各誘引行動について誘引するべきか否かの優先度を決定する。ここで、図6および図7に、要素毎の誘引内容と、誘引内容の優先度判定および報知手段の一例を示す。図6は、人状態認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。また、図7は、環境認識に基づく各要素に対応する誘引内容の優先度判定および報知手段の一例を示す。
(評価値の算出)
行動誘引決定部103は、図6および図7に示すような要素毎に評価値を算出する。まず、図6に示すように、大カテゴリ「人情報」では、投影面に対する、人の位置、姿勢、視線方向といった人認識処理結果に基づいて、「視聴距離(Dist)」、「人の視聴向きに対する投影面法線との角度(Watch Angle)」、および「人の向きから投影場所までの角度(Screen Angle)」を、要素の評価値として算出する。ここで、図8に、人と投影面に関する評価軸の説明図を示す。図8では、図8上段の左に、一例として投影面P1とユーザとの距離(視聴距離)の説明図、図8上段の右に、投影面P1に対するユーザの視聴向き(視線方向)と投影面法線との角度の説明図、図8下段に、人の向きから投影場所(例えば投影面P3)との角度の説明図を示す。
行動誘引決定部103は、図6および図7に示すような要素毎に評価値を算出する。まず、図6に示すように、大カテゴリ「人情報」では、投影面に対する、人の位置、姿勢、視線方向といった人認識処理結果に基づいて、「視聴距離(Dist)」、「人の視聴向きに対する投影面法線との角度(Watch Angle)」、および「人の向きから投影場所までの角度(Screen Angle)」を、要素の評価値として算出する。ここで、図8に、人と投影面に関する評価軸の説明図を示す。図8では、図8上段の左に、一例として投影面P1とユーザとの距離(視聴距離)の説明図、図8上段の右に、投影面P1に対するユーザの視聴向き(視線方向)と投影面法線との角度の説明図、図8下段に、人の向きから投影場所(例えば投影面P3)との角度の説明図を示す。
次に、図7に示すように、大カテゴリ「環境情報」では、投影面に対する情報と、環境照度に関する情報に分けられる。投影面に対する情報では、センサデータに基づいて認識された遮蔽物、障害物、投影面の反射率、投影面の色や文字等に関し、「遮蔽物による投影領域の減少量(Occlusion)」、「障害物による投影領域の減少量(Obstacle)」、「投影面のプロジェクタ光の反射率(Reflectance)」、「投影面のテクスチャ(色や文字)による投影領域の減少量(Letter Color)」を、要素の評価値と算出する。
「遮蔽物による投影領域の減少量」は、例えば壁面に検出された投影面の手前にスタンドライト等の遮蔽物が配置されている場合に投影領域が減少するため、これを評価値と算出する。また、「障害物による投影領域の減少量」は、例えばテーブルにコップやリモートコントローラ等の障害物が置いてある場合に投影領域が減少するため、これを評価値として算出する。また、「投影面のプロジェクタ光の反射率」は、投影面の材質によってプロジェクタ光の反射率が異なるため、これを評価値として算出する。また、「投影面のテクスチャによる投影領域の減少量」は、投影面がホワイトボードや掲示版である場合、文字やイラスト等が描かれている部分は投影不適切エリアのため投影領域が減少するので、これを評価値として算出する。
また、環境照度に関する情報では、投影面におけるプロジェクタ投影照度と投影面周辺の環境照度との比率を環境照度(Environmental Light)として評価値を算出する。環境照度の評価値は、以下のように定義する。
Environmental Light=(プロジェクタの投影照度)/(投影面の環境照度)
Environmental Light=(プロジェクタの投影照度)/(投影面の環境照度)
(優先度の決定)
続いて、行動誘引決定部103による各要素の誘引内容の優先度の決定について説明する。例えば図6に示すように、「視聴距離」に対しては、『投影位置に対して最適な視聴位置へ移動させる』という誘引内容が対応付けられ、「投影面の角度」に対しては『投影面から垂直方向の位置へ誘導させる』という誘引内容が対応付けられている。行動誘引決定部103は、要素の評価値に基づいて、このような各誘引内容の優先度を決定する。優先度の判定には、例えば下記の2種類の判定式を適用してもよい。なお図6および図7で例示した要素以外であっても、下記判定式に適用して追加することも可能である。
続いて、行動誘引決定部103による各要素の誘引内容の優先度の決定について説明する。例えば図6に示すように、「視聴距離」に対しては、『投影位置に対して最適な視聴位置へ移動させる』という誘引内容が対応付けられ、「投影面の角度」に対しては『投影面から垂直方向の位置へ誘導させる』という誘引内容が対応付けられている。行動誘引決定部103は、要素の評価値に基づいて、このような各誘引内容の優先度を決定する。優先度の判定には、例えば下記の2種類の判定式を適用してもよい。なお図6および図7で例示した要素以外であっても、下記判定式に適用して追加することも可能である。
・両端に閾値が存在する場合
両端に閾値が存在する評価値の場合、下記式1aおよび式1bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold LowおよびPriority High_Threshold Highは、優先度「高」と判定する際の閾値である。また、Priority Low_Threshold LowおよびPriority Low_Threshold Highは、優先度「低」と判定する閾値である。下記式1aが成り立つ場合は優先度「高」、下記式1bが成り立つ場合は優先度「低」となる。なお下記式1aおよび下記式1bの両方が成り立つ場合は、優先度「高」の判定である式1aを適用するようにしてもよい。
両端に閾値が存在する評価値の場合、下記式1aおよび式1bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold LowおよびPriority High_Threshold Highは、優先度「高」と判定する際の閾値である。また、Priority Low_Threshold LowおよびPriority Low_Threshold Highは、優先度「低」と判定する閾値である。下記式1aが成り立つ場合は優先度「高」、下記式1bが成り立つ場合は優先度「低」となる。なお下記式1aおよび下記式1bの両方が成り立つ場合は、優先度「高」の判定である式1aを適用するようにしてもよい。
Priority High_Threshold Low < value
または
value <Priority High_Threshold High
…式1a
または
value <Priority High_Threshold High
…式1a
Priority Low_Threshold Low < value
または
value < Priority Low_Threshold High
…式1b
または
value < Priority Low_Threshold High
…式1b
上記判定式1aおよび式1bは、上述したDist、Watch Angle、Screen Angle、Reflectanceの要素に適用し得る。Distでは、遠すぎる場合も近すぎる場合も視聴に適さない場合がある。Watch AngleおよびScreen Angleについては角度が正の方向にも負の方向にも角度が大きすぎると視認性が低下する。また、Reflectanceは反射率が低いコンクリートのような素材や逆に反射率が高すぎる金属素材の投影面は適していない。以上のような理由から、上記要素に式1aおよび式1bを適用する。
・評価値が低いまたは高いほど良い場合
評価値が低いほど良い場合、下記式2aおよび式2bにより優先度が決定される。また、評価値が高いほど良い場合、下記式3aおよび式3bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold、Priority Low_Thresholdは優先度「高」、優先度「低」の判定に用いる閾値である。また、判定式が成り立つ場合はその優先度を適用する。なお、式2a、式2bの両方が成り立つ場合は、優先度「高」の判定である式2aを適用する。式3a、式3bも同様に適用する。
評価値が低いほど良い場合、下記式2aおよび式2bにより優先度が決定される。また、評価値が高いほど良い場合、下記式3aおよび式3bにより優先度が決定される。下記式において、valueは要素の評価値、Priority High_Threshold、Priority Low_Thresholdは優先度「高」、優先度「低」の判定に用いる閾値である。また、判定式が成り立つ場合はその優先度を適用する。なお、式2a、式2bの両方が成り立つ場合は、優先度「高」の判定である式2aを適用する。式3a、式3bも同様に適用する。
Priority High_Threshold < value …式2a
Priority Low_Threshold < value …式2b
Priority High_Threshold > value …式3a
Priority Low_Threshold > value …式3b
Priority Low_Threshold < value …式2b
Priority High_Threshold > value …式3a
Priority Low_Threshold > value …式3b
上記判定式2a、式2b、式3a、式3bは、上述した、Occlusion、Obstacle、Letter Color、Environmental Lightの評価値の優先度判定に適用し得る。例えばOcclusion、Obstacle、Letter Colorは評価値が低いほど投影範囲を多くカバーできるため、式2a、式2bを適用する。また、Environmental Lightは値が大きいほど投影環境に適しているため、式3a、式3bを適用する。
なお、本実施形態では、図6および図7に示すように、要素毎に誘引内容を対応付けているが、複数の要素を組み合わせたものに誘引内容を対応付け、優先度を判定してもよい。例えば、視聴距離と投影面の角度差は相関のある要素であるため、2つの評価値を加味して対応する誘引内容の優先度を判定してもよい。
(報知手段の具体例)
次に、図6および図7に挙げた誘引手段の具体例について、図9~図22を参照して説明する。本実施形態では、誘引の優先度が高い場合は、ユーザが視認、認識しやすいよう明示的に誘引内容を提示し、低い場合は、音声による提示や文言としてユーザの視線方向に通知する程度とするようにしてもよい。
次に、図6および図7に挙げた誘引手段の具体例について、図9~図22を参照して説明する。本実施形態では、誘引の優先度が高い場合は、ユーザが視認、認識しやすいよう明示的に誘引内容を提示し、低い場合は、音声による提示や文言としてユーザの視線方向に通知する程度とするようにしてもよい。
図9および図10は、ユーザの視線方向から投影場所へ投影画像を移動させてユーザ行動を誘引する手段について説明する図である。例えば図9に示すように、ユーザの視線方向Vから離れた場所(例えば視界の外、投影面P4)に映像を投影する場合、情報処理装置10は、プロジェクタ12aにより、ユーザの視線方向の先にスポットライトのような投影画像200を表示し、そこから投影場所(ソファーのひじ掛け部分の投影面P4)にスポットライトの投影画像を移動させる(投影画像201、202、203)。これにより、明示的にどこが投影場所であるかをユーザに提示することができ、ユーザに投影場所に振り向かせ(行動誘引)、人要因の環境改善を行うことができる。なお誘引に用いる投影画像は図9に示すスポットライトに限定されず、例えば図10に示すような矢印画像210~214であってもよい。
図11は、投影位置および理想的な視聴位置に投影画像を表示してユーザ行動を誘引する手段について説明する図である。図11に示す例では、例えばユーザの視線方向Vから外れているテーブルの上を投影場所としている場合に(投影面P5)、テーブル上や、テーブル付近における理想的な視聴位置である椅子の上に、スポットライトのような投影画像220を表示している。また、図9および図10で挙げたように、現在のユーザの視線方向から、理想的な視聴位置(ここでは、テーブル付近の椅子の上)にスポットライトのような投影画像を移動させてもよい。また、図12に示すように、ユーザの足元から視聴位置まで足跡のような投影画像230を表示してもよい。
これにより、明示的にどこが投影場所であるか、また、どこで視聴するのがよいかをユーザに提示することができ、ユーザを視聴位置に移動させ(行動誘引)、人要因の環境改善を行うことができる。なお誘引に用いる投影画像は図11や図12に示す例に限定されず、例えば図13に示すような投影画像240A~240Cであってもよい。すなわち、投影画像240Aのような流星のような尾を引く表現、投影画像240Bのような三角形状の表現、投影画像240Cのような示す方向に色や明るさ、透明度、太さ等を変化させる表現であってもよい。
図14および図15は、遮蔽物を除外させる投影画像を表示してユーザ行動を誘引する手段について説明する図である。例えば投影面の前面に存在する遮蔽物が認識された場合、情報処理装置10は、除外させたい遮蔽物をユーザに強調若しくは認識させる投影画像を表示する。具体的には、例えば図14左側に示すように、投影面P8の前面に存在する遮蔽物20にスポットライトのような投影画像250を表示する。また、図14右側に示すように、荷物を運ぶ人のアイコン画像251を遮蔽物20に投影してユーザに移動させるよう促すことも可能である。また、図15に示すように、投影面P8に塗りつぶし矩形画像252を投影し、遮蔽物20の存在をユーザに知らせてもよい。
また、図16に示すように、室内の俯瞰画像30をユーザの視線方向等に投影し、プロジェクタ位置32、プロジェクタ投影方向、および遮蔽物位置31をユーザに通知してもよい。
図17は、ユーザ自身が遮蔽対象となっている場合における行動誘引手段の一例を示す。図17に示すように、例えば投影面P3に塗りつぶし矩形画像をプロジェクタ12aから投影することで、ユーザの影260ができるため、自身が遮蔽対象になっていることをユーザに通知することができる。
このように、遮蔽物を明示的にユーザに示すことで、遮蔽物をユーザに移動させ(行動誘引)、環境要因の環境改善を行うことができる。
次に、テーブルの上等に置かれた障害物を除外させる手段の一例について図18~図19を参照して説明する。例えばテーブルの上が投影領域である場合に(図3の投影面P3、P5参照)、投影面上に存在する障害物を除外させるためにテーブル上に所定の投影画像を表示する
例えば図18上段に示すように、テーブル15上において投影可能な領域から障害物の存在する方向へ矢印画像270や波のようなアニメーション画像271を投影することで、除外させたい障害物や障害物の移動、どの方向に領域を広げれば良いかをユーザに知らせることができる。
また、図18下段の左側に示すように、障害物16a、16bの形状に合わせた塗りつぶし画像272a、272bを障害物16a、16bに重畳表示し、明示的に除外してほしい障害物をユーザに提示することが可能である。なお塗りつぶし画像272a、272bを点滅させて表示させてもよい。また、図18下段の右側に示すように、障害物16a、16bに重畳表示する画像の色を効果の大きさに応じて変えてもよい。例えば効果の大きい障害物(除外した際に投影領域が大きく広がる障害物)に所定の色を投影する。また、色の違いの他、透過度、点滅速度を変えることで効果の大きさの違いを表現してもよい。また、効果の大きさを表現の例はこれに限定されず他の表現方法であってもよい。ここで、図20に、効果の大きさの表現例を示す。図20に示すように、色で効果の大きさを表現する色画像280A、アニメーションで効果の大きさを表現するアニメーション画像280B、アイコンで効果の大きさを表現するアイコン画像280Cが挙げられる。
また、図19上段左側に示すように、障害物が振動するような強調表現274a、274bを行ってもよいし、図19上段右側に示すように、障害物に矢印とテキストで明示的に提示する誘引画像275を表示してもよい。
また、図19下段左側に示すように、障害物をどこまで移動すれば良いかを提示する移動軌跡画像276a、276bを示してもよい。移動軌跡画像276a、276bは、障害物の移動先を破線で表示している。また、図19下段右側に示すように、障害物の移動先までをアニメーション画像277a、277bで表示し、ユーザに移動先を提示してもよい。
このように、除外対象である障害物の存在や、移動させるべき方向等を明示的にユーザに示すことで、障害物をユーザに移動させ(行動誘引)、環境要因の環境改善を行うことができる。
また、文字が書かれたホワイトボードなど、投影面としては平面ではあるものの投影面上にテクスチャ(文字、イラスト等)が多い場合も想定される。この場合、例えば図21に示すように、ホワイトボード17等の投影面P9上のテクスチャ部分に塗りつぶし画像290を投影し、ホワイトボードに書かれた文字をユーザに消してもらうよう誘引することが可能である。
また、ユーザの視線方向に誘引文言を提示する手段も考え得る。例えば優先度が低い誘引内容の場合、明示的ではなくユーザに文言を提示することで伝える程度にしてもよい。図22は、ユーザに誘引内容を文言で報知する場合について説明する図である。図22に示すように、例えば投影面P1の環境照度が明るい場合、ユーザに「環境照度が高すぎます。部屋を少し暗くしてください。」といった文言を示す通知画像300をユーザの視線方向に投影してもよい。
また、行動誘引手段には、上述したように投影画像の表示の他、音声による提示も考え得る。例えば、環境照度のカテゴリで優先度「高」と判定され、環境光を下げさせたい場合、「周囲が明るすぎます。蛍光灯やカーテンを閉めてください。」といった音声をスピーカ12bから出力してもよい。また、投影面上の障害物を除外して欲しい場合には、「テーブル上を片づけてください。」といった音声をスピーカ12bから出力してもよい。また、投影領域が確保できない場合には、「投影可能な場所がありません。平らな面を用意してください。」といった音声をスピーカ12bから出力してもよい。平らな面の用意は特に限定しないが、例えばキッチンの場合はまな板が想定される。また、ユーザを投影場所に振り向かせたい場合には、「左下にUIを表示します」といった音声をスピーカ12bから出力してもよい。
なおこれらの音声提示は、図9~図20を参照して説明したような投影画像による誘引と共に行ってもよい。
<3-2.報知手段決定処理>
続いて、図5を参照して説明した投影制御処理のうち、ステップS115に示す報知手段処理について、図23および図24を参照して具体的に説明する。報知手段は、図6および図7に示したように、1つの項目において複数の報知手段(画像提示(投影表示)と音声)が設定されている場合がある。情報処理装置10は、例えば下記第1の決定処理または第2の決定処理により、採用する報知手段を決定してもよい。
続いて、図5を参照して説明した投影制御処理のうち、ステップS115に示す報知手段処理について、図23および図24を参照して具体的に説明する。報知手段は、図6および図7に示したように、1つの項目において複数の報知手段(画像提示(投影表示)と音声)が設定されている場合がある。情報処理装置10は、例えば下記第1の決定処理または第2の決定処理により、採用する報知手段を決定してもよい。
(3-2-1.ユーザ状態に応じた報知手段決定処理)
図23は、本実施形態によるユーザ状態に応じた報知手段決定処理について示すフローチャートである。図23に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS203)および環境認識を行う(ステップS206)。
図23は、本実施形態によるユーザ状態に応じた報知手段決定処理について示すフローチャートである。図23に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS203)および環境認識を行う(ステップS206)。
次に、情報処理装置10の誘引制御部104は、図5に示すステップS112で決定されたユーザ誘引内容に対応する報知手段が複数あるか否かを判断する(ステップS209)。
次いで、報知手段が複数ある場合(ステップS209/Yes)、誘引制御部104は、人状態認識結果に基づいて、投影場所をユーザが見ているか否かを判断する(ステップS212)。
次に、投影場所をユーザが見ている場合(ステップS212/Yes)、誘引制御部104は、ビジュアル表現やテキストによる報知手段(投影画像の表示)を採用する(ステップS215)。
一方、投影場所をユーザが見ていない場合(ステップS212/No)、誘引制御部104は、音声による報知手段を採用する(ステップS218)。
また、報知手段が単数の場合は(ステップS209/No)、誘引制御部104は、設定された1の所定の手段で報知する(ステップS221)。
このように、誘引制御部104は、ユーザが投影場所を見ているか否かに応じて、画像表示による報知手段か音声による報知手段であるかを決定するようにしてもよい。
(3-2-2.環境音に応じた報知手段決定処理)
図24は、本実施形態による環境音に応じた報知手段決定処理について示すフローチャートである。図24に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS233)および環境認識を行う(ステップS236)。
図24は、本実施形態による環境音に応じた報知手段決定処理について示すフローチャートである。図24に示すように、まず、情報処理装置10の認識部101は、センサデータに基づいて人状態認識(ステップS233)および環境認識を行う(ステップS236)。
次に、情報処理装置10の誘引制御部104は、図5に示すステップS112で決定されたユーザ誘引内容に対応する報知手段が複数あるか否かを判断する(ステップS239)。
次いで、報知手段が複数ある場合(ステップS239/Yes)、誘引制御部104は、環境認識結果に基づいて、騒音レベルが一定以上であるか否かを判断する(ステップS242)。
次に、騒音レベルが一定以上ではない場合(ステップS242/No)、誘引制御部104は、音声による報知手段を採用する(ステップS245)。
一方、騒音レベルが一定以上である場合(ステップS245/Yes)、誘引制御部104は、ビジュアル表現やテキストによる報知手段(投影画像の表示)を採用する(ステップS248)。
また、報知手段が単数の場合は(ステップS239/No)、誘引制御部104は、設定された1の所定の手段で報知する(ステップS251)。
このように、誘引制御部104は、ユーザが音声を認識できる環境かどうかを判断して画像表示による報知手段か音声による報知手段であるかを決定するようにしてもよい。
<<4.応用例>>
<4-1.報知手段について>
本実施形態では、プロジェクタ12aによる画像や文言の投影、スピーカ12bからの音声による提示を報知手段としているが、例えば、個人が持つスマートフォンなどの端末へ通知するといった報知手段でもよい。また、触覚を発生させる振動子が搭載されたデバイス(リモートコントローラのようにユーザが把持されて用いられる)も組み合わせて報知を行ってもよい。これにより、触覚情報を用いた報知も可能となる。
<4-1.報知手段について>
本実施形態では、プロジェクタ12aによる画像や文言の投影、スピーカ12bからの音声による提示を報知手段としているが、例えば、個人が持つスマートフォンなどの端末へ通知するといった報知手段でもよい。また、触覚を発生させる振動子が搭載されたデバイス(リモートコントローラのようにユーザが把持されて用いられる)も組み合わせて報知を行ってもよい。これにより、触覚情報を用いた報知も可能となる。
<4-2.アイウェアデバイス>
本実施形態は、ユーザに映像の視認性を担保するために行動誘引するものである。本実施形態では、プロジェクタ12aによる映像表示を一例にしたが、本実施形態はこれに限定されず、メガネ型デバイスでコンテンツを視聴する場合にも適用可能である。メガネ型デバイスは、透過型ディスプレイをメガネに搭載したデバイスであって、ディスプレイを介して、実世界上にAR重畳されたコンテンツを視聴する。この場合、環境照度やユーザとAR重畳する場所との角度、AR重畳場所までの遮蔽物やAR重畳場所上の障害物など、上述した例と同じ要因が視認性に影響する。そのため、本実施形態によるユーザへの行動誘引の報知は、アイウェアデバイスの場合にも同様に適用可能である。
本実施形態は、ユーザに映像の視認性を担保するために行動誘引するものである。本実施形態では、プロジェクタ12aによる映像表示を一例にしたが、本実施形態はこれに限定されず、メガネ型デバイスでコンテンツを視聴する場合にも適用可能である。メガネ型デバイスは、透過型ディスプレイをメガネに搭載したデバイスであって、ディスプレイを介して、実世界上にAR重畳されたコンテンツを視聴する。この場合、環境照度やユーザとAR重畳する場所との角度、AR重畳場所までの遮蔽物やAR重畳場所上の障害物など、上述した例と同じ要因が視認性に影響する。そのため、本実施形態によるユーザへの行動誘引の報知は、アイウェアデバイスの場合にも同様に適用可能である。
<4-3.駐車ユースケースへの応用>
本実施形態では、ユーザに最適な投影環境を実現するためにユーザ行動を誘引するが、このような誘引における映像表現は、車の駐車のようにユーザを最適な場所へ誘引する手段としても応用し得る。例えば、ユーザの駐車した結果に対して、「もう少し右に寄ったほうが良い」などが認識できた場合、地面若しくは車内のモニターに移動先を提示して誘引してもよい。
本実施形態では、ユーザに最適な投影環境を実現するためにユーザ行動を誘引するが、このような誘引における映像表現は、車の駐車のようにユーザを最適な場所へ誘引する手段としても応用し得る。例えば、ユーザの駐車した結果に対して、「もう少し右に寄ったほうが良い」などが認識できた場合、地面若しくは車内のモニターに移動先を提示して誘引してもよい。
<4-4.表示デバイスの連携>
本実施形態では、駆動プロジェクタを想定したシステムを構築したが、TV装置やタブレット端末などを表示場所(投影面)としてシステムを構築してもよい。すなわち、タブレットやTV装置等の映像出力装置における表示画面を、画像出力領域として投影面と同様に検出してもよい。この場合、本システムでは、各表示デバイスの配置や姿勢、画面サイズ等の情報を投影面に関する情報として取得する。
本実施形態では、駆動プロジェクタを想定したシステムを構築したが、TV装置やタブレット端末などを表示場所(投影面)としてシステムを構築してもよい。すなわち、タブレットやTV装置等の映像出力装置における表示画面を、画像出力領域として投影面と同様に検出してもよい。この場合、本システムでは、各表示デバイスの配置や姿勢、画面サイズ等の情報を投影面に関する情報として取得する。
<4-5.複数人の場合>
本システムは、対象となるユーザが複数人であってもよい。例えば、ユーザの視線方向に文言を提示する場合、複数人の視線方向から視界が重なる領域を算出し、そこに文言を提示するようにしてもよい。また、スポットライトの投影画像を移動させる表現においても、最初の表示位置を上述した複数ユーザの視界が重なる領域から算出するようにしてもよい。
本システムは、対象となるユーザが複数人であってもよい。例えば、ユーザの視線方向に文言を提示する場合、複数人の視線方向から視界が重なる領域を算出し、そこに文言を提示するようにしてもよい。また、スポットライトの投影画像を移動させる表現においても、最初の表示位置を上述した複数ユーザの視界が重なる領域から算出するようにしてもよい。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、投影環境を改善するための行動をユーザに促すことが可能となる。
上述したように、本開示の実施形態による情報処理システムでは、投影環境を改善するための行動をユーザに促すことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置10、センサ11、または出力装置12に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置10、センサ11、または出力装置12の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
を備える、情報処理装置。
(2)
前記誘引情報は、前記視認性に影響を与える人的要因または環境的要因を変化させるためにユーザに促す行動である、前記(1)に記載の情報処理装置。
(3)
前記人的要因は、ユーザの視聴距離、姿勢、状態、投影面との角度差、視線方向、またはユーザの視聴位置である、前記(2)に記載の情報処理装置。
(4)
前記環境的要因は、投影面周辺の遮蔽物、投影面上の障害物、投影面の反射、投影面の色、文字、若しくは図表、環境照度、または環境音である、前記(2)に記載の情報処理装置。
(5)
前記誘引制御部は、音声、画像、または振動により、前記誘引情報をユーザに報知するよう制御する、前記(2)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記情報処理装置は、
人の状態または環境音に応じて、音声または画像のいずれの報知手段を用いるかを決定する誘引決定部をさらに備える、前記(5)に記載の情報処理装置。
(7)
前記情報処理装置は、
前記センサデータに基づいて、人状態に関する要素および環境に関する各要素の評価値を算出し、前記要素に紐付けられた誘引内容の優先度を前記評価値に基づいて算出し、当該優先度に応じて誘引内容を決定する、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(8)
前記誘引制御部は、ユーザの視線方向から投影場所まで投影画像を移動させてユーザの視線を変化させる、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記誘引制御部は、視聴位置に投影画像を表示してユーザを移動させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(10)
前記誘引制御部は、遮蔽物を投影画像により明示してユーザに当該遮蔽物を除外させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(11)
前記誘引制御部は、投影面上の障害物を投影画像により明示してユーザに当該障害物を除外させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(12)
前記誘引制御部は、投影面上のテクスチャに投影画像を重畳表示してユーザに当該テクスチャを消去させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(13)
前記誘引制御部は、ユーザの視線方向上に誘引文言を表示するよう制御する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(14)
プロセッサが、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、
を含む、情報処理方法。
(15)
コンピュータを、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
として機能させるための、プログラム。
(1)
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
を備える、情報処理装置。
(2)
前記誘引情報は、前記視認性に影響を与える人的要因または環境的要因を変化させるためにユーザに促す行動である、前記(1)に記載の情報処理装置。
(3)
前記人的要因は、ユーザの視聴距離、姿勢、状態、投影面との角度差、視線方向、またはユーザの視聴位置である、前記(2)に記載の情報処理装置。
(4)
前記環境的要因は、投影面周辺の遮蔽物、投影面上の障害物、投影面の反射、投影面の色、文字、若しくは図表、環境照度、または環境音である、前記(2)に記載の情報処理装置。
(5)
前記誘引制御部は、音声、画像、または振動により、前記誘引情報をユーザに報知するよう制御する、前記(2)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記情報処理装置は、
人の状態または環境音に応じて、音声または画像のいずれの報知手段を用いるかを決定する誘引決定部をさらに備える、前記(5)に記載の情報処理装置。
(7)
前記情報処理装置は、
前記センサデータに基づいて、人状態に関する要素および環境に関する各要素の評価値を算出し、前記要素に紐付けられた誘引内容の優先度を前記評価値に基づいて算出し、当該優先度に応じて誘引内容を決定する、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(8)
前記誘引制御部は、ユーザの視線方向から投影場所まで投影画像を移動させてユーザの視線を変化させる、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記誘引制御部は、視聴位置に投影画像を表示してユーザを移動させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(10)
前記誘引制御部は、遮蔽物を投影画像により明示してユーザに当該遮蔽物を除外させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(11)
前記誘引制御部は、投影面上の障害物を投影画像により明示してユーザに当該障害物を除外させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(12)
前記誘引制御部は、投影面上のテクスチャに投影画像を重畳表示してユーザに当該テクスチャを消去させる行動を促す、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(13)
前記誘引制御部は、ユーザの視線方向上に誘引文言を表示するよう制御する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(14)
プロセッサが、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、
を含む、情報処理方法。
(15)
コンピュータを、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
として機能させるための、プログラム。
1 情報処理システム
10 情報処理装置
11 センサ
11a カメラ
11b 距離センサ
11c 照度センサ
11d マイクロホン
12 出力装置
12a プロジェクタ
12b スピーカ
100 制御部
101 認識部
102 投影領域決定部
103 行動誘引決定部
104 誘引制御部
105 投影制御部
110 通信部
120 入力部
130 記憶部
10 情報処理装置
11 センサ
11a カメラ
11b 距離センサ
11c 照度センサ
11d マイクロホン
12 出力装置
12a プロジェクタ
12b スピーカ
100 制御部
101 認識部
102 投影領域決定部
103 行動誘引決定部
104 誘引制御部
105 投影制御部
110 通信部
120 入力部
130 記憶部
Claims (15)
- コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
を備える、情報処理装置。 - 前記誘引情報は、前記視認性に影響を与える人的要因または環境的要因を変化させるためにユーザに促す行動である、請求項1に記載の情報処理装置。
- 前記人的要因は、ユーザの視聴距離、姿勢、状態、投影面との角度差、視線方向、またはユーザの視聴位置である、請求項2に記載の情報処理装置。
- 前記環境的要因は、投影面周辺の遮蔽物、投影面上の障害物、投影面の反射、投影面の色、文字、若しくは図表、環境照度、または環境音である、請求項2に記載の情報処理装置。
- 前記誘引制御部は、音声、画像、または振動により、前記誘引情報をユーザに報知するよう制御する、請求項2に記載の情報処理装置。
- 前記情報処理装置は、
人の状態または環境音に応じて、音声または画像のいずれの報知手段を用いるかを決定する誘引決定部をさらに備える、請求項5に記載の情報処理装置。 - 前記情報処理装置は、
前記センサデータに基づいて、人状態に関する要素および環境に関する各要素の評価値を算出し、前記要素に紐付けられた誘引内容の優先度を前記評価値に基づいて算出し、当該優先度に応じて誘引内容を決定する、請求項1に記載の情報処理装置。 - 前記誘引制御部は、ユーザの視線方向から投影場所まで投影画像を移動させてユーザの視線を変化させる、請求項1に記載の情報処理装置。
- 前記誘引制御部は、視聴位置に投影画像を表示してユーザを移動させる行動を促す、請求項1に記載の情報処理装置。
- 前記誘引制御部は、遮蔽物を投影画像により明示してユーザに当該遮蔽物を除外させる行動を促す、請求項1に記載の情報処理装置。
- 前記誘引制御部は、投影面上の障害物を投影画像により明示してユーザに当該障害物を除外させる行動を促す、請求項1に記載の情報処理装置。
- 前記誘引制御部は、投影面上のテクスチャに投影画像を重畳表示してユーザに当該テクスチャを消去させる行動を促す、請求項1に記載の情報処理装置。
- 前記誘引制御部は、ユーザの視線方向上に誘引文言を表示するよう制御する、請求項1に記載の情報処理装置。
- プロセッサが、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識することと、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示することと、
を含む、情報処理方法。 - コンピュータを、
コンテンツが投影される空間をセンシングしたセンサデータに基づいて空間内の投影環境を認識する認識部と、
前記認識した第1の投影環境状態から、視認性を向上させた第2の投影環境状態に変化させる誘引情報をユーザに提示する誘引制御部と、
として機能させるための、プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112018004219.7T DE112018004219T5 (de) | 2017-08-18 | 2018-05-24 | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm |
| US16/637,423 US11284047B2 (en) | 2017-08-18 | 2018-05-24 | Information processing device and information processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017157746A JP2019036181A (ja) | 2017-08-18 | 2017-08-18 | 情報処理装置、情報処理方法、およびプログラム |
| JP2017-157746 | 2017-08-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019035256A1 true WO2019035256A1 (ja) | 2019-02-21 |
Family
ID=65362750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/020035 Ceased WO2019035256A1 (ja) | 2017-08-18 | 2018-05-24 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11284047B2 (ja) |
| JP (1) | JP2019036181A (ja) |
| DE (1) | DE112018004219T5 (ja) |
| WO (1) | WO2019035256A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114667175A (zh) * | 2019-09-12 | 2022-06-24 | 环球城市电影有限责任公司 | 用于空间数据投影的技术 |
| WO2023238703A1 (ja) * | 2022-06-07 | 2023-12-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021144064A (ja) * | 2018-06-06 | 2021-09-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP7490347B2 (ja) * | 2019-09-20 | 2024-05-27 | 旭化成ホームズ株式会社 | 片付け支援装置、片付け支援プログラム及び片付け支援方法 |
| WO2022091589A1 (ja) * | 2020-10-29 | 2022-05-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| EP4329316A4 (en) | 2021-08-23 | 2024-10-23 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| JP2023136238A (ja) * | 2022-03-16 | 2023-09-29 | 株式会社リコー | 情報表示システム、情報表示方法、及びプログラム |
| KR20250146885A (ko) * | 2024-04-02 | 2025-10-13 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0984074A (ja) * | 1995-09-13 | 1997-03-28 | Nec Shizuoka Ltd | 無線選択呼出受信機 |
| JP2014095891A (ja) * | 2012-10-09 | 2014-05-22 | Canon Marketing Japan Inc | プロジェクタ、画像投影方法ならびにプログラム |
| JP2015026024A (ja) * | 2013-07-29 | 2015-02-05 | 株式会社ニコン | 立体画像観察装置、プロジェクタおよびプロジェクタシステム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013105171A (ja) * | 2011-11-17 | 2013-05-30 | Seiko Epson Corp | プロジェクター及びその制御方法 |
| JP2015145894A (ja) | 2014-01-31 | 2015-08-13 | キヤノン株式会社 | 投射型表示装置 |
| WO2016103543A1 (ja) * | 2014-12-25 | 2016-06-30 | パナソニックIpマネジメント株式会社 | 投影装置 |
-
2017
- 2017-08-18 JP JP2017157746A patent/JP2019036181A/ja active Pending
-
2018
- 2018-05-24 DE DE112018004219.7T patent/DE112018004219T5/de not_active Withdrawn
- 2018-05-24 US US16/637,423 patent/US11284047B2/en active Active
- 2018-05-24 WO PCT/JP2018/020035 patent/WO2019035256A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0984074A (ja) * | 1995-09-13 | 1997-03-28 | Nec Shizuoka Ltd | 無線選択呼出受信機 |
| JP2014095891A (ja) * | 2012-10-09 | 2014-05-22 | Canon Marketing Japan Inc | プロジェクタ、画像投影方法ならびにプログラム |
| JP2015026024A (ja) * | 2013-07-29 | 2015-02-05 | 株式会社ニコン | 立体画像観察装置、プロジェクタおよびプロジェクタシステム |
Non-Patent Citations (1)
| Title |
|---|
| TAKAHASI, YOU ET AL.: "Development a Mobile Robot that Interacts with Human Users with Information Projection", PROCEEDINGS OF THE 28TH ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN DVD-ROM, 24 September 2010 (2010-09-24), pages 904 - 907 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114667175A (zh) * | 2019-09-12 | 2022-06-24 | 环球城市电影有限责任公司 | 用于空间数据投影的技术 |
| WO2023238703A1 (ja) * | 2022-06-07 | 2023-12-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019036181A (ja) | 2019-03-07 |
| US20200228763A1 (en) | 2020-07-16 |
| DE112018004219T5 (de) | 2020-05-07 |
| US11284047B2 (en) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019035256A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US12265655B2 (en) | Moving windows between a virtual display and an extended reality environment | |
| US10254826B2 (en) | Virtual/augmented reality transition system and method | |
| KR102553190B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 | |
| US9329716B2 (en) | System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| JP7211367B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US10930249B2 (en) | Information processor, information processing method, and recording medium | |
| WO2024064932A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
| JPWO2019176577A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
| US20220286652A1 (en) | Virtual mirror systems and methods | |
| US20250208708A1 (en) | Electronic device and method for controlling electronic device | |
| US12487665B2 (en) | Rendering a visual distraction for a user looking at a display too long | |
| EP4684274A1 (en) | Devices, methods, and graphical user interfaces for managing audio sources | |
| KR20240093276A (ko) | 그래픽 영역을 제공하는 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 | |
| US20210211621A1 (en) | Information processing apparatus, information processing method, and program | |
| CN119722916A (zh) | 增强模拟视觉 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18847018 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18847018 Country of ref document: EP Kind code of ref document: A1 |