[go: up one dir, main page]

WO2016059857A1 - 情報処理装置、システムおよび情報処理方法 - Google Patents

情報処理装置、システムおよび情報処理方法 Download PDF

Info

Publication number
WO2016059857A1
WO2016059857A1 PCT/JP2015/072397 JP2015072397W WO2016059857A1 WO 2016059857 A1 WO2016059857 A1 WO 2016059857A1 JP 2015072397 W JP2015072397 W JP 2015072397W WO 2016059857 A1 WO2016059857 A1 WO 2016059857A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
action information
action
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/072397
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
光永 知生
堅誠 城
佐藤 真
健太郎 井田
智也 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP15851335.8A priority Critical patent/EP3208719A4/en
Priority to US15/513,855 priority patent/US20180169524A1/en
Publication of WO2016059857A1 publication Critical patent/WO2016059857A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/064Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • This disclosure relates to an information processing apparatus, a system, and an information processing method.
  • a virtual space on a network in which a plurality of users are active together is provided, for example, as content for games and social media.
  • a network game it is common for users to play against each other in a virtual space or to play in a party.
  • Patent Document 1 in such a network game, when a host user recruits a user or a substitute user to play together, a smooth recruitment is made possible by referring to the skill level of other users. The technology is described.
  • the present disclosure proposes a new and improved information processing apparatus, system, and information processing method capable of simplifying procedures in actions between users in a virtual space.
  • a display control unit that displays an image of a virtual space in which a first user is active, and an action that generates action information indicating an action from the first user to the second user in the virtual space
  • An information processing apparatus includes an information generation unit and a light modulation control unit that controls light modulation for displaying an image of the virtual space according to the action information.
  • a captured image acquisition unit that acquires a captured image including a screen of an external device that displays the first image of the virtual space in which the first user is active, and a portion of the screen of the captured image
  • Action information extraction unit for extracting action information indicating an action from the first user to the second user in the virtual space from light modulation in the virtual space, and processing for the second user to respond to the action Is provided
  • a display control unit that displays a second image of the virtual space in which the second user is active according to the result of the processing.
  • the display control part which displays the 1st image of the virtual space where the 1st user is active,
  • the action information which shows the action from the said 1st user to the 2nd user in the said virtual space
  • a first information processing apparatus comprising: an action information generating unit that generates a light modulation; a light modulation control unit that controls modulation of light for displaying the first image according to the action information; and the first image
  • a captured image acquisition unit that acquires a captured image including a screen of a device to be displayed, an action information extraction unit that extracts the action information from light modulation in the screen portion of the captured image, and the second user performs the action
  • a response processing unit that executes a process for responding, and a second image of the virtual space in which the second user is active is displayed according to a result of the process.
  • Second system including the information processing apparatus is provided with a that the display control unit.
  • an information processing method including displaying a second image of the virtual space in which the second user is active.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to a first embodiment of the present disclosure.
  • FIG. It is a block diagram showing functional composition of a game machine and a server concerning a 1st embodiment of this indication. It is a block diagram which extracted what was related to the procedure for implement
  • FIG. 6 is a diagram for describing a first example of a modulation scheme in the first embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing a second example of a modulation scheme in the first embodiment of the present disclosure. 6 is a diagram for describing a third example of a modulation scheme according to the first embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing a fourth example of a modulation scheme in the first embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing an example of a processing sequence according to the first embodiment of the present disclosure. It is a figure showing a schematic structure of a system concerning a 2nd embodiment of this indication. It is a block diagram showing functional composition of a game machine concerning a 2nd embodiment of this indication.
  • FIG. 14 is a diagram for describing an example of a processing sequence according to the second embodiment of the present disclosure. It is a figure showing a schematic structure of a system concerning a 3rd embodiment of this indication. It is a figure showing a schematic structure of a system concerning a 4th embodiment of this indication.
  • FIG. 6 is a diagram for describing an example of a processing sequence according to the first embodiment of the present disclosure. It is a figure showing a schematic structure of a system concerning a 2nd embodiment of this indication. It is a block diagram showing functional composition of a game machine concerning a
  • FIG. 14 is a diagram for describing an example of a processing sequence according to the fourth embodiment of the present disclosure. It is a figure which illustrates the relationship of each apparatus in 4th Embodiment of this indication.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to the first embodiment of the present disclosure.
  • the system 10 includes a game machine 100 a of a host user Uh, a game machine 100 b of a participating user Up, and a server 300.
  • the game machines 100a and 100b can be realized by a hardware configuration of an information processing apparatus described later.
  • the server 300 can include one or a plurality of server devices realized by a hardware configuration of an information processing device to be described later.
  • the game machines 100a and 100b and the server 300 are connected to each other via a network 200 such as the Internet.
  • the host user Uh and the participating user Up are close to each other.
  • the participating user Up can photograph the screen of the game machine 100a of the host user Uh with a camera (imaging device) installed on the back surface of the game machine 100b.
  • the host user Uh is playing a network game on the game machine 100a.
  • the sponsoring user Uh decides to invite the participating user Up in front of the network game party.
  • the host user Uh operates the game machine 100a to start recruiting party members, and the participating user Up operates the game machine 100b to refer to party member recruitment and announce participation in the party. Then, a procedure is required for the sponsoring user Uh to approve participation in the party by the participating user Up.
  • Such a procedure inevitably occurs when, for example, the virtual space of the network game provided by the server 300 is open to an unspecified number of users. If the participating user Up is already playing the same network game on the game machine 100b, the hosting user Uh may be able to invite the participating user Up to the party by name. However, even in such a case, the host user Uh inputs the identification information of the participating user Up, and a procedure of several steps through the server 300 for confirming whether or not the participating user Up accepts the solicitation. There is no change in the point that is necessary.
  • an action from the host user Uh to the participating user Up by visible light communication between the game machine 100a and the game machine 100b.
  • the action information indicating is transmitted. More specifically, the game machine 100a modulates light for displaying an image of the virtual space on the screen according to the action information in accordance with the operation of the sponsor user Uh. This light is already modulated corresponding to the image in the virtual space, but is modulated in accordance with the action information superimposed on it.
  • the game machine 100a may superimpose and display a code in which action information is encoded on a part of an image in the virtual space by spatially modulating light. Further, the game machine 100a may express the action information by temporally modulating the luminance and / or chromaticity of light. In this case, if the modulation of luminance and / or chromaticity is performed so finely and rapidly that it cannot be perceived by the user, the modulation hardly affects the user's viewing of the image in the virtual space.
  • the action information transmitted in this way can include, for example, information for identifying a network game played on the game machine 100a, identification information of the host user Uh and party, and the like.
  • a camera (imaging device) installed on the back surface acquires a captured image including the screen of the game machine 100a.
  • the game machine 100b can extract the action information as described above from the light modulation of the screen portion of the game machine 100a included in the captured image. Based on the extracted action information, the game machine 100b executes a process for causing the participating user Up to participate in the party of the sponsoring user Uh in the virtual space of the network game. For example, if the participating user Up has not yet played the network game, the game machine 100b activates the network game client program and transmits a login command to the server 300. Furthermore, the game machine 100b transmits a command for causing the participating user Up to participate in the party of the sponsoring user Uh to the server 300. This command may include, for example, host user Uh and party identification information acquired from action information.
  • the participating user Up can play the network game on the game machine 100b while participating in the hosting user Uh party.
  • the sponsor user Uh only needs to show the screen of the game machine 100a to the participating user Up after first performing an operation for inviting the participating user Up to the party.
  • a part of the image displayed on the game machine 100a is hidden by the superimposed display of the code, or the luminance and / or chromaticity of the image (for example, perceived by the user).
  • the host user Uh does not wait for the participation process of the participating user Up to complete the party after executing the above operation, because it only changes in time (in a minute and high speed not to be performed).
  • the game machine 100a can continue playing the network game in the virtual space.
  • the hosting user Uh and the party are specified based on the captured image including the screen of the game machine 100a. Therefore, the participating user Up needs to search for the hosting user Uh and the party. Absent. Moreover, since it is understood that the participation in the party is approved when the sponsor user Uh shows the screen of the game machine 100a to the participating user Up, it is not necessary to wait for the approval of the sponsor user Uh after the party participation is announced. Also good.
  • the host user Uh and the participating user Up form a party quickly. You can start playing network games. As a result, the host user Uh and the participating user Up can concentrate on playing the network game itself.
  • FIG. 2 is a block diagram illustrating a functional configuration of the game machine and the server according to the first embodiment of the present disclosure.
  • the game machines 100 a and 100 b are shared as the game machine 100.
  • the roles of the game machines 100a and 100b in the present embodiment can be interchanged. That is, in this embodiment, the same game machine 100 can function as the game machine 100a when used by the host user Up, and can function as the game machine 100b when used by the participating user Up.
  • the game machine 100 includes a network communication unit 101, a control unit 103, an output unit 105, an input unit 107, and a storage unit 109.
  • the network communication unit 101 includes various communication devices that perform network communication with the server 300.
  • the control unit 103 includes a processor such as a CPU (Central Processing Unit) that controls the entire game machine 100.
  • the output unit 105 includes various output devices that output images, sounds, vibrations, and the like.
  • the input unit 107 includes various input devices that accept operation of an operator such as a button, contact with a touch panel, voice input, and the like as inputs.
  • the input unit 107 includes an imaging device that generates a captured image.
  • the storage unit 109 includes a memory or storage for temporarily or permanently storing various information input to the game machine 100 or generated by the game machine 100, including a program for operating the control unit 103. Including.
  • the server 300 includes a network communication unit 301, a control unit 303, and a storage unit 305.
  • the network communication unit 301 includes various communication devices that perform network communication with the game machine 100.
  • the control unit 303 includes a processor such as a CPU for controlling the entire server 300 and providing a network game service to the game machine 100.
  • the storage unit 305 includes a memory or storage for temporarily or permanently storing network game user information and the like as well as a program for operating the control unit 303.
  • the user of the game machine 100 can play a network game.
  • the control unit 103 is a game client program (not limited to a dedicated program, but a general-purpose browser or the like).
  • a login command of the user is transmitted to the server 300 via the network communication unit 101.
  • the control unit 103 causes the output unit 105 to display an image of the virtual space of the game or output a sound according to the information received from the server 300.
  • the user can execute various activities such as movement, speech, sports play, and battle in the virtual space by operation input using the input unit 107.
  • activities such as movement, speech, sports play, and battle in the virtual space by operation input using the input unit 107.
  • the control unit 103 continuously receives information from the server 300 and continues to output images and sounds of the virtual space that sequentially change according to the activities of the user of the game machine 100 and other users.
  • FIG. 3 is a block diagram extracted from the functional configuration of the gaming machine according to the first embodiment of the present disclosure that is related to a procedure for realizing an action between users.
  • the game machine 100 a includes a display control unit 111, an operation input acquisition unit 113, an action information generation unit 115, and a light modulation control unit 117.
  • the game machine 100b includes a display control unit 121, a captured image acquisition unit 123, an action information extraction unit 125, and a response processing unit 127. All of these functional configurations are realized as program steps executed by the control unit 103 of the game machine 100, for example.
  • the display control unit 111 displays an image of the virtual space of the network game in which the user (host user Uh) of the game machine 100a is active. More specifically, the display control unit 111 includes a display device included in the output unit 105 according to image data provided from a network game client program executed by the control unit 103 based on information received from the server 300. A control signal for driving 1051 is output. At this time, the image data input to the display control unit 111 or the control signal output from the display control unit 111 can be controlled by the light modulation control unit 117 in a superimposed manner.
  • the operation input acquisition unit 113 acquires the operation input of the user (host user Uh) of the game machine 100a who is active in the virtual space that the display control unit 111 displays as an image. More specifically, the operation input acquisition unit 113 performs an operation input of the host user Uh related to the activity in the virtual space, such as operation of an operator such as a button received by the input unit 107, touch on the touch panel, voice input, and the like. Get as. As described above, the state of the virtual space displayed as an image by the display control unit 111 can be changed by this operation input.
  • the operation input acquired by the operation input acquiring unit 113 includes an instruction for instructing an action to another user in the virtual space, for example, soliciting to a party.
  • the action information generation unit 115 generates action information indicating the action when the operation input acquisition unit 113 instructs an action to another user in the virtual space.
  • the action information generation unit 115 may automatically generate action information regardless of the instruction acquired by the operation input acquisition unit 113. For example, when the operation input acquisition unit 113 instructs the host user Uh to invite a party member, the action information generation unit 115 displays the network game played on the game machine 100a, the host user Uh, and the party.
  • the action information including the identification information is generated.
  • the action information since the generated action information can be transmitted to the participating user Up in a limited manner by visible light communication, the action information may not include information for identifying the participating user Up.
  • the light modulation control unit 117 controls light modulation for displaying an image in the virtual space according to the action information generated by the action information generation unit 115.
  • the display control unit 111 outputs a control signal for driving the display device 1051.
  • the display device 1051 outputs light modulated according to the control signal, whereby an image of the virtual space is displayed.
  • the light modulation control unit 117 receives image data input to the display control unit 111 or a control signal of the display device 1051 output from the display control unit 111 (in addition to control for displaying an image of the original virtual space). By superimposing, more specifically, by changing these data and signals, the light output from the display device 1051 is modulated according to the action information. A more specific example of the modulation method will be described later.
  • the display control unit 121 displays an image of the virtual space of the network game in which the user (participating user Up) of the game machine 100b is active. More specifically, the display control unit 111 includes a display device included in the output unit 105 according to image data provided from a network game client program executed by the control unit 103 based on information received from the server 300. A control signal for driving 1051 is output.
  • the virtual space displayed on the game machine 100b may be the same as the virtual space in which the host user Uh is active. However, since the users who are active subjects are different, the angle of view that reflects the virtual space, the character status display, and the like may differ between the game machine 100a and the game machine 100b.
  • the display control unit 121 displays an image of the virtual space according to the result of the processing. For example, when the display of the virtual space image has not yet started when the processing of the response processing unit 127 is executed, the display control unit 121 starts displaying the virtual space image according to an instruction from the response processing unit 127. To do. In addition, even when an image of the virtual space is already displayed at the time when the processing of the response processing unit 127 is executed, the display control unit 121 performs an action from the user of the game machine 100a according to an instruction from the response processing unit 127. A notification (dialog or the like) that prompts the operation input of the participating user Up responding to the above may be displayed superimposed on the image in the virtual space. Further, when a response to an action (for example, participation in a party) is automatically executed regardless of the operation input of the participating user Up, the display control unit 121 displays a virtual space image that has changed according to the response. .
  • the captured image acquisition unit 123 acquires a captured image generated by the imaging device 1071 included in the input unit 107 of the game machine 100b.
  • the captured image acquisition unit 123 may acquire a captured image transmitted by wired or wireless communication from an imaging device externally connected to the game machine 100b.
  • the captured image may include a single frame (still image) or a series of frames (moving image).
  • the captured image may include a screen of an external device (game machine 100a) that displays an image of a virtual space in which a user (host user Uh) different from the participating user Up is active.
  • the light modulation for displaying the image in the virtual space is controlled by the function of the light modulation control unit 117.
  • the captured image acquisition unit 123 captures the light thus modulated by acquiring a captured image including a screen.
  • the action information extraction unit 125 extracts action information from light modulation in the screen portion of the captured image game machine 100a acquired by the captured image acquisition unit 123.
  • the action indicated by the action information may be an action from the sponsor user Uh to the participating user Up.
  • the action information extraction unit 125 separates an additional modulation component given by the light modulation control unit 117 in the game machine 100a from a spatial and / or temporal change of light captured as a captured image.
  • the additional modulation component indicates action information generated by the action information generation unit 115 in the game machine 100a.
  • the response processing unit 127 executes processing for the user of the game machine 100b, that is, the participating user Up, to respond to the action of the sponsoring user Uh based on the action information extracted by the action information extracting unit 125. For example, the response processing unit 127 outputs a notification that prompts an operation input in response to an action. The notification may be output as an image by the display device 1051 via the display control unit 121. The notification may be output by voice or vibration, or a combination of these and an image. Alternatively, when the permission of the participating user Up is obtained in advance, the response processing unit 127 may automatically execute a process for responding to the action. More specifically, for example, the response processing unit 127 automatically starts a network game client program, sends a login command to the server 300, or sends a command for joining a party in the virtual space to the server. The process of transmitting to 300 may be automatically executed.
  • FIG. 4 is a diagram for describing a first example of the modulation scheme according to the first embodiment of the present disclosure.
  • FIG. 4 shows a virtual space image 1053 of the network game displayed on the display device 1051 of the game machine 100a, and a two-dimensional code 1055 displayed superimposed on a part of the virtual space image 1053.
  • a two-dimensional code 1055 generated by encoding action information is displayed superimposed on a part of an image 1053 in the virtual space.
  • the light modulation control unit 117 of the game machine 100a spatially modulates the light for displaying the virtual space image according to the action information.
  • the light modulation control unit 117 may transparently superimpose the two-dimensional code 1055 on the image 1053 in the virtual space, or may overwrite the image 1053.
  • the captured image acquisition unit 123 of the game machine 100b acquires a captured image including the two-dimensional code 1055 displayed on the screen of the game machine 100a.
  • the action information extraction unit 125 extracts action information by decoding the two-dimensional code 1055 cut out from the image.
  • the action information (two-dimensional code 1055) included in the image is visually recognized by the user. Since it is possible, for example, the timing when the user of the game machine 100b executes imaging is easy to understand. Further, in order to extract action information, it is only necessary to have a captured image of at least one frame in which the entire two-dimensional code 1055 is reflected.
  • the format of the two-dimensional code 1055 may be anything. Instead of the two-dimensional code 1055, a one-dimensional code may be displayed at the edge of the screen.
  • FIG. 5 is a diagram for describing a second example of the modulation scheme according to the first embodiment of the present disclosure.
  • the light modulation control unit 117 of the game machine 100a temporally modulates light for displaying an image of the virtual space according to the action information. More specifically, the light modulation control unit 117 controls a control signal for the display control unit 111 to drive the display device 1051 so that the luminance I of the backlight 1057 is temporally modulated according to the action information. . Alternatively, the light modulation control unit 117 may change the luminance value of the image data input to the display control unit 111 so that similar temporal modulation is realized.
  • the action information extraction unit 125 of the game machine 100b detects the modulation signal from the temporal change in the luminance R of the virtual space image 1053 included in the captured image, and extracts the action information by demodulating the modulation signal.
  • the image 1053 of the virtual space displayed on the game machine 100a is not hidden. Further, the light modulation by the light modulation control unit 117 exemplified as the time change of the luminance I can be performed at a fluctuation speed faster than the response speed of the user's eyes. Therefore, the image 1053 of the virtual space visually recognized by the user is substantially the same as the case where the modulation by the light modulation control unit 117 is not performed as a result of the modulation components being integrated and uniformed. Accordingly, in this example, the host user Uh who uses the game machine 100a has less influence on the game play than in the first example.
  • the action information is expressed by temporal modulation of the luminance of the image 1053.
  • the action information is expressed by temporal modulation of the chromaticity of the image 1053, for example. May be. More specifically, when the backlight 1057 is composed of multi-color light emitting LEDs, the light modulation control unit 117 responds to action information by temporally changing the balance of the light emission intensity of each color LED. The modulated light may be realized. Alternatively, the light modulation control unit 117 may change the chromaticity value of the image data input to the display control unit 111 so that the same temporal variable is realized.
  • FIG. 6 is a diagram for describing a third example of the modulation scheme according to the first embodiment of the present disclosure.
  • the spatial variation of the luminance value for each row that occurs and (C) the relationship between the observed image and the original image including the spatial variation of the luminance value are shown.
  • the action information extraction unit 125 determines the time given to the light for displaying the image in the virtual space from the difference in luminance or chromaticity of light at a plurality of positions with different exposure timings in the captured image. Identify the modulation.
  • the exposure timing is slightly different for each row.
  • the phase of the luminance value of the image including the modulation component is obtained by extracting the exposure time (time t 1 ) of row r 1 extracted as an example and the exposure time (time t 1 ) of row r 2. 2 ) and the exposure time (time t 3 ) of row r 3 are different.
  • a spatial variation in luminance appears in the virtual space image 1053 included in the captured image.
  • the image 1053 including such luminance variation (flicker) is obtained by superimposing the light modulation component 1053f added by the light modulation control unit 117 on the original virtual space image 1053p (not including the modulation component). I can say that.
  • an original image 1053p from which flicker is removed is obtained by some method (for example, superimposing a plurality of frames of images)
  • the difference between the image 1053 included in a certain frame of the captured image and the original image 1053p is obtained.
  • the modulation component 1053f can be extracted.
  • the modulation component 1053f can be converted into a temporal variation in luminance based on, for example, the shutter speed of the image sensor that implements the imaging device 1071.
  • the modulation component 1053f may be handled as a spatial modulation component as it is.
  • FIG. 7 is a diagram for describing a fourth example of the modulation scheme according to the first embodiment of the present disclosure.
  • These two captured images and (C) the relationship between the two captured images and the luminance fluctuation are shown.
  • the action information extraction unit 125 determines the time given to the light for displaying the image in the virtual space from the difference in the luminance or chromaticity of the light at a plurality of positions with different exposure timings in the captured image.
  • the modulation is specified, the specific procedure is different from that in the third example.
  • the image sensor that implements the imaging device 1071 in the fourth example employs a rolling shutter system and has an exposure time for each row or each pixel.
  • the length is different.
  • the row r p1 to exposure in the first exposure time t p1, and row r p2 of exposing a shorter than the first exposure time second exposure time t p2 are alternately of the imaging device It is arranged over the entire area.
  • the captured image acquisition unit 123, the line image 1053p1 comprising pixels of r p1 separately obtains the image 1053p2 comprising pixels of row r p2. Since the length of the exposure time is different between the image 1053p1 and the image 1053p2, the integration interval of the time-modulated luminance value is different, and therefore the luminance fluctuation appearing in the row arrangement direction is different.
  • the luminance of the original image 1053p is i bg (y)
  • the luminance of each of the images 1053p1 and 1053p2 is i 1 (y), i 2 (y)
  • the shutter function is s 1 (t), s. 2 (t)
  • f (t) is a luminance temporal modulation component generated by the light modulation control unit 117
  • a first exposure time t p1 is the case is an integral multiple of the period of the modulation component f (t) generated by the light modulation control unit 117, the image 1053P1, by modulation component f (t) is the integral Offset. Therefore, the following Expression 3 is satisfied for the luminance i 1 (y) of the image 1053p1 (k is an arbitrary integer). Further, when Expression 3 is substituted into Expression 2 above, Expression 4 is established.
  • the modulation component f (t) can be obtained by substituting i 1 (y) and i 2 (y) into the above equation 4.
  • the first exposure time tp1 is set to an integer multiple of the period of the modulation component f (t) generated by the light modulation control unit 117, thereby modulating the action information from the captured image of one frame.
  • the component f (t) can be extracted. More specifically, in formula 4, the modulation component f (t) is the luminance i 1 image 1053p1 not including the time variation of the luminance (y), the luminance i 2 (y image 1053p2 including time variation of brightness ).
  • FIG. 8 is a diagram for describing an example of a processing sequence according to the first embodiment of the present disclosure.
  • FIG. 8 shows an example of a processing sequence among the sponsor user Uh, the game machine 100a, the game machine 100b, the participating user Up, and the server 300.
  • the game program is started by the operation of the host user Uh on the game machine 100a (S101, S103).
  • the game machine 100a transmits the identification information of the sponsor user Uh to the server 300 (S105) and starts displaying the game screen (S107).
  • the server 300 updates the virtual space information in the game based on the operation information (not shown) of the host user Uh transmitted from the game machine 100a, for example, and transmits it to the game machine 100a (S109).
  • the game machine 100a displays the updated virtual space image (S111).
  • the sponsor user Uh invites party members in the virtual space of the game, and executes an operation for soliciting party members to the game machine 100a (S113).
  • the game program is activated in S103, it may be set so that invitation of party members is automatically started.
  • the game machine 100a generates action information by the function of the action information generation unit 115 (S115), and transmits the action information to the game machine 100b by visible light communication as described above (S117).
  • the game program does not need to be activated in the game machine 100b, but nothing happens unless the imaging device 1071 is activated.
  • the participating user Up who has been verbally invited to invite the party from the host user Uh performs an operation for starting the imaging device 1071 (camera function) on the game machine 100b (S119). ), The game machine 100b activates the camera function (S121), and displays a preview image (live view image) (S123).
  • the action information transmitted by the visible light communication from the game machine 100a side in S117 is as follows. It is received by the game machine 100b (S125). In the game machine 100b, the action information extraction unit 125 extracts action information from the captured image, and the response processing unit 127 executes processing for party participation. More specifically, the response processing unit 127 activates the game program on the game machine 100b (S127; if not yet activated), and displays a dialog for confirming whether or not to join the party on the screen. (S129).
  • the game machine 100a When an operation input indicating acceptance of participation is given from the participating user Up (S131), the game machine 100a includes the identification information of the participating user Up, the identification information of the sponsoring user Uh and the party extracted from the action information, and the like. Is transmitted to the server 300 (S133).
  • processing for causing the participating user Up to participate in the party of the sponsoring user Uh in the virtual space of the game is executed (S135).
  • the server 300 transmits a notification that the participating user Up has joined the party to the game machine 100a (S137), and the game machine 100a outputs the notification to the host user Uh (S139).
  • the game play of the organizer user Uh in the game machine 100a is suspended until the host user Uh executes an operation for soliciting party members in S113 until the participation user Up has completed participation in the party in S137.
  • the host user Uh and the participating user Up use the game machine 100a and the game machine 100b, respectively, to play a game belonging to the same party in the game virtual space provided by the server 300. Can do.
  • FIG. 9 is a diagram illustrating a schematic configuration of a system according to the second embodiment of the present disclosure.
  • the system 20 includes a game machine 100a of the host user Uh and a game machine 100b of the participating user Up.
  • the game machines 100a and 100b can be realized by a hardware configuration of an information processing apparatus described later.
  • the game machines 100a and 100b are connected to each other by ad hoc communication such as Bluetooth (registered trademark) or network communication such as the Internet.
  • the system 20 does not include a server.
  • the game machine 100a or the game machine 100b can provide a virtual space for the game independently.
  • the game machine 100a and the game machine 100b can link the virtual space of each other's game. That is, using the game machine 100a and the game machine 100b, the sponsor user Uh and the participating user Up can play a game in a party as in the first embodiment.
  • the procedure regarding visible light communication between the game machine 100a and the game machine 100b is the same as that of the first embodiment. That is, the game machine 100a modulates light for displaying an image on the screen according to action information indicating an action (invitation to a party) from the sponsor user Uh to the participating user Up.
  • a camera installed on the back surface acquires a captured image including a screen of the game machine 100a.
  • the game machine 100b can extract action information from the light modulation of the screen portion of the game machine 100a included in the captured image.
  • the game machine 100b executes a process for the participating user Up to play a game in a party with the host user Uh, for example. More specifically, the game machine 100b activates a game program if the participating user Up has not yet played the game. When the game program is not installed in the game machine 100b, the game machine 100b may request the game machine 100a to transmit the program. Furthermore, the game machine 100b transmits to the game machine 100a a command for forming and playing a party in the virtual space of the game. According to the procedure as described above, in the present embodiment as well, in the same way as in the first embodiment, the hosting user Uh and the participating user Up can quickly start a game by forming a party.
  • FIG. 10 is a block diagram illustrating a functional configuration of a game machine according to the second embodiment of the present disclosure.
  • the game machine 100 includes a communication unit 201, a control unit 103, an output unit 105, an input unit 107, and a storage unit 109.
  • the communication unit 201 includes various communication devices that perform ad hoc communication (or network communication) between the game machines 100. Since the control unit 103, the output unit 105, the input unit 107, and the storage unit 109 are the same constituent elements as those in the first embodiment, a duplicate description is omitted.
  • the game machine 100 can independently execute a process for each user to play a game.
  • the game machine 100 exchanges information indicating operation input by the user, the state of the virtual space, and the like.
  • any game machine 100 may function as a host.
  • the other game machine 100 transmits information indicating an operation input, a user state, and the like to the host game machine 100 and receives information indicating the updated virtual space state from the host game machine 100.
  • FIG. 11 is a diagram for describing an example of a processing sequence according to the second embodiment of the present disclosure.
  • FIG. 11 shows an example of a processing sequence among the sponsoring user Uh, the game machine 100a, the game machine 100b, and the participating user Up.
  • a game program is started by the operation of the host user Uh on the game machine 100a (S201, S203).
  • the game machine 100a displays a virtual space image of the game (S205).
  • the host user Uh decides to invite party members in the virtual space of the game, and performs an operation for soliciting party members to the game machine 100a (S207).
  • the game program is started in S203, it may be set so that invitation of party members is automatically started.
  • the game machine 100a generates action information by the function of the action information generation unit 115 (S209), and transmits the action information to the game machine 100b through visible light communication similar to that described in the first embodiment. (S211).
  • the game program does not need to be activated in the game machine 100b, but nothing happens unless the imaging device 1071 is activated.
  • the participating user Up who has been verbally invited to invite the party from the sponsor user Uh executes an operation for starting the imaging device 1071 (camera function) on the game machine 100b (S213). ), The game machine 100b activates the camera function (S215), and displays a preview image (live view image) (S217).
  • the action information transmitted by the visible light communication from the game machine 100a side in S211 is as follows. It is received by the game machine 100b (S219).
  • the action information extraction unit 125 extracts action information from the captured image, and the response processing unit 127 executes processing for party participation. More specifically, the response processing unit 127 activates the game program on the game machine 100b (S221; if not activated yet), and displays a dialog for confirming whether or not to join the party on the screen. (S223).
  • the game machine 100b executes a process for causing the participating user Up to participate in the party of the sponsoring user Uh with the game machine 100a. (S227).
  • the game machine 100a outputs a notification that the participating user Up has joined the party to the hosting user Uh (S229). Thereafter, the sponsoring user Uh and the participating user Up can play in a party in the virtual space of the game using the game machine 100a and the game machine 100b, respectively.
  • the virtual space in which the user is active does not necessarily have to be provided by the server, and processing via communication between clients such as game consoles. May be provided by.
  • the clients recognize each other via a communication protocol such as Bluetooth (registered trademark).
  • the partner device recognized by the communication protocol and the partner user who is the target of the action in the virtual space of the game do not always automatically correspond (for example, a plurality of devices and Bluetooth (registered)
  • the transmission of action information by visible light communication may be useful.
  • FIG. 12 is a diagram illustrating a schematic configuration of a system according to the third embodiment of the present disclosure.
  • the system 30 includes a game machine 100c of the host user Uh, a game machine 100b of the participating user Up, and a server 300.
  • the game machines 100b and 100c can be realized by a hardware configuration of an information processing apparatus described later.
  • the server 300 can include one or a plurality of server devices realized by a hardware configuration of an information processing device to be described later.
  • the game machines 100b and 100c and the server 300 are connected to each other via a network 200 such as the Internet.
  • the system 30 does not include the server 300, and the game machines 100b and 100c may be connected to each other by ad hoc communication or the like as in the second embodiment described above.
  • the host user Uh (which may be plural) uses the stationary game machine 100c, and the participating users Up use the portable game machine 100b.
  • the game machine 100b can shoot the screen of the game machine 100c with a camera (imaging device) installed on the back surface, but the game machine 100c cannot shoot the screen of the game machine 100b. Therefore, in this embodiment, the roles of the game machine 100c and the game machine 100b are not interchangeable. That is, in this embodiment, the user who uses the game machine 100c becomes the sponsor user Uh, and the user who uses the game machine 100b becomes the participating user Up.
  • the functional configuration of the game machine 100c is the same as that of the game machine 100a described in the first embodiment except that the roles are not compatible.
  • the function of the information processing apparatus used by each user may not be compatible. That is, the system according to the embodiment of the present disclosure includes an information processing apparatus having a function of controlling light modulation for displaying an image in a virtual space according to action information, and a captured image including the image displayed in such a manner. It is only necessary to include at least one information processing device that extracts action information from each other, and it is not necessary that the roles of these devices are interchangeable or that these devices are of the same type.
  • FIG. 13 is a diagram illustrating a schematic configuration of a system according to the fourth embodiment of the present disclosure.
  • the system 40 includes a game machine 100d of the host user Uh, a monitor 100e that the participating user Up is viewing, a game machine 100b of the participating user Up, a video distribution server 300a, and a game server 300b. including.
  • the game machines 100b and 100d and the monitor 100e can be realized by a hardware configuration of an information processing apparatus described later.
  • each of the moving image distribution server 300a and the game server 300b can include one or a plurality of server devices realized by a hardware configuration of an information processing device to be described later.
  • the game machines 100b and 100d and the monitor 100e, the moving image distribution server 300a and the game server 300b are connected to each other by a network 200 such as the Internet.
  • the host user Uh and the participating user Up are not necessarily close to each other.
  • the sponsor user Uh plays a network game on the game machine 100d, and uploads the game screen being played to the video distribution server 300a.
  • the moving image distribution server 300a distributes the uploaded game screen as a moving image to the monitor 100e viewed by the participating user Uh.
  • Participating user Up can photograph the screen of the monitor 100e on which a moving image is displayed with a camera (imaging device) installed on the back surface of the game machine 100b.
  • the host user Uh distributes the game screen being played to the participating users Up as a moving image. Participating user Up is watching the video of the game screen being distributed on a monitor 100e such as a PC (Personal Computer) or a television. In the present embodiment, at this time, the participating user Up captures the screen of the monitor 100e with the camera of the game machine 100b, thereby transmitting action information by visible light communication. As a result, for example, the participating user Up can start playing the network game being played by the host user Uh, and can further participate in the party of the host user Uh.
  • a monitor 100e such as a PC (Personal Computer) or a television.
  • the participating user Up captures the screen of the monitor 100e with the camera of the game machine 100b, thereby transmitting action information by visible light communication.
  • the participating user Up can start playing the network game being played by the host user Uh, and can further participate in the party of the host user Uh.
  • FIG. 14 is a diagram for describing an example of a processing sequence according to the fourth embodiment of the present disclosure.
  • FIG. 14 shows an example of a processing sequence among the host user Uh, the game machine 100d, the video distribution server 300a, the game server 300b, the monitor 100e, the game machine 100b, and the participating user Up. ing.
  • a game program is activated by the operation of the host user Uh on the game machine 100d (S401, S403).
  • the game machine 100d transmits the identification information of the host user Uh to the game server 300b (S405) and starts displaying the game screen (S407).
  • the game server 300b updates the virtual space information in the game based on the operation information (not shown) of the host user Uh transmitted from the game machine 100d, for example, and transmits it to the game machine 100d (S409).
  • the game machine 100d displays the updated virtual space image (S411).
  • the game machine 100d uploads the image of the virtual space to the moving image distribution server 300a (S413).
  • the participating user Up starts the moving image reproduction program on the monitor 100e (S415), and starts viewing the image distributed from the moving image distribution server 300a (S417) (S419).
  • the sponsor user Uh recruits party members in the virtual space of the game, and performs an operation for recruiting party members on the game machine 100d (S421). Or after uploading of a moving image is started in S413, it may be set to automatically start recruitment of party members.
  • the game machine 100d generates action information (S423), and transmits the generated action information to the moving image distribution server 300a (S425).
  • the moving image distribution server 300a changes the data of the image being distributed according to the action information (S427), and distributes the changed data to the monitor 100e (S429). More specifically, for example, the moving image distribution server 300a temporally modulates the luminance value of the entire image being distributed according to the action information. Alternatively, the moving image distribution server 300a may superimpose a two-dimensional code on a part of the image being distributed. An example of the modulation scheme may be the same as that described in the first embodiment.
  • action information generated by the game machine 100d of the host user Uh is transmitted from the monitor 100e to the game machine 100b of the participating user Up by visible light communication (S431).
  • the game program does not have to be activated in the game machine 100b, but nothing happens unless the imaging device 1071 is activated.
  • the participating user Up who has viewed the distributed video performs an operation for starting the imaging device 1071 (camera function) on the game machine 100b (S433), and the game machine 100b has the camera function. Is activated (S435), and a preview image (live view image) is displayed (S437).
  • a message calling for participation in the party is sent to the unspecified user (potential participating user Up) who is watching the video from the sponsor user Uh with an image (such as a chat log) or voice. Also good.
  • the participating user Up may voluntarily consider participating in the party.
  • the screen of the monitor 100e When the screen of the monitor 100e is included in the captured image acquired by the imaging device 1071 of the game machine 100b, the screen is distributed in the above-described S425 and S429 (repeatedly executed in the illustrated example), and the monitor 100e side
  • the action information transmitted through visible light communication is received by the game machine 100b (S439).
  • the action information extraction unit 125 extracts action information from the captured image, and the response processing unit 127 executes processing for party participation. More specifically, the response processing unit 127 activates the game program on the game machine 100b (S441; if not activated yet) and displays a dialog for confirming whether or not to join the party on the screen. (S443).
  • the game machine 100a When an operation input indicating acceptance of participation is given from the participating user (S445), the game machine 100a sends the identification information of the user Up to the game server 300b and the identification information of the host user Uh and the party extracted from the action information. Etc. are transmitted (S447).
  • the game server 300b based on the information received from the game machine 100b, processing for causing the participating user Up to participate in the hosting user Uh's party in the virtual space of the game is executed (S449).
  • the game server 300b transmits a notification that the participating user Up has joined the party to the game machine 100d (S451), and the game machine 100d outputs the notification to the host user Uh (S453).
  • the game play of the host user Uh in the game machine 100d is suspended until the host user Uh performs an operation for recruiting party members in S421 until the participation user Up has completed participation in the party in S453.
  • the host user Uh and the participating user Up use the game machine 100d and the game machine 100b, respectively, and play the game belonging to the same party in the game virtual space provided by the game server 300b. be able to.
  • the participating user Up may end the viewing of the moving image distributed from the moving image distribution server 300a when the game play is started.
  • uploading of moving images from the game machine 100d to the moving image distribution server 300a and distribution of moving images from the moving image distribution server 300a to the client device can be continued.
  • FIG. 15 is a diagram illustrating an example of the relationship between devices in the fourth embodiment of the present disclosure.
  • the game machine 100d used by the host user Uh communicates with the game server 300b via the communication means 200a, and exchanges information regarding play of the network game.
  • the game machine 100d communicates with the moving image distribution server 300a via the communication unit 200b, and uploads a game screen during the play of the network game.
  • the communication units 200a and 200b may include a common configuration such as the Internet, or may include different configurations.
  • the game machine 100d has a function of uploading a game screen to the video distribution server 300a, and does not directly perform light modulation for transmitting action information as described later.
  • the game machine 100a described in the first embodiment or the game machine 100c described in the third embodiment has the same configuration. Since the functional configuration for uploading images is already well known, detailed description thereof will be omitted. The point that light modulation for transmitting action information is not directly executed will be described later.
  • the monitor 100e used by the participating user Up to view the moving image communicates with the moving image distribution server 300a via the communication unit 200c, and receives the moving image distributed from the game machine 100d via the moving image distribution server 300a.
  • the monitor 100e may be a PC or a television as described above.
  • the monitor 100e transmits the image modulated according to the action information to the game machine 100b by visible light communication, but the monitor 100e does not necessarily have a function of modulating light. That is, in the present embodiment, the monitor 100e may have a configuration that simply outputs a distributed image. Since the configuration of such a monitor is already well known, a detailed description thereof will be omitted.
  • the game machine 100b used by the participating user Up communicates with the game server 300b via the communication means 200d and exchanges information regarding the play of the network game.
  • the game machine 100b may have the same configuration as the game machine 100b described in the first embodiment.
  • the image captured by the image capturing device 1071 includes the screen of the monitor 100e, not the screen of the other game machine 100a, but is the same in terms of the screen of the external device that displays the image in the virtual space.
  • the game machine 100b may support a case where the screen included in the captured image is a screen of various devices.
  • the functional configuration related to the procedure for realizing the action between users described in the first embodiment is implemented as follows, for example. .
  • the image of the virtual space in which the host user Uh is active is displayed on the screen because the game machine 100d used by the host user Uh and the image uploaded from the host user Uh are video distribution servers.
  • This is a monitor 100e displaying what is distributed via 300a. Therefore, the display control unit 111 is realized in the game machine 100d, the moving image distribution server 300a, and / or the monitor 100e. Note that the display control unit 111 implemented in the moving image distribution server 300a and / or the monitor 100e receives superimposing control by the light modulation control unit 117 described later.
  • the operation input acquisition unit 113 that acquires the operation input of the sponsor user Uh is realized in the game machine 100d.
  • the action information generating unit 115 that generates action information indicating an action from the host user Uh to the participating user Up in the virtual space based on the operation input of the host user Uh is realized, for example, in the game machine 100d. Or the information which shows operation input may be transmitted to the moving image delivery server 300a instead of action information, and the action information generation part 115 may be implement
  • the light modulation control unit 117 that controls light modulation for displaying an image in the virtual space according to the action information is realized, for example, in the game machine 100d.
  • the light modulation control unit 117 realizes control of light modulation according to the action information by changing image data uploaded from the game machine 100d to the moving image distribution server 300a.
  • the image data uploaded here is image data transmitted to the external device that displays the image of the virtual space in which the host user Uh is active toward the participating user Up, that is, the monitor 100e.
  • the light modulation control unit 117 may be realized in the moving image distribution server 300a.
  • the moving image distribution server 300a receives the action information together with the image uploaded from the game machine 100d, and changes the image data to be distributed to the monitor 100e according to the action information.
  • the light modulation control unit 117 may be realized in the monitor 100e.
  • the monitor 100e can be a general monitor.
  • the monitor 100e is a terminal device having an information processing function such as a PC, and video distribution is performed. You may have the function to add temporal or spatial modulation to the image displayed according to the action information delivered with the image from the server 300a.
  • the configuration of the game machine 100b used by the participating user Up in the present embodiment may be the same as the configuration of the game machine 100b described in the first embodiment. Therefore, the functional configuration related to the procedure for realizing the action between the users can also be realized as a program step executed by the control unit 103 of the game machine 100b as in the first embodiment.
  • the external device whose screen is included in the captured image acquired by the captured image acquisition unit 123 is a monitor 100e different from the game machine 100d used by the host user Uh.
  • FIG. 16 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the game machine, the server apparatus, and / or the monitor in the above embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the image sensor. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the embodiment of the present disclosure includes, for example, an information processing apparatus (game machine, server apparatus, and / or monitor) as described above, a system, an information processing apparatus or an information processing method executed by the system, and an information processing apparatus. It may include a program for functioning and a non-transitory tangible medium on which the program is recorded.
  • the embodiment of the present disclosure is not limited to such an example.
  • actions such as sending and receiving items and registering friends in the virtual space of the game are the same as inviting parties to the party in that it requires a procedure to specify the other user of the action and a procedure to approve both users. is there. Therefore, for example, even for such an action, the procedure is simplified by applying the embodiment of the present disclosure, and an environment in which the user can concentrate on the original activity in the virtual space is provided.
  • the embodiment of the present disclosure is not limited to such an example.
  • a virtual space where the user does not necessarily play a game such as a virtual space provided as social media.
  • a virtual space where the user does not necessarily play a game, such as a virtual space provided as social media.
  • the procedure of actions between users as described above is simplified. The effect by.
  • a display control unit that displays an image of a virtual space in which the first user is active;
  • An action information generating unit that generates action information indicating an action from the first user to the second user in the virtual space;
  • An information processing apparatus comprising: a light modulation control unit that controls light modulation for displaying an image of the virtual space according to the action information.
  • the light modulation control unit temporally modulates light for displaying the image according to the action information.
  • the light modulation control unit temporally modulates luminance or chromaticity of light for displaying the image according to the action information.
  • the information processing apparatus (4) The information processing apparatus according to (1), wherein the light modulation control unit spatially modulates light for displaying the image according to the action information. (5) The information processing apparatus according to (4), wherein the light modulation control unit causes a code generated by encoding the action information to be partly displayed on a part of the image. (6) The light modulation control unit realizes control of light modulation according to the action information by changing image data input to the display control unit. The information processing apparatus according to any one of claims. (7) The light modulation control unit realizes control of light modulation according to the action information by changing a control signal of the display device output from the display control unit. The information processing apparatus according to any one of 5).
  • the light modulation control unit realizes control of light modulation according to the action information by changing image data transmitted to an external device that displays the image toward the second user.
  • the information processing apparatus according to any one of (1) to (5), wherein: (9) a captured image acquisition unit that acquires a captured image including a screen of an external device that displays a first image of a virtual space in which the first user is active; An action information extraction unit that extracts action information indicating an action from the first user to the second user in the virtual space from light modulation in the screen portion of the captured image; A response processing unit that executes a process for the second user to respond to the action; An information processing apparatus comprising: a display control unit configured to display a second image of the virtual space in which the second user is active according to a result of the processing.
  • the image sensor is exposed at a time different from an integral multiple of the temporal modulation period, and a first region exposed at an integral multiple of the temporal modulation period, and a second area exposed at an integral multiple of the temporal modulation period.
  • the first area and the second area are arranged over the entire area of the captured image.
  • the action information extraction unit includes an image that does not include temporal variation of the luminance or chromaticity of the light obtained in the first region, and a time of luminance or chromaticity of the light obtained in the second region.
  • the information processing apparatus according to (12), wherein the temporal modulation is specified from a difference from an image including fluctuation.
  • the information processing apparatus extracts the action information from spatial modulation of light in the screen portion.
  • the action information extracting unit extracts the action information by cutting out a code superimposed and displayed on the image of the virtual space in the screen portion and decoding the code.
  • Information processing device 16.
  • the information processing apparatus according to any one of (9) to (15), wherein the external apparatus is different from an apparatus used by the first user.
  • a display control unit that displays a first image of a virtual space in which the first user is active, An action information generation unit that generates action information indicating an action from the first user to the second user in the virtual space, and controls light modulation for displaying the first image according to the action information.
  • a first information processing apparatus comprising: a light modulation control unit; A captured image acquisition unit that acquires a captured image including a screen of a device that displays the first image; An action information extraction unit that extracts the action information from light modulation in the screen portion of the captured image; A response processing unit for executing a process for the second user to respond to the action, and a display for displaying a second image of the virtual space in which the second user is active according to a result of the process And a second information processing apparatus comprising a control unit.
  • the device that displays the first image includes the first information processing device.
  • the device that displays the first image is a device that is different from the first information processing device.
  • a processor controls modulation of light for displaying the first image according to the action information; Obtaining a captured image including a screen of a device that displays the first image; Extracting the action information from the modulation of light in the portion of the screen of the captured image; Executing a process for the second user to respond to the action; Displaying a second image of the virtual space in which the second user is active according to a result of the processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間におけるユーザ間のアクションにおける手順を簡略化する。 【解決手段】第1のユーザが活動する仮想空間の第1の画像を表示させる表示制御部、上記仮想空間における上記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部、および上記第1の画像を表示するための光の変調を、上記アクション情報に従って制御する光変調制御部を備える情報処理装置が提供される。また、上記第1の画像を表示する装置の画面を含む撮像画像を取得する撮像画像取得部、上記撮像画像の上記画面の部分における光の変調から上記アクション情報を抽出するアクション情報抽出部、上記第2のユーザが上記アクションに応答するための処理を実行する応答処理部、および上記処理の結果に応じて、上記第2のユーザが活動する上記仮想空間の第2の画像を表示させる表示制御部を備える情報処理装置が提供される。

Description

情報処理装置、システムおよび情報処理方法
 本開示は、情報処理装置、システムおよび情報処理方法に関する。
 近年、ネットワーク通信技術が発展したことによって、例えばゲームやソーシャルメディアのコンテンツとして、複数のユーザが共に活動するネットワーク上の仮想空間が提供されている。例えばネットワークゲームでは、仮想空間内でユーザ同士が対戦したり、パーティーを組んでプレイしたりすることが一般的になっている。例えば、特許文献1には、そのようなネットワークゲームにおいて、主催ユーザが共にプレイするユーザや代理のユーザを募集するときに、他のユーザの熟練度を参照することによって円滑な募集を可能にする技術が記載されている。
特開2013-94386号公報
 しかしながら、対戦相手の決定やパーティーメンバーの募集のような仮想空間におけるユーザ間のアクションには、例えば実空間におけるそれと比べて煩雑さが感じられることが多かった。例えばパーティーメンバーを募集する場合でいえば、主催ユーザがパーティーメンバーの募集を開始するステップ、他のユーザがパーティーへの参加を表明するステップ、および主催ユーザが他のユーザのパーティーへの参加を承認するステップなどが、すべてユーザの操作を介して実施される。それゆえ、例えばパーティーメンバーの募集を開始してからメンバーが揃うまで、主催ユーザのプレイが中断されることにもなりうる。特許文献1などに記載された技術も、このような煩雑さを解消するには至っていない。
 そこで、本開示では、仮想空間におけるユーザ間のアクションにおける手順を簡略化することが可能な、新規かつ改良された情報処理装置、システムおよび情報処理方法を提案する。
 本開示によれば、第1のユーザが活動する仮想空間の画像を表示させる表示制御部と、上記仮想空間における上記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部と、上記仮想空間の画像を表示するための光の変調を、上記アクション情報に従って制御する光変調制御部とを備える情報処理装置が提供される。
 また、本開示によれば、第1のユーザが活動する仮想空間の第1の画像を表示する外部装置の画面を含む撮像画像を取得する撮像画像取得部と、上記撮像画像の上記画面の部分における光の変調から、上記仮想空間における上記第1のユーザから第2のユーザへのアクションを示すアクション情報を抽出するアクション情報抽出部と、上記第2のユーザが上記アクションに応答するための処理を実行する応答処理部と、上記処理の結果に応じて、上記第2のユーザが活動する上記仮想空間の第2の画像を表示させる表示制御部とを備える情報処理装置が提供される。
 また、本開示によれば、第1のユーザが活動する仮想空間の第1の画像を表示させる表示制御部、上記仮想空間における上記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部、および上記第1の画像を表示するための光の変調を、上記アクション情報に従って制御する光変調制御部を備える第1の情報処理装置と、上記第1の画像を表示する装置の画面を含む撮像画像を取得する撮像画像取得部、上記撮像画像の上記画面の部分における光の変調から上記アクション情報を抽出するアクション情報抽出部、上記第2のユーザが上記アクションに応答するための処理を実行する応答処理部、および上記処理の結果に応じて、上記第2のユーザが活動する上記仮想空間の第2の画像を表示させる表示制御部を備える第2の情報処理装置とを含むシステムが提供される。
 また、本開示によれば、第1のユーザが活動する仮想空間の第1の画像を表示させることと、上記仮想空間における上記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成することと、プロセッサが、上記第1の画像を表示するための光の変調を、上記アクション情報に従って制御することと、上記第1の画像を表示する装置の画面を含む撮像画像を取得することと、上記撮像画像の上記画面の部分における光の変調から上記アクション情報を抽出することと、上記第2のユーザが上記アクションに応答するための処理を実行することと、上記処理の結果に応じて、上記第2のユーザが活動する上記仮想空間の第2の画像を表示させることを含む情報処理方法が提供される。
 以上説明したように本開示によれば、仮想空間におけるユーザ間のアクションにおける手順を簡略化することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。 本開示の第1の実施形態に係るゲーム機およびサーバの機能構成を示すブロック図である。 本開示の第1の実施形態に係るゲーム機の機能構成のうち、ユーザ間のアクションを実現するための手順に関連するものを抽出したブロック図である。 本開示の第1の実施形態における変調方式の第1の例について説明するための図である。 本開示の第1の実施形態における変調方式の第2の例について説明するための図である。 本開示の第1の実施形態における変調方式の第3の例について説明するための図である。 本開示の第1の実施形態における変調方式の第4の例について説明するための図である。 本開示の第1の実施形態における処理シーケンスの例について説明するための図である。 本開示の第2の実施形態に係るシステムの概略的な構成を示す図である。 本開示の第2の実施形態に係るゲーム機の機能構成を示すブロック図である。 本開示の第2の実施形態における処理シーケンスの例について説明するための図である。 本開示の第3の実施形態に係るシステムの概略的な構成を示す図である。 本開示の第4の実施形態に係るシステムの概略的な構成を示す図である。 本開示の第4の実施形態における処理シーケンスの例について説明するための図である。 本開示の第4の実施形態における各装置の関係を例示する図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態
  1-1.システム構成
  1-2.変調方式の例
  1-3.処理シーケンスの例
 2.第2の実施形態
  2-1.システム構成
  2-2.処理シーケンスの例
 3.第3の実施形態
 4.第4の実施形態
  4-1.システム構成
  4-2.処理シーケンスの例
 5.ハードウェア構成
 6.補足
 (1.第1の実施形態)
 (1-1.システム構成)
 図1は、本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、主催ユーザUhのゲーム機100aと、参加ユーザUpのゲーム機100bと、サーバ300とを含む。ゲーム機100a,100bは、後述する情報処理装置のハードウェア構成によって実現されうる。また、サーバ300は、後述する情報処理装置のハードウェア構成によって実現される1または複数のサーバ装置を含みうる。ゲーム機100a,100bとサーバ300とは、インターネットなどのネットワーク200によって相互に接続される。
 本実施形態において、主催ユーザUhと参加ユーザUpとは近接している。参加ユーザUpは、主催ユーザUhのゲーム機100aの画面を、ゲーム機100bの背面に設置されたカメラ(撮像装置)で撮影することが可能である。主催ユーザUhは、ゲーム機100aでネットワークゲームをプレイしている。ここで、主催ユーザUhは、目の前にいる参加ユーザUpを、ネットワークゲームのパーティーに勧誘することにした。
 このようなパーティーへの勧誘を、例えばゲーム機100a,100bとサーバ300との間の通信のみによって実行する場合、ユーザ同士が近接している状況であっても、サーバ300を介した数ステップの手順が必要である。より具体的には、主催ユーザUhがゲーム機100aを操作してパーティーメンバーの募集を開始し、参加ユーザUpがゲーム機100bを操作してパーティーメンバーの募集を参照するとともにパーティーへの参加を表明し、主催ユーザUhが参加ユーザUpによるパーティーへの参加表明を承認する手順が必要である。
 このような手順は、例えばサーバ300によって提供されるネットワークゲームの仮想空間が不特定多数のユーザに開放されているような場合には不可避的に発生する。参加ユーザUpがゲーム機100bで既に同じネットワークゲームをプレイしているような場合には、主催ユーザUhが参加ユーザUpを名指しでパーティーに勧誘することも可能でありうる。しかしながら、そのような場合でも主催ユーザUhが参加ユーザUpの識別情報を入力したり、参加ユーザUpが勧誘を承諾するか否かを確認したりするための、サーバ300を介した数ステップの手順が必要になる点には変わりがない。
 本実施形態では、上記のような手順を簡略化するために、ゲーム機100aとゲーム機100bとの間での可視光通信によって、主催ユーザUhから参加ユーザUpへのアクション(パーティーへの勧誘)を示すアクション情報を伝達する。より具体的には、ゲーム機100aは、主催ユーザUhの操作に従って、画面に仮想空間の画像を表示させるための光を、アクション情報に従って変調させる。この光は、仮想空間の画像に対応して既に変調されているが、それに重畳してアクション情報に従った変調が加えられる。
 例えば、ゲーム機100aは、光を空間的に変調させることによって、仮想空間の画像の一部にアクション情報がエンコードされたコードを重畳表示させてもよい。また、ゲーム機100aは、光の輝度および/または色度を時間的に変調させることによって、アクション情報を表現してもよい。この場合、輝度および/または色度の変調をユーザに知覚されない程度に微細かつ高速に実施すれば、変調はユーザによる仮想空間の画像の視認にほとんど影響を与えない。このようにして伝達されるアクション情報には、例えば、ゲーム機100aでプレイされているネットワークゲームを識別するための情報、および主催ユーザUhならびにパーティーの識別情報などが含まれうる。
 一方、ゲーム機100bでは、背面に設置されたカメラ(撮像装置)が、ゲーム機100aの画面を含む撮像画像を取得する。ゲーム機100bは、撮像画像に含まれるゲーム機100aの画面部分の光の変調から、上記のようなアクション情報を抽出することができる。抽出されたアクション情報に基づいて、ゲーム機100bは、ネットワークゲームの仮想空間において参加ユーザUpを主催ユーザUhのパーティーに参加させるための処理を実行する。例えば、ゲーム機100bは、参加ユーザUpがまだネットワークゲームをプレイしていなければ、ネットワークゲームのクライアントプログラムを起動するとともに、サーバ300にログインコマンドを送信する。さらに、ゲーム機100bは、参加ユーザUpを主催ユーザUhのパーティーに参加させるためのコマンドをサーバ300に送信する。このコマンドには、例えば、アクション情報から取得される主催ユーザUhやパーティーの識別情報が含まれうる。
 上記のような手順によって、参加ユーザUpは、主催ユーザUhのパーティーに参加した状態で、ゲーム機100bでネットワークゲームをプレイすることが可能になる。この手順において、主催ユーザUhは、最初に参加ユーザUpをパーティーに勧誘するための操作を実行した後は、参加ユーザUpにゲーム機100aの画面を見せるだけでよい。本実施形態では、光の変調によって情報を伝送する際も、ゲーム機100aで表示される画像の一部がコードの重畳表示で隠れたり、画像の輝度および/または色度が(例えばユーザに知覚されない程度に微細かつ高速に)時間的に変化したりするだけであるため、主催ユーザUhは、上記の操作を実行した後、参加ユーザUpのパーティーへの参加処理が完了するのを待たずに、ゲーム機100aで仮想空間におけるネットワークゲームのプレイを続行することができる。
 一方、参加ユーザUpが使用するゲーム機100bでは、ゲーム機100aの画面を含む撮像画像に基づいて主催ユーザUhやパーティーが特定されるため、参加ユーザUpが主催ユーザUhやそのパーティーを探す必要がない。また、主催ユーザUhが参加ユーザUpにゲーム機100aの画面を見せた時点でパーティーへの参加は承認されていると解されるため、パーティーへの参加表明後に主催ユーザUhの承認を待たなくてもよい。
 このように、本実施形態では、仮想空間において主催ユーザUhが参加ユーザUpをパーティーに勧誘するための手順が簡略化されているために、主催ユーザUhや参加ユーザUpは、スピーディーにパーティーを組んでネットワークゲームのプレイを開始することができる。これによって、主催ユーザUhや参加ユーザUpはネットワークゲームのプレイそのものに集中することができる。
 図2は、本開示の第1の実施形態に係るゲーム機およびサーバの機能構成を示すブロック図である。以下、図2を参照しながら、それぞれの機能構成についてより詳細に説明する。なお、図2では、ゲーム機100a,100bが、ゲーム機100として共通化されている。これは、本実施形態におけるゲーム機100a,100bの役割が互換的でありうることを示している。つまり、本実施形態では、同じゲーム機100が、主催ユーザUpによって使用される場合にはゲーム機100aとして機能し、参加ユーザUpによって使用される場合にはゲーム機100bとして機能しうる。
 ゲーム機100は、ネットワーク通信部101と、制御部103と、出力部105と、入力部107と、記憶部109とを有する。ネットワーク通信部101は、サーバ300との間でネットワーク通信を実行する各種の通信装置を含む。制御部103は、ゲーム機100の全体を制御するCPU(Central Processing Unit)などのプロセッサを含む。出力部105は、画像や音声、振動などを出力する各種の出力装置を含む。入力部107は、ボタンなどの操作子の操作や、タッチパネルへの接触、音声入力などを入力として受け付ける各種の入力装置を含む。また、入力部107は、撮像画像を生成する撮像装置を含む。記憶部109は、制御部103を動作させるためのプログラムをはじめ、ゲーム機100に入力された、またはゲーム機100で生成された各種の情報を、一時的または永続的に格納するメモリまたはストレージを含む。
 サーバ300は、ネットワーク通信部301と、制御部303と、記憶部305とを有する。ネットワーク通信部301は、ゲーム機100との間でネットワーク通信を実行する各種の通信装置を含む。制御部303は、サーバ300全体を制御し、ゲーム機100にネットワークゲームのサービスを提供するためのCPUなどのプロセッサを含む。記憶部305は、制御部303を動作させるためのプログラムをはじめ、ネットワークゲームのユーザ情報などを一時的または永続的に格納するメモリまたはストレージを含む。
 上記のようなゲーム機100とサーバ300との間で各種の情報がやりとりされることによって、ゲーム機100のユーザはネットワークゲームをプレイすることができる。例えば、ユーザがゲーム機100の入力部107を用いてゲーム開始のための操作入力を実行すると、制御部103がゲームのクライアントプログラム(専用のプログラムには限らず、汎用的なブラウザなどであってもよい)を起動するとともに、ネットワーク通信部101を介してサーバ300にユーザのログインコマンドを送信する。
 ログインが成功した場合、制御部103は、サーバ300から受信した情報に従って、出力部105を用いてゲームの仮想空間の画像を表示させたり、音声を出力させたりする。ユーザは、入力部107を用いた操作入力によって、仮想空間内で移動や発言、スポーツのプレイ、戦闘など、各種の活動を実行することができる。このような活動によって、例えば仮想空間に配置されるユーザのキャラクタの状態や、他のキャラクタを含む仮想空間自体の状態が変化する。制御部103は、継続的にサーバ300から情報を受信し、ゲーム機100のユーザや他のユーザの活動などによって逐次変化する仮想空間の画像や音声を出力し続ける。
 なお、上記のようなゲーム機100およびサーバ300の構成によって提供されるネットワークゲームとしては、様々な種類のものが既に知られている。従って、以下の説明では、ネットワークゲーム自体を提供するための処理に関する詳細な説明は省略し、「パーティーへの勧誘」といったような、ネットワークゲームの中で発生することが知られているユーザ間のアクションを、上述したような本実施形態の簡略化された手順で実現するための機能構成について、特に説明する。以下で説明する機能構成は、ユーザ間のアクションが発生する各種のネットワークゲームなどにおいて適用可能である。
 図3は、本開示の第1の実施形態に係るゲーム機の機能構成のうち、ユーザ間のアクションを実現するための手順に関連するものを抽出したブロック図である。図3を参照すると、ゲーム機100aは、表示制御部111と、操作入力取得部113と、アクション情報生成部115と、光変調制御部117とを含む。ゲーム機100bは、表示制御部121と、撮像画像取得部123と、アクション情報抽出部125と、応答処理部127とを含む。これらの機能構成は、いずれも、例えばゲーム機100の制御部103が実行するプログラムのステップとして実現される。
 (主催ユーザ側)
 表示制御部111は、ゲーム機100aのユーザ(主催ユーザUh)が活動するネットワークゲームの仮想空間の画像を表示させる。より具体的には、表示制御部111は、サーバ300から受信された情報に基づいて制御部103で実行されるネットワークゲームのクライアントプログラムから提供される画像データに従って、出力部105に含まれる表示装置1051を駆動させるための制御信号を出力する。このとき、表示制御部111に入力される画像データ、または表示制御部111が出力する制御信号は、光変調制御部117によって重畳的に制御されうる。
 操作入力取得部113は、表示制御部111が画像として表示させる仮想空間で活動しているゲーム機100aのユーザ(主催ユーザUh)の操作入力を取得する。より具体的には、操作入力取得部113は、入力部107によって受け付けられるボタンなどの操作子の操作や、タッチパネルへの接触、音声入力などを、仮想空間での活動に関する主催ユーザUhの操作入力として取得する。この操作入力によって表示制御部111によって画像として表示される仮想空間の状態が変化しうることは、上述した通りである。また、操作入力取得部113によって取得される操作入力には、仮想空間における他のユーザへのアクション、例えばパーティーへの勧誘などを指示するものが含まれる。
 アクション情報生成部115は、操作入力取得部113によって仮想空間における他のユーザへのアクションが指示された場合に、当該アクションを示すアクション情報を生成する。あるいは、アクション情報生成部115は、操作入力取得部113によって取得される指示によらず、自動的にアクション情報を生成してもよい。例えば、操作入力取得部113によって主催ユーザUhがパーティーのメンバーを勧誘するというアクションが指示された場合、アクション情報生成部115は、ゲーム機100aでプレイされているネットワークゲーム、主催ユーザUh、およびパーティーの識別情報などを含むアクション情報を生成する。本実施形態では、生成されたアクション情報を可視光通信によって参加ユーザUpに限定的に伝達することが可能であるため、アクション情報は参加ユーザUpを特定する情報を含まなくてもよい。
 光変調制御部117は、仮想空間の画像を表示させるための光の変調を、アクション情報生成部115によって生成されたアクション情報に従って制御する。上記の通り、ゲーム機100aでは、表示制御部111が表示装置1051を駆動するための制御信号を出力している。表示装置1051が制御信号に従って変調された光を出力することによって、仮想空間の画像が表示される。光変調制御部117は、表示制御部111に入力される画像データ、または表示制御部111が出力する表示装置1051の制御信号を(本来の仮想空間の画像を表示させるための制御に加えて)重畳的に制御する、より具体的にはこれらのデータや信号に変更を加えることによって、表示装置1051が出力する光をアクション情報に従って変調する。なお、変調方式のより具体的な例については後述する。
 (参加ユーザ側)
 表示制御部121は、ゲーム機100bのユーザ(参加ユーザUp)が活動するネットワークゲームの仮想空間の画像を表示させる。より具体的には、表示制御部111は、サーバ300から受信された情報に基づいて制御部103で実行されるネットワークゲームのクライアントプログラムから提供される画像データに従って、出力部105に含まれる表示装置1051を駆動させるための制御信号を出力する。ゲーム機100bで表示される仮想空間は、主催ユーザUhが活動する仮想空間と同じものでありうる。ただし、活動主体となるユーザが異なるため、仮想空間を映す画角やキャラクタの状態表示などは、ゲーム機100aとゲーム機100bとで異なりうる。
 ここで、表示制御部121は、応答処理部127の処理が実行される場合には、当該処理の結果に従って仮想空間の画像を表示させる。例えば、応答処理部127の処理が実行される時点においてまだ仮想空間の画像の表示が開始されていない場合、表示制御部121は、応答処理部127からの指示によって仮想空間の画像の表示を開始する。また、応答処理部127の処理が実行される時点において既に仮想空間の画像が表示されている場合も、表示制御部121は、応答処理部127からの指示によって、ゲーム機100aのユーザからのアクションに応答する参加ユーザUpの操作入力を促す通知(ダイアログなど)を仮想空間の画像に重畳して表示させてもよい。また、表示制御部121は、参加ユーザUpの操作入力によらずに自動的にアクションへの応答(例えばパーティーへの参加)が実行される場合、当該応答に従って変化した仮想空間の画像を表示させる。
 撮像画像取得部123は、ゲーム機100bの入力部107に含まれる撮像装置1071によって生成された撮像画像を取得する。他の実施形態において、撮像画像取得部123は、ゲーム機100bに外部接続された撮像装置から有線または無線の通信によって送信される撮像画像を取得してもよい。なお、撮像画像は、単一のフレーム(静止画像)を含んでもよいし、一連のフレーム(動画像)を含んでもよい。撮像画像は、参加ユーザUpとは異なるユーザ(主催ユーザUh)が活動する仮想空間の画像を表示する外部装置(ゲーム機100a)の画面を含みうる。上記のように、ゲーム機100aでは、光変調制御部117の機能によって、仮想空間の画像を表示させるための光の変調が制御されている。撮像画像取得部123は、画面を含む撮像画像を取得することによって、そのようにして変調された光をキャプチャする。
 アクション情報抽出部125は、撮像画像取得部123によって取得された撮像画像ゲーム機100aの画面の部分における光の変調からアクション情報を抽出する。上記のように、アクション情報によって示されるアクションは、主催ユーザUhから参加ユーザUpへのアクションでありうる。アクション情報抽出部125は、撮像画像としてキャプチャされた光の空間的および/または時間的な変化から、ゲーム機100aにおいて光変調制御部117によって与えられた付加的な変調成分を分離する。当該付加的な変調成分は、ゲーム機100aにおいてアクション情報生成部115によって生成されたアクション情報を示す。
 応答処理部127は、アクション情報抽出部125によって抽出されたアクション情報に基づいて、ゲーム機100bのユーザ、すなわち参加ユーザUpが主催ユーザUhのアクションに応答するための処理を実行する。応答処理部127は、例えば、アクションに応答する操作入力を促す通知を出力させる。通知は、表示制御部121を介して、表示装置1051によって画像として出力されてもよい。また、通知は、音声や振動によって、またはこれらと画像との組み合わせによって出力されてもよい。あるいは、事前に参加ユーザUpの許可が得られているような場合、応答処理部127は、アクションに応答するための処理を自動的に実行してもよい。より具体的には、例えば、応答処理部127は、ネットワークゲームのクライアントプログラムを自動的に起動したり、ログインコマンドをサーバ300に送信したり、仮想空間内でパーティーに参加するためのコマンドをサーバ300に送信したりする処理を、自動的に実行してもよい。
 (1-2.変調方式の例)
 (第1の例)
 図4は、本開示の第1の実施形態における変調方式の第1の例について説明するための図である。図4では、ゲーム機100aの表示装置1051に表示されるネットワークゲームの仮想空間の画像1053と、仮想空間の画像1053の一部に重畳表示される2次元コード1055とが示されている。図示されているように、第1の例では、アクション情報をエンコードすることによって生成される2次元コード1055が、仮想空間の画像1053の一部に重畳して表示される。
 第1の例において、ゲーム機100aの光変調制御部117は、仮想空間の画像を表示させるための光を、アクション情報に従って空間的に変調させる。ここで、光変調制御部117は、2次元コード1055を透過的に仮想空間の画像1053に重畳させてもよいし、画像1053に上書きしてもよい。一方、ゲーム機100bの撮像画像取得部123は、ゲーム機100aの画面に表示された2次元コード1055を含む撮像画像を取得する。アクション情報抽出部125は、画像から切り出された2次元コード1055をデコードすることによって、アクション情報を抽出する。
 上記のような第1の例に係る変調方式は、ゲーム機100aに表示される仮想空間の画像1053の一部が隠されるものの、画像に含まれるアクション情報(2次元コード1055)がユーザによって視認可能であるため、例えばゲーム機100bのユーザが撮像を実行するタイミングがわかりやすい。また、アクション情報を抽出するためには、2次元コード1055の全体が映った少なくとも1フレームの撮像画像があればよい。なお、2次元コード1055の形式は、どのようなものであってもよい。また、2次元コード1055に代えて、画面の端などに1次元コードが表示されてもよい。
 (第2の例)
 図5は、本開示の第1の実施形態における変調方式の第2の例について説明するための図である。図5では、(A)ゲーム機100aの表示装置1051に仮想空間の画像1053を表示させるにあたり、表示装置1051に含まれるバックライト1057の輝度Iを時間的に変調させることと、(B)ゲーム機100b側で観察される画像1053における点P~Pの輝度R~Rの時間変化とが示されている。
 第2の例において、ゲーム機100aの光変調制御部117は、仮想空間の画像を表示させるための光を、アクション情報に従って時間的に変調させる。より具体的には、光変調制御部117は、バックライト1057の輝度Iがアクション情報に従って時間的に変調されるように、表示制御部111が表示装置1051を駆動するための制御信号を制御する。あるいは、光変調制御部117は、同様の時間的な変調が実現されるように、表示制御部111に入力される画像データの輝度値を変更してもよい。一方、ゲーム機100bのアクション情報抽出部125は、撮像画像に含まれる仮想空間の画像1053の輝度Rの時間変化から変調信号を検出し、変調信号を復調することによってアクション情報を抽出する。
 上記のような第2の例に係る変調方式では、第1の例とは異なり、ゲーム機100aに表示される仮想空間の画像1053が隠されない。また、輝度Iの時間変化として例示したような光変調制御部117による光の変調は、ユーザの目の応答速度よりも速い変動速度で実施することが可能である。それゆえ、ユーザによって視認される仮想空間の画像1053は、変調成分が積分されて均一化された結果、光変調制御部117による変調が実施されていない場合と実質的に変わらない。従って、本例では、ゲーム機100aを使用する主催ユーザUhによるゲームのプレイへの影響が、第1の例よりもさらに少ない。ただし、本例では、画像にアクション情報が含まれていることが参加ユーザUpに伝わりづらいため、参加ユーザUpがゲーム機100bで撮像を実行するタイミングについて、例えば主催ユーザUhから参加ユーザUpにインストラクションがあってもよい。
 なお、上記の第2の例では、画像1053の輝度の時間的な変調によってアクション情報が表現されたが、他の例では、例えば画像1053の色度の時間的な変調によってアクション情報が表現されてもよい。より具体的には、バックライト1057が多色の発光LEDによって構成されるような場合、光変調制御部117が各色のLEDの発光強度のバランスを時間的に変化させることによって、アクション情報に対応した光の変調を実現してもよい。あるいは、光変調制御部117は、同様の時間的な変量が実現されるように、表示制御部111に入力される画像データの色度値を変更してもよい。
 (第3の例)
 図6は、本開示の第1の実施形態における変調方式の第3の例について説明するための図である。図6では、(A)ゲーム機100bの撮像装置1071がCMOSなどのローリングシャッタ方式を採用するイメージセンサによって実現される場合の行ごとのシャッタータイミングと、(B)行ごとのシャッタータイミングの違いによって生じる行ごとの輝度値の空間的な変動と、(C)輝度値の空間的な変動を含んで観察される画像と元の画像との関係とが示されている。本例において、アクション情報抽出部125は、撮像画像内で露光タイミングの異なる複数の位置における光の輝度または色度の相違から、仮想空間の画像を表示するための光に与えられた時間的な変調を特定する。
 より具体的には、(A)に示すように、ローリングシャッタ方式を採用するイメージセンサでは、行ごとに露光のタイミングが少しずつ異なる。この結果、(B)に示すように、変調成分を含む画像の輝度値の位相が、例として抽出された行rの露光時間(時刻t)と、行rの露光時間(時刻t)と、行rの露光時間(時刻t)とでそれぞれ異なる。この結果、(C)に示されるように、撮像画像に含まれる仮想空間の画像1053には、輝度の空間的な変動が現れる。このような輝度変動(フリッカ)を含む画像1053は、本来の(変調成分を含まない)仮想空間の画像1053pに、光変調制御部117によって加えられた光の変調成分1053fが重畳されたものといえる。
 従って、何らかの方法(例えば複数フレームの画像を重ね合わせるなど)によってフリッカが除去された本来の画像1053pが得られれば、撮像画像のあるフレームに含まれる画像1053と本来の画像1053pとの差分から、変調成分1053fを抽出することができる。変調成分1053fは、例えば撮像装置1071を実現するイメージセンサのシャッタースピードに基づいて、輝度の時間的な変動に換算できる。あるいは、変調成分1053fは、そのまま空間的な変調成分として扱われてもよい。
 (第4の例)
 図7は、本開示の第1の実施形態における変調方式の第4の例について説明するための図である。図7では、(A)ゲーム機100bの撮像装置1071がCMOSなどのローリングシャッタ方式を採用するイメージセンサによって実現される場合の行ごとの露光時間と、(B)撮像装置1071で得られる同一フレームの2つの撮像画像と、(C)2つの撮像画像と輝度変動との関係とが示されている。本例でも、アクション情報抽出部125は、撮像画像内で露光タイミングの異なる複数の位置における光の輝度または色度の相違から、仮想空間の画像を表示するための光に与えられた時間的な変調を特定するが、その具体的な手順が上記の第3の例とは異なる。
 より具体的には、(A)に示すように、この第4の例において撮像装置1071を実現するイメージセンサは、ローリングシャッタ方式を採用するのに加えて、行ごとまたは画素ごとに露光時間の長さが異なる。図示された例では、第1の露光時間tp1で露光する行rp1と、第1の露光時間よりも短い第2の露光時間tp2で露光する行rp2とが交互に、撮像素子の全域にわたって配列されている。本例では、(B)に示すように、撮像画像取得部123が、行rp1の画素からなる画像1053p1と、行rp2の画素からなる画像1053p2とを別々に取得する。画像1053p1と画像1053p2との間では露光時間の長さが異なるために、時間変調された輝度値の積分区間が異なり、従って行の配列方向に現れる輝度変動が異なる。
 ここで、元の画像1053pの輝度をibg(y)、画像1053p1,1053p2のそれぞれの輝度をi(y),i(y)、シャッタ関数(既知)をs(t),s(t)、光変調制御部117によって生成される輝度の時間的な変調成分をf(t)とすると、以下の式1および式2に示すような関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
 さらに、例えば、第1の露光時間tp1が、光変調制御部117によって生成される変調成分f(t)の周期の整数倍である場合、画像1053p1では、変調成分f(t)が積分によって相殺される。従って、画像1053p1の輝度i(y)について以下の式3が成り立つ(kは任意の整数)。さらに、式3を上記の式2に代入すると、式4が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 シャッタ関数s(t)およびkは既知であるため、上記の式4にi(y)およびi(y)を代入することによって、変調成分f(t)を求めることができる。つまり、本例では、第1の露光時間tp1を光変調制御部117によって生成される変調成分f(t)の周期の整数倍にすることによって、1フレームの撮像画像からアクション情報を示す変調成分f(t)を抽出することができる。より具体的には、式4において、変調成分f(t)は、輝度の時間変動を含まない画像1053p1の輝度i(y)と、輝度の時間変動を含む画像1053p2の輝度i(y)との差分として算出される。
 (1-3.処理シーケンスの例)
 図8は、本開示の第1の実施形態における処理シーケンスの例について説明するための図である。図8には、主催ユーザUhと、ゲーム機100aと、ゲーム機100bと、参加ユーザUpと、サーバ300との間での処理シーケンスの例が示されている。
 図8を参照すると、まず、ゲーム機100aで、主催ユーザUhの操作によってゲームプログラムが起動される(S101,S103)。このとき、ゲーム機100aは、サーバ300に主催ユーザUhの識別情報を送信する(S105)とともに、ゲーム画面の表示を開始する(S107)。これ以降、サーバ300は、例えばゲーム機100aから送信される主催ユーザUhの操作情報(図示せず)に基づいてゲーム内の仮想空間の情報を更新してゲーム機100aに送信し(S109)、ゲーム機100aは更新された仮想空間の画像を表示させる(S111)。
 ある時点で、主催ユーザUhは、ゲームの仮想空間内でパーティーメンバーを勧誘することにし、ゲーム機100aに対してパーティーメンバー勧誘のための操作を実行する(S113)。あるいは、S103でゲームプログラムが起動された後、自動的にパーティーメンバーの勧誘が開始されるように設定されていてもよい。このとき、ゲーム機100aは、アクション情報生成部115の機能によってアクション情報を生成し(S115)、上述したような可視光通信によってアクション情報をゲーム機100bに伝達する(S117)。
 このとき、ゲーム機100bではゲームプログラムが起動されていなくてもよいが、撮像装置1071が起動されていなければ何も起こらない。図示された例では、主催ユーザUhから口頭などでパーティー勧誘の意思を伝えられた参加ユーザUpが、ゲーム機100bに対して撮像装置1071(カメラ機能)を起動するための操作を実行し(S119)、ゲーム機100bがカメラ機能を起動させ(S121)、プレビュー画像(ライブビュー画像)を表示させる(S123)。
 ここで、ゲーム機100bの撮像装置1071によって取得される撮像画像にゲーム機100aの画面が含まれるようになると、上記のS117でゲーム機100a側から可視光通信によって伝達されているアクション情報が、ゲーム機100bによって受信される(S125)。ゲーム機100bでは、アクション情報抽出部125が撮像画像からアクション情報を抽出し、応答処理部127がパーティー参加のための処理を実行する。より具体的には、応答処理部127は、ゲーム機100bでゲームプログラムを起動させるとともに(S127;まだ起動されていない場合)、パーティーに参加するか否かを確認するためのダイアログを画面に表示させる(S129)。参加ユーザUpから参加を承諾することを示す操作入力が与えられた場合(S131)、ゲーム機100aは参加ユーザUpの識別情報と、アクション情報から抽出された主催ユーザUhおよびパーティーなどの識別情報とをサーバ300に送信する(S133)。
 サーバ300では、ゲーム機100bから受信された情報に基づいて、ゲームの仮想空間内で参加ユーザUpを主催ユーザUhのパーティーに参加させるための処理が実行される(S135)。処理が完了すると、サーバ300は、参加ユーザUpがパーティーに参加したことの通知をゲーム機100aに送信し(S137)、ゲーム機100aは通知を主催ユーザUhに出力する(S139)。なお、上記のS113において主催ユーザUhがパーティーメンバー勧誘のための操作を実行してから、S137で参加ユーザUpのパーティーへの参加が完了するまで、ゲーム機100aにおける主催ユーザUhのゲームプレイは中断されない。これ以降、主催ユーザUhと参加ユーザUpとは、それぞれゲーム機100aおよびゲーム機100bを使用して、サーバ300によって提供されるゲームの仮想空間内で、互いに同じパーティーに属してゲームをプレイすることができる。
 (2.第2の実施形態)
 (2-1.システム構成)
 図9は、本開示の第2の実施形態に係るシステムの概略的な構成を示す図である。図9を参照すると、システム20は、主催ユーザUhのゲーム機100aと、参加ユーザUpのゲーム機100bとを含む。ゲーム機100a,100bは、後述する情報処理装置のハードウェア構成によって実現されうる。ゲーム機100a,100bは、Bluetooth(登録商標)などのアドホック通信、またはインターネットなどのネットワーク通信によって相互に接続される。
 本実施形態では、上記の第1の実施形態とは異なり、システム20にサーバが含まれない。システム20では、ゲーム機100a、またはゲーム機100bがそれぞれ単独でゲームの仮想空間を提供することが可能である。ただし、ゲーム機100aおよびゲーム機100bは、互いのゲームの仮想空間をリンクさせることができる。つまり、ゲーム機100aおよびゲーム機100bをそれぞれ使用して、主催ユーザUhと参加ユーザUpとは、第1の実施形態と同様にパーティーを組んでゲームをプレイすることができる。
 本実施形態において、ゲーム機100aとゲーム機100bとの間での可視光通信に関する手順は、第1の実施形態と同様である。つまり、ゲーム機100aは、主催ユーザUhから参加ユーザUpへのアクション(パーティーへの勧誘)を示すアクション情報に従って、画面に画像を表示させるための光を変調させる。ゲーム機100bでは、背面に設置されたカメラが、ゲーム機100aの画面を含む撮像画像を取得する。ゲーム機100bは、撮像画像に含まれるゲーム機100aの画面部分の光の変調から、アクション情報を抽出することができる。
 抽出されたアクション情報に基づいて、ゲーム機100bは、例えば参加ユーザUpが主催ユーザUhとパーティーを組んでゲームをプレイするための処理を実行する。より具体的には、ゲーム機100bは、参加ユーザUpがまだゲームをプレイしていなければ、ゲームのプログラムを起動する。ゲーム機100bにゲームのプログラムがインストールされていない場合、ゲーム機100bは、ゲーム機100aにプログラムを送信するように要求してもよい。さらに、ゲーム機100bは、ゲームの仮想空間内でパーティーを組んでプレイするためのコマンドをゲーム機100aに送信する。以上のような手順によって、本実施形態でも、第1の実施形態と同様に、主催ユーザUhや参加ユーザUpは、スピーディーにパーティーを組んでゲームのプレイを開始することができる。
 図10は、本開示の第2の実施形態に係るゲーム機の機能構成を示すブロック図である。図10を参照すると、ゲーム機100は、通信部201と、制御部103と、出力部105と、入力部107と、記憶部109とを有する。通信部201は、ゲーム機100同士の間でアドホック通信(またはネットワーク通信)を実行する各種の通信装置を含む。制御部103、出力部105、入力部107、および記憶部109は、第1の実施形態と同様の構成要素であるため、重複した説明は省略する。
 上記の通り、本実施形態において、ゲーム機100は、各ユーザがゲームをプレイするための処理を単独で実行することが可能である。複数のユーザが、それぞれゲーム機100を使用してパーティーを組んでゲームをプレイする場合、ゲーム機100は、それぞれユーザによる操作入力や、仮想空間の状態などを示す情報を、互いに交換する。あるいは、いずれかのゲーム機100がホストとして機能してもよい。この場合、他のゲーム機100は操作入力やユーザの状態などを示す情報をホストのゲーム機100に送信し、更新された仮想空間の状態を示す情報をホストのゲーム機100から受信する。
 なお、上記で図3を参照して説明したユーザ間のアクションを実現するための手順に関連する機能構成や、上記で図4~図7を参照して説明した変調方式の例については、本実施形態についても同様であるため、これらの事項についての重複した説明は省略する。
 (2-2.処理シーケンスの例)
 図11は、本開示の第2の実施形態における処理シーケンスの例について説明するための図である。図11には、主催ユーザUhと、ゲーム機100aと、ゲーム機100bと、参加ユーザUpとの間での処理シーケンスの例が示されている。
 図11を参照すると、まず、ゲーム機100aで、主催ユーザUhの操作によってゲームプログラムが起動される(S201,S203)。ゲーム機100aは、ゲームの仮想空間の画像を表示させる(S205)。ある時点で、主催ユーザUhは、ゲームの仮想空間内でパーティーメンバーを勧誘することにし、ゲーム機100aに対してパーティーメンバー勧誘のための操作を実行する(S207)。あるいは、S203でゲームプログラムが起動された後、自動的にパーティーメンバーの勧誘が開始されるように設定されていてもよい。このとき、ゲーム機100aは、アクション情報生成部115の機能によってアクション情報を生成し(S209)、第1の実施形態で説明したのと同様の可視光通信によってアクション情報をゲーム機100bに伝達する(S211)。
 このとき、ゲーム機100bではゲームプログラムが起動されていなくてもよいが、撮像装置1071が起動されていなければ何も起こらない。図示された例では、主催ユーザUhから口頭などでパーティー勧誘の意思を伝えられた参加ユーザUpが、ゲーム機100bに対して撮像装置1071(カメラ機能)を起動するための操作を実行し(S213)、ゲーム機100bがカメラ機能を起動させ(S215)、プレビュー画像(ライブビュー画像)を表示させる(S217)。
 ここで、ゲーム機100bの撮像装置1071によって取得される撮像画像にゲーム機100aの画面が含まれるようになると、上記のS211でゲーム機100a側から可視光通信によって伝達されているアクション情報が、ゲーム機100bによって受信される(S219)。ゲーム機100bでは、アクション情報抽出部125が撮像画像からアクション情報を抽出し、応答処理部127がパーティー参加のための処理を実行する。より具体的には、応答処理部127は、ゲーム機100bでゲームプログラムを起動させるとともに(S221;まだ起動されていない場合)、パーティーに参加するか否かを確認するためのダイアログを画面に表示させる(S223)。参加ユーザUpから参加を承諾することを示す操作入力が与えられた場合(S225)、ゲーム機100bはゲーム機100aとの間で参加ユーザUpを主催ユーザUhのパーティーに参加させるための処理を実行する(S227)。処理が完了すると、ゲーム機100aは、参加ユーザUpがパーティーに参加したことの通知を主催ユーザUhに出力する(S229)。これ以降、主催ユーザUhと参加ユーザUpとは、それぞれゲーム機100aおよびゲーム機100bを使用して、ゲームの仮想空間内でパーティーを組んでプレイすることができる。
 以上で説明した第2の実施形態のように、本開示の実施形態では、ユーザが活動する仮想空間が、必ずしもサーバによって提供されなくてもよく、ゲーム機などのクライアント同士の通信を介した処理によって提供されてもよい。この場合、クライアント同士は、例えばBluetooth(登録商標)のような通信プロトコルを介して互いを認識している。しかしながら、通信プロトコルによって認識される相手側の装置と、ゲームの仮想空間内でアクションの対象になる相手側のユーザとが必ずしも自動的に対応するとは限らない(例えば、複数の装置とBluetooth(登録商標)を用いて通信している可能性がある)ため、本開示の実施形態における、可視光通信によるアクション情報の伝達は有用でありうる。
 (3.第3の実施形態)
 図12は、本開示の第3の実施形態に係るシステムの概略的な構成を示す図である。図12を参照すると、システム30は、主催ユーザUhのゲーム機100cと、参加ユーザUpのゲーム機100bと、サーバ300とを含む。ゲーム機100b,100cは、後述する情報処理装置のハードウェア構成によって実現されうる。また、サーバ300は、後述する情報処理装置のハードウェア構成によって実現される1または複数のサーバ装置を含みうる。ゲーム機100b,100cとサーバ300とは、インターネットなどのネットワーク200によって相互に接続される。あるいは、システム30はサーバ300を含まず、ゲーム機100b,100cは、上述した第2の実施形態と同様にアドホック通信などによって互いに接続されてもよい。
 本実施形態では、主催ユーザUh(複数であってもよい)が据え置き型のゲーム機100cを使用し、参加ユーザUpが携帯型のゲーム機100bを使用している。ゲーム機100bは背面に設置されたカメラ(撮像装置)でゲーム機100cの画面を撮影することが可能であるが、ゲーム機100cがゲーム機100bの画面を撮影することは可能ではない。従って、本実施形態において、ゲーム機100cとゲーム機100bとの役割は互換的ではない。つまり、本実施形態では、ゲーム機100cを使用するユーザが主催ユーザUhになり、ゲーム機100bを使用するユーザが参加ユーザUpになる。なお、役割が互換的でないという点を除いて、ゲーム機100cの機能構成は、第1の実施形態で説明されたゲーム機100aと同様である。
 この第3の実施形態のように、本開示の実施形態では、それぞれのユーザによって使用される情報処理装置の機能が互換的でなくてもよくてもよい。つまり、本開示の実施形態に係るシステムは、アクション情報に従って仮想空間の画像を表示させるための光の変調を制御する機能を有する情報処理装置と、そのようにして表示された画像を含む撮像画像からアクション情報を抽出する情報処理装置とを少なくとも1つずつ含んでいればよく、これらの装置の役割が互換的であったり、これらの装置が同じ種類の装置であったりする必要はない。
 (4.第4の実施形態)
 (4-1.システム構成)
 図13は、本開示の第4の実施形態に係るシステムの概略的な構成を示す図である。図13を参照すると、システム40は、主催ユーザUhのゲーム機100dと、参加ユーザUpが視聴しているモニタ100eと、参加ユーザUpのゲーム機100bと、動画配信サーバ300aと、ゲームサーバ300bとを含む。ゲーム機100b,100d、およびモニタ100eは、後述する情報処理装置のハードウェア構成によって実現されうる。また、動画配信サーバ300aおよびゲームサーバ300bは、それぞれ、後述する情報処理装置のハードウェア構成によって実現される1または複数のサーバ装置を含みうる。ゲーム機100b,100dおよびモニタ100eと、動画配信サーバ300aおよびゲームサーバ300bとは、インターネットなどのネットワーク200によって相互に接続される。
 上記の各実施形態とは異なり、本実施形態において主催ユーザUhと参加ユーザUpとは必ずしも近接していない。例えば、主催ユーザUhは、ゲーム機100dでネットワークゲームをプレイし、プレイ中のゲーム画面を動画配信サーバ300aにアップロードしている。動画配信サーバ300aは、アップロードされたゲーム画面を、参加ユーザUhが視聴するモニタ100eに動画として配信している。参加ユーザUpは、動画が表示されるモニタ100eの画面を、ゲーム機100bの背面に設置されたカメラ(撮像装置)で撮影することが可能である。
 近年、いわゆるライブストリーミングのための技術の発展によって、ユーザがプレイ中のゲーム画面を他のユーザにリアルタイムで配信することが可能になっている。本実施形態では、このような技術を利用して、主催ユーザUhが、プレイ中のゲーム画面を動画として参加ユーザUpに配信している。参加ユーザUpは、配信されているゲーム画面の動画をPC(Personal Computer)やテレビなどのモニタ100eで視聴している。本実施形態では、このときに、参加ユーザUpがゲーム機100bのカメラでモニタ100eの画面を撮影することによって、可視光通信によるアクション情報の伝達が実施される。この結果、例えば、参加ユーザUpは、主催ユーザUhがプレイしているネットワークゲームのプレイを開始し、さらに主催ユーザUhのパーティーに参加することができる。
 (4-2.処理シーケンスの例)
 図14は、本開示の第4の実施形態における処理シーケンスの例について説明するための図である。図14には、主催ユーザUhと、ゲーム機100dと、動画配信サーバ300aと、ゲームサーバ300bと、モニタ100eと、ゲーム機100bと、参加ユーザUpとの間での処理シーケンスの例が示されている。
 図14を参照すると、まず、ゲーム機100dで、主催ユーザUhの操作によってゲームプログラムが起動される(S401,S403)。このとき、ゲーム機100dは、ゲームサーバ300bに主催ユーザUhの識別情報を送信する(S405)とともに、ゲーム画面の表示を開始する(S407)。これ以降、ゲームサーバ300bは、例えばゲーム機100dから送信される主催ユーザUhの操作情報(図示せず)に基づいてゲーム内の仮想空間の情報を更新してゲーム機100dに送信し(S409)、ゲーム機100dは更新された仮想空間の画像を表示させる(S411)。これと並行して、ゲーム機100dは、仮想空間の画像を動画配信サーバ300aにアップロードしている(S413)。参加ユーザUpは、モニタ100eで動画再生プログラムを起動する(S415)ことによって、動画配信サーバ300aから配信される(S417)画像の視聴を開始する(S419)。
 ある時点で、主催ユーザUhは、ゲームの仮想空間内でパーティーメンバーを募集することにし、ゲーム機100dに対してパーティーメンバー募集のための操作を実行する(S421)。あるいは、S413で動画のアップロードが開始された後、自動的にパーティーメンバーの募集が開始されるように設定されていてもよい。このとき、ゲーム機100dはアクション情報を生成し(S423)、生成されたアクション情報を動画配信サーバ300aに伝達する(S425)。動画配信サーバ300aは、アクション情報に従って、配信している画像のデータを変更し(S427)、変更されたデータをモニタ100eに配信する(S429)。より具体的には、例えば、動画配信サーバ300aは、配信している画像の全体の輝度値を、アクション情報に従って時間的に変調する。あるいは、動画配信サーバ300aは、配信している画像の一部に2次元コードを重畳させてもよい。変調方式の例は、上記の第1の実施形態において説明されたものと同様でありうる。
 本実施形態において、主催ユーザUhのゲーム機100dで生成されたアクション情報は、モニタ100eから参加ユーザUpのゲーム機100bへと、可視光通信によって伝達される(S431)。このとき、ゲーム機100bではゲームプログラムが起動されていなくてもよいが、撮像装置1071が起動されていなければ何も起こらない。図示された例では、配信された動画を視聴した参加ユーザUpが、ゲーム機100bに対して撮像装置1071(カメラ機能)を起動するための操作を実行し(S433)、ゲーム機100bがカメラ機能を起動させ(S435)、プレビュー画像(ライブビュー画像)を表示させる(S437)。このとき、主催ユーザUhから動画を視聴している不特定のユーザ(潜在的な参加ユーザUp)に対して、画像(チャットログなど)や音声で、パーティーへの参加を呼び掛けるメッセージが送られてもよい。あるいは、参加ユーザUpは、自発的にパーティーへの参加を思い立ってもよい。
 ゲーム機100bの撮像装置1071によって取得される撮像画像にモニタ100eの画面が含まれるようになると、上記のS425およびS429(図示された例では繰り返して実行されている)で配信され、モニタ100e側から可視光通信によって伝達されているアクション情報が、ゲーム機100bによって受信される(S439)。ゲーム機100bでは、アクション情報抽出部125が撮像画像からアクション情報を抽出し、応答処理部127がパーティー参加のための処理を実行する。より具体的には、応答処理部127は、ゲーム機100bでゲームプログラムを起動させるとともに(S441;まだ起動されていない場合)、パーティーに参加するか否かを確認するためのダイアログを画面に表示させる(S443)。参加ユーザから参加を承諾することを示す操作入力が与えられた場合(S445)、ゲーム機100aはゲームサーバ300bにユーザUpの識別情報と、アクション情報から抽出された主催ユーザUhおよびパーティーの識別情報などを送信する(S447)。
 ゲームサーバ300bでは、ゲーム機100bから受信された情報に基づいて、ゲームの仮想空間内で参加ユーザUpを主催ユーザUhのパーティーに参加させるための処理が実行される(S449)。処理が完了すると、ゲームサーバ300bは、参加ユーザUpがパーティーに参加したことの通知をゲーム機100dに送信し(S451)、ゲーム機100dは通知を主催ユーザUhに出力する(S453)。なお、上記のS421において主催ユーザUhがパーティーメンバー募集のための操作を実行してから、S453で参加ユーザUpのパーティーへの参加が完了するまで、ゲーム機100dにおける主催ユーザUhのゲームプレイは中断されない。これ以降、主催ユーザUhと参加ユーザUpとは、それぞれゲーム機100dおよびゲーム機100bを使用して、ゲームサーバ300bによって提供されるゲームの仮想空間内で、互いに同じパーティーに属してゲームをプレイすることができる。
 なお、参加ユーザUpは、ゲームのプレイを開始したことに伴って、動画配信サーバ300aから配信される動画の視聴を終了してもよい。一方、他のユーザのために、ゲーム機100dから動画配信サーバ300aへの動画のアップロード、および動画配信サーバ300aからクライアント装置への動画の配信は継続されうる。
 図15は、本開示の第4の実施形態における各装置の関係を例示する図である。図15を参照すると、主催ユーザUhが使用するゲーム機100dは、通信手段200aを介してゲームサーバ300bと通信し、ネットワークゲームのプレイに関する情報をやりとりする。また、ゲーム機100dは、通信手段200bを介して動画配信サーバ300aとも通信し、ネットワークゲームのプレイ中のゲーム画面をアップロードしている。通信手段200a,200bは、例えばインターネットなどの共通の構成を含んでもよいし、互いに異なる構成を含んでもよい。
 ここで、ゲーム機100dは、動画配信サーバ300aにゲーム画面をアップロードする機能を有し、かつ後述するようにアクション情報の伝達のための光の変調を直接的には実行しない点を除いて、第1の実施形態で説明したゲーム機100a、または第3の実施形態で説明されたゲーム機100cと同様の構成を有する。なお、画像をアップロードするための機能構成については、既によく知られているため詳細な説明は省略する。アクション情報の伝達のための光の変調を直接的には実行しない点については後述する。
 一方、参加ユーザUpが動画を視聴するために使用するモニタ100eは、通信手段200cを介して動画配信サーバ300aと通信し、ゲーム機100dから動画配信サーバ300aを介して配信される動画を受信する。ここで、モニタ100eは、上記の通りPCやテレビなどでありうる。モニタ100eはアクション情報に従って変調された画像を可視光通信によってゲーム機100bへと伝達するが、必ずしもモニタ100eが光を変調する機能を有さなくてもよい。つまり、本実施形態において、モニタ100eは、単純に配信された画像を出力する構成を有するものでありうる。そのようなモニタの構成については、既によく知られているため詳細な説明は省略する。
 引き続き図15を参照して、参加ユーザUpが使用するゲーム機100bは、通信手段200dを介してゲームサーバ300bと通信し、ネットワークゲームのプレイに関する情報をやりとりする。ゲーム機100bは、上記の第1の実施形態で説明したゲーム機100bと同様の構成を有しうる。本実施形態では、撮像装置1071による撮像画像に含まれるのが他のゲーム機100aの画面ではなくモニタ100eの画面であるが、仮想空間の画像を表示する外部装置の画面という点では同じである。例えば、ゲーム機100bは、撮像画像に含まれる画面が様々な装置の画面である場合に対応していてもよい。
 以上で説明した本開示の第4の実施形態において、例えば上記の第1の実施形態で説明したユーザ間のアクションを実現するための手順に関連する機能構成は、例えば以下のように実装される。
 (主催ユーザ側)
 本実施形態において、主催ユーザUhが活動する仮想空間の画像を画面に表示させているのは、主催ユーザUhが使用しているゲーム機100dと、主催ユーザUhからアップロードされた画像が動画配信サーバ300aを介して配信されたものを表示させているモニタ100eである。従って、上記の表示制御部111は、ゲーム機100d、動画配信サーバ300a、および/またはモニタ100eにおいて実現される。なお、後述する光変調制御部117による重畳的な制御を受けるのは、動画配信サーバ300aおよび/またはモニタ100eにおいて実現される表示制御部111である。
 主催ユーザUhの操作入力を取得する操作入力取得部113は、ゲーム機100dにおいて実現される。
 主催ユーザUhの操作入力に基づいて、仮想空間における主催ユーザUhから参加ユーザUpへのアクションを示すアクション情報を生成するアクション情報生成部115は、例えばゲーム機100dにおいて実現される。あるいは、操作入力を示す情報がアクション情報の代わりに動画配信サーバ300aに伝達され、動画配信サーバ300aにおいてアクション情報生成部115が実現されてもよい。
 上記の通り、本実施形態において、仮想空間の画像を表示させるための光の変調をアクション情報に従って制御する光変調制御部117は、例えばゲーム機100dにおいて実現される。この場合、光変調制御部117は、ゲーム機100dから動画配信サーバ300aにアップロードされる画像データを変更することによって、アクション情報に従った光の変調の制御を実現する。ここでアップロードされる画像データは、参加ユーザUpに向けて主催ユーザUhが活動する仮想空間の画像を表示する外部装置、つまりモニタ100eに送信される画像データである。
 あるいは、光変調制御部117は、動画配信サーバ300aにおいて実現されてもよい。この場合、動画配信サーバ300aは、ゲーム機100dからアップロードされた画像とともにアクション情報を受信し、アクション情報に従って、モニタ100eに配信する画像データを変更する。また、光変調制御部117は、モニタ100eにおいて実現されてもよい。図示された例では、モニタ100eは一般的なモニタとすることが可能である旨を説明したが、他の例では、モニタ100eがPCなどの情報処理機能をもった端末装置であり、動画配信サーバ300aから画像とともに配信されるアクション情報に従って表示する画像に時間的または空間的な変調を加える機能を有していてもよい。
 (参加ユーザ側)
 上述の通り、本実施形態において参加ユーザUpが使用するゲーム機100bの構成は、第1の実施形態で説明したゲーム機100bの構成と同様でありうる。従って、ユーザ間のアクションを実現するための手順に関連する機能構成についても、第1の実施形態と同様にゲーム機100bの制御部103が実行するプログラムのステップとして実現されうる。なお、本実施形態において、撮像画像取得部123が取得する撮像画像に画面が含まれる外部装置は、主催ユーザUhが使用しているゲーム機100dとは異なるモニタ100eである。
 (5.ハードウェア構成)
 次に、図16を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図16は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるゲーム機、サーバ装置、および/またはモニタを実現しうる。
 情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
 出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
 ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
 接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
 通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
 撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などのイメージセンサ、およびイメージセンサへの被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
 センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 (6.補足)
 本開示の実施形態は、例えば、上記で説明したような情報処理装置(ゲーム機、サーバ装置、および/またはモニタ)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記で説明された実施形態では、仮想空間におけるユーザ間のアクションが、ゲームにおけるパーティーの勧誘である場合について説明したが、本開示の実施形態はこのような例には限られない。例えば、ゲームの仮想空間におけるアイテムの授受やフレンド登録などのアクションも、アクションの相手方のユーザを指定する手順や、両方のユーザの承認の手順などが必要になる点ではパーティーへの勧誘と同じである。従って、例えばこのようなアクションについても、本開示の実施形態を適用することによって手順が簡略化され、ユーザが仮想空間における本来の活動に集中できる環境が提供される。
 また、上記で説明された実施形態では、ユーザが活動するのがゲームの仮想空間である場合について説明したが、本開示の実施形態はこのような例には限られない。例えば、ソーシャルメディアとして提供される仮想空間など、必ずしもユーザがゲームをプレイしない仮想空間も存在する。このような仮想空間でも、当該空間が不特定多数のユーザに開放されているような場合には、本開示の実施形態を適用することによって、上記のようなユーザ間のアクションの手順の簡略化による効果が得られる。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)第1のユーザが活動する仮想空間の画像を表示させる表示制御部と、
 前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部と、
 前記仮想空間の画像を表示するための光の変調を、前記アクション情報に従って制御する光変調制御部と
 を備える情報処理装置。
(2)前記光変調制御部は、前記画像を表示するための光を前記アクション情報に従って時間的に変調させる、前記(1)に記載の情報処理装置。
(3)前記光変調制御部は、前記画像を表示するための光の輝度または色度を前記アクション情報に従って時間的に変調させる、前記(2)に記載の情報処理装置。
(4)前記光変調制御部は、前記画像を表示するための光を前記アクション情報に従って空間的に変調させる、前記(1)に記載の情報処理装置。
(5)前記光変調制御部は、前記画像の一部に前記アクション情報をエンコードすることによって生成されるコードを重畳表示させる、前記(4)に記載の情報処理装置。
(6)前記光変調制御部は、前記表示制御部に入力される画像データを変更することによって、前記アクション情報に従った光の変調の制御を実現する、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)前記光変調制御部は、前記表示制御部から出力される表示装置の制御信号を変更することによって、前記アクション情報に従った光の変調の制御を実現する、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(8)前記光変調制御部は、前記第2のユーザに向けて前記画像を表示する外部装置に送信される画像データを変更することによって、前記アクション情報に従った光の変調の制御を実現する、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(9)第1のユーザが活動する仮想空間の第1の画像を表示する外部装置の画面を含む撮像画像を取得する撮像画像取得部と、
 前記撮像画像の前記画面の部分における光の変調から、前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を抽出するアクション情報抽出部と、
 前記第2のユーザが前記アクションに応答するための処理を実行する応答処理部と、
 前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させる表示制御部と
 を備える情報処理装置。
(10)前記アクション情報抽出部は、前記画面の部分における光の時間的な変調から前記アクション情報を抽出する、前記(9)に記載の情報処理装置。
(11)前記アクション情報抽出部は、前記画面の部分における光の輝度または色度の時間的な変調から前記アクション情報を抽出する、前記(10)に記載の情報処理装置。
(12)前記撮像画像取得部は、ローリングシャッタ方式を採用するイメージセンサによって生成された前記撮像画像を取得し、
 前記アクション情報抽出部は、前記撮像画像内で露光タイミングの異なる複数の位置における前記光の輝度または色度の相違から前記時間的な変調を特定する、前記(11)に記載の情報処理装置。
(13)前記イメージセンサは、前記時間的な変調の周期の整数倍の時間で露光される第1の領域と、前記時間的な変調の周期の整数倍とは異なる時間で露光される第2の領域とを含み、前記第1の領域と前記第2の領域とは前記撮像画像の全域にわたって配列され、
 前記アクション情報抽出部は、前記第1の領域において得られた前記光の輝度または色度の時間変動を含まない画像と、前記第2の領域において得られた前記光の輝度または色度の時間変動を含む画像との差分から、前記時間的な変調を特定する、前記(12)に記載の情報処理装置。
(14)前記アクション情報抽出部は、前記画面の部分における光の空間的な変調から前記アクション情報を抽出する、前記(9)に記載の情報処理装置。
(15)前記アクション情報抽出部は、前記画面の部分で前記仮想空間の画像に重畳表示されたコードを切り出し、該コードをデコードすることによって前記アクション情報を抽出する、前記(14)に記載の情報処理装置。
(16)前記外部装置は、前記第1のユーザが使用している装置とは異なる、前記(9)~(15)のいずれか1項に記載の情報処理装置。
(17)第1のユーザが活動する仮想空間の第1の画像を表示させる表示制御部、
  前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部、および
  前記第1の画像を表示するための光の変調を、前記アクション情報に従って制御する光変調制御部
 を備える第1の情報処理装置と、
  前記第1の画像を表示する装置の画面を含む撮像画像を取得する撮像画像取得部、
  前記撮像画像の前記画面の部分における光の変調から前記アクション情報を抽出するアクション情報抽出部、
  前記第2のユーザが前記アクションに応答するための処理を実行する応答処理部、および
  前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させる表示制御部
 を備える第2の情報処理装置と
 を含むシステム。
(18)前記第1の画像を表示する装置は、前記第1の情報処理装置を含む、前記(17)に記載のシステム。
(19)前記第1の画像を表示する装置は、前記第1の情報処理装置とは異なる装置である、前記(17)に記載のシステム。
(20)第1のユーザが活動する仮想空間の第1の画像を表示させることと、
 前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成することと、
 プロセッサが、前記第1の画像を表示するための光の変調を、前記アクション情報に従って制御することと、
 前記第1の画像を表示する装置の画面を含む撮像画像を取得することと、
 前記撮像画像の前記画面の部分における光の変調から前記アクション情報を抽出することと、
 前記第2のユーザが前記アクションに応答するための処理を実行することと、
 前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させることと
 を含む情報処理方法。
 10,20,30,40  システム
 100a,100b,100c,100d  ゲーム機
 100e  モニタ
 111,121  表示制御部
 113  操作入力取得部
 115  アクション情報生成部
 117  光変調制御部
 123  撮像画像取得部
 125  アクション情報抽出部
 127  応答処理部
 200  ネットワーク
 300  サーバ

Claims (20)

  1.  第1のユーザが活動する仮想空間の画像を表示させる表示制御部と、
     前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部と、
     前記仮想空間の画像を表示するための光の変調を、前記アクション情報に従って制御する光変調制御部と
     を備える情報処理装置。
  2.  前記光変調制御部は、前記画像を表示するための光を前記アクション情報に従って時間的に変調させる、請求項1に記載の情報処理装置。
  3.  前記光変調制御部は、前記画像を表示するための光の輝度または色度を前記アクション情報に従って時間的に変調させる、請求項2に記載の情報処理装置。
  4.  前記光変調制御部は、前記画像を表示するための光を前記アクション情報に従って空間的に変調させる、請求項1に記載の情報処理装置。
  5.  前記光変調制御部は、前記画像の一部に前記アクション情報をエンコードすることによって生成されるコードを重畳表示させる、請求項4に記載の情報処理装置。
  6.  前記光変調制御部は、前記表示制御部に入力される画像データを変更することによって、前記アクション情報に従った光の変調の制御を実現する、請求項1に記載の情報処理装置。
  7.  前記光変調制御部は、前記表示制御部から出力される表示装置の制御信号を変更することによって、前記アクション情報に従った光の変調の制御を実現する、請求項1に記載の情報処理装置。
  8.  前記光変調制御部は、前記第2のユーザに向けて前記画像を表示する外部装置に送信される画像データを変更することによって、前記アクション情報に従った光の変調の制御を実現する、請求項1に記載の情報処理装置。
  9.  第1のユーザが活動する仮想空間の第1の画像を表示する外部装置の画面を含む撮像画像を取得する撮像画像取得部と、
     前記撮像画像の前記画面の部分における光の変調から、前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を抽出するアクション情報抽出部と、
     前記第2のユーザが前記アクションに応答するための処理を実行する応答処理部と、
     前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させる表示制御部と
     を備える情報処理装置。
  10.  前記アクション情報抽出部は、前記画面の部分における光の時間的な変調から前記アクション情報を抽出する、請求項9に記載の情報処理装置。
  11.  前記アクション情報抽出部は、前記画面の部分における光の輝度または色度の時間的な変調から前記アクション情報を抽出する、請求項10に記載の情報処理装置。
  12.  前記撮像画像取得部は、ローリングシャッタ方式を採用するイメージセンサによって生成された前記撮像画像を取得し、
     前記アクション情報抽出部は、前記撮像画像内で露光タイミングの異なる複数の位置における前記光の輝度または色度の相違から前記時間的な変調を特定する、請求項11に記載の情報処理装置。
  13.  前記イメージセンサは、前記時間的な変調の周期の整数倍の時間で露光される第1の領域と、前記時間的な変調の周期の整数倍とは異なる時間で露光される第2の領域とを含み、前記第1の領域と前記第2の領域とは前記撮像画像の全域にわたって配列され、
     前記アクション情報抽出部は、前記第1の領域において得られた前記光の輝度または色度の時間変動を含まない画像と、前記第2の領域において得られた前記光の輝度または色度の時間変動を含む画像との差分から、前記時間的な変調を特定する、請求項12に記載の情報処理装置。
  14.  前記アクション情報抽出部は、前記画面の部分における光の空間的な変調から前記アクション情報を抽出する、請求項9に記載の情報処理装置。
  15.  前記アクション情報抽出部は、前記画面の部分で前記仮想空間の画像に重畳表示されたコードを切り出し、該コードをデコードすることによって前記アクション情報を抽出する、請求項14に記載の情報処理装置。
  16.  前記外部装置は、前記第1のユーザが使用している装置とは異なる、請求項9に記載の情報処理装置。
  17.   第1のユーザが活動する仮想空間の第1の画像を表示させる表示制御部、
      前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成するアクション情報生成部、および
      前記第1の画像を表示するための光の変調を、前記アクション情報に従って制御する光変調制御部
     を備える第1の情報処理装置と、
      前記第1の画像を表示する装置の画面を含む撮像画像を取得する撮像画像取得部、
      前記撮像画像の前記画面の部分における光の変調から前記アクション情報を抽出するアクション情報抽出部、
      前記第2のユーザが前記アクションに応答するための処理を実行する応答処理部、および
      前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させる表示制御部
     を備える第2の情報処理装置と
     を含むシステム。
  18.  前記第1の画像を表示する装置は、前記第1の情報処理装置を含む、請求項17に記載のシステム。
  19.  前記第1の画像を表示する装置は、前記第1の情報処理装置とは異なる装置である、請求項17に記載のシステム。
  20.  第1のユーザが活動する仮想空間の第1の画像を表示させることと、
     前記仮想空間における前記第1のユーザから第2のユーザへのアクションを示すアクション情報を生成することと、
     プロセッサが、前記第1の画像を表示するための光の変調を、前記アクション情報に従って制御することと、
     前記第1の画像を表示する装置の画面を含む撮像画像を取得することと、
     前記撮像画像の前記画面の部分における光の変調から前記アクション情報を抽出することと、
     前記第2のユーザが前記アクションに応答するための処理を実行することと、
     前記処理の結果に応じて、前記第2のユーザが活動する前記仮想空間の第2の画像を表示させることと
     を含む情報処理方法。
PCT/JP2015/072397 2014-10-16 2015-08-06 情報処理装置、システムおよび情報処理方法 Ceased WO2016059857A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15851335.8A EP3208719A4 (en) 2014-10-16 2015-08-06 Information processing device, system, and information processing method
US15/513,855 US20180169524A1 (en) 2014-10-16 2015-08-06 Information processing device, system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014211374 2014-10-16
JP2014-211374 2014-10-16

Publications (1)

Publication Number Publication Date
WO2016059857A1 true WO2016059857A1 (ja) 2016-04-21

Family

ID=55746405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/072397 Ceased WO2016059857A1 (ja) 2014-10-16 2015-08-06 情報処理装置、システムおよび情報処理方法

Country Status (3)

Country Link
US (1) US20180169524A1 (ja)
EP (1) EP3208719A4 (ja)
WO (1) WO2016059857A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012061217A (ja) * 2010-09-17 2012-03-29 Furyu Kk 会話ゲーム装置、会話ゲームシステム、会話ゲーム装置の制御方法、会話ゲーム装置制御プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5606653B1 (ja) * 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335191A (zh) * 2012-05-30 2015-02-04 索尼公司 信息处理设备、信息处方法以及记录介质
US20140333508A1 (en) * 2012-08-31 2014-11-13 Game Concourse Inc. System and method for communicating and interacting with a display screen using a remote device
US8922666B2 (en) * 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012061217A (ja) * 2010-09-17 2012-03-29 Furyu Kk 会話ゲーム装置、会話ゲームシステム、会話ゲーム装置の制御方法、会話ゲーム装置制御プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5606653B1 (ja) * 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3208719A4 *

Also Published As

Publication number Publication date
EP3208719A4 (en) 2018-03-28
US20180169524A1 (en) 2018-06-21
EP3208719A1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
EP3910905B1 (en) Viewing a virtual reality environment on a user device
US9818225B2 (en) Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN112717423B (zh) 游戏对局的直播方法、装置、设备及存储介质
US11468605B2 (en) VR real player capture for in-game interaction view
US20180001198A1 (en) Using HMD Camera Touch Button to Render Images of a User Captured During Game Play
CN110755850B (zh) 竞技对局的组队方法、装置、设备及存储介质
US10916061B2 (en) Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US20120011256A1 (en) Information processing system, computer-readable storage medium having information processing program stored therein, information processing apparatus, and information processing method
CN113407744A (zh) 资源展示方法、装置、计算机设备及介质
WO2020057209A1 (zh) 虚拟对象的信息显示方法、装置、设备及存储介质
CN111867693A9 (zh) 传输服务器、传输系统、传输方法及程序
US20150293359A1 (en) Method and apparatus for prompting based on smart glasses
CA2910655A1 (en) Information processing apparatus, control method and program
CN113509720A (zh) 虚拟对战的回放方法、装置、终端、服务器及存储介质
US11756228B2 (en) Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
US20220062774A1 (en) Information processing apparatus, method of controlling information processing apparatus, and program
WO2016059857A1 (ja) 情報処理装置、システムおよび情報処理方法
US11521467B2 (en) Remote playing card game
US12496527B2 (en) Tracking objects with fiducial markers in multiple environments to provide shared experiences
CN111265867A (zh) 对局画面的显示方法、装置、终端及存储介质
US12437607B2 (en) Remote playing card game
US20230241492A1 (en) Method, device, and system of input for a videogame console
HK40042502B (en) Live broadcast method of game match, device, equipment and storage medium
HK40042502A (en) Live broadcast method of game match, device, equipment and storage medium
CN119605185A (zh) 使用接收的音频或视觉提示进行参与和同步

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851335

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015851335

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015851335

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

WWE Wipo information: entry into national phase

Ref document number: 15513855

Country of ref document: US