[go: up one dir, main page]

WO2025239189A1 - 表示システム、表示制御方法 - Google Patents

表示システム、表示制御方法

Info

Publication number
WO2025239189A1
WO2025239189A1 PCT/JP2025/016167 JP2025016167W WO2025239189A1 WO 2025239189 A1 WO2025239189 A1 WO 2025239189A1 JP 2025016167 W JP2025016167 W JP 2025016167W WO 2025239189 A1 WO2025239189 A1 WO 2025239189A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
video
camera
image
camera path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/016167
Other languages
English (en)
French (fr)
Inventor
翔 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2025239189A1 publication Critical patent/WO2025239189A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This technology relates to a display system and a display control method, and in particular to a display system and a display control method that enable the display of images that make it easy to understand the situation.
  • a large screen is made up of, for example, four LED monitors, each facing in four directions, so that the display can be seen from anywhere in the bleachers surrounding the court.
  • the camera when viewing the image on the LED monitor from the north bleachers, there will be no sense of incongruity because the camera's shooting direction and the direction the spectators are looking will match, but when viewing from the south bleachers, there will be a sense of incongruity. If the image from the camera installed on the north side is displayed on an LED monitor facing the south bleachers, the direction of the player's movements in front of them and the direction of the player's movements on the LED monitor will appear to be opposite to the direction of movement for spectators watching from the south bleachers.
  • a display system includes a 3D information generation unit that generates 3D information of a subject based on multi-camera video; an image generation unit that generates, based on the 3D information, multiple images of the subject, with viewpoints set at positions in different directions to which the display surfaces of multiple monitor devices are directed; and a display control unit that displays, on each of the monitor devices, the images of the subject generated based on the 3D information.
  • three-dimensional information of a subject is generated based on multi-camera images, and multiple images of the subject are generated based on the three-dimensional information, with viewpoints being positions in different directions toward which the display surfaces of the multiple monitor devices are pointed, and the images of the subject generated based on the three-dimensional information are displayed on each of the monitor devices.
  • FIG. 1 is a diagram illustrating an example of a sports facility.
  • FIG. 1 is a perspective view showing an example of the configuration of a large-screen display.
  • FIG. 10 is a diagram showing an example of how players are viewed from the stands.
  • 1A and 1B are diagrams illustrating examples of orientations of a display surface of a monitor device.
  • FIG. 10 is a diagram showing a display example of a monitor device.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a display system.
  • FIG. 10 is a diagram illustrating an example of a camera path.
  • FIG. 10 is a block diagram illustrating an example of the configuration of a free viewpoint video generation unit.
  • FIG. 1 is a diagram illustrating an example of a sports facility.
  • FIG. 1 is a perspective view showing an example of the configuration of a large-screen display.
  • FIG. 10 is a diagram showing an example of how players are viewed from the stands.
  • 1A and 1B are diagrams
  • FIG. 10 is a block diagram showing an example of the configuration of a display system when spectators' smartphones are used to display game footage.
  • FIG. 10 is a block diagram showing another example configuration of a display system in which spectators' smartphones are used to display game footage.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a display system.
  • FIG. 10 is a diagram illustrating an example of camera placement.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a display system.
  • FIG. 10 is a diagram illustrating an example of camera placement.
  • FIG. 10 is a diagram showing an example of an image displayed on a monitor device.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a computer.
  • Example of video display using a large screen 2.
  • Example of display system configuration (example using free viewpoint video) 3.
  • Example of using a smartphone as a display device 4.
  • Example of switching between multiple camera images 5.
  • FIG. 1 is a diagram showing an example of a sports facility in which a display system according to an embodiment of the present technology is used.
  • the sports facility shown in Figure 1 is a facility where basketball games are played. Spectator seats are set up around the court. In addition, a large display device, a large screen 11, is set up above the center of the court. Various information such as scores and game footage is displayed on the large screen 11.
  • Figure 2 is a perspective view showing an example configuration of the large screen 11.
  • the large screen 11 is composed of four monitors, monitors 21-1 to 21-4.
  • Monitors 21-1 to 21-4 are display devices equipped with display devices such as LED panels.
  • Monitors 21-1 to 21-4 are installed so that their display surfaces (fronts) face four directions.
  • the backs of monitors 21-1 and 21-3 face each other, and the backs of monitors 21-2 and 21-4 face each other.
  • the large screen 11 is composed of a pair of monitors 21-1 and 21-3, and a pair of monitors 21-2 and 21-4, which are installed so that their backs face each other.
  • monitor device 21 By installing the large screen 11 above the center of the court, the display on the large screen 11 can be seen from various positions in the bleachers surrounding the court.
  • the display on monitor devices 21-1 to 21-4 is controlled by the display system. Rather than displaying the same information, different information is displayed on each of monitor devices 21-1 to 21-4 as appropriate.
  • monitor device 21 when there is no need to distinguish between monitor devices 21-1 to 21-4, they will be collectively referred to as monitor device 21.
  • Figure 3 shows an example of how players are viewed from the stands.
  • Figure 3 shows the layout of the bleachers, with Court C, which is rectangular (horizontally elongated) in a plan view, at its center. Goals are located at the left and right ends of Court C. Players on one team attack toward the goal on the left, while players on the other team attack toward the goal on the right.
  • Player 1 is located at position P1, near the top left corner of Court C
  • Player 2 is located at position P2, slightly to the lower right of the center. Other players are not shown in the illustration.
  • bleachers S1, S2, S3, and S4 are provided above, to the left, below, and to the right of court C.
  • Bleachers S1 and S3 are located on either side of court C, and bleachers S2 and S4 are located on either side of court C.
  • monitor device 21-1 is installed with its display surface facing spectator seat S1 (facing upward), and monitor device 21-2 is installed with its display surface facing spectator seat S2 (facing left).
  • Monitor device 21-3 is installed with its display surface facing spectator seat S3 (facing downward), and monitor device 21-4 is installed with its display surface facing spectator seat S4 (facing right).
  • the images used for display on the monitor device 21 are generated using so-called volumetric capture technology.
  • CG Computer Graphics
  • free viewpoint images generated using volumetric capture technology are used for display on the monitor device 21.
  • 3D models of each player on court C are generated in real time. Furthermore, based on the 3D models of each player, free viewpoint images that look natural when viewed from each spectator seat are generated and displayed on the monitor device 21.
  • Figure 5 shows an example of the display on the monitor device 21.
  • Figures 5A to 5D respectively show the displays on the monitor devices 21-1 to 21-4 using free viewpoint images generated based on multi-camera images captured when Player 1 and Player 2 were in the positions shown in Figure 3.
  • monitor device 21-1 displays an image in which player 1 is shown on the right and player 2 is shown on the left, with player 1 appearing larger than player 2.
  • the image displayed on monitor device 21-1 is primarily aimed at the spectators in the stands S1, including spectator 1.
  • monitor device 21-2 displays an image in which player 1 is shown on the left and player 2 is shown on the right, with player 1 appearing larger than player 2.
  • the image displayed on monitor device 21-2 is primarily aimed at the spectators in bleachers S2, including spectator 2.
  • monitor device 21-3 displays an image in which player 1 is shown on the left and player 2 is shown on the right, with player 2 appearing larger than player 1.
  • the image displayed on monitor device 21-3 is primarily aimed at the spectators in stands S3, including spectator 3.
  • monitor device 21-4 displays an image in which player 1 is on the right and player 2 is on the left, with player 2 appearing larger than player 1.
  • the image displayed on monitor device 21-4 is primarily aimed at the spectators in bleachers S4, including spectator 4.
  • monitor devices 21-1 to 21-4 By displaying such images on monitor devices 21-1 to 21-4, it is possible to provide each spectator with images that are natural and easy to understand.
  • the direction of the players' movements on the images displayed on monitor devices 21-1 to 21-4 will be the same as the direction of the players' movements as seen directly by spectators 1 to 4.
  • FIG. 6 is a block diagram showing an example of the configuration of the display system 1.
  • the same components as those described above are denoted by the same reference numerals, and duplicated explanations will be omitted where appropriate.
  • the display system 1 is configured to include at least one of a large screen 11, an image generation server 12, and an information processing device 13. Each device is connected via wired or wireless communication.
  • the image generation server 12 is configured from four free viewpoint image generation servers 22-1 to 22-4, which are display control devices corresponding to the monitor devices 21-1 to 21-4, respectively.
  • the functions of the free viewpoint image generation servers 22-1 to 22-4 may be realized in a single device, or in multiple devices.
  • the functions of the image generation server 12 and the information processing device 13 may also be realized in a single device.
  • Multi-camera video and monitor position information are input to the video generation server 12 (free viewpoint video generation servers 22-1 to 22-4).
  • the multi-camera video is live video captured in synchronization by multiple cameras installed at various locations within the competition facility, facing court C.
  • the monitor position information indicates the position and orientation of monitor devices 21-1 to 21-4.
  • the multi-camera video is also input to the information processing device 13.
  • Camera path information is input to the free viewpoint video generation server 22-1 of the video generation server 12 and the information processing device 13. For example, if monitor device 21-1 is the main monitor device, the camera path for the video for monitor device 21-1 is input.
  • the camera path input to the free viewpoint video generation server 22-1 specifies the viewpoint position, field of view, etc. of the video to be displayed on monitor device 21-1. For example, in response to the operation of the director who manages the display on the large screen 11 during a match, camera path information is sent from the device used for that operation.
  • the information processing device 13 is composed of a camera path generation unit 31 and a person detection unit 32.
  • the camera path generation unit 31 and the person detection unit 32 are realized by the computer that constitutes the information processing device 13 executing a predetermined program.
  • the camera path generation unit 31 generates camera paths for the images to be displayed on monitor devices 21-2, 21-3, and 21-4 based on the camera paths transmitted from the devices operated by the director.
  • Figure 7 shows an example of a camera path.
  • a camera path has been input with position P11 in the spectator seats S1 as the viewpoint and the direction of the center of court C as the shooting direction.
  • the camera path with position P11 as the viewpoint is the camera path for the image for monitor device 21-1, which serves as the reference.
  • the vertical shooting direction is also represented by the camera path.
  • the arrow indicates the shooting direction of the virtual camera.
  • the camera path generation unit 31 generates a camera path for the image for monitor device 21-2 that is a reference camera path shifted 90 degrees to the left around the center of court C.
  • the camera path for the image for monitor device 21-2 is a camera path with position P12 in spectator seats S2 as the viewpoint and the direction of the center of court C as the shooting direction.
  • the camera path generation unit 31 generates a camera path for the image for monitor device 21-3 that is linearly symmetrical to the reference camera path.
  • a camera path that is linearly symmetrical to the camera path for the image for monitor device 21-1 is generated based on a dashed dotted line that virtually connects the two goals on court C.
  • the camera path for the image for monitor device 21-3 is a camera path that uses position P13 in spectator seats S3 as the viewpoint and points in the direction of the center of court C as the shooting direction.
  • the camera path generation unit 31 generates a camera path for the video for monitor device 21-4 by shifting the reference camera path by 90 degrees to the right around the center of court C.
  • the camera path for the video for monitor device 21-4 is a camera path with position P14 in spectator seats S4 as the viewpoint and the direction of the center of court C as the shooting direction. Information about each camera path generated in this way is supplied to free viewpoint video generation servers 22-2, 22-3, and 22-4 of the video generation server 12.
  • the person detection unit 32 in Figure 6 detects people (players) on the court based on at least one of the images from the multi-camera footage. Players are detected by analyzing the images in each frame that make up the footage, or by using an inference model for person detection.
  • the person detection unit 32 also detects the direction of each player's face. The direction of each player's face detected by the person detection unit 32 is used by the camera path generation unit 31 to generate a camera path as appropriate.
  • a camera path with a viewpoint positioned in front of the player's face is generated by the camera path generation unit 31. Images generated using a camera path with a viewpoint positioned in front of the player's face will be images in which the player's face can be seen. For example, a camera path with a viewpoint positioned in front of the player's face is used as the camera path for images for monitor device 21-2 and monitor device 21-4. Images in which the player's face can be seen are used for the display of monitor device 21-2 and monitor device 21-4, which are installed with their display surfaces facing in the same direction as the goal. Images in which the player's face can be seen may also be used for the display of monitor device 21-1 and monitor device 21-3.
  • the free viewpoint video generation server 22-1 that constitutes the video generation server 12 is a display control device that generates video for the monitor device 21-1 and controls the display on the monitor device 21-1.
  • the free viewpoint video generation servers 22-2 to 22-4 are display control devices that generate video for the monitor devices 21-2 to 21-4 and control the display on the monitor devices 21-2 to 21-4, respectively.
  • Figure 8 is a block diagram showing an example configuration of the free viewpoint video generation unit 51 implemented in the free viewpoint video generation servers 22-1 to 22-4.
  • the free viewpoint video generation unit 51 is implemented by executing a specific program.
  • the free viewpoint video generation unit 51 is configured from a 3D model generation unit 61, a video generation unit 62, and a display control unit 63.
  • the 3D model generation unit 61 generates a 3D model, which is three-dimensional information of each player as the subject, based on the multi-camera video. For example, image processing using Visual Hull (visual volume intersection method) is performed based on the video from each viewpoint, and a 3D model of each player is generated.
  • As the 3D model for example, mesh data, which represents the surface shape of the subject using connections between vertices, known as a polygon mesh, is generated.
  • Point cloud data which represents the surface shape using point position information, may also be generated as the 3D model.
  • a time series of 3D models is generated by processing the images of each frame.
  • the 3D model data of each player generated by the 3D model generation unit 61 is supplied to the video generation unit 62.
  • the image generation unit 62 generates an image for the monitor device 21 within a predetermined range of the viewpoint specified by the camera path, based on the 3D model of each player.
  • the image for the monitor device 21 is generated by projecting the mesh of the 3D model from the viewpoint of a virtual camera and performing texture mapping, which is a process of applying textures that represent colors and patterns.
  • the image for the monitor device 21 generated by the image generation unit 62 is supplied to the display control unit 63.
  • the display control unit 63 outputs the image generated by the image generation unit 62 to the monitor device 21 for display.
  • the monitor position information indicates which monitor device 21 the image is output to.
  • a video for the monitor device 21-1 is generated based on a camera path with the viewpoint being position P11 in the spectator seats S1, and the video is displayed on the monitor device 21-1 by the display control unit 63.
  • the video generation unit 62 of the free viewpoint video generation server 22-2 generates a video for the monitor device 21-2 based on a camera path with position P12 in the spectator seats S2 as the viewpoint, and the video is displayed on the monitor device 21-2 by the display control unit 63.
  • the video generation unit 62 of the free viewpoint video generation server 22-3 generates a video for the monitor device 21-3 based on a camera path with the viewpoint being position P13 in the spectator seats S3, and the video is displayed on the monitor device 21-3 by the display control unit 63.
  • the video generation unit 62 of the free viewpoint video generation server 22-4 generates a video for the monitor device 21-4 based on a camera path with position P14 in the spectator seats S4 as the viewpoint, and the video is displayed on the monitor device 21-4 by the display control unit 63.
  • the images described with reference to A to D in Figure 5 are displayed on the monitor devices 21-1 to 21-4.
  • the images displayed on the monitor devices 21-1 to 21-4 are generated based on a 3D model using multi-camera images as material, and are images with different viewpoints.
  • the image displayed by monitor device 21-1 covers the entire spectator seat S1, but a lenticular may be provided on the surface of the LED display of monitor device 21-1 so that images corresponding to each seat position within spectator seat S1 are provided. Similarly, lenticulars may be provided on the surface of the LED display of monitor devices 21-2 to 21-4 so that images corresponding to each seat position within spectator seat S2 to S4 are provided.
  • Fig. 9 is a block diagram showing a configuration example of the display system 1 when spectators' smartphones are used to display game footage. Game footage corresponding to each seat position is provided using each spectator's smartphone. Explanations that overlap with the above explanation will be omitted as appropriate. The same applies to other embodiments described below.
  • the display system 1 is made up of an information processing device 13 and a smartphone 101.
  • the smartphone 101 in Figure 9 is the device of a single spectator. Each spectator's smartphone has the same configuration as that shown in Figure 9.
  • the information processing device 13 and smartphone 101 are connected via wireless communication such as wireless LAN.
  • multi-camera video and information on the camera paths of each camera used to capture the multi-camera video are input to the smartphone 101.
  • the free viewpoint video is generated on the smartphone 101.
  • director-produced video which is video created by the director, is input into the information processing device 13.
  • the director operates a video production device (not shown) and creates the video they want to deliver to the spectators while watching the video filmed during the match.
  • Director-produced video is generated without taking into account the seating positions of each spectator.
  • the information processing device 13 in Figure 9 is provided with an intention analysis unit 33.
  • the intention analysis unit 33 is realized by the computer that constitutes the information processing device 13 executing a predetermined program.
  • the intention analysis unit 33 receives and acquires director-produced video transmitted from the video production device.
  • the intention analysis unit 33 acquires the intention of the director who produced the video based on the characteristics of the director-produced video. For example, the following intentions are acquired based on the composition of the director-produced video.
  • the director's intentions may be obtained by analyzing the video, or by using an inference model generated by machine learning.
  • an inference model such as a neural network is prepared in the intention analysis unit 33, which inputs each frame of the video produced by the director and outputs information indicating the director's intentions.
  • the information indicating the director's intentions obtained by the intention analysis unit 33 is sent to the smartphone 101.
  • the smartphone 101 is made up of a playback processing unit 111 and a display 112.
  • the playback processing unit 111 is made up of a seat information acquisition unit 121, a free viewpoint video generation unit 122, a video switching unit 123, and a display control unit 124. At least some of the functional units of the playback processing unit 111 are implemented by a CPU constituting the smartphone 101 executing a predetermined program.
  • Information transmitted from the information processing device 13 and received by a communication unit (not shown) of the smartphone 101 is input to the free viewpoint video generation unit 122.
  • Information on the multi-camera video and camera paths is input to the free viewpoint video generation unit 122 and the video switching unit 123.
  • the seat information acquisition unit 121 of the playback processing unit 111 acquires seat information, which is information about the seat used by the user of the smartphone 101.
  • the seat information is acquired by the user operating the screen displayed on the display 112 and entering the seat number.
  • Seat information may also be acquired by reading a two-dimensional code attached to the seat with the camera of the smartphone 101.
  • the seat information acquired by the seat information acquisition unit 121 is supplied to the free viewpoint video generation unit 122.
  • the free viewpoint video generation unit 122 has the same functions as the 3D model generation unit 61 and video generation unit 62 described with reference to Figure 8. That is, the free viewpoint video generation unit 122 generates a 3D model of each player based on the multi-camera video.
  • the viewpoint of each video in the multi-camera video is represented by a camera path.
  • the free viewpoint video generation unit 122 generates free viewpoint video based on the 3D model of each player.
  • a video is generated taking into account the seat position specified by the seat information acquired by the seat information acquisition unit 121 and the director's intentions as follows.
  • Composition 1 This is an image in which the direction of movement of the player in front of the user and the direction of movement of the player on the image are the same, and an overhead image with a wide angle of view is generated.
  • composition 2 When the intention is to show the player (Composition 2) Since it is considered preferable to show the players using real-life footage, real-life footage is used instead of CG footage.
  • the free viewpoint video generation unit 122 does not generate free viewpoint videos.
  • Composition 3 Images are generated using passes that circle around the player and passes from the player's perspective.
  • the free viewpoint video generated taking into account the user's seat position and the director's intentions is supplied to the video switching unit 123.
  • the video switching unit 123 switches between the free viewpoint video generated by the free viewpoint video generation unit 122 and the externally input multi-camera video, and outputs the switched video to the display control unit 124. For example, if the director-produced video has composition 1 or composition 3, the video switching unit 123 outputs the free viewpoint video generated by the free viewpoint video generation unit 122. If the director-produced video has composition 2, the video switching unit 123 selects and outputs live-action video of a player on whom the director is paying attention from among the videos that make up the externally input multi-camera video.
  • the display control unit 124 displays the video supplied from the video switching unit 123 on the display 112.
  • the display system 1 in Figure 9 takes into consideration the user's seat position and the director's intentions, and provides each user's smartphone 101 with images that are natural and easy to understand the situation.
  • Second Example Fig. 10 is a block diagram showing another example configuration of the display system 1 when spectators' smartphones are used to display game footage.
  • free viewpoint footage is generated in the information processing device 13, taking into account the director's intentions.
  • Director-produced footage is input to the information processing device 13.
  • multi-camera footage and information on the camera paths of each camera used to shoot the multi-camera footage are input to the information processing device 13.
  • the information processing device 13 in Figure 10 is provided with an intention analysis unit 33 and a free viewpoint video generation unit 34.
  • the intention analysis unit 33 of the information processing device 13 acquires the director's intention based on the characteristics of the director-produced video and outputs it to the free viewpoint video generation unit 34.
  • the free viewpoint video generation unit 34 has the same functions as the free viewpoint video generation unit 122 in Figure 9.
  • the free viewpoint video generation unit 122 generates 3D models of each player based on the multi-camera video, and generates video that takes into account the director's intentions.
  • the free viewpoint video generation unit 122 generates CG video from multiple viewpoints that takes into account the director's intentions, and transmits it to the smartphone 101.
  • the playback processing unit 111 of the smartphone 101 is composed of a seat information acquisition unit 121 and a display control unit 124.
  • the seat information acquisition unit 121 acquires seat information of the user of the smartphone 101 and outputs it to the display control unit 124.
  • the display control unit 124 acquires the images from multiple viewpoints transmitted from the information processing device 13.
  • the display control unit 124 selects an image from the images from multiple viewpoints that corresponds to the user's seat position and displays it on the display 112.
  • the image to be displayed on each monitor device 21 may be automatically selected in accordance with the director's selection.
  • FIG. 11 is a block diagram showing an example configuration of the display system 1 in which the video to be displayed on the monitor device 21 is automatically selected in accordance with the director's selection.
  • the display system 1 is made up of a display control device 201 and a large screen 11.
  • the display control device 201 is composed of a switcher 211, a video analysis unit 212, and a video switching unit 213. Each functional unit is realized by the computer that constitutes the display control device 201 executing a predetermined program. Multi-camera video is input to the display control device 201 and supplied to the switcher 211 and the video switching unit 213.
  • Figure 12 shows an example of camera placement.
  • Cameras for capturing images for monitor device 21-1 are installed at positions P11-1, P11-2, and P11-3 of spectator seat S1, respectively.
  • Cameras for capturing images for monitor device 21-2 are installed at positions P12-1, P12-2, and P12-3 of spectator seat S2, respectively.
  • Cameras for capturing images for monitor device 21-3 are installed at positions P13-1, P13-2, and P13-3 of spectator seat S3, respectively.
  • Cameras for capturing images for monitor device 21-4 are installed at positions P14-1, P14-2, and P14-3 of spectator seat S4, respectively.
  • the switcher 211 in FIG. 11 acquires multi-camera video composed of footage from each camera arranged as shown in FIG. 12, and selects, for example, one arbitrary video based on direction information representing the director's selection.
  • the video selected by the switcher 211 is output to the video analysis unit 212.
  • the video analysis unit 212 analyzes the video supplied from the switcher 211 and selects the video to be displayed on each monitor device 21 depending on which camera's video the director has selected. For example, depending on the video selected by the director, the video for each monitor device 21 linked to that video is selected.
  • a camera installed at position P11-1 in seat S1 is linked to cameras installed at positions P12-1 in seat S2, P13-1 in seat S3, and P14-1 in seat S4.
  • a camera installed at position P11-2 in seat S1 is linked to cameras installed at positions P12-2 in seat S2, P13-2 in seat S3, and P14-2 in seat S4, and
  • a camera installed at position P11-3 in seat S1 is linked to cameras installed at positions P12-3 in seat S2, P13-3 in seat S3, and P14-3 in seat S4.
  • the director selects the video from the camera installed at position P11-1 in the audience seating S1 as the video for monitor device 21-1
  • the video from the camera linked to that camera at position P12-1 is selected as the video for monitor device 21-2.
  • the video from the camera at position P13-1 is selected as the video for monitor device 21-3
  • the video from the camera at position P14-1 is selected as the video for monitor device 21-4.
  • Information indicating the video for each monitor device 21 selected in this way is supplied as video generation information to switchers 221-1 to 221-4 of the video switching unit 213.
  • the switcher 221-1 of the video switching unit 213 selects the video for the monitor device 21-1 indicated by the video generation information from the multi-camera video, and outputs it to the monitor device 21-1 for display.
  • the switcher 221-2 selects the video for the monitor device 21-2 indicated by the video generation information from the multi-camera video, and outputs it to the monitor device 21-2 for display.
  • the switcher 221-3 selects the video for the monitor device 21-3 indicated by the video generation information from the multi-camera video, and outputs it to the monitor device 21-3 for display.
  • the switcher 221-4 selects the video for the monitor device 21-4 indicated by the video generation information from the multi-camera video, and outputs it to the monitor device 21-4 for display. This also makes it possible to provide video that looks natural when viewed from each audience seat.
  • FIG. 13 is a block diagram showing an example of the configuration of the display system 1 in which images to be displayed on the monitor devices 21 are prepared based on images captured by one camera.
  • the display system 1 is made up of a display control device 301 and a large screen 11. Images from a camera installed within the competition facility are input to the display control device 301. For example, as shown in Figure 14, images from a camera installed at position P11 in the spectator seats S1 are input to the display control device 301.
  • the image from the camera installed in spectator seat S1 is used as the image for monitor device 21-1, and the image from the camera installed in spectator seat S1 is inverted left to right and used as the image for monitor device 21-3, which is aimed at spectator seat S3, which is located on the opposite side of court C from spectator seat S1.
  • Figure 15 shows an example of an image displayed on the monitor device 21.
  • the image shown in Figure 15A is an image captured by a camera installed in spectator seat S1, and this image is used as the image for monitor device 21-1. Furthermore, as shown in Figure 15B, an inverted image of the image captured by the camera installed in spectator seat S1 is used as the image for monitor device 21-3.
  • video for monitor device 21-1 or the video for monitor device 21-3 is used as the video for monitor device 21-2 and the video for monitor device 21-4.
  • a camera may be installed in spectator seat S2 instead of spectator seat S1.
  • inverted video when used as video for one of the monitor devices 21, if the video captured by the camera contains text or advertisements, the text or advertisement information will be distorted in the inverted video.
  • the display control device 301 in Figure 13 detects information that would be distorted if inverted, such as text or advertisements, and generates video that does not distort.
  • the display control device 301 implements a detection unit 311 and a display control unit 312.
  • the detection unit 311 is composed of text/advertisement detection units 321-1 to 321-4.
  • the text/advertisement detection units 321-1 to 321-4 each detect text or advertisement areas in an image captured by a camera.
  • the text or advertisement areas may be detected by analyzing the video, or may be detected using an inference model generated by machine learning. In the latter case, for example, an inference model is prepared in the text/advertisement detection units 321-1 to 321-4 that inputs each frame of video and outputs information indicating the text or advertisement areas.
  • Information indicating the areas detected by the text/advertisement detection units 321-1 to 321-4 is output to the superimposition processing units 322-1 to 322-4 of the display control unit 312 along with the input video.
  • the display control unit 312 is composed of superimposition processing units 322-1 to 322-4.
  • the superimposition processing units 322-1 to 322-4 output the video supplied from the detection unit 311 to the corresponding monitor device 21 for display.
  • the superimposition processing units 322-1 to 322-4 invert the image supplied from the detection unit 311 left and right to generate the inverted image.
  • the superimposition processing units 322-1 to 322-4 extract the text or advertisement area from the inverted image, further invert the extracted area left and right, and generate the image for display by superimposing it on the original inverted image.
  • the superimposition processing units 322-1 to 322-4 output the image for display to the corresponding monitor device 21 and display it.
  • the present technology can also be applied to the display on the large screen 11 in facilities where other sports matches are held, such as volleyball, table tennis, swimming, etc.
  • the present technology can also be applied when the large screen 11 is installed in a large indoor facility such as a concert venue or gymnasium.
  • the large screen 11 is configured with four monitor devices, it may be configured with even more monitor devices. In this case, free viewpoint images with viewpoints in more directions than just four directions are generated and delivered to the audience using their respective seating positions.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer.
  • the image generation server 12, the information processing device 13, the smartphone 101, the display control device 201, and the display control device 301 are configured by a computer having the configuration shown in FIG. 16, for example.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input/output interface 1005 Connected to the input/output interface 1005 are an input unit 1006 consisting of a keyboard, mouse, etc., and an output unit 1007 consisting of a display, speakers, etc. Also connected to the input/output interface 1005 are a storage unit 1008 consisting of a hard disk or non-volatile memory, a communication unit 1009 consisting of a network interface, etc., and a drive 1010 that drives removable media 1011.
  • the CPU 1001 performs the above-described series of processes by, for example, loading a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and bus 1004 and executing it.
  • the programs executed by the CPU 1001 are stored on removable media 1011, or are provided via wired or wireless transmission media such as a local area network, the Internet, or digital broadcasting, and are installed in the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or it may be a program in which processing is performed in parallel or at the required timing, such as when called.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all of the components are contained in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device with multiple modules housed in a single housing, are both systems.
  • this technology can be configured as a cloud computing system in which a single function is shared and processed collaboratively by multiple devices over a network.
  • Example of configuration combinations The present technology can also be configured as follows.
  • a three-dimensional information generating unit that generates three-dimensional information of a subject based on a multi-camera image; an image generating unit that generates, based on the three-dimensional information, a plurality of images of the subject, with viewpoints being positions in different directions to which the display surfaces of the plurality of monitor devices are directed; a display control unit that displays, on each of the monitor devices, an image of the subject that has been generated based on the three-dimensional information.
  • the plurality of monitor devices are configured by providing two pairs of monitor devices each having its back surface facing each other.
  • the plurality of monitor devices are rectangular in shape in a plan view and are installed above a court where the person who is the subject is present.
  • a camera path generating unit that generates a camera path for an image for another monitor device based on a camera path showing an image for a predetermined monitor device;
  • the camera path generation unit generates a camera path that is shifted by 90 degrees in a planar view with respect to the reference camera path.
  • (7) further comprising a person detection unit that detects a person as the subject
  • the camera path generation unit generates a camera path having a viewpoint position at a position in a front direction of the face of the person who is the subject.
  • the camera path generation unit generates a camera path with the viewpoint positioned in front of the person's face as the camera path for the image for the monitor device installed with the display surface facing in the same direction as the goal installed on the court.
  • each of a plurality of display control devices corresponding to each of a plurality of the monitor devices has the three-dimensional information generation unit, the video generation unit, and the display control unit.
  • a display system for controlling the display of a plurality of monitor devices installed with their display surfaces facing in different directions Generate three-dimensional information of the subject based on multi-camera images, generating, based on the three-dimensional information, a plurality of images of the subject, with viewpoints being positions in different directions to which the display surfaces of the plurality of monitor devices are directed; a display control method for displaying an image of the subject generated based on the three-dimensional information on each of the monitor devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、状況を把握しやすい映像を表示させることができるようにする表示システム、表示制御方法に関する。 本技術の一側面の表示システムは、被写体の３次元情報をマルチカメラ映像に基づいて生成し、複数のモニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした被写体の複数の映像を３次元情報に基づいて生成する。本技術は、スポーツ競技などの試合が行われる施設に設置された大型ビジョンの映像表示に適用することができる。

Description

表示システム、表示制御方法
　本技術は、表示システム、表示制御方法に関し、特に、状況を把握しやすい映像を表示させることができるようにした表示システム、表示制御方法に関する。
　プロフェッショナルのバスケットボール競技の試合会場などには天井吊り式の大型ビジョンが設けられる。天井から吊り下げる形でコート中央の上方に設けられた大型ビジョンにはスコアや試合映像などの各種の情報が表示される。コートを囲むように設けられた観覧席のどこからでも表示を見ることができるように、例えば４枚のLEDモニタの表示面を４方向に向けて設置することによって大型ビジョンが構成される。
特開２０２３－１６３６６２号公報 国際公開第２０１８／１５０９３３号
　同じ試合映像を４枚のLEDモニタに表示した場合、観客の席の位置によっては、目の前の選手の動きの方向とLEDモニタ上の選手の動きの方向が異なり、状況を把握しづらくなることがある。
　例えばカメラが北側に設置されているとすると、北側の観覧席からLEDモニタの映像を見た場合には、カメラの撮影方向と観客が見ている方向が一致するために違和感がないが、南側の観覧席から見た場合には違和感が生じてしまう。北側に設置されたカメラの映像を南側の観覧席に向けて設置されたLEDモニタに表示した場合、南側の観覧席から見ている観客にとっては、目の前の選手の動きの方向とLEDモニタ上の選手の動きの方向が反対方向になってしまう。
　本技術はこのような状況に鑑みてなされたものであり、状況を把握しやすい映像を表示させることができるようにするものである。
　本技術の一側面の表示システムは、被写体の３次元情報をマルチカメラ映像に基づいて生成する３次元情報生成部と、複数のモニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像を前記３次元情報に基づいて生成する映像生成部と、前記３次元情報に基づいて生成された前記被写体の映像をそれぞれの前記モニタ装置に表示させる表示制御部とを備える。
　本技術の一側面においては、被写体の３次元情報がマルチカメラ映像に基づいて生成され、複数の前記モニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像が前記３次元情報に基づいて生成され、前記３次元情報に基づいて生成された前記被写体の映像がそれぞれの前記モニタ装置に表示される。
競技施設の例を示す図である。 大型ビジョンの構成例を示す斜視図である。 観覧席からの選手の見え方の例を示す図である。 モニタ装置の表示面の向きの例を示す図である。 モニタ装置の表示例を示す図である。 表示システムの構成例を示すブロック図である。 カメラパスの例を示す図である。 自由視点映像生成部の構成例を示すブロック図である。 試合映像の表示に観客のスマートフォンを用いる場合の表示システムの構成例を示すブロック図である。 試合映像の表示に観客のスマートフォンを用いる場合の表示システムの他の構成例を示すブロック図である。 表示システムの構成例を示すブロック図である。 カメラの配置の例を示す図である。 表示システムの構成例を示すブロック図である。 カメラの配置の例を示す図である。 モニタ装置に表示させる映像の例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．大型ビジョンを用いた映像表示の例
　２．表示システムの構成例（自由視点映像を用いる例）
　３．表示装置としてスマートフォンを用いる例
　４．マルチカメラ映像を切り替えて用いる例
　５．画像処理により対処する例
　６．変形例
＜大型ビジョンを用いた映像表示の例＞
　図１は、本技術の一実施形態に係る表示システムが用いられる競技施設の例を示す図である。
　図１に示す競技施設は、バスケットボール競技の試合が行われる施設である。コートを囲むように観覧席が設けられる。また、コートの中央上方には天井吊り式の大型の表示装置である大型ビジョン１１が設けられる。大型ビジョン１１にはスコアや試合映像などの各種の情報が表示される。
　図２は、大型ビジョン１１の構成例を示す斜視図である。
　図２に示すように、大型ビジョン１１は、モニタ装置２１－１～２１－４の４枚のモニタ装置を組み合わせることによって構成される。モニタ装置２１－１～２１－４は、LEDパネルなどの表示デバイスを有する表示装置である。モニタ装置２１－１～２１－４は、それぞれの表示面（正面）が４方向を向くように設置される。モニタ装置２１－１とモニタ装置２１－３の背面が対向し、モニタ装置２１－２とモニタ装置２１－４の背面が対向する。大型ビジョン１１は、背面が対向するように設置されたモニタ装置２１－１とモニタ装置２１－３のペアと、モニタ装置２１－２とモニタ装置２１－４のペアによって構成される。
　大型ビジョン１１がコート中央の上方に設けられることにより、コートを囲むように設けられた観覧席の様々な位置から大型ビジョン１１の表示を見ることが可能となる。モニタ装置２１－１～２１－４の表示が表示システムにおいて制御される。同じ情報ではなく、適宜、モニタ装置２１－１～２１－４のそれぞれに異なる情報が表示される。以下、モニタ装置２１－１～２１－４を区別する必要がない場合、まとめてモニタ装置２１という。
　図３は、観覧席からの選手の見え方の例を示す図である。
　図３には、平面視において矩形状（横長長方形状）となるコートＣを中心として、観覧席の配置が示されている。コートＣの左端と右端にゴールが設けられる。一方のチームの選手は左端のゴールに向けて攻撃し、他方のチームの選手は右端のゴールに向けて攻撃することになる。図３の例においては、コートＣ内の左上端近傍の位置である位置Ｐ１に選手１がいて、中央より若干右下寄りの位置である位置Ｐ２に選手２がいる。他の選手については図示が省略されている。
　図３に示すように、コートＣの上方向、左方向、下方向、右方向のそれぞれの方向に観覧席Ｓ１、観覧席Ｓ２、観覧席Ｓ３、観覧席Ｓ４が設けられる。観覧席Ｓ１と観覧席Ｓ３がコートＣを挟んだ位置にあり、観覧席Ｓ２と観覧席Ｓ４がコートＣを挟んだ位置にある。
　観覧席Ｓ１にいる観客１からコートＣを見た場合、吹き出し＃１に示すように、選手１が右側、選手２が左側にいて、選手１が選手２より大きく見えることになる。反対に、観覧席Ｓ３にいる観客３からコートＣを見た場合、吹き出し＃３に示すように、選手１が左側、選手２が右側にいて、選手２が選手１より大きく見えることになる。
　観覧席Ｓ２にいる観客２からコートＣを見た場合、吹き出し＃２に示すように、選手１が左側、選手２が右側にいて、選手１が選手２より大きく見えることになる。反対に、観覧席Ｓ４にいる観客４からコートＣを見た場合、吹き出し＃４に示すように、選手１が右側、選手２が左側にいて、選手２が選手１より大きく見えることになる。
　一方のチームの選手が左端のゴールに向けて攻撃している場合、観客１の位置から見たときの選手の動きの方向と、観客３の位置から見たときの選手の動きの方向は反対方向となる。他方のチームの選手が右端のゴールに向けて攻撃している場合も同様である。
　また、一方のチームの選手が左端のゴールに向けて攻撃している場合、観客２の位置から見たときの選手の動きの方向が近づく方向となるのに対して、観客４の位置から見たときの選手の動きの方向は遠ざかる方向となる。他方のチームの選手が右端のゴールに向けて攻撃している場合は反対に、観客２の位置から見たときの選手の動きの方向が遠ざかる方向となるのに対して、観客４の位置から見たときの選手の動きの方向は近づく方向となる。
　それぞれの観覧席がこのように配置される競技施設において、図４に太線で示すように、モニタ装置２１－１は表示面を観覧席Ｓ１に向けて（上方向に向けて）設置され、モニタ装置２１－２は表示面を観覧席Ｓ２に向けて（左方向に向けて）設置される。モニタ装置２１－３は表示面を観覧席Ｓ３に向けて（下方向に向けて）設置され、モニタ装置２１－４は表示面を観覧席Ｓ４に向けて（右方向に向けて）設置される。
　大型ビジョン１１のモニタ装置２１－１～２１－４に、例えば観覧席Ｓ１側に設置されたカメラによって撮影された同じ映像が表示されるとした場合、座席の位置によっては違和感が生じてしまう。すなわち、観客３の位置から見た場合には、目の前の選手の動きの方向とモニタ装置２１－３の映像上の選手の動きの方向が反対方向となる。また、観客２の位置または観客４の位置から見た場合には、目の前の選手の動きの方向と映像上の選手の動きの方向が一致しない。
　本技術の一実施形態に係る表示システムにおいては、いわゆるボリュメトリックキャプチャの技術を用いて、モニタ装置２１の表示に用いる映像が生成される。ボリュメトリックキャプチャの技術によって生成されたCG(Computer Graphics)の自由視点映像がモニタ装置２１の表示に用いられる。
　例えば、競技施設内の複数の位置に設置されたカメラによって撮影されたマルチカメラ映像に基づいて、コートＣ内の各選手の３Ｄモデルがリアルタイムで生成される。また、各選手の３Ｄモデルに基づいて、それぞれの観客席から見たときに違和感のない自由視点映像が生成され、モニタ装置２１に表示される。
　図５は、モニタ装置２１の表示例を示す図である。図５のＡ～Ｄは、それぞれ、選手１と選手２が図３に示す位置にいるときに撮影されたマルチカメラ映像に基づいて生成された自由視点映像を用いたモニタ装置２１－１～２１～４の表示を示している。
　図５のＡに示すように、モニタ装置２１－１には、選手１が右側、選手２が左側に映り、選手１が選手２より大きく映る映像が表示される。モニタ装置２１－１に表示される映像は、主に、観客１を含む、観覧席Ｓ１にいる観客に向けた映像となる。
　図５のＢに示すように、モニタ装置２１－２には、選手１が左側、選手２が右側に映り、選手１が選手２より大きく映る映像が表示される。モニタ装置２１－２に表示される映像は、主に、観客２を含む、観覧席Ｓ２にいる観客に向けた映像となる。
　図５のＣに示すように、モニタ装置２１－３には、選手１が左側、選手２が右側に映り、選手２が選手１より大きく映る映像が表示される。モニタ装置２１－３に表示される映像は、主に、観客３を含む、観覧席Ｓ３にいる観客に向けた映像となる。
　図５のＤに示すように、モニタ装置２１－４には、選手１が右側、選手２が左側に映り、選手２が選手１より大きく映る映像が表示される。モニタ装置２１－４に表示される映像は、主に、観客４を含む、観覧席Ｓ４にいる観客に向けた映像となる。
　このような映像をモニタ装置２１－１～２１～４に表示させることにより、違和感がなく、状況を把握しやすい映像をそれぞれの観客に提供することが可能となる。モニタ装置２１－１～２１～４に表示される映像上の選手の動きの方向は、観客１～４が目の前に見る選手の動きの方向と同じ方向となる。
＜表示システムの構成例（自由視点映像を用いる例）＞
　図６は、表示システム１の構成例を示すブロック図である。図６に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　表示システム１は、大型ビジョン１１、映像生成サーバ１２、および情報処理装置１３のうちの少なくともいずれかを含むように構成される。各装置は、有線または無線の通信を介して接続される。映像生成サーバ１２は、モニタ装置２１－１～２１－４のそれぞれに対応する４台の表示制御装置である自由視点映像生成サーバ２２－１～２２－４により構成される。自由視点映像生成サーバ２２－１～２２－４の機能が１台の装置において実現されるようにしてもよいし、複数台の装置において実現されるようにしてもよい。映像生成サーバ１２と情報処理装置１３の機能が１台の装置において実現されるようにしてもよい。
　映像生成サーバ１２（自由視点映像生成サーバ２２－１～２２－４）には、マルチカメラ映像とモニタ位置情報が入力される。マルチカメラ映像は、競技施設内の各位置にコートＣに向けて設置された複数台のカメラにより同期して撮影された実写の映像である。モニタ位置情報は、モニタ装置２１－１～２１－４の位置と向きを示す情報である。マルチカメラ映像は情報処理装置１３にも入力される。
　映像生成サーバ１２の自由視点映像生成サーバ２２－１と情報処理装置１３にはカメラパスの情報が入力される。例えば、モニタ装置２１－１をメインのモニタ装置として、モニタ装置２１－１用の映像のカメラパスが入力される。自由視点映像生成サーバ２２－１に入力されるカメラパスにより、モニタ装置２１－１に表示させる映像の視点位置、画角などが指定される。例えば試合中の大型ビジョン１１の表示を管理するディレクターの操作に応じて、その操作に用いられた機器からカメラパスの情報が送信されてくる。
　情報処理装置１３は、カメラパス生成部３１と人物検出部３２により構成される。情報処理装置１３を構成するコンピュータにより所定のプログラムが実行されることによってカメラパス生成部３１と人物検出部３２が実現される。
　カメラパス生成部３１は、ディレクターが操作する機器から送信されてきたカメラパスに基づいて、モニタ装置２１－２、モニタ装置２１－３、モニタ装置２１－４に表示させる映像のカメラパスを生成する。
　図７は、カメラパスの例を示す図である。
　矢印Ａ１に示すように、観覧席Ｓ１内の位置Ｐ１１を視点位置とし、コートＣの中心位置の方向を撮影方向とするカメラパスが入力されたものとする。位置Ｐ１１を視点位置とするカメラパスは、基準となる、モニタ装置２１－１用の映像のカメラパスである。図７の例においては、平面的な撮影方向しか示されていないが、実際には、上下方向の撮影方向もカメラパスによって表される。矢印は仮想カメラの撮影方向を示す。
　例えば、カメラパス生成部３１は、基準のカメラパスを、コートＣの中心位置を中心に、左方向に９０度ずらしたカメラパスをモニタ装置２１－２用の映像のカメラパスとして生成する。モニタ装置２１－２用の映像のカメラパスは、観覧席Ｓ２内の位置Ｐ１２を視点位置とし、コートＣの中心位置の方向を撮影方向とするカメラパスとなる。
　また、カメラパス生成部３１は、基準のカメラパスと線対称となるカメラパスをモニタ装置２１－３用の映像のカメラパスとして生成する。コートＣに設けられた２つのゴールを仮想的に結ぶ一点鎖線の直線を基準として、モニタ装置２１－１用の映像のカメラパスと線対称となるカメラパスが生成される。モニタ装置２１－３用の映像のカメラパスは、観覧席Ｓ３内の位置Ｐ１３を視点位置とし、コートＣの中心位置の方向を撮影方向とするカメラパスとなる。
　カメラパス生成部３１は、基準のカメラパスを、コートＣの中心位置を中心に、右方向に９０度ずらしたカメラパスをモニタ装置２１－４用の映像のカメラパスとして生成する。モニタ装置２１－４用の映像のカメラパスは、観覧席Ｓ４内の位置Ｐ１４を視点位置とし、コートＣの中心位置の方向を撮影方向とするカメラパスとなる。このようにして生成されたそれぞれのカメラパスの情報は、映像生成サーバ１２の自由視点映像生成サーバ２２－２、２２－３、２２－４に供給される。
　図６の人物検出部３２は、マルチカメラ映像のうちの少なくともいずれかの映像に基づいて、コート上にいる人物（選手）を検出する。映像を構成する各フレームの画像を解析することにより、または、人物検出用の推論モデルを用いることにより、選手が検出される。また、人物検出部３２は、それぞれの選手の顔の向きを検出する。人物検出部３２により検出された各選手の顔の向きは、適宜、カメラパスの生成にカメラパス生成部３１において用いられる。
　例えば、選手の顔の正面方向の位置を視点位置とするカメラパスがカメラパス生成部３１により生成される。選手の顔の正面方向の位置を視点位置とするカメラパスを用いて生成される映像は、選手の顔が見える映像となる。例えば、モニタ装置２１－２用、モニタ装置２１－４用の映像のカメラパスとして、選手の顔の正面方向の位置を視点位置とするカメラパスが用いられる。ゴールの方向と同じ方向に表示面を向けて設置されたモニタ装置２１－２、モニタ装置２１－４の表示に選手の顔が見える映像が用いられる。モニタ装置２１－１、モニタ装置２１－３の表示に選手の顔が見える映像が用いられるようにしてもよい。
　映像生成サーバ１２を構成する自由視点映像生成サーバ２２－１は、モニタ装置２１－１用の映像を生成し、モニタ装置２１－１の表示を制御する表示制御装置である。自由視点映像生成サーバ２２－２～２２－４も同様に、それぞれ、モニタ装置２１－２～２１－４用の映像を生成し、モニタ装置２１－２～２１－４の表示を制御する表示制御装置である。
　図８は、自由視点映像生成サーバ２２－１～２２－４において実現される自由視点映像生成部５１の構成例を示すブロック図である。自由視点映像生成サーバ２２－１～２２－４のそれぞれにおいては、所定のプログラムを実行することにより自由視点映像生成部５１が実現される。自由視点映像生成部５１は、３Ｄモデル生成部６１、映像生成部６２、表示制御部６３により構成される。
　３Ｄモデル生成部６１は、マルチカメラ映像に基づいて、被写体としての各選手の３次元情報である３Ｄモデルを生成する。例えば、各視点からの映像に基づいてVisual Hull（視体積交差法）を用いた画像処理が行われ、各選手の３Ｄモデルが生成される。３Ｄモデルとして、例えば、被写体の表面形状を、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現したメッシュデータが生成される。表面形状を点の位置情報で表現するポイントクラウドデータが３Ｄモデルとして生成されるようにしてもよい。各フレームの画像を対象とした処理が行われることにより、３Ｄモデルの時系列が生成される。３Ｄモデル生成部６１により生成された各選手の３Ｄモデルのデータは映像生成部６２に供給される。
　映像生成部６２は、各選手の３Ｄモデルに基づいて、カメラパスにより指定される視点の所定の範囲の映像をモニタ装置２１用の映像として生成する。例えば、３Ｄモデルのメッシュを仮想カメラの視点で投影し、色や模様を表すテクスチャを貼り付ける処理であるテクスチャマッピングを行うことによってモニタ装置２１用の映像が生成される。映像生成部６２により生成されたモニタ装置２１用の映像は表示制御部６３に供給される。
　表示制御部６３は、映像生成部６２により生成された映像をモニタ装置２１に出力し、表示させる。どのモニタ装置２１に映像を出力するのかがモニタ位置情報により表される。
　自由視点映像生成サーバ２２－１の映像生成部６２においては、例えば、観覧席Ｓ１内の位置Ｐ１１を視点位置とするカメラパスに基づいてモニタ装置２１－１用の映像が生成され、表示制御部６３によりモニタ装置２１－１に表示される。
　また、自由視点映像生成サーバ２２－２の映像生成部６２においては、観覧席Ｓ２内の位置Ｐ１２を視点位置とするカメラパスに基づいてモニタ装置２１－２用の映像が生成され、表示制御部６３によりモニタ装置２１－２に表示される。
　自由視点映像生成サーバ２２－３の映像生成部６２においては、観覧席Ｓ３内の位置Ｐ１３を視点位置とするカメラパスに基づいてモニタ装置２１－３用の映像が生成され、表示制御部６３によりモニタ装置２１－３に表示される。
　自由視点映像生成サーバ２２－４の映像生成部６２においては、観覧席Ｓ４内の位置Ｐ１４を視点位置とするカメラパスに基づいてモニタ装置２１－４用の映像が生成され、表示制御部６３によりモニタ装置２１－４に表示される。
　これにより、モニタ装置２１－１～２１－４には図５のＡ～Ｄを参照して説明した映像がそれぞれ表示される。モニタ装置２１－１～２１－４に表示される映像は、マルチカメラ映像を素材とする３Ｄモデルに基づいて生成された、それぞれの視点位置が異なる映像となる。
　以上においては、モニタ装置２１－１が表示する映像によって観覧席Ｓ１全体をカバーするものとしたが、レンチキュラーがモニタ装置２１－１のLEDディスプレイの表面に設けられ、観覧席Ｓ１内のそれぞれの座席位置に応じた映像が提供されるようにしてもよい。モニタ装置２１－２～２１－４においても同様に、LEDディスプレイの表面にレンチキュラーが設けられ、観覧席Ｓ２～Ｓ４内のそれぞれの座席位置に応じた映像が提供される。
＜表示装置としてスマートフォンを用いる例＞
・第１の例
　図９は、試合映像の表示に観客のスマートフォンを用いる場合の表示システム１の構成例を示すブロック図である。それぞれの座席位置に応じた試合映像がそれぞれの観客のスマートフォンを用いて提供される。上述した説明と重複する説明については適宜省略する。後述する他の実施の形態においても同様である。
　図９の例においては、情報処理装置１３とスマートフォン１０１により表示システム１が構成される。図９のスマートフォン１０１はある１人の観客のデバイスである。それぞれの観客のスマートフォンが図９に示す構成と同じ構成を有する。情報処理装置１３とスマートフォン１０１は、無線LANなどの無線の通信を介して接続される。
　図９の表示システム１においては、マルチカメラ映像と、マルチカメラ映像の撮影に用いられた各カメラのカメラパスの情報がスマートフォン１０１に入力される。この例においては、自由視点映像の生成がスマートフォン１０１において行われる。
　また、ディレクターが制作した映像であるディレクター制作映像が情報処理装置１３に入力される。ディレクターは、図示せぬ映像制作装置を操作し、試合中に撮影された映像を見ながら、観客に届けたい映像を制作する。ディレクター制作映像は、各観客の座席位置を考慮せずに生成される。
　図９の情報処理装置１３には意図解析部３３が設けられる。情報処理装置１３を構成するコンピュータにより所定のプログラムが実行されることによって意図解析部３３が実現される。
　意図解析部３３は、映像制作装置から送信されてきたディレクター制作映像を受信して取得する。意図解析部３３は、ディレクター制作映像の特徴に基づいて、映像を制作したディレクターの意図を取得する。例えば、ディレクター制作映像の構図に基づいて以下のような意図が取得される。
　・（構図１）引きの映像
　ディレクターの意図＝ポジショニングやフォーメーションを見せたい
　・（構図２）ボールを持っている選手の顔を含む寄りの映像
　ディレクターの意図＝選手を見せたい
　・（構図３）ボールを持っている選手の背中が見える映像
　ディレクターの意図＝選手のテクニックを見せたい
　ディレクターの意図が映像を解析することによって取得されるようにしてもよいし、機械学習によって生成された推論モデルを用いて取得されるようにしてもよい。後者の場合、例えば、ディレクター制作映像の各フレームを入力とし、ディレクターの意図を示す情報を出力とするニューラルネットワークなどの推論モデルが意図解析部３３に用意される。意図解析部３３により取得されたディレクターの意図を示す情報はスマートフォン１０１に送信される。
　スマートフォン１０１は、再生処理部１１１とディスプレイ１１２により構成される。再生処理部１１１は、座席情報取得部１２１、自由視点映像生成部１２２、映像切替部１２３、および表示制御部１２４により構成される。再生処理部１１１の各機能部のうちの少なくとも一部は、スマートフォン１０１を構成するCPUにより所定のプログラムが実行されることによって実現される。情報処理装置１３から送信され、スマートフォン１０１の図示せぬ通信部において受信された情報が自由視点映像生成部１２２に入力される。マルチカメラ映像とカメラパスの情報は自由視点映像生成部１２２と映像切替部１２３に入力される。
　再生処理部１１１の座席情報取得部１２１は、スマートフォン１０１のユーザが利用する座席の情報である座席情報を取得する。例えば、ディスプレイ１１２に表示された画面をユーザが操作し、座席番号を入力することによって座席情報が取得される。座席に張り付けられた２次元コードをスマートフォン１０１のカメラで読み込むことによって座席情報が取得されるようにしてもよい。座席情報取得部１２１により取得された座席情報は自由視点映像生成部１２２に供給される。
　自由視点映像生成部１２２は、図８を参照して説明した３Ｄモデル生成部６１と映像生成部６２が有する機能と同様の機能を有する。すなわち、自由視点映像生成部１２２は、マルチカメラ映像に基づいて各選手の３Ｄモデルを生成する。マルチカメラ映像の各映像の視点がカメラパスにより表される。自由視点映像生成部１２２は、各選手の３Ｄモデルに基づいて自由視点映像を生成する。自由視点映像として、座席情報取得部１２１により取得された座席情報により指定される座席位置とディレクターの意図を考慮した映像が以下のようにして生成される。
　・ポジショニングやフォーメーションを見せたい意図である場合（構図１の場合）
　ユーザの目の前の選手の動きの方向と映像上の選手の動きの方向が同じ方向となる映像であり、画角が広い俯瞰映像が生成される。
　・選手を見せたい意図である場合（構図２の場合）
　実写の映像を用いて選手を見せる方が好ましいと考えられるため、CGの映像ではなく、実写の映像が用いられる。自由視点映像生成部１２２においては自由視点映像の生成が行われない。
　・選手のテクニックを見せたい意図である場合（構図３の場合）
　選手の周りを回るようなパスや選手視点のパスを用いた映像が生成される。
　このように、ユーザの座席位置とディレクターの意図を考慮して生成された自由視点映像が映像切替部１２３に供給される。
　映像切替部１２３は、自由視点映像生成部１２２により生成された自由視点映像と、外部から入力されたマルチカメラ映像を切り替えて表示制御部１２４に出力する。例えば、ディレクター制作映像の構図が構図１または構図３である場合、映像切替部１２３は、自由視点映像生成部１２２により生成された自由視点映像を出力する。また、ディレクター制作映像の構図が構図２である場合、映像切替部１２３は、外部から入力されたマルチカメラ映像を構成する映像のうち、ディレクターが注目している選手が映る実写の映像を選択し、出力する。
　表示制御部１２４は、映像切替部１２３から供給された映像をディスプレイ１１２に表示させる。
　このように、図９の表示システム１においては、ユーザの座席位置とディレクターの意図を考慮して、違和感がなく、状況を把握しやすい映像が各ユーザのスマートフォン１０１に提供される。
・第２の例
　図１０は、試合映像の表示に観客のスマートフォンを用いる場合の表示システム１の他の構成例を示すブロック図である。図１０の例においては、ディレクターの意図を考慮した自由視点映像の生成が情報処理装置１３において行われる。ディレクター制作映像が情報処理装置１３に入力される。また、マルチカメラ映像と、マルチカメラ映像の撮影に用いられた各カメラのカメラパスの情報が情報処理装置１３に入力される。
　図１０の情報処理装置１３には意図解析部３３と自由視点映像生成部３４が設けられる。情報処理装置１３の意図解析部３３は、ディレクター制作映像の特徴に基づいてディレクターの意図を取得し、自由視点映像生成部３４に出力する。
　自由視点映像生成部３４は、図９の自由視点映像生成部１２２と同様の機能を有する。自由視点映像生成部１２２は、マルチカメラ映像に基づいて各選手の３Ｄモデルを生成し、ディレクターの意図を考慮した映像を生成する。自由視点映像生成部１２２においては、ディレクターの意図を考慮した複数視点のCGの映像が生成され、スマートフォン１０１に送信される。
　スマートフォン１０１の再生処理部１１１は、座席情報取得部１２１と表示制御部１２４により構成される。座席情報取得部１２１は、スマートフォン１０１のユーザの座席情報を取得し、表示制御部１２４に出力する。
　表示制御部１２４は、情報処理装置１３から送信されてきた複数視点の映像を取得する。表示制御部１２４は、複数視点の映像のうち、ユーザの座席位置に応じた映像を選択し、ディスプレイ１１２に表示させる。
　このように、映像の提示を実現する各機能部がどの装置において実現されるようにするのかは任意に変更可能である。
＜マルチカメラ映像を切り替えて用いる例＞
　マルチカメラ映像の中から任意の視点の映像をディレクターが選択した場合に、それぞれのモニタ装置２１に表示させる映像がディレクターの選択内容に応じて自動的に選択されるようにしてもよい。
　図１１は、モニタ装置２１に表示させる映像をディレクターの選択内容に応じて自動的に選択する場合の表示システム１の構成例を示すブロック図である。
　図１１の例においては、表示制御装置２０１と大型ビジョン１１により表示システム１が構成される。
　表示制御装置２０１は、スイッチャー２１１、映像解析部２１２、および映像切替部２１３により構成される。表示制御装置２０１を構成するコンピュータにより所定のプログラムが実行されることによって各機能部が実現される。マルチカメラ映像が表示制御装置２０１に入力され、スイッチャー２１１と映像切替部２１３に供給される。
　図１２は、カメラの配置の例を示す図である。
　図１２の例においては、観覧席Ｓ１～Ｓ４にそれぞれ３台のカメラが設置される。さらに多くのカメラが設けられるようにしてもよい。モニタ装置２１－１用の映像を撮影するためのカメラとして、観覧席Ｓ１の位置Ｐ１１－１、Ｐ１１－２、Ｐ１１－３のそれぞれの位置にカメラが設けられ、モニタ装置２１－２用の映像を撮影するためのカメラとして、観覧席Ｓ２の位置Ｐ１２－１、Ｐ１２－２、Ｐ１２－３のそれぞれの位置にカメラが設けられる。また、モニタ装置２１－３用の映像を撮影するためのカメラとして、観覧席Ｓ３の位置Ｐ１３－１、Ｐ１３－２、Ｐ１３－３のそれぞれの位置にカメラが設けられ、モニタ装置２１－４用の映像を撮影するためのカメラとして、観覧席Ｓ４の位置Ｐ１４－１、Ｐ１４－２、Ｐ１４－３のそれぞれの位置にカメラが設けられる。
　図１１のスイッチャー２１１は、図１２に示すように配置された各カメラの映像により構成されるマルチカメラ映像を取得し、ディレクターの選択内容を表すディレクション情報に基づいて例えば１つの任意の映像を選択する。スイッチャー２１１により選択された映像が映像解析部２１２に出力される。
　映像解析部２１２は、スイッチャー２１１から供給された映像を解析し、ディレクターがどのカメラの映像を選択したのかに応じて、それぞれのモニタ装置２１に表示させる映像を選択する。例えば、ディレクターが選択した映像に応じて、その映像に紐づけられた各モニタ装置２１用の映像が選択される。
　例えば、観覧席Ｓ１の位置Ｐ１１－１に設けられたカメラに対して、観覧席Ｓ２の位置Ｐ１２－１、観覧席Ｓ３の位置Ｐ１３－１、観覧席Ｓ４の位置Ｐ１４－１のそれぞれの位置に設けられたカメラが紐づけられる。同様に、観覧席Ｓ１の位置Ｐ１１－２に設けられたカメラに対して、観覧席Ｓ２の位置Ｐ１２－２、観覧席Ｓ３の位置Ｐ１３－２、観覧席Ｓ４の位置Ｐ１４－２のそれぞれの位置に設けられたカメラが紐づけられ、観覧席Ｓ１の位置Ｐ１１－３に設けられたカメラに対して、観覧席Ｓ２の位置Ｐ１２－３、観覧席Ｓ３の位置Ｐ１３－３、観覧席Ｓ４の位置Ｐ１４－３のそれぞれの位置に設けられたカメラが紐づけられる。
　観覧席Ｓ１の位置Ｐ１１－１に設けられたカメラの映像がモニタ装置２１－１用の映像としてディレクターにより選択された場合、そのカメラに紐づけられた、位置Ｐ１２－１のカメラの映像がモニタ装置２１－２用の映像として選択される。また、位置Ｐ１３－１のカメラの映像がモニタ装置２１－３用の映像として選択され、位置Ｐ１４－１のカメラの映像がモニタ装置２１－４用の映像として選択される。このようにして選択されたそれぞれのモニタ装置２１用の映像を示す情報が、映像生成情報として映像切替部２１３のスイッチャー２２１－１～２２１－４に供給される。
　映像切替部２１３のスイッチャー２２１－１は、映像生成情報により示されるモニタ装置２１－１用の映像をマルチカメラ映像の中から選択し、モニタ装置２１－１に出力して表示させる。
　スイッチャー２２１－２は、映像生成情報により示されるモニタ装置２１－２用の映像をマルチカメラ映像の中から選択し、モニタ装置２１－２に出力して表示させる。
　スイッチャー２２１－３は、映像生成情報により示されるモニタ装置２１－３用の映像をマルチカメラ映像の中から選択し、モニタ装置２１－３に出力して表示させる。
　スイッチャー２２１－４は、映像生成情報により示されるモニタ装置２１－４用の映像をマルチカメラ映像の中から選択し、モニタ装置２１－４に出力して表示させる。これによっても、それぞれの観客席から見たときに違和感のない映像を提供することが可能となる。
＜画像処理により対処する例＞
　図１３は、１台のカメラにより撮影された映像に基づいてそれぞれのモニタ装置２１に表示させる映像を用意する場合の表示システム１の構成例を示すブロック図である。
　図１３の例においては、表示制御装置３０１と大型ビジョン１１により表示システム１が構成される。競技施設内に設置された１台のカメラの映像が表示制御装置３０１に入力される。例えば、図１４に示すように、観覧席Ｓ１の位置Ｐ１１に設置されたカメラの映像が表示制御装置３０１に入力される。
　図１３の表示システム１においては、観覧席Ｓ１に設置されたカメラの映像がモニタ装置２１－１用の映像として用いられるとともに、観覧席Ｓ１に設置されたカメラの映像の左右を反転させた反転映像が、コートＣを挟んで観覧席Ｓ１の反対側にある観覧席Ｓ３に向けた、モニタ装置２１－３用の映像として用いられる。
　図１５は、モニタ装置２１に表示させる映像の例を示す図である。
　図１５のＡに示す映像は、観覧席Ｓ１に設置されたカメラにより撮影された映像であり、この映像がモニタ装置２１－１用の映像として用いられる。また、図１５のＢに示すように、観覧席Ｓ１に設置されたカメラにより撮影された映像の反転映像がモニタ装置２１－３用の映像として用いられる。
　これにより、目の前の選手の動きの方向と映像上の選手の動きの方向が一致する映像を観覧席Ｓ３にいる観客に提供することが可能となる。
　なお、モニタ装置２１－２用の映像とモニタ装置２１－４用の映像として、モニタ装置２１－１用の映像またはモニタ装置２１－３用の映像が用いられる。観覧席Ｓ１ではなく、観覧席Ｓ２にカメラが設置されるようにしてもよい。
　このように、反転映像をいずれかのモニタ装置２１用の映像として用いる場合において、カメラにより撮影された映像に文字や広告が映っているとき、反転映像上では文字や広告の情報が破綻してしまう。図１３の表示制御装置３０１においては、文字や広告などの、反転させた場合に破綻する情報が検出され、破綻しない映像が生成される。
　表示制御装置３０１においては検出部３１１と表示制御部３１２が実現される。
　検出部３１１は、文字／広告検出部３２１－１～３２１－４から構成される。文字／広告検出部３２１－１～３２１－４は、それぞれ、カメラにより撮影された画像に写る文字や広告の領域を検出する。文字や広告の領域が映像を解析することによって検出されるようにしてもよいし、機械学習によって生成された推論モデルを用いて検出されるようにしてもよい。後者の場合、例えば、映像の各フレームを入力とし、文字や広告の領域を示す情報を出力とする推論モデルが文字／広告検出部３２１－１～３２１－４に用意される。文字／広告検出部３２１－１～３２１－４により検出された領域を示す情報は、入力された映像とともに表示制御部３１２の重畳処理部３２２－１～３２２－４に出力される。
　表示制御部３１２は、重畳処理部３２２－１～３２２－４から構成される。重畳処理部３２２－１～３２２－４は、入力された映像をそのままモニタ装置２１の表示に用いる場合、検出部３１１から供給された映像を対応するモニタ装置２１に出力し、表示させる。
　また、重畳処理部３２２－１～３２２－４は、反転映像をモニタ装置２１の表示に用いる場合、検出部３１１から供給された映像の左右を反転させ、反転映像を生成する。重畳処理部３２２－１～３２２－４は、文字や広告の領域が反転映像に含まれる場合、文字や広告の領域を反転映像から抽出し、抽出した領域の左右をさらに反転させ、抽出元の反転映像に重畳することによって表示用の映像を生成する。重畳処理部３２２－１～３２２－４は、表示用の映像を対応するモニタ装置２１に出力し、表示させる。
　これによっても、状況を把握しやすい映像をそれぞれの観客に提供することが可能となる。反転後の映像に文字や広告の領域が含まれる場合、その領域が破綻していない状態の映像を提供することができる。
＜変形例＞
　バスケットボール競技の試合が行われる施設における大型ビジョン１１の表示について説明したが、バレーボール競技、卓球競技、水泳競技などの他の競技の試合が行われる施設における大型ビジョン１１の表示についても本技術は適用可能である。コンサート会場、体育館などの大型の屋内施設に大型ビジョン１１が設けられる場合にも本技術は適用可能である。
　大型ビジョン１１が４枚のモニタ装置によって構成されるものとしたが、さらに多くのモニタ装置によって大型ビジョン１１が構成されるようにしてもよい。この場合、４方向ではなく、さらに多くの方向の位置を視点位置とした自由視点映像が生成され、それぞれの座席位置を利用する観客に届けられる。
・その他
　図１６は、コンピュータのハードウェアの構成例を示すブロック図である。上述した映像生成サーバ１２、情報処理装置１３、スマートフォン１０１、表示制御装置２０１、表示制御装置３０１が例えば図１６に示す構成を有するコンピュータにより構成される。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　被写体の３次元情報をマルチカメラ映像に基づいて生成する３次元情報生成部と、
　複数のモニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像を前記３次元情報に基づいて生成する映像生成部と、
　前記３次元情報に基づいて生成された前記被写体の映像をそれぞれの前記モニタ装置に表示させる表示制御部と
　を備える表示システム。
（２）
　複数の前記モニタ装置は、背面が対向するように設置された前記モニタ装置のペアが２ペア設けられることによって構成される装置である
　前記（１）に記載の表示システム。
（３）
　複数の前記モニタ装置は、平面視における形状が矩形であり、前記被写体となる人物がいるコートの上方に設置される
　前記（２）に記載の表示システム。
（４）
　所定の前記モニタ装置用の映像を示すカメラパスを基準として、他の前記モニタ装置用の映像のカメラパスを生成するカメラパス生成部をさらに備え、
　前記映像生成部は、それぞれのカメラパスが示す位置を視点位置とする前記被写体の複数の映像を生成する
　前記（３）に記載の表示システム。
（５）
　前記カメラパス生成部は、前記基準となるカメラパスと平面視において線対称となるカメラパスを生成する
　前記（４）に記載の表示システム。
（６）
　前記カメラパス生成部は、前記基準となるカメラパスに対して、平面視において９０度ずれたカメラパスを生成する
　前記（４）または（５）に記載の表示システム。
（７）
　前記被写体の人物を検出する人物検出部をさらに備え、
　前記カメラパス生成部は、前記被写体の人物の顔の正面方向の位置を視点位置とするカメラパスを生成する
　前記（４）～（６）のいずれかに記載の表示システム。
（８）
　前記カメラパス生成部は、前記コートに設置されたゴールの方向と同じ方向に表示面を向けて設置された前記モニタ装置用の映像のカメラパスとして、前記人物の顔の正面方向の位置を視点位置とするカメラパスを生成する
　前記（７）に記載の表示システム。
（９）
　複数の前記モニタ装置のそれぞれに対応する複数の表示制御装置のそれぞれが、前記３次元情報生成部、前記映像生成部、および前記表示制御部を有する
　前記（１）～（８）のいずれかに記載の表示システム。
（１０）
　異なる方向に表示面を向けて設置された複数の前記モニタ装置をさらに備える
　前記（１）～（９）のいずれかに記載の表示システム。
（１１）
　異なる方向に表示面を向けて設置された複数のモニタ装置の表示を制御する表示システムが、
　被写体の３次元情報をマルチカメラ映像に基づいて生成し、
　複数の前記モニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像を前記３次元情報に基づいて生成し、
　前記３次元情報に基づいて生成された前記被写体の映像をそれぞれの前記モニタ装置に表示させる
　表示制御方法。
　１　表示システム，　１１　大型ビジョン，　１２　映像生成サーバ，　１３　情報処理装置，　２１－１～２１－４　モニタ装置，　２２－１～２２－４　自由視点映像生成サーバ，　３１　カメラパス生成部，　３２　人物検出部，　３３　意図解析部，　３４　自由視点映像生成部，　５１　自由視点映像生成部，　６１　３Ｄモデル生成部，　６２　映像生成部，　６３　表示制御部

Claims (11)

  1. 　被写体の３次元情報をマルチカメラ映像に基づいて生成する３次元情報生成部と、
    　複数のモニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像を前記３次元情報に基づいて生成する映像生成部と、
    　前記３次元情報に基づいて生成された前記被写体の映像をそれぞれの前記モニタ装置に表示させる表示制御部と
    　を備える表示システム。
  2. 　複数の前記モニタ装置は、背面が対向するように設置された前記モニタ装置のペアが２ペア設けられることによって構成される装置である
    　請求項１に記載の表示システム。
  3. 　複数の前記モニタ装置は、平面視における形状が矩形であり、前記被写体となる人物がいるコートの上方に設置される
    　請求項２に記載の表示システム。
  4. 　所定の前記モニタ装置用の映像を示すカメラパスを基準として、他の前記モニタ装置用の映像のカメラパスを生成するカメラパス生成部をさらに備え、
    　前記映像生成部は、それぞれのカメラパスが示す位置を視点位置とする前記被写体の複数の映像を生成する
    　請求項３に記載の表示システム。
  5. 　前記カメラパス生成部は、前記基準となるカメラパスと平面視において線対称となるカメラパスを生成する
    　請求項４に記載の表示システム。
  6. 　前記カメラパス生成部は、前記基準となるカメラパスに対して、平面視において９０度ずれたカメラパスを生成する
    　請求項４に記載の表示システム。
  7. 　前記被写体の人物を検出する人物検出部をさらに備え、
    　前記カメラパス生成部は、前記被写体の人物の顔の正面方向の位置を視点位置とするカメラパスを生成する
    　請求項４に記載の表示システム。
  8. 　前記カメラパス生成部は、前記コートに設置されたゴールの方向と同じ方向に表示面を向けて設置された前記モニタ装置用の映像のカメラパスとして、前記人物の顔の正面方向の位置を視点位置とするカメラパスを生成する
    　請求項７に記載の表示システム。
  9. 　複数の前記モニタ装置のそれぞれに対応する複数の表示制御装置のそれぞれが、前記３次元情報生成部、前記映像生成部、および前記表示制御部を有する
    　請求項１に記載の表示システム。
  10. 　異なる方向に表示面を向けて設置された複数の前記モニタ装置をさらに備える
    　請求項１に記載の表示システム。
  11. 　異なる方向に表示面を向けて設置された複数のモニタ装置の表示を制御する表示システムが、
    　被写体の３次元情報をマルチカメラ映像に基づいて生成し、
    　複数の前記モニタ装置のそれぞれの表示面が向けられた異なる方向の位置を視点位置とした前記被写体の複数の映像を前記３次元情報に基づいて生成し、
    　前記３次元情報に基づいて生成された前記被写体の映像をそれぞれの前記モニタ装置に表示させる
    　表示制御方法。
PCT/JP2025/016167 2024-05-16 2025-04-28 表示システム、表示制御方法 Pending WO2025239189A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-079971 2024-05-16
JP2024079971 2024-05-16

Publications (1)

Publication Number Publication Date
WO2025239189A1 true WO2025239189A1 (ja) 2025-11-20

Family

ID=97720033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/016167 Pending WO2025239189A1 (ja) 2024-05-16 2025-04-28 表示システム、表示制御方法

Country Status (1)

Country Link
WO (1) WO2025239189A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160363263A1 (en) * 2015-02-11 2016-12-15 Robert Stockham System and method for movably mounting arena-type displays
JP2019052459A (ja) * 2017-09-14 2019-04-04 鹿島建設株式会社 映像装置
JP2020184150A (ja) * 2019-05-07 2020-11-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021087104A (ja) * 2019-11-27 2021-06-03 キヤノン株式会社 撮像装置の姿勢の調整を支援する方法、情報処理装置、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160363263A1 (en) * 2015-02-11 2016-12-15 Robert Stockham System and method for movably mounting arena-type displays
JP2019052459A (ja) * 2017-09-14 2019-04-04 鹿島建設株式会社 映像装置
JP2020184150A (ja) * 2019-05-07 2020-11-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021087104A (ja) * 2019-11-27 2021-06-03 キヤノン株式会社 撮像装置の姿勢の調整を支援する方法、情報処理装置、並びにプログラム

Similar Documents

Publication Publication Date Title
US7868847B2 (en) Immersive environments with multiple points of view
CN104394400B (zh) 基于立体多画显示的隔网对抗性项目虚拟仿真系统及方法
US10859852B2 (en) Real-time video processing for pyramid holographic projections
US9794541B2 (en) Video capture system control using virtual cameras for augmented reality
US6370267B1 (en) System for manipulating digitized image objects in three dimensions
US10121284B2 (en) Virtual camera control using motion control systems for augmented three dimensional reality
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
US9998664B1 (en) Methods and systems for non-concentric spherical projection for multi-resolution view
CN104010179B (zh) 基于立体多画的多用户聚类与视点计算系统及方法
JP2007159135A (ja) ビデオ・コンテンツおよびサラウンド・ビジュアル・フィールドを表示するシステム、装置で表示されるビデオに関係するサラウンド・ビジュアル・フィールドを動画化する方法、およびサラウンド・ビジュアル・フィールドの映写および動きを制御するサラウンド・ビジュアル・フィールド・コントローラ
CA2979211A1 (en) Three-dimensional image source for enhanced pepper's ghost illusion
JP7612384B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN2667827Y (zh) 一种准全景环绕式影视播放系统
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
US20240013483A1 (en) Enabling Multiple Virtual Reality Participants to See Each Other
CN113632498A (zh) 内容发布系统、内容发布方法、以及内容发布程序
US10796723B2 (en) Spatialized rendering of real-time video data to 3D space
WO2025239189A1 (ja) 表示システム、表示制御方法
JP7746197B2 (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
Mikami et al. Immersive Previous Experience in VR for Sports Performance Enhancement
Zünd et al. Unfolding the 8-bit era
JP7703496B2 (ja) 画像処理システム、画像処理システムの制御方法、及びプログラム
Lantz Large-scale immersive displays in entertainment and education
Ohta et al. A perceptually correct 3D model for live 3D TV

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25803439

Country of ref document: EP

Kind code of ref document: A1