[go: up one dir, main page]

WO2016038964A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2016038964A1
WO2016038964A1 PCT/JP2015/067355 JP2015067355W WO2016038964A1 WO 2016038964 A1 WO2016038964 A1 WO 2016038964A1 JP 2015067355 W JP2015067355 W JP 2015067355W WO 2016038964 A1 WO2016038964 A1 WO 2016038964A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
time
viewpoint
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/067355
Other languages
English (en)
French (fr)
Inventor
矢島　正一
佐古　曜一郎
崇之 平林
正資 武田
宏光 小松
広一郎 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/507,512 priority Critical patent/US20170256283A1/en
Priority to JP2016547731A priority patent/JPWO2016038964A1/ja
Publication of WO2016038964A1 publication Critical patent/WO2016038964A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Definitions

  • the technology disclosed in the present specification relates to an information processing apparatus and an information processing method for sharing information such as moving images and sounds between users, and in particular, such as images and sounds without time or space restrictions.
  • the present invention relates to an information processing apparatus and information processing method for reproducing information.
  • Information devices equipped with information playback functions such as video content and audio content are already widely used.
  • a mobile phone such as a smartphone, a tablet terminal, an electronic book, a portable music player, and the like.
  • information devices such as a head-mounted display and a wristband type device that are used by being worn on a part of a user's body such as a head or an arm.
  • These information devices are pre-downloaded content, content recorded (photographed and recorded) on the spot, played via the network (including real-time streaming), and augmented reality using AR (Augmented Reality) technology Various contents such as contents provided in real time can be viewed.
  • Some information devices having a content playback function include a chasing playback function (see, for example, Patent Document 1) for playing back a moving image file being recorded from an arbitrary playback position, or a desired screen. Some have a high-speed playback function (see, for example, Patent Document 2) for quickly finding the image. If these functions are used, the user can easily view the content from an arbitrary time point.
  • the purpose of the technology disclosed in this specification is to provide an excellent information processing apparatus and information processing method capable of viewing content without temporal or spatial restrictions.
  • An information acquisition unit for acquiring image or audio information A sensor information acquisition unit that acquires position / posture information or other sensor information when acquiring image or audio information; A storage unit for storing acquired image or audio information in a database together with sensor information; Is an information processing apparatus.
  • the storage unit of the information processing device stores image or audio information in a dedicated database on a network or a database of a video sharing site. Configured to save.
  • the storage unit of the information processing apparatus is configured to perform blur correction when recording an image or sound.
  • the fourth aspect of the technology disclosed in this specification is: An information acquisition unit for acquiring image or audio information stored in a database; An arithmetic processing unit that reproduces information at an arbitrary time point or an arbitrary place from information recorded or recorded at different times or different places; Is an information processing apparatus.
  • the database stores image or audio information together with position / posture information or other sensor information.
  • the said arithmetic processing part of the information processing apparatus which concerns on a 4th side is comprised so that the information of the image or audio
  • the arithmetic processing unit of the information processing device reproduces an image or sound according to a time difference between a desired viewing time and a current time. It is configured to perform processing.
  • the arithmetic processing unit of the information processing device when the time difference between the desired viewing time and the current time is less than a predetermined threshold value, It is configured to generate a real-time image.
  • the arithmetic processing unit of the information processing device can perform arbitrary processing when the spatial difference between the generated image and the real image is equal to or greater than a predetermined threshold. It is configured to generate a real-time image at a place / viewpoint.
  • the arithmetic processing unit of the information processing device provides a future in which a time difference between viewing time and a present time is equal to or greater than a predetermined threshold value. In the case of the case, it is configured to generate a future image.
  • the arithmetic processing unit of the information processing device can perform any processing when the spatial difference between the generated image and the real image is equal to or greater than a predetermined threshold.
  • a future image of an arbitrary time is generated at a place / viewpoint, and a future image of an arbitrary viewpoint and an arbitrary time is generated at a fixed location when the image is less than a predetermined threshold.
  • the arithmetic processing unit of the information processing device provides a past in which a time difference between viewing time and a current time is equal to or greater than a predetermined threshold value. In this case, a playback image is generated.
  • the arithmetic processing unit of the information processing device can perform any processing when the spatial difference between the generated image and the real image is equal to or greater than a predetermined threshold.
  • a playback image at an arbitrary time is generated at a place / viewpoint, and a playback image at an arbitrary viewpoint and an arbitrary time is generated at a fixed position when the playback image is less than a predetermined threshold.
  • the thirteenth aspect of the technology disclosed in this specification is: An information acquisition step for acquiring image or audio information; A sensor information acquisition step for acquiring position / posture information or other sensor information when acquiring image or audio information; A storage step of storing the acquired image or audio information in a database together with sensor information; Is an information processing method.
  • the fourteenth aspect of the technology disclosed in this specification is: An information acquisition step of acquiring image or audio information stored in the database; A calculation processing step for reproducing information at an arbitrary time point or an arbitrary place from information recorded or recorded at different times or different places; Is an information processing method.
  • an excellent information processing apparatus and information processing method capable of reproducing information at an arbitrary place at an arbitrary time point without time or space restrictions. be able to.
  • FIG. 1 is a diagram schematically showing a configuration of an information reproduction system 100 according to an embodiment of the technique disclosed in this specification.
  • FIG. 2 is a diagram illustrating an internal configuration example of the information device 101 that records information to be presented to the user.
  • FIG. 3 is a diagram showing an internal configuration example of the information input unit 204 for inputting information to be recorded.
  • FIG. 4 is a diagram illustrating an internal configuration example of the information device 141 that presents recorded information to the user.
  • FIG. 5 is a diagram showing an internal configuration example of the information output unit 205 that reproduces and outputs recorded information and presents it to the user.
  • FIG. 6 is a diagram illustrating an internal configuration example of an information device that performs all of stand-alone input of information to be recorded, information recording, and reproduction output of the recorded information.
  • FIG. 7 is a flowchart showing an example of basic processing executed by the recording-side information devices 101, 102,..., 10n.
  • FIG. 8 is a flowchart showing an example of basic processing executed by the recording-side information devices 101, 102,..., 10n.
  • FIG. 9 is a flowchart showing an example of basic processing executed by the recording side information devices 101, 102,..., 10n.
  • FIG. 10 is a flowchart showing an example of basic processing executed by the recording-side information devices 101, 102,..., 10n.
  • FIG. 11 is a flowchart showing an example of basic processing executed by the viewing-side information devices 141, 142,..., 14m.
  • FIG. 12 is a flowchart showing an example of basic processing executed by the viewing-side information devices 141, 142,..., 14m.
  • FIG. 13 is a flowchart showing a processing procedure for generating a composite image.
  • FIG. 14 is a flowchart showing a processing procedure for generating a composite image.
  • FIG. 15 is a flowchart showing a processing procedure for generating a composite image.
  • FIG. 16 is a flowchart showing a detailed procedure of the virtual space image synthesis process.
  • FIG. 17 is a flowchart showing a detailed procedure of the virtual space image synthesis process.
  • FIG. 18 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at an arbitrary place / viewpoint and at an arbitrary time.
  • FIG. 13 is a flowchart showing a processing procedure for generating a composite image.
  • FIG. 14 is a flowchart showing a processing procedure for generating a composite image.
  • FIG. 15 is a flow
  • FIG. 19 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at an arbitrary place / viewpoint and at an arbitrary time.
  • FIG. 20 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 21 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 22 is a flowchart showing a detailed procedure of a synthesis process of a playback image at an arbitrary place / viewpoint and at an arbitrary time.
  • FIG. 20 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 21 is a flowchart showing a detailed procedure of the synthesis process of the estimated future image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 22 is a
  • FIG. 23 is a flowchart showing a detailed procedure of a synthesis process of a playback image at an arbitrary place / viewpoint and at an arbitrary time.
  • FIG. 24 is a flowchart showing a detailed procedure of a synthesis process of a playback image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 25 is a flowchart showing a detailed procedure of a synthesis process of a playback image at a certain place / viewpoint and at an arbitrary time.
  • FIG. 26 is a flowchart showing a detailed procedure of real time image synthesis processing at an arbitrary place / viewpoint and at an arbitrary time.
  • FIG. 27 is a flowchart showing a detailed procedure of real time image synthesis processing at an arbitrary place / viewpoint and at an arbitrary time.
  • Small information devices that can be carried and used by users on the go, such as mobile phones such as smartphones, tablet terminals, electronic books, and portable music players, have become widespread.
  • an increasing number of information devices are attached to a part of the user's body, such as the head and arms.
  • a head-mounted display or a wristband type device For example, a head-mounted display or a wristband type device.
  • This type of information device is basically equipped with a playback function for information such as video content and audio content, and can play back videos that have been saved in advance or recorded on the spot, Video playback (including real-time and streaming) can be performed. Furthermore, AR (Augmented Reality) information can be given to these reproduced moving images.
  • the technology disclosed in the present specification has no temporal or spatial restrictions in a content viewing system using a head-mounted display or a portable information device equipped with a display. It reproduces one or a combination of two or more of images, sounds, and environmental information at an arbitrary point in time.
  • the user can experience a pseudo-temporal or spatial movement or temporal and spatial movement.
  • a content viewing system using the technology disclosed in this specification provides a function of performing chasing playback until a desired time if necessary.
  • the user can avoid missing information at a certain point in time.
  • the technology disclosed in the present specification can effectively present information to the user by realizing a return to the current state as necessary or presenting information in which a plurality of information is combined. Users can deepen their understanding of the situation and experience any point in time and any position / posture, so they can know the situation at that time, even if they are not present at that time. Is possible.
  • the virtual space and the real space are inhibited from immersive feeling by seamlessly connecting the real information and the virtual information at an arbitrary time point or an arbitrary place. Can be presented.
  • FIG. 1 schematically shows a configuration of an information reproduction system 100 according to an embodiment of the technology disclosed in this specification.
  • the information reproduction system 100 shown in FIG. 1 is recorded by one or more information devices 101, 102,..., 10n and information devices 101, 102,. .., 11j that stores information, an arithmetic device 120 that performs arithmetic processing on information recorded in the information devices 101, 102,..., 10n, and arithmetic processing performed by the arithmetic device 120
  • databases 131, 132,..., 13k that store later information
  • information devices 141, 142,..., 14m that reproduce recorded images, sounds, or environmental information and present them to the user Composed.
  • databases 111, 112,..., 11j, computing device 120, databases 131, 132,..., 13k, and information devices 141, 142,. are connected to each other via the network 150.
  • the information devices 101, 102,..., 10n that record information that is shared between users and presented to the users are, for example, image display devices (head mounted displays) that the user wears on the head or face, and monitoring. Cameras, mobile phones, tablet devices, e-books, mobile imaging devices, etc., and various times or locations depending on where the user wearing the head-mounted display moves, where the surveillance camera is installed, where the user is Record information such as recording and recording in various places.
  • the information devices 101, 102,..., 10 n that record information that is shared between users and presented to the user record information presented to the user that is recorded or recorded at various times or in various places.
  • the information devices 101, 102,..., 10n are equipped with various sensors for acquiring position / posture information, time, environment information, and the like.
  • the information devices 101, 102,..., 10n record the recorded or recorded information, the position and orientation information of the device at the time of recording (for example, information on the line of sight to be photographed), the time, and the environment of the device at the time of recording
  • sensor information such as information
  • Image or audio information stored in the databases 111, 112,..., 11j is shared on the network 150.
  • the sensor information given to the image or sound recording information is based on position / posture information and time information when the information devices 101, 102,.
  • environmental information such as illuminance, temperature, humidity, acceleration, ultraviolet intensity, chemical substance (concentration, type, state, etc.) at the time of recording may be added to the recorded information.
  • timing for processing position / posture information, time, and environment information for recording information such as images and sounds is transmitted from the information devices 101, 102,..., 10n to the databases 111, 112,. Even after sending, it may be after sending to the databases 111, 112,..., 11j.
  • the information devices 101, 102,..., 10n perform blurring correction when recording images and sounds, thereby reproducing the reproduction accuracy of images and sounds during subsequent viewing (that is, image reproducibility, sound reproducibility, position). ⁇ Attitude reproducibility can be improved.
  • the following can be applied as the blur correction function.
  • the computing device 120 processes the recorded information recorded by the information devices 101, 102,..., 10n based on the sensor information at the time of recording.
  • the computing device 120 is for reproducing actual information at an arbitrary time point or an arbitrary place from information recorded or recorded at different times or different places in each information device 101, 102,..., 10n.
  • Perform arithmetic processing Information after the arithmetic processing is stored in any of the databases 131, 132,.
  • the arithmetic device 120 is configured to perform arithmetic processing for seamless connection from real information at any time point or arbitrary place stored in any of the databases 111, 112,.
  • arithmetic processing for seamless connection from fictitious information to real information is performed.
  • Information after the arithmetic processing is stored in any of the databases 131, 132,.
  • Information devices 141, 142,..., 14m that reproduce recorded images and sounds or environmental information and present them to the user include, for example, an image display device (head mounted display) that the user wears on the head or face. ), Information devices for personal use such as mobile phones such as smartphones, tablet terminals, electronic books, portable music players, and portable imaging devices.
  • the information devices 141, 142,..., 14m are carried by the user and used to reproduce information reproduced by the computing device 120.
  • Information stored in the databases 111, 112,..., 11j and the databases 131, 132,..., 13k are shared among users.
  • the information devices 141, 142, ..., 14m read information stored in the databases 111, 112, ..., 11j or the databases 131, 132, ..., 13k, they are reproduced and presented to the user.
  • the information devices 141, 142,..., 14m reproduce and output information read from the databases 131, 132,..., They can be presented to the user as information reproduced at an arbitrary time point or an arbitrary place.
  • the information devices 141, 142,..., 14m request the reproduction of information together with the sensor information such as the current position and posture of the user and the environment information, the information reproduced based on the sensor information (for example, the user's current Information reconstructed into an image viewed in the current gaze direction at the position), or fictitious information seamlessly connected from actual information based on sensor information, from any of the databases 131, 132,. Get it and present it to the user.
  • the sensor information such as the current position and posture of the user and the environment information
  • the information reproduced based on the sensor information for example, the user's current Information reconstructed into an image viewed in the current gaze direction at the position
  • fictitious information seamlessly connected from actual information based on sensor information
  • the computing device 120 In the information reproduction system 100 shown in FIG. 1, the computing device 120 generates image, sound, or environmental information at an arbitrary point in time from the viewpoint where the information devices 141, 142,. .
  • An arbitrary time point includes both the time going back from the present time and the time to proceed. Therefore, on the information equipment 141, 142,..., 14m side, it is possible to reproduce the situation at the arbitrary time.
  • the information such as images and sounds generated by the arithmetic device 120 is based on the position / posture information and the time of the desired viewing point and the time (a quantity indicating when or how much time goes back or proceeds).
  • setting information on the desired reproduction quality for images and sounds, and other information devices such as illuminance, temperature, humidity, acceleration, UV intensity, chemical substances (concentration, type, condition, etc.) It may be system control information generated based on environmental information measured by a mounted sensor or a sensor installed outside the information device.
  • Information generated by the computing device 120 for viewing on the information equipment 141, 142,..., 14m side at the current or near current position / posture and time is recorded by the information equipment 101, 102,.
  • -It can also be generated in the same way as recording. That is, it can be generated by pattern recognition or the like from sensor information (GPS, geomagnetism, acceleration sensor, image, sound) by a sensor unit mounted on the device or attached externally.
  • the viewpoint position / posture and time desired for viewing on the information equipment 141, 142,..., 14m side may be arbitrarily set by the user, or may be automatically set in accordance with predetermined conditions. . For example, if a certain setting is made, it is not necessary for the user to set it each time. Depending on the line of sight directed by the user, the image and sound in accordance with the position and posture and the preset return time or advance time are displayed. Process to be played.
  • Reconstruction of recorded and recorded past images and past sounds may be performed by the recording / recording information devices 101, 102,..., 10n in addition to the calculation device 120 on the network 150.
  • playback may be performed by the information devices 141, 142,.
  • the device may directly have an area for storing the image, sound, and position / posture information, or a database may be used.
  • position / posture information and time information are added to image or audio information stored in the databases 111, 112,.
  • the information devices 141, 142,..., 14m on the viewing side have their own (that is, in advance, predicting that an event of viewing occurs when an event of viewing occurs or when an event of viewing occurs)
  • the position / posture information (viewed by the user) is transmitted to the computing device 120 on the network 150.
  • the computing device 120 reconstructs the image and sound corresponding to the received position / posture information using the image or sound information stored in the databases 111, 112,. It transmits to information equipment 141, 142, ..., 14m.
  • the computing device 120 uses image or sound information stored in the databases 111, 112,. For example, a future image or sound is estimated from a difference between a certain time point and a certain time point, and is transmitted to the viewing-side information devices 141, 142,.
  • the information devices 141, 142,..., 14m on the viewing side set in advance the amount of time retroactive to the past or the amount of advance to the future, or arbitrarily set the time at the time of viewing, information on such time is displayed on the network 150. It transmits to the above arithmetic unit 120. With respect to this time, for example, at one point in time or a plurality of recorded images and sounds in the viewing-side information devices 141, 142,..., 14m or the recording-side information devices 101, 102,. Assume that it is allowed to mark a time point, and the marked time point can be used as a playback point.
  • This mark may be set at an arbitrary time point, or set or set in advance by the viewing-side information devices 141, 142,..., 14m or the recording-side information devices 101, 102,. It is also possible to automate itself and automatically mark at the time of the point that matches the setting.
  • a method for generating the time for automatically marking it is conceivable to analyze recorded and recorded images and sounds and make a list according to the purpose. For example, when a change point is detected by analyzing a recorded / recorded image and sound, a method for extracting the point at which the state transition is found in the image / sound field component from the recorded / recorded information as information indicating the change point Is mentioned.
  • An important point is to create a time list such as when there are the most constituent sound sources, when the strength of the sound sources is strong, or when the sound range of the sound sources is high, and automatically according to the purpose. Make a mark. Instead of listing, it is also possible to extract only a specific state by narrowing down the purpose in advance.
  • the computing device 120 transmits the image and audio data around the position information and the time around the position information sent from the viewing-side information devices 141, 142,..., 14m from the viewing-side information devices 141, 142,. Load it.
  • the image and sound at the viewing viewpoint are reconstructed based on the position information and the posture information.
  • the viewing-side information devices 141, 142,..., 14m play the reconstructed images and sounds while loading them into the internal memory via the network 150. In this way, the viewing-side information devices 141, 142,..., 14m can view images and sounds at arbitrary points in time.
  • reconstruction of images and sounds viewed on the information devices 141, 142,..., 14 m is performed by a single arithmetic device 120.
  • a series of processing for reconfiguration may be distributed to a plurality of devices.
  • a place where there is a user carrying the information devices 101, 102,..., 10n having a recording / recording function or the installation of the information devices 101, 102 If it is a place, it is possible to access past image and audio information. Therefore, in the information devices 141, 142,..., 14m on the viewing side, in addition to being able to view images and sounds at multiple viewing points, it is possible to view past situations at the viewing points in a wide range of places. It becomes. Furthermore, by applying a high-speed playback technique (for example, see Patent Document 2) to a captured video, it is possible to return to the current situation while confirming the past situation. .
  • a high-speed playback technique for example, see Patent Document 2
  • the actual recording actually performed by the recording-side information devices 101, 102,. It is also conceivable to present fictitious information generated based on actual recorded information instead of image and audio information.
  • the computing device 120 generates an imaginary configuration through computation from an actual image at a certain point in time and at a certain position / posture, and combines the imaginary scene and the actual scene without a sense of incongruity.
  • the user can feel the movement between the real space and the virtual space without any discomfort by processing from temporally or spatially, or temporally and spatially from a fictitious sight to gradually turning it into a real sight. It becomes possible to give a deeper sense of immersion.
  • the viewing-side information devices 141, 142,..., 14m may display the display of viewpoints by time, by position / posture on a full screen.
  • the current view may be displayed in parallel by combining any one or two or more of the views from the viewpoints of the past, the future, and different positions and postures.
  • the current view may be displayed by superimposing one or a combination of two or more of the views from the viewpoints of the past, the future, and different positions and orientations.
  • the current information is similarly changed to past, future, and other positions.
  • position For example, you may dare to combine an image that is visible from a certain viewpoint with a sound image that is not recorded from that viewpoint. Conversely, an image that can be viewed from another viewpoint may be combined with the sound image recorded from that viewpoint. Further, for a certain point in time, sound images recorded before and after that may be presented in combination.
  • One or more databases 111, 112,... That store information recorded by the information devices 101, 102,... 10n, or one or more databases 131, 132,. May be a dedicated database server or a video sharing site server.
  • the recording-side information devices 101, 102,..., 10n upload the recorded image and sound information together with the position / posture, time, and other sensor information to the server of the video sharing site.
  • the computing device 120 obtains desired image and sound information from the video sharing site server based on the position / posture, time information, and the like from the video sharing site server, the computing device 120 performs arithmetic processing, The sound information is loaded into the viewing-side information devices 141, 142,..., 14m or uploaded to the server of the video sharing site.
  • the generation timing of position / posture / time information is not limited even for image and sound information for which position / posture / time information is not set.
  • the computing device 120 estimates the position, orientation, and time from the images and the images and sounds in the sound field by using an image recognition technique, extracts them as position, orientation, and time information at the time of recording, and the databases 111, 112,. You may give to the image and sound currently recorded on 11j. According to this method, even if the information of the existing image or sound that has not been recorded by the recording-side information devices 101, 102,. It is possible to use the information reproduction system 100 by estimating and giving the posture and time information.
  • video sharing sites provide a service for writing comments input by other users or automatically input, and other input information in an image (see, for example, Patent Document 3). ).
  • Comments written in the image are mainly annotations, explanations, commentary, criticism, and opinions.
  • the calculation device 120 calculates image or sound information, or the information devices 141 and 142 on the viewing side. ..,..., 14 m may be used to reflect the input information in images and sounds.
  • the computing device 120 extracts a viewing point with a lot of comments written by the user from the moving image as a recommended playback viewing point and feeds it back to the playback-side information devices 141, 142,. Can be realized.
  • comments and other information may be input.
  • This input information may also be the same processing target as a comment or other input information input by user input or automatic input on the video sharing site.
  • FIG. 2 shows an internal configuration example of the information device 101 that records information to be presented to the user. It should be understood that the other information devices 102, 103,..., 10n that record information have the same configuration.
  • constituent elements essential to the information device 101 are drawn with solid lines, arbitrary constituent elements are drawn with dotted lines, and constituent elements that should have at least one are drawn with one-dot chain lines.
  • the information device 101 includes an information input unit 204 for inputting information to be recorded as an essential component in addition to the basic computer components such as the calculation unit 201, the main storage unit 202, and the user input unit 203. Further, the information device 101 may include an information output unit 205 that reproduces and outputs recorded information and presents it to the user as an optional component. Details of the information input unit 204 and the information output unit 205 will be described later.
  • the information device 101 includes an external storage device 206 or a communication unit 207 as an arbitrary component of the computer.
  • the external storage device 206 is composed of a large-capacity storage device such as a hard disk drive, and can be used for storing recorded information as the database 111 or 131, for example.
  • the communication unit 207 includes, for example, a wired or wireless LAN (Local Area Network) interface, and is used to connect to an external device via the network 150.
  • the external devices mentioned here include databases 111, 112,..., 11j, arithmetic device 120, databases 131, 132,..., 13k, information devices 141, 142,.
  • the information device 101 In order to record the information input by the information input unit 204 and present it to the user, the information device 101 needs to include at least one of the external storage device 206 and the communication unit 207.
  • the information input unit 204 and the information output unit 205 are connected to the external storage device 206 or the communication unit 207 via the buffer 208.
  • FIG. 3 shows an internal configuration example of the information input unit 204 for inputting information to be recorded.
  • the information input unit 204 includes a presentation information input unit 301 that inputs information to be presented to the user, a position and orientation detection unit 302 that detects position and orientation information of the device at the time of recording, and the device at the time of recording. Is provided with an environment detection unit 303 that detects an environment in which is placed.
  • the information input unit 204 is equipped with at least one of a presentation information input unit 301, a position / orientation detection unit 302, and an environment detection unit 303. In FIG. 3, these components 301 to 303 are drawn with a one-dot chain line. Yes.
  • the presentation information input unit 301 includes an image sensor 311 for inputting an image to be recorded, a microphone 312 for inputting sound to be recorded, a text input unit 313 for inputting a character string, and a motion such as a gesture. At least one of a motion input unit 314, an odor input unit 315, a tactile input unit 316, and a taste input unit 317, and at least one of image, sound, character information, motion, smell, touch, and taste As presentation information to be presented or shared with other users. In FIG. 3, these components 311 to 316 are drawn by a one-dot chain line.
  • the position and orientation detection unit 302 detects at least one of a GPS (Global Positioning System) 321, a geomagnetic sensor 322, an acceleration sensor 323, a Doppler sensor 324, and a radio wave intensity sensor 325 in order to detect the position and orientation of the information device 101. It has. In FIG. 3, these components 321 to 325 are drawn by a one-dot chain line.
  • GPS Global Positioning System
  • the sensors constituting the position / orientation detection unit 302 is installed outside the information input unit 204 (that is, in the information device).
  • information such as position and posture can be generated not by the detection result of the sensor but by pattern recognition of an image or sound input by the presentation information input unit 301.
  • the environment detection unit 303 detects a temperature sensor 331, a humidity sensor 332, an infrared sensor 333, an ultraviolet sensor 334, an illuminance sensor 335, a radio wave intensity sensor 336, a chemical substance (concentration / type / Status) At least one of environmental sensors such as sensor 337 is provided. In FIG. 3, these constituent elements 331 to 337 are drawn by a one-dot chain line.
  • FIG. 4 shows an internal configuration example of the information device 141 that presents recorded information to the user. It should be understood that the other information devices 142, 143,..., 143m that present information have the same configuration. In the figure, the same components as those shown in FIG. 2 are given the same reference numerals. In addition, essential constituent elements of the information device 141 are drawn with solid lines, arbitrary constituent elements are indicated with dotted lines, and constituent elements that should include at least one are indicated with one-dot chain lines.
  • the information device 141 includes an information output unit 205 that reproduces and outputs recorded information and presents it to the user. As prepared.
  • the information device 141 may include an information input unit 204 that inputs information to be recorded as an optional component.
  • the information input unit 204 is as described with reference to FIG. Details of the information output unit 205 will be described later.
  • the information device 141 includes an external storage device 206 or a communication unit 207 as an arbitrary component of the computer.
  • the external storage device 206 is composed of a large-capacity storage device such as a hard disk drive, and can be used as a database 111 or 131, for example, to read recorded information.
  • the communication unit 207 is configured by, for example, a wired or wireless LAN interface, and is used for connecting to an external device via the network 150.
  • the external devices mentioned here include information devices 101, 102,..., 10n, databases 111, 112,..., 11j, arithmetic device 120, databases 131, 132,.
  • the information device 141 needs to include at least one of the external storage device 206 and the communication unit 207.
  • the information input unit 204 and the information output unit 205 are connected to the external storage device 206 or the communication unit 207 via the buffer 208.
  • FIG. 5 shows an internal configuration example of the information output unit 205 that reproduces and outputs recorded information and presents it to the user.
  • the information output unit 205 includes a liquid crystal display 501 that displays presentation information, an organic EL display 502, a retina direct-drawing display 503, a speaker 504 that outputs presentation information as audio, and a tactile display 505 that outputs tactile information.
  • Odor display 506 that outputs the odor component of the presentation information
  • temperature display 507 that outputs the temperature component of the presentation information
  • taste display 508 that presents the taste
  • electrical / physical stimulation to each sensory organ and brain electrical / physical stimulation
  • FIG. 6 shows an internal configuration example of an information device 600 that performs all of stand-alone input of information to be recorded, information recording, and reproduction output of the recorded information.
  • the information device 600 has both the functions of the information device 101 and the information device 141.
  • the same components as those shown in FIG. 2 are given the same reference numerals.
  • essential constituent elements are drawn with a solid line, arbitrary constituent elements with a dotted line, and constituent elements that should have at least one are drawn with a one-dot chain line.
  • the information device 141 includes an information input unit 204 that inputs information to be recorded, and reproduces and outputs the recorded information.
  • the information input unit 204 is as described with reference to FIG.
  • the information output unit 205 is as described with reference to FIG.
  • the calculation unit 201 executes a predetermined application, for example, and performs the same processing as the calculation device 120. That is, the information input to the presentation information input unit 301 in the information input unit 204 is processed based on sensor information such as the position / orientation detection unit 302 and the environment detection unit 303 at the time of input.
  • the calculation unit 201 performs a calculation process for reproducing real information having a different time or place from information recorded or recorded at an arbitrary time or an arbitrary place.
  • the information after the arithmetic processing is stored in the external storage device 206 in the information device 600 or stored in any of the databases 131, 132,..., 13k on the network 150 via the communication unit 207.
  • the calculation unit 201 seamlessly changes from real-time information stored at the external storage device 206 (or any one of the databases 111, 112,. Arithmetic processing for connection, and conversely, arithmetic processing for seamless connection from fictitious information to real information is performed.
  • the information device 600 includes an external storage device 206 or a communication unit 207 as an arbitrary component of the computer.
  • the external storage device 206 is composed of a large-capacity storage device such as a hard disk drive, and can be used as a database 111 or 131, for example, to read recorded information.
  • the communication unit 207 is configured by, for example, a wired or wireless LAN interface, and is used for connecting to an external device via the network 150.
  • the external devices mentioned here include information devices 101, 102,..., 10n, databases 111, 112,..., 11j, arithmetic device 120, databases 131, 132,.
  • the information device 101 needs to include at least one of the external storage device 206 and the communication unit 207.
  • the information input unit 204 and the information output unit 205 are connected to the external storage device 206 or the communication unit 207 via the buffer 208.
  • FIG. 7 to 10 show examples of basic processing executed by the recording-side information devices 101, 102,..., 10n in the form of flowcharts.
  • the information device 101 When the information device 101 performs the recording process, the information device 101 first checks whether or not the use of the image recording or the sound recording for the arbitrary viewpoint / time function is permitted (S701).
  • step S701 When the use of the image recording or the sound recording for the arbitrary viewpoint / time function is not permitted (No in step S701), the information device 101 transfers the image or sound to, for example, a private data folder in the image device. Save (step S702), and this processing routine ends.
  • step S703 the information device 101 subsequently checks whether or not the manual tagging is performed.
  • step S703 When manual tagging is performed (Yes in step S703), setting by the user is performed (step S704).
  • step S705 If manual tagging is not performed (No in step S703), it is checked whether or not tag extraction is performed (step S705). If tag extraction is not performed (No in step S705), a fixed value is loaded (step S706). If tag extraction is to be performed (Yes in step S705), automatic setting is performed (step S707), and tagging conditions are set (step S708).
  • the information device 101 confirms the image and audio recording modes (step S709).
  • the recording mode is determined according to the following conditions.
  • step S710 when an end timing or an interrupt occurs (Yes in step S710), when the recording target state and the external input state are substantially equal to the tagging conditions set in step S708 (Yes in step S711), information After recording and tagging images and sounds (step S712), the device 101 moves to the next data (step S713).
  • step S714 when an end timing or interruption occurs (Yes in step S714), the information device 101 records an image and sound (step S715).
  • step S715 When the EOF (End Of File) of the recording data is reached (Yes in step S716), when the recording target state and the external input state are substantially equal to the tagging conditions set in step S708 (Yes in step S717), the information device. After recording and tagging images and sounds (step S718) 101, the process moves to the next data (step S720).
  • step S721 when an end timing or interruption occurs (Yes in step S721), the information device 101 records an image and sound (step S722).
  • step S723 when the recording target state and the external input state are substantially equal to the tagging conditions set in step S708 (step S724: Yes), the information device 101 displays an image, After voice recording and tagging (step S725), the process moves to the next data (step S726).
  • the information device 101 transmits the recorded data to the databases 111, 112,..., 11j and stores it (step S719).
  • 11 to 12 show, in the form of flowcharts, basic processing examples executed by the computing device 120 to view images and sounds on the viewing-side information devices 141, 142,..., 14m. However, this processing procedure may be directly executed by each information device 141, 142,.
  • the information device 141 When the information device 141 performs the reproduction process, the information device 141 first checks whether or not to use an arbitrary viewpoint / time function for image recording or audio recording (S1101).
  • step S1101 When the arbitrary viewpoint / time function for recording images or recording audio is not used (No in step S1101), the information device 141 displays a real-time image (step S1106). If there is a subsequent process (Yes in step S1110), the process returns to step S1101, and if there is no subsequent process (No in step S1110), the process routine ends.
  • step S1102 when using the arbitrary viewpoint / time function of image recording or audio recording (Yes in step S1101), the information device 141 checks whether to automatically generate an image and audio (step S1102).
  • the information device 141 automatically determines a target generation image based on the viewer preference / intention, the recorder preference / intention, and the environment information (step S1103). That is, the playback content is determined. Next, the playback start / end point timing is determined from the viewer preference / intention, the recorder preference / intention, and the environment information, and an item is extracted (step S1104).
  • the information device 141 selects a target reproduction image for which audiovisual is desired (step S1107). That is, the playback content is determined. Then, the playback start / end point timing is determined and an item is set (step S1108).
  • step S1105 it is checked whether there is a related library. If there is no related library, the information device 141 generates a new library (step S1109).
  • step S1111 it is checked whether the tag type in the library is substantially equal to the type of the timing determination item.
  • step S1116 If the tag type in the library is not equal to the type of the timing determination item (No in step S1111), the information device 141 generates a new tag type (step S1116). If the tag type in the library is substantially equal to the type of the timing determination item (Yes in step S1111), the information device 141 determines whether or not the match between the reproduction tag and the data in the library is within a predetermined threshold. Further checking is performed (step S1112). If the match between the reproduction tag and the data in the library is not within the predetermined threshold (No in step S1112), the information device 141 generates a composite image (step S1117).
  • step S1113 the information device 141 tosses the contents of the reproduction and display expression to the buffer (step S1113).
  • a desired generated image is output (step S1114). If there is a subsequent process (Yes in step S1115), the process returns to step S1101, and the information device 141 repeatedly executes the process described above. If there is no subsequent process (No in step S1115), the process routine ends.
  • the tag is tagged at steps S712, S718, S728, etc. when someone wants to ask at the time of recording.
  • the tags include an electroencephalogram tag, a keyword tag to be called repeatedly. Tags are added to the necessary locations from the video. It is necessary to consider how to decide where to start and where to end. In addition, a function for preventing forgery is required when an image is reproduced (synthesized) up to the point of tagging. However, details of the synthesis process will be described later.
  • meta information related to an image reproduction method such as highlight reproduction, standard speed reproduction, and double speed reproduction can be attached to the tag. Other meta information is exemplified below.
  • step S1112 if the coincidence between the reproduction tag and the data in the library is not within the predetermined threshold (No in step S1112), a synthesized image is generated in step S1117, thereby catching up to the time of the reproduction tag at high speed.
  • the composite processing of the playback image has a forgery prevention function, and is different from simple chasing playback.
  • image processing technology such as morphing and cross-sensing is used to transform images from one person to another, or from one character in an animation to another. To do.
  • image processing technology such as morphing and cross-sensing is used to transform images from one person to another, or from one character in an animation to another. To do.
  • image processing technology such as morphing and cross-sensing is used to transform images from one person to another, or from one character in an animation to another. To do.
  • Playback methods such as UP / Down CONVERT are also subject to control. For example, it is set to DOWN in the preview mode, and set to UP in the zoom mode. The point of attention of the police is UP for details and DOWN for appearance. Also, the playback method is controlled for each viewer of the playback object.
  • FIG. 13 to FIG. 15 show a processing procedure for generating a composite image executed in step S1117 of the flowchart shown in FIG. 11 to FIG. 12 in the form of a flowchart.
  • step S1304 If there is information necessary for generating a reproduced image (Yes in step S1301), the information device 141 acquires such information (step S1304).
  • the information device 141 checks whether or not the generated image that the user of the viewing-side information device desires to view is only an actual image (step S1302).
  • step S1305 the information device 141 executes a virtual space image synthesis process. Details of the virtual space image composition processing will be described later.
  • step S1317 the process proceeds to step S1317, and the information device 141 outputs the generated image.
  • step S1303 When the generated image for which the user desires audiovisual is only an actual image (Yes in step S1302), and when the virtual space image is combined with another synthesis method (Yes in step S1306), the information device 141 is used. Subsequently, it is checked whether or not the time difference between the generated image and the real image is greater than or equal to a threshold value (step S1303).
  • the information device 141 subsequently checks whether the generated image that the user desires for audiovisual is in the past (step S1303). s1307).
  • the information device 141 further checks whether or not the difference between the generated image and the actual space is greater than or equal to the threshold (step S1308).
  • step S1308 If the difference between the generated image and the actual space is greater than or equal to the threshold (Yes in step S1308), the information device 141 performs a process of generating an estimated future image at an arbitrary place / viewpoint and at an arbitrary time (step S1311). Details of the process of generating an estimated future image at an arbitrary place / viewpoint and at an arbitrary time will be described later.
  • the information device 141 When the difference between the generated image and the actual space is less than the threshold (No in step S1308), the information device 141 performs a process of generating an estimated future image at a certain place / viewpoint and at an arbitrary time (step S1312). . Details of the process of generating an estimated future image at a certain arbitrary place / viewpoint and at an arbitrary time will be described later.
  • the information device 141 further checks whether the generated image and the actual spatial difference are equal to or greater than a threshold (step S1309).
  • the information device 141 When the difference between the generated image and the actual space is greater than or equal to the threshold (Yes in step S1309), the information device 141 performs a playback image generation process at an arbitrary place / viewpoint and at an arbitrary time (step S1313). Details of the playback generation processing of an image at an arbitrary place / viewpoint and at an arbitrary time will be described later.
  • the information device 141 When the difference between the generated image and the actual space is less than the threshold value (No in step S1309), the information device 141 performs playback image generation processing at a certain place / viewpoint and for an arbitrary time (step S1314). . Details of the playback image generation process at a certain arbitrary place / viewpoint and for an arbitrary time will be described later.
  • the information device 141 further checks whether the generated image and the real space difference are equal to or larger than the threshold value (step S1310). .
  • the information device 141 When the difference between the generated image and the actual space is equal to or greater than the threshold (Yes in step S1310), the information device 141 performs a real-time image generation process at an arbitrary place / viewpoint and at an arbitrary time (step S1315). Details of real-time image generation processing at an arbitrary place / viewpoint and at an arbitrary time will be described later.
  • step S1310 If the difference between the generated image and the actual space is less than the threshold (No in step S1310), the information device 141 performs real-time image generation processing (step S1316).
  • 16 to 17 show the detailed procedure of the synthesis process of the virtual space image executed in step S1305 in the flowcharts shown in FIGS. 13 to 15 in the form of flowcharts.
  • the information device 141 first sets the playback base position, viewpoint, time, and user preference information (step S1601).
  • the information device 141 detects the change speed of the position, viewpoint, and time (step S1602).
  • the information device 141 calculates a calculation speed that can correspond to the movement of the position and the viewpoint (step S1603).
  • the information device 141 sets the reproduction space / time definition and the permissible tolerance range (step S1604).
  • the information device 141 simplifies an image of one coordinate unit space or time, or a base coordinate of space and time (step S1605).
  • the information device 141 extracts the transition state and the feature amount (step S1606).
  • the information device 141 checks whether there is enough data to generate a recommended reproduction image (step S1607).
  • step S1607 If there is not enough data to generate the recommended playback image (No in step S1607), the information device 141 moves the base point of space and time by the unit step (step s1611) and returns to step S1605. Repeat the same process.
  • step S1607 If there is enough data to generate a recommended playback image (Yes in step S1607), the information device 141 generates a recommended playback image based on the transition state, feature amount, and preference (step S1608).
  • the information device 141 synthesizes a reproduction image of the past, the current, or the future serving as a return point (step S1609).
  • the synthesis process in step S1609 applies a synthesis method in which the calculation load is reduced by lowering the system than the synthesis process in steps S1611 to S1615.
  • the information device 141 checks whether or not the change in the position / viewpoint change speed is within a threshold (step S1610).
  • step S1610 If the change in the position / viewpoint change speed exceeds the threshold (No in step S1610), the process returns to step S1603, and the same processing as described above is repeatedly executed.
  • step S1610 If the change in the position / viewpoint change speed is within the threshold (Yes in step S1610), has the information device 141 completed generation of the estimated image of the position, viewpoint, and time change range of the virtual reality composite image? It is checked whether or not (step S1612).
  • the information device 141 may adjust the space and / or time according to the definition.
  • the base point is moved by the amount corresponding to the step (step S1613), the process returns to step S1604, and the same processing as described above is repeatedly executed.
  • the information device 141 ends this processing routine.
  • FIG. 18 to FIG. 19 show the detailed procedure of the synthesis process of the estimated future image at any place / viewpoint and at any time, which is executed in step S1311 in the flowchart shown in FIG. 13 to FIG. Show.
  • the information device 141 first sets the reproduction base point position and viewpoint information (step S1801).
  • the information device 141 detects the change speed of the position and the viewpoint (step S1802).
  • the information device 141 calculates a calculation speed that can correspond to the movement of the position and the viewpoint (step S1803).
  • the information device 141 sets the space / time definition for reproduction (step S1804).
  • the information device 141 searches for a past record image having a close definition close to one coordinate unit space or time, or the base coordinates of space and time (step S1805).
  • the information device 141 checks whether or not the number of searched corresponding data is greater than or equal to a threshold value (step S1806). If the number of corresponding data is less than the threshold (No in step S1806), the information device 141 changes the base coordinate space or time, or the space and time, or the threshold (step S1811), and step S1805. Returning to the above, the search process of the past recorded image is repeatedly executed.
  • step S1806 If the number of corresponding data is equal to or greater than the threshold (Yes in step S1806), the information device 141 performs a simplification process (step S1807).
  • the information device 141 performs difference calculation and transition state extraction (step S1808).
  • the information device 141 estimates the state transition amount of the future image according to space or time, or space-time definition (step S1809).
  • the information device 141 generates an estimated future space or time in unit processing, or a space and time reproduction image, or a reproduction image, or generates only transition information that can generate a reproduction image by post-processing (step S1810).
  • the information device 141 checks whether or not the change in the position / viewpoint change speed is within a threshold (step S1812).
  • step S1812 If the change in the position / viewpoint change speed exceeds the threshold value (No in step S1812), the process returns to step S1803, and the same processing as described above is repeatedly executed.
  • step S1812 If the change in the position / viewpoint change speed is within the threshold (Yes in step S1812), the information device 141 further checks whether the generation of the estimated image of the position / viewpoint change range has been completed (step S1812). S1813).
  • step S1813 When the generation of the estimated image of the position / viewpoint change range has not been completed (No in step S1813), the information device 141 moves the base point by space or time or both steps according to the definition. (Step S1814), the process returns to step S1804, and the same processing as described above is repeatedly executed.
  • step S1813 when the generation of the estimated image of the position / viewpoint change range is completed (Yes in step S1813), this processing routine is ended.
  • FIG. 20 to FIG. 21 are flowcharts showing the detailed procedure of the synthesis process of the estimated future image at a certain place / viewpoint and at an arbitrary time, which is executed in step S1312 in the flowcharts shown in FIG. 13 to FIG. Show.
  • the information device 141 first sets the playback position and base point viewpoint information (step S2001).
  • the information device 141 detects the change speed of the viewpoint (step S2002).
  • the information device 141 calculates a calculation speed that can correspond to the movement of the viewpoint (step S2003).
  • the information device 141 sets the reproduction space / time definition (step S2004).
  • the information device 141 searches a past record image with a close definition close to the base coordinate of one computation unit space or time, or time and space (step S2005).
  • the information device 141 checks whether or not the number of searched corresponding data is greater than or equal to the threshold (step S2006).
  • the information device 141 changes the base coordinate space or time, or the space and time, or the threshold (step S2011), and step S2005.
  • the search process of the past recorded image is repeatedly executed.
  • step S2007 If the number of corresponding data is equal to or greater than the threshold (Yes in step S2006), the information device 141 performs a simplification process (step S2007).
  • the information device 141 performs difference calculation and transition state extraction (step S2008).
  • the information device 141 estimates the state transition amount of the future image according to space or time, or space-time definition (step S2009).
  • the information device 141 generates the estimated future space or time in the unit processing, or the space and time playback image, or the playback image, or only the transition information that can generate the playback image by the post processing (step S2010). .
  • the information device 141 checks whether or not the change in the viewpoint change speed is within a threshold (step S2012).
  • step S2012 If the change in the viewpoint change speed exceeds the threshold (No in step S2012), the process returns to step S2003, and the same processing as described above is repeatedly executed.
  • the information device 141 further checks whether the generation of the estimated image of the position / viewpoint change range has been completed (step S12). S2013).
  • Step S2013 If the generation of the estimated image of the position / viewpoint change range has not been completed (No in step S2013), the information device 141 moves the base point by the space or time or both steps according to the definition. (Step S2014), the process returns to Step S2004, and the same processing as described above is repeatedly executed.
  • step S2013 when the generation of the estimated image of the position / viewpoint change range is completed (Yes in step S2013), this processing routine is ended.
  • FIGS. 22 to 23 show in flowchart form the detailed procedure of the synthesis process of the playback image at any place / viewpoint and at any time, which is executed in step S1313 in the flowchart shown in FIGS. Show.
  • the information device 141 first sets the reproduction base point position and viewpoint information (step S2201).
  • the information device 141 detects the change speed of the position and the viewpoint (step S2202).
  • the information device 141 calculates a calculation speed that can correspond to the movement of the position and the viewpoint (step S2203).
  • the information device 141 sets the space / time definition for reproduction (step S2204).
  • the information device 141 searches a past record image with a close definition close to the base coordinate of one computation unit space or time, or time and space (step S2205).
  • the information device 141 checks whether or not the number of searched corresponding data is greater than or equal to the threshold (step S2206). If the number of corresponding data is less than the threshold (No in step S2206), the information device 141 changes the base coordinate space or time, or the space and time, or the threshold (step S2211), and step S2205. Returning to the above, the search process of the past recorded image is repeatedly executed.
  • step S2206 If the number of corresponding data is equal to or greater than the threshold (Yes in step S2206), the information device 141 performs a simplification process (step S2207).
  • the information device 141 performs difference calculation and transition state extraction (step S2208).
  • the information device 141 estimates a state transition amount according to space or time, or space-time definition (step S2209).
  • the information device 141 generates only estimated transitional space or time in unit processing, or space and time playback images, or only transition information that can generate a playback image by post-processing to reconstruct the playback image (step S2210). ).
  • the information device 141 checks whether or not the change in the position / viewpoint change speed is within a threshold value (step S2212).
  • step S2212 If the change in the position / viewpoint change speed exceeds the threshold (No in step S2212), the process returns to step S2203, and the same processing as described above is repeatedly executed.
  • the information device 141 further checks whether the generation of the estimated image of the position / viewpoint change range has been completed (step S2212). S2213).
  • Step S2213 If the generation of the estimated image of the position / viewpoint change range has not been completed (No in step S2213), the information device 141 moves the base point by the space and / or time step according to the definition. (Step S2214), the process returns to step S2204, and the same processing as described above is repeatedly executed.
  • FIG. 24 to FIG. 25 show the detailed procedure of the synthesis process of the playback image at a certain place / viewpoint and arbitrary time, which is executed in step S1314 in the flowchart shown in FIG. 13 to FIG. Show.
  • the information device 141 first sets the playback position and base point viewpoint information (step S2401).
  • the information device 141 detects the change speed of the viewpoint (step S2402).
  • the information device 141 calculates a calculation speed that can cope with the movement of the viewpoint (step S2403).
  • the information device 141 sets the reproduction space / time definition (step S2404).
  • the information device 141 searches for a past record image having a closeness close to the base coordinate of one computation unit space or time, or space and time (step S2405).
  • the information device 141 checks whether or not the number of searched corresponding data is greater than or equal to a threshold value (step S2406). If the number of corresponding data is less than the threshold (No in step S2406), the information device 141 changes the base coordinate space or time, or the space and time, or the threshold (step S2411), and step S2405. Returning to the above, the search process of the past recorded image is repeatedly executed.
  • step S2406 If the number of corresponding data is equal to or greater than the threshold (Yes in step S2406), the information device 141 performs a simplification process (step S2407).
  • the information device 141 performs difference calculation and transition state extraction (step S2408).
  • the information device 141 estimates a state transition amount according to space or time, or space-time definition (step S2409).
  • the information device 141 generates only estimated transitional space or time in unit processing, or space and time playback images, or only transition information that can generate playback images by post-processing to reconstruct the playback images (step S2410). ).
  • the information device 141 checks whether or not the change in the viewpoint change speed is within the threshold (step S2412).
  • step S2412 If the change in the viewpoint change speed exceeds the threshold (No in step S2412), the process returns to step S2403, and the same processing as described above is repeatedly executed.
  • step S2412 If the change in the position / viewpoint change speed is within the threshold (Yes in step S2412), the information device 141 further checks whether the generation of the estimated image of the position / viewpoint change range has been completed (step S2412). S2413).
  • Step S2413 When the generation of the estimated image of the position / viewpoint change range has not been completed (No in step S2413), the information device 141 moves the base point by the space and / or time step according to the definition. (Step S2414), the process returns to step S2404, and the same processing as described above is repeatedly executed.
  • step S2413 when the generation of the estimated image of the position / viewpoint change range is completed (Yes in step S2413), this processing routine is ended.
  • 26 to 27 show, in flowchart form, the detailed procedure of the real-time image synthesis process at an arbitrary place / viewpoint and at an arbitrary time, which is executed in step S1315 in the flowcharts shown in FIGS. ing.
  • the information device 141 first sets the reproduction base point position and viewpoint information (step S2601).
  • the information device 141 detects the change speed of the position and the viewpoint (step S2602).
  • the information device 141 calculates a calculation speed that can correspond to the movement of the position and the viewpoint (step S2603).
  • the information device 141 sets the space / time definition for reproduction (step S2604).
  • the information device 141 searches for a recorded image with a resolution close to one computation unit space base point coordinate within a range within the time resolution from the reduced time (step S2605).
  • the information device 141 checks whether or not the number of searched corresponding data is greater than or equal to a threshold value (step S2606). If the number of corresponding data is less than the threshold (No in step S2606), the information device 141 changes the base coordinate space or the threshold (step S2611), returns to step S2605, and records the past recorded image. Repeat the search process.
  • the information device 141 checks whether or not the corresponding data group and the desired position / posture deviation are equal to or greater than the threshold (step S2607).
  • step S2607 If the corresponding data group and the desired position / posture deviation are equal to or greater than the threshold (Yes in step S2607), the information device 141 performs simplification processing (step S2608).
  • the information device 141 performs difference calculation and transition state extraction (step S2609).
  • the information device 141 estimates a real image state transition amount according to space or time or space-time definition (step S2610).
  • the information device 141 synthesizes an aerial image of the viewpoint changeable area in the unit processing (step S2612).
  • the information device 141 identifies the device that records the data or the storage device that the device records.
  • the storage area of the playback device is connected (step S2613).
  • the information device 141 copies the corresponding data to the playback device (step S2614).
  • the information device 141 checks whether or not the change in the position / viewpoint change speed is within a threshold (step S2615).
  • step S2615 If the change in the position / viewpoint change speed exceeds the threshold (No in step S2615), the process returns to step S2603 and the same process as described above is repeatedly executed.
  • step S2615 If the change in the position / viewpoint change speed is within the threshold (Yes in step S2615), the information device 141 further checks whether the generation of the image of the position / viewpoint change range has been completed (step S2617). ).
  • Step S2617 If the generation of the image of the position / viewpoint change range has not been completed (No in step S2617), the information device 141 moves the base point by space or time or both steps according to the definition. (Step S2616), returning to step S2604, the same processing as described above is repeatedly executed.
  • step S2617 when the generation of the image of the position / viewpoint change range is completed (Yes in step S2617), this processing routine is ended.
  • the information devices 101, 102,..., 10n have at least one of a recording function or a recording function, and are scattered in various places in the real world and continue to record or record at multiple points.
  • the information devices 101, 102,..., 10n are, for example, a head-mounted display, a wristband type device, a surveillance camera, a mobile phone, a tablet terminal, an electronic book, a mobile imaging device, or the like.
  • the information devices 101, 102,..., 10n are position and orientation information at the time of recording or recording obtained from a position and orientation detection unit 302 including a GPS 321, a geomagnetic sensor 322, an acceleration sensor 323, a Doppler sensor 324, a radio wave intensity sensor 325, and the like. Time information is added and the recorded or recorded information is stored in the databases 111, 112,..., 11j, and can be shared on the network 150.
  • the information devices 101, 102,..., 10n include a temperature sensor 331, a humidity sensor 332, an infrared sensor 333, an ultraviolet sensor 334, an illuminance sensor 335, a radio wave intensity sensor 336, a chemical substance (concentration / type / state) sensor 337, and the like.
  • the environment detection part 303 which consists of may be provided.
  • the information devices 101, 102,..., 10n add environment information at the time of recording or recording detected by the environment detection unit 303 instead of position / orientation information and time information (or together with position / orientation information and time information)
  • the recorded or recorded information may be stored in the databases 111, 112,.
  • timing for processing the position / orientation information, time information, and environment information for the recorded or recorded information may be when the information devices 101, 102,..., 10n transmit to the network 150. However, it may be stored in the database 111, 112,.
  • a blur correction function for performing blur correction at the time of recording or recording may be further provided.
  • accuracy image reproduction, sound reproduction, position or posture reproducibility
  • a mechanical vibration correction mechanism around the recording or recording function provided in the information devices 101, 102,..., 10n itself, detection results of sensors, and detection of periodic changes in image / audio signals And automatic electrical correction based on the above.
  • the latter automatic electrical correction can be performed by the information devices 101, 102,..., 10n, or by another information device or the arithmetic unit 120.
  • the information devices 141, 142,..., 14m on the playback side that is, the image and sound viewing side, reproduce the image and sound of the viewpoint corresponding to the position and orientation of the device, and the image and sound from the spot. make it available for viewing on Also, you can view the scene at any time by playing back the image and sound from the current time, or generating the image and sound at a time that is ahead of the current time. .
  • the viewing desired viewpoint is not the current position / orientation of the information devices 141, 142,..., 14m detected by the position / orientation detection unit 302, but a viewpoint arbitrarily designated by the user through the user input unit 203 or the like. Also good.
  • the user can specify an arbitrary time (when the past time, how far it goes from the current time, or how far ahead) through the user input unit 203 or the like.
  • the desired viewing point and desired viewing time it is not necessary for the user to set the desired viewing point and desired viewing time each time an image or sound is viewed, and the desired viewing point is automatically set according to the line of sight directed by the user and set in advance. You may process so that an image and an audio
  • the position / orientation information and time information of the information devices 141, 142,..., 14m they are detected by the environment detection unit 303 such as illuminance, temperature, acceleration, ultraviolet intensity, chemical substance (concentration, type, state, etc.).
  • the image and sound may be reconstructed based on the environmental information (or system information generated using the environmental information). For example, images and sounds from the viewing desired viewpoint based on the current position and orientation of the information devices 141, 142,..., 14m, and further adapted to the current environmental information (time zone, season, weather, moving). Reconstruct the image and sound.
  • the past image and audio information recorded or recorded by the information devices 101, 102,..., 10n is recorded on the information devices 101, 102,. 120, or the computing unit 201 in the information device 141, 142,..., 14m on the image reproduction side reproduces the image and sound from the desired viewing point.
  • the computing device 120 may store information such as images and sounds reconstructed from the viewpoint desired for viewing in a local storage area (not shown), or external databases 131, 132,. You may make it preserve
  • the position and orientation information and time information at the time of recording or recording obtained from the position and orientation detection unit 302 are recorded. Assigned to the audio information and stored in the databases 111, 112,.
  • the reproduction-side information devices 141, 142,..., 14m predict the occurrence of a viewing event at regular intervals, or when a viewing event occurs, To the arithmetic device 120.
  • the computing device 120 side based on the received position / orientation information, the information and the devices 141, 142,... Are reconstructed from the information stored in the databases 111, 112,. , 14m.
  • Viewing on the information devices 141, 142,..., 14m is not limited to playback of past images and sounds, and may present future images and sounds. That is, the future can be designated as the desired viewing time.
  • the processing of reconstructing the future image and sound using the past image and sound stored in the databases 111, 112,..., 11j is performed by the arithmetic device 120 or the information devices 141 and 142. ... 14m itself.
  • the reconstruction of the future image and sound is performed by, for example, a process of estimating the future image and sound from the difference in information between certain points in time.
  • the reproduction-side information devices 141, 142,..., 14m transmit, to the arithmetic device 120 on the network 150, as the desired viewing time, the amount of time retroactively set at the time of viewing or the amount of time advance to the future.
  • the reproduction-side information devices 141, 142,..., 14m or the recording-side information devices 101, 102,..., 10n are permitted to set marks at the time of image and sound in advance, and the marked time points are reproduced. It can be a point. It is also acceptable to set marks at multiple points in time.
  • the recording-side information devices 101, 102,..., 10n, or the reproduction-side information devices 141, 142,. May be automatically marked.
  • a method for automatically generating the marking time it is possible to analyze a recorded or recorded image or sound and make a list according to the purpose. For example, the recorded and recorded information is analyzed, and the point where the state transition is noticeably observed in the constituent elements in the image and the sound field is extracted as information indicating the change point of the image and sound. More specifically, a time list is created by extracting various types of points by voice analysis, such as points with the largest number of constituent sound sources, points with strong sound source strength, and points when the sound source has a high temperature range on the high temperature side. Keep it. Then, at the time of reproduction or the like, marks are automatically made at the types of points according to the purpose. It should be noted that only a specific state may be extracted by narrowing down the purpose in advance without listing.
  • the computing device 120 Upon receiving the position / orientation information and time information (viewing desired viewpoint, desired viewing time) from the reproduction-side information devices 141, 142,..., 14m, the computing device 120 receives the position information periphery of the device and images around the time, When audio information is loaded from the databases 111, 112,..., 11j, the image and audio to be reproduced are reconstructed from the desired viewing time at the desired viewing viewpoint. The reconstructed image and sound are played back (streamed playback) through the network 150 while being loaded into the main storage unit 202 in the playback side information devices 141, 142,. In this way, the reproduction-side information devices 141, 142,..., 14m can view images and sounds from a certain point in time.
  • fictitious information is reconstructed from past information actually recorded and actually recorded by the information devices 101, 102,..., 10n, and this is reconstructed by the information devices 141, 142,. You may make it show. From the actual scene recorded from the time when the information devices 101, 102,..., 10n are installed, the virtual scene is generated through arithmetic processing, and the virtual scene and the real scene are seamlessly combined. It is possible. In other words, the fictitious scene is separated from the real scene in terms of time or space, but from the real scene to the fictitious scene (or, conversely, from the fictitious scene to the real scene). ) Process gradually. A user who views such a scene can move between the real space presented by the real scene and the virtual space presented by the fictitious scene without feeling uncomfortable, and can be immersed in the virtual space.
  • the information devices 141, 142,..., 14m can reconstruct and display multi-viewpoint images by time, position, or orientation.
  • An image of a specific viewpoint at a certain time may be displayed on the entire screen, or a specific one-point image by time, a multi-view image at a certain time, or a multi-view image by time may be combined. May be displayed.
  • the current view at the viewpoint consisting of the current positions and postures of the information devices 141, 142,..., 14m may be displayed in combination with past and future views, and from the viewpoints of different positions or postures. It may be displayed in combination with the view.
  • a method of displaying a plurality of images in combination a part or all of them can be displayed in a superimposed manner, or all can be displayed in parallel.
  • the information devices 141, 142,..., 14m may output not only images but also a plurality of sounds and environment information reconstructed according to time, position, or orientation. For example, a sound image that is not recorded from that viewpoint may be combined with an image that is viewed from a certain viewpoint, and conversely, a sound image that is recorded from that viewpoint may be combined with an image that is viewed from a certain viewpoint. . Similarly, for a certain point in time, sound images recorded before and after that may be presented in combination.
  • Databases 111, 112,..., 11j that share images and sounds recorded on or recorded by the recording side information devices 101, 102,.
  • the databases 131, 132,..., 13k that share images and sounds reconstructed by changing the environment may be dedicated data servers.
  • video sharing sites that specialize in posting and viewing videos on the Internet are known in the industry.
  • the server of the video sharing site may be used as the databases 111, 112,..., 11j and the databases 131, 132,.
  • the computing device 120 When the information uploaded to the video sharing site is used in the information reproduction system 100, if it is an image or sound in which position, posture, and time information are set in advance, the computing device 120 will display the position, posture, time information and image. .., Using the sound, as described above, reconstructs an appropriate image and sound at the time of viewing, and loads them onto the information devices 141, 142,.
  • the timing for setting the position, orientation, and time information in the image and sound is not particularly limited. Even if the position, orientation, and time information are not set in the image and sound uploaded to the video sharing site, for example, the arithmetic device 120 estimates the appropriate position, orientation, and time information by the image and sound recognition technology. Or may be added to an image or sound. According to this method, not only images and sounds recorded and recorded by the recording-side information devices 101, 102,..., 10n, but also existing images and sounds in the video sharing site can be used for the information reproduction system 100. Is possible.
  • video sharing sites provide a service for writing comments such as annotations, explanations, commentary, criticism, and opinions in images (see, for example, Patent Document 3).
  • comments and other inputs entered by the user or automatic input on the video sharing site The information may be loaded together to reflect the comment on the image or sound to be viewed.
  • the image may be written to other media such as an electronic bulletin board instead of the image itself.
  • the arithmetic device 120 collects comments and other input information written on the video sharing site in the databases 131, 132,..., 13k, etc., generates new control information from the information, and generates information devices 141, 142,..., 14m may be reflected when images and sounds are reproduced.
  • the computing device 120 extracts a viewing point with many comments written by the user from the moving image as a recommended playback viewing point and feeds it back to the playback-side information devices 141, 142,. Can be realized.
  • comments and other information may be input when uploading images and sounds recorded and recorded from the recording-side information devices 101, 102,..., 10n to the video sharing site.
  • This input information may also be the same processing target as a comment or other input information input by user input or automatic input on the video sharing site.
  • the information reproduction system 100 When the information reproduction system 100 according to the technology disclosed in this specification is applied to viewing of conferences, lectures, and lectures, it provides a smooth and comfortable disabling function when participating from the middle, and an understanding promoting function from other viewpoints. be able to.
  • a camera of a camera conference system is installed at a place where a meeting, lecture, or lecture is being performed, or shooting is performed with a head-mounted display attached to each participant.
  • the camera installed at the venue and the head-mounted display worn by the participants correspond to the recording-side information devices 101, 102,.
  • the captured moving images are stored in the databases 131, 132,.
  • the head-mounted display worn by the participant is also the information device 141, 142, ..., 14m on the playback side.
  • participants in the middle can view past videos taken at meetings, lectures, lectures, etc. on their head-mounted displays.
  • a past moving image may be played back using high-speed playback technology so that participants on the way can smoothly catch up with the current conference, lecture, or lecture.
  • High-speed playback technology does not simply play back moving images at a constant speed of n times speed (where n> 1), but classifies playback sections according to importance, and sets less important sections than real time. While shortening and compressing information, a highly important section is played back in real time or at a playback speed close to real time (see, for example, Patent Document 4).
  • Fast playback technology makes it easier for participants on the way to understand the content of previous conferences, lectures, and lectures, and enables them to return to the current time efficiently, so they can participate in the conference from the beginning. You can get a sense of realism.
  • users such as mid-way participants can not only play a video from the beginning of a meeting, lecture, or lecture, but can also arbitrarily specify the playback start time. For example, when looking at the agenda or the like and determining that the first one does not need to be viewed, the user may instruct the start of reproduction from the middle (that is, at a time closer to the time at which he / she participated).
  • a user may want to participate in a conference, lecture, lecture, or view the situation from the viewpoint of another person or another place. For example, when a user is present, a specific person such as a speaker or a speaker cannot be seen well, and a whiteboard or a slide cannot be seen well.
  • the user requests the reproduction of the moving image by designating a desired viewpoint instead of the current position information and posture information of the user. For example, when the viewpoint of another participant is designated, a moving image (moving image taken with a head mounted display worn by the participant) from that location is stored in the databases 111, 112,. It can be read and played back on the requesting user's head-mounted display. In this case, since the reconstructing process of the moving image by the arithmetic device 120 or the like is not required, viewing can be performed in real time with a low load.
  • the arithmetic device 120 reads out the moving images shot at a location close to the viewpoint from the databases 111, 112,.
  • the moving image from the desired viewpoint may be reconstructed using the difference between the two.
  • each user who participates late in meetings, lectures, lectures, etc. when viewing and replaying the recorded video on a head mounted display etc. opinions, annotations, commentary on the discussion at a certain point in the past Comments such as commentary and criticism can be written on the video or electronic bulletin board.
  • a character-based input means such as a keyboard, a pointing device similar to the keyboard, a voice input system or a similar input system, and a gesture input including voice input and sign language are performed. Means etc. are mentioned.
  • participants who come later can use the comments written on the video and the electronic bulletin board as clues, and more efficiently experience the discussion while understanding the contents of the discussion and lecture.
  • the return function and understanding promotion function of the information reproduction system 100 As described above, users who participate in meetings, lectures, and lectures can return smoothly and comfortably. Furthermore, the user can promote understanding (content comprehension, understanding of others) in meetings, lectures, and lectures by viewing an image from another person or another (different from the user) viewpoint.
  • an event is photographed with a camera of a camera conference system installed at an event site, a surveillance camera, a recording camera, or a head-mounted display attached to an event participant.
  • the camera installed at the venue and the head-mounted display worn by the participants correspond to the recording-side information devices 101, 102,.
  • the captured moving images are stored in the databases 131, 132,.
  • the head-mounted display worn by the participants corresponds to the information devices 141, 142,.
  • a participant who is halfway through or a user who wants to check the past can view past videos on the head-mounted display that he or she is wearing.
  • the computing device 120 When a user plays back a past video on a head-mounted display, for example, the computing device 120 includes the position information and posture information of the user, and the position information and posture information of the camera or head-mounted display that performed shooting.
  • the past video is reconstructed into an image and sound from the viewpoint of the participant on the way using the difference between the two.
  • the user can get a sense of realism as if he / she was participating in the event from the beginning without any spatial discomfort.
  • the user designates a desired viewpoint instead of his / her current position information and posture information, and requests the reproduction of the moving image. For example, when the viewpoint of another participant is designated, a moving image shot from that location may be read from the databases 111, 112,..., 11J and played on the requesting user's head-mounted display. .
  • the reconstructing process of the moving image by the arithmetic device 120 or the like is not required, viewing can be performed in real time with a low load.
  • a user who participates in the event can upload a moving image shot from his / her viewpoint with a head-mounted display or the like directly or through the databases 111, 112,.
  • the computing device 120 may reconstruct a video to be viewed on a head-mounted display worn by a user participating in the event from the video uploaded to the video sharing site. Comments may be written on videos published on video sharing sites. By reflecting comments written by others on videos reconstructed from videos on the video sharing site, more information is provided to users who wear head-mounted displays and participate in events. It is possible to promote a sense of presence and immersion.
  • each user participating in the event can comment on comments, comments, commentary, commentary, criticism, etc. of the event at a certain point in the past when playing the recorded video on a head mounted display etc. Can be written on the moving image or the electronic bulletin board through a pointing device such as the keyboard, voice input, gesture input, or the like. Furthermore, participants who come later can use the comments written on the video and the electronic bulletin board as clues, and more effectively re-experience while understanding the contents held so far in the event.
  • a user who participates in the event can return smoothly and without a sense of incongruity. Furthermore, the user can promote understanding (content understanding, understanding of others) in the event by viewing an image from another person or another (different from the user himself / herself) viewpoint.
  • cameras and surveillance cameras in camera conferencing systems installed in places such as public spaces and street corners, head-mounted displays worn by people and animals that pass through those places, electronic devices and imaging similar to monitoring systems Take pictures with the device.
  • the camera, head-mounted display, and monitoring system in this case correspond to the recording-side information devices 101, 102,.
  • the captured moving images are stored in the databases 131, 132,.
  • the head-mounted display worn by a user who wants to watch a past video at a certain point is also the information device 141, 142,.
  • the arithmetic device 120 may detect the difference between the position information and posture information of the user and the position information and posture information of the camera or head mounted display that has taken the image.
  • the past video is reconstructed into an image and sound from the user's viewpoint, and the scene that occurred in the past is given through the head mounted display worn by the user.
  • the user can feel the illusion of being at the place from the beginning and can confirm what happened at the accident site in the past. For example, it is possible for the user to confirm in what situation the accident has occurred in the on-site verification of the accident from another viewpoint, and the accuracy of the verification can be improved.
  • on-site verification using the information reproduction system 100 from the past to the present from an arbitrary viewpoint such as a party such as an accident victim or a suspect, a surrounding surveillance camera, a surrounding imaging device, etc.
  • This method is superior to the verification method with limited time zones and viewpoints for verification such as confirmation of recordings of moving images taken by surveillance cameras, self-recorders, and on-site verification.
  • the difference between the image captured in the past and the current scene is highlighted and displayed over time. Since it becomes easy to visually recognize the accompanying change, it is possible to facilitate verification work that is difficult to confirm by normal visual observation.
  • the information reproduction system 100 not only the image and the audible sound that can be seen from the position and posture of the user who verifies the accident site are reconstructed, but also the sound that is not normally audible at that position is reproduced simultaneously. Is possible. In addition, it is possible to deepen understanding of the connection before and after by confirming the situation at a certain point while listening to the sound before and after a certain point that is not usually audible.
  • the information reproduction system 100 can be applied to a time travel system to display a scene at a certain point in time at a certain place.
  • images and sounds recorded by a camera conferencing system or surveillance camera at a certain point images and sounds recorded by a head-mounted display worn by a person or animal passing a certain point, or an electronic device similar to a monitoring system Databases 111, 112,... Together with position / posture information when recording images and sounds recorded by the imaging device and images and sounds recorded by electronic devices and imaging devices similar to the monitoring system mounted on the object. , 11j.
  • position information and posture information are sent to the computing device 120 from an information device such as a mobile phone such as a head-mounted display or a smartphone, a tablet terminal, or an electronic book. Send and request the image you want to see.
  • an information device such as a mobile phone such as a head-mounted display or a smartphone, a tablet terminal, or an electronic book.
  • the computing device 120 acquires the requested image from any of the databases 111, 112,..., 11j, it reconstructs the image from the user's viewpoint using the difference between the position information and the posture information, By loading the information device that the user wears, the user is given a scene at that point in time. As a result, the user has the illusion of being at a certain point at a certain time.
  • the information reproduction system 100 is characterized in that an arbitrary viewpoint that the user is viewing in real time can be switched to a scene at a certain point and displayed.
  • users can check the situation in the time zone they are interested in, such as the atmosphere of the place in a certain time zone, even if it is not in the time zone in which they are interested. can do.
  • the user can perceive historical culture while feeling immersive, such as how the place has developed in the past.
  • the user can experience the predicted future.
  • the information reproduction system 100 enables time travel in a pseudo manner by virtually entering a 3D earth map at a certain point in time. For example, it can be applied to evaluation of land and buildings, travel guides, and the like. You may regard itself as an attraction.
  • an imaginary sight may be generated from an image at a certain point in time and at a certain position / posture to generate an imaginary scene, which may be used in a game or the like.
  • the real space and the virtual space are combined. The movement can be performed without obstructing the user's immersive feeling.
  • an image display device head mounted display worn by the user on the head or face
  • the database 111, 112,..., 11j that stores information such as images and sounds recorded by the recording side information devices 101, 102,..., 10n, and information such as images and sounds processed by the arithmetic unit 120 are stored.
  • a moving image sharing site server can also be used.
  • an information acquisition unit for acquiring image or audio information A sensor information acquisition unit that acquires position / posture information or other sensor information when acquiring image or audio information; A storage unit for storing acquired image or audio information in a database together with sensor information;
  • An information processing apparatus comprising: (2) The storage unit stores image or audio information in a dedicated database on a network or a database of a video sharing site. The information processing apparatus according to (1) above. (3) The storage unit performs blur correction when recording an image or sound. The information processing apparatus according to (1) above.
  • an information acquisition unit for acquiring image or audio information stored in the database;
  • An arithmetic processing unit that reproduces information at an arbitrary time point or an arbitrary place from information recorded or recorded at different times or different places;
  • An information processing apparatus comprising: (5)
  • the database stores image or audio information together with position / posture information or other sensor information,
  • the arithmetic processing unit reproduces position / posture information of a desired viewing viewpoint and information of an image or sound at a time,
  • the arithmetic processing unit performs image or audio reproduction processing according to a time difference between a desired viewing time and a current time.
  • the arithmetic processing unit generates a real-time image when the time difference between the desired viewing time and the current time is less than a predetermined threshold.
  • the arithmetic processing unit generates a real-time image at an arbitrary place / viewpoint when the spatial difference between the generated image and the real image is equal to or greater than a predetermined threshold.
  • the arithmetic processing unit generates a future image when the desired viewing time is the future in which the time difference from the current time is equal to or greater than a predetermined threshold.
  • the arithmetic processing unit generates a future image of an arbitrary time at an arbitrary place / viewpoint when the spatial difference between the generated image and the real image is equal to or greater than a predetermined threshold, and arbitrarily at a predetermined place when the spatial difference is less than the predetermined threshold. Generate a future image of the viewpoint and arbitrary time, The information processing apparatus according to (9) above. (11) The arithmetic processing unit generates a playback image in the past when the time difference between viewing and the current time is equal to or greater than a predetermined threshold. The information processing apparatus according to (6) above.
  • the arithmetic processing unit generates a playback image for an arbitrary time from an arbitrary place / viewpoint when the spatial difference between the generated image and the real image is equal to or larger than a predetermined threshold, and at a certain place when the spatial difference is smaller than the predetermined threshold.
  • Generating a playback image of an arbitrary viewpoint and an arbitrary time; The information processing apparatus according to (11) above.
  • An information processing method comprising: (14) an information acquisition step of acquiring image or audio information stored in the database; A calculation processing step for reproducing information at an arbitrary time point or an arbitrary place from information recorded or recorded at different times or different places;
  • An information processing method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　時間的又は空間的な制約なしにコンテンツを視聴することができる、優れた情報処理装置及び情報処理方法、並びに情報処理システムを提供する。　演算装置１２０は、再生側の情報機器１４１から位置姿勢情報並びに時刻情報を受け取ると、当該機器の位置情報周辺及び当該時刻周辺の画像、音声の情報を、データベース１１１からロードすると、その視聴希望視点での視聴希望時刻から再生する画像、音声を再構成する。再構成された画像、音声は、ネットワーク１５０を通じて再生側の情報機器１４１内の主記憶部２０２にロードされつつ再生される。

Description

情報処理装置及び情報処理方法
　本明細書で開示する技術は、動画像や音声を始めとする情報をユーザー間で共有する情報処理装置及び情報処理方法に係り、特に、時間的又は空間的な制約なしに画像や音声などの情報を再生する情報処理装置及び情報処理方法に関する。
　映像コンテンツや音響コンテンツなど情報の再生機能を装備した情報機器が既に広く普及している。例えば、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤーなどである。また、ヘッド・マウント・ディスプレイや、リストバンド型デバイスなどのように、頭部や腕部といったユーザーの身体の一部に装着して用いられる情報機器も存在する。
　これらの情報機器は、あらかじめダウンロードしたコンテンツや、その場で記録（撮影、録音）したコンテンツ、ネットワーク経由で再生される（リアルタイム・ストリーミングを含む）、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を用いて現実拡張をリアルタイムに付与したコンテンツなど、各種コンテンツを視聴することができる。
　また、コンテンツの再生機能を備えた情報機器の中には、録画中の動画ファイルに対して任意の再生位置から再生する追いかけ再生機能（例えば、特許文献１を参照のこと）や、所望の画面を迅速に見つけるための高速再生機能（例えば、特許文献２を参照のこと）を持つものもある。これらの機能を用いれば、ユーザーは、任意の時点からコンテンツを視聴することが容易になる。
特開２０１１－２２９０６４号公報 特開２０１３－５０５４号公報 特許第４６９５５８３号公報 特開２０１２－４４３９０号公報
　本明細書で開示する技術の目的は、時間的又は空間的な制約なしにコンテンツを視聴することができる、優れた情報処理装置及び情報処理方法を提供することにある。
　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
　画像又は音声の情報を取得する情報取得部と、
　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
を具備する情報処理装置である。
　本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置の前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存するように構成されている。
　本明細書で開示する技術の第３の側面によれば、第１の側面に係る情報処理装置の前記保存部は、画像や音声の記録に際して、ブレ補正を行なうように構成されている。
　また、本明細書で開示する技術の第４の側面は、
　データベースに保存されている画像又は音声の情報を取得する情報取得部と、
　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
を具備する情報処理装置である。
　本明細書で開示する技術の第５の側面によれば、前記データベースは、画像又は音声の情報を位置・姿勢情報又はその他のセンサー情報とともに保存している。そして、第４の側面に係る情報処理装置の前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現するように構成されている。
　本明細書で開示する技術の第６の側面によれば、第５の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なうように構成されている。
　本明細書で開示する技術の第７の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成するように構成されている。
　本明細書で開示する技術の第８の側面によれば、第７の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成するように構成されている。
　本明細書で開示する技術の第９の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成するように構成されている。
　本明細書で開示する技術の第１０の側面によれば、第９の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成するように構成されている。
　本明細書で開示する技術の第１１の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成するように構成されている。
　本明細書で開示する技術の第１２の側面によれば、第１１の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、ように構成されている。
　また、本明細書で開示する技術の第１３の側面は、
　画像又は音声の情報を取得する情報取得ステップと、
　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
を有する情報処理方法である。
　また、本明細書で開示する技術の第１４の側面は、
　データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
を有する情報処理方法である。
　本明細書で開示する技術によれば、時間的又は空間的な制約なしに、任意の時点での任意の場所の情報を再生することができる、優れた情報処理装置及び情報処理方法を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、本明細書で開示する技術の一実施形態に係る情報再生システム１００の構成を模式的に示した図である。 図２は、ユーザーに提示する情報を記録する情報機器１０１の内部構成例を示した図である。 図３は、記録する情報を入力する情報入力部２０４の内部構成例を示した図である。 図４は、記録された情報をユーザーに提示する情報機器１４１の内部構成例を示した図である。 図５は、記録された情報を再生出力してユーザーに提示する情報出力部２０５の内部構成例を示した図である。 図６は、記録する情報の入力、情報の記録、並びに、記録された情報の再生出力をすべてスタンドアロンで行なう情報機器の内部構成例を示した図である。 図７は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。 図８は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。 図９は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。 図１０は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。 図１１は、視聴側の情報機器１４１、１４２、…、１４ｍが実行する基本処理例を示したフローチャートである。 図１２は、視聴側の情報機器１４１、１４２、…、１４ｍが実行する基本処理例を示したフローチャートである。 図１３は、合成画像を生成する処理手順を示したフローチャートである。 図１４は、合成画像を生成する処理手順を示したフローチャートである。 図１５は、合成画像を生成する処理手順を示したフローチャートである。 図１６は、仮想空間画像の合成処理の詳細な手順を示したフローチャートである。 図１７は、仮想空間画像の合成処理の詳細な手順を示したフローチャートである。 図１８は、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。 図１９は、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。 図２０は、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。 図２１は、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。 図２２は、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。 図２３は、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。 図２４は、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。 図２５は、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。 図２６は、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順を示したフローチャートである。 図２７は、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順を示したフローチャートである。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤーといった、ユーザーが外出先に持ち運んで使用できる小型の情報機器が広く浸透している。また最近では、頭部や腕部など、ユーザーの身体の一部に装着して用いられる情報機器も増えてきている。例えば、ヘッド・マウント・ディスプレイや、リストバンド型デバイスなどである。
　この種の情報機器は、基本的に、映像コンテンツや音響コンテンツなど情報の再生機能を装備しており、あらかじめ保存しておいた動画やその場で撮影した動画を撮影した動画の再生や、ネットワーク経由での動画再生（リアルタイム、ストリーミングを含む）を行なうことができる。さらに、これらの再生動画に対して、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）情報を付与することもできる。
　また、この種の情報機器では、既製コンテンツや任意ではない場所で撮影された動画を視聴することが想定される。例えば、情報機器を携えたユーザーがある場所を訪ねて、そこでの過去の様子を見たいとする。しかしながら、視聴が可能な場所やコンテンツはごく限られたものとなる。また、高速再生してみたい画面を迅速に見つけるには、パーソナル・コンピューター（ＰＣ）によりコンテンツを加工することが必要であったり、専用再生機が必要であったりする。さらに、推測された未来についての提示も、限られた情報からあらかじめ生成されたコンテンツに限られる。要するに、コンテンツの視聴は時間的及び空間的な制約がある。従来、任意の視点で任意の時間に対する推測はほぼなされていない。
　これに対し、本明細書で開示する技術は、ヘッド・マウント・ディスプレイ、あるいはディスプレイを備えた携帯型情報機器を利用したコンテンツ視聴システムにおいて、時間的又は空間的な制約のない、すなわち、任意の場所での任意の時点の画像、音声、環境情報のうち１つ又は２以上の組み合わせを再現するものである。したがって、ユーザーは、疑似的に、時間的又は空間的、若しくは、時間的及び空間的な移動を体験することができる。
　また、本明細書で開示する技術を利用したコンテンツ視聴システムは、必要に応じて所望の時刻まで追いかけ再生を行なう機能を提供する。これにより、ユーザーは、ある時点における情報の見逃しをなくすことができる。さらに、本明細書で開示する技術は、必要に応じて現状復帰を実現したり、複数情報を組み合わせた情報を提示したりすることにより、ユーザーに情報を効果的に提示することができる。ユーザーは、状況への理解を深めたり、任意の時点及び任意の位置・姿勢を体験したりすることができることにより、その場、その時刻に居合わせていなくても、その場の様子を知ることが可能である。また、本明細書で開示する技術によれば、任意の時点又は任意の場所における現実の情報と仮想の情報とをシームレスに接続することで、仮想空間と現実空間を、没入感を阻害することなく提示することができる。
　図１には、本明細書で開示する技術の一実施形態に係る情報再生システム１００の構成を模式的に示している。図示の情報再生システム１００は、ユーザー間で共有しユーザーに提示する情報の記録機能を有する１以上の情報機器１０１、１０２、…、１０ｎと、情報機器１０１、１０２、…、１０ｎで記録された情報を保存する１以上のデータベース１１１、１１２、…、１１ｊと、情報機器１０１、１０２、…、１０ｎで記録された情報に対して演算処理を行なう演算装置１２０と、演算装置１２０で演算処理した後の情報を保存する１以上のデータベース１３１、１３２、…、１３ｋと、記録された画像や音、又は環境情報を再生してユーザーに提示する１以上の情報機器１４１、１４２、…、１４ｍで構成される。
　情報機器１０１、１０２、…、１０ｎと、データベース１１１、１１２、…、１１ｊと、演算装置１２０と、データベース１３１、１３２、…、１３ｋと、情報機器１４１、１４２、…、１４ｍは、無線又は有線のネットワーク１５０を介して相互接続されているものとする。
　ユーザー間で共有しユーザーに提示する情報の記録を行なう情報機器１０１、１０２、…、１０ｎは、例えば、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、監視カメラ、携帯電話、タブレット端末、電子書籍、携帯撮像機器などであり、ヘッド・マウント・ディスプレイを装着したユーザーが移動した場所や、監視カメラの設置場所、ユーザーが居る場所などで、さまざまな時間又はさまざまな場所で録画や録音など情報の記録を行なう。
　ユーザー間で共有しユーザーに提示する情報の記録を行なう情報機器１０１、１０２、…、１０ｎは、さまざまな時間又はさまざまな場所で録画や録音した、ユーザーに提示する情報の記録を行なう。また、情報機器１０１、１０２、…、１０ｎは、位置・姿勢情報や時刻、環境情報などを取得するための各種センサーを装備している。そして、情報機器１０１、１０２、…、１０ｎは、録画や録音した記録情報を、記録時における当該機器の位置姿勢情報（例えば、撮影する視線の情報など）や時刻、記録時における当該機器の環境情報などのセンサー情報とともに、ネットワーク１５０経由で送出し、データベース１１１、１１２、…、１１ｊのいずれかに保存する。
　データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報は、ネットワーク１５０上で共有される。画像や音声の記録情報に付与されるセンサー情報は、情報機器１０１、１０２、…、１０ｎが記録するときの位置・姿勢情報と時刻情報を基本とする。これら以外のセンサー情報として、記録時における照度、温度、湿度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの環境情報を記録情報に付与してもよい。
　なお、画像や音声などの記録情報に対して位置・姿勢情報、時刻、環境情報の付与を処理するタイミングは、情報機器１０１、１０２、…、１０ｎからデータベース１１１、１１２、…、１１ｊに送信する際であっても、データベース１１１、１１２、…、１１ｊに送信した後であってもよい。
　また、情報機器１０１、１０２、…、１０ｎは、画像や音声の記録に際して、ブレ補正を行なうことで、後続の視聴時における画像、音声の再生精度（すなわち、画像再現性、音再現性、位置・姿勢再現性）を高めることができる。ブレ補正機能として、以下を適用することができる。
（１）記録を行なう情報機器１０１、１０２、…、１０ｎ自身における録画、録音機能周辺の機械的振動補正機構
（２）記録を行なう情報機器１０１、１０２、…、１０ｎ自身のセンサー又は画像や音の周期的な変化の検出に基づく自動ブレ補正
（３）記録を行なう他の情報機器でとらえた補正対象の画像又は音の周期的な変化の検出による自動ブレ補正
　演算装置１２０は、各情報機器１０１、１０２、…、１０ｎで録画や録音された記録情報を、記録時におけるセンサー情報に基づいて加工する。例えば、演算装置１２０は、各情報機器１０１、１０２、…、１０ｎで、異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での現実の情報を再現するための演算処理を行なう。演算処理後の情報は、データベース１３１、１３２、…、１３ｋのいずれかに保存される。また、演算装置１２０は、データベース１１１、１１２、…、１１ｊのいずれかに保存されている任意の時点又は任意の場所での現実の情報から架空の情報へシームレスに接続するための演算処理や、逆に架空の情報から現実の情報へシームレスに接続するための演算処理を行なう。演算処理後の情報は、データベース１３１、１３２、…、１３ｋのいずれかに保存する。
　記録された画像や音、又は環境情報を再生してユーザーに提示する情報機器１４１、１４２、…、１４ｍは、例えば、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤー、携帯撮像機器といった、パーソナルユースの情報機器である。情報機器１４１、１４２、…、１４ｍは、ユーザーが携行して用いて、演算装置１２０で再現された情報の再生を行なう。
　データベース１１１、１１２、…、１１ｊ、並びに、データベース１３１、１３２、…、１３ｋに保存された情報は、ユーザー間で共有される。情報機器１４１、１４２、…、１４ｍは、データベース１１１、１１２、…、１１ｊ、又は、データベース１３１、１３２、…、１３ｋに保存された情報を読み込むと、再生出力して、ユーザーに提示する。情報機器１４１、１４２、…、１４ｍがデータベース１３１、１３２、…から読み出した情報を再生出力する場合、任意の時点又は任意の場所で再現された情報としてユーザーに提示することができる。例えば、情報機器１４１、１４２、…、１４ｍは、ユーザーの現在の位置や姿勢、環境情報などのセンサー情報とともに情報の再生を要求すると、センサー情報に基づいて再現された情報（例えば、ユーザーの現在位置における現在の視線方向で眺める画像に再構成された情報）、あるいは、センサー情報に基づいて現実の情報からシームレスに接続された架空の情報を、データベース１３１、１３２、…、１３ｋのいずれかから取得して、ユーザーに提示する。
　なお、情報機器１０１、１０２、…、１０ｎと、データベース１１１、１１２、…と、演算装置１２０と、データベース１３１、１３２、…と、情報機器１４１、１４２、…のうち２以上の機能を、物理的に１台の装置上に搭載することも想定される。
　図１に示した情報再生システム１００では、演算装置１２０は、視聴側である情報機器１４１、１４２、…、１４ｍがいる場所からの視点における任意の時点の画像、音声、又は環境情報を生成する。任意の時点とは、現在からさかのぼる時間と、先に進む時間の双方を含む。したがって、情報機器１４１、１４２、…、１４ｍ側では、任意の時刻におけるその場の様子を再生することが可能である。
　演算装置１２０が生成する画像や音声などの情報は、視聴希望視点の位置・姿勢情報及び時間（いつの時刻あるいはどの程度の時間をさかのぼるか、あるいは先に進むかを示す量）を基本とするが、これ以外にも、画像や音についての希望再生品質の設定情報、他には、照度、温度、湿度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの、情報機器本体に搭載されたセンサーや情報機器の外部に設置されたセンサーにより測定された環境情報に基づいて生成されるシステム制御情報であってもよい。
　現在、又は現在に近いタイミングの位置・姿勢、時刻について、情報機器１４１、１４２、…、１４ｍ側で視聴するために演算装置１２０で生成する情報を、情報機器１０１、１０２、…、１０ｎで録画・録音するのと同じ方法で生成することも可能である。すなわち、機器に装備され又は外付けされたセンサー部によるセンサー情報（ＧＰＳ、地磁気、加速度センサー、画像、音声）からパターン認識などにより生成することも可能である。
　情報機器１４１、１４２、…、１４ｍ側で視聴を希望する視点位置・姿勢、時間については、ユーザーが任意に設定してもよいし、あらかじめ決められた条件に従って自動設定を行なうようにしてもよい。例えば、ある設定をしておけば、ユーザーはその都度設定する必要はなく、ユーザーが向けた視線に応じて、その位置、姿勢且つあらかじめ設定された戻り時間又は進み時間に合わせた画像と音が再生されるように処理する。
　録画、録音された過去の画像及び過去の音声の再構成は、ネットワーク１５０上の演算装置１２０で行なう以外に、録画、録音を行なった情報機器１０１、１０２、…、１０ｎで行なうようにしてもよいし、あるいは再生すなわちユーザーが視聴を行なう情報機器１４１、１４２、…、１４ｍで行なうようにしてもよい。いずれの機器で画像や音を再構成するにせよ、画像と音、位置・姿勢情報をストアする領域を機器が直接備えているか、又はデータベースを利用してもよい。
　既に述べたように、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報には、位置・姿勢情報と時刻情報を付与しておく。一方、視聴側の情報機器１４１、１４２、…、１４ｍは、一定間隔で、あるいは、視聴というイベントが発生した際若しくは視聴というイベントが発生することを予測した上で事前に、自身の（すなわち、ユーザーが視聴する）位置・姿勢情報を、ネットワーク１５０上の演算装置１２０に送信する。そして、演算装置１２０は、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報を利用して、受信した位置・姿勢情報に対応する画像や音声を再構成して、視聴側の情報機器１４１、１４２、…、１４ｍに送信する。
　また、過去の画像や音をプレイバックするのではなく、未来の画像や音を提示する場合には、演算装置１２０は、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報を利用して、例えば、ある時点とある時点間の差分より未来の画像や音声を推測して、視聴側の情報機器１４１、１４２、…、１４ｍに送信する。
　視聴側の情報機器１４１、１４２、…、１４ｍは、時刻の過去へのさかのぼり量又は未来への進み量を、あらかじめ設定し、又は視聴時に任意に設定すると、このような時刻の情報をネットワーク１５０上の演算装置１２０に送信する。この時刻については、例えば、視聴側の情報機器１４１、１４２、…、１４ｍ又は記録側の情報機器１０１、１０２、…、１０ｎで、記録されている画像や音のあらかじめある１つの時点又は複数の時点についてマークを付けることを許容し、マークされた時点を再生ポイントとすることが可能であるとする。このマークについても、任意の時点に設定できるようにしてもよいし、あるいは視聴側の情報機器１４１、１４２、…、１４ｍ又は記録側の情報機器１０１、１０２、…、１０ｎであらかじめ設定し又は設定そのものを自動化し、その設定に合ったポイントの時刻に自動的にマークを付けるようにしてもよい。
　自動的にマークを付ける時刻の生成方法としては、録画・録音された画像、音声を解析して、目的に合わせてリスト化することが考えられる。例えば、録画・録音された画像、音声を解析して変化点を検出すると、変化点を示す情報として録画・録音情報より最も画像、音場内構成要素に状態遷移が見られたポイントを抽出する方法が挙げられる。重要なポイントとして、最も構成音源が多いとき、又は、音源の強度が強いとき、音源の音域が高音側に多いとき、などのような時刻リストを作成しておき、目的に応じて自動的にマークを行なう。なお、リスト化せずに、あらかじめ目的を絞って、特定の状態を抽出のみを行なうようにしてもよい。
　演算装置１２０は、視聴側の情報機器１４１、１４２、…、１４ｍから送られてきた位置情報周辺及び当該時刻周辺の画像、音声のデータを、視聴側の情報機器１４１、１４２、…、１４ｍからロードする。そして、演算装置１２０内では、位置情報、姿勢情報に基づいて、視聴視点での画像、音声を再構築する。そして、視聴側の情報機器１４１、１４２、…、１４ｍは、再構成された画像、音声を、ネットワーク１５０を通じて内部メモリーにロードしつつ再生する。このようにして、視聴側の情報機器１４１、１４２、…、１４ｍでは、その場における任意の時点における画像、音声を視聴することが可能となる。
　なお、図１に示した情報再生システム１００の構成例では、情報機器１４１、１４２、…、１４ｍで視聴する画像、音声の再構成は、単一の演算装置１２０で実施されるように構成されているが、再構成のための一連の処理を複数の装置に分散して行なうようにしても構わない。
　上述したように、本実施形態に係る情報再生システム１００では、録画・録音機能を持つ情報機器１０１、１０２、…、１０ｎを携行するユーザーがいる場所又は情報機器１０１、１０２、…、１０ｎの設置場所であれば、過去の画像、音声の情報にアクセスすることが可能となる。したがって、視聴側の情報機器１４１、１４２、…、１４ｍでは、多視聴点の画像、音声を視聴できることに加え、広範囲の場所でのその場の視聴点での過去の様子を視聴することが可能となる。さらに、撮影された動画について高速再生技術（例えば、特許文献２を参照のこと）を適用することにより、過去のその場の様子を確認しながら、現時点の状況へと復帰することが可能である。
　時間的又は空間的な制約なしに任意の時点での任意の場所の情報を再生する情報再生システム１００の変形例として、記録側の情報機器１０１、１０２、…、１０ｎで実際に記録した現実の画像、音声の情報ではなく、実際の記録情報を基にして生成した架空の情報を提示することも考えられる。この場合、演算装置１２０は、現実のある時点、ある位置・姿勢における現実の画像から演算を経て、架空の構成を生成し、架空の光景と現実の光景を違和感なく組み合わせるようにする。具体的には、時間的又は空間的、あるいは、時間的及び空間的に架空の光景から徐々に現実の光景にするなどの処理により、現実空間と仮想空間の間の移動を、ユーザーに違和感なく行ない、より深い没入感を与えることが可能になる。
　視聴側の情報機器１４１、１４２、…、１４ｍでは、時間別、位置・姿勢別の視点の表示を全画面で表示してもよい。あるいは、現在ビューを、過去、未来、別の位置・姿勢の視点からのビューのいずれか１つ又は２以上と組み合わせて、並列に表示してもよい。また、現在ビューを、過去、未来、別の位置・姿勢の視点からのビューのいずれか１つ又は２以上の組み合わせを重畳して表示してもよい。
　また、視聴側の情報機器１４１、１４２、…、１４ｍでは、画像の提示に限らず、音やその他のセンサー情報を提示する際にも、同様に、現在の情報を過去、未来、別の位置・姿勢における１又は２以上の情報と組み合わせて提示するようにしてもよい。例えば、ある視点で見える画像に、その視点で録音されたのではない音像を敢えて組み合わせてもよい。逆に、その視点で録音された音像に、別の視点で見える画像を組み合わせてもよい。また、ある時点に対して、その前後に録音された音像を敢えて組み合わせて提示してもよい。
　情報機器１０１、１０２、…、１０ｎで記録された情報を保存する１以上のデータベース１１１、１１２、…や、演算装置１２０で演算処理した後の情報を保存する１以上のデータベース１３１、１３２、…は、専用のデータベース・サーバーでもよいし、動画共有サイトのサーバーを活用してもよい。例えば、記録側の情報機器１０１、１０２、…、１０ｎは、記録した画像や音の情報を、位置・姿勢、時間やその他のセンサー情報とともに、動画共有サイトのサーバーにアップロードする。また、演算装置１２０は、動画共有サイトのサーバーから、位置・姿勢、時間情報などに基づいて動画共有サイトのサーバーから所望する画像や音の情報を取得すると、演算処理を行ない、生成した画像や音の情報を視聴側の情報機器１４１、１４２、…、１４ｍにローディングしたり動画共有サイトのサーバーにアップロードしたりする。
　本実施形態では、位置・姿勢、時間情報がセットされていない画像や音の情報であっても、位置・姿勢、時間情報の生成タイミングを限っていない。演算装置１２０は、画像、音場内の画像と音から画像認識技術を用いてその位置、姿勢、時間を推定し、記録時における位置、姿勢、時間情報として抽出し、データベース１１１、１１２、…、１１ｊに記録されている画像、音声に付与してもよい。この方法によれば、記録側の情報機器１０１、１０２、…、１０ｎで記録したのではない、以前から動画共有サイトのサーバーに蓄積されていた既存の画像や音の情報であっても、位置、姿勢、時間情報を推定して付与することで、情報再生システム１００で利用することが可能となる。
　なお、動画共有サイトの中には、他のユーザーが入力し又は自動入力されたコメントや、その他の入力情報を画像中に書き込むサービスを提供するものもある（例えば、特許文献３を参照のこと）。画像中に書き込まれるコメントは、主に注釈や解説、論評、批評、意見などである。上述したように、動画共有サイトのサーバーにアップロードされている既存の画像を情報再生システム１００で利用する場合、演算装置１２０で画像や音の情報を演算し、あるいは視聴側の情報機器１４１、１４２、…、１４ｍにローディングする際に、これらの入力情報を画像や音に反映してもよい。例えば、演算装置１２０は、動画中でユーザーからのコメントの書き込みが多い視聴点を推奨再生視聴点として抽出して、再生側の情報機器１４１、１４２、…、１４ｍにフィードバックするような、推薦機能を実現することができる。
　また、記録側の情報機器１０１、１０２、…、１０ｎから録画、録音した画像、音声を動画共有サイトにアップロードする際に、コメントやその他の情報を入力するようにしてもよい。この入力情報も、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報と同様の処理対象としてよい。
　図２には、ユーザーに提示する情報を記録する情報機器１０１の内部構成例を示している。情報を記録する他の情報機器１０２、１０３、…、１０ｎも同様の構成であると理解されたい。同図では、情報機器１０１に必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
　情報機器１０１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録する情報を入力する情報入力部２０４を必須の構成要素として備えている。また、情報機器１０１は、任意の構成要素として、記録された情報を再生出力してユーザーに提示する情報出力部２０５を備えていてもよい。情報入力部２０４並びに情報出力部２０５の詳細については後述に譲る。
　さらに、情報機器１０１は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を保存するために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、データベース１１１、１１２、…、１１ｊや、演算装置１２０、データベース１３１、１３２、…、１３ｋ、情報機器１４１、１４２、…、１４ｍが挙げられる。情報入力部２０４で入力した情報を記録してユーザーに提示するために、情報機器１０１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
　図３には、記録する情報を入力する情報入力部２０４の内部構成例を示している。図示の例では、情報入力部２０４は、ユーザーに提示する情報を入力する提示情報入力部３０１と、記録時における当該機器の位置姿勢情報を検出する位置姿勢検出部３０２と、記録時における当該機器が置かれた環境を検出する環境検出部３０３を備えている。情報入力部２０４は、提示情報入力部３０１、位置姿勢検出部３０２、環境検出部３０３のうち少なくとも１つを装備しており、図３では、これらの構成要素３０１～３０３を一点鎖線で描いている。
　提示情報入力部３０１は、録画する画像を入力するための撮像素子３１１、録音する音声を入力するためのマイクロフォン３１２、文字列を入力するためのテキスト入力部３１３、ジェスチャーなどのモーションを入力するためのモーション入力部３１４、匂い入力部３１５、触覚入力部３１６、味覚入力部３１７のうち少なくとも１つを装備しており、画像、音声、文字情報、モーション、匂い、触覚、味覚のうち少なくとも１つを他のユーザーに提示し又は共有する提示情報として入力する。図３では、これらの構成要素３１１～３１６を一点鎖線で描いている。
　位置姿勢検出部３０２は、当該情報機器１０１の位置や姿勢を検出すべく、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）３２１、地磁気センサー３２２、加速度センサー３２３、ドップラー・センサー３２４、電波強度センサー３２５のうち少なくとも１つを備えている。図３では、これらの構成要素３２１～３２５を一点鎖線で描いている。
　なお、位置姿勢検出部３０２を構成するセンサーのうち少なくとも一部は、情報入力部２０４内（すなわち情報機器内）ではなく、外部に設置されることも想定される。また、上記のセンサーの検出結果からではなく、提示情報入力部３０１で入力された画像又は音声のパターン認識などにより、位置や姿勢などの情報を生成することもできる。
　環境検出部３０３は、当該情報機器１０１を取り巻く環境を検出すべく、温度センサー３３１、湿度センサー３３２、赤外線センサー３３３、紫外線センサー３３４、照度センサー３３５、電波強度センサー３３６、化学物質（濃度・種類・状態）センサー３３７などの環境センサーのうち少なくとも１つを備えている。図３では、これらの構成要素３３１～３３７を一点鎖線で描いている。
　なお、環境検出部３０３を構成する環境センサーのうち少なくとも一部は、情報入力部２０４内（すなわち情報機器内）ではなく、外部に設置されることも想定される。
　図４には、記録された情報をユーザーに提示する情報機器１４１の内部構成例を示している。情報を提示する他の情報機器１４２、１４３、…、１４３ｍも同様の構成であると理解されたい。同図では、図２に示したものと同じ構成要素には同じ参照番号を付している。また、情報機器１４１の必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
　情報機器１４１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録された情報を再生出力してユーザーに提示する情報出力部２０５を必須の構成要素として備えている。また、情報機器１４１は、任意の構成要素として、記録する情報を入力する情報入力部２０４を備えていてもよい。情報入力部２０４は、図３を参照しながら説明した通りである。また、情報出力部２０５の詳細については後述に譲る。
　さらに、情報機器１４１は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を読み出すために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮインターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、情報機器１０１、１０２、…、１０ｎや、データベース１１１、１１２、…、１１ｊ、演算装置１２０、データベース１３１、１３２、…、１３ｋが挙げられる。記録された情報を再生してユーザーに提示するために、情報機器１４１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
　図５には、記録された情報を再生出力してユーザーに提示する情報出力部２０５の内部構成例を示している。図示の例では、情報出力部２０５は、提示情報を表示する液晶ディスプレイ５０１、有機ＥＬディスプレイ５０２、網膜直描ディスプレイ５０３、提示情報を音声出力するスピーカー５０４、提示情報を触覚出力する触覚ディスプレイ５０５、提示情報の匂い成分を出力する匂いディスプレイ５０６、提示情報の温度成分を出力する温度ディスプレイ５０７、味覚を提示する味覚ディスプレイ５０８、又は各感覚器及び脳への電気・物理刺激による（電気・物理刺激）ディスプレイ５０９のうち少なくとも１つを装備している。図５では、これらの構成要素５０１～５０９を一点鎖線で描いている。
　また、図６には、記録する情報の入力、情報の記録、並びに、記録された情報の再生出力をすべてスタンドアロンで行なう情報機器６００の内部構成例を示している。情報機器６００は、情報機器１０１と情報機器１４１の機能をともに備えている。同図では、図２に示したものと同じ構成要素には同じ参照番号を付している。また、必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
　情報機器１４１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録する情報を入力する情報入力部２０４と、記録された情報を再生出力してユーザーに提示する情報出力部２０５を、必須の構成要素として備えている。情報入力部２０４は、図３を参照しながら説明した通りである。また、情報出力部２０５は、図５を参照しながら説明した通りである。
　演算部２０１は、例えば所定のアプリケーションを実行して、演算装置１２０と同様の処理を実施する。すなわち、情報入力部２０４内の提示情報入力部３０１に入力された情報を、入力時における位置姿勢検出部３０２や環境検出部３０３などのセンサー情報に基づいて加工する。
　例えば、演算部２０１は、任意の時間又は任意の場所で録画又は録音された情報から、時間又は場所が異なる現実の情報を再現するための演算処理を行なう。演算処理後の情報は、情報機器６００内の外部記憶装置２０６で保存されるか、又は、通信部２０７を介してネットワーク１５０上のデータベース１３１、１３２、…、１３ｋのいずれかに保存される。また、演算部２０１は、外部記憶装置２０６（又は、データベース１１１、１１２、…、１１ｊのいずれか）に保存されている任意の時点又は任意の場所での現実の情報から架空の情報へシームレスに接続するための演算処理や、逆に架空の情報から現実の情報へシームレスに接続するための演算処理を行なう。
　さらに、情報機器６００は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を読み出すために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮインターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、情報機器１０１、１０２、…、１０ｎや、データベース１１１、１１２、…、１１ｊ、演算装置１２０、データベース１３１、１３２、…、１３ｋが挙げられる。記録された情報を再生してユーザーに提示するために、情報機器１０１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
　図７乃至図１０には、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例をフローチャートの形式で示している。
　情報機器１０１は、記録処理を行なうと、まず、画像の録画又は音声の録音の任意視点・時間機能への利用を許可するかどうかをチェックする（Ｓ７０１）。
　画像の録画又は音声の録音の任意視点・時間機能への利用を許可しない場合には（ステップＳ７０１のＮｏ）、情報機器１０１は、画像又は音声を、例えば画像機器内のプライベート用データ・フォルダーに保存して（ステップＳ７０２）、本処理ルーチンを終了する。
　一方、画像の録画又は音声の録音の任意視点・時間機能への利用を許可する場合には（ステップＳ７０１のＹｅｓ）、情報機器１０１は、続いて、手動によるタグ付けを行なうかどうかをチェックする（ステップＳ７０３）。
　手動によるタグ付けを行なう場合（ステップＳ７０３のＹｅｓ）、ユーザーによる設定を行なう（ステップＳ７０４）。
　手動によるタグ付けを行なわない場合（ステップＳ７０３のＮｏ）、タグの抽出を行なうかどうかをチェックする（ステップＳ７０５）。そして、タグの抽出を行なわない場合は（ステップＳ７０５のＮｏ）、固定値をロードする（ステップＳ７０６）。また、タグの抽出を行なう場合は（ステップＳ７０５のＹｅｓ）、自動設定して（ステップＳ７０７）、タグ付け条件を設定する（ステップＳ７０８）。
　次いで、情報機器１０１は、画像、音声の記録モードを確認する（ステップＳ７０９）。例えば、以下に挙げる条件に従って、記録モードを判定する。
（１）●●に聞いておいて欲しい。
（２）構成物のエッジがある閾値以上。
（３）車のタイヤが磨り減っている。
（４）ブレーキを踏んだ。
（５）ハーフタイム（決められたタイミング：アジェンダ・プログラム）
（６）パワポが使われている。
（７）ある特定のキーワードが連呼されている。
（８）時計を見た。
（９）最頻キーワード。
　第１の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７１０のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７１１のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７１２）、次のデータへ移動する（ステップＳ７１３）。
　また、第２の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７１４のＹｅｓ）、情報機器１０１は、画像、音声の記録を行なう（ステップＳ７１５）。そして、記録データのＥＯＦ（Ｅｎｄ　Ｏｆ　Ｆｉｌｅ）に到達すると（ステップＳ７１６のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７１７のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７１８）、次のデータへ移動する（ステップＳ７２０）。
　また、第３の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７２１のＹｅｓ）、情報機器１０１は、画像、音声の記録を行なう（ステップＳ７２２）。そして、終了タイミング又は割り込みが発生すると（ステップＳ７２３のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７２４のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７２５）、次のデータへ移動する（ステップＳ７２６）。
　そして、情報機器１０１は、記録したデータを、データベース１１１、１１２、…、１１ｊに送信して、保存する（ステップＳ７１９）。
　図１１乃至図１２には、演算装置１２０が視聴側の情報機器１４１、１４２、…、１４ｍで画像、音声を視聴するために実行する基本処理例をフローチャートの形式で示している。但し、この処理手順は、視聴側の各情報機器１４１、１４２、…、１４ｍで直接実行するようにしてもよい。
　情報機器１４１は、再生処理を行なうと、まず、画像の録画又は音声の録音の任意視点・時間機能を使用するかどうかをチェックする（Ｓ１１０１）。
　画像の録画又は音声の録音の任意視点・時間機能を使用しない場合（ステップＳ１１０１のＮｏ）、情報機器１４１は、リアルタイム像を表示する（ステップＳ１１０６）。そして、続いて処理がある場合は（ステップＳ１１１０のＹｅｓ）、ステップＳ１１０１に戻り、続いて処理がない場合は（ステップＳ１１１０のＮｏ）、本処理ルーチンを終了する。
　一方、画像の録画又は音声の録音の任意視点・時間機能を使用する場合（ステップＳ１１０１のＹｅｓ）、情報機器１４１は、画像、音声を自動生成するかどうかをチェックする（ステップＳ１１０２）。
　画像、音声を自動生成する場合（ステップＳ１１０２のＹｅｓ）、情報機器１４１は、視聴者趣向・意図、録画者趣向・意図、環境情報より目的生成像を自動決定する（ステップＳ１１０３）。すなわち再生内容を決定する。次いで、視聴者趣向・意図、録画者趣向・意図、環境情報より再生開始終了点タイミングを決定して、アイテムを抽出する（ステップＳ１１０４）。
　また、画像、音声を自動生成しない場合（ステップＳ１１０２のＮｏ）、情報機器１４１は、視聴覚を希望する目的再生像を選択する（ステップＳ１１０７）。すなわち、再生内容を決定する。そして、再生開始終了点タイミングを決定して、アイテムを設定する（ステップＳ１１０８）。
　次いで、関連ライブラリーがあるかどうかをチェックする（ステップＳ１１０５）。関連ライブラリーがない場合は、情報機器１４１は、新規ライブラリーを生成する（ステップＳ１１０９）。
　次いで、ライブラリー内のタグ種類がタイミング決定アイテムの種類にほぼ等しいかどうかをチェックする（ステップＳ１１１１）。
　ライブラリー内のタグ種類がタイミング決定アイテムの種類に等しくない場合（ステップＳ１１１１のＮｏ）、情報機器１４１は、新規タグの種類を生成する（ステップＳ１１１６）。また、ライブラリー内のタグ種類がタイミング決定アイテムの種類にほぼ等しい場合（ステップＳ１１１１のＹｅｓ）、情報機器１４１は、再生タグとライブラリー中のデータの一致性が所定閾値内であるかどうかをさらにチェックする（ステップＳ１１１２）。再生タグとライブラリー中のデータの一致性が所定閾値内でない場合（ステップＳ１１１２のＮｏ）、情報機器１４１は、合成画像を生成する（ステップＳ１１１７）。
　次いで、情報機器１４１は、再生及び表示表現の内容をバッファーへトスする（ステップＳ１１１３）。次いで、所望の生成画像を出力する（ステップＳ１１１４）。そして、続いて処理がある場合は（ステップＳ１１１５のＹｅｓ）、ステップＳ１１０１に戻って、情報機器１４１は、上述した処理を繰り返し実行する。また、続いて処理がない場合は（ステップＳ１１１５のＮｏ）、本処理ルーチンを終了する。
　タグは、記録時において、誰かに聞いてもらいたいときに、ステップＳ７１２、Ｓ７１８、Ｓ７２８などにおいてタグ付けされる。タグ付け時には、キーワード登録、自動判定を行なう。タグには、脳波タグ、連呼されるキーワード・タグなどがある。映像から必要な場所にタグが付けられる。出発点をどこにするか、終着点をどこにするか、それぞれの決め方を検討する必要がある。また、タグ付けされた時点まで画像を再生（合成）する際、捏造を防止する機能が必要である。但し、合成処理の詳細については後述に譲る。また、タグには、ハイライト再生、標準速再生、倍速再生など、画像の再生方法などに関するメタ情報を付けることができる。その他のメタ情報を、以下に例示しておく。
（１）音量変化
（２）音源変化
（３）手入力
（４）機器操作
（５）脳波レベル変化
（６）心理状態変化
（７）入退室
（８）登録キーワード出現
（９）視線注視
（１０）メガネを基点
（１１）視聴者／撮影者
　再生時に、再生タグとライブラリー中のデータの一致性が所定閾値内でない場合には（ステップＳ１１１２のＮｏ）、ステップＳ１１１７で合成画像を生成することで、再生タグの時点まで高速に追いつく。再生画像の合成処理は、捏造防止機能を備えており、単なる追いかけ再生とは異なる。
　画像の合成処理には、モーフィングやクロスセンシングなどの画像処理技術を利用して、ある人から別の人に変形していく、アニメ内のキャラクターから別のキャラクターに変更していくといった画像を合成する。仕様を異にする複数の画像、音声をどのように合成するかという課題もある。
　ＵＰ／Ｄｏｗｎ　ＣＯＮＶＥＲＴなど、再生の仕方も制御の対象である。例えば、流し見モードではＤＯＷＮにし、ズームではＵＰにする。警察の注目ポイントとして、詳細ならＵＰ、外観ならＤＯＷＮにする。また、再生物の視聴者毎に再生の仕方を制御する。
　再生画像、音声の生成方法のその他の留意点を以下に挙げておく。
（１）動画共有サイトの表示方法を活用する。
（２）時計を見ている人が多い場面は、発表の面白さ、つまらなさを表す。
（３）地図サイトのように、縮尺に応じて提示する情報の粒度を制御する。
（４）視野角、解像度、車はこう来てこう動く。
（５）ある程度離れた未来を予測する。例えば、精度に対する要求があまり高くない天気のような情報を予測して、画像、音声の再生に利用する。
（６）時間的な多視点画像の表示の仕方（小窓、重ね合わせなど）
（７）実写した画像を利用して仮想表示する。例えば、車載端末やウェアラブル端末など、端末の種類に応じて画像の合成方法を変更する。
　図１３乃至図１５には、図１１乃至図１２で示したフローチャートのステップＳ１１１７で実行される、合成画像を生成する処理手順をフローチャートの形式で示している。
　再生像の生成に必要な情報がある場合には（ステップＳ１３０１のＹｅｓ）、情報機器１４１は、このような情報を取得する（ステップＳ１３０４）。
　次いで、情報機器１４１は、視聴側の情報機器のユーザーが視聴を希望する生成像が現実の画像のみかどうかをチェックする（ステップＳ１３０２）。
　ここで、ユーザーが視聴を希望する生成像が現実の画像のみでない場合には（ステップＳ１３０２のＮｏ）、情報機器１４１は、仮想空間画像の合成処理を実行する（ステップＳ１３０５）。仮想空間画像の合成処理の詳細については、後述に譲る。そして、合成した空間画像を他の合成方法と組み合わせない場合には（ステップＳ１３０６のＮｏ）、ステップＳ１３１７に進んで、情報機器１４１は、生成像の出力を行なう。
　ユーザーが視聴覚を希望する生成像が現実の画像のみである場合には（ステップＳ１３０２のＹｅｓ）、並びに、仮想空間画像を他の合成方法と組み合わせる場合には（ステップＳ１３０６のＹｅｓ）、情報機器１４１は、続いて、生成像と現実像の時間差分が閾値以上かどうかをチェックする（ステップＳ１３０３）。
　生成像と現実像の時間差分が閾値以上である場合には（ステップＳ１３０３のＹｅｓ）、情報機器１４１は、続いて、ユーザーが視聴覚を希望する生成像が過去のものかどうかをチェックする（ステップｓ１３０７）。
　ユーザーが視聴覚を希望する生成像が過去のものでない場合には（ステップｓ１３０７のＮｏ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３０８）。
　生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３０８のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間の推定未来画像の生成処理を行なう（ステップＳ１３１１）。任意場所・視点で且つ任意時間の推定未来画像の生成処理の詳細については、後述に譲る。
　また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３０８のＮｏ）、情報機器１４１は、一定場所・視点で且つ任意時間の推定未来画像の生成処理を行なう（ステップＳ１３１２）。一定任意場所・視点で且つ任意時間の推定未来画像の生成処理の詳細については、後述に譲る。
　ユーザーが視聴覚を希望する生成像が過去のものである場合には（ステップｓ１３０７のＹｅｓ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３０９）。
　生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３０９のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間のプレイバック画像の生成処理を行なう（ステップＳ１３１３）。任意場所・視点で且つ任意時間の画像のプレイバック生成処理の詳細については、後述に譲る。
　また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３０９のＮｏ）、情報機器１４１は、一定場所・視点で且つ任意時間のプレイバック画像の生成処理を行なう（ステップＳ１３１４）。一定任意場所・視点で且つ任意時間のプレイバック画像の生成処理の詳細については、後述に譲る。
　一方、生成像と現実像の時間差分が閾値未満である場合には（ステップＳ１３０３のＮｏ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３１０）。
　生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３１０のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間のリアルタイム画像の生成処理を行なう（ステップＳ１３１５）。任意場所・視点で且つ任意時間の画像のリアルタイム生成処理の詳細については、後述に譲る。
　また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３１０のＮｏ）、情報機器１４１は、リアルタイム画像の生成処理を行なう（ステップＳ１３１６）。
　図１６乃至図１７には、図１３乃至図１５に示したフローチャート中のステップＳ１３０５で実行される仮想空間画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の基点位置、視点、時間、ユーザーの趣向情報を設定する（ステップＳ１６０１）。
　次いで、情報機器１４１は、位置、視点、時間の変更速度を検出する（ステップＳ１６０２）。
　次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ１６０３）。
　次いで、情報機器１４１は、再生の空間・時間精細度、並びに趣向許容範囲を設定する（ステップＳ１６０４）。
　次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標の像を単純化する（ステップＳ１６０５）。
　次いで、情報機器１４１は、遷移状態と特徴量を抽出する（ステップＳ１６０６）。
　そして、情報機器１４１は、推薦再生像を生成するのに十分なデータがあるかどうかをチェックする（ステップＳ１６０７）。
　推薦再生像を生成するのに十分なデータがない場合には（ステップＳ１６０７のＮｏ）、情報機器１４１は、単位ステップ分だけ空間及び時間の基点を移動して（ステップｓ１６１１）、ステップＳ１６０５に戻って、同様の処理を繰り返す。
　また、推薦再生像を生成するのに十分なデータがある場合には（ステップＳ１６０７のＹｅｓ）、情報機器１４１は、遷移状態、特徴量、趣向より、推薦再生像を生成する（ステップＳ１６０８）。
　次いで、情報機器１４１は、復帰点となる過去、現在、又は未来の再生像を合成する（ステップＳ１６０９）。但し、ステップＳ１６０９での合成処理は、ステップＳ１６１１～Ｓ１６１５における合成処理よりも制度を下げて、演算負荷を低減した合成方法を適用するものとする。
　次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ１６１０）。
　位置・視点変更速度の変化が閾値を超える場合には（ステップＳ１６１０のＮｏ）、ステップＳ１６０３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ１６１０のＹｅｓ）、情報機器１４１は、仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了したかどうかをチェックする（ステップＳ１６１２）。
　仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了していない場合には（ステップＳ１６１２のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ１６１３）、ステップＳ１６０４に戻って、上記と同様の処理を繰り返し実行する。
　一方、仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了した場合には（ステップＳ１６１２のＹｅｓ）、情報機器１４１は、本処理ルーチンを終了する。
　図１８乃至図１９には、図１３乃至図１５に示したフローチャート中のステップＳ１３１１で実行される、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ１８０１）。
　次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ１８０２）。
　次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ１８０３）。
　次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ１８０４）。
　次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ１８０５）。
　そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ１８０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ１８０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ１８１１）、ステップＳ１８０５に戻って、過去記録画像の検索処理を繰り返し実行する。
　該当データの数が閾値以上の場合には（ステップＳ１８０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ１８０７）。
　次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ１８０８）。
　次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた未来像の状態遷移量を推定する（ステップＳ１８０９）。
　次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を生成し、又はポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ１８１０）。
　次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ１８１２）。
　位置・視点変更速度の変化が閾値を超える場合には（ステップＳ１８１２のＮｏ）、ステップＳ１８０３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ１８１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ１８１３）。
　位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ１８１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ１８１４）、ステップＳ１８０４に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ１８１３のＹｅｓ）、本処理ルーチンを終了する。
　図２０乃至図２１には、図１３乃至図１５に示したフローチャート中のステップＳ１３１２で実行される、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の位置、基点視点情報を設定する（ステップＳ２００１）。
　次いで、情報機器１４１は、視点の変更速度を検出する（ステップＳ２００２）。
　次いで、情報機器１４１は、視点の移動に対応可能な演算速度を算出する（ステップＳ２００３）。
　次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２００４）。
　次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２００５）。
　そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２００６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２００６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２０１１）、ステップＳ２００５に戻って、過去記録画像の検索処理を繰り返し実行する。
　該当データの数が閾値以上の場合には（ステップＳ２００６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２００７）。
　次いで情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２００８）。
　次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた未来像の状態遷移量を推定する（ステップＳ２００９）。
　次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を生成し、又はポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２０１０）。
　次いで、情報機器１４１は、視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２０１２）。
　視点変更速度の変化が閾値を超える場合には（ステップＳ２０１２のＮｏ）、ステップＳ２００３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２０１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２０１３）。
　位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２０１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２０１４）、ステップＳ２００４に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２０１３のＹｅｓ）、本処理ルーチンを終了する。
　図２２乃至図２３には、図１３乃至図１５に示したフローチャート中のステップＳ１３１３で実行される、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ２２０１）。
　次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ２２０２）。
　次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ２２０３）。
　次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２２０４）。
　次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２２０５）。
　そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２２０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２２０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２２１１）、ステップＳ２２０５に戻って、過去記録画像の検索処理を繰り返し実行する。
　該当データの数が閾値以上の場合には（ステップＳ２２０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２２０７）。
　次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２２０８）。
　次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた状態遷移量を推定する（ステップＳ２２０９）。
　次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を再構成するためにポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２２１０）。
　次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２２１２）。
　位置・視点変更速度の変化が閾値を超える場合には（ステップＳ２２１２のＮｏ）、ステップＳ２２０３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２２１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２２１３）。
　位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２２１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２２１４）、ステップＳ２２０４に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２２１３のＹｅｓ）、本処理ルーチンを終了する。
　図２４乃至図２５には、図１３乃至図１５に示したフローチャート中のステップＳ１３１４で実行される、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の位置、基点視点情報を設定する（ステップＳ２４０１）。
　次いで、情報機器１４１は、視点の変更速度を検出する（ステップＳ２４０２）。
　次いで、情報機器１４１は、視点の移動に対応可能な演算速度を算出する（ステップＳ２４０３）。
　次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２４０４）。
　次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２４０５）。
　そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２４０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２４０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２４１１）、ステップＳ２４０５に戻って、過去記録画像の検索処理を繰り返し実行する。
　該当データの数が閾値以上の場合には（ステップＳ２４０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２４０７）。
　次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２４０８）。
　次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた状態遷移量を推定する（ステップＳ２４０９）。
　次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を再構成するためにポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２４１０）。
　次いで、情報機器１４１は、視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２４１２）。
　視点変更速度の変化が閾値を超える場合には（ステップＳ２４１２のＮｏ）、ステップＳ２４０３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２４１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２４１３）。
　位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２４１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２４１４）、ステップＳ２４０４に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２４１３のＹｅｓ）、本処理ルーチンを終了する。
　図２６乃至図２７には、図１３乃至図１５に示したフローチャート中のステップＳ１３１５で実行される、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順をフローチャートの形式で示している。
　情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ２６０１）。
　次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ２６０２）。
　次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ２６０３）。
　次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２６０４）。
　次いで、情報機器１４１は、一演算単位空間基点座標に近い精細度の記録像を減時刻から時間精細度以内の範囲で検索する（ステップＳ２６０５）。
　そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２６０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２６０６のＮｏ）、情報機器１４１は、基点座標空間、又は閾値を変更して（ステップＳ２６１１）、ステップＳ２６０５に戻って、過去記録画像の検索処理を繰り返し実行する。
　次いで、情報機器１４１は、該当データ群と所望位置・姿勢ズレが閾値以上かどうかをチェックする（ステップＳ２６０７）。
　該当データ群と所望位置・姿勢ズレが閾値以上である場合には（ステップＳ２６０７のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２６０８）。
　次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２６０９）。
　次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた現実像状態遷移量を推測する（ステップＳ２６１０）。
　次いで、情報機器１４１は、単位処理における視点変更可能エリアの空間像を合成する（ステップＳ２６１２）。
　また、該当データ群と所望位置・姿勢ズレが閾値未満の場合には（ステップＳ２６０７のＮｏ）、情報機器１４１は、該当データを記録している機器又は機器が記録している記憶装置の特定と再生機器の記憶領域を接続する（ステップＳ２６１３）。次いで、情報機器１４１は、該当データを再生機器にコピーする（ステップＳ２６１４）。
　そして、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２６１５）。
　位置・視点変更速度の変化が閾値を超える場合には（ステップＳ２６１５のＮｏ）、ステップＳ２６０３に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２６１５のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の像の生成が完了したかどうかをさらにチェックする（ステップＳ２６１７）。
　位置・視点変更範囲の像の生成が完了していない場合には（ステップＳ２６１７のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２６１６）、ステップＳ２６０４に戻って、上記と同様の処理を繰り返し実行する。
　また、位置・視点変更範囲の像の生成が完了した場合には（ステップＳ２６１７のＹｅｓ）、本処理ルーチンを終了する。
　再び図１を参照しながら、情報再生システム１００における動作について説明する。
　情報機器１０１、１０２、…、１０ｎは、録画機能又は録音機能のうち少なくとも一方を備え、現実世界のさまざまな場所に散在して、多地点で録画又は録音などをし続けている。情報機器１０１、１０２、…、１０ｎは、例えば、ヘッド・マウント・ディスプレイや、リストバンド型デバイス、監視カメラ、携帯電話、タブレット端末、電子書籍、携帯撮像機器などである。
　情報機器１０１、１０２、…、１０ｎは、ＧＰＳ３２１、地磁気センサー３２２、加速度センサー３２３、ドップラー・センサー３２４、電波強度センサー３２５などからなる位置姿勢検出部３０２から得られる録画又は録音時の位置姿勢情報や時間情報を加えて、録画又は録音された情報をデータベース１１１、１１２、…、１１ｊに保存して、ネットワーク１５０上での共有を可能にする。
　また、情報機器１０１、１０２、…、１０ｎは、温度センサー３３１、湿度センサー３３２、赤外線センサー３３３、紫外線センサー３３４、照度センサー３３５、電波強度センサー３３６、化学物質（濃度・種類・状態）センサー３３７などからなる環境検出部３０３を備えていてもよい。情報機器１０１、１０２、…、１０ｎは、位置姿勢情報や時間情報ではなく（あるいは、位置姿勢情報や時間情報とともに）、環境検出部３０３で検出された録画又は録音時における環境情報を加えて、録画又は録音された情報をデータベース１１１、１１２、…、１１ｊに保存するようにしてもよい。
　なお、録画又は録音された情報に対して、位置姿勢情報や時間情報、環境情報の付与を処理するタイミングは、情報機器１０１、１０２、…、１０ｎがネットワーク１５０に送信する際であってもよいし、送信した後の例えばデータベース１１１、１１２、…、１１ｊに保存する際であってもよい。
　また、図２などでは省略したが、録画又は録音する際におけるブレ補正を行なうブレ補正機能をさらに備えていてもよい。録画又は録音される情報に事前にブレ補正を行なうことで、後の画像再生又は音声再生時の精度（画像再現、音再現、位置又は姿勢再現性）を高めることができる（前述）。ここで言うブレ補正機能として、情報機器１０１、１０２、…、１０ｎ自身が備える、録画又は録音機能周辺の機械的振動補正機構と、センサーの検出結果や画像・音声信号の周期的な変化の検出に基づく電気的な自動補正を挙げることができる。後者の電気的な自動補正は、情報機器１０１、１０２、…、１０ｎ内で行なう他、別の情報機器や演算装置１２０で行なうこともできる。
　一方、再生すなわち画像、音声の視聴側の情報機器１４１、１４２、…、１４ｍでは、当該機器の位置並びに姿勢に対応した視点の画像や音声を再生して、その場からの様子を画像並びに音声で視聴できるようにする。また、画像や音声を現在時刻よりもさかのぼって再生したり、あるいは、現在時刻よりも進む時間における画像や音声を生成したりして、任意の時刻でのその場の様子を視聴できるようにする。
　視聴すなわち情報機器１４１、１４２、…、１４ｍで再生する画像や音声の情報については、位置姿勢検出部３０２で検出された位置並びに姿勢に基づく視聴希望視点からの画像、音声、現在時刻として再構成されたものを基本とする。但し、視聴希望視点は、位置姿勢検出部３０２で検出される情報機器１４１、１４２、…、１４ｍの現在の位置並び姿勢ではなく、ユーザー入力部２０３などを通じてユーザーが任意に指定する視点であってもよい。また、ユーザーが任意の時間（過去のいつの時刻、あるいは、現在時刻からどの程度さかのぼるか、あるいは、どの程度先に進むか）を、ユーザー入力部２０３などを通じて指定することができる。ここで、ユーザーは、画像や音声を視聴する度に視聴希望視点や視聴希望時刻を都度設定する必要はなく、ユーザーが向けた視線に応じて視聴希望視点を自動設定し、且つ、あらかじめ設定した戻り又は進み時間に合わせて画像や音声を再生するように処理してもよい。
　また、情報機器１４１、１４２、…、１４ｍの位置姿勢情報、時間情報以外にも、照度、温度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの環境検出部３０３で検出された環境情報（又は、これらの環境情報を利用して生成されたシステム情報）に基づいて画像や音声を再構成するようにしてもよい。例えば、情報機器１４１、１４２、…、１４ｍの現在の位置並びに姿勢に基づく視聴希望視点からの画像、音声とし、さらに現在の環境情報（時間帯や季節、天候、移動しているか）に適合する画像、音声を再構成する。
　情報機器１０１、１０２、…、１０ｎで録画又は録音された過去の画像、音声情報は、録画又は録音を行なった情報機器１０１、１０２、…、１０ｎ自体の演算部２０１、ネットワーク１５０上の演算装置１２０、あるいは、画像、音声を再生する側の情報機器１４１、１４２、…、１４ｍ内の演算部２０１で、視聴希望視点からの画像、音声に再構成が行なわれる。
　演算装置１２０は、視聴希望視点で再構成された画像、音声などの情報を、ローカルの記憶領域（図示しない）に保存してもよいし、ネットワーク１５０経由で外部のデータベース１３１、１３２、…、１３ｋに保存するようにしてもよい。
　記録側の情報機器１０１、１０２、…、１０ｎで録画又は録音を行なう際、上述したように、位置姿勢検出部３０２から得られる録画又は録音時の位置姿勢情報や時間情報を、記録する画像や音声の情報に付与して、ネットワーク１５０上のデータベース１１１、１１２、…、１１ｊに保存する。一方、再生側の情報機器１４１、１４２、…、１４ｍは、一定間隔毎に、あるいは、視聴というイベントが発生した際又は発生することを予測して、当該機器における位置姿勢情報を、ネットワーク１５０上の演算装置１２０に送信する。演算装置１２０側では、受信した位置姿勢情報に基づいて、データベース１１１、１１２、…、１１ｊに保存された情報から視聴希望視点からの画像、音声を再構成して、情報機器１４１、１４２、…、１４ｍに供給する。
　情報機器１４１、１４２、…、１４ｍにおける視聴は、過去の画像、音声のプレイバックに限らず、未来の画像、音声を提示することもあり得る。すなわち、視聴希望時刻として未来を指定することもできる。このような場合、データベース１１１、１１２、…、１１ｊに保存された過去の画像、音声を利用して未来の画像、音声を再構築するという処理を、演算装置１２０、又は、情報機器１４１、１４２、…、１４ｍ自身で行なう。未来の画像、音声の再構築は、例えばある時点間の情報の差分より、未来の画像、音声を推測するといった処理で行なわれる。
　また、再生側の情報機器１４１、１４２、…、１４ｍは、視聴希望時刻として、視聴時に任意に設定される時刻さかのぼり量又は未来への時刻進み量を、ネットワーク１５０上の演算装置１２０に送信する。再生側の情報機器１４１、１４２、…、１４ｍ、又は、記録側の情報機器１０１、１０２、…、１０ｎがあらかじめ画像、音声の時点にマークを設定することが許され、マークされた時点を再生ポイントとすることが可能である。複数の時点にマークを設定することも許容される。
　画像、音声にマークを設定することは任意である。記録側の情報機器１０１、１０２、…、１０ｎ、又は、再生側の情報機器１４１、１４２、…、１４ｍがあらかじめマークを設定してもよいし、設定そのものを自動化して、設定にあったポイントの時刻を自動的にマークするようにしてもよい。マークする時刻を自動的に生成する方法として、録画又は録音された画像、音声を解析して、目的に合わせてリスト化することが挙げられる。例えば、録画、録音された情報を解析して、画像や音場内の構成要素に状態遷移が顕著にみられたポイントを、画像、音声の変化点を示す情報として抽出する。より具体的に言えば、構成音源が最も多いポイント、音源の強度が強いポイント、音源の音域が高温側に多いときポイントなど、各種別のポイントを音声解析により抽出して、時刻リストを作成しておく。そして、再生時などにおいて、目的に応じた種別のポイントに自動的にマークを行なう。なお、リスト化せず、あらかじめ目的を絞って、特定の状態のみ抽出を行なうようにしてもよい。
　演算装置１２０は、再生側の情報機器１４１、１４２、…、１４ｍから位置姿勢情報並びに時刻情報（視聴希望視点、視聴希望時刻）を受け取ると、当該機器の位置情報周辺及び当該時刻周辺の画像、音声の情報を、データベース１１１、１１２、…、１１ｊからロードすると、その視聴希望視点での視聴希望時刻から再生する画像、音声を再構成する。再構成された画像、音声は、ネットワーク１５０を通じて再生側の情報機器１４１、１４２、…、１４ｍ内の主記憶部２０２にロードされつつ再生（ストリーミング再生）される。このようにして、再生側の情報機器１４１、１４２、…、１４ｍでは、その場におけるある時点からの画像、音声を視聴することが可能となる。
　なお、ここでは、視聴希望視点における視聴希望時刻からの画像、音声を演算装置１２０で再構成して視聴する例について説明したが、一連の処理の一部を、記録側の情報機器１０１、１０２、…、１０ｎや、再生側の情報機器１４１、１４２、…、１４ｍの演算処理に分散して行なうようにすることもできる。
　図１に示した情報再生システム１００では、画像、音声を録画、録音する情報機器１０１、１０２、…、１０ｎを有するユーザー又は設置場所であれば、過去に録画、録音した画像、音声にアクセスすることが可能である。よって、複数の情報機器１０１、１０２、…、１０ｎで録画、録音された視点の画像、音声から、任意視点の画像、音声を再構成することで、広範囲の場所で過去の様子を動画として視聴することが可能となる。さらに、再構成された画像、音声について高速再生技術（例えば、特許文献２を参照のこと）を利用することにより、過去のその場の様子を目視で確認しながら、現時点のその場の様子へとシームレスに復帰することができる。過去の画像から現時点又は未来の時点の画像へのシームレスな接続は、従来の記録機器や再生機器にはない機能である、という点を十分理解されたい。
　また、情報再生システム１００では、情報機器１０１、１０２、…、１０ｎで実際に録画、実際した過去の情報から、架空の情報を再構成して、これを情報機器１４１、１４２、…、１４ｍで提示するようにしてもよい。情報機器１０１、１０２、…、１０ｎが設置された位置並びに姿勢である時点から記録した現実の光景から、演算処理を経て、架空の光景を生成し、架空の光景と現実の光景をシームレスに組み合わせることが可能である。すなわち、架空の光景は、現実の光景とは、時間的又は空間的に現実の光景とは隔たりがあるが、現実の光景から架空の光景へ（あるいは逆に、架空の光景から現実の光景へ）徐々に近づけるなどの処理を行なう。このような光景を視聴するユーザーは、現実の光景が提示する現実空間と架空の光景が提示する仮想空間の間を違和感なく移動することができ、仮想空間に没入することができる。
　情報機器１４１、１４２、…、１４ｍでは、時間別、位置又は姿勢別の多視点の画像を再構成して表示することができる。ある時間の特定の視点の画像を全画面で表示するようにしてもよいし、時間別の特定の１視点の画像、ある時間の複数視点の画像、あるいは、時間別の多視点の画像を組み合わせて表示するようにしてもよい。例えば、情報機器１４１、１４２、…、１４ｍの現在の位置並びに姿勢からなる視点における現在ビューを、過去及び未来のビューと組み合わせて表示してもよいし、さらに別の位置又は姿勢の視点からのビューと組み合わせて表示してもよい。複数の画像を組み合わせて表示する方法として、一部又は全部を重畳表示することや、すべてを並列して表示することが挙げられる。
　また、情報機器１４１、１４２、…、１４ｍでは、画像だけでなく、時間別、あるいは位置又は姿勢別に再構成された複数の音声や環境情報を組み合わせて出力するようにしてもよい。例えば、ある視点で見える画像に、その視点で録音されたものではない音像を組み合わせてもよいし、その逆に、ある視点以外で見える画像に、その視点で録音された音像を組み合わせてもよい。同様に、ある時点に対して、その前後に録音された音像を敢えて組み合わせて提示するようにしてもよい。
　記録側の情報機器１０１、１０２、…、１０ｎで録画又は録音された画像、音声、並びにこれらに付与される位置姿勢情報、環境情報を共有するデータベース１１１、１１２、…、１１ｊや、位置姿勢や環境を変えて再構成した画像、音声を共有するデータベース１３１、１３２、…、１３ｋは、専用のデータ・サーバーでもよい。また、当業界では、インターネット上で動画を投稿し閲覧することを専門とする動画共有サイトが知られている。動画共有サイトのサーバーをデータベース１１１、１１２、…、１１ｊやデータベース１３１、１３２、…、１３ｋとして利用してもよい。
　動画共有サイトにアップロードされた情報を情報再生システム１００で利用する際、あらかじめ位置、姿勢、時間情報をセットされた画像、音声であれば、演算装置１２０は、その位置、姿勢、時間情報と画像、音声を利用して、前述したように視聴時に適当な画像、音声を再構成して、ネットワーク１５０経由で再生側の情報機器１４１、１４２、…、１４ｍにローディングする。
　また、本実施形態では、画像や音声に位置、姿勢、時間情報をセットするタイミングを特に限定していない。動画共有サイトにアップロードされた画像、音声に位置、姿勢、時間情報がセットされていない場合であっても、例えば演算装置１２０が画像や音声の認識技術により適当な位置、姿勢、時間情報を推定したり抽出したりして、画像、音声に付与するようにしてもよい。この方法によれば、記録側の情報機器１０１、１０２、…、１０ｎで録画、録音された画像、音声に限らず、動画共有サイト内に既存の画像、音声も、情報再生システム１００への利用が可能となる。
　また、動画共有サイトの中には、注釈や解説、論評、批評、意見などのコメントを画像中に書き込むサービスを提供するものもある（例えば、特許文献３を参照のこと）。上記のように動画共有サイトにアップされた画像、音声を再生側の情報機器１４１、１４２、…、１４ｍにローディングする際、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報を併せてローディングして、視聴する画像や音声にコメントを反映させるようにしてもよい。なお、画像に対する書き込みは、画像自体ではなく、電子掲示板など他のメディアであってもよい。
　動画共有サイトで書き込まれたコメントやその他の入力情報を、例えば演算装置１２０がデータベース１３１、１３２、…、１３ｋなどに収集して、その情報から新たな制御情報を生成して、情報機器１４１、１４２、…、１４ｍ側で画像や音声を再生する際に反映させるようにしてもよい。例えば、演算装置１２０は、動画中でユーザーからのコメントの書き込みが多い視聴点を推奨再生視聴点として抽出して、再生側の情報機器１４１、１４２、…、１４にフィードバックするような、推薦機能を実現することができる。
　なお、記録側の情報機器１０１、１０２、…、１０ｎから録画、録音した画像、音声を動画共有サイトにアップロードする際に、コメントやその他の情報を入力するようにしてもよい。この入力情報も、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報と同様の処理対象としてよい。
　本明細書で開示する技術に係る情報再生システム１００を会議、講義、講演の視聴に適用すると、途中から参加する際のスムーズで且つ違和感のない復帰機能や、他視点による理解促進機能を提供することができる。
　例えば、会議や講義、講演が行なわれている場所で、カメラ会議システムのカメラを設置したり、各参加者が装着しているヘッド・マウント・ディスプレイで撮影を行なったりする。この場合の会場に設置されたカメラや、参加者が装着するヘッド・マウント・ディスプレイは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。
　参加者が装着するヘッド・マウント・ディスプレイは、再生側の情報機器１４１、１４２、…、１４ｍでもある。例えば途中参加者は、会議や講義、講演などで撮影された過去の動画を、自分が身に付けているヘッド・マウント・ディスプレイで視聴することができる。
復帰機能：
　途中参加者のヘッド・マウント・ディスプレイで過去の動画を再生する際、その途中参加者の位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画を途中参加者の視点からの画像、音声に再構成してヘッド・マウント・ディスプレイから出力することで、空間的違和感なく、最初からその場で会議に参加していたような臨場感を与えることができる。
　過去の動画を標準速度で再生していると、途中参加者が視聴している過去の動画は、現在時刻までの時間差が縮まらないので、いつまでも会議、講義、講演の進行に追いつくことができない。そこで、例えば高速再生技術を用いて過去の動画を再生することで、途中参加者がスムーズに現在の会議、講義、講演にキャッチアップできるようにしてもよい。高速再生技術は、単純にｎ倍速（但し、ｎ＞１）の一定速度で動画を再生するのではなく、再生区間を重要度に応じて分類して、重要度の低い区間を実時間よりも短縮して情報を圧縮する一方、重要度の高い区間は実時間若しくは実時間に近い再生速度で再生する（例えば、特許文献４を参照のこと）。高速再生技術によれば、途中参加者は、これまでの会議、講義、講演の内容をより理解し易くなり、現在時刻に効率的に復帰することが可能となり、最初から会議に参加しているような臨場感を得ることができる。
　なお、途中参加者などのユーザーは、会議、講義、講演の最初から動画を再生するだけでなく、再生開始時刻も任意に指定することができる。例えば、アジェンダなどを見て、最初の方は視聴する必要がないと判断したときには、ユーザーは途中（すなわち、自分が参加した時刻により近い時点）からの再生開始を指示すればよい。
理解促進機能：
　ユーザーは、例えば他者や別の場所からの視点で、会議、講義、講演などに参加したり、様子を眺めたりしたいことがある。例えば、ユーザーが現在いる場所からは、発言者や講演者など特定の人物がよく見えない、ホワイトボードやスライドがよく見えない場合である。
　このような場合、ユーザーは、自分自身の現在の位置情報や姿勢情報に代えて、所望する視点を指定して、動画の再生を要求する。例えば、他の参加者の視点を指定した場合には、その場所から撮影された動画（その参加者が装着するヘッド・マウント・ディスプレイで撮影された動画）をデータベース１１１、１１２、…、１１ｊから読み出して、要求元のユーザーのヘッド・マウント・ディスプレイで再生すればよい。この場合、演算装置１２０などによる動画の再構成処理を必要としないので、低負荷で、よりリアルタイムに視聴が可能である。
　また、ユーザーが指定した視点では撮影が行なわれていない場合には、演算装置１２０は、その視点に近い場所で撮影された動画をデータベース１１１、１１２、…、１１ｊから読み出し、位置情報や姿勢情報の差分を利用して、所望する視点からの動画を再構成すればよい。
　また、会議、講義、講演などに遅れて参加する各ユーザーは、撮影された動画をヘッド・マウント・ディスプレイなどで再生して追体験する際に、過去のある時点の議論に対する意見や注釈、解説、論評、批評などのコメントを、その動画や電子掲示板に書き込むことができる。ここで、ユーザーがコメントを書き込む具体的な手段として、キーボードやそれに類するポインティング・デバイス、音声入力システムやそれに類する入力システムなど、文字ベースで入力する手段や、音声入力や手話を含むジェスチャー入力を行なう手段などが挙げられる。さらに後から来た参加者は、動画や電子掲示板に書き込まれたコメントを手掛かりにして、会議の議論や講義の内容をより深く理解しながら、より効率的に追体験することができる。
　上述したような情報再生システム１００の復帰機能並びに理解促進機能によれば、会議、講義、講演に途中参加するユーザーが、スムーズ且つ違和感なく復帰することが可能となる。さらに、ユーザーは、他者や別の（ユーザー本人とは異なる）視点からの画像を視聴することにより、会議、講義、講演における理解（内容理解、他者理解）を促進することができる。
　本明細書で開示する技術に係る情報再生システム１００をイベント会場に適用すると、途中から参加する際のスムーズで且つ違和感のない復帰機能、他視点による理解促進機能、開催日時に間に合わなかったときの追体験機能を提供することができる。
　例えば、イベント会場に設置されているカメラ会議システムのカメラや監視カメラ、記録撮影用カメラ、イベント参加者が装着しているヘッド・マウント・ディスプレイで、イベントの撮影を行なう。この場合の会場に設置されたカメラや、参加者が装着するヘッド・マウント・ディスプレイは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。
　参加者が装着するヘッド・マウント・ディスプレイは、再生側の情報機器１４１、１４２、…、１４ｍに相当する。例えば途中参加者や、振り返り過去を確認したいユーザーは、過去の動画を、自分が身に付けているヘッド・マウント・ディスプレイで視聴することができる。
　ユーザーがヘッド・マウント・ディスプレイで過去の動画を再生する際、例えば演算装置１２０が、そのユーザーの位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画を途中参加者の視点からの画像、音声に再構成する。ユーザーは、再構成された動画をヘッド・マウント・ディスプレイで視聴することで、空間的違和感なく、最初からその場でイベントに参加していたような臨場感を得ることができる。
　また、過去の動画を視聴する際に、上述した高速再生技術（例えば、特許文献２を参照のこと）を利用して、重要度の低い区間を実時間よりも短縮して情報を圧縮することで、イベントが終了するまでに、現在時刻に効率的に復帰することが可能となり、最初からイベントに参加しているような臨場感を得ることができる。
　また、ユーザーは、自分の場所からは見え難いので、他者や別の場所からの視点で、イベントに参加したり、様子を眺めたりしたいことがある。このような場合、ユーザーは、自分自身の現在の位置情報や姿勢情報に代えて、所望する視点を指定して、動画の再生を要求する。例えば、他の参加者の視点を指定した場合には、その場所から撮影された動画をデータベース１１１、１１２、…、１１Ｊから読み出して、要求元のユーザーのヘッド・マウント・ディスプレイで再生すればよい。この場合、演算装置１２０などによる動画の再構成処理を必要としないので、低負荷で、よりリアルタイムに視聴が可能である。
　また、イベントに参加するユーザーは、ヘッド・マウント・ディスプレイなどにより自分の視点から撮影される動画を、直接又はデータベース１１１、１１２、…、１１ｊを通じて、動画共有サイトにアップロードすることができる。演算装置１２０は、動画共有サイトにアップロードされた動画から、イベントに参加しているユーザーが装着しているヘッド・マウント・ディスプレイで視聴する動画を再構成するようにしてもよい。動画共有サイトで公開される動画には、コメントが書き込まれることがある。動画共有サイト中の動画から再構成した動画に、他者が書き込んだコメントを反映させることで、ヘッド・マウント・ディスプレイを装着してイベントに参加するユーザーにより多くの情報を提供し、現実よりも臨場感、没入感を促進することが可能となる。
　また、イベントに参加する各ユーザーは、撮影された動画をヘッド・マウント・ディスプレイなどで再生して追体験する際に、過去のある時点のイベントに対する意見や注釈、解説、論評、批評などのコメントを、そのキーボードなどのポインティング・デバイス、音声入力、ジェスチャー入力などを通じて、その動画や電子掲示板に書き込むことができる。さらに後から来た参加者は、動画や電子掲示板に書き込まれたコメントを手掛かりにして、イベントでこれまでに催された内容をより深く理解しながら、より効率的に追体験することができる。
　上述したような情報再生システム１００によれば、イベントに途中参加するユーザーが、スムーズ且つ違和感なく復帰することが可能となる。さらに、ユーザーは、他者や別の（ユーザー本人とは異なる）視点からの画像を視聴することにより、イベントにおける理解（内容理解、他者理解）を促進することができる。
　本明細書で開示する技術に係る情報再生システム１００を、交通事故などの事故現場に適用すると、そのような場所で過去に起きた事象を任意の視点で再生したり、過去と現在との差分を強調して表示したりすることで、ユーザーは過去の事象をスムーズで且つ違和感なく理解し、追体験することができる。
　例えば、公共スペースや街角などの場所に設置されているカメラ会議システムのカメラや監視カメラ、その場所を通り過ぎる人や動物が装着しているヘッド・マウント・ディスプレイ、モニタリング・システムに類する電子機器や撮像機器により撮影を行なう。この場合のカメラやヘッド・マウント・ディスプレイ、モニタリング・システムは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。
　ある地点での過去の動画を視聴したいユーザーが装着するヘッド・マウント・ディスプレイは、視聴側の情報機器１４１、１４２、…、１４ｍでもある。ユーザーがある地点での過去の動画を視聴したいとき、例えば演算装置１２０が、そのユーザーの位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画をユーザーの視点からの画像、音声に再構成して、ユーザーが装着するヘッド・マウント・ディスプレイ越しに過去にその場で起きた光景を与える。ユーザーは、再構成された動画をヘッド・マウント・ディスプレイで視聴することで、最初からその場所に居合わせていたような錯覚を覚え、過去のその事故現場で起きた出来事を確認することができる。例えば、ユーザーは、事故の現場検証で、どのような状況で事故が発生したかということを、他視点で確認することが可能となり、検証の精度を高めることができる。
　本明細書で開示する技術に係る情報再生システム１００を適用した現場検証によれば、事故被害者や被疑者などの当事者、周囲の監視カメラ、周囲の撮像機器などの任意視点での過去から現在に至る検証が可能であり、監視カメラで撮影した動画や自己レコーダーの記録確認や現場検証などの検証する時間帯や視点が限定された検証方法よりも優位性がある。
　本明細書で開示する技術に係る情報再生システム１００を適用した現場検証によれば、その場所を過去に撮影した画像と現在の光景との差分を強調して表示することで、時間の経過に伴う変化を視認し易くなるので、通常の目視では確認し難い検証作業を容易にすることができる。
　本明細書で開示する技術に係る情報再生システム１００では、事故現場を検証するユーザーの位置及び姿勢から見える画像や聞こえる音声を再構成するだけでなく、その位置では通常聞こえない音についても同時に再生することが可能である。また、通常聞き知れないある時点の前後の音を聞きながらある時点での状況を確認することで、前後のつながりへの理解を深めることが可能である。
　本明細書で開示する技術に係る情報再生システム１００を、タイムトラベル・システムに適用して、ある場所でのある時点の情景を表示することができる。
　例えば、ある地点におけるカメラ会議システムや監視カメラで記録した画像や音声、ある地点を通過する人や動物が身に付けるヘッド・マウント・ディスプレイにより記録された画像や音声、モニタリング・システムに類する電子機器や撮像機器で記録された画像や音声、物体に装備されたモニタリング・システムに類する電子機器や撮像機器で記録された画像や音声を、記録したときの位置・姿勢情報とともにデータベース１１１、１１２、…、１１ｊに保存しておく。
　ユーザーがある時点の光景を眺めたくなったとき、ヘッド・マウント・ディスプレイやスマートフォンなどの携帯電話やタブレット端末、電子書籍などの身に付けた情報機器から、演算装置１２０に位置情報、姿勢情報を送信して、眺めたい画像を要求する。
　演算装置１２０は、要求されている画像をいずれかのデータベース１１１、１１２、…、１１ｊから取得すると、位置情報、姿勢情報の差分を利用して、ユーザーの視点からの画像を再構成して、ユーザーが身に付ける情報機器にローディングすることで、ある時点のその場の光景をユーザーに与える。これにより、ユーザーは、ある時点のある地点にいる錯覚を覚える。
　本実施例に係る情報再生システム１００では、ユーザーがリアルタイムで眺めている任意視点をある時点の情景に切り替えて表示することが可能な点に特徴がある。このようなシステムを利用すれば、ユーザーは、興味を持つ時間帯ではなくても、ある時間帯ではその場所がどのような雰囲気であるかなど、興味のある時間帯のその場の様子を確認することができる。また、ユーザーは、その場が過去にどのような経緯で発展を遂げたかなど、歴史文化についてその場で没入感を感じながら知覚することが可能となる。さらに過去の画像から推測された未来を表示して、ユーザーは、予測された未来を体験することが可能になる。
　本実施例に係る情報再生システム１００は、ある時点の３Ｄの地球地図の中に入るということを仮想的に行なうことにより、疑似的にタイムトラベルを可能とする。例えば、土地建物物件などの評価、旅行ガイドなどへの適用が考えられる。それ自体をアトラクションと捉えてもよい。また、このような現実のある時点、ある位置・姿勢における画像から演算を経て、架空の光景を生成し、これをゲームなどに用いてもよい。この際には、例えば架空の光景と現実の光景を違和感なく組み合わせることにより（時間又は空間、若しくは時間的及び空間的に徐々に現実の光景にするなどの処理により）、現実空間と仮想空間の移動を、ユーザーの没入感を阻害することなく行なわせることが可能となる。
　以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　記録側の情報機器１０１、１０２、…、１０ｎ、並びに視聴側の情報機器１４１、１４２、…、１４ｍとして、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、網膜直描ディスプレイ、電子コンタクト・レンズ、各感覚器及び脳への電気・物理刺激によるディスプレイ、監視カメラ、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤー、携帯撮像機器を利用することができる。
　また、記録側の情報機器１０１、１０２、…、１０ｎで記録した画像、音声などの情報を保存するデータベース１１１、１１２、…、１１ｊ、並びに、演算装置１２０で処理した画像、音声などの情報を保存するデータベース１３１、１３２、…、１３ｋとして、専用のサーバーを設置する他、動画共有サイトのサーバーを利用することもできる。
　要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像又は音声の情報を取得する情報取得部と、
　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
を具備する情報処理装置。
（２）前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存する、
上記（１）に記載の情報処理装置。
（３）前記保存部は、画像や音声の記録に際して、ブレ補正を行なう、
上記（１）に記載の情報処理装置。
（４）データベースに保存されている画像又は音声の情報を取得する情報取得部と、
　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
を具備する情報処理装置。
（５）前記データベースは、画像又は音声の情報を置・姿勢情報又はその他のセンサー情報とともに保存しており、
　前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現する、
上記（４）に記載の情報処理装置。
（６）前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なう、
上記（５）に記載の情報処理装置。
（７）前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成する、
上記（６）に記載の情報処理装置。
（８）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成する、
上記（７）に記載の情報処理装置。
（９）前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成する、
上記（６）に記載の情報処理装置。
（１０）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成する、
上記（９）に記載の情報処理装置。
（１１）前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成する、
上記（６）に記載の情報処理装置。
（１２）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、
上記（１１）に記載の情報処理装置。
（１３）画像又は音声の情報を取得する情報取得ステップと、
　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
を有する情報処理方法。
（１４）データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
を有する情報処理方法。
　１００…情報再生システム
　１０１、１０２、…、１０ｎ…情報機器（記録側）
　１１１、１１２、…、１１ｊ…データベース
　１２０…演算装置
　１３１、１３２、…、１３ｋ…データベース
　１４１、１４２、…、１４ｍ…情報機器（再生側）
　１５０…ネットワーク
　２０１…演算部、２０２…主記憶部、２０３…ユーザー入力部
　２０４…情報入力部、２０５…情報出力部
　２０６…外部記憶装置、２０７…通信部、２０８…バッファー
　３０１…提示情報入力部、３０２…位置姿勢検出部
　３０３…環境検出部、３１１…撮像素子
　３１２…マイクロフォン、３１３…テキスト入力部
　３１４…モーション入力部、３１５…匂い入力部
　３１６…触覚入力部、３１７…味覚入力部
　３２１…ＧＰＳセンサー、３２２…地磁気センサー
　３２３…加速度センサー、３２４…ドップラー・センサー
　３２５…電波強度センサー、３３１…温度センサー
　３３２…湿度センサー、３３３…赤外線センサー
　３３４…紫外線センサー、３３５…照度センサー
　３３６…電波強度センサー
　３３７…化学物質（濃度・種類・状態など）センサー
　５０１…液晶ディスプレイ、５０２…有機ＥＬディスプレイ
　５０３…網膜直描ディスプレイ、５０４…スピーカー
　５０５…触覚ディスプレイ、５０６…匂いディスプレイ
　５０７…温度ディスプレイ、５０８…味覚ディスプレイ、
　５０９…各感覚器及び脳への電気・物理刺激によるディスプレイ

Claims (14)

  1. 　画像又は音声の情報を取得する情報取得部と、
    　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
    　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
    を具備する情報処理装置。
  2. 　前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存する、
    請求項１に記載の情報処理装置。
  3. 　前記保存部は、画像や音声の記録に際して、ブレ補正を行なう、
    請求項１に記載の情報処理装置。
  4. 　データベースに保存されている画像又は音声の情報を取得する情報取得部と、
    　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
    を具備する情報処理装置。
  5. 　前記データベースは、画像又は音声の情報を置・姿勢情報又はその他のセンサー情報とともに保存しており、
    　前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現する、
    請求項４に記載の情報処理装置。
  6. 　前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なう、
    請求項５に記載の情報処理装置。
  7. 　前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成する、
    請求項６に記載の情報処理装置。
  8. 　前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成する、
    請求項７に記載の情報処理装置。
  9. 　前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成する、
    請求項６に記載の情報処理装置。
  10. 　前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成する、
    請求項９に記載の情報処理装置。
  11. 　前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成する、
    請求項６に記載の情報処理装置。
  12. 　前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、
    請求項１１に記載の情報処理装置。
  13. 　画像又は音声の情報を取得する情報取得ステップと、
    　画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
    　取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
    を有する情報処理方法。
  14. 　データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
    　異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
    を有する情報処理方法。
PCT/JP2015/067355 2014-09-08 2015-06-16 情報処理装置及び情報処理方法 Ceased WO2016038964A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/507,512 US20170256283A1 (en) 2014-09-08 2015-06-16 Information processing device and information processing method
JP2016547731A JPWO2016038964A1 (ja) 2014-09-08 2015-06-16 情報処理装置及び情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-182771 2014-09-08
JP2014182771 2014-09-08

Publications (1)

Publication Number Publication Date
WO2016038964A1 true WO2016038964A1 (ja) 2016-03-17

Family

ID=55458727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067355 Ceased WO2016038964A1 (ja) 2014-09-08 2015-06-16 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20170256283A1 (ja)
JP (1) JPWO2016038964A1 (ja)
WO (1) WO2016038964A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018207517A (ja) * 2018-08-17 2018-12-27 株式会社コロプラ ヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および情報処理装置
CN112640472A (zh) * 2018-07-12 2021-04-09 佳能株式会社 信息处理设备、信息处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664975B2 (en) * 2014-11-18 2020-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target
US9995847B2 (en) * 2015-06-23 2018-06-12 International Business Machines Corporation Airborne particulate source detection system
US10649233B2 (en) * 2016-11-28 2020-05-12 Tectus Corporation Unobtrusive eye mounted display
US10217287B2 (en) * 2016-12-24 2019-02-26 Motorola Solutions, Inc. Method and apparatus for generating a search pattern for an incident scene
JP6869453B2 (ja) 2019-02-21 2021-05-12 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US20230027666A1 (en) * 2021-07-13 2023-01-26 Meta Platforms Technologies, Llc Recording moments to re-experience

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260338A (ja) * 2005-03-18 2006-09-28 Sony Corp タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ
WO2013009472A2 (en) * 2011-07-11 2013-01-17 Ning Alice Conductive composites
JP2013175883A (ja) * 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338858A (ja) * 1999-05-28 2000-12-08 Toshiba Corp 仮想空間体感装置
JP2003299013A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 体験情報再現装置
JP2004140812A (ja) * 2002-09-26 2004-05-13 Oki Electric Ind Co Ltd 体験記録情報処理方法とその通信システム及び情報記録媒体並びにプログラム
JP4963105B2 (ja) * 2007-11-22 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像を記憶する方法、装置
JP5493456B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
IN2014CN04659A (ja) * 2011-12-27 2015-09-18 Sony Corp
JP2013161416A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP2014017775A (ja) * 2012-07-11 2014-01-30 Nikon Corp 画像処理装置、撮像装置、頭部装着型情報入出力装置、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260338A (ja) * 2005-03-18 2006-09-28 Sony Corp タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ
WO2013009472A2 (en) * 2011-07-11 2013-01-17 Ning Alice Conductive composites
JP2013175883A (ja) * 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112640472A (zh) * 2018-07-12 2021-04-09 佳能株式会社 信息处理设备、信息处理方法和程序
JP2018207517A (ja) * 2018-08-17 2018-12-27 株式会社コロプラ ヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および情報処理装置

Also Published As

Publication number Publication date
JPWO2016038964A1 (ja) 2017-06-22
US20170256283A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
WO2016038964A1 (ja) 情報処理装置及び情報処理方法
US10573351B2 (en) Automatic generation of video and directional audio from spherical content
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
CN114236837B (zh) 用于显示交互式增强现实展示的系统、方法和介质
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
US11095947B2 (en) System for sharing user-generated content
EP2816564B1 (en) Method and apparatus for smart video rendering
US10298876B2 (en) Information processing system, control method, and storage medium
EP3384693B1 (en) Immersive telepresence
EP3014888A1 (en) Live crowdsourced media streaming
US20140294366A1 (en) Capture, Processing, And Assembly Of Immersive Experience
US20150213031A1 (en) Geo-location video archive system and method
JP2023153120A (ja) 情報処理装置及び情報処理方法
CN114846808B (zh) 内容发布系统、内容发布方法以及存储介质
WO2018135334A1 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US20080246841A1 (en) Method and system for automatically generating personalized media collection for participants
JP2014204411A (ja) 会議記録システム、会議記録装置、会議記録再生方法およびコンピュータプログラム
GB2530984A (en) Apparatus, method and computer program product for scene synthesis
US9807350B2 (en) Automated personalized imaging system
JP2020005150A (ja) 録画再生装置及びプログラム
JP2023181567A (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
KR20180042094A (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
US12532036B2 (en) Multi-camera multiview imaging with fast and accurate synchronization
WO2018201195A1 (en) Devices, systems and methodologies configured to enable generation, capture, processing, and/or management of digital media data
NL2016351B1 (en) System and method for event reconstruction from image data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15840852

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016547731

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15507512

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15840852

Country of ref document: EP

Kind code of ref document: A1