[go: up one dir, main page]

WO2016002496A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2016002496A1
WO2016002496A1 PCT/JP2015/067234 JP2015067234W WO2016002496A1 WO 2016002496 A1 WO2016002496 A1 WO 2016002496A1 JP 2015067234 W JP2015067234 W JP 2015067234W WO 2016002496 A1 WO2016002496 A1 WO 2016002496A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
base layer
file
enhancement layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/067234
Other languages
English (en)
French (fr)
Inventor
平林　光浩
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/321,968 priority Critical patent/US10187648B2/en
Priority to EP15814032.7A priority patent/EP3163882B1/en
Priority to CN201580034347.0A priority patent/CN106464941B/zh
Priority to EP19167354.0A priority patent/EP3541079B1/en
Priority to JP2016531241A priority patent/JP6642427B2/ja
Publication of WO2016002496A1 publication Critical patent/WO2016002496A1/ja
Anticipated expiration legal-status Critical
Priority to US16/158,609 priority patent/US10623754B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present technology relates to an information processing apparatus and method, and more particularly to an information processing apparatus and method capable of adaptively providing a partial image of an image of each layer of an image including a plurality of layers.
  • MPEG-DASH Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP
  • HTTP HyperText Transfer Protocol
  • a plurality of encoded data in which the same content is expressed at different bit rates are stored in the content server, and the client selects one of the plurality of encoded data according to the network bandwidth. While playing, it uses ABS (Adaptive Bitrate Streaming) technology.
  • a partial image that is a part of the entire image instead of the entire image.
  • a partial image of a portion selected by the terminal that receives image data in the entire image is distributed, the performance of the terminal (for example, the processing capability of a CPU or the like, the size of a display, etc.) It has been considered to control the size of the partial image to be delivered according to the situation.
  • hierarchical coding or the like has been considered in which an image hierarchized into a plurality of layers is efficiently encoded using inter-hierarchical prediction or the like.
  • MPEG-DASH Dynamic Adaptive Streaming over HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • the present technology has been proposed in view of such a situation, and it is an object of the present technology to adaptively provide a partial image of an image of each layer of an image composed of a plurality of layers.
  • One aspect of the present technology is information on the entire base layer of encoded data obtained by hierarchically encoding image data, information on each partial region of the image of the base layer, information on the entire enhancement layer of the encoded data, and It is an information processor provided with a file generation part which generates a file which stores information on each partial field of a picture of the above-mentioned enhancement layer in a mutually different track.
  • the file generation unit stores encoding information indicating an encoding scheme of the base layer in a track storing information of the entire base layer, and stores the information of the partial area of the base layer in each track. Coding information indicating a track storing only information on the partial region of the base layer, and coding information indicating a coding method of the enhancement layer in a track storing information on the entire enhancement layer In each track storing the information of the partial area of the enhancement layer, coding information indicating that the track stores only the information of the partial area of the enhancement layer can be stored.
  • the file generation unit stores, in a track storing information on the entire base layer, information indicating that each track storing information on the partial area of the base layer is referred to and information indicating the type of the reference.
  • Information indicating that a track storing information on the entire base layer is referred to and information indicating the type of the reference are stored in each track storing information on the partial region of the base layer, and information on the type of the reference is stored,
  • Information indicating that the track storing the information of the entire base layer is referred to and the information indicating the type of the reference in each of the tracks storing the information of the partial area of the enhancement layer Storing information indicating reference to the information and information indicating the type of the reference;
  • Each track for storing information of the partial region performs instruction layers may store information indicating the information and the type of the reference indicating a reference to the track storing the enhancement layer information across.
  • the file generation unit stores samples of reference information to encoded data of the partial area of the layer in each track storing information of the entire layer of each layer, and stores information of the partial area of each layer In each track, samples of the encoded data of the partial area can be stored.
  • the file generation unit may store position information of the partial area in each track storing information of the partial area of each layer.
  • the file generation unit may generate the file for each track.
  • the file generation unit can generate the file for each layer.
  • the file generation unit can generate a file storing all the tracks.
  • One aspect of the present technology is also information on the entire base layer of encoded data obtained by hierarchically encoding image data, information on each partial region of the image on the base layer, information on the entire enhancement layer of the encoded data, And an information processing method of generating a file for storing information of each partial area of the image of the enhancement layer in different tracks.
  • An information processing apparatus comprising: a metadata generation unit configured to generate metadata including information of each partial region of the image of the enhancement layer.
  • the information storing the information of the entire base layer includes encoding information indicating the encoding scheme of the base layer, and the information of the partial area of the base layer is only information of the partial area of the base layer
  • the information of the entire enhancement layer includes the encoding information indicating the encoding scheme of the enhancement layer
  • the information of the partial region of the enhancement layer includes the enhancement information. It is possible to include coding information indicating that only information on the partial area of a layer is included.
  • the information on the entire base layer includes information indicating that the information on the partial area of the base layer is to be referred to and information indicating the type of the reference, and each information on the partial area on the base layer is the base
  • the information indicating the reference to the information on the entire layer and the information indicating the type of the reference, the information on the entire enhancement layer indicates the information indicating the reference to the information on the entire base layer and the type of the reference Information
  • information indicating that information on the partial region of the enhancement layer is referred to and information indicating the type of the reference
  • each of the information on the partial region of the enhancement layer is information on the entire enhancement layer To include information indicating that it refers to and information that indicates the type of said reference It can be.
  • the information on the partial area of the enhancement layer may further include information indicating that information on a partial area corresponding to the partial area of the base layer is referred to and information indicating the type of the reference. it can.
  • Information of the partial area of the base layer, and information of the partial area of the enhancement layer may include positional information of the partial area.
  • the metadata generation unit sets a file storing a sample of reference information to encoded data of the partial region of the base layer as information of the entire base layer, and encodes the partial region of the base layer
  • a file storing samples of data is set in the information of the partial area of the base layer
  • a file storing samples of reference information to encoded data of the partial area of the enhancement layer is the entire enhancement layer
  • the information may be set, and a file storing encoded data samples of the partial area of the enhancement layer may be set as information of the partial area of the enhancement layer.
  • the metadata generation unit sets a file storing encoded data of the base layer above information of the entire base layer and information of the partial region of the base layer, and encodes the enhancement layer A file storing data can be set above information of the entire enhancement layer as well as information of the partial region of the enhancement layer.
  • the metadata generation unit stores a file storing encoded data of all layers, information of the entire base layer, information of the partial area of the base layer, information of the entire enhancement layer, and the information of the enhancement layer. It can be set above the information of the partial area.
  • the metadata generation unit makes the information of the entire base layer, the information of each partial area of the image of the base layer, the information of the entire enhancement layer, and the information of each partial area of the image of the enhancement layer different from each other An adaptation set or different sub-representations can be set.
  • Another aspect of the present technology is that information on the entire base layer of encoded data obtained by hierarchically encoding image data, information on each partial region of the image on the base layer, information on the entire enhancement layer of the encoded data , And an information processing method of generating metadata including information of each partial region of the image of the enhancement layer.
  • information on the entire base layer of encoded data in which image data is hierarchically encoded information on each partial region of the image of the base layer, information on the entire enhancement layer of encoded data, and enhancement A file is generated which stores information of each partial area of the layer image in different tracks.
  • information of the entire base layer of encoded data obtained by hierarchically encoding image data, information of each partial region of the image of the base layer, information of the entire enhancement layer of encoded data, and Metadata is generated that includes information of each partial region of the image of the enhancement layer.
  • information can be processed. Further, according to the present technology, it is possible to adaptively provide a partial image of an image of each layer of an image composed of a plurality of layers.
  • MPEG-DASH It is a figure explaining the outline of MPEG-DASH. It is a figure which shows the structural example of MPD. It is a figure explaining the time division
  • FIG. 21 is a flowchart illustrating an example of the flow of MPD generation processing, following FIG. 20; It is a block diagram showing an example of main composition of a file reproduction device.
  • FIG. 5 is a flowchart illustrating an example of the flow of MP4 file playback processing. It is a flowchart explaining the example of the flow of MPD reproduction
  • ⁇ DASH> Conventionally, as a content delivery technology using HTTP (HyperText Transfer Protocol), there is MPEG-DASH (Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP) as described in Non-Patent Document 1, for example.
  • MPEG-DASH Motion Picture Experts Group-Dynamic Adaptive Streaming over HTTP
  • a plurality of encoded data in which the same content is expressed at different bit rates are stored in the content server, and the client selects one of the plurality of encoded data according to the network bandwidth. While playing, it uses ABS (Adaptive Bitrate Streaming) technology.
  • the control software for streaming data selects an MPD (Media Presentation Description) file of the desired content and acquires it from the Web server.
  • the MPD is metadata that manages content such as moving images and audio to be distributed.
  • the streaming data control software of the video playback terminal analyzes the MPD, and the data (DASH segment) of the desired content matching the communication line quality, the performance of the video playback terminal, etc. Control to acquire from Web server.
  • the client software for HTTP access acquires its DASH segment from the web server using HTTP according to the control.
  • the video playback software plays back the content thus acquired.
  • the MPD has, for example, a configuration as shown in FIG.
  • the client selects an optimal one from the attributes of Representation included in Period of MPD (Media Presentation in FIG. 2).
  • the client reads the top segment (Segment) of the selected Representation (Representation) to obtain and process the Initialization Segment. Subsequently, the client acquires and reproduces the subsequent segment.
  • Period, Representation, and Segment in the MPD is as shown in FIG. That is, one media content can be managed for each period, which is a data unit in the time direction, and each period is managed for each segment, which is a data unit in the time direction. Can. Also, for each period, a plurality of representations (Representations) with different attributes such as bit rate can be configured.
  • the file of this MPD (also referred to as MPD file) has a hierarchical structure as shown in FIG. 4 below Period. Further, when the structure of this MPD is arranged on the time axis, it becomes as shown in the example of FIG. As is clear from the example of FIG. 5, a plurality of representations (Representations) exist for the same segment (Segment). By adaptively selecting one of these, the client can acquire and reproduce appropriate stream data according to the communication environment, its own decoding capability, and the like.
  • ⁇ Tile structure> In such a conventional DASH, although distribution of data of the entire image was adaptively controlled, it was considered to adaptively select and distribute a partial image which is a part thereof instead of the entire image. . For example, a partial image of a portion selected by the terminal that receives image data in the entire image is distributed, the performance of the terminal (for example, the processing capability of a CPU, the size of a display, etc.) It has been considered to control the size of the partial image to be delivered according to the situation.
  • the tile (Tile) is a partial area obtained by dividing the entire image with a predetermined layout (size, shape, number, etc.).
  • a tile image an image of one tile is referred to as a tile image.
  • image data is encoded, and its bit stream is filed and delivered (released as a file).
  • image data is encoded independently for each tile image.
  • the encoded data of each tile may be one bit stream.
  • an entire image of 640x480 size, an entire image of 1980x1080 size, and a tile image (four partial images) of 960x540 size in which the entire image is divided into two in vertical and horizontal directions, respectively. are prepared as images for delivery.
  • Data of the entire image of 640x480 size is encoded into one bit stream (bitstream 1), and data of the entire image of 1980 x 1080 size is also encoded into one bit stream (bitstream 2).
  • bitstream 2 bit stream 2
  • the data of each tile image of 960 ⁇ 540 size is encoded independently of each other, and each is made into one bit stream (bitstream 3 to bit stream 6).
  • a video parameter set (VPS (Video Parameter Set)
  • a sequence parameter set (SPS (Sequence Parameter Set)
  • SEI Supplemental Enhancement Information
  • PPS Picture Parameter Set
  • Header information is added, and a bit stream of image data is arranged for each slice (Slice).
  • each tile image can be delivered similarly to the whole image.
  • a structure called a tile that divides the entire image is supported, and coding may be performed independently for each tile. it can. For example, it can be decoded to obtain only the image of that part of the tile. That is, decoding can be performed to obtain only a partial image that is a part of the entire image.
  • HEVC High Efficiency Video Coding
  • the encoded data of a plurality of tile images can be converted into one bit stream (bitstream 7) by using the function of such an encoding method. That is, in this case, the tile for distribution described above (Tile) is handled and encoded as a tile (Tile) that the encoding scheme supports. In this case, in the bitstream, data of each tile is arranged as slices.
  • the bitstream for distribution is filed, for example, by the MP4 file format.
  • the bit stream of each tile can be a separate file.
  • the bit stream of each tile is managed in units of tracks.
  • header information of each tile and a base track in which a reference to each track is described are provided, and are filed as a file different from the bit stream of each tile.
  • the base track is reproduced, and when decoding each tile, the header information is referred to the base track.
  • bit stream of each tile can be put together into one file.
  • data of each tile can be collectively managed by one track, or as B of FIG. 8, each tile can be managed as different tracks.
  • header information of each tile and a base track in which a reference to each track is described are provided.
  • an MP4 file (MP4 file) compliant with MPEG-DASH includes ftyp, moov, and mdat.
  • data of each sample (picture) of HEVC is stored in mdat as AV data.
  • management information is stored in a sample table box (Sample Table Box (stbl)) for each sample (for example, picture).
  • sample Table Box a sample description box (Sample Description Box), a time to sample box (Time To Sample Box), a sample size box (Sample Size Box), and a sample A to chunk box (Sample to Chunk Box), a chunk offset box (Chunk Offset Box), and a subsample information box (Subsample Information Box) are provided.
  • the sample description box stores information on the codec, the image size, and the like. For example, information such as coding parameters is stored in HEVC sample entry in this sample description box.
  • the time-to-sample box stores information on the time of the sample.
  • the sample size box stores information on the size of the sample.
  • the sample to chunk box stores information on the position of the data of the sample.
  • the chunk offset box stores information on data offsets. Information on the subsamples is stored in the subsample information box.
  • the tile (Tile) may divide the whole image equally as in the example of A of FIG. 10, or it divides the whole image unevenly as in the example of B of FIG. May be That is, the image sizes of the tile images constituting the entire image may be the same as or different from each other.
  • ⁇ Application> As an application that uses such a tile (Tile) structure, for example, an application that controls the size of a partial image to be displayed can be considered.
  • the entire image 10 shown in A of FIG. 10 is tiled and can be divided into a plurality of tile images 11 of the same size.
  • the application displays a partial image 12 consisting of 2 ⁇ 2 four tile images.
  • the application displays a partial image 13 consisting of 30 tile images of 6 ⁇ 5.
  • an application that controls the image size of a partial image to be displayed according to the performance of a terminal that displays an image can be considered.
  • the size of each tile image is uneven.
  • the application can display an image of HD resolution by displaying an image of tile 3 (Tile 3), and a cinema (Cinema) by displaying an image of tile 2 (Tile 2) to tile 4 (Tile 4) Images of resolution can be displayed, and by displaying images of tile 1 (Tile 1) to tile 5 (Tile 5), images of even larger extension size (EXT) can be displayed.
  • an application that controls the resolution and the aspect ratio of the display image by controlling the image size of the partial image to be displayed can be considered.
  • ⁇ Adaptive provision of tile image> In the case of providing adaptive partial image data by utilizing the tile structure of the image and selecting an arbitrary partial image and providing the data thereof, for example, information on the partial image which is a part of the entire image Some partial image information is included in the MPD.
  • the partial image to be provided may be any part of the entire image, and the shape, size, and the like are arbitrary.
  • the partial image may be a part that can be encoded independently of other parts.
  • the partial image is assumed to be the tile-based image described above. That is, the partial image is composed of one or more tile images.
  • a descriptor type element (DescriptorType element) of the MPD is used to define a description for a tile (Tile) as shown in A of FIG.
  • a view type (viewtype) indicating what kind of image the image represented by this element is is defined as shown in B of FIG.
  • information on the entire base layer of encoded data obtained by hierarchically encoding image data information on each partial region of the image of the base layer, information on the entire enhancement layer of encoded data, and each portion of the image on the enhancement layer It is made to generate a file that stores the information of the area in different tracks.
  • the coding information indicating the coding method of the base layer is stored, and in each track storing the information of the partial area of the base layer, only the information of the partial area of the base layer Is stored in the track that stores the information on the entire enhancement layer, the coding information indicating the coding scheme on the enhancement layer is stored, and the information on the partial region of the enhancement layer is stored.
  • coding information may be stored which indicates that the track stores only the information of the partial region of the enhancement layer.
  • information indicating that each track storing information of a partial area of the base layer is referenced and information indicating the type of reference are stored in a track storing information of the entire base layer, and information of the partial area of the base layer
  • information indicating that the track storing information on the entire base layer is referenced and information indicating the type of reference are stored, and in the track storing information on the entire enhancement layer, information on the entire base layer
  • Information on the entire base layer Stores information indicating the reference to the track storing the information and information indicating the type of the reference, and information indicating the reference indicating each track storing the information on the partial region of the enhancement layer and information indicating the type of reference ,
  • Each track for storing information on partial regions of the enhancement layer It may be stored information indicating the type of information and reference indicating a reference to the track for storing information of the entire Ya.
  • information on the entire base layer of encoded data in which image data is hierarchically encoded information on each partial region of the image of the base layer, information on the entire enhancement layer of encoded data, and each portion of the image on the enhancement layer makes it possible to generate metadata including information of area.
  • the information storing the information of the entire base layer includes the encoding information indicating the encoding method of the base layer, and each of the information of the partial area of the base layer includes only the information of the partial area of the base layer Of the entire enhancement layer includes coding information indicating the coding scheme of the enhancement layer, and each of the information of the partial region of the enhancement layer includes only the information of the partial region of the enhancement layer It may be made to include coding information which shows that it is.
  • the information of the entire base layer includes information indicating that the information of the partial area of the base layer is referred to and information indicating the type of reference, and each of the information of the partial area of the base layer is information of the entire base layer Information indicating the reference and information indicating the type of reference, information indicating that the entire enhancement layer refers to information on the entire base layer, and information indicating the type of reference, and a partial region of the enhancement layer Information indicating the reference to the information and information indicating the type of the reference, information indicating that the information on the partial region of the enhancement layer refers to the information on the entire enhancement layer, and information indicating the type of the reference It may be included.
  • image data of two layers including a base layer and an enhancement layer is hierarchically encoded and distributed using inter-layer prediction.
  • the number of layers of image data is arbitrary, and may be three or more.
  • the image of the base layer is highly correlated with the image of the enhancement layer (it is basically the same image as that of the predetermined image parameters such as resolution), and its resolution is lower than that of the image of the enhancement layer It shall be resolution.
  • each layer is divided into a total of four tiles (partial areas) of two vertical and two horizontal.
  • the number of tile divisions of each layer image is arbitrary.
  • the buffer data is discarded and wasted.
  • the reproduction may also be unstable.
  • the base layer stream is always delivered, and the enhancement layer stream is delivered only when the enhancement layer image is displayed. .
  • the buffer does not become 0. Therefore, even after time T1 when the switching is performed, the display of the image can be stabilized more than in the case of A in FIG.
  • Such an effect can be obtained, for example, by realizing adaptively providing a partial image of an image of each layer among images of multiple layers.
  • a function is realized in a format for distribution, for example, an MP4 file or MPD.
  • FIG. 14 is a block diagram illustrating an exemplary main configuration of a file generation apparatus according to an embodiment of an information processing apparatus to which the present technology is applied.
  • the file generation apparatus 100 hierarchically encodes the image of the base layer (BL image) and the image of the enhancement layer (EL image), and generates an MP4 file storing encoded data of each layer obtained.
  • BL image base layer
  • EL image enhancement layer
  • MPD MPD which controls distribution of the MP4 file.
  • the file generation apparatus 100 includes a base layer coding unit 101, an enhancement layer coding unit 102, an MP4 file generation unit 103, and an MPD generation unit 104.
  • the base layer coding unit 101 codes the input base layer image (BL image) according to a predetermined coding method (for example, HEVC) to generate base layer coded data.
  • the base layer coding unit 101 supplies the generated coded data (HEVC) of the base layer to the MP4 file generation unit 103.
  • the base layer coding unit 101 supplies the image (for example, the decoded image) of the base layer to the enhancement layer coding unit 102 as a reference image.
  • the base layer coding unit 101 also supplies coding information, which is information related to coding, to the enhancement layer coding unit 102.
  • the enhancement layer coding unit 102 encodes the input enhancement layer image (EL image) according to a predetermined coding scheme (for example, SHVC), and generates enhancement layer coded data. At this time, the enhancement layer coding unit 102 performs inter-layer prediction using the reference image and the coding information supplied from the base layer coding unit 101. This makes it possible to suppress a reduction in coding efficiency.
  • the enhancement layer coding unit 102 supplies the generated encoded data (SHVC) of the enhancement layer to the MP4 file generation unit 103.
  • the MP4 file generation unit 103 stores the coded data (HEVC) of the base layer supplied from the base layer coding unit 101 and the coded data (SHVC) of the enhancement layer supplied from the enhancement layer coding unit 102. Create a file (MP4 file) to The MP4 file generation unit 103 stores the base layer coded data (HEVC) and the enhancement layer coded data (SHVC) in different tracks of the MP4 file. The MP4 file generation unit 103 outputs the generated MP4 file. Also, the MP4 file generation unit 103 supplies the generated MP4 file to the MPD generation unit 104.
  • HEVC coded data
  • SHVC enhancement layer coded data
  • the MPD generation unit 104 generates an MPD for controlling the delivery of the MP4 file supplied from the MP4 file generation unit 103.
  • the MPD generation unit 104 outputs the generated MPD.
  • the MP4 file generation unit 103 of the file generation apparatus 100 is, for example, as shown in FIGS. 15 and 16 as an MP4 file storing encoded data of base layer (HEVC) and encoded data of enhancement layer (SHVC). Generate MP4 files of various configurations.
  • HEVC base layer
  • SHVC enhancement layer
  • the MP4 file generation unit 103 is configured to set information of the entire base layer, information of each tile of the image of the base layer, information of the entire enhancement layer, and information of each tile of the image of the enhancement layer. Create a track to store each of the information. Also, in this case, the MP4 file generation unit 103 converts each track into an MP4 file.
  • the MP4 file generation unit 103 stores, for the base layer, information of the MP4 file (MP4 file) storing the track 1 (Track 1) storing information of the entire base layer, and tile 1 (tile 1) of the image of the base layer.
  • MP4 file (MP4 file) storing track 2 (Track 2) to be recorded
  • MP4 file (MP4 file) storing track 3 (Track 3) storing information of tile 2 (tile 2) of the image of base layer, image of base layer
  • a file (MP4 file) is generated (FIG. 15).
  • the MP4 file generation unit 103 stores information of the MP4 file (MP4 file) storing the track 6 (Track 6) storing information on the entire enhancement layer, and tile 1 (tile 1) of the image of the enhancement layer.
  • MP4 file (MP4 file) storing track 7 (Track 7) to be stored
  • MP4 file (MP4 file) storing track 8 (Track 8) storing information of tile 2 (tile 2) of the image of the enhancement layer
  • enhancement layer Store MP4 file (MP4 file) storing track 9 (Track 9) storing information of tile 3 (tile 3) of the image
  • An MP4 file (MP4 file) is generated (FIG. 16).
  • identification information for identifying the tile in the base layer as tile region group entry (TileRegionGroupEntry), the horizontal position (offset) of the tile, the vertical position (offset) of the tile, The horizontal size (width) of the tile, the vertical size (height) of the tile, and the like are set.
  • these tracks store tiles of the enhancement layer by making the coding information of each track storing the tiles of the enhancement layer different from the coding information of each track storing the tiles of the base layer It can identify that it is information.
  • identification information for identifying the tile in the enhancement layer is set.
  • tile position in the horizontal direction (offset), and position (offset) in the vertical direction of the tile as tile region group entries (TileRegionGroupEntry),
  • ileRegionGroupEntry The horizontal size (width) of the tile, the vertical size (height) of the tile, and the like are set.
  • the MP4 file generation unit 103 can control distribution for each tile not only in the base layer but also in the enhancement layer. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • step S101 the base layer encoding unit 101 encodes a base layer image.
  • step S102 the MP4 file generation unit 103 generates an extractor track of the base layer and converts it into an MP4 file.
  • step S103 the MP4 file generation unit 103 generates a sample entry in the track of the extractor of the base layer.
  • step S104 the MP4 file generation unit 103 generates a track of each tile of the base layer and converts it into an MP4 file.
  • step S105 the MP4 file generation unit 103 generates a tile region group entry in the track of each tile of the base layer.
  • step S106 the MP4 file generation unit 103 generates a sample entry in the track of each tile of the base layer.
  • step S107 the MP4 file generation unit 103 generates, in the track of the extractor of the base layer, the track reference indicating the track of each tile of the same layer.
  • step S108 the MP4 file generation unit 103 generates, on the track of each tile of the base layer, a track reference indicating the track of the extractor of the same layer.
  • step S109 the enhancement layer encoding unit 102 performs inter-layer prediction with reference to the reference image of the base layer as necessary, and encodes the enhancement layer image.
  • step S110 the MP4 file generation unit 103 generates a track of an extractor of the enhancement layer and converts it into an MP4 file.
  • step S111 the MP4 file generation unit 103 generates a sample entry in the track of the extractor of the enhancement layer.
  • step S112 the MP4 file generation unit 103 generates a track of each tile of the enhancement layer and converts it into an MP4 file.
  • step S113 the MP4 file generation unit 103 generates a tile region group entry in the track of each tile of the enhancement layer.
  • step S114 the MP4 file generation unit 103 generates a sample entry in the track of each tile of the enhancement layer.
  • step S115 the MP4 file generation unit 103 generates, in the track of the extractor of the enhancement layer, the track reference indicating the track of each tile of the same layer.
  • step S116 the MP4 file generation unit 103 generates, on the track of each tile of the enhancement layer, a track reference indicating the track of the extractor of the same layer.
  • step S117 the MP4 file generation unit 103 generates a track reference indicating the track of the extractor of the base layer in the track of the extractor of the enhancement layer.
  • step S118 the MP4 file generation unit 103 outputs each MP4 file generated as described above.
  • the file generation apparatus 100 can generate an MP4 file having a configuration as shown in FIG. 15 and FIG. 16, and not only in the base layer but also in the enhancement layer. You can control the distribution for each tile. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD generation unit 104 of the file generation device 100 generates, for example, an MPD having a configuration as shown in FIGS. 18 and 19 from the MP4 file generated by the MP4 file generation unit 103 as described above.
  • the MPD generation unit 104 can generate information of the entire base layer, information of each tile of the image of the base layer, information of the entire enhancement layer, and information of each tile of the image of the enhancement layer. Generate metadata including Also, in this case, since MP4 files are created for each track, the MPD generation unit 104 sets an adaptation set (AdaptationSet) for each MP4 file (track) and sets an MP4 file for each segment. (sign up.
  • AdaptationSet adaptation set
  • the MPD generation unit 104 sets an adaptation set for storing information of the entire base layer, sets a representation (Representation) under the adaptation set, sets a segment under the adaptation, and sets the segment Register the MP4 file (Bl_bs.mp4) storing information of the entire base layer.
  • associationType "scal”>
  • the MPD generation unit 104 sets an adaptation set storing information of tile 1 (tile 1) of the image of the base layer, sets a representation lower than the adaptation set, sets a segment lower than the adaptation set,
  • the MP4 file (Bl_tile1.mp4) storing information of tile 1 of the image of the base layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set storing information of tile 2 (tile 2) of the image of the base layer, sets a representation lower than the adaptation set, sets a segment lower than the adaptation set,
  • the MP4 file (Bl_tile2.mp4) storing information of tile 2 of the image of the base layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set storing information of tile 3 (tile 3) of the image of the base layer, sets a representation below the adaptation set, sets a segment below the adaptation set,
  • the MP4 file (Bl_tile3.mp4) storing information of tile 3 of the image of the base layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set storing information of tile 4 (tile 4) of the image of the base layer, sets a representation below the adaptation set, sets a segment below the adaptation set, In the segment, an MP4 file (Bl_tile4.mp4) storing information of tile 4 of the image of the base layer is registered.
  • the MPD generation unit 104 sets an adaptation set for storing information on the entire enhancement layer, sets a representation below the adaptation set, sets a segment below the adaptation set, and sets the segment to that segment. Register the MP4 file (El_bs.mp4) that stores the information.
  • the MPD generation unit 104 sets an adaptation set storing information of tile 1 (tile 1) of the image of the enhancement layer, sets a representation lower than the adaptation set, sets a segment lower than the adaptation set,
  • the MP4 file (el_tile1.mp4) storing information of tile 1 of the image of the enhancement layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set for storing information of tile 2 (tile 2) of the image of the enhancement layer, sets a representation below the adaptation set, and sets a segment below the adaptation set,
  • the MP4 file (el_tile2.mp4) storing information of tile 2 of the image of the enhancement layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set for storing information of tile 3 (tile 3) of the image of the enhancement layer, sets a representation below the adaptation set, sets a segment below the adaptation set,
  • the MP4 file (el_tile3.mp4) storing information of tile 3 of the image of the enhancement layer is registered in the segment.
  • the MPD generation unit 104 sets an adaptation set storing information of tile 4 (tile 4) of the image of the enhancement layer, sets a representation lower than the adaptation set, sets a segment lower than the adaptation set,
  • the MP4 file (el_tile4.mp4) storing information of tile 4 of the image of the enhancement layer is registered in the segment.
  • association information of representations belonging to these adaptation sets refers to "el_bs" and indicates that the type of reference is "tbas”. That is, from the adaptation set of each tile of the enhancement layer, the adaptation set (el_bs) of the information of the entire enhancement layer can be referenced, not the adaptation set of the information of the entire base layer (bl_bs).
  • the MPD generation unit 104 can control distribution for each tile not only in the base layer but also in the enhancement layer by generating the MPD having such a configuration. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the base layer encoding unit 101 encodes a base layer image in step S121 of FIG.
  • step S122 the enhancement layer encoding unit 102 performs inter-layer prediction with reference to the reference image of the base layer as necessary, and encodes the enhancement layer image.
  • step S123 the MP4 file generation unit 103 generates an MP4 file storing encoded data of the base layer and encoded data of the enhancement layer. Since this process is the same as the MP4 file generation process described with reference to the flowchart of FIG. 17, the description thereof is omitted.
  • step S124 the MPD generation unit 104 generates an adaptation set of a base layer extractor.
  • step S125 the MPD generation unit 104 sets coding information in the adaptation set of the extractor of the base layer.
  • step S126 the MPD generation unit 104 generates a base layer extractor representation.
  • step S127 the MPD generation unit 104 sets identification information in the representation of the extractor of the base layer.
  • step S1208 the MPD generation unit 104 sets association information (association information) with each tile of the base layer in the representation of the extractor of the base layer.
  • step S129 the MPD generation unit 104 generates a base layer extractor segment.
  • step S130 the MPD generation unit 104 generates an adaptation set of each tile of the base layer.
  • step S131 the MPD generation unit 104 sets coding information in the adaptation set of each tile of the base layer.
  • step S132 the MPD generation unit 104 sets essential properties in the adaptation set of each tile of the base layer.
  • step S133 the MPD generation unit 104 generates a representation of each tile of the base layer.
  • step S134 the MPD generation unit 104 sets identification information in the representation of each tile of the base layer.
  • step S135 the MPD generation unit 104 sets association information (association information) with the extractor of the base layer in the representation of each tile of the base layer.
  • step S136 the MPD generation unit 104 generates a segment of each tile of the base layer.
  • step S141 of FIG. 21 the MPD generation unit 104 generates an adaptation set of extractors of the enhancement layer.
  • step S142 the MPD generation unit 104 sets coding information in the adaptation set of the extractor of the enhancement layer.
  • step S143 the MPD generation unit 104 sets association information (association information) with the extractor of the base layer in the adaptation set of the extractor of the enhancement layer.
  • step S144 the MPD generation unit 104 generates a representation of the extractor of the enhancement layer.
  • step S145 the MPD generation unit 104 sets identification information in the representation of the extractor of the enhancement layer.
  • step S146 the MPD generation unit 104 sets the association information (association information) with each tile of the enhancement layer and the association information (association information) with the extractor of the base layer in the representation of the extractor of the enhancement layer. Do.
  • step S147 the MPD generation unit 104 generates an extractor segment of the enhancement layer.
  • step S148 the MPD generation unit 104 generates an adaptation set of each tile of the enhancement layer.
  • step S149 the MPD generation unit 104 sets encoding information in the adaptation set of each tile of the enhancement layer.
  • step S150 the MPD generation unit 104 sets essential properties in the adaptation set of each tile of the enhancement layer.
  • step S151 the MPD generation unit 104 generates a representation of each tile of the enhancement layer.
  • step S152 the MPD generation unit 104 sets identification information in the representation of each tile of the enhancement layer.
  • step S153 the MPD generation unit 104 sets association information (association information) with the extractor of the base layer in the representation of each tile of the enhancement layer.
  • step S154 the MPD generation unit 104 generates a segment of each tile of the enhancement layer.
  • step S155 the MPD generation unit 104 outputs the MPD generated as described above.
  • the file generation apparatus 100 can generate an MPD having a configuration as shown in FIG. 18 and FIG. 19, and tiles are generated not only in the base layer but also in the enhancement layer. It is possible to control the delivery every time. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • FIG. 22 is a block diagram illustrating an exemplary main configuration of a file reproduction device according to an embodiment of an information processing device to which the present technology is applied.
  • the file reproduction device 200 reproduces the MP4 file and MPD generated as described above by the file generation device 100 of FIG. 14 and generates a decoded image of one or both of the base layer and the enhancement layer. , Output device.
  • the file reproduction device 200 includes an MPD analysis unit 201, an MP4 file reproduction unit 202, a base layer decoding unit 203, and an enhancement layer decoding unit 204.
  • the file reproduction apparatus 200 of FIG. 22 reproduces the input MP4 file by executing the MP4 file reproduction process, and generates a decoded image of an arbitrary layer.
  • An example of the flow of the MP4 file reproduction process will be described with reference to the flowchart of FIG.
  • the MP4 file reproduction unit 202 determines in step S171 whether or not to reproduce the base layer. If it is determined that the base layer is to be reproduced, the process proceeds to step S172.
  • step S172 the MP4 file reproducing unit 202 acquires an MP4 file of a base layer extractor.
  • step S173 the MP4 file reproducing unit 202 acquires the MP4 file of the tile to be reproduced based on the track reference of the MP4 file.
  • step S174 the MP4 file reproducing unit 202 extracts encoded data of the sample to be processed from the acquired MP4 file.
  • step S175 the base layer decoding unit 203 decodes the encoded data to generate a decoded image (BL image) of the base layer.
  • step S176 the base layer decoding unit 203 outputs a decoded image (BL image) of the base layer.
  • BL image decoded image
  • step S171 When it is determined in step S171 that the enhancement layer is to be decoded, the process proceeds to step S178.
  • step S178 the MP4 file reproducing unit 202 determines whether the base layer has been acquired. If it is determined that it has not been acquired, the process proceeds to step S179.
  • steps S179 to S183 are performed in the same manner as the processes of steps S172 to S176.
  • the process proceeds to step S184.
  • step S178 determines that the image of the base layer is already acquired, the process proceeds to step S184.
  • step S184 the MP4 file reproducing unit 202 acquires the MP4 file of the extractor of the enhancement layer.
  • step S185 the MP4 file reproducing unit 202 acquires the MP4 file of the tile to be reproduced based on the track reference of the MP4 file.
  • step S186 the MP4 file reproducing unit 202 extracts encoded data of the sample to be processed from the acquired MP4 file.
  • step S187 the enhancement layer decoding unit 204 performs inter-layer prediction using the reference image and coding information of the base layer as necessary, decodes the coded data, and decodes the decoded image (EL image) of the enhancement layer.
  • step S188 the enhancement layer decoding unit 204 outputs a decoded image (EL image) of the enhancement layer.
  • EL image decoded image
  • step S189 the MP4 file reproducing unit 202 determines whether to end the reproduction. If it is determined that the process does not end, the process returns to step S171, and the subsequent processes are repeated.
  • step S171 to step S189 When it is determined that the process of step S171 to step S189 is appropriately performed for each sample and the reproduction is ended in step S189, the MP4 file reproduction process is ended.
  • the file playback apparatus 200 can play back the MP4 file having the configuration as shown in FIG. 15 and FIG. 16, and not only in the base layer but also in the enhancement layer. It is possible to realize distribution control for each tile. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the file reproduction apparatus 200 of FIG. 22 reproduces the input MPD by executing the MPD reproduction process, and generates a decoded image of an arbitrary layer.
  • An example of the flow of the MPD reproduction process will be described with reference to the flowchart of FIG.
  • the MPD analysis unit 201 acquires the MPD in step S201.
  • step S202 the MPD analysis unit 201 determines whether to reproduce the base layer. If it is determined that the base layer is to be reproduced, the process proceeds to step S203.
  • step S203 the MPD analysis unit 201 specifies the adaptation set of the tile to be reproduced of the base layer.
  • step S204 the MPD analysis unit 201 causes the MP4 file reproduction unit 202 to acquire the MP4 file specified for the segment belonging to the adaptation set.
  • step S205 the MP4 file reproducing unit 202 and the base layer decoding unit 203 reproduce the acquired MP4 file to obtain a decoded image of the tile of the base layer.
  • each process of step S172 to step S176 of FIG. 23 is performed.
  • the process of step S205 ends the process proceeds to step S211.
  • step S202 When it is determined in step S202 that the enhancement layer is to be reproduced, the process proceeds to step S206.
  • step S206 and step S207 are performed similarly to each process of step S203 and step S204.
  • step S208 the MPD analysis unit 201 specifies the adaptation set of the tile to be reproduced of the enhancement layer.
  • step S209 the MPD analysis unit 201 causes the MP4 file reproduction unit 202 to acquire the MP4 file specified for the segment belonging to the adaptation set.
  • step S210 the MP4 file reproducing unit 202 to the enhancement layer decoding unit 204 reproduce the acquired MP4 file to obtain a decoded image of the tile of the enhancement layer.
  • each process of step S178 to step S188 of FIG. 23 is performed.
  • the process of step S210 ends, the process proceeds to step S211.
  • step S211 the MPD analysis unit 201 determines whether to end the reproduction. If it is determined that the process does not end, the process returns to step S202, and the subsequent processes are repeated.
  • step S202 to step S211 When it is determined that the process of step S202 to step S211 is appropriately performed for each sample and the reproduction is ended in step S211, the MPD reproduction process ends.
  • the file reproduction apparatus 200 can reproduce an MPD having a configuration as shown in FIG. 18 and FIG. 19, and tiles are generated not only in the base layer but also in the enhancement layer.
  • Each delivery control can be realized. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • Second embodiment> ⁇ Reference to base layer>
  • Each tile of the enhancement layer may be able to refer to each tile of the base layer.
  • 25 and 26 show other configuration examples of the MP4 file.
  • a track reference that refers to the base layer is added to the track of each tile of the enhancement layer.
  • the track of the corresponding tile of the base layer can be referenced.
  • step S221 to step S236 of FIG. 27 are performed in the same manner as the processes of step S101 to step S116 of FIG.
  • step S237 the MP4 file generation unit 103 generates, in the track of each tile of the enhancement layer, a track reference indicating the track of the corresponding tile of the base layer.
  • step S238 and step S239 of FIG. 27 are performed in the same manner as the processes of step S117 and step S118 of FIG.
  • the file generation apparatus 100 can generate an MP4 file having a configuration as shown in FIG. 25 and FIG. 26, and not only in the base layer but also in the enhancement layer. You can control the distribution for each tile. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD generation unit 104 of the file generation device 100 generates, for example, an MPD having a configuration as shown in FIGS. 28 and 29 from the MP4 file generated by the MP4 file generation unit 103 as described above.
  • association information that refers to the base layer is added to the representations of each tile of the enhancement layer.
  • the following association information indicating the reference relationship with the adaptation set of tile 1 of the base layer is set.
  • association information indicating the reference relation with the adaptation set of tile 2 of the base layer is set in the representation of tile 2 of the enhancement layer.
  • the adaptation set of the tile of the enhancement layer can refer to the adaptation set of the corresponding tile of the base layer.
  • step S251 to step S266 of FIG. 30 are performed in the same manner as the processes of step S121 to step S136 of FIG.
  • step S271 to step S282 of FIG. 31 is performed similarly to each process of step S141 to step S152 of FIG.
  • step S ⁇ b> 283 of FIG. 31 the MPD generation unit 104 sets, in the representation of each tile of the enhancement layer, association information (association information) with the corresponding tile of the base layer.
  • step S284 to step S286 of FIG. 31 is performed similarly to each process of step S153 to step S155 of FIG.
  • the file generation apparatus 100 can generate an MPD having a configuration as shown in FIG. 28 and FIG. 29, and tiles are generated not only in the base layer but also in the enhancement layer. It is possible to control the delivery every time. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MP4 file reproduction process and the MPD reproduction process can be performed in the same manner as in the first embodiment, and thus the description thereof is omitted.
  • Third embodiment> ⁇ File conversion for each layer> 32 and 33 show other configuration examples of the MP4 file.
  • the MP4 file may be filed, for example, layer by layer.
  • each track (track 1 to track 5) storing base layer information is stored in one MP4 file.
  • each track (track 6 to track 10) storing information of the enhancement layer is stored in one MP4 file.
  • the internal configuration of each track is the same as that of the second embodiment (FIGS. 25 and 26). Of course, the internal configuration of each track may be the same as in the first embodiment (FIGS. 15 and 16).
  • step S301 is performed in the same manner as the process of step S221 of FIG.
  • step S302 the MP4 file generation unit 103 generates a track of a base layer extractor.
  • step S303 is performed similarly to the process of step S223 of FIG.
  • step S304 the MP4 file generation unit 103 generates a track of each tile of the base layer.
  • steps S305 to S308 are performed in the same manner as the processes of steps S225 to S228 of FIG.
  • step S309 the MP4 file generation unit 103 puts together the tracks of the base layer into a file. That is, each track of the base layer is stored in one file.
  • step S310 is performed in the same manner as the process of step S229 of FIG.
  • step S311 the MP4 file generation unit 103 generates an extractor track of the enhancement layer.
  • step S312 is performed in the same manner as the process of step S231 of FIG.
  • step S313 the MP4 file generation unit 103 generates a track of each tile of the enhancement layer.
  • steps S314 to S319 are performed in the same manner as the processes of steps S233 to S238 of FIG.
  • step S320 the MP4 file generation unit 103 puts together the tracks of the enhancement layer into a file. That is, each track of the enhancement layer is stored in one file.
  • step S321 is performed in the same manner as the process of step S239 of FIG.
  • the file generation apparatus 100 can generate an MP4 file having a configuration as shown in FIG. 32 and FIG. 33, and not only in the base layer but also in the enhancement layer. You can control the distribution for each tile. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD generation unit 104 of the file generation device 100 generates, for example, an MPD having a configuration as shown in FIGS. 35 and 36 from the MP4 file generated by the MP4 file generation unit 103 as described above.
  • the adaptation set is created for each layer also in the MPD.
  • a representation including information of the entire base layer is generated below it, and the MP4 file (bl.mp4) of the base layer is set in the segment below it. (be registered. Information of each tile is set in a sub-representation under the representation.
  • the configuration of the enhancement layer is also similar to that of FIG. 36.
  • steps S341 to S343 are performed in the same manner as the processes of steps S251 to S253 of FIG.
  • step S344 the MPD generation unit 104 generates an adaptation set of the base layer.
  • step S345 the MPD generation unit 104 generates a base layer representation.
  • step S346 the MPD generation unit 104 generates a base layer segment.
  • step S347 the MPD generation unit 104 generates a subrepresentation of each tile of the base layer.
  • step S348 the MPD generation unit 104 sets coding information in the sub-representation of each tile of the base layer.
  • step S349 the MPD generation unit 104 sets level information in the sub-representation of each tile of the base layer.
  • step S350 the MPD generation unit 104 sets essential properties in the subrepresentation of each tile of the base layer.
  • step S351 the MPD generation unit 104 generates an adaptation set of the enhancement layer.
  • step S352 the MPD generation unit 104 generates a representation of the enhancement layer.
  • step S353 the MPD generation unit 104 generates a segment of the enhancement layer.
  • step S354 the MPD generation unit 104 generates a subrepresentation of each tile of the enhancement layer.
  • step S355 the MPD generation unit 104 sets coding information in the sub-representation of each tile of the enhancement layer.
  • step S356 the MPD generation unit 104 sets level information in the sub-representation of each tile of the enhancement layer.
  • step S357 the MPD generation unit 104 sets essential properties in the subrepresentation of each tile of the enhancement layer.
  • step S358 the MPD generation unit 104 outputs the MPD generated as described above.
  • the file generation apparatus 100 can generate an MPD having a configuration as shown in FIG. 35 and FIG. 36, and tiles can be generated not only in the base layer but also in the enhancement layer. It is possible to control the delivery every time. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MP4 file reproduction unit 202 determines in step S371 whether or not to reproduce the base layer. If it is determined that the base layer is to be reproduced, the process proceeds to step S372.
  • step S372 the MP4 file reproducing unit 202 acquires the MP4 file of the base layer.
  • step S373 the MP4 file reproducing unit 202 specifies the track of the tile to be reproduced based on the track reference of the MP4 file.
  • step S374 the MP4 file reproducing unit 202 extracts encoded data of the sample to be processed from the identified track.
  • step S 375 the base layer decoding unit 203 decodes the encoded data to generate a decoded image (BL image) of the base layer.
  • step S376 the base layer decoding unit 203 outputs a decoded image (BL image) of the base layer.
  • BL image decoded image
  • step S371 When it is determined in step S371 that the enhancement layer is to be decoded, the process proceeds to step S377.
  • step S377 the MP4 file reproducing unit 202 determines whether the base layer has been acquired. If it is determined that the process has not been acquired, the process proceeds to step S378.
  • steps S378 to S382 are performed in the same manner as the processes of steps S372 to S376.
  • the process proceeds to step S383. If it is determined in step S377 that the image of the base layer has been acquired, the process proceeds to step S383.
  • step S383 the MP4 file reproducing unit 202 acquires the MP4 file of the enhancement layer.
  • step S384 the MP4 file reproducing unit 202 acquires the track of the tile to be reproduced based on the track reference of the MP4 file.
  • step S385 the MP4 file reproducing unit 202 extracts encoded data of a sample to be processed from the identified track.
  • step S 386 the enhancement layer decoding unit 204 performs inter-layer prediction using the reference image and coding information of the base layer as necessary, decodes the coded data, and decodes the decoded image (EL image) of the enhancement layer.
  • step S387 the enhancement layer decoding unit 204 outputs a decoded image (EL image) of the enhancement layer.
  • EL image decoded image
  • step S388 the MP4 file reproducing unit 202 determines whether to end the reproduction. If it is determined that the process does not end, the process returns to step S371, and the subsequent processes are repeated.
  • step S371 to step S388 When it is determined that the process of step S371 to step S388 is appropriately performed for each sample and the reproduction is ended in step S388, the MP4 file reproduction process is ended.
  • the file reproduction apparatus 200 can reproduce the MP4 file having the configuration as shown in FIG. 32 and FIG. 33, and not only in the base layer but also in the enhancement layer. And tile-by-tile delivery control can be realized. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD analysis unit 201 acquires the MPD in step S401.
  • step S402 the MPD analysis unit 201 determines whether to reproduce the base layer. If it is determined that the base layer is to be reproduced, the process proceeds to step S403.
  • step S403 the MPD analysis unit 201 identifies an adaptation set of the base layer.
  • step S404 the MPD analysis unit 201 causes the MP4 file reproduction unit 202 to acquire the MP4 file specified for the segment belonging to the adaptation set.
  • step S405 the MPD analysis unit 201 identifies the sub-representation of the tile to be reproduced.
  • step S406 the MP4 file reproducing unit 202 and the base layer decoding unit 203 reproduce the track corresponding to the specified supplemental presentation of the acquired MP4 file, and obtains the decoded image of the tile of the base layer.
  • each process of step S372 to step S376 of FIG. 38 is performed.
  • the process of step S406 ends, the process proceeds to step S414.
  • step S402 When it is determined in step S402 that the enhancement layer is to be reproduced, the process proceeds to step S407.
  • steps S407 to S409 are performed in the same manner as the processes of steps S403 and S405.
  • step S410 the MPD analysis unit 201 identifies the adaptation set of the enhancement layer.
  • step S411 the MPD analysis unit 201 causes the MP4 file reproduction unit 202 to acquire the MP4 file specified for the segment belonging to the adaptation set.
  • step S412 the MPD analysis unit 201 identifies the sub-representation of the tile to be reproduced.
  • step S413 the MP4 file reproducing unit 202 to the enhancement layer decoding unit 204 reproduce the track corresponding to the specified supplemental presentation of the acquired MP4 file, and obtain the decoded image of the tile of the enhancement layer.
  • each process of step S377 to step S387 of FIG. 38 is performed.
  • the process of step S413 ends, the process proceeds to step S414.
  • step S414 the MPD analysis unit 201 determines whether to end the reproduction. If it is determined that the process does not end, the process returns to step S402, and the subsequent processes are repeated.
  • step S402 to step S414 When it is determined that the process of step S402 to step S414 is appropriately performed for each sample and the reproduction is ended in step S414, the MPD reproduction process ends.
  • the file playback apparatus 200 can play back an MPD having a configuration as shown in FIG. 35 and FIG. 36, and tiles are generated not only in the base layer but also in the enhancement layer.
  • Each delivery control can be realized. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • FIGS. 40 and 41 show other configuration examples of the MP4 file.
  • the MP4 file may, for example, file all layers into one file.
  • the internal configuration of each track is the same as that of the second embodiment (FIGS. 25 and 26).
  • the internal configuration of each track may be the same as in the first embodiment (FIGS. 15 and 16).
  • steps S431 to S448 are performed in the same manner as the processes of steps S301 to S308 and steps S310 to S319 of FIG.
  • step S449 the MP4 file generation unit 103 puts together the tiles (each track) of all the layers into a file (generates one MP4 file including all the tracks).
  • step S450 the MP4 file generation unit 103 outputs the generated MP4 file.
  • the file generation apparatus 100 can generate an MP4 file having a configuration as shown in FIG. 40 and FIG. 41, and not only in the base layer but also in the enhancement layer. You can control the distribution for each tile. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD generation unit 104 of the file generation device 100 generates, for example, an MPD having a configuration as shown in FIGS. 43 and 44 from the MP4 file generated by the MP4 file generation unit 103 as described above.
  • steps S471 to S473 are performed in the same manner as the processes of steps S251 to S253 of FIG.
  • step S474 the MPD generation unit 104 generates an adaptation set common to all layers.
  • step S475 the MPD generation unit 104 generates a representation common to all layers.
  • step S476 the MPD generation unit 104 generates a segment common to all layers.
  • step S477 the MPD generation unit 104 generates a subrepresentation of each tile of each layer.
  • step S4708 the MPD generation unit 104 sets coding information in the sub-representation of each tile of each layer.
  • step S479 the MPD generation unit 104 sets level information in the sub-representation of each tile of each layer.
  • step S480 the MPD generation unit 104 sets essential properties in the subrepresentation of each tile of each layer.
  • step S481 the MPD generation unit 104 outputs the MPD generated as described above.
  • the file generation apparatus 100 can generate an MPD having a configuration as shown in FIG. 43 and FIG. 44, and tiles can be generated not only in the base layer but also in the enhancement layer. It is possible to control the delivery every time. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MP4 file reproduction unit 202 acquires an MP4 file in step S501.
  • step S502 it is determined whether to reproduce the base layer. If it is determined that the base layer is to be reproduced, the process proceeds to step S503.
  • step S503 the MP4 file reproducing unit 202 specifies the track of the tile to be reproduced of the base layer based on the track reference of the track of the information of the entire base layer.
  • steps S504 to S506 are performed in the same manner as the processes of steps S374 to S376 of FIG.
  • step S506 ends, the process proceeds to step S516.
  • step S502 If it is determined in step S502 that the enhancement layer is to be decoded, the process proceeds to step S507.
  • step S507 the MP4 file reproducing unit 202 determines whether the base layer has been acquired. If it is determined that the process has not been acquired, the process proceeds to step S508.
  • steps S508 to S511 are performed in the same manner as the processes of steps S503 to S506.
  • the process proceeds to step S512. If it is determined in step S507 that the image of the base layer is already acquired, the process proceeds to step S512.
  • step S512 the MP4 file reproducing unit 202 acquires the track of the tile to be reproduced of the enhancement layer based on the track reference of the information track of the entire enhancement layer.
  • steps S513 to S515 are performed in the same manner as the processes of steps S385 to S387 of FIG.
  • the process of step S515 ends, the process proceeds to step S516.
  • step S5166 the MP4 file playback unit 202 determines whether to end playback. If it is determined that the process does not end, the process returns to step S501, and the subsequent processes are repeated.
  • step S501 to step S516 When it is determined that the process of step S501 to step S516 is appropriately performed for each sample and the reproduction is ended in step S516, the MP4 file reproduction process is ended.
  • the file playback apparatus 200 can play back an MP4 file having a configuration as shown in FIG. 40 and FIG. 41, and not only in the base layer but also in the enhancement layer. And tile-by-tile delivery control can be realized. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • the MPD analysis unit 201 acquires the MPD in step S531.
  • step S532 the MPD analysis unit 201 causes the MP4 file reproduction unit 202 to acquire the MP4 file specified in the segment belonging to the adaptation set common to all layers of the acquired MPD.
  • step S533 the MPD analysis unit 201 determines whether to reproduce the base layer. If it is determined that the base layer is to be played back, the process proceeds to step S534.
  • step S534 the MPD analysis unit 201 identifies the sub-representation of the tile to be reproduced.
  • step S535 the MP4 file reproducing unit 202 and the base layer decoding unit 203 reproduce the track corresponding to the specified supplemental presentation of the acquired MP4 file, and obtain the decoded image of the tile of the base layer.
  • each process of step S503 to step S506 of FIG. 46 is performed.
  • the process of step S535 ends, the process proceeds to step S538.
  • step S533 When it is determined in step S533 that the enhancement layer is to be reproduced, the process proceeds to step S536.
  • step S536 the MPD analysis unit 201 identifies the sub-representation of the tile to be reproduced.
  • step S537 the MP4 file reproducing unit 202 to the enhancement layer decoding unit 204 reproduce the track corresponding to the specified supplemental presentation of the acquired MP4 file, and obtain the decoded image of the tile of the enhancement layer.
  • each process of step S507 to step S515 of FIG. 46 is performed.
  • the process of step S537 ends the process proceeds to step S538.
  • step S538 the MPD analysis unit 201 determines whether to end the reproduction. If it is determined that the process does not end, the process returns to step S531, and the subsequent processes are repeated.
  • step S531 to step S538 When it is determined that the process of step S531 to step S538 is appropriately performed for each sample and the reproduction is ended in step S538, the MPD reproduction process is ended.
  • the file playback apparatus 200 can play back an MPD having a configuration as shown in FIG. 43 and FIG. 44, and tiles are generated not only in the base layer but also in the enhancement layer.
  • Each delivery control can be realized. That is, in image distribution, it is possible to adaptively provide partial images (for example, tiles) of the images of the respective layers of the image of the plurality of layers.
  • FIG. 48 is a diagram illustrating an example of a main configuration of a delivery system to which the present technology is applied.
  • the delivery system 300 shown in FIG. 48 is a system for delivering still images and moving images.
  • the distribution system 300 includes a distribution data generation device 301, a distribution server 302, a network 303, a terminal device 304, and a terminal device 305.
  • the distribution data generation apparatus 301 generates distribution data of a distribution format from data of a still image or moving image to be distributed.
  • the distribution data generation apparatus 301 supplies the generated distribution data to the distribution server 302.
  • the distribution server 302 stores and manages distribution data generated by the distribution data generation apparatus 301 in a storage unit or the like, and provides a distribution service of the distribution data to the terminal device 304 or the terminal device 305 via the network 303. Do.
  • the network 303 is a communication network which is a communication medium.
  • the network 303 may be any communication network, may be a wired communication network, may be a wireless communication network, or both of them.
  • it may be a wired LAN (Local Area Network), a wireless LAN, a public telephone network, a wide area communication network for wireless mobiles such as a so-called 3G circuit or 4G circuit, or the Internet, or a combination thereof. May be
  • the network 303 may be a single communication network or a plurality of communication networks.
  • a part or all of the network 303 is configured by a communication cable of a predetermined standard such as, for example, a universal serial bus (USB) cable or a high-definition multimedia interface (HDMI) cable. It may be done.
  • a communication cable of a predetermined standard such as, for example, a universal serial bus (USB) cable or a high-definition multimedia interface (HDMI) cable. It may be done.
  • USB universal serial bus
  • HDMI high-definition multimedia interface
  • the distribution server 302, the terminal device 304, and the terminal device 305 are connected to the network 303, and can communicate with each other.
  • the connection method to these networks 303 is arbitrary.
  • these devices may be connected to the network 303 by wired communication or may be connected by wireless communication.
  • these devices may be connected to the network 303 via any communication device (communication facility) such as an access point, relay device, base station, and the like.
  • the terminal device 304 and the terminal device 305 are any electronic devices having a communication function such as, for example, a portable telephone, a smartphone, a tablet computer, and a notebook computer.
  • the terminal device 304 or the terminal device 305 requests the distribution server 302 to distribute the distribution file, for example, based on an instruction from the user or the like.
  • the distribution server 302 transmits the requested distribution data to the request source.
  • the terminal device 304 or the terminal device 305 that has requested distribution receives and reproduces the distribution data.
  • the present technology described in each embodiment is applied as the distribution data generation apparatus 301. That is, the file generation apparatus 100 described above is used as the distribution data generation apparatus 301.
  • the present technology described in each embodiment is applied as the terminal device 304 or the terminal device 305. That is, the file reproduction device 200 described above is used as the terminal device 304 or the terminal device 305.
  • the distribution data generation device 301, the terminal device 304, and the terminal device 305 can obtain the same effects as those of the above-described embodiments. That is, the distribution system 300 can adaptively provide a partial image of an image of each layer of an image composed of a plurality of layers. For example, switching of layers such as the use case described in the first embodiment Can be realized.
  • the series of processes described above can be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 49 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 401 a read only memory (ROM) 402, and a random access memory (RAM) 403 are mutually connected via a bus 404.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • An input / output interface 410 Also connected to the bus 404 is an input / output interface 410.
  • An input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415 are connected to the input / output interface 410.
  • the input unit 411 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 412 includes, for example, a display, a speaker, and an output terminal.
  • the storage unit 413 includes, for example, a hard disk, a RAM disk, and a non-volatile memory.
  • the communication unit 414 includes, for example, a network interface.
  • the drive 415 drives removable media 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads the program stored in the storage unit 413 into the RAM 403 via the input / output interface 410 and the bus 404 and executes the program. Processing is performed.
  • the RAM 403 also stores data necessary for the CPU 401 to execute various processes.
  • the program executed by the computer (CPU 401) can be recorded and applied to, for example, a removable medium 421 as a package medium or the like.
  • the program can be installed in the storage unit 413 via the input / output interface 410 by attaching the removable media 421 to the drive 415.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 414 and installed in the storage unit 413.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in advance in the ROM 402 or the storage unit 413.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the step of describing the program to be recorded on the recording medium is not limited to processing performed chronologically in the order described, but not necessarily parallel processing It also includes processing to be executed individually.
  • processing of each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary to execute the process described above. Further, information necessary for processing may be appropriately transmitted to the device.
  • a system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the configuration described above as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units). Conversely, the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit). Further, it goes without saying that configurations other than those described above may be added to the configuration of each device (or each processing unit). Furthermore, part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology is not limited to this, and any configuration installed in a device that configures such a device or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. It can also be implemented as a unit using the module or the like, a set in which other functions are further added to the unit (that is, a part of the configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. It can also be implemented as a unit using the module or the like, a set in which other functions are further added to the unit (that is, a part of the configuration of the apparatus).
  • the present technology can also have the following configurations.
  • Information of the entire base layer of encoded data obtained by hierarchically encoding image data, information of each partial region of the image of the base layer, information of the entire enhancement layer of the encoded data, and information of the enhancement layer
  • An information processing apparatus comprising: a file generation unit configured to generate a file for storing information of each partial area of an image in mutually different tracks.
  • the file generation unit Encoding information indicating an encoding method of the base layer is stored in a track storing information of the entire base layer; Each track storing information on the partial area of the base layer stores encoding information indicating that the track stores only information on the partial area of the base layer, Coding information indicating a coding method of the enhancement layer is stored in a track storing information of the entire enhancement layer, The information processing apparatus according to (1), wherein each track storing information of the partial area of the enhancement layer stores encoding information indicating that the track stores only information of the partial area of the enhancement layer. . (3) The file generation unit The track storing information on the entire base layer stores information indicating that each track storing information on the partial area of the base layer is referred to and information indicating the type of the reference.
  • Each track storing information of the partial area of the base layer stores information indicating that the track storing information of the entire base layer is referred to and information indicating the type of the reference.
  • Information indicating that the track storing information on the entire base layer is referred to a track storing information on the entire enhancement layer, information indicating the type of the reference, and information on the partial area of the enhancement layer Storing information indicating that each track to be stored is referred to and information indicating the type of the reference;
  • information indicating referencing of the track storing information on the entire enhancement layer and information indicating the type of the reference are stored (1) or (2)
  • the information processing apparatus according to the above.
  • the file generation unit In each track storing information of the partial area of the enhancement layer, information indicating referring to a track storing information of a partial area corresponding to its own partial area of the base layer is indicated and the type of the reference The information processing apparatus according to (3), further storing information.
  • the file generation unit Storing a sample of reference information to encoded data of the partial area of the layer in each track storing information of the entire layer of each layer; The information processing apparatus according to any one of (1) to (4), wherein a sample of encoded data of the partial area is stored in each track storing information of the partial area of each layer.
  • the file generation unit The information processing apparatus according to any one of (1) to (5), wherein position information of the partial area is stored in each track storing information of the partial area of each layer. (7) The information processing apparatus according to any one of (1) to (6), wherein the file generation unit generates the file for each track. (8) The information processing apparatus according to any one of (1) to (7), wherein the file generation unit generates the file for each layer. (9) The information processing apparatus according to any one of (1) to (8), wherein the file generation unit generates a file that stores all the tracks.
  • Information of the entire base layer of encoded data obtained by hierarchically encoding image data, information of each partial region of the image of the base layer, information of the entire enhancement layer of the encoded data, and information of the enhancement layer An information processing method for generating a file for storing information of each partial area of an image in different tracks.
  • An information processing apparatus comprising: a metadata generation unit configured to generate metadata including information of each partial region of an image.
  • the information storing information on the entire base layer includes coding information indicating a coding scheme of the base layer, Each of the information of the partial region of the base layer includes coding information indicating that only the information of the partial region of the base layer is included,
  • the information on the entire enhancement layer includes coding information indicating a coding scheme of the enhancement layer,
  • the information processing apparatus according to (11), wherein each piece of information of the partial region of the enhancement layer includes coding information indicating that only the information of the partial region of the enhancement layer is included.
  • the information on the entire base layer includes information indicating that the information on the partial area of the base layer is to be referred to and information indicating the type of the reference.
  • Each of the information of the partial region of the base layer includes information indicating that information on the entire base layer is referred to and information indicating the type of the reference;
  • the information on the entire enhancement layer includes information indicating that the information on the entire base layer is referred to and information indicating the type of the reference, and information indicating that the information on the partial region of the enhancement layer is referred to and the information Contains information indicating the type of reference,
  • the information processing apparatus according to (11) or (12), wherein each piece of information of the partial region of the enhancement layer includes information indicating that information of the entire enhancement layer is to be referred to and information indicating a type of the reference.
  • the information on the partial area of the enhancement layer further includes information indicating that information on a partial area corresponding to the partial area of the base layer is referred to and information indicating the type of the reference (13)
  • the information processing apparatus according to the above.
  • the information processing apparatus according to any one of (11) to (14), wherein the information of the partial area of the base layer and the information of the partial area of the enhancement layer include positional information of the partial area .
  • the metadata generation unit Setting a file storing a sample of reference information to encoded data of the partial region of the base layer as information of the entire base layer; Setting a file storing samples of encoded data of the partial area of the base layer as information of the partial area of the base layer; Setting a file storing samples of reference information to encoded data of the partial area of the enhancement layer as information of the entire enhancement layer,
  • the information processing apparatus according to any one of (11) to (15), wherein a file storing a sample of encoded data of the partial area of the enhancement layer is set as information of the partial area of the enhancement layer.
  • the metadata generation unit Setting a file storing encoded data of the base layer above information of the entire base layer and information of the partial region of the base layer,
  • the file storing the encoded data of the enhancement layer is set above the information of the entire enhancement layer, and the information of the partial area of the enhancement layer, the information according to any one of (11) to (16) Processing unit.
  • the metadata generation unit A file storing encoded data of all layers is higher than the information of the entire base layer, the information of the partial area of the base layer, the information of the entire enhancement layer, and the information of the partial area of the enhancement layer.
  • the information processing apparatus according to any one of (11) to (17).
  • the metadata generation unit may include information of the entire base layer, information of each partial area of the image of the base layer, information of the entire enhancement layer, and information of each partial area of the image of the enhancement layer.
  • the information processing apparatus according to any one of (11) to (18), which sets different adaptation sets or different sub-representations.
  • Information of the entire base layer of encoded data obtained by hierarchically encoding image data, information of each partial region of the image of the base layer, information of the entire enhancement layer of the encoded data, and information of the enhancement layer
  • An information processing method for generating metadata including information of each partial area of an image.
  • Reference Signs List 100 file generator, 101 base layer encoder, 102 enhancement layer encoder, 103 MP4 file generator, 104 MPD generator, 200 file reproducing apparatus, 201 MPD analyzer, 202 MP4 file reproducing unit, 203 base layer decoding Unit, 204 enhancement layer decoding unit, 300 distribution system, 301 distribution data generation device, 302 distribution server, 303 network, 304 and 305 terminal device, 400 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　本技術は、複複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにする情報処理装置および方法に関する。 本技術の情報処理装置は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する。本技術は、例えば、情報処理装置、画像処理装置、画像符号化装置、または、画像復号装置等に適用することができる。

Description

情報処理装置および方法
　本技術は、情報処理装置および方法に関し、特に、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにした情報処理装置および方法に関する。
　近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　ところで、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
　また、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化等が考えられた。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
　しかしながら、従来のMPEG-DASH規格では、ビットレート（Bitrate）を切り替えるという概念しかなく、複数階層からなる画像の各階層の画像のタイル構造を利用し、任意の階層の任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。
　本技術は、このような状況に鑑みて提案されたものであり、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにすることを目的とする。
　本技術の一側面は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部を備える情報処理装置である。
　前記ファイル生成部は、前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納することができる。
　前記ファイル生成部は、前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納することができる。
　前記ファイル生成部は、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納することができる。
　前記ファイル生成部は、各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納することができる。
　前記ファイル生成部は、各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納することができる。
　前記ファイル生成部は、前記トラック毎に前記ファイルに生成することができる。
　前記ファイル生成部は、レイヤ毎に前記ファイルを生成することができる。
　前記ファイル生成部は、全てのトラックを格納するファイルを生成することができる。
　本技術の一側面は、また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する情報処理方法である。
　本技術の他の側面は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部を備える情報処理装置である。
　前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むようにすることができる。
　前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含むようにすることができる。
　前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含むようにすることができる。
　前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含むようにすることができる。
　前記メタデータ生成部は、前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定することができる。
　前記メタデータ生成部は、前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定することができる。
　前記メタデータ生成部は、全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定することができる。
　前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定することができる。
　本技術の他の側面は、また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する情報処理方法である。
　本技術の一側面においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルが生成される。
　本技術の他の側面においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータが生成される。
　本技術によれば、情報を処理することが出来る。また本技術によれば、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 MP4ファイルフォーマットの構成例を示す図である。 分割サイズの例を説明する図である。 拡張データの例を説明する図である。 階層切り替えの例を説明する図である。 階層切り替えの例を説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイル生成処理の流れの例を説明するフローチャートである。 MPDの主な構成例を示す図である。 MPDの主な構成例を示す図である。 MPD生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明する、図２０に続くフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 MP4ファイル再生処理の流れの例を説明するフローチャートである。 MPD再生処理の流れの例を説明するフローチャートである。 MP4ファイルの他の構成例を示す図である。 MP4ファイルの他の構成例を示す図である。 MP4ファイル生成処理の流れの、他の例を説明するフローチャートである。 MPDの他の構成例を示す図である。 MPDの他の構成例を示す図である。 MPD生成処理の流れの他の例を説明するフローチャートである。 MPD生成処理の流れの他の例を説明する、図３０に続くフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、他の例を説明するフローチャートである。 MPD再生処理の流れの、他の例を説明するフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、さらに他の例を説明するフローチャートである。 MPD再生処理の流れの、さらに他の例を説明するフローチャートである。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（タイル毎にファイル化する場合）
　２．第２の実施の形態（タイル毎にレイヤ間参照する場合）
　３．第３の実施の形態（レイヤ毎にファイル化する場合）
　４．第４の実施の形態（全レイヤをファイル化する場合）
　５．第５の実施の形態（配信システム）
　６．第６の実施の形態（コンピュータ）
　＜１．第１の実施の形態＞
　　＜DASH＞
　従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
　MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
　MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
　クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
　なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
　したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
　　＜タイル構造＞
　このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
　このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
　DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。
　図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。
　各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。
　このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。
　ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
　このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。
　　＜MP4ファイル＞
　上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
　また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。
　　＜MP4ファイルフォーマット＞
　次に、MP4ファイルフォーマットの概要について説明する。図９に示されるように、MPEG-DASHに準拠したMP4ファイル（MP4 file）は、ftyp、moov、およびmdatを含む。
　図９に示されるように、HEVCの各サンプル（ピクチャ）のデータは、AVデータとして、mdatに格納される。
　また、moovには、サンプル（例えばピクチャ）毎に管理情報がサンプルテーブルボックス（Sample Table Box（stbl））に格納される。
　図９に示されるように、サンプルテーブルボックス（Sample Table Box）には、サンプルディスクリプションボックス（Sample Description Box）、タイムトゥーサンプルボックス（Time To Sample Box）、サンプルサイズボックス（Sample Size Box）、サンプルトゥーチャンクボックス（Sample to Chunk Box）、チャンクオフセットボックス（Chunk Offset Box）、およびサブサンプルインフォメーションボックス（Subsample Information Box）が設置されている。
　サンプルディスクリプションボックスには、コーデックや画サイズ等に関する情報が格納される。例えば、符号化パラメータ等の情報は、このサンプルディスクリプションボックス内のHEVCサンプルエントリ（HEVC sample entry）に格納される。
　タイムトゥーサンプルボックスには、サンプルの時刻に関する情報が格納される。サンプルサイズボックスには、サンプルのサイズに関する情報が格納される。サンプルトゥーチャンクボックスには、サンプルのデータの位置に関する情報が格納される。チャンクオフセットボックスには、データのオフセットに関する情報が格納される。サブサンプルインフォメーションボックスには、サブサンプルに関する情報が格納される。
　　＜分割方法＞
　タイル（Tile）は、図１０のＡの例のように全体画像を均等に分割するものであってもよいし、図１０のＢの例のように全体画像を不均等に分割するものであってもよい。つまり、全体画像を構成する各タイル画像の画像サイズは互いに同一であってもよいし、異なっていてもよい。
　　＜アプリケーション＞
　このようなタイル（Tile）構造を利用するアプリケーションとして、例えば、表示させる部分画像のサイズを制御するアプリケーションが考えられる。
　図１０のＡに示される全体画像１０はタイル化され、互いに同じ大きさの複数のタイル画像１１に分割することができるとする。例えば、この画像をディスプレイのサイズが小さいモバイルデバイス２１に表示させる場合、アプリケーションは、2x2の４枚のタイル画像からなる部分画像１２を表示させる。また、例えば、この画像をディスプレイのサイズが大きなテレビジョン信号受像機（TV）２２に表示させる場合、アプリケーションは、6x5の３０枚のタイル画像からなる部分画像１３を表示させる。このように、画像を表示する端末の性能等に応じて表示させる部分画像の画サイズを制御するアプリケーションが考えられる。
　また、図１０のＢの例の場合、各タイル画像の画サイズは不均等である。アプリケーションは、タイル３（Tile3）の画像を表示させることにより、HD解像度の画像を表示させることができ、タイル２（Tile2）乃至タイル４（Tile4）の画像を表示させることにより、シネマ（Cinema）解像度の画像を表示させることができ、タイル１（Tile1）乃至タイル５（Tile5）の画像を表示させることにより、さらに大きな拡張サイズ（EXT）の画像を表示させることができる。このように、表示させる部分画像の画サイズを制御することにより、表示画像の解像度やアスペクト比を制御するアプリケーションが考えられる。
　これらのようなアプリケーションに対して、表示させる部分画像の画サイズに応じて、上述したように配信する部分画像のサイズを適応的に制御する（配信するタイル画像の数を制御する）ことにより、表示されない不要な部分の画像を配信する必要がないので、サーバ、端末、伝送路等の負荷を適応的に制御することができ、不要な負荷の増大を抑制することができる。
　　＜タイル画像の適応的な提供＞
　画像のタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行う場合、例えば、全体画像の一部である部分画像に関する情報である部分画像情報をMPDに含めるようにする。
　なお、提供の対象となる部分画像は、全体画像の一部分であればどのようなものであってもよく、その形状や大きさ等は任意である。例えば、部分画像は、他の部分と独立して符号化することができる部分であればよい。以下においては、説明の便宜上、部分画像は、上述したタイル単位の画像であるものとする。つまり、部分画像は、１つまたは複数のタイル画像により構成されるものとする。
　例えば、MPDのディスクリプタタイプエレメント（DescriptorType element）を活用して、タイル（Tile）用のディスクリプション（description）を、図１１のＡのように定義する。また、例えば、このエレメントが示す画像がどのような画像であるかを示すビュータイプ（viewtype）を、図１１のＢに示されるように定義する。
　　＜複数レイヤにおけるタイル画像の適応的な提供＞
　ところで、画像の符号化・復号方式として、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化・階層復号方式がある。
　画像配信等において、このような階層符号化・階層復号方式を適用する場合、複数レイヤの各レイヤにおいて、部分画像を適応的に提供することが求められるが、従来のMPEG-DASH規格では、このような複数レイヤにおける適応的な部分画像のデータの提供を行うことができなかった。
　そこで、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するようにする。
　また、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの符号化方式を示す符号化情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するようにしてもよい。
　さらに、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納するようにしてもよい。
　このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
　また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するようにする。
　なお、ベースレイヤ全体の情報を格納する情報が、ベースレイヤの符号化方式を示す符号化情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤの部分領域の情報のみが含まれることを示す符号化情報を含み、エンハンスメントレイヤ全体の情報が、エンハンスメントレイヤの符号化方式を示す符号化情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤの部分領域の情報のみが含まれることを示す符号化情報を含むようにしてもよい。
　また、ベースレイヤ全体の情報が、ベースレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤ全体の情報が、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含むようにしてもよい。
　このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
　　＜ユースケース＞
　以下においては、ベースレイヤとエンハンスメントレイヤとからなる２階層の画像データが、レイヤ間の予測を用いて階層符号化されて配信される場合を例に用いて本技術を説明する。もちろん、画像データの階層数は任意であり、３層以上であってもよい。また、ベースレイヤの画像は、エンハンスメントレイヤの画像と相関性が高く（解像度等の所定の画像パラメータ以外は基本的に同一の画像であり）、かつ、その解像度が、エンハンスメントレイヤの画像よりも低解像度であるものとする。
　また、説明の便宜上、各レイヤの画像は、縦２個・横２個の合計４個のタイル（部分領域）に分割されるものとする。もちろん、各レイヤの画像のタイル分割数は任意である。
　まず、このような階層符号化の用途の例について説明する。例えば、図１２の例のように、低解像度（低画質）のベースレイヤ（BL）の画像を拡大表示する場合、一部のタイルが抽出されて元の画像サイズまで拡大することになる。この拡大率によっては、高解像度（高画質）のエンハンスメントレイヤ（EL）の画像の一部のタイルを抽出して表示させる方が、拡大率が少なくて済む場合がある。図１２の例の場合、エンハンスメントレイヤの画像を用いることにより、拡大せずに済む。したがって、表示される画像の内容は略同一であるものの、エンハンスメントレイヤの画像を表示する方が、より高画質な画像を表示することができる。
　つまり、このようなケースにおいて、配信する画像をベースレイヤからエンハンスメントレイヤに切り替えることができると、画質の低減を抑制することができる（より高画質な画像を提供することができる）。
　従来のMPEG-DASHにおいても、低解像度のストリームと高解像度のストリームを用意し、状況に応じて配信するストリームを適宜切り替えるようにすることは可能である。
　しかしならが、このようなデータ配信においては、画像再生を安定させるために、例えばストリーミング配信であっても、表示のタイミングよりも十分に早くデータを配信し、例えば数秒乃至数十秒分のデータを受信側がバッファに保持させるのが一般的である。
　したがって、図１３のＡに示されるように、例えば時刻T1の画像において、上述したように配信するストリームの切り替え（ストリーム１からストリーム２への切り替え）が行われると、バッファに蓄積されたストリーム１の時刻T1乃至時刻T2のデータは、全て破棄される。そして、ストリーム２の時刻T2のデータから配信が開始される。
　逆方向（ストリーム２からストリーム１へ）の切り替えの場合も同様である。例えば、時刻T3の画像において、配信するストリームがストリーム２からストリーム１に切り替えられると、バッファに蓄積されたストリーム２の時刻T3乃至時刻T4のデータは、全て破棄される。そして、ストリーム１の時刻T3のデータから配信が開始される。
　つまり、配信するストリームを切り替える度に、バッファのデータが破棄されて無駄になってしまっていた。また、バッファのデータが０になるので、再生も不安定になるおそれがあった。
　これに対して、階層符号化されたデータの場合、図１３のＢに示されるように、ベースレイヤのストリームは常に配信され、エンハンスメントレイヤの画像を表示する場合のみエンハンスメントレイヤのストリームが配信される。
　したがって、表示する画像をベースレイヤからエンハンスメントレイヤに切り替える場合、バッファのデータを破棄する必要が無い。つまり、バッファに蓄積されたベースレイヤの符号化データは、その後も利用される。そして、エンハンスメントレイヤのストリームの配信が開始されるが、レイヤ間予測が行われているので、エンハンスメントレイヤのストリームは、図１３のＡの場合のストリーム２よりデータ量が少ない。つまり、バッファが０にならない。したがって、切り替えが行われた時刻T1後も、図１３のＡの場合よりも画像の表示を安定させることができる。
　逆方向（エンハンスメントレイヤからベースレイヤへ）の切り替えの場合も同様である。例えば、時刻T3の画像において、表示する画像がエンハンスメントレイヤからベースレイヤに切り替えられると、バッファに蓄積されたエンハンスメントレイヤの時刻T3乃至時刻T4のデータは、全て破棄される。ただし、破棄されるデータ量は、図１３のＡのストリーム２を破棄する場合よりも少ない。また、ベースレイヤのデータは、時刻T3の前から配信されており、バッファは０にならない。したがって、切り替えが行われた時刻T3後も、図１３のＡの場合よりも画像の表示を安定させることができる。
　複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することを実現することにより、例えば、このような効果を得ることができる。本技術では、配信用のフォーマット、例えば、MP4ファイルやMPD等においてこのような機能を実現する。
　　＜ファイル生成装置＞
　次に、このようなMP4ファイルやMPDを生成する装置について説明する。図１４は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図１４において、ファイル生成装置１００は、ベースレイヤの画像（BL画像）とエンハンスメントレイヤの画像（EL画像）を階層符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。
　図３に示されるように、ファイル生成装置１００は、ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０２、MP4ファイル生成部１０３、およびMPD生成部１０４を有する。
　ベースレイヤ符号化部１０１は、入力されたベースレイヤの画像（BL画像）を所定の符号化方式（例えばHEVC）で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部１０１は、生成したベースレイヤの符号化データ（HEVC）をMP4ファイル生成部１０３に供給する。また、ベースレイヤ符号化部１０１は、ベースレイヤの画像（例えば復号画像）を参照画像として、エンハンスメントレイヤ符号化部１０２に供給する。ベースレイヤ符号化部１０１は、また、符号化に関する情報である符号化情報をエンハンスメントレイヤ符号化部１０２に供給する。
　エンハンスメントレイヤ符号化部１０２は、入力されたエンハンスメントレイヤの画像（EL画像）を所定の符号化方式（例えばSHVC）で符号化し、エンハンスメントレイヤの符号化データを生成する。その際、エンハンスメントレイヤ符号化部１０２は、ベースレイヤ符号化部１０１から供給される参照画像や符号化情報を用いてレイヤ間予測を行う。これにより符号化効率の低減を抑制することができる。エンハンスメントレイヤ符号化部１０２は、生成したエンハンスメントレイヤの符号化データ（SHVC）をMP4ファイル生成部１０３に供給する。
　MP4ファイル生成部１０３は、ベースレイヤ符号化部１０１から供給されたベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤ符号化部１０２から供給されたエンハンスメントレイヤの符号化データ（SHVC）とを格納するファイル（MP4ファイル）を生成する。MP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤの符号化データ（SHVC）とを、MP4ファイルの互いに異なるトラックに格納させる。MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。また、MP4ファイル生成部１０３は、生成したMP4ファイルをMPD生成部１０４に供給する。
　MPD生成部１０４は、MP4ファイル生成部１０３から供給されたMP4ファイルの配信を制御するMPDを生成する。MPD生成部１０４は、生成したMPDを出力する。
　　＜MP4ファイル構成例＞
　ファイル生成装置１００のMP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）とエンハンスメントレイヤの符号化データ（SHVC）とを格納するMP4ファイルとして、例えば、図１５および図１６に示されるような構成のMP4ファイルを生成する。
　図１５および図１６に示されるように、MP4ファイル生成部１０３は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報のそれぞれを格納するトラックを生成する。また、この場合、MP4ファイル生成部１０３は、各トラックをそれぞれMP4ファイル化している。
　つまり、MP4ファイル生成部１０３は、ベースレイヤについて、ベースレイヤ全体の情報を格納するトラック１（Track1）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル１（tile1）の情報を格納するトラック２（Track2）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル２（tile2）の情報を格納するトラック３（Track3）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル３（tile3）の情報を格納するトラック４（Track4）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル４（tile4）の情報を格納するトラック５（Track5）を格納するMP4ファイル（MP4ファイル）を生成する（図１５）。
　同様に、MP4ファイル生成部１０３は、エンハンスメントレイヤについて、エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するトラック７（Track7）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するトラック８（Track8）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するトラック９（Track9）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するトラック１０（Track10）を格納するMP4ファイル（MP4ファイル）を生成する（図１６）。
　ベースレイヤ全体の情報を格納するトラック１（Track1）には、ベースレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック１のサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される（Sample Entry = 'hvc2'）。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。そして、このトラック１のトラック間の参照に関する情報であるトラックリファレンス（Track Reference）には、参照するサンプルを格納するトラックを示す情報と、その参照の種類を示す情報とを含むが設定されている（scal=2,3,4,5）。つまり、トラック１がトラック２乃至トラック５を参照し、その参照の種類が”scal”であることが示されている。
　ベースレイヤの画像のタイルの情報を格納するトラック２（Track2）乃至トラック５（Track5）には、それぞれ、ベースレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。また、トラック２乃至トラック５のサンプルエントリには、ベースレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'hvt1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvtCボックス（hvtC box）が設定されている。そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック１を参照し、その参照の種類が”tbas”であることが示されている（tbas=1）。また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、ベースレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。
　エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）には、エンハンスメントレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック６のサンプルエントリには、エンハンスメントレイヤの符号化方式がSHVCであることを示す符号化情報が設定される（Sample Entry = 'lhv1'）。また、このサンプルエントリには、SHVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。
　このトラック６のトラックリファレンス（Track Reference）には、トラック７乃至トラック１０を参照し、その参照の種類が”scal”であること（scal=7,8,9,10）が示されている。このトラック６のトラックリファレンス（Track Reference）には、さらに、ベースレイヤ全体の情報を格納するトラック１を参照し、その参照の種類が”sbas”であることも示されている（sbas=1）。これにより、エンハンスメントレイヤのトラックからベースレイヤのトラックを参照することができる。
　エンハンスメントレイヤの画像のタイルの情報を格納するトラック７（Track7）乃至トラック１０（Track10）には、それぞれ、エンハンスメントレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。
　また、トラック７乃至トラック１０のサンプルエントリには、エンハンスメントレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'lht1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するlhtCボックス（lhtC box）が設定されている。このように、エンハンスメントレイヤのタイルを格納する各トラックの符号化情報をベースレイヤのタイルを格納する各トラックの符号化情報と異なるものとすることにより、これらのトラックがエンハンスメントレイヤのタイルを格納する情報であることを識別することができる。
　そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック６を参照し、その参照の種類が”tbas”であることが示されている（tbas=6）。つまり、エンハンスメントレイヤのタイルを格納するトラックは、ベースレイヤ全体の情報を格納するトラック１ではなく、エンハンスメントレイヤ全体の情報を格納するトラック６を参照することが示される。
　また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、エンハンスメントレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。
　MP4ファイル生成部１０３は、このような構成のMP4ファイルを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MP4ファイル生成処理の流れ＞
　図１７のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。
　MP4ファイル生成処理が開始されると、ベースレイヤ符号化部１０１は、ステップＳ１０１において、ベースレイヤ画像を符号化する。
　ステップＳ１０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
　ステップＳ１０３において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックにサンプルエントリを生成する。
　ステップＳ１０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成し、MP4ファイル化する。
　ステップＳ１０５において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
　ステップＳ１０６において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、サンプルエントリを生成する。
　ステップＳ１０７において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
　ステップＳ１０８において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
　ステップＳ１０９において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
　ステップＳ１１０において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
　ステップＳ１１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックにサンプルエントリを生成する。
　ステップＳ１１２において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成し、MP4ファイル化する。
　ステップＳ１１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
　ステップＳ１１４において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、サンプルエントリを生成する。
　ステップＳ１１５において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
　ステップＳ１１６において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
　ステップＳ１１７において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、ベースレイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
　ステップＳ１１８において、MP4ファイル生成部１０３は、以上のように生成した各MP4ファイルを出力する。
　以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図１５や図１６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD構成例＞
　ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図１８および図１９に示されるような構成のMPDを生成する。
　図１８および図１９に示されるように、MPD生成部１０４は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報を含むメタデータを生成する。また、この場合、トラック毎にMP4ファイル化されているので、MPD生成部１０４は、MP4ファイル（トラック）毎に、アダプテーションセット（AdaptationSet）を設定し、それぞれのセグメント（Segment）にMP4ファイルを設定（登録）する。
　つまり、MPD生成部１０４は、ベースレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーション（Representation）を設定し、その下位にセグメント（Segment）を設定し、そのセグメントに、ベースレイヤ全体の情報を格納するMP4ファイル（Bl_bs.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvc2">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="bl_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_tile1,bl_tile2,bl_tile3,bl_tile4"associationType="scal">
　同様に、MPD生成部１０４は、ベースレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル１の情報を格納するMP4ファイル（Bl_tile1.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,0,0,960,540,1920,1080">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル１の情報であることを示す識別情報が設定される（<id="bl_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_bs "associationType="tbas">
　同様に、MPD生成部１０４は、ベースレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル２の情報を格納するMP4ファイル（Bl_tile2.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,960,0,960,540,1920,1080">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル２の情報であることを示す識別情報が設定される（<id="bl_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_bs "associationType="tbas">
　同様に、MPD生成部１０４は、ベースレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル３の情報を格納するMP4ファイル（Bl_tile3.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,0,540,960,540,1920,1080">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル３の情報であることを示す識別情報が設定される（<id="bl_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_bs "associationType="tbas">
　同様に、MPD生成部１０４は、ベースレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル４の情報を格納するMP4ファイル（Bl_tile4.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,960,540,960,540,1920,1080">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル４の情報であることを示す識別情報が設定される（<id="bl_tile4">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_bs "associationType="tbas">
　以上の構成を図１８に示す。
　また、MPD生成部１０４は、エンハンスメントレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤ全体の情報を格納するMP4ファイル（El_bs.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="lhv1">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="el_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="bl_bs "associationType="sbas">
　<associationid="el_tile1,el_tile2,el_tile3,el_tile4"associationType="scal">
　これにより、エンハンスメントレイヤのアダプテーションセットからベースレイヤのアダプテーションセットを参照することができる。
　同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル１の情報を格納するMP4ファイル（el_tile1.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,0,0,1920,1080,3840,2160">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル１の情報であることを示す識別情報が設定される（<id="el_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="el_bs "associationType="tbas">
　同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル２の情報を格納するMP4ファイル（el_tile2.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,1920,0,1920,1080,3840,2160">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル２の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="el_bs "associationType="tbas">
　同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル３の情報を格納するMP4ファイル（el_tile3.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,0,1080,1920,1080,3840,2160">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル３の情報であることを示す識別情報が設定される（<id="el_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="el_bs "associationType="tbas">
　同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル４の情報を格納するMP4ファイル（el_tile4.mp4）を登録する。
　MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
　value="1,1920,1080,1920,1080,3840,2160">
　また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル４の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
　<associationid="el_bs "associationType="tbas">
　以上の構成を図１８に示す。
　このように、エンハンスメントレイヤの各タイルのアダプテーションセットの符号化情報をベースレイヤの各タイルのアダプテーションセットの符号化情報と異なるものとすることにより、これらがエンハンスメントレイヤのタイルのアダプテーションセットであることを識別することができる。
　また、これらのアダプテーションセットに属するリプレゼンテーションのアソシエーション情報には、"el_bs"を参照し、その参照の種類が"tbas"であることが示されている。つまり、エンハンスメントレイヤの各タイルのアダプテーションセットから、ベースレイヤ全体の情報のアダプテーションセット（bl_bs）ではなく、エンハンスメントレイヤ全体の情報のアダプテーションセット（el_bs）を参照することができる。
　MPD生成部１０４は、このような構成のMPDを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD生成処理の流れ＞
　図２０および図２１のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。
　MPD生成処理が開始されると、ベースレイヤ符号化部１０１は、図２０のステップＳ１２１において、ベースレイヤ画像を符号化する。
　ステップＳ１２２において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
　ステップＳ１２３において、MP4ファイル生成部１０３は、ベースレイヤの符号化データおよびエンハンスメントレイヤの符号化データを格納するMP4ファイルを生成する。この処理は、図１７のフローチャートを参照して説明したMP4ファイル生成処理と同様であるので、その説明を省略する。
　ステップＳ１２４において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットを生成する。
　ステップＳ１２５において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
　ステップＳ１２６において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションを生成する。
　ステップＳ１２７において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
　ステップＳ１２８において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションにベースレイヤの各タイルとの関連情報（アソシエーション情報）を設定する。
　ステップＳ１２９において、MPD生成部１０４は、ベースレイヤのエクストラクタのセグメントを生成する。
　ステップＳ１３０において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットを生成する。
　ステップＳ１３１において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
　ステップＳ１３２において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
　ステップＳ１３３において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションを生成する。
　ステップＳ１３４において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
　ステップＳ１３５において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
　ステップＳ１３６において、MPD生成部１０４は、ベースレイヤの各タイルのセグメントを生成する。
　図２１のステップＳ１４１において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットを生成する。
　ステップＳ１４２において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
　ステップＳ１４３において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
　ステップＳ１４４において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションを生成する。
　ステップＳ１４５において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
　ステップＳ１４６において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションにエンハンスメントレイヤの各タイルとの関連情報（アソシエーション情報）と、ベースレイヤのエクストラクタとの関連情報（アソシエーション情報）とを設定する。
　ステップＳ１４７において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのセグメントを生成する。
　ステップＳ１４８において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットを生成する。
　ステップＳ１４９において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
　ステップＳ１５０において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
　ステップＳ１５１において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションを生成する。
　ステップＳ１５２において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
　ステップＳ１５３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
　ステップＳ１５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのセグメントを生成する。
　ステップＳ１５５において、MPD生成部１０４は、以上のように生成したMPDを出力する。
　以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図１８や図１９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜ファイル再生装置＞
　次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図２２は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図２２において、ファイル再生装置２００は、図１４のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤおよびエンハンスメントレイヤのいずれか一方または両方の復号画像を生成し、出力する装置である。
　図２２に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル再生部２０２、ベースレイヤ復号部２０３、およびエンハンスメントレイヤ復号部２０４を有する。
　　＜MP4ファイル再生処理の流れ＞
　図２２のファイル再生装置２００は、MP4ファイル再生処理を実行することにより、入力されるMP4ファイルを再生し、任意のレイヤの復号画像を生成する。図２３のフローチャートを参照して、このMP4ファイル再生処理の流れの例を説明する。
　MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ１７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ１７２に進む。
　ステップＳ１７２において、MP4ファイル再生部２０２は、ベースレイヤのエクストラクタのMP4ファイルを取得する。
　ステップＳ１７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
　ステップＳ１７４において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
　ステップＳ１７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。
　ステップＳ１７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ１７６の処理が終了すると、処理はステップＳ１８９に進む。
　また、ステップＳ１７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ１７８に進む。
　ステップＳ１７８において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ１７９に進む。
　ステップＳ１７９乃至ステップＳ１８３の各処理は、ステップＳ１７２乃至ステップＳ１７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ１８４に進む。また、ステップＳ１７８においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ１８４に進む。
　ステップＳ１８４において、MP4ファイル再生部２０２は、エンハンスメントレイヤのエクストラクタのMP4ファイルを取得する。
　ステップＳ１８５において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
　ステップＳ１８６において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
　ステップＳ１８７において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。
　ステップＳ１８８において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ１８８の処理が終了すると、処理はステップＳ１８９に進む。
　ステップＳ１８９において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１７１に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ１７１乃至ステップＳ１８９の各処理が適宜実行され、ステップＳ１８９において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
　以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図１５や図１６に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD再生処理の流れ＞
　図２２のファイル再生装置２００は、MPD再生処理を実行することにより、入力されるMPDを再生し、任意のレイヤの復号画像を生成する。図２４のフローチャートを参照して、このMPD再生処理の流れの例を説明する。
　MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ２０１において、MPDを取得する。
　ステップＳ２０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ２０３に進む。
　ステップＳ２０３において、MPD解析部２０１は、ベースレイヤの再生するタイルのアダプテーションセットを特定する。
　ステップＳ２０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
　ステップＳ２０５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７２乃至ステップＳ１７６の各処理が実行される。ステップＳ２０５の処理が終了すると処理はステップＳ２１１に進む。
　また、ステップＳ２０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ２０６に進む。
　ステップＳ２０６およびステップＳ２０７の各処理は、ステップＳ２０３およびステップＳ２０４の各処理と同様に実行される。
　ステップＳ２０８において、MPD解析部２０１は、エンハンスメントレイヤの再生するタイルのアダプテーションセットを特定する。
　ステップＳ２０９において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
　ステップＳ２１０において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７８乃至ステップＳ１８８の各処理が実行される。ステップＳ２１０の処理が終了すると処理はステップＳ２１１に進む。
　ステップＳ２１１において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ２０２乃至ステップＳ２１１の各処理が適宜実行され、ステップＳ２１１において再生を終了すると判定された場合、MPD再生処理が終了する。
　以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図１８や図１９に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　＜２．第２の実施の形態＞
　　＜ベースレイヤの参照＞
　エンハンスメントレイヤの各タイルからベースレイヤの各タイルを参照することができるようにしてもよい。図２５および図２６にMP4ファイルの他の構成例を示す。
　この場合、図１５および図１６に示される構成に加え、エンハンスメントレイヤの各タイルのトラックにベースレイヤを参照するトラックリファレンスが追加されている。
　例えば、図２６のトラック７のトラックリファレンス（Track Reference）に、トラック２を参照し、その参照の種類が"sbas"であることが示され（sbas=2）、トラック８のトラックリファレンス（Track Reference）に、トラック３を参照し、その参照の種類が"sbas"であることが示され（sbas=3）、トラック９のトラックリファレンス（Track Reference）に、トラック４を参照し、その参照の種類が"sbas"であることが示され（sbas=4）、トラック１０のトラックリファレンス（Track Reference）に、トラック５を参照し、その参照の種類が"sbas"であることが示されている（sbas=5）。
　したがって、この場合、エンハンスメントレイヤのタイルを格納する各トラックから、ベースレイヤの対応するタイルのトラックを参照することができる。
　　＜MP4ファイル生成処理の流れ＞
　図２７のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
　図２７のステップＳ２２１乃至ステップＳ２３６の各処理は、図１７のステップＳ１０１乃至ステップＳ１１６の各処理と同様に実行される。
　ステップＳ２３７において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、ベースレイヤの対応するタイルのトラックを示すトラックリファレンスを生成する。
　図２７のステップＳ２３８およびステップＳ２３９の各処理は、図１７のステップＳ１１７およびステップＳ１１８の各処理と同様に実行される。
　以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図２５や図２６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD構成例＞
　ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図２８および図２９に示されるような構成のMPDを生成する。
　この場合、図１８および図１９に示される構成に加え、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤを参照するアソシエーション情報が追加されている。
　例えば、図２９のエンハンスメントレイヤのタイル１のリプレゼンテーションに、ベースレイヤのタイル１のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
　<associationid="bl_tile1" associationType="sbas">
　同様に、エンハンスメントレイヤのタイル２のリプレゼンテーションに、ベースレイヤのタイル２のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
　<associationid="bl_tile2" associationType="sbas">
　同様に、エンハンスメントレイヤのタイル３のリプレゼンテーションに、ベースレイヤのタイル３のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
　<associationid="bl_tile3" associationType="sbas">
　同様に、エンハンスメントレイヤのタイル４のリプレゼンテーションに、ベースレイヤのタイル４のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
　<associationid="bl_tile4" associationType="sbas">
　したがって、この場合、エンハンスメントレイヤのタイルのアダプテーションセットから、ベースレイヤの対応するタイルのアダプテーションセットを参照することができる。
　　＜MPD生成処理の流れ＞
　図３０および図３１のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
　図３０のステップＳ２５１乃至ステップＳ２６６の各処理は、図２０のステップＳ１２１乃至ステップＳ１３６の各処理と同様に実行される。
　また、図３１のステップＳ２７１乃至ステップＳ２８２の各処理は、図２１のステップＳ１４１乃至ステップＳ１５２の各処理と同様に実行される。
　図３１のステップＳ２８３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに、ベースレイヤの対応するタイルとの関連情報（アソシエーション情報）を設定する。
　図３１のステップＳ２８４乃至ステップＳ２８６の各処理は、図２１のステップＳ１５３乃至ステップＳ１５５の各処理と同様に実行される。
　以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図２８や図２９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　なお、MP4ファイル再生処理やMPD再生処理は、第１の実施の形態の場合と同様に行うことができるので、その説明は省略する。
　＜３．第３の実施の形態＞
　　＜レイヤ毎のファイル化＞
　図３２および図３３にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えばレイヤ毎にファイル化するようにしてもよい。図３２の例の場合、ベースレイヤの情報を格納する各トラック（トラック１乃至トラック５）が１つのMP4ファイルに格納されている。また、図３３の例の場合、エンハンスメントレイヤの情報を格納する各トラック（トラック６乃至トラック１０）が１つのMP4ファイルに格納されている。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。
　　＜MP4ファイル生成処理の流れ＞
　図３４のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
　ステップＳ３０１の処理は、図２７のステップＳ２２１の処理と同様に実行される。
　ステップＳ３０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成する。
　ステップＳ３０３の処理は、図２７のステップＳ２２３の処理と同様に実行される。
　ステップＳ３０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成する。
　ステップＳ３０５乃至ステップＳ３０８の各処理は、図２７のステップＳ２２５乃至ステップＳ２２８の各処理と同様に実行される。
　ステップＳ３０９において、MP4ファイル生成部１０３は、ベースレイヤの各トラックをまとめてファイル化する。つまり、ベースレイヤの各トラックを１つのファイルに格納する。
　ステップＳ３１０の処理は、図２７のステップＳ２２９の処理と同様に実行される。
　ステップＳ３１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成する。
　ステップＳ３１２の処理は、図２７のステップＳ２３１の処理と同様に実行される。
　ステップＳ３１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成する。
　ステップＳ３１４乃至ステップＳ３１９の各処理は、図２７のステップＳ２３３乃至ステップＳ２３８の各処理と同様に実行される。
　ステップＳ３２０において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各トラックをまとめてファイル化する。つまり、エンハンスメントレイヤの各トラックを１つのファイルに格納する。
　ステップＳ３２１の処理は、図２７のステップＳ２３９の処理と同様に実行される。
　以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図３２や図３３に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD構成例＞
　ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図３５および図３６に示されるような構成のMPDを生成する。
　この場合、MP4ファイルは、レイヤ毎にファイル化されているので、MPDにおいても、アダプテーションセットは、レイヤ毎に作成される。
　図３５に示されるように、ベースレイヤのアダプテーションセットには、その下位に、ベースレイヤ全体の情報を含むリプレゼンテーションが生成され、その下位のセグメントにベースレイヤのMP4ファイル（bl.mp4）が設定（登録）される。各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
　図３６に示されるように、エンハンスメントレイヤの構成も、図３５と同様である。
　　＜MPD生成処理の流れ＞
　図３７のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
　ステップＳ３４１乃至ステップＳ３４３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。
　ステップＳ３４４において、MPD生成部１０４は、ベースレイヤのアダプテーションセットを生成する。
　ステップＳ３４５において、MPD生成部１０４は、ベースレイヤのリプレゼンテーションを生成する。
　ステップＳ３４６において、MPD生成部１０４は、ベースレイヤのセグメントを生成する。
　ステップＳ３４７において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションを生成する。
　ステップＳ３４８において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
　ステップＳ３４９において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
　ステップＳ３５０において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
　ステップＳ３５１において、MPD生成部１０４は、エンハンスメントレイヤのアダプテーションセットを生成する。
　ステップＳ３５２において、MPD生成部１０４は、エンハンスメントレイヤのリプレゼンテーションを生成する。
　ステップＳ３５３において、MPD生成部１０４は、エンハンスメントレイヤのセグメントを生成する。
　ステップＳ３５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションを生成する。
　ステップＳ３５５において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
　ステップＳ３５６において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
　ステップＳ３５７において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
　ステップＳ３５８において、MPD生成部１０４は、以上のように生成したMPDを出力する。
　以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図３５や図３６に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MP4ファイル再生処理の流れ＞
　次に、図３８のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
　MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ３７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ３７２に進む。
　ステップＳ３７２において、MP4ファイル再生部２０２は、ベースレイヤのMP4ファイルを取得する。
　ステップＳ３７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを特定する。
　ステップＳ３７４において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
　ステップＳ３７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。
　ステップＳ３７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ３７６の処理が終了すると、処理はステップＳ３８８に進む。
　また、ステップＳ３７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ３７７に進む。
　ステップＳ３７７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ３７８に進む。
　ステップＳ３７８乃至ステップＳ３８２の各処理は、ステップＳ３７２乃至ステップＳ３７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ３８３に進む。また、ステップＳ３７７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ３８３に進む。
　ステップＳ３８３において、MP4ファイル再生部２０２は、エンハンスメントレイヤのMP4ファイルを取得する。
　ステップＳ３８４において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを取得する。
　ステップＳ３８５において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
　ステップＳ３８６において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。
　ステップＳ３８７において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ３８７の処理が終了すると、処理はステップＳ３８８に進む。
　ステップＳ３８８において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ３７１に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ３７１乃至ステップＳ３８８の各処理が適宜実行され、ステップＳ３８８において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
　以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図３２や図３３に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD再生処理の流れ＞
　図３９のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
　MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ４０１において、MPDを取得する。
　ステップＳ４０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ４０３に進む。
　ステップＳ４０３において、MPD解析部２０１は、ベースレイヤのアダプテーションセットを特定する。
　ステップＳ４０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
　ステップＳ４０５において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
　ステップＳ４０６において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７２乃至ステップＳ３７６の各処理が実行される。ステップＳ４０６の処理が終了すると処理はステップＳ４１４に進む。
　また、ステップＳ４０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ４０７に進む。
　ステップＳ４０７乃至ステップＳ４０９の各処理は、ステップＳ４０３およびステップＳ４０５の各処理と同様に実行される。
　ステップＳ４１０において、MPD解析部２０１は、エンハンスメントレイヤのアダプテーションセットを特定する。
　ステップＳ４１１において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
　ステップＳ４１２において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
　ステップＳ４１３において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７７乃至ステップＳ３８７の各処理が実行される。ステップＳ４１３の処理が終了すると処理はステップＳ４１４に進む。
　ステップＳ４１４において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４０２に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ４０２乃至ステップＳ４１４の各処理が適宜実行され、ステップＳ４１４において再生を終了すると判定された場合、MPD再生処理が終了する。
　以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図３５や図３６に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　＜４．第４の実施の形態＞
　　＜全レイヤのファイル化＞
　図４０および図４１にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えば全レイヤを１つのファイルにファイル化するようにしてもよい。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。
　　＜MP4ファイル生成処理の流れ＞
　図４２のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
　ステップＳ４３１乃至ステップＳ４４８の各処理は、図３４のステップＳ３０１乃至ステップＳ３０８並びにステップＳ３１０乃至３１９の各処理と同様に実行される。
　ステップＳ４４９において、MP4ファイル生成部１０３は、全レイヤの各タイル（各トラック）をまとめてファイル化する（全トラックを含む１つのMP4ファイルを生成する）。
　ステップＳ４５０において、MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。
　以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図４０や図４１に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD構成例＞
　ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図４３および図４４に示されるような構成のMPDを生成する。
　図４３および図４４に示されるように、この場合、アダプテーションセットは、１つのみ作成される（全レイヤ共通のアダプテーションセットが作成される）。
　その下位に、全レイヤの情報を含むリプレゼンテーションが生成され、その下位のセグメントに全レイヤのMP4ファイル（blel.mp4）が設定（登録）される。各レイヤの各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
　　＜MPD生成処理の流れ＞
　図４５のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
　ステップＳ４７１乃至ステップＳ４７３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。
　ステップＳ４７４において、MPD生成部１０４は、全レイヤ共通のアダプテーションセットを生成する。
　ステップＳ４７５において、MPD生成部１０４は、全レイヤ共通のリプレゼンテーションを生成する。
　ステップＳ４７６において、MPD生成部１０４は、全レイヤ共通のセグメントを生成する。
　ステップＳ４７７において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションを生成する。
　ステップＳ４７８において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
　ステップＳ４７９において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
　ステップＳ４８０において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
　ステップＳ４８１において、MPD生成部１０４は、以上のように生成したMPDを出力する。
　以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図４３や図４４に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MP4ファイル再生処理の流れ＞
　次に、図４６のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
　MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ５０１において、MP4ファイルを取得する。
　ステップＳ５０２において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５０３に進む。
　ステップＳ５０３において、MP4ファイル再生部２０２は、ベースレイヤ全体の情報のトラックのトラックリファレンスに基づいて、ベースレイヤの再生するタイルのトラックを特定する。
　ステップＳ５０４乃至ステップＳ５０６の各処理は、図３８のステップＳ３７４乃至ステップＳ３７６の各処理と同様に実行される。
　ステップＳ５０６の処理が終了すると、処理はステップＳ５１６に進む。
　また、ステップＳ５０２において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ５０７に進む。
　ステップＳ５０７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ５０８に進む。
　ステップＳ５０８乃至ステップＳ５１１の各処理は、ステップＳ５０３乃至ステップＳ５０６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ５１２に進む。また、ステップＳ５０７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ５１２に進む。
　ステップＳ５１２において、MP4ファイル再生部２０２は、エンハンスメントレイヤ全体の情報のトラックのトラックリファレンスに基づいて、エンハンスメントレイヤの再生するタイルのトラックを取得する。
　ステップＳ５１３乃至ステップＳ５１５の各処理は、図３８のステップＳ３８５乃至ステップＳ３８７の各処理と同様に実行される。ステップＳ５１５の処理が終了すると、処理はステップＳ５１６に進む。
　ステップＳ５１６において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５０１に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ５０１乃至ステップＳ５１６の各処理が適宜実行され、ステップＳ５１６において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
　以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図４０や図４１に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　　＜MPD再生処理の流れ＞
　図４７のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
　MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ５３１において、MPDを取得する。
　ステップＳ５３２において、MPD解析部２０１は、取得したMPDの全レイヤ共通のアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
　ステップＳ５３３において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５３４に進む。
　ステップＳ５３４において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
　ステップＳ５３５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０３乃至ステップＳ５０６の各処理が実行される。ステップＳ５３５の処理が終了すると処理はステップＳ５３８に進む。
　また、ステップＳ５３３において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ５３６に進む。
　ステップＳ５３６において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
　ステップＳ５３７において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０７乃至ステップＳ５１５の各処理が実行される。ステップＳ５３７の処理が終了すると処理はステップＳ５３８に進む。
　ステップＳ５３８において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５３１に戻り、それ以降の処理が繰り返される。
　各サンプルについてステップＳ５３１乃至ステップＳ５３８の各処理が適宜実行され、ステップＳ５３８において再生を終了すると判定された場合、MPD再生処理が終了する。
　以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図４３や図４４に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
　＜５．第５の実施の形態＞
　　＜配信システム＞
　各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
　図４８は、本技術を適用した配信システムの主な構成例を示す図である。図４８に示される配信システム３００は、静止画像および動画像を配信するシステムである。図４８に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。
　配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。
　ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
　配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。
　端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。
　配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。
　このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。
　また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。
　このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができ、例えば、第１の実施の形態において説明したユースケースのようなレイヤの切り替えを実現することができる。
　＜６．第６の実施の形態＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図４９に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
　バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
　入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
　を備える情報処理装置。
　（２）　前記ファイル生成部は、
　　前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
　　前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
　　前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
　（１）に記載の情報処理装置。
　（３）　前記ファイル生成部は、
　　前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
　　前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
　　前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
　（１）または（２）に記載の情報処理装置。
　（４）　前記ファイル生成部は、
　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
　（３）に記載の情報処理装置。
　（５）　前記ファイル生成部は、
　　各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
　　各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記ファイル生成部は、
　　各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
　（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記ファイル生成部は、全てのトラックを格納するファイルを生成する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
　情報処理方法。
　（１１）　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
　を備える情報処理装置。
　（１２）　前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
　前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
　前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
　前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
　（１１）に記載の情報処理装置。
　（１３）　前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
　前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
　前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
　前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
　（１１）または（１２）に記載の情報処理装置。
　（１４）　前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
　（１３）に記載の情報処理装置。
　（１５）　前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
　（１１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記メタデータ生成部は、
　　前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
　　前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
　　前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
　　前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
　（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記メタデータ生成部は、
　　前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
　　前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
　（１１）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記メタデータ生成部は、
　　全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
　（１１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
　（１１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
　情報処理方法。
　１００　ファイル生成装置，　１０１　ベースレイヤ符号化部，　１０２　エンハンスメントレイヤ符号化部，　１０３　MP4ファイル生成部，　１０４　MPD生成部，　２００　ファイル再生装置，　２０１　MPD解析部，　２０２　MP4ファイル再生部，　２０３　ベースレイヤ復号部，　２０４　エンハンスメントレイヤ復号部，　３００　配信システム，　３０１　配信データ生成装置，　３０２　配信サーバ，　３０３　ネットワーク，　３０４および３０５　端末装置，　４００　コンピュータ

Claims (20)

  1. 　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記ファイル生成部は、
    　　前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
    　　前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
    　　前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
    　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
    　請求項１に記載の情報処理装置。
  3. 　前記ファイル生成部は、
    　　前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    　　前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    　　前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
    　請求項１に記載の情報処理装置。
  4. 　前記ファイル生成部は、
    　　前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
    　請求項３に記載の情報処理装置。
  5. 　前記ファイル生成部は、
    　　各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
    　　各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
    　請求項１に記載の情報処理装置。
  6. 　前記ファイル生成部は、
    　　各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
    　請求項１に記載の情報処理装置。
  7. 　前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
    　請求項１に記載の情報処理装置。
  8. 　前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
    　請求項１に記載の情報処理装置。
  9. 　前記ファイル生成部は、全てのトラックを格納するファイルを生成する
    　請求項１に記載の情報処理装置。
  10. 　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
    　情報処理方法。
  11. 　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
    　を備える情報処理装置。
  12. 　前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
    　前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
    　前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
    　前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
    　請求項１１に記載の情報処理装置。
  13. 　前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    　前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    　前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    　前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
    　請求項１１に記載の情報処理装置。
  14. 　前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
    　請求項１３に記載の情報処理装置。
  15. 　前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
    　請求項１１に記載の情報処理装置。
  16. 　前記メタデータ生成部は、
    　　前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
    　　前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
    　　前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
    　　前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
    　請求項１１に記載の情報処理装置。
  17. 　前記メタデータ生成部は、
    　　前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
    　　前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
    　請求項１１に記載の情報処理装置。
  18. 　前記メタデータ生成部は、
    　　全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
    　請求項１１に記載の情報処理装置。
  19. 　前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
    　請求項１１に記載の情報処理装置。
  20. 　画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
    　情報処理方法。
PCT/JP2015/067234 2014-06-30 2015-06-16 情報処理装置および方法 Ceased WO2016002496A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/321,968 US10187648B2 (en) 2014-06-30 2015-06-16 Information processing device and method
EP15814032.7A EP3163882B1 (en) 2014-06-30 2015-06-16 Information processing device and method
CN201580034347.0A CN106464941B (zh) 2014-06-30 2015-06-16 信息处理装置和方法
EP19167354.0A EP3541079B1 (en) 2014-06-30 2015-06-16 Information processing device and method
JP2016531241A JP6642427B2 (ja) 2014-06-30 2015-06-16 情報処理装置および方法
US16/158,609 US10623754B2 (en) 2014-06-30 2018-10-12 Information processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014135147 2014-06-30
JP2014-135147 2014-06-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/321,968 A-371-Of-International US10187648B2 (en) 2014-06-30 2015-06-16 Information processing device and method
US16/158,609 Division US10623754B2 (en) 2014-06-30 2018-10-12 Information processing device and method

Publications (1)

Publication Number Publication Date
WO2016002496A1 true WO2016002496A1 (ja) 2016-01-07

Family

ID=55019043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067234 Ceased WO2016002496A1 (ja) 2014-06-30 2015-06-16 情報処理装置および方法

Country Status (5)

Country Link
US (2) US10187648B2 (ja)
EP (2) EP3541079B1 (ja)
JP (2) JP6642427B2 (ja)
CN (2) CN106464941B (ja)
WO (1) WO2016002496A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525249A (ja) * 2014-07-01 2017-08-31 キヤノン株式会社 Ｈｅｖｃ階層化メディアデータをカプセル化する方法、装置およびコンピュータプログラム
JP2017220763A (ja) * 2016-06-06 2017-12-14 ヤフー株式会社 配信装置、配信方法、配信プログラムおよび端末プログラム
WO2018019293A1 (en) * 2016-07-29 2018-02-01 Mediatek Inc. Method and apparatus for streaming video content
CN109891905A (zh) * 2016-09-08 2019-06-14 皇家Kpn公司 部分视频解码方法、设备和系统
JP2020529149A (ja) * 2017-07-31 2020-10-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イメージ処理方法、端末およびサーバ
JP2021500764A (ja) * 2017-08-29 2021-01-07 Ｌｉｎｅ株式会社 映像通話の映像品質向上
JP2022050366A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド バーサタイルビデオコーディングのトラック符号化
JP2022066370A (ja) * 2016-10-10 2022-04-28 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
JP2022532065A (ja) * 2019-12-30 2022-07-13 テンセント・アメリカ・エルエルシー 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
GB202305553D0 (en) * 2023-04-14 2023-05-31 V Nova Int Ltd Methods of coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274758A (ja) * 2003-03-07 2004-09-30 Ricoh Co Ltd Ｊｐｐ−ストリームからｊｐｅｇ２０００符号ストリームへの変換方法及び変換装置
JP2005130470A (ja) * 2003-10-01 2005-05-19 Canon Inc 画像処理方法、画像処理装置
JP2007097147A (ja) * 2005-09-02 2007-04-12 Ricoh Co Ltd 画像処理装置および画像処理方法
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2959351A (en) * 1955-11-02 1960-11-08 Ibm Data storage and processing machine
GB2284494B (en) * 1993-11-26 1998-09-09 Hitachi Ltd Distributed shared memory management system
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
JP2004005492A (ja) * 2002-04-26 2004-01-08 Casio Comput Co Ltd データ通信装置、データ通信システム、動画付き文書表示方法および動画付き文書表示プログラム
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
JP4418762B2 (ja) * 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
JP2008028534A (ja) * 2006-07-19 2008-02-07 Pentax Corp デジタルカメラ
CN101796835B (zh) * 2007-07-02 2012-08-08 Lg电子株式会社 数字广播系统和数据处理方法
JP4958831B2 (ja) * 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP5340091B2 (ja) * 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
US8676855B2 (en) * 2009-05-01 2014-03-18 Brother Kogyo Kabushiki Kaisha Distributed storage system, management apparatus, node apparatus, recording medium on which node program is recorded, page information acquisition method, recording medium on which page information sending program is recorded, and page information sending method
JP5601006B2 (ja) * 2010-04-08 2014-10-08 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
GB2492396A (en) * 2011-06-30 2013-01-02 Canon Kk Decoding a Scalable Video Bit-Stream
EP4171031B1 (en) * 2011-09-28 2024-06-12 Sun Patent Trust Image decoding apparatus, image encoding and decoding apparatus and computer-readable medium storing a bitstream
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
JP6260534B2 (ja) * 2012-09-03 2018-01-17 ソニー株式会社 画像処理装置および方法
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
KR101968070B1 (ko) * 2012-10-12 2019-04-10 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
WO2014084564A1 (ko) * 2012-11-27 2014-06-05 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US20140229657A1 (en) * 2013-02-08 2014-08-14 Microsoft Corporation Readdressing memory for non-volatile storage devices
CN110177273B (zh) * 2013-03-21 2023-06-02 索尼公司 图像编码装置和方法
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274758A (ja) * 2003-03-07 2004-09-30 Ricoh Co Ltd Ｊｐｐ−ストリームからｊｐｅｇ２０００符号ストリームへの変換方法及び変換装置
JP2005130470A (ja) * 2003-10-01 2005-05-19 Canon Inc 画像処理方法、画像処理装置
JP2007097147A (ja) * 2005-09-02 2007-04-12 Ricoh Co Ltd 画像処理装置および画像処理方法
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADITYA MAVLANKAR ET AL.: "An interactive region- of-interest video streaming system for online lecture viewing", PROCEEDINGS OF 2010 IEEE 18TH INTERNATIONAL PACKET VIDEO WORKSHOP (PV 2010, 13 December 2010 (2010-12-13), pages 64 - 71, XP031899005 *
MINA MAKAR ET AL.: "Real-time video streaming with interactive region-of-interest", PROCEEDINGS OF 2010 IEEE 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2010, 26 September 2010 (2010-09-26), pages 4437 - 4440, XP031815133 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525249A (ja) * 2014-07-01 2017-08-31 キヤノン株式会社 Ｈｅｖｃ階層化メディアデータをカプセル化する方法、装置およびコンピュータプログラム
JP2020022187A (ja) * 2014-07-01 2020-02-06 キヤノン株式会社 メディアファイルの処理装置及び処理方法
US11005904B2 (en) 2014-07-01 2021-05-11 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating HEVC layered media data
JP2017220763A (ja) * 2016-06-06 2017-12-14 ヤフー株式会社 配信装置、配信方法、配信プログラムおよび端末プログラム
JP7160513B2 (ja) 2016-06-06 2022-10-25 ヤフー株式会社 端末プログラム、端末装置、および、情報処理方法
CN109328462B (zh) * 2016-07-29 2021-05-04 联发科技股份有限公司 一种用于流视频内容的方法及装置
WO2018019293A1 (en) * 2016-07-29 2018-02-01 Mediatek Inc. Method and apparatus for streaming video content
CN109328462A (zh) * 2016-07-29 2019-02-12 联发科技股份有限公司 一种用于流视频内容的方法及装置
JP2019526996A (ja) * 2016-09-08 2019-09-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 部分的ビデオ・デコード方法、デバイス、およびシステム
US11153580B2 (en) 2016-09-08 2021-10-19 Koninklijke Kpn N.V. Partial video decoding method, device and system
CN109891905A (zh) * 2016-09-08 2019-06-14 皇家Kpn公司 部分视频解码方法、设备和系统
CN109891905B (zh) * 2016-09-08 2022-02-08 皇家Kpn公司 部分视频解码方法、设备和系统
JP2022066370A (ja) * 2016-10-10 2022-04-28 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
JP7263583B2 (ja) 2016-10-10 2023-04-24 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
US11032571B2 (en) 2017-07-31 2021-06-08 Huawei Technologies Co., Ltd. Image processing method, terminal, and server
JP2020529149A (ja) * 2017-07-31 2020-10-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イメージ処理方法、端末およびサーバ
JP2021500764A (ja) * 2017-08-29 2021-01-07 Ｌｉｎｅ株式会社 映像通話の映像品質向上
JP2022532065A (ja) * 2019-12-30 2022-07-13 テンセント・アメリカ・エルエルシー 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
JP7223169B2 (ja) 2019-12-30 2023-02-15 テンセント・アメリカ・エルエルシー 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
JP2022050366A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド バーサタイルビデオコーディングのトラック符号化
JP7223088B2 (ja) 2020-09-17 2023-02-15 レモン インコーポレイテッド バーサタイルビデオコーディングのトラック符号化
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
US11750815B2 (en) 2020-09-17 2023-09-05 Lemon, Inc. Versatile video coding track coding

Also Published As

Publication number Publication date
US20190045200A1 (en) 2019-02-07
US10187648B2 (en) 2019-01-22
EP3163882A4 (en) 2018-05-16
US10623754B2 (en) 2020-04-14
JP6642427B2 (ja) 2020-02-05
US20170134736A1 (en) 2017-05-11
CN106464941B (zh) 2019-10-29
CN110636238B (zh) 2022-01-28
EP3541079B1 (en) 2021-06-16
JP2020053996A (ja) 2020-04-02
EP3163882A1 (en) 2017-05-03
EP3541079A1 (en) 2019-09-18
JPWO2016002496A1 (ja) 2017-04-27
CN106464941A (zh) 2017-02-22
CN110636238A (zh) 2019-12-31
JP6908098B2 (ja) 2021-07-21
EP3163882B1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6908098B2 (ja) 情報処理装置および方法
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
WO2015182491A1 (ja) 情報処理装置および情報処理方法
JP6508206B2 (ja) 情報処理装置および方法
JP6555263B2 (ja) 情報処理装置および方法
WO2015182492A1 (ja) 情報処理装置および情報処理方法
US20180109585A1 (en) Information processing apparatus and information processing method
JPWO2018142946A1 (ja) 情報処理装置および方法
CN114223211A (zh) 信息处理装置和信息处理方法
JP6501127B2 (ja) 情報処理装置および方法
CN114026849A (zh) 信息处理装置、信息处理方法、再现处理装置以及再现处理方法
JP2016015597A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015220741A (ja) 配信制御システム、配信制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814032

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016531241

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015814032

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015814032

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15321968

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE