[go: up one dir, main page]

CN107409231B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN107409231B
CN107409231B CN201680012745.7A CN201680012745A CN107409231B CN 107409231 B CN107409231 B CN 107409231B CN 201680012745 A CN201680012745 A CN 201680012745A CN 107409231 B CN107409231 B CN 107409231B
Authority
CN
China
Prior art keywords
image
resolution
plane
section
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012745.7A
Other languages
English (en)
Other versions
CN107409231A (zh
Inventor
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107409231A publication Critical patent/CN107409231A/zh
Application granted granted Critical
Publication of CN107409231B publication Critical patent/CN107409231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本公开内容涉及一种图像处理装置和图像处理方法，其可以生成天球图像，其中，抑制了当被映射到球体表面时的极点附近的像素密度的增加。编码器生成上部图像、中间图像和下部图像的编码流，通过在垂直方向上划分由等距圆柱投影从每个方向上的图像而生成的图像来获得所述上部图像、中间图像和下部图像，其中，中间图像以高分辨率被编码，并且上部图像和下部图像以比高分辨率低的低分辨率被编码。本公开内容例如可以应用于图像显示系统。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法。更具体地，本公开内容涉及下述图像处理装置和图像处理方法：其用于生成天球图像，使得当图像被映射到球体表面时，防止球体的两极附近的像素的密度增加。
背景技术
存在如下记录装置：其根据多相机设备所捕获的全方位图像，通过使得水平方向上的360度的图像以及垂直方向上的180度的图像映射到二维(2D)图像(平面图像)来生成天球图像，所生成的天球图像被编码和记录(例如参见PTL 1)。
上述类型的记录装置在生成天球图像时使用诸如等距圆柱投影或立方体映射的方法，通过该方法，三维(3D)图像被映射到2D图像。在使用等距圆柱投影作为用于生成天球图像的方法的情况下，天球图像是通过等距圆柱投影从映射到球体表面的捕获图像形成的球体图像。在使用立方体映射作为用于生成天球图像的方法的情况下，天球图像是规则六面体(立方体)的展开平面图，该规则六面体的面被映射有捕获图像。
在使用等距圆柱投影作为用于生成天球图像的方法的情况下，图像在被水平划分成被映射到球体表面的四个划分图像之前被垂直平分。在这种情况下，映射到球体表面的每个划分图像的形状近似为三角形。也就是说，天球图像的两个上下水平侧在球体的两极处收缩，使得每个划分矩形图像变成三角形图像。因此，两极附近具有非常高的像素密度，并且在编码时被分配许多位。
引用列表
专利文献
[PTL 1]
JP 2006-14174A
发明内容
技术问题
人类通常水平注视，所以通常在水平方向上发现感兴趣的物体。因此，在天球图像中，上极和下极附近的物体通常不是很重要。
鉴于上述情况作出本公开内容。因此，本公开内容的目的是生成天球图像，使得当图像被映射到球体表面时，防止球体的两极附近的像素密度增加。
问题的解决方案
根据本公开内容的第一方面，提供了一种图像处理装置，包括：编码部，其被配置成：以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的顶部图像、中间图像和底部图像为对象，以第一分辨率对所述中间图像进行编码，并且以低于所述第一分辨率的第二分辨率对所述上部图像和所述下部图像进行编码，以生成编码流。
根据本公开内容的第一方面的图像处理方法对应于根据本公开内容的第一方面的图像处理装置。
根据本公开内容的第一方面，以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的顶部图像、中间图像和底部图像为对象，以第一分辨率对所述中间图像进行编码，并且以低于所述第一分辨率的第二分辨率对所述上部图像和所述下部图像进行编码，以生成编码流。
根据本公开内容的第二方面，提供了一种图像处理装置，包括：解码部，其被配置成：在通过以第一分辨率对中间图像进行编码并以低于所述第一分辨率的第二分辨率对上部图像和下部图像进行编码而获得的编码流当中，对所述上部图像或所述下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述上部图像、所述中间图像和所述下部图像。
根据本公开内容的第二方面的图像处理方法对应于根据本公开内容的第二方面的图像处理装置。
根据本公开内容的第二方面，在通过以第一分辨率对中间图像进行编码并以低于所述第一分辨率的第二分辨率对上部图像和下部图像进行编码而获得的编码流当中，对所述上部图像或所述下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述上部图像、所述中间图像和所述下部图像。
根据本公开内容的第一方面和第二方面的图像处理装置可以分别由执行程序的计算机来实现。
要由计算机执行以实现根据本公开内容的第一方面和第二方面的图像处理装置的程序在被提供时可以经由传输介质传送或者被记录在记录介质上。
根据本公开内容的第一方面和第二方面的图像处理装置可以分别是独立装置或者构成单个装置的一个或更多个内部块。
发明的有益效果
根据本公开内容的第一方面，对天球图像进行编码。同样根据本公开内容的第一方面，可以生成天球图像，使得当图像被映射到球体表面时，防止球体的两极附近的像素密度增加。
根据本公开内容的第二方面，对天球图像的编码流进行解码。同样根据本公开内容的第二方面，可以对天球图像的编码流进行解码，使得当图像被映射到球体表面时，防止球体的两极附近的像素的密度增加。
上述有益效果并不限于本公开内容的限制。从接下来的描述中，本公开内容的另外的优点将变得明显。
附图说明
[图1]
图1是示出了作为3D模型的立方体的透视图。
[图2]
图2是示出了通过立方体映射生成的典型天球图像的示意图。
[图3]
图3是示出了通过使用图2中的天球图像生成的用户的视场的典型图像的示意图。
[图4]
图4是示出了图2的天球图像中的像素分布的示意图。
[图5]
图5是示出了作为3D模型的球体的透视图。
[图6]
图6是示出了由等距圆柱投影生成的典型天球图像的示意图。
[图7]
图7是示出了通过使用图6中的天球图像生成的用户的视场的典型图像的示意图。
[图8]
图8是示出了图6中的天球图像中的像素分布的示意图。
[图9]
图9是示出了作为本公开内容的第一实施方式的图像显示系统的典型配置的框图。
[图10]
图10是示出了图9中包括的内容服务器的典型结构的框图。
[图11]
图11是示出了图10中包括的编码器的典型结构的框图。
[图12]
图12是说明了由图10中的内容服务器进行的编码处理的流程图。
[图13]
图13是示出了图9中包括的家庭服务器的典型结构的框图。
[图14]
图14是示出了图13中包括的解码器的典型结构的框图。
[图15]
图15是示出了图13中的解码器的典型操作时序的时序图。
[图16]
图16是说明了由图13中包括的映射处理部生成的立方体图像的示意图。
[图17]
图17是示出了用户的典型视场的示意图。
[图18]
图18是说明了由图13中的家庭服务器进行的解码处理的流程图。
[图19]
图19是说明了图18中包括的面选择处理的细节的流程图。
[图20]
图20是示出了作为下述3D模型的球体的示意图：通过新的等距圆柱投影而将图像映射到该3D模型。
[图21]
图21是说明了由新的等距圆柱投影生成的天球图像的示意图。
[图22]
图22是示出了使用图21中的天球图像生成的用户的视场的典型图像的示意图。
[图23]
图23是示出了图21的天球图像中的像素分布的示意图。
[图24]
图24是示出了作为本公开内容的第二实施方式的图像显示系统的内容服务器的典型配置的框图。
[图25]
图25是示出了图24中包括的映射处理部的典型结构的框图。
[图26]
图26是示出了作为下述3D模型的另一典型球体的示意图：通过新的等距圆柱投影而将图像映射到该3D模型。
[图27]
图27是说明了由新的等距圆柱投影生成的另一个典型的天球图像的示意图。
[图28]
图28是说明了天球图像的连续性的示意图。
[图29]
图29是示出了作为本公开内容的第三实施方式的图像显示系统的典型配置的框图。
[图30]
图30是说明了根据本公开内容的用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的示意图。
[图31]
图31是示出了根据第一模式由家庭服务器映射的球体的图像的示意图。
[图32]
图32是示出了计算机的典型硬件结构的框图。
具体实施方式
下面描述本公开内容的先决条件和用于实施本公开内容的模式(以下称为实施方式)。将在以下标题下给出描述：
0.本公开内容的先决条件(图1至图8)
1.第一实施方式：图像显示系统(图9至图19)
2.第二实施方式：图像显示系统(图20至图28)
3.第三实施方式：图像显示系统(图29)
4.对用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的说明(图30和图31)
5.第四实施方式：计算机(图32)
<本公开内容的先决条件>
(对立方体映射的说明)
图1是示出了作为下述3D模型的立方体的透视图：通过用作用于生成天球图像的方法的立方体映射而将图像映射到该3D模型。
如图1所示，当使用立方体映射作为用于生成天球图像的方法时，将图像映射到构成立方体10的六个面11至16。
在本说明书中，穿过作为立方体10的中心的原点O并与面11和面12垂直相交的轴被称为x轴；与面13和面14垂直相交的轴被称为y轴；并且与面15和面16垂直相交的轴被称为z轴。根据需要，使得x＝r的面11被称为+x面11，并且使得x＝-r的面12被称为-x面12，其中，r表示从原点O到面11至16中的每个面的距离。类似地，根据需要，使得y＝r的面13被称为+y面13；使得y＝-r的面14被称为-y面14；使得z＝r的面15被称为+z面15；并且使得z＝-r的面16被称为-z面16。
+x面11与-x面12相对，+y面13与-y面14相对，并且+z面15与-z面16相对。
图2是示出了通过立方体映射生成的典型天球图像的示意图。
如图2所示，通过立方体映射生成的天球图像30是立方体10的展开平面图图像。具体地，天球图像30由在附图中心处从左向右布置的-x面12的图像32、+z面15的图像35、+x面11的图像31和-z面16的图像36构成，图像35上方有+y面13的图像33并且正下方布置有-y面14的图像34。
图3是示出了通过使用图2中的天球图像30生成的用户的视场的典型图像的示意图。
在图3的示例中，用户的视线矢量50从原点O顺着+x面11和+z面15彼此接触的一侧指向下方(即，视线方向上的矢量)。
在这种情况下，可以使用+x面11的图像31、-y面14的图像34和+z面15的图像35来生成用户的视场51的图像。也就是说，与用户的视线矢量50对应的面是+x面11，使得视线矢量50的x轴分量的符号和x轴坐标的符号相同；是-y面14，使得y轴分量的符号和y轴坐标的符号相同；以及是+z面15，使得z轴分量的符号和z轴坐标的符号相同。
在本说明书中，在构成天球图像的每对相对面中，将可被用于生成用户的视场的图像的那个面称为与用户的视线矢量对应的面。
图4是示出了图2中的天球图像30中的像素分布的示意图。
在图4中，每个点代表像素的中心。
如图4的A中所示，构成天球图像30的像素的中心被布置在水平地和垂直地相距相等距离处。另外，如图4的B中所示，当天球图像30被映射到球体60的表面时，构成被映射的天球图像30的像素的中心被布置在相距短距离处。也就是说，像素密度在映射到球体60的表面的天球图像30中的各处变化很小。因此，天球图像30具有良好的图像质量。
(对等距圆柱投影的说明)
图5是示出了作为由等距圆柱投影生成的天球图像所被映射到的3D模型的球体的透视图。
如图5所示，在使用等距圆柱投影作为用于生成天球图像的方法的情况下，将图像映射到球体70的表面。球体70的表面可以例如划分成相同的大小和形状的八个面71至78。
在本说明书中，穿过作为球体70的中心的原点O、面71的中心和面72的中心的轴被称为A轴；穿过面73的中心和面74的中心的轴被称为B轴；穿过面75的中心和面76的中心的轴被称为C轴；并且穿过面77的中心和面78的中心的轴被称为D轴。按照需要，使得A＝r的面71被称为+A面71，并且使得A＝-r的面72被称为-A面72，其中，r表示从原点O到面71至78中的每个面的距离。类似地，根据需要，使得B＝r的面73被称为+B面73；使得B＝-r的面74被称为-B面74；使得C＝r的面75被称为+C面75；使得C＝-r的面76被称为-C面76；使得D＝r的面77被称为+D面77；并且使得D＝-r的面78被称为-D面78。
+A面71与-A面72相对，+B面73与-B面74相对，+C面75与-C面76相对，并且+D面77与-D面78相对。
图6是示出了由等距圆柱投影生成的典型天球图像的示意图。
如图6所示，通过等距圆柱投影生成的天球图像90是使用球体70通过等距圆柱投影生成的。也就是说，天球图像90的水平坐标和垂直坐标分别对应于球体70在其代表地球时的经度和纬度。
具体地，天球图像90由上方行中从左到右布置的+A面71的图像91、+B面73的图像93、+C面75的图像95和+D面77的图像97以及下方行中从左到右布置的-C面76的图像96、-D面78的图像98、-A面72的图像92、以及-B面74的图像94构成。
图7是示出了通过使用图6中的天球图像90生成的用户的视场的典型图像的示意图。
在图7的示例中，用户的视线矢量110从原点O指向与+A面71、+B面73、-C面76和-D面78的交点。
在这种情况下，可以使用+A面71的图像91、+B面73的图像93、-C面76的图像96和-D面78的图像98来生成用户的视场111的图像。也就是说，与用户的视线矢量110对应的面是+A面71，使得视线矢量110的A轴分量的符号和A轴坐标的符号相同；是+B面73，使得B轴分量的符号和B轴坐标的符号相同；是-C面76，使得C轴分量的符号和C轴坐标的符号相同；以及是-D面78，使得D轴分量的符号和D轴坐标的符号相同。
图8是示出了图6中的天球图像90中的像素分布的示意图。
在图8中，每个点表示像素的中心。
如图8的A中所示，构成天球图像90的像素的中心被布置在水平地和垂直地相距相等距离处。另外，如图8的B中所示，当天球图像90映射到球体70的表面时，构成被映射的天球图像90的图像91至98中的每一个的形状近似为三角形。也就是说，图像91、93、95和97的上部朝向球体70的上极收缩，并且图像92、94、96和98的下部朝向球体70的下极收缩。因此，靠近两极的像素的密度非常高。
通常，构成物体的像素的密度越高，其分辨率越高，使得物体被再现直到高频分量。此外，当编码时，具有高像素密度的物体被分配许多位，使得其图像质量被增强。然而，因为人类通常水平注视，所以通常在水平方向上发现感兴趣的物体。因此，在天球图像90中，上极和下极附近的物体通常不是很重要。
已经广泛使用等距圆柱投影作为用于生成天球图像的方法，特别是在涉及运动图像的情况下更是如此。广泛使用等距圆柱投影的一个原因是球体70的纬度和经度直接对应于矩形形式的天球图像90的x和y坐标，这有利于坐标变换。另一个原因是天球图像90的矩形形式在内部没有不连续性，这适用于处理矩形图像的常见编码方法。
然而，如上面讨论的，通过等距圆柱投影生成的天球图像90在映射在球体70的上极和下极附近的相对不重要的物体的图像中具有高分辨率。这些图像在编码时被分配了许多位。
相比之下，通过立方体映射生成的天球图像30在映射到球体60时具有基本恒定的像素密度。此外，与用户的视线矢量对应的面的数目小于等距圆柱投影中与用户的视线矢量对应的面的数目。另外，从天球图像30划分的图像31至36各自均为方形，其适用于处理矩形图像的常用编码方式。
然而，由于天球图像30是十字形的，因此计算视线矢量比在等距圆柱投影的情况下更复杂。当天球图像90被转换成天球图像30并且被编码时，像素偏移引起转换失真。这导致与如果天球图像90在没有转换的情况下被编码相比，图像质量更低。
因此，本技术旨在使通过等距圆柱投影生成的并且映射到球体的天球图像中的像素的密度基本上均匀。
如上所述，仅使用天球图像30(90)当中的、与用户的视线矢量对应的那些面的图像来生成用户的视场的图像。考虑到这一点，已经提出构成天球图像30(90)的各面被逐个面编码，使得仅与用户的视线矢量对应的那些面的图像的编码流可以被解码，以便减少解码负荷。
然而，诸如运动图像专家组(MPEG)或高级视频编码(AVC)/H.264的常用编码方法涉及在编码中使用按时间顺序的关联。这意味着除了在可随机访问的位置中之外，不可能切换解码目标对象的编码流。因此，如果用户的视线矢量突然改变，则立刻不可能使用与改变的视线矢量对应的那些面的图像来显示用户的视场的图像。
本技术被设计成使得如果用户的视线矢量突然改变，则可以使用与改变的视线矢量对应的那些面的图像来立即显示用户的视场的图像。
<第一实施方式>
(作为第一实施方式的图像显示系统的典型配置)
图9是示出了作为本公开内容的第一实施方式的图像显示系统的典型配置的框图。
图9中的图像显示系统130由多相机设备131、内容服务器132、家庭服务器133、转换器134和头戴式显示装置135构成。图像显示系统130根据由多相机设备131捕获的图像生成天球图像30，并且显示根据所生成的天球图像30得到的用户的视场的图像。
具体地，图像显示系统130中的多相机设备131由多个摄像装置构成。这些摄像装置分别捕获图像，以以帧为单位形成全方位图像。多相机设备131将捕获的全方位图像提供至内容服务器132。
根据由多相机设备131提供的捕获图像，内容服务器132使用立方体映射生成天球图像30。内容服务器132对天球图像30进行下转换。内容服务器132进一步将天球图像30划分成六个面11至16的图像。这生成两种图像：尚待下转换的面11至16的高分辨率图像，以及已被下转换的整个天球图像30的低分辨率图像。
内容服务器132使用AVC或高效视频编码(HEVC)/H.265下的编码方法对面11至16的每个高分辨率图像进行压缩编码，从而生成六个高分辨率编码流(第一编码流)。内容服务器132进一步使用也在AVC或HEVC下的编码方法对低分辨率图像进行压缩编码，以生成一个低分辨率编码流(第二编码流)。
内容服务器132记录由此生成的六个高分辨率编码流和一个低分辨率编码流。此外，内容服务器132经由未示出的网络将所记录的六个高分辨率编码流和一个低分辨率编码流发送到家庭服务器133。
家庭服务器133接收从内容服务器132发送的六个高分辨率编码流和一个低分辨率编码流。使用内部摄像装置133A，家庭服务器133捕获附接到头戴式显示装置135的标记135A的图像。基于标记135A的捕获图像，家庭服务器133检测用户的位置。家庭服务器133经由转换器134从头戴式显示装置135接收头戴式显示装置135中的陀螺仪传感器135B的检测结果。
基于陀螺仪传感器135B的检测结果，家庭服务器133确定用户的视线矢量。基于用户的位置和视线矢量，家庭服务器133确定用户的视场。
家庭服务器133从面11至16当中确定与用户的视线矢量对应的三个面。从六个高分辨率编码流中，家庭服务器133(图像处理装置或终端)选择与用户的视线矢量对应的三个面的高分辨率编码流并对这些编码流进行解码，从而生成三个面的高分辨率图像。
家庭服务器133还对一个低分辨率编码流进行解码以生成低分辨率图像。根据由此生成的三个面的高分辨率图像以及低分辨率图像，家庭服务器133生成用户的视场的图像作为显示图像。家庭服务器133经由未示出的高清多媒体接口(HDMI；注册商标)电缆将显示图像发送到转换器134。
转换器134将从家庭服务器133发送的显示图像中的坐标转换成头戴式显示装置135的坐标。转换器134将具有转换后的坐标的显示图像提供至头戴式显示装置135。
头戴式显示装置135佩戴在用户的头上。头戴式显示装置135显示从转换器134提供的显示图像。头戴式显示装置135内的陀螺仪传感器135B检测头戴式显示装置135的倾斜度，并且将检测结果经由转换器134发送到家庭服务器133。
(内容服务器的典型结构)
图10是示出了图9中包括的内容服务器132的典型结构的框图。
图10中的内容服务器132由拼接处理部151、映射处理部152、下转换部153、编码器154、划分部155、编码器156-1至156-6、存储装置157以及发送部158构成。
拼接处理部151使从图9中的多相机设备131提供的捕获的全方位图像的颜色和亮度均匀，并且将这些图像拼接在一起而没有图像之间的交叠。拼接处理部151向映射处理部152提供由此获得的捕获图像。
映射处理部152根据由拼接处理部151提供的捕获图像，通过立方体映射生成天球图像30。映射处理部152将由此生成的天球图像30提供至下转换部153和划分部155。顺便提及，拼接处理部151和映射处理部152可以一体形成。
下转换部153(转换部)通过将从映射处理部152提供的天球图像30的分辨率水平地和垂直地减半来生成低分辨率图像。下转换部153将低分辨率图像提供至编码器154。
编码器154(第二编码部)对从下转换部153提供的低分辨率图像进行编码，以生成低分辨率编码流。编码器154将低分辨率编码流提供至存储装置157用于在其中进行记录。
划分部155将从映射处理部152提供的天球图像30划分成六个面11至16的图像31至36。划分部155将作为+x面11的高分辨率图像的图像31提供至编码器156-1，并且将作为-x面12的高分辨率图像的图像32提供至编码器156-2。划分部155还将作为+y面13的高分辨率图像的图像33提供至编码器156-3，并且将作为-y面14的高分辨率图像的图像34提供至编码器156-4。划分部155还将作为+z面15的高分辨率图像的图像35提供至编码器156-5，并且将作为-z面16的高分辨率图像的图像36提供至编码器156-6。
编码器156-1至156-6(第一编码部)对从划分部155提供的高分辨率图像以下述方式进行编码：该方式使得面11至16中的各对相对面在可随机访问的位置方面被同步，并且使得这些面被布置成闭合的图像组(GOP)结构。编码器156-1至156-6将由此生成的面11至16的高分辨率编码流提供至存储装置157用于在其中进行记录。
存储装置157(存储部)记录从编码器154提供的一个低分辨率编码流以及从编码器156-1至156-6提供的面11至16的六个高分辨率编码流。
发送部158(传送部)读取存储在存储装置157中的一个低分辨率编码流和六个高分辨率编码流，并且经由未示出的网络将所取回的流发送(传送)到图9中的家庭服务器133。
(编码器的典型结构)
图11是示出了图10中包括的编码器154的典型结构的框图。
图11中的编码器154包括画面排序缓存191、算术部192、正交变换部193、量化部194、无损编码部195、累积缓存196、生成部197、逆量化部198、逆正交变换部199和加法部200。编码器154还包括滤波器201、帧存储器202、切换装置203、帧内预测部204、运动预测/补偿部205、预测图像选择部206和速率控制部207。编码器154根据HEVC方法按编码单元(CU)对低分辨率图像进行编码。
具体地，编码器154中的画面排序缓存191存储从图10中的下转换部153提供的低分辨率图像。画面排序缓存191根据GOP结构将显示序列中的所存储的低分辨率图像的帧排序为编码序列中的帧的图像。画面排序缓存191将经排序的低分辨率图像输出到算术部192、帧内预测部204和运动预测/补偿部205。
算术部192在进行编码之前，从由画面排序缓存191提供的低分辨率图像中减去由预测图像选择部206提供的预测图像。算术部192将所得到的图像输出到正交变换部193作为残差信息。如果没有从预测图像选择部206提供预测图像，则算术部192将从画面排序缓存191取回的低分辨率图像直接输出到正交变换部193作为残差信息。
正交变换部193按变换单元(TU)对来自算术部192的残差信息进行正交变换。正交变换部193向量化部194提供作为正交变换的结果而获得的正交变换系数。
量化部194对从正交变换部193提供的正交变换系数进行量化。量化部194将量化的正交变换系数提供至无损编码部195。
无损编码部195从帧内预测部204获取用于指示最佳帧内预测模式的帧内预测模式信息。无损编码部195例如从运动预测/补偿部205获取用于指示最佳帧间预测模式的帧间预测模式信息、运动矢量、以及用于标识参考图像的信息。无损编码部195进一步从滤波器201获取关于偏移滤波器的偏移滤波器信息。
无损编码部195使从量化部194提供的量化的正交变换系数经受无损编码，诸如可变长度编码(例如，上下文自适应可变长度编码(CAVLC))或算术编码(例如，上下文自适应二进制算术编码(CABAC))。
无损编码部195进一步对帧内预测模式信息进行无损编码，或者对帧间预测模式信息、运动矢量、用于标识参考图像的信息、以及偏移滤波器信息进行无损编码，以作为关于所涉及的编码的编码信息。无损编码部195将经无损编码的信息和正交变换系数作为编码数据提供至累积缓存196用于在其中累积。可替选地，经无损编码的信息可以作为头部部分诸如切片头部添加到编码数据。
累积缓存196临时存储从无损编码部195提供的编码数据。累积缓存196将所存储的编码数据提供至生成部197。
生成部197根据诸如序列参数集(SPS)或图像参数集(PPS)的参数集以及根据由累积缓存196提供的编码数据来生成低分辨率编码流。生成部197将所生成的低分辨率编码流提供至图10中的存储装置157。
从量化部194输出的量化的正交变换系数也输入到逆量化部198。逆量化部198根据与由量化部194使用的量化方法对应的方法，对由量化部194量化的正交变换系数进行逆量化。逆量化部198向逆正交变换部199提供作为逆量化的结果而获得的正交变换系数。
逆正交变换部199根据与由正交变换部193使用的正交变换方法对应的方法，按TU对从逆量化部198提供的正交变换系数进行逆正交变换。逆正交变换部199向加法部200提供作为逆正交变换的结果而获得的残差信息。
加法部200通过将从逆正交变换部199提供的残差信息和从预测图像选择部206提供的预测图像相加来对低分辨率图像进行部分解码。如果没有从预测图像选择部206提供预测图像，则加法部200使用从逆正交变换部199提供的残差信息作为经部分解码的低分辨率图像。当低分辨率图像的整个画面尚待解码时，加法部200将所解码的低分辨率图像提供至帧存储器202。当整个画面被解码时，加法部200将所解码的低分辨率图像提供至滤波器201。
滤波器201使从加法部200提供的低分辨率图像经受使块失真被去除的去块滤波处理。滤波器201使由去块滤波处理得到的低分辨率图像经受自适应偏移滤波(采样自适应偏移(SAO))处理，该处理主要从低分辨率图像中去除振铃。
具体地，滤波器201确定针对每个最大编码单元(LCU)的自适应偏移滤波处理的类型，并且获得用于每个自适应偏移滤波处理的偏移。使用由此获得的偏移，滤波器201对由去块滤波处理得到的低分辨率图像进行所确定的类型的自适应偏移滤波处理。
滤波器201向帧存储器202提供由自适应偏移滤波处理得到的低分辨率图像。滤波器201还向无损编码部195提供用于指示所进行的自适应偏移滤波处理的类型以及所涉及的偏移的偏移滤波器信息。
帧存储器202累积从滤波器201提供的低分辨率图像和从加法部200提供的低分辨率图像。与帧存储器202中累积的且尚未经历滤波处理的低分辨率图像中的预测单元(PU)相邻的像素经由切换装置203作为周边像素被提供至帧内预测部204。帧存储器202中累积的并经过滤波处理的低分辨率图像经由切换装置203作为参考图像被输出到运动预测/补偿部205。
帧内预测部204使用经由切换装置203按PU从存储器202读取的周边像素对所有候选帧内预测模式进行帧内预测处理。
此外，帧内预测部204基于从画面排序缓存191读取的低分辨率图像和作为帧内预测处理的结果而生成的预测图像，计算所有候选帧内预测模式的成本函数值(稍后详细讨论)。帧内预测部204继续进行以确定成本函数值最小的帧内预测模式作为最佳帧内预测模式。
帧内预测部204向预测图像选择部206提供在最佳帧内预测模式中生成的预测图像和对应的成本函数值。在被预测图像选择部206通知对最佳帧内预测模式中生成的预测图像的选择时，帧内预测部204将帧内预测模式信息提供至无损编码部195。
也称为速率失真(RD)成本的成本函数值可以通过诸如由联合模型(JM)定义的高复杂度模式或低复杂度模式的方法来计算，其中联合模型(JM)是H.264/AVC参考软件。H.264/AVC参考软件在http://iphome.hhi.de/suehring/tml/index.htm中公开。
运动预测/补偿部205按PU对所有候选帧间预测模式进行运动预测/补偿处理。具体地，运动预测/补偿部205基于从画面排序缓存191提供的低分辨率图像和参考图像来检测所有候选帧间预测模式的运动矢量。基于运动矢量，运动预测/补偿部205对参考图像进行补偿处理以生成预测图像。顺便提及，帧间预测模式是表示PU尺寸和其他设置的模式。
运动预测/补偿部205还基于低分辨率图像和预测图像来计算所有候选帧间预测模式的成本函数值。运动预测/补偿部205然后确定成本函数值最小的帧间预测模式作为最佳帧间预测模式。运动预测/补偿部205继续向预测图像选择部206提供最佳帧间预测模式中的成本函数值和对应的预测图像。
在被预测图像选择部206通知对最佳帧间预测模式中生成的预测图像的选择时，运动预测/补偿部205例如向无损编码部195输出帧间预测模式信息、相应的运动矢量和用于标识参考图像的信息。
预测图像选择部206基于从帧内预测部204和运动预测/补偿部205提供的成本函数值，将具有两个对应的成本函数值中的较小值的最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。预测图像选择部206将最佳预测模式的预测图像提供至算术部192和加法部200。此外，预测图像选择部206通知帧内预测部204或运动预测/补偿部205对最佳预测模式的预测图像的选择。
速率控制部207以下述方式控制量化部194的量化速率：该方式使得不会基于在累积缓存196中累积的编码数据发生上溢或下溢。
尽管未示出，但编码器156-1至156-6的结构与编码器154的结构基本相同。
(对由内容服务器进行的处理的说明)
图12是说明了由图10中的内容服务器132进行的编码处理的流程图。编码处理例如以帧为单位进行。
在图12的步骤S11中，拼接处理部151使从图9中的多相机设备131提供的捕获的全方位图像的颜色和亮度均匀，并且将这些图像拼接在一起而没有图像之间的交叠。拼接处理部151向映射处理部152提供由此获得的捕获图像。
在步骤S12中，映射处理部152根据由拼接处理部151提供的捕获图像通过立方体映射生成天球图像30。映射处理部152将天球图像30提供至下转换部153和划分部155。
在步骤S13中，下转换部153对从映射处理部152提供的天球图像30进行下转换，以生成低分辨率图像。下转换部153将所得到的低分辨率图像提供至编码器154。
在步骤S14中，编码器154对从下转换部153提供的低分辨率图像进行编码，以生成低分辨率编码流。编码器154将低分辨率编码流提供至存储装置157。
在步骤S15中，划分部155将从映射处理部152提供的天球图像30划分成六个面11至16的图像31至36。划分部155将图像31至36作为面11至16的高分辨率图像分别提供至编码器156-1至156-6。
在步骤S16中，编码器156-1至156-6分别对面11至16的高分辨率图像编码以生成编码流。编码器156-1至156-6将编码流提供至存储装置157。
在步骤S17中，存储装置157记录从编码器154提供的一个低分辨率编码流和从编码器156-1至156-6提供的六个高分辨率编码流。
在步骤S18中，发送部158从存储装置157读取一个低分辨率编码流和六个高分辨率编码流，并且经由未示出的网络将所取回到的流发送到家庭服务器133。这使得处理结束。
(家庭服务器的典型结构)
图13是示出了图9中包括的家庭服务器133的典型结构的框图。
图13中的家庭服务器133由摄像装置133A、接收部221、存储装置222、解码器223、切换装置224-1至224-3、解码器225-1至225-3、映射处理部226、渲染部227、另一接收部228和视线检测部229构成。
家庭服务器133中的接收部221经由未示出的网络接收从图10中的发送部158发送的六个高分辨率编码流和一个低分辨率编码流。接收部221将接收到的六个高分辨率编码流和一个低分辨率编码流提供至存储装置222用于在其中进行记录。
存储装置222记录从接收部221提供的六个高分辨率编码流和一个低分辨率编码流。存储装置222将一个低分辨率编码流提供至解码器223。
从六个高分辨率编码流中，存储装置222读取彼此相对的+x面11和-x面12的成对的编码流，并且向切换装置224-1提供所取回到的流。类似地，存储装置222向切换装置224-2提供彼此相对的+y面13和-y面14的成对的编码流，并且向切换装置224-3提供彼此相对的+z面15和-z面16的成对的编码流。
解码器223(第二解码部)对从存储装置222提供的一个低分辨率编码流进行解码，以生成低分辨率图像。解码器223将低分辨率图像提供至映射处理部226。
切换装置224-1基于从视线检测部229提供的用于选择+x面11和-x面12之一的面选择信息来选择+x面11和-x面12的成对的高分辨率编码流之一，并且将所选择的流提供至解码器225-1。类似地，切换装置224-2基于面选择信息向解码器225-2提供+y面13和-y面14的成对的高分辨率编码流之一。切换装置224-3基于面选择信息向解码器225-3提供+z面15和-z面16的成对的高分辨率编码流之一。
解码器225-1(第一解码部)对从切换装置224-1提供的高分辨率编码流进行解码，以生成+x面11或-x面12的高分辨率图像，并且将所生成的高分辨率图像提供至映射处理部226。解码器225-2(第一解码部)对从切换装置224-2提供的高分辨率编码流进行解码，以生成+y面13或-y面14的高分辨率图像，并且将所生成的高分辨率图像提供至映射处理部226。解码器225-3(第一解码部)对从切换装置224-3提供的高分辨率编码流进行解码，以生成+z面15或-z面16的高分辨率图像，并且将所生成的高分辨率图像提供至映射处理部226。
映射处理部226将从解码器223提供的低分辨率图像作为纹理映射到立方体10的面11至16中的每个面。此后，映射处理部226将从解码器225-1至225-3提供的三个面的图像叠加在映射有低分辨率图像的立方体10上。映射处理部226将所得到的立方体图像提供至渲染部227。
渲染部227将从映射处理部226提供的立方体图像投影到从视线检测部229提供的用户的视场上，从而生成用户的视场的图像。渲染部227经由HDMI电缆将所生成的图像作为显示图像发送到图9中的转换器134。
接收部228经由转换器134从头戴式显示装置135接收图9中的陀螺仪传感器135B的检测结果。接收部228将检测结果提供至视线检测部229。
视线检测部229基于由接收部228提供的陀螺仪传感器135B的检测结果来确定用户的视线矢量。基于用户的视线矢量，视线检测部229(选择部)将面11至16中的三个面确定为与视线矢量对应的面。
具体地，作为与用户视线矢量对应的三个面，视线检测部229确定+x面11或-x面12以使得视线矢量的x轴分量的符号和x轴坐标的符号相同，确定+y面13或-y面14以使得y轴分量的符号和y轴坐标的符号相同，并且确定+z面15或-z面16以使得z轴分量的符号和z轴坐标的符号相同。
视线检测部229进一步从摄像装置133A获取对标记135A捕获的图像，并且基于所捕获的标记图像来检测用户的位置。视线检测部229基于用户的位置和视线矢量来确定用户的视场。
视线检测部229将用户的视场提供至渲染部227。此外，视线检测部229生成面选择信息，该面选择信息用于选择面11至16中的每对相对面中的一个面作为与用户的视线矢量对应的面。视线检测部229向切换装置224-1提供用于选择+x面11或-x面12的面选择信息，向切换装置224-2提供用于选择+y面13或-y面14的面选择信息，并且向切换装置224-3提供用于选择+z面15或-z面16的面选择信息。
(解码器的典型结构)
图14是示出了图13中包括的解码器223的典型结构的框图。
图14中的解码器223包括累积缓存241、无损解码部242、逆量化部243、逆正交变换部244、加法部245、滤波器246和画面排序缓存247。解码器223还包括帧存储器248、切换装置249、帧内预测部250、运动补偿部251和切换装置252。
解码器223中的累积缓存241从图13中的存储装置222接收低分辨率编码流以累积编码数据。包括在低分辨率编码流中的参数集根据需要被提供至解码器223的部件。累积缓存241将累积的编码数据提供至无损解码部242。
无损解码部242对来自累积缓存241的编码数据进行无损解码，诸如与由图11中的无损编码部195进行的无损编码对应的可变长度解码或算术解码，从而获取量化的正交变换系数和编码信息。无损解码部242将量化的正交变换系数提供至逆量化部243。无损解码部242向帧内预测部250提供作为编码信息的帧内预测模式信息或其他信息。无损解码部242例如向运动补偿部251提供运动矢量、帧间预测模式信息和用于标识参考图像的信息。
此外，无损解码部242向切换装置252提供作为编码信息的帧内预测模式信息或帧间预测模式信息。
逆量化部243、逆正交变换部244、加法部245、滤波器246、帧存储器248、切换装置249、帧内预测部250和运动补偿部251分别进行与图11中的逆量化部198、逆正交变换部199、加法部200、滤波器201、帧存储器202、切换装置203、帧内预测部204和运动预测/补偿部205大致相同的处理。该处理对低分辨率图像进行解码。
具体地，逆量化部243对来自无损解码部242的量化的正交变换系数进行逆量化。逆量化部243将所得到的正交变换系数提供至逆正交变换部244。
逆正交变换部244按TU对来自逆量化部243的正交变换系数进行逆正交变换。逆正交变换部244向加法部245提供作为逆正交变换的结果而获得的残差信息。
加法部245将从逆正交变换部244提供的残差信息和从切换装置252提供的预测图像相加，从而对低分辨率图像进行部分解码。如果没有从切换装置252提供预测图像，则加法部245使用从逆正交变换部244提供的残差信息作为经部分解码的低分辨率图像。如果低分辨率图像的整个画面尚待解码，则加法部245将所解码的低分辨率图像提供至帧存储器248。当整个画面被解码时，加法部245将所解码的低分辨率图像提供至滤波器246。
滤波器246对从加法部245提供的低分辨率图像进行去块滤波处理。使用来自无损解码部242的偏移滤波器信息所指示的偏移，滤波器246针对每个LCU对经过去块滤波处理的低分辨率图像进行偏移滤波器信息所指示的类型的自适应偏移滤波处理。滤波器246将经过自适应偏移滤波处理的低分辨率图像提供至帧存储器248和画面排序缓存247。
画面排序缓存247以帧为单位存储从滤波器246提供的低分辨率图像。画面排序缓存247将编码序列中的所存储的低分辨率图像的帧排序回初始显示序列。画面排序缓存247将排序后的图像提供至图13中的映射处理部226。
帧存储器248累积从滤波器246提供的低分辨率图像和从加法部245提供的低分辨率图像。与帧存储器248中累积的且尚未经历滤波处理的低分辨率图像中的PU相邻的像素经由切换装置249作为周边像素被提供至帧内预测部250。帧存储器248中累积的且经过滤波处理的低分辨率图像经由切换装置249作为参考图像被提供至运动补偿部251。
帧内预测部250按PU使用经由切换装置249从帧存储器248读出的周边像素，关于由无损解码部242提供的帧内预测模式信息所指示的最佳帧内预测模式进行帧内预测处理。帧内预测部250向切换装置252提供作为帧内预测处理的结果而生成的预测图像。
运动补偿部251经由切换装置249从帧存储器248读取参考图像，参考图像由从无损解码部242提供的参考图像标识信息标识。使用参考图像和从无损解码部242提供的运动矢量，运动补偿部251关于由无损解码部242提供的帧间预测模式信息所指示的最佳帧间预测模式，按PU进行运动补偿处理。运动补偿部251向切换装置252提供作为运动补偿处理的结果而生成的预测图像。
在由无损解码部242给出帧内预测模式信息的情况下，切换装置252向加法部245提供从帧内预测部250提供的预测图像。在由无损解码部242给出帧间预测模式信息的情况下，切换装置252向加法部245提供从运动补偿部251提供的预测图像。
(解码器的典型操作时序)
图15是示出了图13中的解码器223和解码器225-1至225-3的典型操作时序的时序图。
在图15中，横轴表示时间。同样在图15中，粗箭头表示要由解码器223和解码器225-1至225-3解码的目标。
如果从视线检测部229提供的面选择信息被改变，则切换装置224-1至224-3各自在可随机访问的位置中从所输入的成对的高分辨率编码流中的一个高分辨率编码流切换到另一个高分辨率编码流。因此，如图15所示，解码器225-1至225-3在可随机访问的位置中改变作为解码目标的高分辨率编码流。
低分辨率编码流总是输入到解码器223。解码器223对低分辨率编码流进行连续解码。
如上所述，要解码的高分辨率编码流仅在可随机访问的位置中可以进行切换。因此，如果视线矢量突然改变，则正在解码的每个高分辨率编码流不能改变，直到到达下一个可随机访问的位置为止。因此，不可能生成与改变的视线矢量对应的三个面的高分辨率图像。然而，由于低分辨率编码流正被连续地解码，所以可以在过渡期间使用与改变的视线矢量对应的面的低分辨率图像来生成显示图像。
输入到每个切换装置224-1至224-3的成对的高分辨率编码流具有其被同步的、可随机访问的位置，并且具有闭合的GOP结构。因此，解码器225-1至225-3中的每一个仅需要从流被切换的位置开始对新选择的流进行解码。
相比之下，如果成对的编码流各自具有不同的可随机访问位置，或者如果它们不具有闭合的GOP结构，则要重新选择的流需要在流被切换的位置之前被解码。因此，尚待选择的编码流和新选择的编码流两者需要同时解码。因此，需要存在与所涉及的高分辨率编码流一样多的、用于对高分辨率编码流进行解码的解码器。
如果编码器156-1至156-6以使得每对编码流具有不同的可随机访问的位置的方式进行编码，则解码器225-1至225-3被允许具有用于切换要解码的流的交错时序。这使解码处理的负荷平滑。
(典型的立方体图像)
图16是说明了由图13中包括的映射处理部226生成的立方体图像的示意图。
在图16中，每个正方形表示立方体图像的LCU。图16中的A和B示出了从立方体10内部观看的立方体图像。
在图16中的A的示例中，与用户的视线矢量对应的面是+x面11、-y面14和+z面15。因此，如图16的A中所示，映射处理部226通过映射生成立方体图像261，使得图像31、图像34和图像35分别叠加在映射有低分辨率图像260的立方体10的+x面11、-y面14和+z面15上。
图像31、图像34和图像35以及低分辨率图像260被映射到相同尺寸的面。这意味着低分辨率图像260的LCU的尺寸比图像31、图像34和图像35的LCU的尺寸大。
在图16中的B的示例中，与用户的视线矢量对应的面是+x面11、-y面14和-z面16。因此，如图16的B中所示，映射处理部226通过映射生成立方体图像262，使得图像31、图像34和图像36分别叠加在映射有低分辨率图像260的立方体10的+x面11、-y面14和-z面16上。
图像31、图像34和图像36以及低分辨率图像260被映射到相同尺寸的面。这意味着低分辨率图像260的LCU的尺寸比图像31、图像34和图像36的LCU的尺寸大。
如上所述，构成立方体10的每对相对面中的一个面被映射有高分辨率图像，而该对相对面中的另一个面被映射有低分辨率图像。
当用户的视线矢量被改变、从而导致与用户的视线矢量对应的面相应地改变时，映射有高分辨率图像的至少一个面被成对的另一面代替。例如，如果与用户的视线矢量对应的面从+x面11、-y面14和+z面15改变为+x面11、-y面14和-z面16，则立方体图像261被立方体图像262代替。
此时，立方体图像261和262各自是使面11至16全部被映射的图像。因此，渲染部227可以使用立方体图像262立即生成用户的视场的显示图像，直到生成与改变的视线矢量对应的立方体图像262为止。
(用户的视场的示例)
图17是示出了用户的视场的示例的示意图。
在图17的示例中，立方体图像262由映射处理部226生成。
如图17所示，取决于与用户的位置对应的立方体10内的位置，在生成用户的视场271的图像时可能需要使用除与用户的视线矢量对应的+x面11、-y面14和-z面16以外的+z面15的图像。
在这种情况下，渲染部227仍然可以使用+x面11的图像31、-y面14的图像34、-z面16的图像36、以及+z面15的低分辨率图像260来生成视场271的图像。这是因为立方体图像262是使面11至16全部被映射的图像。
相比之下，如果不生成低分辨率编码流，则立方体图像是使得仅与用户的视线矢量对应的三个面被映射的图像。因此，不能生成用户的视场271的图像。
(对由家庭服务器进行的处理的说明)
图18是说明了由图13中的家庭服务器133进行的解码处理的流程图。解码处理例如以帧为单位进行。
在图18的步骤S31中，家庭服务器133中的接收部221经由未示出的网络接收从图10中的发送部158发送的一个低分辨率编码流和六个高分辨率编码流。接收部221将接收到的一个低分辨率编码流和六个高分辨率编码流提供至存储装置222。
在步骤S32中，存储装置222记录从接收部221提供的一个低分辨率编码流和六个高分辨率编码流。
在步骤S33中，存储装置222从六个高分辨率编码流中读取彼此相对的+x面11和-x面12的成对的编码流，并且将由此所取回的成对的流提供至切换装置224-1。类似地，存储装置222向切换装置224-2提供彼此相对的+y面13和-y面14的成对的编码流，并且向切换装置224-3提供彼此相对的+z面15和-z面16的成对的编码流。存储装置222还读取一个低分辨率编码流并且将其提供至解码器223。
在步骤S34中，接收部228经由转换器从头戴式显示装置135接收图9中的陀螺仪传感器135B的检测结果。接收部228将检测结果提供至视线检测部229。
在步骤S35中，视线检测部229基于从接收部228提供的陀螺仪传感器135B的检测结果来确定用户的视线矢量。
在步骤S36中，摄像装置133A捕获标记135A的图像，并且将捕获图像提供至视线检测部229。在步骤S37中，视线检测部229基于从摄像装置133A提供的标记135A的捕获图像来检测用户的位置。
在步骤S38中，视线检测部229基于用户的位置和视线矢量来确定用户的视场并将面11至16中的三个确定为与用户的视线矢量对应的面。视线检测部229将用户的视场提供至渲染部227。
在步骤S39中，视线检测部229生成面选择信息，该面选择信息用于选择面11至16中的每对相对面中的一个面作为与用户的视线矢量对应的面。视线检测部229向切换装置224-1提供用于选择+x面11或-x面12的面选择信息，向切换装置224-2提供用于选择+y面13或-y面14的面选择信息，并且向切换装置224-3提供用于选择+z面15或-z面16的面选择信息。
在步骤S40中，切换装置224-1至224-3基于从视线检测部229提供的面选择信息，进行用于选择高分辨率编码流的面选择处理。稍后将参考图19详细讨论面选择处理。
在步骤S41中，解码器225-1对从切换装置224-1提供的高分辨率编码流进行解码，以生成+x面11或-x面12的高分辨率图像，并且将所生成的图像提供至映射处理部226。解码器225-2对从切换装置224-2提供的高分辨率编码流进行解码，以生成+y面13或-y面14的高分辨率图像，并且将所生成的图像提供至映射处理部226。解码器225-3对从切换装置224-3提供的高分辨率编码流进行解码，以生成+z面15或-z面16的高分辨率图像，并且将所生成的图像提供至映射处理部226。
在步骤S42中，解码器223对从存储装置222提供的一个低分辨率编码流进行解码，以生成低分辨率图像。解码器223将所生成的低分辨率图像提供至映射处理部226。
在步骤S43中，映射处理部226将从解码器223提供的低分辨率图像映射到立方体10，并且将从解码器225-1至225-3提供的三个面的高分辨率图像叠加到立方体10上进行映射。映射处理部226向渲染部227提供作为映射的结果而获得的立方体图像。
在步骤S44中，渲染部227基于来自映射处理部226的立方体图像和来自视线检测部229的用户的视场，将立方体图像投影到用户的视场上。通过这样做，渲染部227生成用户的视场的图像作为显示图像。
在步骤S45中，渲染部227经由HDMI电缆将显示图像发送到图9中的转换器134。这使得处理结束。
图19是说明了图18的步骤S40中的面选择处理的细节的流程图。
在图19的步骤S61中，切换装置224-1确定要处理的帧是否使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置。
如果在步骤S61中确定要处理的帧使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S62。在步骤S62中，切换装置224-1确定是否从视线检测部229提供了用于选择+x面11的面选择信息。
如果在步骤S62中确定提供了用于选择+x面11的面选择信息，则处理转移到步骤S63。在步骤S63中，切换装置224-1从由存储装置222提供的+x面11和-x面12的高分辨率编码流中，选择+x面11的高分辨率编码流作为要解码的流。切换装置224-1将所选择的高分辨率编码流提供至解码器225-1。
如果在步骤S62中确定没有提供用于选择+x面11的面选择信息，即，确定从视线检测部229提供了用于选择-x面12的面选择信息，则处理转移到步骤S64。在步骤S64中，切换装置224-1从由存储装置222提供的+x面11和-x面12的高分辨率编码流中，选择-x面12的高分辨率编码流作为要解码的流。切换装置224-1将所选择的高分辨率编码流提供至解码器225-1。
如果在步骤S61中确定要处理的帧没有使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S65。
在步骤S65中，切换装置224-1从由存储装置222提供的+x面11和-x面12的高分辨率编码流中，选择与为紧前一帧选择的面相同的面的高分辨率编码流作为要解码的流。
也就是说，如果要处理的帧没有使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则要解码的流不在+x面11与-x面12的高分辨率编码流之间切换。切换装置224-1将所选择的高分辨率编码流提供至解码器225-1。在完成步骤S63至S65之后，处理转移到步骤S66。
在步骤S66中，切换装置224-2确定要处理的帧是否使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置。
如果在步骤S66中确定要处理的帧使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S67。在步骤S67中，切换装置224-2确定是否从视线检测部229提供了用于选择+y面13的面选择信息。
如果在步骤S67确定提供了用于选择+y面13的面选择信息，则处理转移到步骤S68。在步骤S68中，切换装置224-2从由存储装置222提供的+y面13和-y面14的高分辨率编码流中，选择+y面13的高分辨率编码流作为要解码的流。切换装置224-2将所选择的高分辨率编码流提供至解码器225-2。
如果在步骤S67中确定没有提供用于选择+y面13的面选择信息，即，确定从视线检测部229提供了用于选择-y面14的面选择信息，则处理转移到步骤S69。在步骤S69中，切换装置224-2从由存储装置222提供的+y面13和-y面14的高分辨率编码流中，选择-y面14的高分辨率编码流作为要解码的流。切换装置224-2将所选择的高分辨率编码流提供至解码器225-2。
如果在步骤S66中确定要处理的帧没有使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S70。
在步骤S70中，切换装置224-2从由存储装置222提供的+y面13和-y面14的高分辨率编码流中，选择与为紧前一帧选择的面相同的面的高分辨率编码流作为要解码的流。
也就是说，如果要处理的帧没有使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则要解码的流不在+y面13与-y面14的高分辨率编码流之间切换。切换装置224-2将所选择的高分辨率编码流提供至解码器225-2。当完成步骤S68至S70时，处理转移到步骤S71。
在步骤S71中，切换装置224-3确定要处理的帧是否使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置。
如果在步骤S71中确定要处理的帧使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S72。在步骤S72中，切换装置224-3确定是否从视线检测部229提供了用于选择+z面15的面选择信息。
如果在步骤S72中确定提供了用于选择+z面15的面选择信息，则处理转移到步骤S73。在步骤S73中，切换装置224-3从由存储装置222提供的+z面15和-z面16的高分辨率编码流中，选择+z面15的高分辨率编码流作为要解码的流。切换装置224-3将所选择的高分辨率编码流提供至解码器225-3。
如果在步骤S72中确定没有提供用于选择+z面15的面选择信息，即，确定从视线检测部229提供了用于选择-z面16的面选择信息，则处理转移到步骤S74。在步骤S74中，切换装置224-3从由存储装置222提供的+z面15和-z面16的高分辨率编码流中，选择-z面16的高分辨率编码流作为要解码的流。切换装置224-3将所选择的高分辨率编码流提供至解码器225-3。
如果在步骤S71中确定要处理的帧没有使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S75。
在步骤S75中，切换装置224-3从由存储装置222提供的+z面15和-z面16的高分辨率编码流中，选择与为紧前一帧选择的面相同的面的高分辨率编码流。
也就是说，如果要处理的帧没有使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则要解码的流不在+z面15与-z面16的高分辨率编码流之间切换。切换装置224-3将所选择的高分辨率编码流提供至解码器225-3。在完成步骤S73至S75之后，处理转移到图18中的步骤S41。
如图19所示，基于面选择信息，面11至16中的每对相对面中的一个面独立于其他对的相对面而被选择作为解码目标。
以上述方式，图像显示系统130的内容服务器132生成构成天球图像30的面11至16中的每个面的高分辨率编码流以及表示整个天球图像30的低分辨率编码流。
因此，如果视线矢量突然改变，则使用低分辨率图像立即显示用户的视场的图像，直到与改变的视线矢量对应的面的高分辨率编码流被解码为止。如果在生成用户的视场的图像时需要使用除了与视线矢量对应的三个面以外的面，则仍然可以使用低分辨率图像来显示用户的视场的图像。
家庭服务器133与通过对表示整个天球图像30的一个编码流进行解码而生成显示图像的任何家庭服务器兼容。
<第二实施方式>
(对根据第二实施方式的用于生成天球图像的方法的说明)
图20是示出了作为下述3D模型的球体的示意图：通过第二实施方式中的用于生成天球图像的方法而将图像映射到该3D模型(该方法在以下称为新的等距圆柱投影)。
如图20所示，除了下述方面之外，通过新的等距圆柱投影按照与通过等距圆柱投影相同的方式将图像映射到球体280的表面：将球体280的表面垂直划分成三个面，这三个面当中的中间面进一步水平划分成四个，最终构成近似相同面积的六个面281到286。在图20的示例中，球体280的中间面以下述方式被划分成面283至286：该方式使得映射到球体280的图像的前面291位于面284与面285之间的边界上的中心处，并且后面292位于面283与面286之间的边界上的中心处。图像的前面291通常位于参考视线方向(例如，在佩戴头戴式显示装置135的用户自然面向前方时适用的视线方向)上的视场的中心处。
在本说明书中，穿过作为球体280的中心的原点O且穿过面281的中心和面282的中心的轴被称为a轴；通过面283的中心和面284的中心的轴被称为b轴；并且穿过面285的中心和面286的中心的轴被称为c轴。根据需要，使得a＝r的面281，被称为+a面281，其中，r表示从原点O到面281至286中的每个面的距离。根据需要，使得a＝-r的面282被称为-a面282。类似地，根据需要，使得b＝r的面283被称为+b面283；使得b＝-r的面284被称为-b面284；使得c＝r的面285被称为+c面285；并且使得c＝-r的面286被称为-c面286。
+a面281与-a面282相对，+b面283与-b面284相对，并且+c面285与-c面286相对。前面291位于+c面285与-b面284之间的边界上的中心处。后面292位于-c面286与+b面283之间的边界上的中心处。
图21是说明了由新的等距圆柱投影生成的天球图像的示意图。
根据新的等距圆柱投影，如图21的左侧所示，首先以下述方式生成通过等距圆柱投影映射有捕获的全方位图像的球体280的图像301：该方式使得图像301的中心与前面291重合。后面292因此位于图像301的右边缘和左边缘之间的中心处。在图21的示例中，图像301由1920个像素(水平)乘以960个像素(垂直)构成。
如图21的中间所示，当图像301被垂直划分成三个图像时，最上面的图像是+a面281的图像311(上部图像)，并且最下面的图像是-a面282的图像312(下部图像)。当中间图像被划分成四个图像时，最左边的图像是+b面283的图像313，左起第二图像是+c面285的图像315，左起第三个图像是-b面284的图像314，并且最右边的图像是-c面286的图像316。前面291位于图像315与图像314之间的边界上的中心处，并且后面292位于图像313的左边缘和图像316的右边缘之间的中心处。
在图21的示例中，图像311和图像312各自由1920个像素乘以240个像素构成。图像313至图像316(划分中间图像)各自由480个像素乘以480个像素构成。
接下来，如图21的右侧所示，图像301中的图像311和图像312以水平方向上的分辨率减半的方式进行下转换。在图21的示例中，从图像311下转换的低分辨率上部图像321和从图像312下转换的低分辨率下部图像322各自由960个像素乘以240个像素构成。低分辨率上部图像321、低分辨率下部图像322和图像313至316各自被赋予相同数目的像素，即230,400个像素(＝480×480＝960×240)。
作为上述处理的结果，生成低分辨率上部图像321、低分辨率下部图像322和图像313至316以构成天球图像320。
图22是示出了通过使用图21中的天球图像320而生成的用户的视场的典型图像的示意图。
在图22的示例中，用户的视线矢量330从原点O指向与+b面283、+c面285和-a面282的交点。
在这种情况下，可以使用+b面283的图像313、+c面285的图像315和-a面282的图像312来生成用户的视场331的图像。也就是说，与用户的视线矢量330对应的面是-a面282，使得视线矢量330的a轴分量的符号和a轴坐标的符号相同；是+b面283，使得b轴分量的符号和b轴坐标的符号相同；以及是+c面285，使得c轴分量的符号和c轴坐标的符号相同。
图23是示出了图21中的天球图像320中的像素分布的示意图。
在图23中，每个点表示像素的中心。
如图23的A中所示，构成天球图像320的像素的中心被布置在水平地和垂直地相距相等距离处。应注意，构成低分辨率上部图像321与低分辨率下部图像322的像素之间的水平距离是构成图像313至316的像素之间的水平距离的两倍。
如图23的B中所示，当天球图像320被映射到球体280的表面时，所映射的低分辨率上部图像321、低分辨率下部图像322和图像313至316分别具有面281至286的面积，这些面积基本相同。低分辨率上部图像321、低分辨率下部图像322和图像313至316以类似于球体60上的立方体映射图像31至36的布置的方式布置在球体280上。面281至286中的每个面中的像素密度基本相同。
如上所述，通过新的等距圆柱投影映射到球体280的天球图像320比通过等距圆柱投影映射时具有更好的像素各向同性。这降低了在球体280的上极和下极附近的解码处理的负荷。此外，来自新的等距圆柱投影的天球图像320中的像素的总数小于来自等距圆柱投影的天球图像中的像素的总数。与视线矢量对应的面的数目是与立方体映射的情况下相同的三个。
(第二实施方式中的内容服务器的典型结构)
除了内容服务器的结构不同以及由家庭服务器映射的天球图像的3D模型是球体之外，作为本公开内容的第二实施方式的图像显示系统的配置与图9中的图像显示系统130的配置基本相同。因此，下面仅解释内容服务器。
图24是示出了作为本公开内容的第二实施方式的图像显示系统的典型配置的框图。
在图24所示的部件中，与图10中相同的那些部件被分配相同的附图标记。在适当的情况下，以下省略对部件的冗余说明。
图24中的内容服务器340的结构与图10中的内容服务器132不同在于：映射处理部341和划分部342分别代替映射处理部152和划分部155。内容服务器340(图像处理装置)在映射有捕获的全方位图像的球体70上通过等距圆柱投影而形成的图像当中，使上部图像和下部图像进行下转换以生成天球图像。
具体地，映射处理部341根据由拼接处理部151提供的捕获图像通过新的等距圆柱投影生成天球图像320。映射处理部341将天球图像320馈送至下转换部153和划分部342。
划分部342将从映射处理部341馈送的天球图像320划分成六个面281至286的低分辨率上部图像321、低分辨率下部图像322和图像313至316。划分部342向编码器156-1提供低分辨率上部图像321作为+a面281的高分辨率图像，并且向编码器156-2提供低分辨率下部图像322作为-a面282的高分辨率图像。
划分部342向编码器156-3提供图像313作为+b面283的高分辨率图像，并且向编码器156-4提供图像314作为-b面284的高分辨率图像。划分部342进一步向编码器156-5提供图像315作为+c面285的高分辨率图像，并且向编码器156-6提供图像316作为-c面286的高分辨率图像。
因此，以下述方式生成面281至286的高分辨率编码流：该方式使得球体280上的面281至286中的各对相对面在可随机访问的位置方面被同步，并且这些面被布置成为闭合的GOP结构。
(映射处理部的典型结构)
图25是示出了图24中包括的映射处理部341的典型结构的框图。
图25中的映射处理部341由等距圆柱图像生成部361、画面划分部362和下转换部363构成。
映射处理部341中的等距圆柱图像生成部361使球体280映射有从图24中的拼接处理部151提供的捕获图像，从而通过等距圆柱投影来生成所映射的球体280的图像301。等距圆柱图像生成部361将图像301提供至画面划分部362。
画面划分部362将从等距圆柱图像生成部361馈送的图像301垂直划分成三个图像：上部图像311、中间图像和下部图像312。画面划分部362进一步将中间图像水平划分成四个图像313至316。画面划分部362将图像311至316提供至下转换部363。
下转换部363(转换部)对从画面划分部362馈送的图像311和图像312进行下转换，以分别生成低分辨率上部图像321和低分辨率下部图像322。下转换部363向图24中的下转换部153和划分部342提供由由此生成的低分辨率上部图像321和低分辨率下部图像322以及从画面划分部362馈送的图像313至316所构成的天球图像320。
根据新的等距圆柱投影，如上所述，使用映射有捕获图像的球体280的图像301通过等距圆柱投影生成天球图像320。与通过等距圆柱投影生成的天球图像90的情况一样，根据新的等距圆柱投影容易地实现天球图像320的坐标变换。因此，天球图像320适用于处理矩形图像的普通编码方法。
根据新的等距圆柱投影，图像311和312被下转换。这意味着天球图像320具有比天球图像90更少的像素，这降低了所涉及的解码处理的负荷。也可以抑制映射有天球图像320的球体280的上极和下极附近的像素密度的增加。此外，防止在球体280的上极和下极附近映射的天球图像320在编码时被分配许多位。因此，整个天球图像320以相同的比特率被编码。这改善了天球图像320的图像质量。
同样根据新的等距圆柱投影，与视线矢量对应的面的数目是与当通过立方体映射生成天球图像时相同的三个。与利用与视线矢量对应的四个面通过等距圆柱投影生成天球图像的情况相比，编码器的数目和解码器的数目减少了。
根据新的等距圆柱投影，构成天球图像320的面281至286的低分辨率上部图像321、图像313至316和低分辨率下部图像322具有相同数目的像素。这意味着面281至286上的解码处理的负荷基本相同。这抑制了由于视线矢量的波动引起的解码处理的负荷的波动。
上面解释到，映射有图像的球体280的中间面被划分成使得图像前面291位于划分面284与划分面285之间的边界上的中心处，并且使得后面292位于划分面283与划分面286之间的边界上的中心处。可替选地，球体280的中间面可以被划分成使得前面291和后面292都不位于划分面之间的边界上的中心处。
(划分球体的中间面的方法的另一示例)
图26是示出了另一典型球体280的示意图，该典型球体280的中间面被划分成使得前面291和后面292位于划分面的相应中心处。
在图26所示的部分中，与图20中相同的那些部分被分配相同的附图标记。
在图26的示例中，球体280的表面被划分成面281、中间面和面282。中间面进一步被分成四个面383至386，使得前面291位于面385的中心处并且后面292位于面386的中心处。
在本说明书中，穿过作为球体280的中心的原点O且穿过面383和面384的中心的轴被称为b'轴，并且穿过面385和面386的中心的轴被称为c'轴。根据需要，使得b'＝r的面383被称为+b'面383，其中，r表示从原点O到面281、面282和面383至386中的每一个的距离；使得b'＝-r的面384被称为-b'面384；使得c'＝r的面385被称为+c'面385；并且使得c'＝-r的面386被称为-c'面386。
在图26中的球体280上，+a面281与-a面282相对；+b'面383与-b'面384相对；并且+c'面385与-c'面386相对。前面291位于+c'面385的中心处。后面292位于-c'面386的中心处。
(由新的等距圆柱投影生成的天球图像的另一示例)
图27是说明了当捕获的全方位图像被映射到图26中的球体280时生成的典型天球图像的示意图。
在图27中所示的部分中，与图21中相同的那些部分被分配相同的附图标记。
如图27的左侧所示，当图26中的球体280根据新的等距圆柱投影被映射有捕获的全方位图像时，首先以与图21中相同的方式生成图像301。如图27的中部所示，图像301被垂直划分成三个图像。在这些图像中，上部图像是+a面281的图像311，并且下部图像是-a面282的图像312。然后，在分别距右边缘和左边缘整个水平距离的八分之一处划分中间图像。将边缘处的两个划分部分之间的中间部分进一步水平地三等分。在这种情况下，最左边的图像是-c'面386的右半部分图像396-1(第一划分中间图像)；左起第二图像是+b'面383的图像393(第三划分中间图像)；左起第三图像是+c'面385的图像395(第四划分中间图像)；左起第四图像是-b'面384的图像394(第五划分中间图像)；并且最右边的图像是-c'面386的左半部分图像396-2(第二划分中间图像)。
也就是说，通过将图21的图像301中的中间图像右移整个水平距离的八分之一来获得图27的图像301中的中间图像。
如上所述，当图26中的球体280被映射有捕获的全方位图像时，图像301中的-c'面386的图像396被水平划分成如图所示设置的图像396-1和图像396-2。前面291位于图像395的中心处。后面292位于图像396-1的左边缘的中心处并且位于图像396-2的右边缘的中心处。在图27的示例中，图像393至图像395各自由480个像素乘以480个像素构成，并且图像396-1和图像396-2各自由240个像素乘以480个像素形成。
接下来，如图27的右侧所示，图像301中的图像311和图像312以它们在水平方向上的分辨率减半的方式被下转换。因此，低分辨率上部图像321、低分辨率下部图像322和图像393至396各自被赋予相同数目的像素，即230,400个像素(＝480×480＝960×240)。
作为上述处理的结果，生成低分辨率上部图像321、低分辨率下部图像322和图像393至396以构成天球图像400。在天球图像400中，前面291位于+c'面395的中心处，并且后面292位于-c'面396的中心处。因此，防止了前面291经受因发生在所解码的天球图像400中的图像393至图像396的边界上的图像质量恶化而导致的、图像质量的劣化。这使天球图像400的图像质量的劣化最小化。
也就是说，图像393至图像396被独立编码。根据通过按照时间顺序的运动补偿来压缩信息的诸如AVC或HEVC的压缩编码方法，当移动目标对象在画面上移动时，压缩失真的迹象在保持一定形状的同时在帧间传播。当画面被划分并且划分图像被独立编码时，不跨越图像之间的边界进行运动补偿。这意味着压缩失真倾向于在边界上显著地显见。因此，从运动图像划分出来的图像在被解码时显示出由划分图像的边界上的压缩失真的变化迹象所导致的条纹。已知这种现象发生在AVC中的切片与HEVC中的瓦片之间。
因此，图像质量易于在解码后的图像393至396的边界上劣化。然而，在天球图像400中，最有可能被用户观看的前面291不位于图像393至396的边界上。由于在前面291处没有明显的图像质量恶化，所以天球图像400的图像质量的劣化不显著。
图21和图28中的图像301通过等距的圆柱投影生成。这意味着如图28中的A和B中所示，图像301的右边缘继续至图像的左边缘。如果图像301上的与视线矢量对应的位置向右移动超过图像301的右边缘，则该位置移动到图像301的左边缘。也就是说，图像301在水平方向上实际上是连续。
在第二实施方式中，可以仅对高分辨率图像进行编码。在这种情况下，可以对所有面的高分辨率图像的编码流进行解码。可替选地，可以仅对与视线矢量对应的面的高分辨率图像的编码流解码。
<第三实施方式>
(作为第三实施方式的图像显示系统的典型配置)
图29是示出了作为本公开内容的第三实施方式的图像显示系统的典型配置的框图。
在图29所示的部件中，与图9中相同的那些部件被分配相同的附图标记。在适当的情况下，以下省略对部件的冗余说明。
图29中的图像显示系统470被配置成与图9中的图像显示系统130的有如下不同：家庭服务器471和显示单元472分别代替家庭服务器133和头戴式显示装置135，省略了转换器134，并且设置了控制器473。
在图像显示系统370中，用户操作控制器473以输入用户的位置和视线矢量。显示单元472显示反映输入位置和视线矢量的显示图像。
具体地，图像显示系统370中的家庭服务器471接收从内容服务器132发送的六个高分辨率编码流和一个低分辨率编码流。家庭服务器471从控制器473接收关于用户的位置和视线矢量的指示。
与图9中的家庭服务器133的情况一样，家庭服务器471从面11至16当中确定与用作用于确定的基础的用户的视线矢量对应的三个面。家庭服务器471从六个高分辨率编码流中选择性地对与用户的视线矢量对应的面的三个高分辨率编码流进行解码。家庭服务器471还对一个低分辨率编码流进行解码。
与家庭服务器133的情况一样，家庭服务器471基于用户的位置和视线矢量来确定用户的视场。家庭服务器471基于通过解码获得的高分辨率图像和低分辨率图像来生成用户的视场的图像作为显示图像。家庭服务器471通过未示出的HDMI电缆将显示图像发送到显示单元472。
显示单元472显示从家庭服务器471提供的显示图像。
控制器473包括操作按钮和其他控件。当用户通常通过操作操作按钮而输入用户的位置和视线矢量时，控制器473接收输入。控制器473相应地关于用户的位置和视线矢量对家庭服务器471进行指示。
顺便提及，控制器473和显示单元472可以一体地形成。集成实体可以构成诸如移动电话或平板电脑终端或个人计算机的一部分的移动终端。控制器473可以包括陀螺仪传感器、加速度传感器和地磁传感器。然后，可以基于这些传感器的检测结果来确定用户的视线矢量。
(对用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的说明)
图30是说明了用于在体现本公开内容的图像显示系统中生成与高分辨率图像和低分辨率图像对应的天球图像的方法的示意图。
在本公开内容的第一实施方式至第三实施方式中，从由立方体映射生成的相同的天球图像30(320、400)生成高分辨率图像和低分辨率图像。可替选地，高分辨率图像和低分辨率图像可以由通过不同方法生成的天球图像生成。作为另一替选方案，用于生成高分辨率图像和低分辨率图像的天球图像可以通过等距圆柱投影生成。
也就是说，如图30所示，在体现本公开内容的图像显示系统中可以存在七种模式，其中，对用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法进行组合。
具体地，根据第一模式，用于生成与高分辨率图像对应的天球图像的方法是立方体映射，并且用于生成与低分辨率图像对应的天球图像的方法是等距圆柱投影。在这种情况下，用于生成与低分辨率图像对应的天球图像的方法是等距圆柱投影，使得本公开内容的图像显示系统与现有的图像显示系统兼容，该现有图像显示系统将由等距圆柱投影生成的天球图像编码成一个编码流。此外，由于用于生成与高分辨率图像对应的天球图像的方法是立方体映射，所以在构成立方体图像的高分辨率图像中各处的像素密度基本上是恒定的。因此，显示图像具有良好的图像质量。
根据第二模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是立方体映射。因此，第二模式适用于第一实施方式和第三实施方式。在这种情况下，在立方体图像中各处的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第三模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是等距圆柱投影。在这种情况下，本公开内容的图像显示系统130(370)与现有的图像显示系统兼容，该现有的图像显示系统将由等距圆柱投影生成的天球图像编码成一个编码流。
根据第四模式，用于生成与高分辨率图像对应的天球图像的方法是等距圆柱投影，并且用于生成与低分辨率图像对应的天球图像的方法是立方体映射。
根据第五模式，用于生成与高分辨率图像对应的天球图像的方法是立方体映射，并且用于生成与低分辨率图像对应的天球图像的方法是新的等距圆柱投影。在这种情况下，在立方体图像中各处的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第六模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是新的等距圆柱投影。因此，第六模式适用于本公开内容的第二实施方式。在这种情况下，在立方体图像中各处的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第七模式，用于生成与高分辨率图像对应的天球图像的方法是新的等距圆柱投影，并且用于生成与低分辨率图像对应的天球图像的方法是立方体映射。在这种情况下，在立方体图像中各处的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
在第五模式和第七模式中，立方体映射可以由等距圆柱投影代替。
图31是示出了由家庭服务器映射的球体的图像的示意图，其中，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法构成了第一模式。
根据第一模式，与低分辨率图像对应的天球图像是由等距圆柱投影生成的天球图像90。因此，如图31中所示，从天球图像90下转换的低分辨率图像501首先被映射到球体70。与用户的视线方向对应的图像31、34和36被叠加到映射有低分辨率图像501的球体70进行映射，其生成球体图像500。球体图像500被用于生成显示图像。
除了下述方面之外，使用第一模式的图像显示系统与图像显示系统130相同：生成天球图像30作为用于高分辨率图像的天球图像，并且生成天球图像90作为用于低分辨率图像的天球图像。
除了下述方面之外，使用第三模式的图像显示系统与图像显示系统130相同：天球图像30代替天球图像90，天球图像90被划分成八个面71至78的图像91至98，并且存在九个编码器和五个解码器。
除了下述方面之外，使用第四模式的图像显示系统与图像显示系统130相同：生成天球图像90作为用于高分辨率图像的天球图像，生成天球图像30作为用于低分辨率图像的天球图像，天球图像90被划分成八个面71至78的图像91至98，并且存在九个编码器和五个解码器。
除了下述方面之外，使用第五模式的图像显示系统与图像显示系统130相同：生成天球图像30作为用于高分辨率图像的天球图像，并且生成天球图像320(400)用于低分辨率图像。
除了下述方面之外，使用第七模式的图像显示系统与作为第二实施方式的图像显示系统相同：生成天球图像320(400)作为用于高分辨率图像的天球图像，并且生成天球图像30作为用于低分辨率图像的天球图像。
<第四实施方式>
(对应用本公开内容的计算机的说明)
上面结合内容服务器132(340)和家庭服务器133(471)描述的一系列步骤或处理可以由硬件或由软件来执行。在这些步骤或处理要由软件执行的情况下，构成软件的程序被安装到合适的计算机中。计算机的变化包括具有预先安装在其专用硬件中的软件的计算机，以及能够基于安装在其中的程序执行各种功能的通用个人计算机或类似设备。
图32是示出了使用程序执行上述一系列步骤或处理的计算机的典型硬件结构的框图。
在计算机900中，通过总线904将中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903互连。
总线904还与输入/输出接口905连接。输入/输出接口905与输入部906、输出部907、存储部908、通信部909和驱动器910连接。
输入部906可以由键盘、鼠标和麦克风形成。输出部907可以由显示单元和扬声器构成。存储部908可以由硬盘或非易失性存储器构成。通信部909可以由网络接口构成。驱动器910驱动可移动介质911，例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述构造的计算机900中，CPU 901通过使RAM 903经由输入/输出接口905和总线904从存储部908加载程序以及通过执行加载的程序来进行上述步骤或处理。
要由计算机900(CPU 901)执行的程序可以以记录在通常作为封装介质提供的可移动介质911上的方式被提供。还可以以通过诸如局域网、因特网或数字卫星广播的有线或无线介质来传送的方式提供这些程序。
在计算机900中，可以经由输入/输出接口905将程序从装载在驱动器910中的可移动介质911安装到存储部908中。替选地，程序可以在经由有线或无线介质被通信部909接收之后被安装到存储部908中。作为另一替选方式，程序可以预先安装在ROM 902或存储部908中。
要由计算机900执行的程序可以按时间顺序(即以本说明书中描述的顺序)处理、并行处理、或者以其他适当的时序方式(如根据需要被调用时)进行处理。
在本说明书中，术语“系统”是指多个部件(装置或模块(部件))的集合。所有部件是否都安装在同一个机箱中无关紧要。因此，可以利用容纳在单独的外壳中并经由网络互连的多个设备、以在单个外壳中容纳多个模块的单个设备来配置系统。
在本说明书中提到的有益效果仅仅是示例而不是本公开内容的限制，本公开内容也将提供其他优点。
本公开内容不限于上述实施方式，这些实施方式可以在本公开内容的精神和范围内以各种方式变化或修改。
例如，高分辨率图像不需要以使得所得到的分辨率是原始分辨率的四分之一的方式被转换成低分辨率图像。高分辨率图像的分辨率仅需要高于低分辨率图像的分辨率。可以通过转换天球图像的分辨率来生成高分辨率图像。捕获图像可以是静止图像或运动图像。3D模型不限于球体或立方体；它可以是正多面体，诸如正十二面体或二十面体。
内容服务器132(340)可以将编码流实时地发送到家庭服务器133(471)而不记录这些编码流。编码器156-1至156-6可以设置在内容服务器132(340)的外部。
上面已经解释了对于编码流有两个分辨率。可替选地，对于编码流可以有三个或更多个分辨率。
例如，如果存在三个分辨率，则与划分成面11至16(例如，面71至78、面281至286、面281和282以及面383至386)相比，3D模型的面被划分得更细。对于比面11至16(例如，面71至78、面281至286、面281和282以及面383至386)划分得更细的每个面，天球图像30(90,320,400)在被编码之前被划分成高分辨率图像。图像31至36(例如，图像91至98、低分辨率上部图像321、低分辨率下部图像322和图像313至316(393至396))在被编码前各自下转换成中等分辨率图像。在被编码之前，天球图像30(90)被下转换成分辨率低于中分辨率图像的图像。然后，与高分辨率图像对应的面被选择为与视线矢量对应的面。
在生成天球图像时要映射的3D模型在尺寸上可能与在生成显示图像时要映射的3D模型不同。
假如下述的前一3D模型包括后一3D模型，则在生成显示图像时低分辨率图像和高分辨率图像被映射到的3D模型可能与低分辨率图像被映射到的3D模型不同。
在第三实施方式中，显示单元472可以是圆顶形的。在这种情况下，家庭服务器471可以生成所有面11至16的图像作为显示图像。
本公开内容可以被配置为云计算设备，其中，单个功能由基于共享的多个联网装置协同地处理。
参考上述流程图讨论的每个步骤可以由单个装置或由基于共享的多个装置执行。
如果单个步骤包括多个处理，则这些处理可以由单个装置执行，或者由基于共享的多个装置执行。
本公开内容可以被配置如下：
(1)一种图像处理装置，包括：
编码部，其被配置成：以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的上部图像、中间图像和下部图像为对象，以第一分辨率对所述中间图像进行编码，并且以低于所述第一分辨率的第二分辨率对所述上部图像和所述下部图像编码进行编码，以生成编码流。
(2)根据上述段落(1)所述的图像处理装置，其中，
所述编码部被配置成以所述第一分辨率对通过将所述中间图像水平划分成四个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像和第四划分中间图像进行编码。
(3)根据上述段落(2)所述的图像处理装置，其中，
所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像中的每一个中的像素的数目与所述第二分辨率下的所述上部图像和所述下部图像中的每一个中的像素的数目相同。
(4)根据上述段落(2)或(3)所述的图像处理装置，其中，
所述编码部被配置成以使得与构成球体的每对相对面对应的所述编码流在可随机访问的位置方面被同步的方式生成所述编码流，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像并且映射有所述第二分辨率下的所述上部图像和所述下部图像。
(5)根据上述段落(2)至(4)中任一项所述的图像处理装置，其中，
所述编码部被配置成以使得所述编码流被布置成闭合的GOP结构的方式进行所述编码。
(6)根据上述段落(1)所述的图像处理装置，其中，
所述编码部被配置成：在通过将所述中间图像在水平方向上划分成五个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像、第四划分中间图像和第五划分中间图像当中，以所述第一分辨率对通过组合所述第一划分中间图像与所述第二划分中间图像形成的合成图像以及所述第三划分中间图像至所述第五划分中间图像进行编码，其中，将所述中间图像在水平方向上划分成五个的方式使得该图像的前面不位于边界上，以及
所述第一划分中间图像和所述第二划分中间图像的水平尺寸是所述第三划分中间图像至所述第五划分中间图像的水平尺寸的一半。
(7)根据上述段落(1)至(6)中任一项所述的图像处理装置，还包括：
转换部，其被配置成将所述上部图像和所述下部图像的分辨率转换成所述第二分辨率。
(8)根据上述段落(1)至(7)中任一项所述的图像处理装置，还包括：
存储部，其被配置成存储由所述编码部生成的编码流。
(9)根据上述段落(8)所述的图像处理装置，还包括：
传送部，其被配置成将存储在所述存储部中的编码流传送至对所述编码流进行解码的终端。
(10)根据上述段落(1)至(9)中任一项所述的图像处理装置，其中，
所述编码部被配置成根据AVC/H.264标准或HEVC/H.265标准生成所述编码流。
(11)一种图像处理方法，包括：
通过图像处理装置进行以下编码步骤：以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的顶部图像、中间图像和底部图像为对象，以第一分辨率对所述中间图像进行编码，并且以低于所述第一分辨率的第二分辨率对所述上部图像和所述下部图像进行编码，以生成编码流。
(12)一种图像处理装置，包括：
解码部，其被配置成：在通过以第一分辨率对中间图像进行编码并以低于所述第一分辨率的第二分辨率对上部图像和下部图像进行编码而获得的编码流当中，对所述上部图像或所述下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述上部图像、所述中间图像和所述下部图像。
(13)根据上述段落(12)所述的图像处理装置，其中，
所述中间图像的编码流由以所述第一分辨率编码的、通过将该中间图像水平划分成四个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像和第四划分中间图像所构成。
(14)根据上述段落(13)所述的图像处理装置，其中，
所述解码部被配置成对与构成球体的每对相对面中的一个面对应的编码流进行解码，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像并且映射有所述第二分辨率下的所述上部图像和所述下部图像。
(15)根据上述段落(13)或(14)所述的图像处理装置，其中，
所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像中的每一个中的像素的数目与所述第二分辨率下的所述上部图像和所述下部图像中的每一个中的像素的数目相同。
(16)根据上述段落(13)至(15)中任一项所述的图像处理装置，其中，
与构成球体的每对相对面对应的编码流在可随机访问的位置方面被同步，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像，并且映射有所述第二分辨率下的所述上部图像和所述下部图像。
(17)根据上述段落(13)至(16)中任一项所述的图像处理装置，其中，
所述编码流被布置成闭合的GOP结构。
(18)根据上述段落(12)至(17)中任一项所述的图像处理装置，还包括：
接收部，其被配置成接收所述编码流。
(19)根据上述段落(12)至(18)中任一项所述的图像处理装置，其中，
所述解码部被配置成根据AVC/H.264标准或HEVC/H.265标准对所述编码流进行解码。
(20)一种图像处理方法，包括：
通过图像处理装置进行以下解码步骤：在通过以第一分辨率对中间图像进行编码并以低于所述第一分辨率的第二分辨率对上部图像和下部图像进行编码而获得的编码流当中，对所述上部图像或所述下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述上部图像、所述中间图像和所述下部图像。
附图标记清单
10：立方体
11至16：面
30：天球图像
132：内容服务器
133：家庭服务器
154、156-1至156-6：编码器
223、225-1至225-3：解码器
227：渲染部
229：视线检测部
301、311至316：图像
320：天球图像
321：低分辨率上部图像
340：内容服务器
322：低分辨率下部图像
362：画面划分部
363：下转换部
471：家庭服务器

Claims (20)

1.一种图像处理装置，包括：
编码部，其被配置成：以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的上部图像、中间图像和下部图像为对象，对第一分辨率下的所述中间图像进行编码，并且对仅降低水平分辨率的下转换之后的、第二分辨率下的所述上部图像和所述下部图像进行编码，以生成编码流，其中，所述第二分辨率低于所述第一分辨率。
2.根据权利要求1所述的图像处理装置，其中，
所述编码部被配置成以所述第一分辨率对通过将所述中间图像水平划分成四个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像和第四划分中间图像进行编码。
3.根据权利要求2所述的图像处理装置，其中，
所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像中的每一个中的像素的数目与所述下转换之后的所述第二分辨率下的所述上部图像和所述下部图像中的每一个中的像素的数目相同。
4.根据权利要求2所述的图像处理装置，其中，
所述编码部被配置成以使得与构成球体的每对相对面对应的所述编码流在可随机访问的位置方面被同步的方式生成所述编码流，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像并且映射有所述下转换之后的所述第二分辨率下的所述上部图像和所述下部图像。
5.根据权利要求4所述的图像处理装置，其中，
所述编码部被配置成以使得所述编码流被布置成闭合的图像组结构的方式进行所述编码。
6.根据权利要求1所述的图像处理装置，其中，
所述编码部被配置成：在通过将所述中间图像在水平方向上划分成五个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像、第四划分中间图像和第五划分中间图像当中，以所述第一分辨率对通过组合所述第一划分中间图像与所述第二划分中间图像形成的合成图像以及所述第三划分中间图像至所述第五划分中间图像进行编码，其中，将所述中间图像在水平方向上划分成五个的方式使得通过等距圆柱投影生成的图像的前面不位于所述划分中间图像之间的任何边界上，以及
所述第一划分中间图像和所述第二划分中间图像的水平尺寸是所述第三划分中间图像至所述第五划分中间图像的水平尺寸的一半。
7.根据权利要求1所述的图像处理装置，还包括：
转换部，其被配置成进行所述下转换以将所述上部图像和所述下部图像的分辨率转换成所述第二分辨率。
8.根据权利要求1所述的图像处理装置，还包括：
存储部，其被配置成存储由所述编码部生成的编码流。
9.根据权利要求8所述的图像处理装置，还包括：
传送部，其被配置成将存储在所述存储部中的编码流传送至对所述编码流进行解码的终端。
10.根据权利要求1所述的图像处理装置，其中，
所述编码部被配置成根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述编码流。
11.一种图像处理方法，包括：
通过图像处理装置进行以下编码步骤：以经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得的上部图像、中间图像和下部图像为对象，对第一分辨率下的所述中间图像进行编码，并且对仅降低水平分辨率的下转换之后的、第二分辨率下的所述上部图像和所述下部图像进行编码，以生成编码流，其中，所述第二分辨率低于所述第一分辨率。
12.一种图像处理装置，包括：
解码部，其被配置成：在通过对第一分辨率下的中间图像进行编码并对仅降低水平分辨率的下转换之后的、第二分辨率下的上部图像和下部图像进行编码而获得的编码流当中，对所述下转换之后的上部图像或下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述下转换之前的上部图像、所述中间图像、以及所述下转换之前的下部图像，并且其中，所述第二分辨率低于所述第一分辨率。
13.根据权利要求12所述的图像处理装置，其中，
所述中间图像的编码流由以所述第一分辨率编码的、通过将该中间图像水平划分成四个而获得的第一划分中间图像、第二划分中间图像、第三划分中间图像和第四划分中间图像所构成。
14.根据权利要求13所述的图像处理装置，其中，
所述解码部被配置成对与构成球体的每对相对面中的一个面对应的编码流进行解码，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像并且映射有所述下转换之后的所述第二分辨率下的所述上部图像和所述下部图像。
15.根据权利要求13所述的图像处理装置，其中，
所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像中的每一个中的像素的数目与所述下转换之后的所述第二分辨率下的所述上部图像和所述下部图像中的每一个中的像素的数目相同。
16.根据权利要求13所述的图像处理装置，其中，
与构成球体的每对相对面对应的编码流在可随机访问的位置方面被同步，所述球体映射有所述第一分辨率下的所述第一划分中间图像至所述第四划分中间图像，并且映射有所述下转换之后的所述第二分辨率下的所述上部图像和所述下部图像。
17.根据权利要求16所述的图像处理装置，其中，
所述编码流被布置成闭合的图像组结构。
18.根据权利要求12所述的图像处理装置，还包括：
接收部，其被配置成接收所述编码流。
19.根据权利要求12所述的图像处理装置，其中，
所述解码部被配置成根据高级视频编码/H.264标准或高效视频编码/H.265标准对所述编码流进行解码。
20.一种图像处理方法，包括：
通过图像处理装置进行以下解码步骤：在通过对第一分辨率下的中间图像进行编码并对仅降低水平分辨率的下转换之后的、第二分辨率下的上部图像和下部图像进行编码而获得的编码流当中，对所述下转换之后的上部图像或下部图像的编码流以及所述中间图像的编码流进行解码，其中，经由在垂直方向上划分通过等距圆柱投影根据全方位图像生成的图像而获得所述下转换之前的上部图像、所述中间图像、以及所述下转换之前的下部图像，并且其中，所述第二分辨率低于所述第一分辨率。
CN201680012745.7A 2015-03-05 2016-02-19 图像处理装置和图像处理方法 Active CN107409231B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015043614 2015-03-05
JP2015-043614 2015-03-05
JP2015119143 2015-06-12
JP2015-119143 2015-06-12
PCT/JP2016/054834 WO2016140082A1 (ja) 2015-03-05 2016-02-19 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN107409231A CN107409231A (zh) 2017-11-28
CN107409231B true CN107409231B (zh) 2021-05-11

Family

ID=56848541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012745.7A Active CN107409231B (zh) 2015-03-05 2016-02-19 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US10666979B2 (zh)
EP (1) EP3267688A4 (zh)
JP (1) JP6687015B2 (zh)
CN (1) CN107409231B (zh)
WO (1) WO2016140082A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102381376B1 (ko) * 2016-05-16 2022-03-31 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法
EP3301928A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images
KR20190052128A (ko) * 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018064965A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
WO2018064967A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
WO2018093391A1 (en) * 2016-11-21 2018-05-24 Hewlett-Packard Development Company, L.P. 3d immersive visualization of a radial array
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN108616731B (zh) 2016-12-30 2020-11-17 艾迪普科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
WO2018127035A1 (en) * 2017-01-03 2018-07-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
US10652516B2 (en) 2017-01-03 2020-05-12 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
CN110506291B (zh) 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) * 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
DE112018002432T5 (de) * 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
JP6996300B2 (ja) 2018-01-04 2022-01-17 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN111801947A (zh) * 2018-03-02 2020-10-20 华为技术有限公司 选择性环路滤波下的图像编码的装置及方法
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
EP3672250A1 (en) 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system
CN111091491B (zh) * 2019-12-20 2023-05-05 知鱼科技丹阳有限公司 一种等距圆柱投影的全景视频像素再分配方法及系统
CN112732155B (zh) * 2020-12-30 2022-08-16 新东方教育科技集团有限公司 图像显示方法、图像显示装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN103379291A (zh) * 2012-04-26 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5852390B2 (ja) * 1978-06-21 1983-11-22 日本放送協会 テレビジヨン画像信号伝送方式
JPH09327005A (ja) * 1996-06-04 1997-12-16 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
KR100477654B1 (ko) * 2002-07-16 2005-03-22 삼성전자주식회사 재생 영상 선택 장치 및 그 방법
US8737816B2 (en) * 2002-08-07 2014-05-27 Hollinbeck Mgmt. Gmbh, Llc System for selecting video tracks during playback of a media production
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US8542737B2 (en) * 2010-03-21 2013-09-24 Human Monitoring Ltd. Intra video image compression and decompression
US8992318B2 (en) * 2012-09-26 2015-03-31 Igt Wearable display system and method
DE102014004851B4 (de) * 2014-03-31 2018-09-20 Scienova Gmbh Vertikales funktionelles Reaktionsgefäß
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN103379291A (zh) * 2012-04-26 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
JP6687015B2 (ja) 2020-04-22
WO2016140082A1 (ja) 2016-09-09
CN107409231A (zh) 2017-11-28
JPWO2016140082A1 (ja) 2017-12-14
US20180007389A1 (en) 2018-01-04
US10666979B2 (en) 2020-05-26
EP3267688A1 (en) 2018-01-10
EP3267688A4 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN107409231B (zh) 图像处理装置和图像处理方法
CN107409233B (zh) 图像处理装置和图像处理方法
US10412413B2 (en) Image processing device and image processing method
US11368703B2 (en) Image decoder and decoding method
US12184887B2 (en) Encoder, decoder, encoding method, and decoding method
WO2019133158A1 (en) Constraints on locations of reference blocks for intra block copy prediction
CN112997502B (zh) 编码装置、解码装置、编码方法和解码方法
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
JP2010063092A (ja) 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
KR102804225B1 (ko) 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치
KR20180107007A (ko) 비디오 신호 처리 방법 및 장치
KR102879291B1 (ko) 가상 현실 영상의 부호화/복호화 방법 및 그 장치
KR20190113655A (ko) 비디오 신호 처리 방법 및 장치
KR102804224B1 (ko) 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치
CN119137941A (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Tokyo, Japan

Patentee after: Sony Group

Country or region after: Japan

Address before: Tokyo, Japan

Patentee before: Sony Corp.

Country or region before: Japan