CN111726520A - 摄影装置、摄影系统、图像处理方法 - Google Patents

Abstract

本发明涉及摄影装置、摄影系统、图像处理方法以及存储介质和计算机装置，其目的在于，抑制数据通信量，同时尽量在不降低部分图像清晰度的情况下，让阅览者能够更清晰地阅览关注区域。通过摄影获得具有规定清晰度的动画数据的全天球摄影装置(1)将具有规定清晰度的动画数据的动画的全部或一部分的广角动画改为低清晰广角动画(S140)；以比低清晰广角动画高清晰的状态对作为广角动画一部分的窄角动画进行映射方式变换，改为低清晰窄角动画(S150)；将低清晰广角动画的帧和高清晰窄角动画的帧分别降低清晰度之后结合为一帧(S160)；对窄角静画，即所述广角动画的帧的广角静画中的一部分区域，进行映射方式变换(S210)。

Description

摄影装置、摄影系统、图像处理方法

技术领域

本发明涉及摄影装置、摄影系统、图像处理方法以及存储介质和计算机装置。

背景技术

现有的电子全方位移动(Pan-tilt)变焦技术可以用鱼眼镜头等取代由使用转盘的全方位移动和变焦镜头构成的照相机系统来拍摄被摄体，并且发送拍摄的广角图像数据，用接收的取景器生成部分图像并进行显示。

但是，在发送拍摄被摄体所得到的广角图像数据的技术中，由于一起发送未受关注领域的图像数据，所以存在数据通信量大的问题。

对此，为了减少通信量，如专利文献1(JP特开2006-340091号公报)公开了一种技术方案，其中，摄影装置发送将整个广角图像缩小了的低清晰整体图像和广角图像内受关注区域的高清晰部分图像的数据，由接收一方将部分图像嵌入整体图像。

但是，当整体图像及部分图像为动画时，即使将整体图像降低为低清晰精细，依然不容易减少数据通信量。另一方面在播放动画时，阅览者通常并不仔细阅览视频，而只仔细阅览其中的部分图像。

发明内容

鉴于上述情况，本发明提供摄影装置、摄影系统、图像处理方法以及存储介质和计算机装置，其目的在于，抑制整体图像等广角动画以及部分图像等窄角动画的数据通信量，同时，尽量在不降低部分图像清晰度的情况下，让阅览者能够更清楚地阅览关注区域。

为了达到上述目的，本发明提供一种摄影装置，用于拍摄被摄体，获得具有规定清晰度的动画数据，其特征在于，具备，更改部，用于将广角动画改为低清晰广角动画，所述广角动画是具有所述规定清晰度的动画数据的动画的全部或一部分；映射方式变换部，用于以比经过所述更改部更改为低清晰广角动画高清晰的状态，对窄角动画进行映射方式变换，将该窄角动画改为低清晰窄角动画，所述窄角动画是所述广角动画的一部分的区域；以及，结合部，用于将所述低清晰广角动画的帧和所述高清晰窄角动画的帧，分别降低清晰度之后结合为一帧，所述映射方式更改部对窄角静画，即作为所述广角动画的帧的广角静画中的所述一部分的区域，进行映射方式变换。

如上所述，本发明具有抑制整体图像等广角动画以及部分图像等窄角动画的数据通信量的效果，同时还有尽量在不降低部分图像清晰度的情况下，让阅览者能够更清楚地阅览关注区域的效果。

附图说明

图1中，(a)是全天球摄影装置的左侧视图，(b)是全天球摄影装置的后视图，(c)是全天球摄影装置的俯视图，(d)是全天球摄影装置的仰视图。

图2是使用全天球摄影装置时的示意图。

图3中，(a)是用全天球摄影装置拍摄的半球图像(前)，(b)是用全天球摄影装置拍摄的半球图像(后)，(c)是用等距柱形图法显示的图像。

图4中，(a)是用等距柱形射影图像覆盖球的状态的概念性示意图，(b)是全天球图像的示意图。

图5是将全天球图像作为三维的立体球时的假想照相机以及显示区域的位置的示意图。

图6中，(a)是图5的立体图，(b)是在通信终端的显示器上显示指定区域的图像的示意图。

图7是部分图像参数的示意图。

图8是本实施方式的摄影系统构成的示意图。

图9是全天球摄影装置的硬件结构示意图。

图10是中介终端的硬件结构示意图。

图11是智能手机的硬件结构示意图。

图12是图像管理系统的硬件结构示意图。

图13是本实施方式的全天球摄影装置的功能模块示意图。

图14是本实施方式的智能手机的功能模块示意图。

图15是图像管理系统的功能模块示意图。

图16中，(a)是水平垂直视角阈值信息的示意图，(b)水平视角和垂直视角的示意图。

图17是整个动画及部分动画的各数据的生成及重放处理的时序图。

图18是全天球摄影装置所执行的图像处理过程中的图像的示意图。

图19是部分图像参数的示意图。

图20是整体动画和部分动画的各帧图像结合状态的示意图。

图21是智能手机所执行的图像处理过程中的图像的示意图。

图22是从部分平面制作部分立体球的示意图。

图23不制作本实施方式的部分立体球，而是在全天球图像上重叠部分图像时的二维示意图。

图24是执行本实施方式的部分立体球制作，在全天球图像上重叠部分图像时的二维示意图。

图25中，(a)是不重叠显示时的宽幅图像的显示例的示意图，(b)是不重叠显示时的电传图像的显示例的示意图，(c)是重叠显示时的宽幅图像的显示例的示意图，(d)是重叠显示时远摄图像的显示例的示意图。

图26是部分静止图像的数据生成及重放处理的时序图。

符号说明

1 全天球摄影装置(摄影装置的一个示例)

5 智能手机(通信终端的一个示例，图像处理装置的一个示例)

13 摄影控制部

14a、14b 摄像部

15 图像处理部

16 一时性存储部

17 低清晰更改部(更改部的一个示例)

18 映射方式更改部(映射方式更改部的一个示例)

19 结合部(结合部的一个示例)

19a 动画加密部

19b 静画加密部

51 收发部

52 受理部

53a 动画解密部

53b 静画解密部

54 重叠区域制作部

55 图像制作部

56 图像重叠部

57 映射变换部

58 显示控制部

具体实施方式

以下利用附图对本发明的实施方式进行说明。

[实施方式的概要]

以下，对本实施方式的概要进行说明。

首先利用图1～图6说明全天球图像的生成方法。

在此，先用图1描述全天球摄影装置1的外观。全天球摄影装置1是用于获得全天球(360°)全景图像的原始摄影图像的数码像机。图1是全天球摄影装置的外观图，其中，(a)是全天球摄影装置的左视图，(b)是特殊拍摄装置的后视图，(c)是全天球摄影装置的俯视图，(d)是全天球摄影装置的仰视图。

如图1的(a)、(b)、(c)、(d)所示，全天球摄影装置1上部的正面(正前方)和背后(后方)分别设有鱼眼型透镜102a、102b。全天球摄影装置1的内部设有后述的摄像元件(图像传感器)103a、103b，摄像元件(图像传感器)103a、103b分别通过透镜102a、102b来拍摄被摄体或风景，获得半球图像(视角为180°以上)。全天球摄影装置1的正前方和后方设有快门按钮115a。特殊拍摄装置1的侧面设有电源按钮115b、Wi-Fi(Wireless Fidelity)按钮115c、以及摄影模式切换按钮115d。电源按钮115b和Wi-Fi按钮115c每当受到按动时进行ON/OFF切换。摄影模式切换按钮115d每当受到按动时，在静态图像摄影模式和动态图像摄影模式之间切换。快门按钮115a、电源按钮115b、Wi-Fi按钮115c、以及摄影模式切换按钮115d是操作部分115中的一部分按钮，而操作部115并不局限于这些按钮。

全天球摄影装置1底部150的中间设有用于将全天球摄影装置1安装到相机三脚架上或普通摄影装置3上的三脚架螺纹孔151。底部150左侧设有Micro USB(UniversalSerial Bus)端子152。底部150的右侧设有HDMI(High-Definition MultimediaInterface:高清晰度多媒体接口)端子153。在此的HDMI是注册商标。

接着，用图2描述全天球摄影装置1的使用状况。图2是使用全天球摄影装置的示意图。全天球摄影装置1如图2所示，用于例如供用户手持该全天球摄影装置1拍摄周围的被摄体。在这种情况下，通过图1所示的摄像元件103a以及摄像元件103b分别拍摄用户周围的被摄体，可以获得两组半球图像。

接着，参考图3和图4描述用全天球摄影装置1拍摄的图像来制作等距柱形映射图像EC和全天球图像CE的处理。图3是全天球摄影装置1拍摄的图像的示意图，其中，(a)中为全天球摄影装置1拍摄的半球图像(前方)，(b)表示全天球摄影装置1拍摄的半球图像(后方)，(c)是利用等距柱形映射法表示的图像(以下，称为等距柱形映射图像)。图4是全天球图像的示意图，其中，(a)显示用等矩柱形映射图像覆盖球体的状态，(b)是全天球图像。

如图3中(a)所示，由摄像元件103a获得的图像被后述的鱼眼透镜102a形成为弯曲的半球图像(前方)。同时，如图3的(b)所示，由摄像元件103a获得的图像被后述的鱼眼透镜102b形成为弯曲的半球状像(后方)。而且，半球图像(前方)和转动180度的半球图像(后方)通过全天球摄影装置1合成，形成如图3的(c)所示的等距柱形映射图像EC。

而后,利用Open GL ES(Open Graphics Library for Embedded Systems)，用等距柱形映射方式将图像如图4的(a)所示地覆盖到球面上，生成图4的(b)所示的全天球图像CE。这样，全天球图像CE被显示为让等距柱形映射方式面向球体中心的图像。Open GL ES是用于将二维数据和三维数据可视化而使用的图形库。全天球图像CE既可以是静画也可以是动画。在本实施方式中，如果部明确说明，用“图像”表示时包含“静画”和“动画”双方。

如上所述，全天球图像CE如同覆盖似地贴在球面上，因而人看起来会产生不协调感。对此，如果将天球图像CE的一部分预定区域(以下称为指定区域图像)作为弯曲较少的平面图像来显示，可以避免人眼不适应的感觉。对此，以下将用图5和图6进行描述。

图5是将全天球图像作为三维立体球体显示时假想照像机以及预定区域的位置的示意图。假想照相机IC的位置相当于，观看作为三维立体球所显示的全天球图像CE的用户视点的位置。图6中，(a)是图5的立体图，(b)是显示器上预定区域的示意图。图6的(a)以三维立体球体CS来表示图4所示的全天球图像CE。如此生成的全天球图像CE如果是立体球体CS，则如图5所示，假想照相机IC位于全天球图像CE的内部。全天球图像CE中的指定区域T是假想照相机IC的摄影区域，通过包含全天球图像CE的三维假想空间中的包含假想照相机IC的视角的位置坐标(x(rH)、y(rV)、视角α(angle))的指定区域信息来确定。指定区域T的变焦可以通过扩大或缩小视角α的范围(圆弧)来表示。另外，指定领域T的变焦还可以通过假想照相机IC接近或远离全天球图像CE来表示。指定区域图像Q是全天球图像CE中的指定区域T的图像。

而且，图6的(a)所示的指定领域图像Q如图6的(b)所示，在规定的显示器上被显示为假想照相机IC的摄影领域的图像。图6的(b)所示的图像是根据初始设定(默认值)的指定领域信息所表示的指定领域图像。另外，也可以不用指定区域信息以及假想照相机IC的位置坐标，而用指定区域T，即假想照相机IC的摄影区域(X，Y，Z)来表示。

图7是用来说明部分图像参数的示意图。在此，对指定全天球图像中的一部分图像的方法进行说明。在全天球图像中可以用拍摄的照相机(在此为假想照相机IC)的方向来表示部分图像的中心点CP。将全天球图像，即整体图像的中心，作为整体图像正面，设"aa"为的方位角，仰角为"ea"。可以用例如α表示对角方向的视角，以表示部分图像的范围。还可以用(宽度w÷高h)表示图像的纵横比，以表示纵横的范围。在此用对角视角和纵横比来表示范围，此外，还可以用纵视角和横视角、纵视角和纵横比等。除了方位角、仰角以外，还可以使用转动角。

[摄影系统的概述]

首先，用图8说明本实施方式的摄影系统的构成。图8是本实施方式的摄影系统构成的概略示意图。

如图8所示，本实施方式的摄影系统包括全天球摄影装置1、中继终端3、智能手机5以及图像管理系统7。

其中，全天球摄影装置1如上所述，是用于拍摄被摄物体和风景等、获得成为全天球(全景)图像的两个半球图像的特殊数码相机。

中继终端3是可以直接与互联网等通信网络100通信的通信终端的一个示例。中继终端3通过与不能直接与通信网络100通信的全天球摄影装置1进行近距离无线通信，在全天球摄影装置1和图像管理系统7之间起到中继通信的作用。近距离无线通信利用Wi-Fi、蓝牙(注册商标)、NFC(Near FieldCommunication)等技术进行通信。图8中，中继终端3被如同全天球摄影装置1中设置的硬件加密锁(Dongle)接收机地使用。

智能手机5可以用有线或无线方式，通过通信网络100与图像管理系统7通信。智能手机5可以在设于装置本身上面的后述显示器517上，显示从全天球摄影装置1取得的图像。

图像管理系统7由计算机构成，其通过中继终端3将来自智能手机5的关于动画或静画的要求传送到全天球摄影装置1。同时，图像管理系统7还将全天球摄影装置1经由中继终端3发送过来的动画数据以及静画数据送往智能手机5。

图1虽然只显示了一组全天球摄影装置1和中继终端3，但也可以有多组。智能手机5虽然也只显示了一台，也可以使用多台。智能手机5是通信终端的一个示例。除了智能手机5外，通信终端还包括PC(Personal Computer)、智能手表、游戏设备、车载导航仪等。进而，图像管理系统7可以由多台计算机组成，而不仅是单一的计算机。

[实施方式的硬件构成]

以下利用图9及图12详述本实施方式的全天球摄影装置1、中继终端3、智能手机5及图像管理系统7的硬件构成。

<全天球摄影装置的硬件构成>

首先用图9描述全天球摄影装置1的硬件结构。图9是全天球摄影装置1的硬件结构模块图。以下以利用两个摄像元件的4π弧度全天球(全景)摄像装置作为全天球摄影装置1，摄像元件可以是两个或更多。此外，全天球摄影装置1不并不一定是全景摄影专用装置，也可以在普通的数码相机或智能电话等上安装后设的全方位摄像部，其与全天球摄影装置1功能实质相同。

如图9所示，全天球摄影装置1包括摄像部101、图像处理部104、摄像控制部105、麦克风108、音频处理部109、CPU(Central Processing Unit部)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、网络I/F 116、通信部117、天线117a、电子罗盘118、陀螺传感器119、加速度传感器120以及端子121。

其中，摄像部101具有用于各个半球图像的成像且具有180°以上视角的广角透镜(所谓的鱼眼透镜)102a、102b、以及与各个广角透镜对置的两个摄像元件103a、103b。摄像元件103a、103b具有用于将用鱼眼透镜102a、102b形成的光学图像转换为电信号的图像数据输出的CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge CoupledDevice)传感器之类的图像传感器、用于生成这些图像传感器的水平或垂直同步信号或像素时钟等定时生成电路、该摄像元件的动作所需要的各种指令和参数被设定了的寄存器群等。

摄像部101的摄像元件103a、103b以并行I/F总线分别与图像处理部104连接，同时，还以串行I/F总线(I2C总线等)与摄像控制部105连接。图像处理部104、摄像控制部105以及音频处理部109经由总线110与CPU 111连接。进而，总线110上也连接了ROM 112、SRAM113、DRAM 114、操作部115、网络I/F116、通信部117、以及电子罗盘118等。

图像处理部104通过并行I/F总线获取摄像元件103a、103b输出的图像数据，各图像数据经过规定的处理后，实行这些图像数据的合成处理，生成图3的(c)所示的等距柱形映射图像的数据。

摄像控制部105通常以摄像控制部105为主装置、摄像元件103a、103b作为从动器件，用I2C总线，对摄像元件103a、103b的寄存器群设定指令等。从CPU111接受所需指令等。此外，摄像控制部105也同样利用I2C总线，取得摄像元件103a、103b的寄存器群的状态数据等，并将该状态数据送往CPU111。

摄像控制部105还在操作部115的快门按钮受到按动时，向摄像元件103a、103b发出图像数据输出指示。不同的全天球摄影装置1具有不同的功能，有些特殊摄像装置1具有显示屏(例如，智能电话5的显示器517)预览显示功能或动画显示功能。在这种情况下，来自摄像元件103a、103b的图像数据的输出以规定的帧速(帧/分钟)连续进行。

摄像控制部105还具有下述的同步控制部的功能，用于与CPU 111协作，使得摄像元件103a、103b的图像数据的输出时刻同步。虽然本实施方式中的全天球摄影装置1上没有设置显示器，但也可以设置显示部。

麦克风108用于将声音转换为声音(信号)数据。音频处理部109，通过I/F总线从麦克风108取得输出的声音数据，对声音数据实施预定的处理

CPU111在控制整个全天球摄影装置1的动作的同时，还实施必要的处理。CPU111可以是单一的，也可以有多个。ROM112用来保存用于CPU111的各种程序。SRAM113和DRAM114是工作存储器，用于保存CPU111执行的程序和处理期间的数据等。DRAM114特别用于保存图像处理部104中的处理过程中的图像数据或处理完毕的等距柱形映射图像的数据。

操作部115是快门按钮115a等的操作按钮的总称。用户通过对操作部115进行操作，来输入各种摄影模式和摄影条件等。

网络I/F116是与诸如SD卡等外部介质或个人计算机等的接口(USB I/F等)的总称。无论无线还是有线均可用于网络I/F116。保存在DRAM114中的等距柱形映射图像的数据通过网络I/F116保存到外部介质中，或者根据需要经由网络I/F116送往智能电话5等外部终端(装置)。

通信部117利用Wi-Fi、NFC、蓝牙(Bluetooth)等的短程无线通信技术，经由设于全天球摄影装置1的天线117a，与智能电话5等外部终端(装置)通信。通过通信部117也能够向智能电话5等外部终端(装置)发送等距柱形映射图像的数据。

电子罗盘118用于根据地球的磁性计算全天球摄影装置1的方位，输出方位信息。该方位信息是遵循Exif文件的相关信息(元数据)的一个例子，用于摄影图像的图像补偿处理等各种图像处理。在此，相关信息包含图像的拍摄日期、以及图像数据的数据容量的各种数据。

陀螺仪传感器119是用于检测伴随全天球摄影装置1的移动而产生的角度变化(Roll，Pitch，Yaw)传感器。角度的变化是沿Exif的信息(元数据)的一个示例，用于摄影图像的图像补偿等图像处理。

加速度传感器120是用于检测3轴向加速度的传感器。全天球摄影装置1根据加速度传感器120检测的加速度来求出装置本身(全天球摄影装置1)的姿势(相对于重力方向的角度)。通过同时设置陀螺传感器119和加速度传感器120，可以提高全天球摄影装置1的图像补偿精度。

端子121为Micro USB用凹形端子。

<中继终端的硬件构成>

以下用图10说明中继终端3的硬件构成。图10是具有无线通信功能的底座情况下的中继终端3的硬件构成图。

如图10所示，中继终端3具有控制中继终端3整体动作的CPU301、存储基本输入输出程序的ROM302、被作为CPU301的工作区域的RAM303、按照CPU301的控制进行数据读取或写入的EEPROM(Electrically Erasable and Programmable ROM)304、作为按照CPU301的控制拍摄被摄体而获得图像数据的摄像元件的CMOS传感器305。

EEPROM304中还存储CPU301执行的操作系统(OS)、其他程序以及各种数据。也可以用CCD传感器取代CMOS传感器305。

进而，中继终端3具备天线313a、利用该天线313a，通过无线通信信号经由通信网络100与图像管理系统7通信的通信部313、GPS(Global Positioning Systems)卫星或作为室内GPS的IMES(Indoor Messaging System)的GPS信号接收部314、以及用于将上述各部件电连接的地址总线和数据总线等总线310。

<智能手机的硬件构成>

以下用图11说明智能手机的硬件构成。图11是智能手机的硬件构成图。如图11所示，智能电话5具备CPU 501、ROM 502、RAM 503、EEPROM504、CMOS传感器505、摄像元件I/F513a、加速度/方位传感器506、介质I/F508、GPS接收部509。

其中，CPU501控制智能电话5的整体操作。CPU501既可以是单一的，也可以是多个。ROM502存储CPU501或IPL(Initial Program Loader)等CPU驱动程序。RAM503用于作为CPU501的工作区域。EEPROM504按照CPU501的控制执行智能电话用程序等各种数据的读取或写入。CMOS传感器505在CPU501的控制下拍摄被摄体(主要是自拍像)以得到图像数据。摄像元件接口(I/F)513a是用于控制CMOS传感器512的驱动电路。加速度/方位传感器506是用于检测地磁的电子磁罗盘或陀螺罗盘、加速度传感器等的各种传感器。介质I/F(接口)508用于控制闪存等存储介质507的数据读取或写入(存储)。GPS接收部509用于从GPS卫星接收GPS信号。

智能电话5还具备远程通信电路511、天线511a、CMOS传感器512、摄像元件I/F513b、麦克风514、扬声器515、音频输入输出I/F 516、显示器517、外设连接I/F 518、近距离通信电路519、近距离通信电路519的天线519a、和触摸屏521。

其中，远程通信电路511是用于借助于互联网等通信网络100与其它设备进行通信的电路。CMOS传感器512是一种在CPU 501的控制下拍摄被摄体并获得图像数据的内置型摄像装置。摄像元件I/F513b是用于控制CMOS传感器512的驱动电路。麦克风514是用于语音输入的一种内置型拾音装置。音频输入输出I/F 516是在CPU 501的控制下根据麦克风514和扬声器515之间的用于处理的音频信号的输入输出电路。显示器517是一种用于显示被摄体的图像或各种图标等的液晶或有机EL等的显示装置。外设连接接口(I/F)518是用于连接各种外设的接口。短程通信电路519是Wi-Fi、NFC、蓝牙等的通信电路。触摸屏521是一种输入装置，通过用户按动显示器517，操作智能电话5。

智能电话5包括总线510。总线510是用于CPU 501等的各构成要素电连接的地址总线或数据总线等。

<图像管理系统的硬件构成>

以下利用图12说明图像管理系统的硬件构成。

图12是图像管理系统7的硬件结构模块图。如图12所示，图像管理系统7由计算机构成，具备CPU701、ROM702、RAM703、HD704、HDD(Hard Disk Drive)控制器705、显示器708、介质I/F707、网络I/F709、总线710、键盘711、鼠标712及DVD-RW(可改写数字多功能光盘)驱动器714。

其中，CPU701控制图像管理系统7的动作。ROM702存储IPL等用于驱动CPU701的程序。RAM703被用来作为CPU701的工作区域。HD704存储程序等各种数据。HDD控制器705按照CPU701的控制，控制HD704的各种数据的读取或写入。显示器708显示光标、菜单、窗口、文字或图像等各种信息。介质I/F707控制闪存等记录介质706的读取或写入(存储)。网络I/F709是利用通信网络100进行数据传输的接口。总线710是用于将图12所示的CPU701等各构成要素电连接的地址总线和数据总线等。

键盘711是一种输入装置，具有用于输入字符、数字、各种指示等的多个键。鼠标712是一种输入装置，用于进行各种指示的选择、执行、处理对象的选择、光标移动等。DVD-RW驱动器714控制作为一例可装卸记录介质的DVD-RW713的各种数据的读取或写入。可装卸记录介质不限于DVD-RW，也可以是DVD-R或蓝光光盘(Blu-ray Disc)等。

〔实施方式的功能构成〕

其次，利用图13～图16说明本实施方式的功能构成。由于中继终端3的主功能也是用于中继全天球摄影装置1和图像管理系统7之间的通信的收发部，因此省略说明。

<全天球摄影装置的功能构成>

图13是本实施方式的全天球摄影装置的功能结构模块图。全天球摄影装置1具有收发部11、部分图像参数制作部12、摄影控制部13、摄像部14a、14b、图像处理部15、一时性存储部16、低清晰更改部17、映射方式变换部18、结合部21、动画加密部19a、静画加密部19b、判断部25、以及静画存储部20。这些部均是由图9所示的各个构成要素中的某一个要素，按照来自执行从SRAM113展开到DRAM114上的全天球摄影装置用程序的CPU111发出的指令而运行所实现的功能或装置。全天球摄影装置1具有通过SRAM113实现的阈值管理部1001。

(水平垂直视角阈值信息)

阈值管理部1001如图16的(a)所示，例如在从工厂出厂之前，其中存储了水平垂直视角阈值信息。另外，图16的(a)是水平垂直视角阈值信息的示意图，图16的(b)是水平视角和垂直视角的示意图。图16的(a)的水平垂直视角阈值信息以表格形式表示，但不限于此，也可以不用表格形式来表示。

如图16的(a)所示，水平垂直视角阈值信息由全天球摄影装置1的最大摄影分辨率(横W×纵H)的候补列、使用者(阅览者)设定的智能手机5的最大显示分辨率(横W'×纵H')的候补列、以及用来判断是否从全天球摄影装置1经由图像管理系统7送往智能手机5的图像的水平视角(AH)×垂直视角(AV)的各阈值被关联起来管理。

在此，使用图16的(b)，对水平视角(AH)和垂直视角(AV)进行说明。图16的(b)中，中心点CP、方位角"aa"、仰角"ea"与图7相同，因此省略说明。在全天球图像(动画、静画)中，矩形的部分图像(动画、静画)的一个帧的全部区域的大小可以用进行摄影的照相机(在此是虚拟照相机IC)的方向来表示。部分图像的横向长度用来自虚拟相机IC的水平视角(AH)表示，部分图像的纵向长度可以用来自虚拟照相机IC的水平视角(AH)来表示。

水平视角(AH)和垂直视角(AV)是在变换之前的分辨率和转换之后的分辨率之间的差消失的视角，用于判断部25的判断。该视角可以通过下列(式1)及(式2)求出。

AH＝(360/W)*W' (式1)

AV＝(180/H)*(H'/2) (式2)

即使全天球摄影装置1的最大摄影分辨率为(W:4000，H:2000)，全天球摄影装置1也管理表示图16所示的各设定模式的水平垂直视角阈值信息。但是，在这种情况下，全天球摄影装置1在图16中，只参照设定1和设定2的模式。同样，即使使用者设定的智能手机5的最大显示分辨率为(W':1920，H':1080)，但全天球摄影装置1也管理表示图16所示的各设定模式的水平垂直视角阈值信息。

例如，在全天球摄影装置1的最大摄影分辨率的横×纵为4000×2000的情况下，在被设定为由使用者从智能手机5向全天球摄影装置1提出横×纵为1920×1080的分辨率的图像(动画、静画)数据的要求时的条件(设定1)下，判断部25在指示数据要求的部分图像的视角不到被表示为横172.8°且纵48.6°的阈值的情况下，判断为不让映射方式变换部18进行向超高清晰静画数据转换的映射方式转换。

(全天球摄影装置的各项功能构成)

以下利用图13，进一步详细说明全天球摄影装置1的各项功能构成。

收发部11向全天球摄影装置1的外部发送图像数据，或者从外部接收数据。作为图像数据，例如有超高清晰的部分静画、高清晰的部分动画、低清晰的整体动画的各种数据。另外，收发部11用于接收后述的指示数据，或发送后述的部分图像参数。

在本实施方式中，由于处理三个不同阶段的清晰度图像，因而为了方便起见，将清晰度最高的图像、其次是清晰度高的图像、再次是清晰度最低的图像分别表示为"超高清晰"、"高清晰"、"低清晰"。因此，例如，本实施方式的"超高清晰"并不意味着一般的超高清晰。

部分图像参数制作部12根据从智能手机5经由图像管理系统7送来的指示数据，制作部分图像参数。该指示数据是在智能手机5的受理部52通过使用者的操作受理，是表示用来确定后述重叠区域的指示的数据。

摄影控制部13输出使得摄像部14a、14b的图像数据输出时机同步的指示。

摄像部14a、14b分别按照摄影控制部13的指示，拍摄被摄体等，例如，如图3的(a)、(b)所示，输出半球图像数据，该半球图像数据为全天球图像数据的原始数据。

图像处理部15将用拍摄部14a、14b得到的两个半球图像数据合成变换为等距柱形映射方式的图像，即等距柱形映射图像。

一时性存储部16起到缓冲器作用，暂时保存经过图像处理部15合成变换的等距柱形映射图像的数据。这种状态下的等距柱形映射图像是超高清晰。

低清晰更改部17按照收发部11收到的来自智能手机5的指示数据，通过缩小图像等，将等距柱形映射图像从超高清晰图像(在此是动画)改为低清晰图像(在此是动画)。由此生成低清晰的等距柱形映射图像(在此是整体动画)。低清晰更改部17是更改部的一个示例。

映射方式变换部18按照收发部11收到的指示数据和动画数据请求，即按照作为整体图像中一部分的部分图像的方向、视角、纵横比、以及经由图像管理系统7送往智能手机5的图像数据大小，进行映射方式变换，将等距柱形映射方式转换为透视映射方式。如此，当收到部分动画数据请求时，映射方式变换部18生成高清晰状态的部分图像(在此为部分动画)，该部分图像的清晰度虽然低于一时性存储部16中保存的超高清晰的整体图像的清晰度，但是却高于经过低清晰更改部17更改而得到的低清晰状态的图像的清晰度。

进而，映射方式变换部18还可以根据收发部11收到的指示数据及静画数据请求，即，按照作为整体图像中一部分的部分图像的方向、视角、纵横比、以及经由图像管理系统7送往智能手机5的图像数据的大小，进行映射方式变换，将等距柱形映射方式变换为透视映射方式。如此，当收到部分静画数据请求时，映射方式变换部18以保持一时性存储部16中保存的超高清晰状态生成部分图像(在此是部分静画)。

如上所述，低清晰更改部17和映射方式更改部18之间的不同不在于是否执行映射方式变换，而在于从低清晰更改部17输出的整体图像(在此是整体动画)数据的清晰度(或分辨率)要低于映射方式转换部18输出的部分图像(在此为部分动画或部分静画)数据的清晰度。换言之，映射方式变换部18输出的部分图像数据的清晰度高于低清晰更改部17输出的整体图像数据的清晰度。

在此说明输出高清晰图像，例如输出2K、4K、8K的任意一个的等距柱形映射图像。按照这些高清晰等距柱形映射图像的数据，从映射方式变换部18输出的部分图像数据，是以保持等距柱形映射图像的分辨率(2K，4K，8K的任一种)的状态变换为规定的映射方式的数据。另一方面，从低清晰更改部17输出的整体图像数据，是1K、2K、4K等清晰度比等距柱形映射图像低的低清晰(低分辨率)数据。

结合部19如图20所示，把经过低清晰更改部17更改的低清晰整体动画的各帧和经过映射方式变换部18变换的高清晰部分动画的各帧的纵向的分辨率压缩一半，降低各帧的清晰度后，结合为一帧。因此，部分动画比整体动画清晰度高，但比部分静画清晰度低。这样，通过降低各帧的清晰度形成一帧，可以抑制数据通信量。而且，被结合的2个帧是由同一个存储在一时性存储部16中的等距柱形图像生成的，因而，即使不使用把被结合的两个帧相关联的元数据等，也可以将同一时刻拍摄的两个帧关联起来。

动画加密部19a对通过结合部19结合的整体动画和部分动画的帧数据进行加密。静画加密部19b对部分静画的数据进行加密。

受理部22用于接受使用者进行各种要求时在全天球摄影装置的操作部115上进行的操作。

判断部25判断作为整体动画中一部分区域的部分图像的一帧全部区域是否比阈值管理部1001管理的水平垂直视角阈值信息(参见图16)的规定阈值所表示的规定区域小。在比规定区域小的情况下，判断部25不使得映射方式变换部18从超高清晰整体动画数据生成超高清晰部分静画数据。而在比规定区域大的情况下，判断部25使得映射方式变换部18从超高清晰的整体动画数据生成超高清晰的部分静画数据。

例如，在全天球摄影装置1的最大摄影分辨率的横×纵为4000×2000，使用者从智能手机5对全天球摄影装置1，将智能手机5中的最大显示分辨率的横×纵设定为1920×1080时的条件(设定1)下，根据指示数据所要求的图像的横视角小于172.8°且纵视角小于48.6°时，判断部25判断不使得映射方式变换部18进行映射方式转换，即不将整体动画数据转换到超高清晰静画数据。这样，在智能手机5所要求的图像分辨率(清晰度)低的情况下，全天球摄影装置1即便发送高清晰部分动画的数据，或者超高清晰部分静画数据，使用者也很难用智能手机5区分高清晰部分动画和超高清晰部分静画，所以全天球摄影装置1不需要特意发送超高清晰部分静画数据。在阈值范围内显示的"小于"也可以是"以下"。

另一方面，在与上述相同的条件(设定1)下，根据指示数据要求的图像的横视角为大于172.8°或纵视角为大于48.6°时，判断部25判断使得映射方式变换部18进行映射方式转换，即将整体动画数据转换到超高清晰静画数据。这种情况下，智能手机5通过将高清晰的部分动画切换为超高清晰的部分静画来显示，使用者(阅览者)能够更清晰地阅览关注的领域，因此能够仔细地阅览。在阈值范围内显示的"大于"也可以是"以上"。

<智能手机的功能构成>

图14是本实施方式的智能手机的功能结构模块图。智能手机5具有收发部51、受理部52、动画解密部53a、静画解密部53b、重叠区域制作部54、图像制作部55、图像重叠部56、映射变换部57、以及显示控制部58。这些部是由图11所示的各构成要素中的某一个要素根据执行从EEPROM504展开到RAM503上展开的智能手机程序的CPU501所发出的指令来运行的功能或装置。

(智能手机的各功能构成)

以下用图14，进一步详述智能手机5的各功能构成。

收发部51将数据发送到智能手机5外部，或从外部接收数据。例如，收发部51从全天球摄影装置1的收发部11接收图像数据，或者向全天球摄影装置1的发送部11发送指示数据。收发部51将全天球摄影装置1的收发部11送来的图像数据(如图20所示的整体动画的数据及部分动画数据)和部分图像参数分开。

受理部52接受来自使用者的部分图像的方向、视角以及纵横比、以及智能手机5接收的图像数据的大小的指定操作。受理部52还接受使用者对智能手机5最大显示分辨率(参照图16的横W'×纵H')的设定。

动画解密部53a对经过动画加密部19a加密的低清晰整体动画以及高清晰部分动画的各数据进行解密。静画解密部53b对经过静画加密部19b加密的超高清晰的部分静画数据进行解密。

重叠区域制作部54制作由部分图像参数所指定的重叠区域。该重叠区域表示整体动画的全天球图像CE上部分动画(或者部分静画)的重叠图像S以及掩模图像M的重叠位置及重叠范围。

图像制作部55根据重叠区域，制作重叠图像S及掩模图像，根据低清晰的整体图像制作全天球图像CE。

图像重叠部56将重叠图像S以及掩膜图像M重叠到全天球图像CE上的重叠区域上，制作最终全天球图像CE。

映射变换部57根据受理部52接受的使用者的指示，将最终全天球图像CE变换为透视投影方式的图像。

显示控制部58进行把变换成透视投影方式的图像显示在显示器517等上的控制。

<图像管理系统的功能构成>

图15是图像管理系统的功能结构模块图。图像管理系统7具有收发部71。收发部71是由图12所示的网络I/F根据执行从HD704扩展到RAM703上的图像管理系统用程序的CPU701所发出的指令动作而实现的功能或装置。图像管理系统7还具有由HD704实现的存储部7000。

(图像管理系统的功能构成)

以下用图15进一步详述图像管理系统7的功能构成。

收发部71向图像管理系统7的外部发送数据，或者从外部接收数据。例如，收发部71从全天球摄影装置1的收发部11经由中继终端3接收图像数据，或者通过中继终端3向全天球摄影装置1的收发部11发送指示数据。收发部71还将经由中继终端3从全天球摄影装置1的收发部11发送过来的图像数据(如图20所示的整体动画数据及部分动画数据)、以及部分图像参数发送到智能手机5。进而，将全天球摄影装置1的收发部11通过中继终端3发送过来的超高清晰图像数据暂时存储到存储部7000，或者从存储部7000读取超高清晰的图像数据，发送到智能手机5。

〔实施方式的处理或动作〕

接着，利用图17～图26，说明本实施方式的处理或动作。本实施方式对在智能手机5中重放由全天球摄影装置1生成后发送过来的数据所涉及的整体动画及部分动画期间，阅览者用更加高清晰(即超高清晰)的静画来仔细阅览某一部分动画的某个场景的场合进行说明。

<<整体动画和部分动画的生成及播放>>

首先，使用图17对整体动画和部分动画的各数据的生成重放处理进行说明。图17是整体动画以及部分动画的各数据的生成和再生处理的时序图。

如图17所示，通过阅览者(使用者)操作智能手机5，受理部22受理开始动画发送服务的请求(S11)。据此，智能手机5的收发部51将动画数据请求送往图像管理系统7的收发部71(S12)。此时，还发送阅览者所指定的部分图像参数。关于开始发送的时机，全天球摄影装置1的收发部11可以进行通信网络的频带控制等。通过频带控制，能够更加稳定地收发数据。

接着，图像管理系统7的收发部71向中继终端3的收发部传送动画数据请求(S13)。然后，中继终端3的收发部向全天球摄影装置1的收发部11传送动画数据请求(S14)。

接着，全天球摄影装置1进行动画数据的生成处理(S15)。关于此步骤S15的处理将在稍后详细说明(参见图18～图20)。

接下来，全天球摄影装置1的收发部11向中继终端31的收发部发送符合要求的动画数据(S16)。该动画数据包括低清晰整体动画以及高清晰部分动画的各数据。由此，中继终端3的收发部将动画数据传送到图像管理系统7的收发部71(S17)。图像管理系统7的收发部71再将动画数据传送到智能手机5的收发部51(S18)。

接着，智能手机5将进行动画数据的重放处理(S19)。该步骤S19的处理将在稍后详细说明(参照图21～图25)。

<全天球摄影装置的动画生成处理>

接下来用图18～图20详细说明上述步骤S15所示的全天球摄影装置的动画数据的生成处理。图18是全天球摄影装置进行的图像处理过程中的图像的示意图。

图像处理部15将通过拍摄部14a、14b得到的两个半球图像数据合成变换成等距柱形映射方式的图像(在此为动画)，即等距柱形映射图像(S120)。该变换后的数据暂时以超高清晰图像的状态保存在存储部16中。

接着，部分图像参数制作部12根据从智能手机5发送来的指示数据制作部分图像参数(S130)。

接着，低清晰更改部17根据在收发部11收到的智能手机5的指示数据，将整体动画从超高清晰图像改为低清晰图像(S140)。由此，生成低清晰的等距柱形映射图像(在此为整体动画)。

进而，映射方式变换部18按照收发部11收到的来自智能手机5的指示数据，即，按照整体动画各帧的部分区域的部分动画的方向、部分动画的帧的视角及纵横比、以及送往智能手机5的动画数据的大小，将等距柱形映射方式变换成透视投影方式(S150)。据此，就可以生成高清晰状态的部分动画。

而后，结合部19将低清晰整体动画的数据和高清晰部分动画数据结合起来(S160)。关于此结合的处理将在稍后详述(参见图20)。

在此，用图19和图20进一步详述图18所示的处理。图19是对部分图像参数进行说明的图。

(部分图像参数)

首先，用图19详述部分图像参数。图19的(a)显示在步骤S120的图像合成后的整体图像。图19的(b)是一例部分图像参数的示意图。图19的(c)显示按照步骤S150变换投影方式后的部分图像。

图7中说明的方位角在图19的(a)所示的等距柱形图法中为横向(纬度λ)，图7中说明的仰角在等距柱形映射方式中为纵向(经度

)。结合图7的对角视角及纵横比，图19的(b)所示的参数为部分图像参数。图19的(c)是在图19的(a)的等距柱形图法上用部分画像参数切割出的框所包围的部分的部分画像的示例。

在此说明映射方式的变换。如图4的(a)所示，通过用等距柱形映射图像覆盖立体球，制作全天球图像。因此，可以使等距柱形映射图像的各像素与三维全天球图像的立体球表面上的各像素数据相对应。在此，映射方式变换部18进行变换的变换式，将等距柱形映射图像中的坐标表示为(纬度，经度)＝(e，a)，用直角坐标(x，y，z)表示三维立体球上的坐标，就可以用以下的(式3)表示。

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea)) (式3)

此时的立体球半径为1。

另一方面，透视映射图像的部分图像为二维图像，在用二维极坐标(径向、偏角)＝(r，a)表示时，动径r对应对角视角，可取的范围为0≤r≤tan(对角视角/2)。如果用二维直角坐标系统(u，v)来表示部分图像，其与极坐标(径向，偏角)＝(r，a)之间的变换关系可以用以下的(式4)来表示。

u＝r×cos(a)，v＝r×sin(a) (式4)

接下来，考虑使(式3)与三维坐标(径向，极角，方位角)对应。由于目前由于只考虑立体球CS的表面，因此3维极坐标的动径为"1"。另外，对贴在立体球CS表面的等距柱形映射图像进行透视投影变换的投影，如果假设立体球的中心设有假想摄像头，则用上述二维极坐标(径向，偏角)＝(r，a)，可以用以下的(式5)、(式6)来表示。

r＝tan(极角) (式5)

a＝方位角 (式6)

在此，设极角为t，则为t＝arctan(r)，因此可以将三维极坐标(径向、极角、方位角)表示为(径向，极角，方位角)＝(1，arctan(r)，a)。

从三维极坐标转换为直角坐标系统(x，y，z)的变换式可以用以下的(式7)来表示。

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t)) (式7)

利用上述(式7)，可以相互转换等距柱形映射方式的整体图像和透视投影方式的部分图像。换言之，通过使用与需要制作的部分图像的对角视角对应的动径r，可以求出表示部分图像的各像素与等距柱形映射图像中的哪个坐标对应的变换映射坐标，根据该变换映射坐标，可以从等距柱形映射图像中生成作为透视映射图像的部分图像。

顺便说明一下，上述映射方式的变换表示将等距柱形映射图像的(纬度，经度)为(90°，0°)的位置变换为透视投影图像的部分图像的中心点。因此，在将等距柱形映射图像的任意点作为关注点进行透视投影变换时，可以通过转动贴了等距柱形映射图像的立体球，进行坐标转动，把关注点坐标(纬度，经度)设置在(90°，0°)位置即可。

该立体球转动的转换公式是一般的坐标转动公式，因此省略说明。

(结合处理)

接着，利用图20说明结合部19进行的步骤S160的结合处理。图20是整体动画和部分动画的各帧图像结合起来的状态的示意图。如图20所示，在一个帧中上部配置整体图像，下部配置部分图像地结合。在本实施方式中，一般是配合作为HD等的纵横比16:9配置，但不拘于纵横比大小。另外，配置不仅可以上下，也可以是左右。多个部分图像情况下，也可以例如在上半部分配置部分动画，下半部分部按照部分动画数量分割。通过将每个帧的整体动画和部分动画整合为一个帧，可以保障图像之间的同步。全天球摄影装置1可以向智能手机5分别发送整体动画数据和部分动画数据。

但是，由于整体动画和部分动画的纵向分为一半，因此与不分为一半的情况相比，分辨率将下降为一半。换言之，与存储在一时性存储部16中的超高清晰图像相比，清晰度下降。其结果是，依照清晰度高低顺序，存储部16中存储的整体图像、经映射方式变换部18变换后的部分图像、经过低清晰更改部17变换后的整体图像的清晰度逐渐下降。

<智能手机的动画重放处理>

接着，利用图21说明智能手机5的动画数据的重放处理。图21是智能手机的图像处理过程中的图像的示意图。图7所示的重叠区域制作部54如图21所示，用部分图像参数制作受到指示的部分立体球PS(S320)。

接着，图像制作部55在部分立体球PS上重叠透视投影方式的部分图像，生成重叠图像S(S330)。图像制作部55还基于部分立体球PS，制作掩膜图像M(S340)。进而，图像制作部55在立体球CS上张贴等距柱形映射方式的整体图像，以制作全天球图像CE(S350)。然后，图像重叠部56在全天球图像CE上重叠重叠图像S及掩模图像M(S360)。由此，以边界不显眼的方式重叠了高清晰重叠图像S(在此是高清晰部分动画)的低清晰全天球图像CE(在此是低清晰整体动画)便完成了。

接着，映射变换部57根据预定的假想照相机的视线方向和视角，进行映射变换，用以可以在显示器517上阅览重叠了重叠图像S状态下的全天球图像CE中的指定区域(S370)。

图22是用于说明从部分平面制作部分立体球的示意图。通常在透视投影方式中，为了投影到平面，如图22的(a)所示，大多用平面表示在三维空间上。在本实施方式中，如图22的(b)所示，是配合全天球图像作为球的一部分的部分立体球。在此说明从平面到部分立体球的变换。

如图22的(a)所示，将以适当大小(视角)配置的平面上的各点(X，Y，Z)投影到球面上。球面上的投影是从球的原点通过各点(X，Y，Z)的直线和球面的交点。球面上的各点与原点的距离与球的半径相等。因此，如果设球的半径为1，图22的(b)显示的球面上的点(X'，Y'，Z')可以用以下的(式8)表示。

(X'，Y'，Z')＝(X，Y，Z)×1/√(X2+Y2+Z2) (式8)

图23是在不制作本实施方式的部分立体球的情况下将平面图重叠到天球图像上的二维示意图。图24在进行本实施方式的部分立体球制作的情况下将部分图像重叠到全天球图像上的二维示意图。

在图23中，如(a)所示，设定以假想照相机IC位于立体球体CS的中心点时作为基准，被摄体P1在全天球图像CE上被表示为P2，在重叠图像S上被表示为P3。此时，像P2和像P3均位于假想照相机IC和被摄体P1的连线上，因而，即便以重叠图像S叠加在全天球图像CE上的状态显示，全天球图像CE和重叠图像S之间也不会发生偏离。但是，如果假想照相机IC位置离开立体球体CS的中心点，则如(b)所示，在假想照相机IC和被摄体P1的连线上，像P3稍微位于像P2的内侧。在此，如果设定在假想照相机IC与被摄体P1的连线上，重叠图像S上的像为像P3’，则全天球图像CE和重叠图像S上像P3和像P3之间便产生偏离量g。这样，重叠图像S虽然会被显示为相对于全天球图像CE产生偏离，但重叠显示也可以。

对此，本实施方式由于进行了部分立体球制作，如图24的(a)和(b)所示，使得重叠图像S沿着天球图像CE重叠。这样，不仅如图24的(a)所示，当假想照相机IC位于立体球体CS的中心点上时，而且如图24的(b)所示，在假想照相机IC不位于立体球体CS的中心点上时，像P2和像P3也能够位于假想照相机IC和被摄体P1的连线上。这样，在显示重叠图像S叠加在天球图像CE上的状态时，天球图像CE与重叠图像S之间不会发生偏离。

图25是对比未重叠显示情况下和重叠显示情况下的图像显示的示意图，其中，(a)是未重叠显示时的广域图像的显示例，(b)是未重叠显示时的广域图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。图中的虚线框是用于说明的标记，实际上不一定显示在显示器517上。

在图25中，在如(a)所示的在全天球图像CE(低清晰整体动画)上没有重叠部分图像P(共清晰部分动画)显示的情况下，当放大显示(a)中以虚线框显示的区域时，如(b)所示，只能显示低清晰度图像，因而用户只能看到不清晰的图像。对此，在如(c)所示的在全天球图像CE上叠加平面图像P(重叠图像S)显示的情况下，当放大显示(c)中以虚线框显示的区域时，如(d)所示，能够显示高清晰度图像，因而用户能够看到清晰的图像。尤其在虚线框显示的区域中具有文字招牌等时，如果不叠加高清晰平面图像P，则即便放大也无法清晰显示文字，无法看清内容。但是，如果重叠显示高清晰的平面图像P，则即使放大显示，文字等也十分清晰，用户能够看清内容。

<<部分静画的生成及播放>>

接下来，用图26说明部分静画数据的生成及重放处理。图26是部分静画数据的生成和再生处理的时序图。

阅览者(使用者)通过图17所示的步骤S19，在浏览重叠了如图25的(c)所示的部分图像(在此为高清晰部分动画)P的整体图像(在此为低清晰整体动画)时，如果想进一步地把部分动画作为高清晰静画来阅览，则如图26所示，阅览者(使用者)可以通过操作智能手机5，由受理部22受理部分静画发送服务的开始请求(S31)。据此，智能手机5的收发部51将静画数据的请求送往图像管理系统7的收发部71(S32)。此时，还发送阅览者指定的部分图像参数。

接着，图像管理系统7的收发部71向中继终端3的收发部传送静画数据的请求(S33)。然后，中继终端3的收发部对全天球摄影装置1的收发部11传送静画数据请求(S34)。

接下来，全天球摄影装置1进行静画数据的生成处理(S35)。稍后将详细说明步骤S35的处理。

接下来，全天球摄影装置1的收发部11向中继终端31的收发部发送符合要求的静画数据(S36)。该静画数据是超高清晰的部分静画的数据。开始发送静画数据的时间，可以在夜间等网络流量较少的时间段，也可以测定延迟时间，在比规定延迟时间短的时候发送。由此，中继终端3的收发部将图像数据传送到图像管理系统7的收发部71(S37)。

接着，在收到静画数据的情况下，图像管理系统7的收发部71把静画数据暂时存储到存储部7000(S38)。

而后，图像管理系统7的收发部7将图像数据传送到智能手机5的收发部51(S39)。此时，传送开始的时机可以与从全天球摄影装置1经由中继终端3向图像管理系统的发送数据相同，进行通信网络100的频带控制等。

接着，智能手机5将超高清晰部分静画取代此前重叠的高清晰部分动画，重叠在整体动画上进行显示(S40)。该重叠方法中包含与在整体动画上重叠部分动画时相同的处理，但由于有不同的处理，所以将在稍后详细说明。

在上述步骤S35中，如果判断部25判断不使得映射方式变换部18进行映射方式变换，即不变换到超高清晰静画图像的数据，则也可以在上述步骤S36～S37中，发送"不发送静画"或"视角不足"等信息，以取代静画数据。在这种情况下，在步骤S40中，在整体动画上重叠部分动画的状态下显示上述信息。

<全天球摄影装置的静画的生成>

接下来详细说明上述步骤S35所示的全天球摄影装置的静画数据的生成处理。

在全天球摄影装置1收到静画数据要求的情况下，进行静画拍摄判定。这是因为，当部分图像的视角较窄时，通过从原始图像的变换而制作的部分静画的分辨率与发送中的部分动画的分辨率之间的差异消失。此时，将图16所示的水平垂直视角阈值信息的水平视角(AH)和垂直视角(AV)作为最低视角，当部分图像参数指定的视角大于该视角时，执行静画生成处理(S210)。

更具体地说，当全天球摄影装置1的收发部11在动画数据发送中，收到静画数据的要求时，映射方式变换部18与部分动画的数据生成相同，按照部分图像参数，对超高清晰的部分静画数据进行映射方式变换，将等距柱形映射方式变换为透视映射方式。此时，生成的静画的大小是可变的，在维持超高清晰图像的分辨率的状态下进行变换。设超高清晰图像的水平分辨率为W，指定的水平视角为ah，生成的静画的水平分辨率Wp可以如下求出。

Wp＝W/360*ah(式9)

在此，W的尺寸可以从全天球摄影装置1启动时读取的水平垂直视角阈值信息(参照图16的(a))的W列取得。

同样，设指定的垂直视角为av，生成的静画的垂直分辨率Hp可以通过下式来求得。

Hp＝H/180*av(式10)

进而，静画加密部19b进行部分静画数据的加密，存储在图像缓冲区中。然后与步骤S16、S17相同，收发部11进行上述通信网络频带的控制，通过中继终端3向图像管理系统7发送部分静画的数据。此时还发送部分图像参数。

<智能手机的图像播放>

以下详述上述步骤S40所示的智能手机5的静画数据的重放处理。

在智能手机5一方，收发部51把从全天球摄影装置1发送过来的静画数据分离成通信部收到的部分静画数据和部分图像参数。图像解密部53b对被分离后的部分静画数据进行解密。此后，只要将上述整体动画和部分动画的各数据的处理换成整体动画和部分静画的处理便可，因此省略说明。

〔实施方式的主要效果〕

如上所述，本实施方式可以在抑制整体动画及部分动画的数据通信量的同时，尽量不降低部分图像的清晰度，从而具有可以让阅览者更清晰地阅览关注区域的效果。

另外，全天球摄影装置1从朝高清晰的全天球图像制作低清晰的整体图像(在此是低清晰部分图像)(S140)，从相同的朝高清晰全天球图像制作映射方式不同的高清晰部分图像(在此是高清晰部分动画)(S150)。然后，全天球摄影装置1向智能手机5发送低清晰整体图像的数据以及高清晰部分图像的数据。对此，智能手机5在低清晰整体图像上重叠高清晰部分图像(S360)，根据使用者(阅览者)指定的视线方向及视角，变换投影方式(S370)。如此，全天球摄影装置1将拍摄被摄物体等得到的朝高清晰全天球图像中受到关注的区域的部分图像，降低到高清晰发送，而对于没有受到关注(用于掌握全天球图像整体)的整体图像，则降低到低清晰后发送，而且对于高清晰的部分图像，经过映射方式变换后发送。进而，在发送之前，如图20所示，结合部19将低清晰整体动画数据和高清晰部分动画数据的纵向分辨率压缩到一半，将各帧的清晰度降低之后结合。因此，在接收一方的智能手机5中，数据量与以往相比可以受到削减，因此起到能够迅速显示整体图像中重叠了部分图像状态下的全天球图像的效果。

因此，根据本实施方式，为了减少通信量，全天球摄影装置1发送减小了全天球图像整体的清晰度的低清晰的整体图像的数据、和作为全天球图像(整体图像)内受到关注的区域的高清晰部分图像的数据，在接收一方的智能手机5中不仅将部分图像合成到整体图像上，而且即使低清晰整体图像和高清晰部分图像的映射方式不同，由于可以用智能手机5进行合成显示，因而起到了映射方式通用性较高的效果。

[补充]

在上述实施方式中，判断部25判断整体动画的一部分区域，即部分图像的一个帧的全部区域，是否比用阈值管理部1001管理的水平垂直视角阈值信息(参见图16)的规定阈值所显示的规定区域小。在比规定区域小的情况下，判断部25使得映射方式变换部18不进行映射方式变换，即不变换到超高清晰的静画数据，相反，在比规定区域大的情况下，判断部25使得映射方式变换部18进行映射方式变换，即变换到超高清晰静画数据，但并不只限于此。也可以例如，在比规定区域小的情况下，收发部11不进行把静画存储部29中存储的经过投影方式变换的部分静画数据发送到智能手机5的处理，而在比规定区域大的情况下，收发部11进行把静画存储部29中存储的经过映射方式转换的部分静画数据发送到智能手机5的处理。在这种情况下，既可以是判断部25只是收发部11是否发送，也可以是判断部25指示静画存储部29是否将该静画存储部29中存储的经过映射方式变换后的部分静画数据发送给收发部11。

全天球摄影装置1是摄影装置的一个示例，摄影装置也包括普通的拍摄平面画像的数码相机和智能手机等。在普通的拍摄平面图像的数码相机和智能手机的情况下，可以不是全天球图像，而是能够得到相对广角的图像(广角图像)。

智能手机5是通信终端或图像处理装置的一个示例，通信终端或图像处理装置也包括平板PC(Personal Computer:个人计算机)、笔记本PC、桌上型电脑等PC。进而通信终端或图像处理装置包括智能手表、游戏设备或车辆等中搭载的汽车导航终端等。

在上述实施方式的说明中，以摄像部14a、14b得到的图像数据的图像的整个区域，即整体动画，为低清晰图像，以整个区域中的一部分区域，即部分动画为高清晰图像，但并不限于此。低清晰图像可以是摄像部14a、14b所得到的动画数据图像的整个领域中的一部分区域A1的图像。这种情况下，高清晰图像将成为部分区A1的一部分区域A2的图像。也就是说，低清晰整体动画与高清晰部分动画之间的关系是，前者是广角动画，而后者则是狭角动画。部分静画出于与部分动画相同的思考，也可以说是窄角静画。而在本实施方式中，广角图像(包括静画和动画)即所谓由具有广角镜头和鱼眼镜头的摄像装置拍摄的存在图像变形的图像。另一方面，窄角图像(包括静画和动画)是用具备广角镜头和鱼眼镜头的摄像装置拍摄的图像中的一部分，是视角小于广角图像的窄视角图像。

上述实施方式对在全天球图像上重叠平面图像的情况进行了说明，重叠是合成的一个示例。合成除重叠外，还包括张贴、嵌入、叠加等。另外，上述重叠图像是合成图像的一个示例。合成图像除重叠图像外，还包括张贴图像、嵌入图像、叠加图像等。进而，图像重叠部56是图像合成部的一个示例。

关于等距柱形映射图像EC和平面图像P，可以是以下的其中之一，即两者都是静画，两者都是动画的帧，一方是静画而另一方是动画的帧。

进而，在上述实施方式中，映射方式变换部18将从一时性存储部16取得的高清晰的图像数据以其原有的清晰度进行映射方式的变换，但并不限于此。例如，如果是比从低清晰更改部17输出的整体图像数据高的清晰度，映射方式变换部18可以在进行映射方式变换时，降低从一时性存储部16取得的图像数据的清晰度。

图13和图14所示的各功能构成，以软件功能单元的形式实现，并且作为独立产品销售或使用时，可以存储在计算机可读取的存储介质中。在这种情况下，本实施方式的技术方案是以本质上或对现有技术做出贡献的部分或上述技术方案的部分以软件产品的形式表现。所述计算机软件产品存储在存储介质中，其中包括使计算机装置(例如，个人计算机、服务器或网络设备)执行上述各个实施方式中所述方法的全部或部分步骤的多个指令。另外，上述存储介质包括USB存储器、可移动磁盘、ROM、RAM、磁盘或光盘等可存储程序代码的各种介质。

另外，所述实施方式所涉及的方法可应用于处理器或通过处理器实现。处理器是具有处理信号能力的集成电路底板.上述各个实施方式的方法的各个步骤是通过处理器中的硬件集成逻辑电路或软件形式的指令来实现的。所述处理器是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或其它可编程逻辑器件、离散栅极或晶体管逻辑器件、分立硬件器件，并可实现或执行上述各个实施例中所披露的方法、步骤和逻辑框。通用处理器是微处理器或任意一般处理器等。上述各个实施方式所涉及的方法的各个步骤可以通过硬件解码器来执行，也可以通过解码器中的硬件与软件的组合来实现。软件模块存储在本领域中成熟的存储介质中，如随机存储器、闪存、只读存储器、可编程只读存储器、或电可擦除可编程存储器、寄存器等。从存储有该软件存储介质的存储器中，处理器读取信息，并配合硬件实现上述方法的步骤。

以上说明的实施方式可以通过硬件、软件、固件、中间件、微代码或它们的组合来实现。其中，关于硬件实现，处理单元是由一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器(DSPD)、可编程逻辑电路(PLD)、场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、执行本发明功能的其他电子单元或其组合来实现的。另外，关于软件的实现，通过实现上述功能的模块(例如过程、函数等)实现上述技术。软件代码存储在存储器中，并由处理器执行。另外，存储器是在处理器的内部或外部实现的。

Claims (11)

1.一种摄影装置，用于拍摄被摄体，获得具有规定清晰度的动画数据，其特征在于，具备，

更改部，用于将广角动画改为低清晰广角动画，所述广角动画是具有所述规定清晰度的动画数据的动画的全部或一部分；

映射方式变换部，用于以比经过所述更改部更改为低清晰广角动画高清晰的状态，对窄角动画进行映射方式变换，将该窄角动画改为低清晰窄角动画，所述窄角动画是所述广角动画的一部分的区域；以及，

结合部，用于将所述低清晰广角动画的帧和所述高清晰窄角动画的帧，分别降低清晰度之后结合为一帧，

所述映射方式更改部对窄角静画，即作为所述广角动画的帧的广角静画中的所述一部分的区域，进行映射方式变换。

2.根据权利要求1所述的摄影装置，其特征在于，具有，

发送部，用于向管理图像数据的图像管理系统发送通过所述结合部结合为一帧的广角动画的帧数据以及所述窄角动画的帧数据，以及，

接收部，用于接收所述通信终端发送的静画请求，

所述发送部根据所述接收部收到的静画请求，向所述图像管理系统发送经过所述映射方式变换部变换后的所述窄角静画的数据。

3.根据权利要求2所述的摄影装置，其特征在于，当所述窄角动画的一帧的全部区域小于指定区域时，所述映射方式变换部不对所述窄角静画进行所述映射方式变换，或者，所述发送部不发送经过所述映射方式变换部变换后的所述窄角静画的数据。

4.根据权利要求1至3中任意一项所述的摄影装置，其特征在于，所述广角动画以拍摄所述被摄体而得到的规定清晰度的动画数据的帧的整个区域构成。

5.根据权利要求1至4中任意一项所述的摄影装置，其特征在于，所述映射方式变换部以保持所述规定清晰度的状态，对所述窄角静画进行映射方式变换。

6.根据权利要求1至5中任意一项所述的摄影装置，其特征在于，所述摄影装置是拍摄被摄体而获得全天球图像数据的全天球摄影装置。

7.一种摄影系统，其特征在于，具有根据权利要求1至6中任意一项所述的摄影装置、以及所述图像管理系统。

8.一种摄影系统，其特征在于，具有，

根据权利要求1至6中任意一项所述的摄影装置；

所述图像管理系统；以及，

通信终端，该通信终端从所述图像管理系统接收所述广角动画的数据以及所述窄角动画的数据，将所述窄角动画合成到所述广角动画的所述一部分区域上并进行显示，并从所述图像管理系统接收所述窄角静画的数据，用该窄角静画取代所述窄角动画，合成到所述广角动画上的所述一部分区域上并进行显示。

9.一种图像处理方法，用于处理拍摄被摄体而获得具有规定清晰度的动画数据，其特征在于，具备，

更改步骤，将广角动画改为低清晰广角动画，所述广角动画是具有所述规定清晰度的动画数据的动画的全部或一部分；

映射方式变换步骤，以比经过所述更改部更改为低清晰广角动画高清晰的状态，对窄角动画进行映射方式变换，将该窄角动画改为低清晰窄角动画，所述窄角动画是所述广角动画的一部分的区域；以及，

结合步骤，将所述低清晰广角动画的帧和所述高清晰窄角动画的帧，分别降低清晰度之后结合为一帧，

在所述映射方式更改步骤中，对窄角静画，即所述广角动画的帧的广角静画中的所述一部分的区域，进行映射方式变换。

10.一种计算机可读的记录介质，其特征在于，其中存储程序，该程序通过处理器执行，实现权利要求9所述的图像处理方法。

11.一种计算机装置，其特征在于，具有存储程序的存储装置和处理器，所述程序通过所述处理器执行，实现权利要求9所述的图像处理方法。

Images