CN114270800B - 摄像装置、摄像装置的动作方法及程序 - Google Patents

Abstract

摄像装置包含第1成像元件及第2成像元件。第2成像元件具有：存储部，存储从第1成像元件输出的第1图像数据；及处理部，对第2图像数据进行处理。由第2图像数据表示的第2图像的分辨率比由第1图像数据表示的第1图像的分辨率高。第2成像元件在未检测到特定被摄体图像的情况下，将存储于存储部中的第1图像数据输出到特定的输出目的地，在检测到特定被摄体图像的情况下，将通过由处理部合成第1图像数据和第2图像数据而得到的合成图像数据或第2图像数据输出到输出目的地。

Description

摄像装置、摄像装置的动作方法及程序

技术领域

本发明的技术涉及一种摄像装置、摄像装置的动作方法及程序。

背景技术

日本特开2014-176056号公报中公开了一种摄像装置，该摄像装置具备摄影光学系统、定向传感器、图像读出装置及图像生成装置。摄影光学系统由中央部的中央光学系统和其周边部的焦距比中央光学系统短的环状光学系统构成。环状光学系统使中央部缺失的第一图像成像于成像面上，中央光学系统使包含缺失的第一图像的第2图像成像于成像面上。定向传感器配设在摄影光学系统的成像位置，且具有由排列成二维状的光电转换元件构成的多个像素，该定向传感器包含将经由环状光学系统及中央光学系统入射的光束分别进行光瞳分割而选择性地接收的多个像素。图像读出装置分别获取从定向传感器经由环状光学系统接收的中央部缺失的第一图像和经由中央光学系统接收的第二图像。图像生成装置调整由图像读出装置获取的第一图像和第二图像的放大/缩小率，在第一图像的中央部的区域嵌入合成第二图像而生成图像。

日本特开2002-262159号公报中公开了一种摄像装置，其特征在于，具备：单个或多个分光构件，配置在摄像光学系统的光路中，能够控制透射率和反射率的分光比率的特性；和多个撮像构件，通过该分光构件分开拍摄被摄体像，并通过基于光电转换的电荷积蓄来输入被摄体像，多个撮像构件分别以不同的摄影视场角进行拍摄。

发明内容

发明要解决的技术课题

本发明的技术所涉及的一个实施方式提供摄像装置、摄像装置的动作方法及程序，与不管通过进行仅将由从第1成像元件输出的第1图像数据表示的始终恒定的分辨率的图像作为检测对象检测特定被摄体图像的检测处理而得到的检测结果如何都始终将第1图像数据输出到特定的输出目的地的情况相比，该摄像装置能够进行以高精度检测特定被摄体图像的检测处理，能够将表示适合于检测处理的检测结果的分辨率的图像的图像数据输出到特定的输出目的地。

用于解决技术课题的手段

本发明的技术所涉及的第1方式是一种摄像装置，其包含：第1成像元件，将通过拍摄被摄体而得到的第1图像数据输出到后级的成像元件；及第2成像元件，作为后级的成像件而设置，且具有：存储部，存储从第1成像元件输出的第1图像数据；及处理部，对通过由第2成像元件拍摄被摄体而得到的第2图像数据进行处理，由第2图像数据表示的第2图像的分辨率比由第1图像数据表示的第1图像的分辨率高，处理部进行从第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理，第2成像元件在通过检测处理未检测到特定被摄体图像的情况下，将存储于存储部中的第1图像数据输出到特定的输出目的地，在通过检测处理检测到特定被摄体图像的情况下，将通过由处理部合成第1图像数据和第2图像数据而得到的合成图像数据或第2图像数据输出到输出目的地。

本发明的技术所涉及的第2方式是第1方式所述的摄像装置，其中，第1成像元件及第2成像元件彼此的拍摄范围重叠。

本发明的技术所涉及的第3方式是第1方式或第2方式所述的摄像装置，其中，第1图像数据是第1焦距图像数据，该第1焦距图像数据是通过由第1成像元件以第1焦距及比第1焦距长的第2焦距中的第1焦距拍摄而得到的图像数据，第2图像数据是第2焦距图像数据，该第2焦距图像数据是通过由第2成像元件以第2焦距拍摄而得到的图像数据。

本发明的技术所涉及的第4方式是第3方式所述的摄像装置，其中，第2焦距由光学变焦机构变更。

本发明的技术所涉及的第5方式是第1方式至第4方式中任一方式所述的摄像装置，其中，第2成像元件进行能够按每一帧变更曝光量的摄像。

本发明的技术所涉及的第6方式是第1方式至第5方式中任一方式所述的摄像装置，其中，第1成像元件具有使第1被摄体光成像的第1光电转换元件，第2成像元件具有使第2被摄体光成像的第2光电转换元件，第1图像数据是从第1光电转换元件中的被指定的第1区域得到的图像数据，第2图像数据是从第2光电转换元件中的被指定的第2区域得到的图像数据，第2区域是比第1区域宽的区域。

本发明的技术所涉及的第7方式是第1方式至第6方式中任一方式所述的摄像装置，其还包含接收部，该接收部接收输出第2图像数据的请求，第2成像元件在由接收部接收到请求的情况下，不管检测处理的检测结果如何都将第2图像数据输出到输出目的地。

本发明的技术所涉及的第8方式是第1方式至第7方式中任一方式所述的摄像装置，其中，第2成像元件中的帧速率高于第1成像元件中的帧速率。

本发明的技术所涉及的第9方式是第1方式至第8方式中任一方式所述的摄像装置，其中，第2成像元件是至少将光电转换元件和存储部单芯片化而成的成像元件。

本发明的技术所涉及的第10方式是第9方式所述的摄像装置，其中，第2成像元件是存储部层叠于光电转换元件上的层叠型成像元件。

本发明的技术所涉及的第11方式是第1方式至第10方式中任一方式所述的摄像装置，其中，第1成像元件、第2成像元件及输出目的地串联连接，第1成像元件将第1图像数据输出到第2成像元件。

本发明的技术所涉及的第12方式是第1方式至第11方式中任一方式所述的摄像装置，其还包含控制部，该控制部进行以下控制中的至少一者：将基于由第2成像元件输出的第1图像数据的图像、及基于由第2成像元件输出的合成图像数据或第2图像数据的图像中的至少一个图像显示在显示部的控制；以及将由第2成像元件输出的第1图像数据、及由第2成像元件输出的合成图像数据或第2图像数据中的至少一个图像存储于存储装置的控制。

本发明的技术所涉及的第13方式是一种摄像装置的动作方法，其包括如下处理：第1成像元件将通过由摄像装置所包含的第1成像元件拍摄被摄体而得到的第1图像数据输出到后级的成像元件；作为后级的成像元件而设置在摄像装置的第2成像元件所具有的存储部存储从第1成像元件输出的第1图像数据；第2成像元件对通过拍摄被摄体而得到的第2图像数据进行处理；第2成像元件进行从由第2图像数据表示的第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理；第2成像元件在通过检测处理未检测到特定被摄体图像的情况下，将存储于存储部中的第1图像数据输出到特定的输出目的地；以及第2成像元件在通过检测处理检测到特定被摄体图像的情况下，将通过合成第1图像数据和第2图像数据而得到的合成图像数据或第2图像数据输出到输出目的地，第2图像的分辨率比由第1图像数据表示的第1图像的分辨率高。

本发明的技术所涉及的第14方式是一种程序，用于使适用于摄像装置的计算机执行处理，处理包括：第1成像元件将通过由摄像装置所包含的第1成像元件拍摄被摄体而得到的第1图像数据输出到后级的成像元件；作为后级的成像元件而设置在摄像装置的第2成像元件所具有的存储部存储从第1成像元件输出的第1图像数据；第2成像元件对通过拍摄被摄体而得到的第2图像数据进行处理；第2成像元件进行从由第2图像数据表示的第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理；第2成像元件在通过检测处理未检测到特定被摄体图像的情况下，将存储于存储部中的第1图像数据输出到特定的输出目的地；以及第2成像元件在通过检测处理检测到特定被摄体图像的情况下，将通过合成第1图像数据和第2图像数据而得到的合成图像数据或第2图像数据输出到输出目的地，第2图像的分辨率比由第1图像数据表示的第1图像的分辨率高。

附图说明

图1是表示实施方式所涉及的智能器件的背面侧的外观的一例的背面立体图。

图2是表示图1所示的智能器件的前表面侧的外观的一例的正面立体图。

图3是表示实施方式所涉及的智能器件所包含的摄像装置的结构的一例的框图。

图4是表示实施方式所涉及的智能器件的结构的一例的框图。

图5A是用于说明实施方式所涉及的摄像装置所包含的成像元件的摄像帧速率的概念图。

图5B是用于说明实施方式所涉及的摄像装置所包含的成像元件的输出帧速率的概念图。

图6是表示实施方式所涉及的第1成像元件及第2成像元件各自的层叠结构的一例的概念图。

图7是表示实施方式所涉及的第1成像元件及第2成像元件各自的光电转换元件的纵横比的一例的概念图。

图8是表示实施方式所涉及的第1成像元件及其外围的结构的一例的框图。

图9是表示实施方式所涉及的第2成像元件及其外围的结构的一例的框图。

图10是表示实施方式所涉及的摄像装置所包含的第1成像元件及第2成像元件中的图像数据的流程的一例的概念图。

图11是表示第1摄像装置的摄像方式的一例及第2摄像装置的摄像方式的一例的概念图。

图12是表示第1摄像装置的拍摄范围(第1拍摄范围)及第2摄像装置的拍摄范围(第2拍摄范围)的一例的概念图。

图13是表示通过由第1摄像装置拍摄第1拍摄范围而得到的第1数字图像数据所表示的第1图像的一例及通过由第2摄像装置拍摄第2拍摄范围而得到的第2数字图像数据所表示的第2图像的一例的图像图。

图14是表示实施方式所涉及的摄像装置所包含的第1成像元件及第2成像元件的每一个中的处理内容的一例的时序图。

图15是表示实施方式所涉及的第2成像元件的功能的一例的概念图。

图16是表示实施方式所涉及的前级摄像处理流程的一例的流程图。

图17A是表示实施方式所涉及的后级摄像处理流程的一例的流程图。

图17B是图17A的流程图的延续。

图18是表示实施方式所涉及的后级摄像处理流程的变形例的流程图。

图19是表示实施方式所涉及的第2成像元件的功能的变形例的框图。

图20是表示从存储有前级摄像处理程序及后级摄像处理程序的存储介质向摄像装置内的计算机安装前级摄像处理程序及后级摄像处理程序的方式的一例的概念图。

图21是表示第1成像元件及第2成像元件通过现有技术所涉及的连接方法与信号处理电路连接的方式的一例的概念图。

具体实施方式

以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

首先，对在以下说明中使用的语句进行说明。

CPU是指“Central Processing Unit：中央处理单元”的简称。RAM是指“RandomAccess Memory：随机存取存储器”的简称。ROM是指“Read Only M emory：只读存储器”的简称。DRAM是指“Dynamic Random Access Memory：动态随机存取存储器”的简称。SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。LSI是指“Large-ScaleIntegrated circui t：大规模集成电路”的简称。ASIC是指“Application SpecificIntegrated Circuit：专用集成电路”的简称。PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。FPGA是指“Field-Programmable Gate Array：现场可编程门阵列”的简称。SoC是指“System-on-a-chip：片上系统”的简称。SSD是指“Solid State Drive：固态驱动器”的简称。USB是指“Univer sal Serial Bus：通用串行总线”的简称。HDD是指“HardDisk Drive：硬盘驱动器”的简称。EEPROM是指“Electrically Erasable andProgrammable R ead Only Memory：带电可擦可编程只读存储器”的简称。CCD是指“ChargeC oupled Device：电荷耦合元件”的简称。CMOS是指“Complementary Metal O xideSemiconductor：互补型金属氧化物半导体”的简称。EL是指“Electro-Luminescence：电致发光”的简称。A/D是指“Analog/Digital：模拟/数字”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的简称。LVDS是指“Low Voltage DifferentialSignaling：低压差分信号”的简称。PCIe是指“Peripheral Component InterconnectExpres s：外围组件互连标准”的简称。SATA是指“Serial Advanced Technology Attachment：串行高级技术附件”的简称。SLVS-EC是指“Scalable Low Signal ing withEmbedded Clock：带有嵌入式时钟的可扩展低压信号”的简称。MIP I(注册商标)是指“Mobile Industry Processor Interface：移动行业处理器接口”的简称。LTE是指“LongTerm Evolution：长期演进”的简称。5G是指“5th Generation：第五代(移动通信技术)”的简称。

在本说明书的说明中，“铅垂”是指，除了完全铅垂以外，还包括本发明的技术所属的技术领域中通常允许的误差的意义上的铅垂。在本说明书的说明中，“水平”是指，除了完全水平以外，还包括本发明的技术所属的技术领域中通常允许的误差的意义上的水平。在本说明书的说明中，“垂直”是指，除了完全垂直以外，还包括本发明的技术所属的技术领域中通常允许的误差的意义上的垂直。在本说明书的说明中，“相同”是指，除了完全相同以外，还包括本发明的技术所属的技术领域中通常允许的误差的意义上的相同。

作为一例，如图1所示，智能器件10具备框体12，并且摄像装置14容纳于框体12中。作为智能器件10，例如可举出作为带有摄像功能的电子设备的智能手机或平板终端等。

摄像装置14具备第1摄像装置30及第2摄像装置32。第1摄像装置30具备第1成像透镜16及第1成像元件38。第2摄像装置32具备第2成像透镜18及第2成像元件52。另外，以下，为了便于说明，在不需要区分说明第1成像元件38及第2成像元件52的情况下，不标注符号而称为“成像元件”。

在使智能器件10处于纵向放置的状态时的框体12的背面12A的左上部(纵向放置的状态的智能器件10的背面左上部)，第1成像透镜16及第2成像透镜18沿着铅垂方向以既定的间隔(例如，几毫米间隔)配置，从背面12A露出。第1成像透镜16的中心位于光轴L1上。第2成像透镜18的中心位于光轴L2上。

在第1成像元件38的前方(物体侧)配置有第1成像透镜16。第1成像透镜16取入表示被摄体的被摄体光(以下，也简称为“被摄体光”)，并将所取入的被摄体光成像于第1成像元件38上。在第2成像元件52的前方(物体侧)配置有第2成像透镜18。第2成像透镜18取入被摄体光，并将所取入的被摄体光成像于第2成像元件52上。

作为一例，如图2所示，在框体12的前表面12B设置有指示键22及触摸面板显示器24。在使智能器件10处于纵向放置的状态时的前表面12B的下部配置有指示键22，在指示键22的上方配置有触摸面板显示器24。另外，在本实施方式中，指示键22与触摸面板显示器24分开设置，但也可以是触摸面板显示器24上的虚拟的指示键。

指示键22接收各种指示。这里所说的“各种指示”例如是指，锁定解除接收画面的显示指示、能够选择各种菜单的菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示及选择内容的清除指示等。另外，锁定解除接收画面是指接收用于解除智能器件10的锁定的密码的画面。

触摸面板显示器24具备显示器26及触摸面板28(也参考图4)。作为显示器26的一例，可举出有机EL显示器。显示器26也可以不是有机EL显示器，而是液晶显示器或无机EL显示器等其他种类的显示器。另外，显示器26是本发明的技术所涉及的“显示部(显示器)”的一例。

显示器26显示图像及字符信息等。显示器26用于显示通过使用成像元件的连续拍摄而得到的即时预览图像。并且，显示器26也用于显示静止图像和/或动态图像。此外，显示器26还用于显示回放图像及菜单画面等。

触摸面板28是透射型触摸面板，与显示器26的显示区域的表面重叠。触摸面板28通过检测基于手指或触控笔等指示体的接触来接收来自用户的指示。

另外，在此，作为触摸面板显示器24的一例，举出了触摸面板28与显示器26的显示区域的表面重叠的外挂型触摸面板显示器，但这仅为一例。例如，作为触摸面板显示器24，也能够适用外嵌型或内嵌型触摸面板显示器。

作为一例，如图3所示，除了摄像装置14以外，智能器件10还具备控制器15及UI系统器件17。控制器15控制整个智能器件10。UI系统器件17是向用户提示信息或接收来自用户的指示的器件。控制器15从UI系统器件17获取各种信息，并控制UI系统器件17。

除了第1成像透镜16以外，第1摄像装置30还具备第1摄像装置主体36。在第1摄像装置主体36的前方(物体侧)配置有第1成像透镜16。

第1摄像装置主体36具备第1成像元件38。第1成像元件38具备具有受光面42A的光电转换元件42。在本实施方式中，第1成像元件38是CMOS图像传感器。并且，在此，作为第1成像元件38而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使第1成像元件38是CCD图像传感器等其他种类的图像传感器，本发明的技术也成立。

第1成像透镜16具备物镜16A、成像透镜16B及光圈16C。物镜16A、成像透镜16B及光圈16C从被摄体侧(物体侧)到受光面42A侧(像侧)沿着光轴L1按照物镜16A、成像透镜16B及光圈16C的顺序配置。在此，作为光圈16C的一例，采用开口不变的固定光圈。在光圈16C为固定光圈的情况下，用第1成像元件38的电子快门进行曝光调节。光圈16C可以不是固定光圈，而是可变光圈。另外，第1成像透镜16所包含的物镜16A、成像透镜16B及光圈16C仅为一例，即使透镜的结构和/或光圈16C的位置改变，本发明的技术也成立。

被摄体光透过第1成像透镜16成像于受光面42A上。第1成像元件38用受光面42A接收被摄体光，并使光电转换元件42对所接收的被摄体光进行光电转换，由此拍摄被摄体。第1成像元件38经由通信线46与控制器15连接，按照来自控制器15的指示拍摄被摄体，由此生成表示被摄体的图像的第1图像数据。在此，光电转换元件42是本发明的技术所涉及的“第1光电转换元件”的一例，成像于光电转换元件42上的被摄体光是本发明的技术所涉及的“第1被摄体光”的一例。

另一方面，除了第2成像透镜18以外，第2摄像装置32还具备第2摄像装置主体50。在第2摄像装置主体50的前方(物体侧)配置有第2成像透镜18。

第2摄像装置主体50具备第2成像元件52。第2成像元件52具备具有受光面56A的光电转换元件56。在本实施方式中，第2成像元件52是CMOS图像传感器。并且，在此，作为第2成像元件52而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使第2成像元件52是CCD图像传感器等其他种类的图像传感器，本发明的技术也成立。

第2成像透镜18具备物镜18A、变焦透镜18B及光圈18C。物镜18A、变焦透镜18B及光圈18C从被摄体侧(物体侧)到受光面56A侧(像侧)沿着光轴L2按照物镜18A、变焦透镜18B及光圈18C的顺序配置。变焦透镜18B通过受到来自马达等驱动源(省略图示)的动力而进行工作。即，变焦透镜18B根据所施加的动力沿着光轴L2移动。在此，作为光圈18C的一例，采用开口不变的固定光圈。在光圈18C为固定光圈的情况下，用第2成像元件52的电子快门进行曝光调节。光圈18C可以不是固定光圈，而是可变光圈。另外，第2成像透镜18所包含的物镜18A、变焦透镜18B及光圈18C仅为一例，即使透镜的结构和/或光圈18C的位置改变，本发明的技术也成立。

被摄体光透过第2成像透镜18成像于受光面56A上。第2成像元件52用受光面56A接收被摄体光，并使光电转换元件56对所接收的被摄体光进行光电转换，由此拍摄被摄体。第2成像元件52经由通信线58A与控制器15连接，按照来自控制器15的指示拍摄被摄体，由此生成表示被摄体的图像的第2图像数据。在此，光电转换元件56是本发明的技术所涉及的“第2光电转换元件”的一例，成像于光电转换元件56上的被摄体光是本发明的技术所涉及的“第2被摄体光”的一例。

另外，以下，为了便于说明，在不需要区分说明受光面42A及56A的情况下，不标注符号而称为“受光面”。此外，以下，为了便于说明，在不需要区分说明光电转换元件42及56的情况下，不标注符号而称为“光电转换元件”。

第1成像元件38经由通信线54连接于第2成像元件52。信号处理电路34位于第2成像元件52的后级，第2成像元件52经由通信线44与信号处理电路34连接。即，第1成像元件38、第2成像元件52及信号处理电路34串联连接。另外，第2成像元件52是本发明的技术所涉及的“后级的成像元件”的一例，信号处理电路34是本发明的技术所涉及的“特定的输出目的地”的一例。

详细内容将后述，第1成像元件38将通过拍摄被摄体而得到的第1图像数据输出到第2成像元件52，第2成像元件52接收来自第1成像元件38的第1图像数据。信号处理电路34经由通信线35与控制器15连接，第2成像元件52将图像数据输出到信号处理电路34。在图3、图4、图5A及图5B所示的例子中，“图像数据”是指第1图像数据和基于通过由第2成像元件52拍摄被摄体而得到的第2图像数据的图像数据的总称。

信号处理电路34是LSI，具体而言，是包含ASIC及FPGA的器件。信号处理电路34对从第2成像元件52输入的图像数据进行各种信号处理。由信号处理电路34进行的各种信号处理例如包括白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理。

信号处理电路34经由通信线35与控制器15连接，进行各种信号处理的图像数据通过信号处理电路34输出到控制器15。

另外，在本实施方式中，作为信号处理电路34例示了包含ASIC及FPGA的器件，但本发明的技术并不限定于此。例如，信号处理电路34可以是包含A SIC、FPGA或PLD的器件，也可以是包含FPGA及PLD的器件，也可以是包含A SIC及PLD的器件。

并且，信号处理电路34也可以是包含CPU、储存器(storage)及存储器(memory)的计算机。在此，储存器是指非易失性存储装置。作为非易失性存储装置的一例，可举出磁阻存储器和/或铁电存储器等各种非易失性存储器来代替闪存或与闪存组合使用。并且，非易失性存储装置也可以是EEPROM、HDD和/或SSD等。并且，存储器临时存储各种信息并用作工作存储器。作为存储器的一例，可举出RAM，但并不限于此，也可以是其他种类的存储装置。计算机所包含的CPU可以是单个，也可以是多个。并且，可以使用GPU来代替CP U。并且，信号处理电路34可以通过硬件结构及软件结构的组合来实现。

第2成像透镜18具备光学变焦机构59。光学变焦机构59具有变焦透镜18B及驱动机构60。变焦透镜18B安装于驱动机构60上，驱动机构60驱动变焦透镜18B。驱动机构60经由通信线58B与控制器15连接，按照来自控制器15的指示进行动作。驱动机构60具备滑动机构(省略图示)、马达(省略图示)及驱动器(省略图示)。驱动器经由通信线58B与控制器15连接。控制器15将驱动信号输出到驱动器。驱动信号是控制马达的驱动的信号。驱动器按照从控制器15输入的驱动信号驱动马达。滑动机构支承变焦透镜18B，且通过接受马达的动力而使变焦透镜18B沿着光轴L2滑动。因此，光学变焦机构59通过在控制器15的控制下使变焦透镜18B沿着光轴L2滑动来变更焦距。第2摄像装置32的视场角通过变更焦距来调节。另外，光学变焦机构59及驱动机构60等外围的图仅为概念图，光学变焦机构60具有各种结构。

作为一例，如图4所示，控制器15具备CPU15A、储存器15B及存储器15C。并且，控制器15具备通信I/F15D1、15D2及15E。CPU15A是本发明的技术所涉及的“控制部(处理器)”的一例。

CPU15A、储存器15B、存储器15C、通信I/F15D1、通信I/F15D2及通信I/F15E经由总线100连接。另外，在图4所示的例子中，为了便于图示，作为总线100图示了1条总线，但也可以是多条总线。总线100可以是串行总线，也可以是包含数据总线、地址总线及控制总线等的并行总线。

储存器15B存储各种参数及各种程序。储存器15B是非易失性存储装置。在此，作为储存器15B的一例，采用闪存。闪存仅为一例，可举出磁阻存储器和/或铁电存储器等各种非易失性存储器来代替闪存或与闪存组合使用。并且，非易失性存储装置也可以是EEPROM、HDD和/或SSD等。并且，存储器15C临时存储各种信息并用作工作存储器。作为存储器15C的一例，可举出RAM，但并不限于此，也可以是其他种类的存储装置。

储存器15B中存储有各种程序。CPU15A从储存器15B读出需要的程序，并且在存储器15C上执行所读出的程序。CPU15A按照在存储器15C上执行的程序来控制整个智能器件10。

通信I/F15D1经由通信线46与第1摄像装置30连接，并且控制第1摄像装置30与CPU15A之间的各种信息的授受。CPU15A经由通信I/F15D1控制第1摄像装置30。例如，CPU15A经由通信I/F15D1对第1成像元件38提供规定进行摄像的定时的第1摄像定时信号，由此控制由第1成像元件38进行的摄像定时。

通信I/F15D2经由通信线58A及58B与第2摄像装置32连接，并且控制第2摄像装置32与CPU15A之间的各种信息的授受。CPU15A经由通信I/F15D2控制第2摄像装置32。例如，CPU15A经由通信I/F15D2对第2成像元件52提供规定进行摄像的定时的第2摄像定时信号，由此控制由第2成像元件52进行的摄像定时。并且，CPU15A经由通信I/F15D2对驱动机构60提供驱动信号，由此控制驱动机构60的动作。

另外，以下，在不需要区分说明第1摄像定时信号和第2摄像定时信号的情况下，称为“摄像定时信号”。

通信I/F15E经由通信线35与信号处理电路34连接，控制信号处理电路34与CPU15A之间的各种信息的授受。信号处理电路34经由通信I/F15E被CPU15A控制。在CPU15A的控制下由信号处理电路34进行各种信号处理的图像数据由信号处理电路34输出到通信I/F15E。通信I/F15E接收从信号处理电路34输出的图像数据，并将所接收到的图像数据传送到CPU15A。

外部I/F104与总线100连接。外部I/F104是至少一部分由电路构成的通信器件。在此，作为外部I/F104例示了至少一部分由电路构成的器件，但这仅为一例。外部I/F104也可以是包括ASIC、FPGA和/或PLD的器件。并且，外部I/F104可以通过硬件结构及软件结构的组合来实现。

作为外部I/F104的一例，可举出USB接口。智能器件、个人计算机、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)能够直接或间接连接于USB接口。外部I/F104控制CPU15A与外部装置之间的各种信息的授受。

UI系统器件17具备触摸面板显示器24及接收器件84。显示器26及触摸面板28连接于总线100。因此，CPU15A使显示器26显示各种信息，并按照由触摸面板28接收到的各种指示进行动作。接收器件84具备硬键部25。硬键部25是包含指示键22(参考图2)的至少一个硬键。硬键部25连接于总线100，CPU15A获取由硬键部25接收到的指示，按照所获取的指示进行动作。但是，也可以是硬键部25与外部I/F104连接的结构。

另外，智能器件10具有LTE、5G、无线LAN和/或蓝牙(Bluetooth)(注册商标)等通信功能。

作为一例，如图5A所示，从控制器15向成像元件输入摄像定时信号。摄像定时信号包括垂直同步信号及水平同步信号。垂直同步信号是规定从光电转换元件的每一帧的图像数据的读出开始定时的同步信号。水平同步信号是规定从光电转换元件的每个水平线的图像数据的读出开始定时的同步信号。

在成像元件中，以根据从控制器15输入的垂直同步信号确定的摄像帧速率，从光电转换元件读出图像数据。并且，在成像元件中，对从光电转换元件读出的图像数据进行处理，并以输出帧速率输出所处理的图像数据。

摄像帧速率和输出帧速率具有“摄像帧速率＞输出帧速率”的关联性。即，输出帧速率是比摄像帧速率低的帧速率。例如，如图5A所示，摄像帧速率是在期间T内从光电转换元件读出8帧量的图像数据的帧速率，如图5B所示，输出帧速率是在期间T内输出2帧量的图像数据的帧速率。摄像帧速率及输出帧速率均为可变的帧速率。

在本实施方式中，第2成像元件52中的帧速率高于第1成像元件38中的帧速率。例如，作为第2成像元件52中的摄像帧速率，例如采用240fps，作为第1成像元件38中的摄像帧速率，采用120fps。并且，例如，作为第2成像元件52中的输出帧速率，例如采用60fps，作为第1成像元件38中的输出帧速率，采用30fps。

另外，在此例示的摄像帧速率的值及输出帧速率的值仅为一例。例如，第2成像元件52中的摄像帧速率可以是超过240fps的帧速率，也可以是小于240fps的帧速率。第1成像元件38中的摄像帧速率只要是比第2成像元件52中的摄像帧速率低的帧速率，可以是超过60fps的帧速率，也可以是小于60fps的帧速率。并且，例如，第2成像元件52中的输出帧速率可以是超过60fps的帧速率，也可以是小于60fps的帧速率。并且，例如，第1成像元件38中的输出帧速率只要是比第2成像元件52中的输出帧速率低的帧速率，可以是超过30fps的帧速率，也可以是小于30fps的帧速率。

作为一例，如图6所示，在第1成像元件38中内置有光电转换元件42、处理电路110及存储器112。第1成像元件38是将光电转换元件42、处理电路110及存储器112单芯片化而成的成像元件。即，光电转换元件42、处理电路110及存储器112被封装在一起。在第1成像元件38中，处理电路110及存储器112层叠于光电转换元件42上。具体而言，光电转换元件42及处理电路110通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路110及存储器112也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件42、处理电路110及存储器112的三层结构，但本发明的技术并不限于此，也可以是将处理电路110和存储器112作为一层的存储器层与光电转换元件42的两层结构。

第2成像元件52也是具有与第1成像元件相同的层叠结构的成像元件。在第2成像元件52中内置有光电转换元件56、处理电路120及存储器122。第2成像元件52是将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件。即，光电转换元件56、处理电路120及存储器122被封装在一起。在第2成像元件52中，处理电路120及存储器122层叠于光电转换元件56上。具体而言，光电转换元件56及处理电路120通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路120及存储器122也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件56、处理电路120及存储器122的三层结构，但本发明的技术并不限于此，也可以是将处理电路120和存储器122作为一层的存储器层与光电转换元件56的两层结构。另外，第2成像元件52是本发明的技术所涉及的“层叠型成像元件”的一例。各光电转换元件与处理电路等不经由外部I/F而连接，因此能够相互进行高速通信。

另外，以下，在不需要区分说明处理电路110及120的情况下，不标注符号而称为“处理电路”，在不需要区分说明存储器112及122的情况下，不标注符号而称为“存储器”。

处理电路例如是LSI。存储器是写入定时与读出定时不同的存储器。在此，作为存储器的一例，采用DRAM。另外，即使存储器是SRAM等其他种类的存储装置，本发明的技术也成立。

处理电路是包括ASIC及FPGA的器件，按照上述控制器15的指示控制整个成像元件。另外，在此，作为处理电路例示了包含ASIC及FPGA的器件，但本发明的技术并不限定于此。例如，处理电路可以是包含ASIC、FPGA或PLD的器件，也可以是包含FPGA及PLD的器件，也可以是包含ASIC及PLD的器件。

并且，处理电路也可以是包含CPU、储存器(storage)及存储器(memor y)的计算机。储存器是指闪存等非易失性存储装置。存储器临时存储各种信息并用作工作存储器。作为存储器的一例，可举出RAM，但并不限于此，也可以是其他种类的存储装置。计算机所包含的CPU可以是单个，也可以是多个。并且，可以使用GPU来代替CPU。并且，处理电路可以通过硬件结构及软件结构的组合来实现。

光电转换元件具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896×3265”像素量的光电二极管。

在光电转换元件所包含的各光电二极管中配置有滤色器。滤色器包含最有助于获得亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。

光电转换元件具有R像素、G像素及B像素。R像素是与配置有R滤色器的光电二极管对应的像素，G像素是与配置有G滤色器的光电二极管对应的像素，B像素是与配置有B滤色器的光电二极管对应的像素。R像素、G像素及B像素在行方向(水平方向)及列方向(垂直方向)上分别以既定的周期性配置。在本实施方式中，R像素、G像素及B像素以与X-Trans(注册商标)排列对应的周期性排列。另外，在此，例示了X-Trans排列，但本发明的技术并不限定于此，R像素、G像素及B像素的排列也可以是拜耳排列或蜂窝(注册商标)排列等。

成像元件具有所谓的电子快门功能，在控制器15的控制下，通过启动电子快门功能而控制光电转换元件内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。通过启动滚动快门方式的电子快门功能来实现成像元件中的摄像。另外，在此，例示出滚动快门方式，但本发明的技术并不限于此，可以适用全局快门方式来代替滚动快门方式。

光电转换元件42的物体侧区域的面积(受光区域的面积)与光电转换元件56的物体侧区域的面积(受光区域的面积)相同。作为一例，如图7所示，从光电转换元件42中的被指定的第1区域42B得到第1图像数据，从光电转换元件56中的被指定的第2区域56B得到第2图像数据。第2区域56B是比第1区域42B宽的区域。即，从光电转换元件56切出的第2区域56B比从光电转换元件42切出的第1区域42B宽。在图7所示的例子中，第1区域42B是纵横比以16:9规定的区域，第2区域56B是纵横比以3:2规定的区域。

作为一例，如图8所示，处理电路110具备通信I/F110D1及110D2。控制器15的通信I/F15D1与处理电路110的通信I/F110D1连接，并将第1摄像定时信号输出到通信I/F110D1。通信I/F110D1接收从通信I/F15D1输出的第1摄像定时信号。

第2成像元件52具备通信I/F120D1及120D2。通信I/F120D2与第1成像元件38的通信I/F110D2连接。处理电路110的通信I/F110D2将第1图像数据等各种信息输出到第2成像元件52的通信I/F120D2，通信I/F120D2接收从通信I/F110D2输出的各种信息。第2成像元件52的通信I/F120D1与控制器15的通信I/F15D2连接。控制器15将包含第2摄像定时信号的各种信息输出到第2成像元件52的通信I/F120D1。通信I/F120D1接收从通信I/F15D2输出的各种信息。

在第1成像元件38中，处理电路110除了通信I/F110D1及通信I/F110D2以外，还具备读出电路110A、数字处理电路110B及控制电路110C。

读出电路110A分别与光电转换元件42、数字处理电路110B及控制电路110C连接。数字处理电路110B连接于控制电路110C。控制电路110C分别与存储器112、通信I/F110D1及通信I/F110D2连接。

作为一例，如图8所示，上述第1图像数据大致分为第1模拟图像数据70A和第1数字图像数据70B。另外，以下，为了便于说明，在不需要区分说明第1模拟图像数据70A和第1数字图像数据70B的情况下，不标注符号而称为“第1图像数据”。

处理电路110的通信I/F110D1及110D2分别是至少一部分由电路构成的通信器件。并且，控制器15的通信I/F15D1及15D2分别也是至少一部分由电路构成的通信器件。此外，第2成像元件52的通信I/F120D1及120D2分别也是至少一部分由电路构成的通信器件。

处理电路110的通信I/F110D1与控制器15的通信I/F15D1之间按照PCIe的连接标准连接。并且，处理电路110的通信I/F110D2与第2成像元件52的通信I/F120D2之间也按照PCIe的连接标准连接。此外，第2成像元件52的通信I/F120D1与控制器15的通信I/F15D2之间也按照PCIe的连接标准连接。

通信I/F110D1接收从控制器15的通信I/F15D1输出的第1摄像定时信号，并将所接收到的第1摄像定时信号传送到控制电路110C。

读出电路110A在控制电路110C的控制下控制光电转换元件42，从光电转换元件42读出通过由光电转换元件42拍摄而得到的第1模拟图像数据70A。从光电转换元件42的第1模拟图像数据70A的读出按照从控制器15输入到处理电路110的第1摄像定时信号进行。即，第1模拟图像数据70A以由第1摄像定时信号规定的第1摄像帧速率由读出电路110A从光电转换元件42读出。

具体而言，首先，通信I/F110D1从控制器15接收第1摄像定时信号，并将所接收到的第1摄像定时信号传送到控制电路110C。接着，控制电路110C将从通信I/F110D1传送的第1摄像定时信号传送到读出电路110A。即，垂直同步信号及水平同步信号被传送到读出电路110A。并且，读出电路110A按照从控制电路110C传送的垂直同步信号开始从光电转换元件42以帧单位读出第1模拟图像数据70A。并且，读出电路110A按照从控制电路110C传送的水平同步信号开始以水平线单位的第1模拟图像数据70A的读出。

读出电路110A对从光电转换元件42读出的第1模拟图像数据70A进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件42所包含的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对第1模拟图像数据70A施加增益的处理。如此进行模拟信号处理的第1模拟图像数据70A通过读出电路110A输出到数字处理电路110B。

数字处理电路110B具备A/D转换器110B1。A/D转换器110B1对第1模拟图像数据70A进行A/D转换。

数字处理电路110B对从读出电路110A输入的第1模拟图像数据70A进行数字信号处理。数字信号处理例如包括基于A/D转换器110B1的A/D转换及数字增益处理。

对于第1模拟图像数据70A，由A/D转换器110B1进行A/D转换，由此第1模拟图像数据70A被数字化，作为RAW数据得到第1数字图像数据70B。并且，由数字处理电路110B对第1数字图像数据70B进行数字增益处理。数字增益处理是指对第1数字图像数据70B施加增益的处理。如此通过进行数字信号处理而得到的第1数字图像数据70B通过数字处理电路110B输出到控制电路110C。

存储器112是能够以帧单位存储多个帧的第1数字图像数据70B的存储器。控制电路110C将从数字处理电路110B输入的第1数字图像数据70B存储于存储器112。存储器112具有像素单位的存储区域，第1数字图像数据70B通过控制电路110C以像素单位存储于存储器112中的对应的存储区域中。控制电路110C能够访问存储器112，并且从存储器112获取第1数字图像数据70B。作为访问存储器112的一例，可举出随机存取。

作为一例，如图9所示，处理电路120具备通信I/F120D1、120D2及120D3。控制器15的通信I/F15D2与处理电路120的通信I/F120D1连接，并将第2摄像定时信号输出到通信I/F120D1。通信I/F120D1接收从通信I/F15D2输出的第2摄像定时信号。

信号处理电路34具备通信I/F34A及34B。通信I/F34A及34B分别是至少一部分由电路构成的通信器件。通信I/F34A与处理电路120的通信I/F120D3连接，通信I/F34B与控制器15的通信I/F15E连接。

处理电路120的通信I/F120D1与控制器15的通信I/F15D2之间按照PCIe的连接标准连接。并且，处理电路120的通信I/F120D3与信号处理电路34的通信I/F34A之间也按照PCIe的连接标准连接。此外，信号处理电路34的通信I/F34B与控制器15的通信I/F15E之间也按照PCIe的连接标准连接。

处理电路120的通信I/F120D3将第1图像数据及后述的合成图像数据90(参考图15)等各种信息输出到信号处理电路34的通信I/F34A，通信I/F34A接收从通信I/F120D3输出的各种信息。信号处理电路34根据需要对由通信I/F34A接收到的各种信息实施信号处理。通信I/F34B与控制器15的通信I/F15E连接，并将各种信息输出到控制器15的通信I/F15E。通信I/F15E接收从通信I/F34B输出的各种信息。

另外，以下，在不需要区分说明通信I/F110D1、通信I/F110D2、通信I/F120D1、通信I/F120D2、通信I/F102D3、通信I/F34A、通信I/F34B、通信I/F15E、通信I/F15D1及通信I/F15D2的情况下，不标注符号而称为“通信I/F”。

如上所述，在此，作为通信I/F，采用至少一部分由电路构成的通信器件。作为通信I/F的一例，可举出包含ASIC、FPGA和/或PLD的器件。并且，通信I/F也可以是包含CPU、闪存等储存器(storage)及RAM等存储器(memo ry)的计算机。在该情况下，计算机所包含的CPU可以是单个，也可以是多个。使用GPU来代替CPU。并且，通信I/F可以通过硬件结构及软件结构的组合来实现。

在第2成像元件52中，处理电路120除了通信I/F120D1、通信I/F120D2及通信I/F120D3以外，还具备读出电路120A、数字处理电路120B及控制电路120C。另外，控制电路120C是本发明的技术所涉及的“处理部(控制电路)”的一例。

读出电路120A分别与光电转换元件56、数字处理电路120B及控制电路120C连接。数字处理电路120B连接于控制电路120C。控制电路120C分别与存储器122、通信I/F120D1、通信I/F120D2及通信I/F120D3连接。

作为一例，如图9所示，上述第2图像数据大致分为第2模拟图像数据80A和第2数字图像数据80B。另外，以下，为了便于说明，在不需要区分说明第2模拟图像数据80A和第2数字图像数据80B的情况下，不标注符号而称为“第2图像数据”。

通信I/F120D1接收从控制器15的通信I/F15D2输出的第2摄像定时信号，并将所接收到的第2摄像定时信号传送到控制电路120C。

读出电路120A在控制电路120C的控制下控制光电转换元件56，从光电转换元件56读出通过由光电转换元件56拍摄而得到的第2模拟图像数据80A。从光电转换元件56的第2模拟图像数据80A的读出按照从控制器15输入到处理电路120的第2摄像定时信号进行。即，第2模拟图像数据80A以由第2摄像定时信号规定的第2摄像帧速率由读出电路120A从光电转换元件56读出。

具体而言，首先，通信I/F120D1从控制器15接收第2摄像定时信号，并将所接收到的第2摄像定时信号传送到控制电路120C。接着，控制电路120C将从通信I/F120D1传送的第2摄像定时信号传送到读出电路120A。即，垂直同步信号及水平同步信号被传送到读出电路120A。并且，读出电路120A按照从控制电路120C传送的垂直同步信号开始从光电转换元件56以帧单位读出第2模拟图像数据80A。并且，读出电路120A按照从控制电路120C传送的水平同步信号开始以水平线单位的第2模拟图像数据80A的读出。

读出电路120A对从光电转换元件56读出的第2模拟图像数据80A进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件56所包含的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对第2模拟图像数据80A施加增益的处理。如此进行模拟信号处理的第2模拟图像数据80A通过读出电路120A输出到数字处理电路120B。

数字处理电路120B具备A/D转换器120B1。A/D转换器120B1对第2模拟图像数据80A进行A/D转换。

数字处理电路120B对从读出电路120A输入的第2模拟图像数据80A进行数字信号处理。数字信号处理例如包括基于A/D转换器120B1的A/D转换及数字增益处理。

对于第2模拟图像数据80A，由A/D转换器120B1进行A/D转换，由此第2模拟图像数据80A被数字化，作为RAW数据得到第2数字图像数据80B。并且，由数字处理电路120B对第2数字图像数据80B进行数字增益处理。数字增益处理是指对第2数字图像数据80B施加增益的处理。如此通过进行数字信号处理而得到的第2数字图像数据80B通过数字处理电路120B输出到控制电路120C。

另外，以下，为了便于说明，在不需要区分说明第1数字图像数据70B及第2数字图像数据80B的情况下，不标注符号而称为“数字图像数据”。

存储器122是能够以帧单位存储多个帧的数字图像数据的存储器。控制电路120C将从数字处理电路120B输入的第2数字图像数据80B存储于存储器122。并且，控制电路120C将由通信I/F120D2接收到的第1数字图像数据70B存储于存储器122。存储器122具有像素单位的存储区域，数字图像数据通过控制电路120C以像素单位存储于存储器122中的对应的存储区域中。控制电路120C能够访问存储器122。作为访问存储器122的一例，可举出随机存取。

控制电路120C从存储器122获取数字图像数据，并将基于所获取的数字图像数据的图像数据经由通信I/F120D3输出到信号处理电路34。在此，“基于数字图像数据的图像数据”是指基于第1数字图像数据70B或第2数字图像数据80B的图像数据。基于第2数字图像数据80B的图像数据是指，例如第2数字图像数据80B或后述的合成图像数据90。

在信号处理电路34中，由通信I/F34A接收从通信I/F120D3输入的图像数据，并且对所接收到的图像数据进行各种信号处理。

作为一例，如图10所示，在第1成像元件38中，通过曝光光电转换元件42来生成第1模拟图像数据70A，当输入垂直同步信号时，进行从光电转换元件42的第1模拟图像数据70A的读出及对光电转换元件42的重置。对光电转换元件42的重置是指清除光电转换元件42内的各像素的残余电荷的动作。在从进行对光电转换元件42的基于读出电路110A的上一次重置到进行读出为止的期间进行基于光电转换元件42的曝光。

通过对第1模拟图像数据70A进行数字信号处理来生成第1数字图像数据70B，所生成的第1数字图像数据70B存储于存储器112。并且，存储于存储器112中的第1数字图像数据70B输出到第2成像元件52，并存储于第2成像元件52的存储器122。

另一方面，在第2成像元件52中，通过曝光光电转换元件56来生成第2模拟图像数据80A，当输入垂直同步信号时，进行从光电转换元件56的第2模拟图像数据80A的读出及对光电转换元件56的重置。对光电转换元件56的重置是指清除光电转换元件56内的各像素的残余电荷的动作。在从进行对光电转换元件56的基于读出电路120A的上一次重置到进行读出为止的期间进行基于光电转换元件56的曝光。

光电转换元件56中的曝光时间是可变曝光时间。可变曝光时间是指能够由控制电路120C按每一帧变更的曝光时间。例如，控制电路120C在控制器15的控制下，按照摄像条件等(例如，摄像场景的亮度和/或由接收器件84接收到的指示等)变更光电转换元件56中的曝光时间。光电转换元件56中的曝光时间例如通过错开输入到第2成像元件52的垂直同步信号的输入定时来变更。如此，通过按每一帧变更光电转换元件56中的曝光时间，在第2成像元件52中进行能够按每一帧变更曝光量的摄像。

通过对第2模拟图像数据80A进行数字信号处理来生成第2数字图像数据80B。由控制电路120C将第2数字图像数据80B存储于存储器122。

然而，在本实施方式所涉及的摄像装置14中，进行广角摄像和望远摄像。由第1摄像装置30进行广角摄像，由第2摄像装置32进行望远摄像。作为一例，如图11所示，对第1摄像装置30设定的焦距(以下，称为“第1焦距”)比对第2摄像装置32设定的焦距(以下，称为“第2焦距”)短。因此，利用第1摄像装置30的摄像的视场角比利用第2摄像装置32的摄像的视场角宽。并且，由光学变焦机构59(参考图3)变更第2焦距。另外，在该情况下，变焦透镜18B的移动范围被限制在维持“第2焦距＞第1焦距”的关联性的范围内。

在本实施方式中，成像透镜16B在光轴L1(参考图3)上的位置不变。另外，成像透镜16B也可以是能够在光轴L1上移动的透镜，在该情况下，成像透镜16B的移动范围被限制在维持“第2焦距＞第1焦距”的关联性的范围内。

第1摄像装置30及第2摄像装置32具有“第2焦距＞第1焦距”的关联性，因此作为一例，如图12所示，第1摄像装置30的拍摄范围(以下，称为“第1拍摄范围”)比第2摄像装置32的拍摄范围(以下，称为“第2拍摄范围”)宽。并且，第1拍摄范围及第2拍摄范围重叠。即，第1拍摄范围包括第2拍摄范围。

作为一例，如图13所示，第1图像(以下，也简称为“第1图像”)是比第2图像(以下，也简称为“第2图像”)广角的图像，该第1图像是通过由第1摄像装置30所包含的第1成像元件38拍摄第1拍摄范围而得到的第1数字图像数据70B所表示的图像，该第2图像是通过由第2摄像装置32所包含的第2成像元件52拍摄第2拍摄范围而得到的第2数字图像数据80B所表示的图像。并且，第2图像的分辨率比第1图像的分辨率高。即，第2图像的像素密度大于第1图像的像素密度。

在此，参考图14及图15对图像数据的传输路径及处理方法的一例进行说明。

作为一例，如图14所示，通过由第1成像元件38拍摄被摄体而得到的第1数字图像数据70B暂时存储于存储器112中，然后由通信I/F110D2输出到第2成像元件52。第1成像元件38及第2成像元件52是串联连接的成像元件，由前级的成像元件即第1成像元件38的通信I/F120D2将第1数字图像数据70B输出到后级的成像元件即第2成像元件52。并且，由通信I/F120D2输出的第1数字图像数据70B由第2成像元件52的通信I/F120D2接收，所接收到的第1数字图像数据70B存储于存储器122。并且，通过由第2成像元件52拍摄而得到的第2数字图像数据80B也存储于存储器122。

存储于存储器122中的第1数字图像数据70B是通过由第1成像元件38以第1焦距拍摄第1拍摄范围而得到的数字图像数据。并且，存储于存储器122中的第2数字图像数据80B是通过由第2成像元件以比第1焦距长的第2焦距拍摄第2拍摄范围而得到的数字图像数据。另外，第1数字图像数据70B是本发明的技术所涉及的“第1焦距图像数据”的一例，第2数字图像数据80B是本发明的技术所涉及的“第2焦距图像数据”的一例。

作为一例，如图15所示，在第2成像元件52中，控制电路120C具有检测部120C1、判定部120C2及合成部120C3。在存储器122中存储有通过由第1成像元件38拍摄第1拍摄范围(参考图12)而得到的第1数字图像数据70B和通过由第2成像元件52拍摄第2拍摄范围(参考图12)而得到的第2数字图像数据80B。

控制电路120C对存储于存储器122中的第2数字图像数据80B进行处理。具体而言，首先，检测部120C1进行从由存储于存储器122中的第2数字图像数据表示的第2图像中检测表示人物的人物图像的检测处理。检测部120C1通过利用公知的脸部检测处理来检测人物图像。脸部检测处理是公知技术，因此在此省略说明。另外，人物是本发明的技术所涉及的“特定的被摄体”的一例，“人物图像”是本发明的技术所涉及的“特定被摄体图像”的一例。并且，人物可以是不特定的人物，也可以是特定的人物(特定的个人)。

另外，在此，作为本发明的技术所涉及的“特定的被摄体”的一例，例示了人物，但本发明的技术并不限定于此，也可以是除了人物以外的被摄体(例如，建筑物、交通工具、植物、虫、动物、食物和/或小物件等)。并且，检测处理也可以通过使用通过由计算机等预先学习(例如，机器学习)表示特定的被摄体的特定被摄体图像或特定被摄体图像的特征量(频率特性等)而得到的学习结果来进行。

判定部120C2判定是否通过检测处理从第2图像中检测到人物图像。在通过检测处理未检测到人物图像的情况下，判定部120C2从存储器122获取第1数字图像数据70B。判定部120C2将从存储器122获取的第1数字图像数据70B经由通信I/F120D3输出到信号处理电路34。

在通过检测处理检测到人物图像的情况下，判定部120C2将表示通过检测处理检测到人物图像的检测成功信号输出到合成部120C3。当从判定部120C2输入检测成功信号时，合成部120C3从存储器122获取第1数字图像数据70B。并且，合成部120C3通过合成从存储器122获取的第1数字图像数据70B和作为检测部120C1中的检测对象的第2数字图像数据80B来生成合成图像数据90。例如，如图15所示，由合成图像数据90表示的图像是在第1图像内嵌入第2图像而成的图像。合成部120C3将合成图像数据90经由通信I/F120D3输出到信号处理电路34。

另外，在此，由判定部120C2及合成部120C3从存储器122获取的第1数字图像数据70B例如是通过与为了得到作为检测部120C1中的检测对象的第2数字图像数据80B而由第2成像元件52拍摄第2拍摄范围的定时同步地由第1成像元件38拍摄第1拍摄范围而得到的数字图像数据。

并且，在此，作为由合成图像数据90表示的图像的一例，举出了在第1图像内嵌入第2图像而成的图像，但本发明的技术并不限定于此。例如，可以将第2图像重叠在第1图像上，也可以在第1图像与第2图像相邻的状态下连接，可以是第1图像和第2图像的阿尔法混合，也可以是其他合成方法。

在信号处理电路34中，对从第2成像元件52输入的图像数据(在图15所示的例子中，第1数字图像数据70B或合成图像数据90)进行各种信号处理，并将进行各种信号处理的图像数据输出到控制器15。在控制器15中，当输入图像数据时，由CPU15A将图像数据存储于储存器15B，或经由外部I/F104，存储于智能器件、个人计算机、服务器、USB存储器和/或存储卡等。并且，在控制器15中，当输入图像数据时，由CPU15A将基于图像数据的图像作为静止图像或即时预览图像显示在显示器26上。另外，在此，举出了进行图像数据的存储和基于图像数据的图像的显示这两者的方式例，但也可以进行图像数据的存储或基于图像数据的图像的显示。

接着，对智能器件10的本发明的技术所涉及的部分的作用进行说明。

首先，参考图16，对由第1成像元件38的处理电路110执行的前级摄像处理流程进行说明。

在图12所示的前级摄像处理中，首先，在步骤ST10中，控制电路110C判定是否由通信I/F110D1接收到来自控制器15的垂直同步信号。在步骤ST10中，在通信I/F110D1未接收到来自控制器15的垂直同步信号的情况下判定为“否”，前级摄像处理转移到步骤ST22。在步骤ST10中，在由通信I/F110D1接收到来自控制器15的垂直同步信号的情况下判定为“是”，前级摄像处理转移到步骤ST12。

在步骤ST12中，读出电路110A进行第1模拟图像数据70A的读出及光电转换元件42的重置，然后前级摄像处理转移到步骤ST14。

在步骤ST14中，数字处理电路110B对第1模拟图像数据70A进行数字信号处理，然后前级摄像处理转移到步骤ST16。

在步骤ST14中，通过对第1模拟图像数据70A进行数字信号处理而得到的第1数字图像数据70B被传送到控制电路110C。

在步骤ST16中，控制电路110C将第1数字图像数据70B存储于存储器112，然后前级摄像处理转移到步骤ST18。

在步骤ST18中，控制电路110C判定是否已到将第1数字图像数据70B输出到第2成像元件52的定时(第1输出定时)。作为第1输出定时的一例，可举出由第1成像元件38的输出帧速率规定的定时。在步骤ST18中，在未到第1输出定时的情况下判定为“否”，再次进行步骤ST18的判定。在步骤ST18中，在已到第1输出定时的情况下判定为“是”，前级摄像处理转移到步骤ST20。

在步骤ST20中，控制电路110C从存储器112获取第1数字图像数据70B，将所获取的第1数字图像数据70B经由通信I/F110D2输出到第2成像元件52，然后前级摄像处理转移到步骤ST22。

在步骤ST22中，控制电路110C判定是否满足结束前级摄像处理的条件(以下，称为“前级摄像处理结束条件”)。作为前级摄像处理结束条件的一例，可举出由接收器件84(参考图4)接收到结束前级摄像处理的指示的条件。在步骤ST22中，在不满足前级摄像处理结束条件的情况下判定为“否”，前级摄像处理转移到步骤ST10。在步骤ST22中，在满足前级摄像处理结束条件的情况下判定为“是”，前级摄像处理结束。

接着，参考图17A及图17B对由第2成像元件52的处理电路120执行的后级摄像处理的流程进行说明。

在图17A所示的后级摄像处理中，首先，在步骤ST30中，控制电路120C判定是否由通信I/F120D1接收到来自控制器15的垂直同步信号。在步骤ST30中，在通信I/F120D1未接收到来自控制器15的垂直同步信号的情况下判定为“否”，后级摄像处理转移到步骤ST56。在步骤ST30中，在由通信I/F120D1接收到来自控制器15的垂直同步信号的情况下判定为“是”，后级摄像处理转移到步骤ST32。

在步骤ST32中，读出电路120A进行第2模拟图像数据80A的读出及光电转换元件56的重置，然后后级摄像处理转移到步骤ST34。

在步骤ST34中，数字处理电路120B对第2模拟图像数据80A进行数字信号处理，然后后级摄像处理转移到步骤ST36。

在步骤ST34中，通过对第2模拟图像数据80A进行数字信号处理而得到的第2数字图像数据80B被传送到控制电路120C。

在步骤ST36中，控制电路120C将第2数字图像数据80B存储于存储器122，然后后级摄像处理转移到步骤ST38。

在步骤ST38中，控制电路120C判定是否从第1成像元件38输入了第1数字图像数据70B。在步骤ST38中，在从第1成像元件38未输入第1数字图像数据70B的情况下判定为“否”，再次进行步骤ST38的判定。在步骤ST38中，在从第1成像元件38输入了第1数字图像数据70B的情况下判定为“是”，后级摄像处理转移到步骤ST40。

在步骤ST40中，控制电路120C将在步骤ST38中输入的第1数字图像数据70B存储于存储器122，然后后级摄像处理转移到步骤ST42。

在步骤ST42中，检测部120C1从存储器122获取第2数字图像数据80B，然后后级摄像处理转移到步骤ST44。

在步骤ST44中，检测部120C1使用在步骤ST44中获取的第2数字图像数据80B进行检测处理，然后后级摄像处理转移到步骤ST45。

在步骤ST45中，判定部120C2判定是否通过步骤ST44中的检测处理从由第2数字图像数据80B表示的第2图像中检测到人物图像。在步骤ST45中，在从第2图像中未检测到人物图像的情况下判定为“否”，后级摄像处理转移到图17B所示的步骤ST46。在步骤ST45中，在从第2图像中检测到人物图像的情况下判定“是”，后级摄像处理转移到步骤ST50。

在图17B所示的步骤ST46中，判定部120C2判定是否已到将第1数字图像数据70B输出到信号处理电路34的定时(第2输出定时)。作为第2输出定时的一例，可举出由第2成像元件52的输出帧速率规定的定时。

在步骤ST46中，在未到第2输出定时的情况下判定为“否”，再次进行步骤ST46的判定。在步骤ST46中，在已到第2输出定时的情况下判定为“是”，后级摄像处理转移到步骤ST48。

在步骤ST48中，判定部120C2从存储器122获取第1数字图像数据70B，并将所获取的第1数字图像数据70B经由通信I/F120D3输出到信号处理电路34，然后后级摄像处理转移到图17A所示的步骤ST56。

在图17A所示的步骤ST50中，合成部120C3从存储器122获取第1数字图像数据70B，通过合成所获取的第1数字图像数据70B和在步骤ST44中用作检测处理的检测对象的第2数字图像数据80B而生成合成图像数据90，然后后级摄像处理转移到步骤ST52。

在步骤ST52中，合成部120C3判定是否已到第2输出定时。在步骤ST52中，在未到第2输出定时的情况下判定为“否”，再次进行步骤ST52的判定。在步骤ST52中，在已到第2输出定时的情况下判定为“是”，后级摄像处理转移到步骤ST54。

在步骤ST54中，合成部120C3将在步骤ST50中生成的合成图像数据90经由通信I/F120D3输出到信号处理电路34，然后后级摄像处理转移到步骤ST56。

在步骤ST56中，控制电路120C判定是否满足结束后级摄像处理的条件(以下，称为“后级摄像处理结束条件”)。作为后级摄像处理结束条件的一例，可举出由接收器件84(参考图4)接收到结束后级摄像处理的指示的条件。在步骤ST56中，在不满足后级摄像处理结束条件的情况下判定为“否”，后级摄像处理转移到步骤ST30。在步骤ST56中，在满足后级摄像处理结束条件的情况下判定为“是”，后级摄像处理结束。

如以上说明，在智能器件10中，通过由第1成像元件38拍摄第1拍摄范围而得到的第1数字图像数据70B存储于第2成像元件52的存储器122。并且，通过由第2成像元件52拍摄第2拍摄范围而得到的第2数字图像数据80B存储于存储器122。在第2成像元件52中，由检测部120C1进行从由第2数字图像数据80B表示的第2图像中检测人物图像的检测处理。第2图像是分辨率比第1图像高的图像，因此与使用第1图像检测人物图像的情况相比，以高精度检测人物图像。

在此，在通过检测处理从第2图像中未检测到人物图像的情况下，存储于存储器122中的第1数字图像数据70B输出到信号处理电路34。并且，在通过检测处理从第2图像中检测到人物图像的情况下，由合成部120C3合成存储于存储器122中的第1数字图像数据70B和在检测处理中使用的第2数字图像数据80B。并且，通过合成第1数字图像数据70B和第2数字图像数据80B而得到的合成图像数据90输出到信号处理电路34。

因此，根据本结构，与不管通过仅将第1图像作为检测对象进行检测人物图像的处理而得到的检测结果如何都始终将第1数字图像数据70B输出到信号处理电路34的情况相比，能够以高精度进行检测人物图像的检测处理，能够将表示适合于检测处理的检测结果的分辨率的图像的图像数据输出到信号处理电路34。

并且，在智能器件10中，第1成像元件38及第2成像元件52彼此的拍摄范围重叠。即，第1拍摄范围内包括第2拍摄范围。因此，根据本结构，与第1拍摄范围与第2拍摄范围不重叠的情况相比，能够容易地确定第1拍摄范围内是否存在人物。

并且，在智能器件10中，第2数字图像数据80B是通过由第2成像元件52以比第1焦距长的第2焦距拍摄而得到的图像数据。因此，根据本结构，与使用通过由第2成像元件52以与第1焦距相同的焦距或比第1焦距短的焦距拍摄而得到的图像数据检测人物图像的情况相比，能够以高精度检测人物图像。

并且，在智能器件10中，由光学变焦机构59变更第2焦距。因此，根据本结构，第2成像元件52能够使用通过以各种视场角进行拍摄而得到的第2数字图像数据80B来进行检测处理。

并且，在智能器件10中，第2成像元件52进行能够按每一帧变更曝光量的摄像。因此，根据本结构，与通过由第2成像元件52拍摄而得到的每个帧的第2数字图像数据80B所表示的第2图像的曝光量始终恒定的情况相比，能够提高人物图像的检测精度。

并且，在智能器件10中，第2区域56B的纵横比为3:2，第1区域42B的纵横比为16:9。因此，根据本结构，与第2区域56B的纵横比与第1区域42B的纵横比相同为16:9的情况相比，能够扩大通过检测处理从第2图像中检测人物图像的范围。

并且，在智能器件10中，第2成像元件52中的帧速率高于第1成像元件38中的帧速率。因此，根据本结构，与利用第1成像元件38从第1图像中检测人物图像的情况相比，能够高速进行检测处理。

并且，在智能器件10中，作为第2成像元件52，采用将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件。因此，根据本结构，与未将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件相比，第2成像元件52的便携性提高。并且，与未将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件相比，也能够有助于摄像装置14的小型化。

并且，在智能器件10中，作为第2成像元件52，采用存储器122层叠于光电转换元件56上的层叠型成像元件。由此，由于能够缩短连接光电转换元件56与存储器122的配线，因此能够减少配线延迟，其结果，与未层叠光电转换元件56和存储器122的情况相比，能够提高从光电转换元件56向存储器122的图像数据的传送速度。

并且，传送速度的提高也有助于整个处理电路120中的处理的高速化。并且，与未层叠光电转换元件56和存储器122的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件56和存储器122的情况相比，也能够有助于摄像装置14的小型化。

并且，在智能器件10中，由CPU15A将基于从第2成像元件52输出的图像数据的即时预览图像等显示在显示器26上。因此，根据本结构，能够使用户视觉辨认基于从第2成像元件52输出的图像数据的即时预览图像等。

并且，在智能器件10中，由CPU15A将从第2成像元件52输出的图像数据存储于储存器15B、智能器件、个人计算机、服务器、USB存储器和/或存储卡等。因此，根据本结构，能够管理从第2成像元件52输出的图像数据。

然而，在图21中示出第1成像元件38经由通信线LN1与信号处理电路34直接连接，且第2成像元件52经由通信线LN2与信号处理电路34直接连接的方式例。在图21所示的例子中，在将第1成像元件38及第2成像元件52与信号处理电路34连接的情况下，信号处理电路34需要分别与第1成像元件38及第2成像元件52对应的接口。因此，与仅单个成像元件与信号处理电路34连接的情况相比，配线数增加。

与此相对，在智能器件10中，第1成像元件38、第2成像元件52及信号处理电路34串联连接，第1数字图像数据70B从第1成像元件38输出到第2成像元件52。并且，第1数字图像数据70B及合成图像数据90选择性地从第2成像元件52输出到信号处理电路34。因此，根据本结构，与第1成像元件38经由通信线LN1与信号处理电路34直接连接，且第2成像元件52经由通信线LN2与信号处理电路34直接连接的情况(参考图21)相比，能够抑制将第1成像元件38及第2成像元件52与信号处理电路34连接所需的配线数。

另外，在上述实施方式中，举出从第2成像元件52向信号处理电路34输出合成图像数据90的方式例进行了说明，但本发明的技术并不限定于此。例如，第2数字图像数据80B也可以代替合成图像数据90从第2成像元件52输出到信号处理电路34。或者，基于第2数字图像数据80B的图像数据(例如，对第2数字图像数据80B进行加工的图像数据)也可以从第2成像元件52输出到信号处理电路34。在此，除了第2数字图像数据80B以外，基于第2数字图像数据80B的图像数据也是本发明的技术所涉及的“第2图像数据”的一例。

在输出第2数字图像数据80B来代替合成图像数据90的情况下，作为一例，如图18所示，在后级摄像处理中，不需要图17A所示的步骤ST52的处理，并且由控制电路120C进行步骤ST154的处理来代替图17A所示的步骤ST54的处理。即，在步骤ST154中，由控制电路120C将在步骤ST44的检测处理中使用的第2数字图像数据80B输出到信号处理电路34。

另外，在第2数字图像数据80B代替合成图像数据90输出到信号处理电路34的情况下，在控制器15的CPU15A的控制下，基于第2数字图像数据80B的图像也可以显示在显示器26上，或第2数字图像数据80B存储于储存器15B等存储装置。

并且，在上述实施方式中，举出检测部120C1从存储器122获取第2数字图像数据80B的方式例进行了说明，但本发明的技术并不限定于此。例如，第2数字图像数据80B也可以不存储于存储器122而由检测部120C1使用。即，第2数字图像数据80B也可以不存储于存储器122而由控制电路120C处理。

并且，在上述实施方式中，作为第2成像元件52，例示了将光电转换元件56、处理电路120及存储器122单芯片化而成的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件56、处理电路120及存储器122中的至少光电转换元件56及存储器122单芯片化即可。

并且，在上述实施方式中，举出根据检测处理的检测结果选择性地输出第1数字图像数据70B或合成图像数据90的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以不管检测处理的检测结果如何都从第2成像元件52向信号处理电路34输出第2数字图像数据80B。

在该情况下，例如，如图19所示，控制器15将请求不管检测处理的检测结果如何都向信号处理电路34输出第2数字图像数据80B的输出请求信号经由通信线58A输出到第2成像元件52。在第2成像元件52中，由通信I/F120D1接收输出请求信号。在此，通信I/F120D1是本发明的技术所涉及的“接收部(接受器(acceptor))”的一例。

在由通信I/F120D1接收到输出请求信号的情况下，控制电路120C不管检测处理的检测结果如何都将第2数字图像数据80B输出到信号处理电路34。根据本结构，不管检测处理的检测结果如何都能够有助于提高要求输出第2数字图像数据80B的用户的便利性。

并且，在上述实施方式中，作为第1成像元件38例示了层叠型成像元件，但本发明的技术并不限定于此，第1成像元件38也可以是非层叠型成像元件。在该情况下，适用具有非层叠型成像元件和处理电路的第1摄像装置来代替第1摄像装置30即可，该处理电路根据由非层叠型成像元件得到的第1模拟图像数据70A生成第1数字图像数据70B，将所生成的第1数字图像数据70B输出到第2成像元件52。或者，在使用非层叠型成像元件作为第1成像元件38的情况下，例如，也可以从第1成像元件38向第2成像元件52输出第1模拟图像数据70A，由第2成像元件52将第1模拟图像数据70A数字化而生成第1数字图像数据70B。

并且，在上述实施方式中，通信I/F之间按照PCIe的连接标准连接，但本发明的技术并不限定于此。也可以采用LVDS、SATA、SLVS-EC或MIPI等其他连接标准来代替PCIe连接标准。

并且，在上述实施方式中，第2成像元件52与信号处理电路34之间的通信、控制器15与第1成像元件38的通信、控制器15与第2成像元件52之间的通信及信号处理电路34与控制器15的通信均为有线形式的通信。然而，本发明的技术并不限定于此。也可以将第2成像元件52与信号处理电路34之间的通信、控制器15与第1成像元件38的通信、控制器15与第2成像元件52之间的通信和/或信号处理电路34与控制器15的通信设为无线形式的通信。

并且，在上述实施方式中，举出UI系统器件17组装在智能器件10中的方式例进行了说明，但UI系统器件17所包含的多个构成要件中的至少一部分可以外置在智能器件10上。并且，UI系统器件17所包含的多个构成要件中的至少一部分也可以单独与外部I/F104连接来使用。

并且，在上述实施方式中，作为处理电路120例示了包含ASIC及FPGA的器件，但本发明的技术并不限定于此，处理电路120也可以通过基于计算机的软件结构来实现。

在该情况下，例如，如图20所示，在摄像装置14中内置有计算机852。例如，在第2成像元件52中内置有计算机852来代替处理电路120。用于使计算机852执行上述实施方式所涉及的前级摄像处理的前级摄像处理程序902A存储于存储介质900。并且，用于使计算机852执行上述实施方式所涉及的后级摄像处理的后级摄像处理程序902B也存储于存储介质900。作为存储介质900的一例，可举出作为非临时存储介质的SSD或USB存储器等任意的便携式存储介质。

另外，以下，为了便于说明，在不需要区分说明前级摄像处理和后级摄像处理的情况下，称为“摄像装置处理”，在不需要区分说明前级摄像处理程序902A和后级摄像处理程序902B的情况下，称为“摄像装置处理程序”。

计算机852具备CPU852A、储存器852B及存储器852C。储存器852B是EE PROM等非易失性存储装置，存储器852C是RAM等易失性存储装置。存储于存储介质900中的摄像装置处理程序902安装于计算机852。CPU852A按照摄像装置处理程序902执行摄像装置处理。

摄像装置处理程序902可以不存储于存储介质900中而存储于储存器852B中。在该情况下，CPU852A从储存器852B读出摄像装置处理程序902，并在存储器852C中执行所读出的摄像装置处理程序902。如此，通过由CPU852A执行摄像装置处理程序902来实现摄像装置处理。

并且，也可以在经由通信网络(省略图示)与计算机852连接的其他计算机或服务器装置等存储部中存储摄像装置处理程序902，根据上述智能器件10的请求下载摄像装置处理程序902并安装于计算机852。

另外，不需要在与计算机852连接的其他计算机或服务器装置等存储部或储存器852B中存储全部摄像装置处理程序902，可以存储摄像装置处理程序902的一部分。

在图20所示的例子中，例示了摄像装置14中内置有计算机852的方式例，但本发明的技术并不限定于此，例如计算机852可以设置在摄像装置14的外部。

在图20所示的例子中，CPU852A是单个CPU，但也可以是多个CPU。并且，也可以适用GPU来代替CPU852A。

在图20所示的例子中，例示了计算机852，但本发明的技术并不限定于此，也可以适用包含ASIC、FPGA和/或PLD的器件来代替计算机852。并且，也可以使用硬件结构及软件结构的组合来代替计算机852。

作为执行在上述实施方式中说明的摄像装置处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可举出通用的处理器即CPU，通过执行软件即程序，作为执行摄像装置处理的硬件资源而发挥功能。并且，作为处理器，例如可举出作为处理器的专用电路，该处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。任何处理器中都内置或连接有存储器，通过任何处理器都使用存储器来执行摄像装置处理。

执行摄像装置处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行摄像装置处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一，存在如下方式：由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行摄像装置处理的硬件资源而发挥功能。第二，存在如下方式：如以SoC等为代表，使用由一个IC芯片来实现包括执行摄像装置处理的多个硬件资源的整个系统的功能的处理器。如此，摄像装置处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用由半导体元件等电路元件组合而成的电路。并且，上述摄像装置处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

并且，在图1所示的例子中例示了智能器件10，但本发明的技术并不限定于此。即，本发明的技术也能够适用于内置有摄像装置14的各种电子设备(例如，镜头可换式相机、镜头固定式相机、个人计算机和/或可穿戴终端装置等)，并且即使在这些电子设备中，也能够得到与上述智能器件10相同的作用及效果。并且，在上述实施方式中，举出第1摄像装置30和第2摄像装置32作为摄像装置14容纳于框体12中的方式例进行了说明，但不需要第1摄像装置30及第2摄像装置32这两者容纳于框体12中。例如，第1摄像装置30及第2摄像装置32这两者也可以在框体12外作为2台相机使用。在该情况下，也能够得到与上述摄像装置14相同的作用及效果。

并且，在上述实施方式中，例示了显示器26，但本发明的技术并不限定于此。例如，可以将加装在摄像装置上的单独的显示器用作本发明的技术所涉及的“显示部(显示器)”。

并且，在上述实施方式中，例示了第1成像元件38及第2成像元件52这两个成像元件，但本发明的技术并不限定于此，也可以适用三个以上的成像元件。通过由三个以上的成像元件中的一个成像元件(特定的成像元件)拍摄而得到的图像的分辨率比通过由其他成像元件拍摄而得到的图像的分辨率高，用于检测处理。并且，特定的成像元件优选为层叠型成像元件。在特定的成像元件中，在通过检测处理检测到特定被摄体图像(例如，人物图像)的情况下，由特定的成像元件输出合成图像数据，该合成图像数据表示通过将通过由特定的成像元件拍摄而得到的图像和通过由剩余的成像元件中的至少一个成像元件拍摄而得到的图像合成得到的合成图像。

另外，在该情况下，也可以与上述第1成像元件38与第2成像元件52串联连接的情况同样地，三个以上的成像元件也串联连接。并且，在使用三个以上的成像元件的情况下，可以使通过由成像元件拍摄而得到的各图像的分辨率彼此不同，也可以按照除了最低分辨率的图像以外的图像中从最低分辨率的图像到高分辨率的图像的顺序(阶段性地)进行检测处理。并且，也可以在通过检测处理检测到特定被摄体图像的情况下，通过将通过由进行特定被摄体图像的检测处理的成像元件拍摄而得到的图像(例如，包含特定被摄体图像的图像)和通过由能够得到分辨率比进行检测处理的成像元件低的图像的成像元件拍摄而得到的图像合成得到的合成图像数据输出到后级电路(例如，信号处理电路34)。并且，也可以输出表示包含特定被摄体图像的图像的图像数据，而不是合成图像数据。

以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免错综复杂，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。

在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”表示含义为，可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

关于以上实施方式，进一步公开以下附记。

(附记)

一种摄像装置，其包含：

第1成像元件，将通过拍摄被摄体而得到的第1图像数据输出到后级的成像元件；及

第2成像元件，作为后级的成像元件而设置，且具有：存储器，存储从第1成像元件输出的第1图像数据；及控制电路，对通过由第2成像元件拍摄被摄体而得到的第2图像数据进行处理，

由第2图像数据表示的第2图像的分辨率比由第1图像数据表示的第1图像的分辨率高，

控制电路进行从第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理，

第2成像元件在通过检测处理未检测到特定被摄体图像的情况下，将存储于存储器中的第1图像数据输出到特定的输出目的地，在通过检测处理检测到特定被摄体图像的情况下，将通过由控制电路合成第1图像数据和第2图像数据而得到的合成图像数据或第2图像数据输出到输出目的地。

Claims (14)

1.一种摄像装置，其具备：

第1成像元件，将通过拍摄被摄体而得到的第1图像数据输出到后级的成像元件；及

第2成像元件，作为所述后级的成像元件而设置，且具有：存储器，存储从所述第1成像元件输出的所述第1图像数据；及控制电路，对通过由所述第2成像元件拍摄所述被摄体而得到的第2图像数据进行处理，

由所述第2图像数据表示的第2图像的分辨率比由所述第1图像数据表示的第1图像的分辨率高，

所述控制电路进行从所述第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理，

所述第2成像元件在通过所述检测处理未检测到所述特定被摄体图像的情况下，将存储于所述存储器中的所述第1图像数据输出到特定的输出目的地，在通过所述检测处理检测到所述特定被摄体图像的情况下，将通过所述控制电路合成所述第1图像数据和所述第2图像数据而得到的合成图像数据或所述第2图像数据输出到所述特定的输出目的地。

2.根据权利要求1所述的摄像装置，其中，

所述第1成像元件及所述第2成像元件彼此的拍摄范围重叠。

3.根据权利要求1或2所述的摄像装置，其中，

所述第1图像数据是第1焦距图像数据，所述第1焦距图像数据是通过所述第1成像元件以第1焦距拍摄而得到的图像数据，

所述第2图像数据是第2焦距图像数据，所述第2焦距图像数据是通过所述第2成像元件以比所述第1焦距长的第2焦距拍摄而得到的图像数据。

4.根据权利要求3所述的摄像装置，其中，

所述第2焦距由光学变焦机构变更。

5.根据权利要求1、2或4中任一项所述的摄像装置，其中，

所述第2成像元件进行能够与帧对应地变更曝光量的摄像。

6.根据权利要求1、2或4中任一项所述的摄像装置，其中，

所述第1成像元件具有使第1被摄体光成像的第1光电转换元件，

所述第2成像元件具有使第2被摄体光成像的第2光电转换元件，

所述第1图像数据是从所述第1光电转换元件中的指定的第1区域得到的图像数据，

所述第2图像数据是从所述第2光电转换元件中的指定的第2区域得到的图像数据，

所述第2区域是比所述第1区域宽的区域。

7.根据权利要求1、2或4中任一项所述的摄像装置，其还包含通信接口，所述通信接口受理所述第2图像数据的输出的请求，

所述第2成像元件在所述通信接口受理了所述请求的情况下，不管所述检测处理的检测结果如何都将所述第2图像数据输出到所述特定的输出目的地。

8.根据权利要求1、2或4中任一项所述的摄像装置，其中，

所述第2成像元件中的帧速率高于所述第1成像元件中的帧速率。

9.根据权利要求1、2或4中任一项所述的摄像装置，其中，

所述第2成像元件是至少将光电转换元件和所述存储器单芯片化的成像元件。

10.根据权利要求9所述的摄像装置，其中，

所述第2成像元件是所述存储器层叠于所述光电转换元件的层叠型成像元件。

11.根据权利要求1、2、4或10中任一项所述的摄像装置，其中，

所述第1成像元件、所述第2成像元件及所述特定的输出目的地串联连接，

所述第1成像元件将所述第1图像数据输出到所述第2成像元件。

12.根据权利要求1、2、4或10中任一项所述的摄像装置，其还具备处理器，所述处理器进行以下控制中的至少任一个，包括：将基于由所述第2成像元件输出的所述第1图像数据的图像、及基于由所述第2成像元件输出的所述合成图像数据或所述第2图像数据的图像中的至少任一个显示在显示器的控制；以及将由所述第2成像元件输出的所述第1图像数据、及由所述第2成像元件输出的所述合成图像数据或所述第2图像数据中的至少任一个存储于存储装置的控制。

13.一种摄像装置的动作方法，其包括如下处理：

将通过所述摄像装置所包含的第1成像元件拍摄被摄体而得到的第1图像数据由所述第1成像元件输出到后级的成像元件；

作为所述后级的成像元件而设置在所述摄像装置的第2成像元件所具有的存储器存储从所述第1成像元件输出的所述第1图像数据；

所述第2成像元件对通过拍摄所述被摄体而得到的第2图像数据进行处理；

所述第2成像元件进行从由所述第2图像数据表示的第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理；

所述第2成像元件在通过所述检测处理未检测到所述特定被摄体图像的情况下，将存储于所述存储器中的所述第1图像数据输出到特定的输出目的地；以及

所述第2成像元件在通过所述检测处理检测到所述特定被摄体图像的情况下，将通过合成所述第1图像数据和所述第2图像数据而得到的合成图像数据或所述第2图像数据输出到所述特定的输出目的地，

所述第2图像的分辨率比由所述第1图像数据表示的第1图像的分辨率高。

14.一种计算机可读的非易失性存储器，存储有程序，所述程序用于使适用于摄像装置的计算机执行处理，

所述处理包括：

将通过所述摄像装置所包含的第1成像元件拍摄被摄体而得到的第1图像数据由所述第1成像元件输出到后级的成像元件；

作为所述后级的成像元件而设置在所述摄像装置的第2成像元件所具有的存储器存储从所述第1成像元件输出的所述第1图像数据；

所述第2成像元件对通过拍摄所述被摄体而得到的第2图像数据进行处理；

所述第2成像元件进行从由所述第2图像数据表示的第2图像中检测表示特定的被摄体的特定被摄体图像的检测处理；

所述第2成像元件在通过所述检测处理未检测到所述特定被摄体图像的情况下，将存储于所述存储器中的所述第1图像数据输出到特定的输出目的地；以及

所述第2成像元件在通过所述检测处理检测到所述特定被摄体图像的情况下，将通过合成所述第1图像数据和所述第2图像数据而得到的合成图像数据或所述第2图像数据输出到所述特定的输出目的地，

所述第2图像的分辨率比由所述第1图像数据表示的第1图像的分辨率高。