[go: up one dir, main page]

CN106575027B - 摄像装置及其被摄体跟踪方法 - Google Patents

摄像装置及其被摄体跟踪方法 Download PDF

Info

Publication number
CN106575027B
CN106575027B CN201480080883.XA CN201480080883A CN106575027B CN 106575027 B CN106575027 B CN 106575027B CN 201480080883 A CN201480080883 A CN 201480080883A CN 106575027 B CN106575027 B CN 106575027B
Authority
CN
China
Prior art keywords
subject
captured
camera
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480080883.XA
Other languages
English (en)
Other versions
CN106575027A (zh
Inventor
清水宏
吉泽和彦
桥本康宣
益冈信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN106575027A publication Critical patent/CN106575027A/zh
Application granted granted Critical
Publication of CN106575027B publication Critical patent/CN106575027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/01—Manufacture or treatment
    • H10D30/021—Manufacture or treatment of FETs having insulated gates [IGFET]
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/01—Manufacture or treatment
    • H10D30/021—Manufacture or treatment of FETs having insulated gates [IGFET]
    • H10D30/024—Manufacture or treatment of FETs having insulated gates [IGFET] of fin field-effect transistors [FinFET]
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/01—Manufacture or treatment
    • H10D30/021—Manufacture or treatment of FETs having insulated gates [IGFET]
    • H10D30/027—Manufacture or treatment of FETs having insulated gates [IGFET] of lateral single-gate IGFETs
    • H10D30/0275—Manufacture or treatment of FETs having insulated gates [IGFET] of lateral single-gate IGFETs forming single crystalline semiconductor source or drain regions resulting in recessed gates, e.g. forming raised source or drain regions
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/601—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs 
    • H10D30/603—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs  having asymmetry in the channel direction, e.g. lateral high-voltage MISFETs having drain offset region or extended drain IGFETs [EDMOS]
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/601—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs 
    • H10D30/605—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs  having significant overlap between the lightly-doped extensions and the gate electrode
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/601—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs 
    • H10D30/608—Insulated-gate field-effect transistors [IGFET] having lightly-doped drain or source extensions, e.g. LDD IGFETs or DDD IGFETs  having non-planar bodies, e.g. having recessed gate electrodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/62—Fin field-effect transistors [FinFET]
    • H10D30/6217—Fin field-effect transistors [FinFET] having non-uniform gate electrodes, e.g. gate conductors having varying doping
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/67—Thin-film transistors [TFT]
    • H10D30/6729—Thin-film transistors [TFT] characterised by the electrodes
    • H10D30/673—Thin-film transistors [TFT] characterised by the electrodes characterised by the shapes, relative sizes or dispositions of the gate electrodes
    • H10D64/013—
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/01—Manufacture or treatment
    • H10D64/025—Manufacture or treatment forming recessed gates, e.g. by using local oxidation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/01—Manufacture or treatment
    • H10D64/025—Manufacture or treatment forming recessed gates, e.g. by using local oxidation
    • H10D64/027—Manufacture or treatment forming recessed gates, e.g. by using local oxidation by etching at gate locations
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/111—Field plates
    • H10D64/112—Field plates comprising multiple field plate segments
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/20—Electrodes characterised by their shapes, relative sizes or dispositions 
    • H10D64/27—Electrodes not carrying the current to be rectified, amplified, oscillated or switched, e.g. gates
    • H10D64/311—Gate electrodes for field-effect devices
    • H10D64/411—Gate electrodes for field-effect devices for FETs
    • H10D64/511—Gate electrodes for field-effect devices for FETs for IGFETs
    • H10D64/512—Disposition of the gate electrodes, e.g. buried gates
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/20—Electrodes characterised by their shapes, relative sizes or dispositions 
    • H10D64/27—Electrodes not carrying the current to be rectified, amplified, oscillated or switched, e.g. gates
    • H10D64/311—Gate electrodes for field-effect devices
    • H10D64/411—Gate electrodes for field-effect devices for FETs
    • H10D64/511—Gate electrodes for field-effect devices for FETs for IGFETs
    • H10D64/512—Disposition of the gate electrodes, e.g. buried gates
    • H10D64/513—Disposition of the gate electrodes, e.g. buried gates within recesses in the substrate, e.g. trench gates, groove gates or buried gates
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/20—Electrodes characterised by their shapes, relative sizes or dispositions 
    • H10D64/27—Electrodes not carrying the current to be rectified, amplified, oscillated or switched, e.g. gates
    • H10D64/311—Gate electrodes for field-effect devices
    • H10D64/411—Gate electrodes for field-effect devices for FETs
    • H10D64/511—Gate electrodes for field-effect devices for FETs for IGFETs
    • H10D64/517—Gate electrodes for field-effect devices for FETs for IGFETs characterised by the conducting layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/20—Electrodes characterised by their shapes, relative sizes or dispositions 
    • H10D64/27—Electrodes not carrying the current to be rectified, amplified, oscillated or switched, e.g. gates
    • H10D64/311—Gate electrodes for field-effect devices
    • H10D64/411—Gate electrodes for field-effect devices for FETs
    • H10D64/511—Gate electrodes for field-effect devices for FETs for IGFETs
    • H10D64/517—Gate electrodes for field-effect devices for FETs for IGFETs characterised by the conducting layers
    • H10D64/518—Gate electrodes for field-effect devices for FETs for IGFETs characterised by the conducting layers characterised by their lengths or sectional shapes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D64/00—Electrodes of devices having potential barriers
    • H10D64/20—Electrodes characterised by their shapes, relative sizes or dispositions 
    • H10D64/27—Electrodes not carrying the current to be rectified, amplified, oscillated or switched, e.g. gates
    • H10D64/311—Gate electrodes for field-effect devices
    • H10D64/411—Gate electrodes for field-effect devices for FETs
    • H10D64/511—Gate electrodes for field-effect devices for FETs for IGFETs
    • H10D64/517—Gate electrodes for field-effect devices for FETs for IGFETs characterised by the conducting layers
    • H10D64/519—Gate electrodes for field-effect devices for FETs for IGFETs characterised by the conducting layers characterised by their top-view geometrical layouts
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D84/00—Integrated devices formed in or on semiconductor substrates that comprise only semiconducting layers, e.g. on Si wafers or on GaAs-on-Si wafers
    • H10D84/01—Manufacture or treatment
    • H10D84/0123—Integrating together multiple components covered by H10D12/00 or H10D30/00, e.g. integrating multiple IGBTs
    • H10D84/0126—Integrating together multiple components covered by H10D12/00 or H10D30/00, e.g. integrating multiple IGBTs the components including insulated gates, e.g. IGFETs
    • H10D84/0135—Manufacturing their gate conductors
    • H10D84/0142—Manufacturing their gate conductors the gate conductors having different shapes or dimensions
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D84/00—Integrated devices formed in or on semiconductor substrates that comprise only semiconducting layers, e.g. on Si wafers or on GaAs-on-Si wafers
    • H10D84/01—Manufacture or treatment
    • H10D84/02—Manufacture or treatment characterised by using material-based technologies
    • H10D84/03—Manufacture or treatment characterised by using material-based technologies using Group IV technology, e.g. silicon technology or silicon-carbide [SiC] technology
    • H10D84/038—Manufacture or treatment characterised by using material-based technologies using Group IV technology, e.g. silicon technology or silicon-carbide [SiC] technology using silicon technology, e.g. SiGe
    • H10P50/71—
    • H10P95/00—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Insulated Gate Type Field-Effect Transistor (AREA)
  • Studio Devices (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Electrodes Of Semiconductors (AREA)
  • Automatic Focus Adjustment (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Abstract

本发明的摄像装置将用户想要拍摄的对象物识别为被摄体，跟踪其运动，并使得在被摄体离开拍摄区域的情况下也能够跟踪被摄体的运动，能够始终可靠地在指定的被摄体上合焦。摄像装置包括：对被摄体进行拍摄的主照相机(20)；显示主照相机(20)拍摄的拍摄图像的EVF(40)；以比主照相机(20)大的拍摄范围对被摄体进行拍摄的副照相机(80)；和处理部，其从通过主照相机(20)和副照相机(80)拍摄的拍摄图像中提取被摄体，并跟踪提取出的被摄体，在拍摄被摄体时在被摄体上合焦，其中，处理部在被摄体移动至主照相机(20)的拍摄范围外的情况下，跟踪从副照相机(80)拍摄的拍摄图像中提取出的被摄体。

Description

摄像装置及其被摄体跟踪方法
技术领域
本发明涉及对被摄体进行拍摄的摄像装置，特别涉及自动聚焦时的被摄体跟踪的技术。
背景技术
数字方式的照相机已经得到了普及，这样的照相机使被摄体的影像通过镜头投影到由半导体构成的作为多像素集合体的摄像传感器上，通过测量照射在各像素上的光量来获取二维的拍摄图像。
另外，在照相机中，为了使由自发光或反射光的点光源的集合体构成的被摄体的影像的各个点光源在摄像传感器或胶片面上收敛于规定的弥散圆直径以内，需要调节镜头与摄像传感器的距离，来进行使被摄体的合焦的影像投影到摄像传感器或胶片面上的调节，而大部分照相机中已经搭载了根据被摄体与照相机的距离自动地进行适应的调节的自动聚焦功能。
其中，规定的弥散圆直径以内指的是，在明视距离、即人眼无需特别调节就能够轻松地对焦观看照片的距离下观看拍摄图像时，弥散圆直径为人的视觉分辨能力以下的值，一般而言，在观看拍摄的照片时，以照片对角线的1/1000～1/1500左右大小的直径为视觉分辨能力极限。
此处，为了进行自动聚焦，用户要通过手动操作在画面内的要拍摄的被摄体上合焦，而相对的，照相机则需要首先将位于画面内中央的物体作为用户关注的画面内的被摄体进行合焦，该情况下需要使被摄体处于画面中央。即，在被摄体离开画面中央的情况下，会产生难以进行合焦的情况。
作为利用这样的自动聚焦来对用户关注的被摄体自动地进行合焦的新技术，例如有日本特开平5-80248号公报(专利文献1)中记载的自动聚焦装置那样的技术，其在聚焦区域内确定作为拍摄对象的被摄体，自动检测该确定的被摄体的焦点位置进行合焦动作，该自动聚焦装置包括运动检测单元，其按每帧求取由多个小区域构成的关注区域中的各小区域内的影像的熵，检测熵在各小区域之间的帧间移动来检测被摄体的移动，自动聚焦装置基于该运动检测单元的检测结果使聚焦区域跟踪被摄体的移动而移动。
此处，专利文献1中熵是表示混乱度的值，而画面内的用户预先设为目标的被摄体的熵是通过这样的方式确定的，即，在被摄体影像所投影的摄像传感器上的位置处，将要拍摄的被摄体所投影的摄像传感器上的部分的输出数据的混乱度作为确定被摄体的值，由此确定被摄体的熵，在该被摄体于画面内移动时，对画面内的各个部位求取熵，将与最初的熵接近的区域上投影的光学影像识别为被摄体，进行在此处合焦的动作。
另外，一般而言，用户拍摄的被摄体的种类一定程度上是有限的。具体而言例如是人脸，该情况下照相机提取人脸作为被摄体并在此处自动地进行合焦，这样的产品也已发售。
现有技术文献
专利文献
专利文献1：日本特开平5-80248号公报
发明内容
发明要解决的技术问题
不过，现有技术中将用户想要拍摄的对象物识别为被摄体而进行合焦，但在该被摄体离开显示于照相机的取景器等的拍摄区域的情况下，存在不能跟踪被摄体、不能进行合焦这样的问题。
于是，本发明的目的在于提供一种摄像装置，将用户想要拍摄的对象物识别为被摄体，跟踪其运动，并使得在被摄体离开拍摄区域的情况下也能够跟踪被摄体的运动，能够始终可靠地对指定的被摄体进行合焦。
解决问题的技术手段
在本申请中公开的发明中，对有代表性者之概要简单说明如下。
即，本发明提供一种对被摄体进行拍摄，取得被摄体的拍摄图像的摄像装置，其包括：对被摄体进行拍摄的第一摄像传感器；显示第一摄像传感器拍摄的拍摄图像的显示部；以比第一摄像传感器大的拍摄范围对被摄体进行拍摄的第二摄像传感器；和处理部，其从通过第一摄像传感器和第二摄像传感器拍摄的拍摄图像中提取被摄体，并跟踪提取出的被摄体，在拍摄被摄体时在被摄体上合焦，其中，处理部在被摄体移动至第一摄像传感器的拍摄范围外的情况下，跟踪从第二摄像传感器拍摄的拍摄图像中提取出的被摄体。
另外，本发明提供一种对被摄体进行拍摄，取得被摄体的拍摄图像的摄像装置，其包括：摄像传感器，其拍摄比被摄体的拍摄图像的拍摄范围大的范围；显示部，其显示被摄体的拍摄图像的拍摄范围的图像；和处理部，其从摄像传感器拍摄的拍摄图像中提取被摄体，并跟踪提取出的被摄体，在拍摄被摄体时在被摄体上合焦，其中，处理部在被摄体移动至拍摄范围的区域外的情况下，跟踪从摄像传感器在拍摄范围的区域外拍摄的拍摄图像中提取出的被摄体。
另外，本发明提供一种对被摄体进行拍摄，取得被摄体的拍摄图像的摄像装置中的被摄体跟踪方法，其中，利用处理部，从通过第一摄像传感器和第二摄像传感器拍摄的拍摄图像中提取被摄体，并跟踪提取出的被摄体，在拍摄被摄体时在被摄体上合焦，其中，第二摄像传感器以比第一摄像传感器大的拍摄范围对被摄体进行拍摄，并且，在被摄体移动至第一摄像传感器的拍摄范围外的情况下，跟踪从第二摄像传感器拍摄的拍摄图像中提取出的被摄体。
另外，本发明提供一种对被摄体进行拍摄，取得所述被摄体的拍摄图像的摄像装置中的被摄体跟踪方法，其中，利用处理部，从摄像传感器拍摄的拍摄图像中提取被摄体，并跟踪提取出的被摄体，在拍摄被摄体时在被摄体上合焦，其中，摄像传感器拍摄比被摄体的拍摄图像的拍摄范围大的范围，并且，在被摄体移动至拍摄范围的区域外的情况下，跟踪从摄像传感器在拍摄范围的区域外拍摄的拍摄图像中提取出的被摄体。
发明效果
根据本发明，例如在将高速飞翔的鸟作为被摄体时，也能够识别被摄体，对该被摄体进行跟踪，在被摄体离开照相机的取景器等所显示的拍摄区域的情况下，也持续地识别被摄体，从而能够不跟丢被摄体地进行拍摄，实现对被摄体的最佳合焦。
附图说明
图1是表示本发明实施方式1的摄像装置的基本结构的结构图。
图2是表示作为本发明实施方式1的摄像装置之一例的数字照相机的结构的结构图。
图3是表示作为本发明实施方式1的摄像装置之一例的数字照相机的内部结构的结构图。
图4(A)～(C)是用于说明本发明实施方式1的摄像装置的主照相机和副照相机的拍摄区域的说明图。
图5(A)～(D)是用于说明本发明实施方式1的摄像装置的EVF的显示例的说明图。
图6是表示本发明实施方式1的摄像装置的动作的流程图。
图7是用于说明本发明实施方式1的摄像装置的副照相机的安装误差校正方法的说明图。
图8是表示本发明实施方式2的摄像装置的基本结构的结构图。
图9(A)、(B)是用于说明本发明实施方式2的摄像装置的被摄体的跟踪动作的说明图。
图10(A)、(B)是用于说明本发明实施方式2的摄像装置的被摄体的跟踪动作的说明图。
图11(A)、(B)是用于说明本发明实施方式3的摄像装置的EVF的显示例的说明图。
具体实施方式
以下，基于附图详细说明本发明的实施方式。其中，在用于说明实施方式的所有图中，对于相同部分原则上标注相同标记，省略其反复说明。
(实施方式1)
＜摄像装置的基本结构＞
使用图1说明本发明实施方式1的摄像装置的基本结构。图1是表示本发明实施方式1的摄像装置的基本结构的结构图。
图1中，摄像装置由主照相机20、信号处理DSP(Digital Signal Processor，数字信号处理器)30、EVF(Electronic View Finder，电子取景器)40、对象提取部50、数据库60、空间频率计算部70、副照相机80、被摄体跟踪部90、距离信息计算部100、AF(自动聚焦)控制部110构成，其中，主照相机20为第一摄像传感器，被摄体的图像经物镜10投影于其上，信号处理DSP 30对主照相机20的输出信号进行处理，EVF 40为显示部，显示被摄体的拍摄范围也就是拍摄区域的图像，对象提取部50提取作为被摄体的对象，数据库60保存用于识别对象的信息，空间频率计算部70计算被摄体的合焦状态，由摄像传感器等构成的副照相机80为第二摄像传感器，相比主照相机20更为广角地对与主照相机20相同的被摄体进行拍摄，被摄体跟踪部90对被摄体进行跟踪，距离信息计算部100计算与被摄体间的距离信息，AF控制部110通过电动机驱动而进行物镜10与主照相机20的相对距离的增减移动，以基于距离信息计算部100计算出的距离信息使被摄体合焦。
其中，信号处理DSP 30、对象提取部50、空间频率计算部70、被摄体跟踪部90、距离信息计算部100、AF控制部110构成处理部。
＜摄像装置的动作＞
接着，使用图1说明本发明实施方式1的摄像装置的动作。
首先，通过物镜10投影到主照相机20上的被摄体的图像被转换为电信号，输入到信号处理DSP 30中。此处，输入信号被转换为由亮度+色差信号构成的YUV，并且同时通过EVF 40提供给用户，特别是在用户移动摄像装置跟踪移动中的被摄体时使用。
此处，信号处理DSP 30的输出信号也输入到对象提取部50。对象提取部50分别提取输入的信号的拍摄图像内的多个被摄体，例如，在人脸的情况下存在眼、鼻、口，在侧脸的情况下根据形状提取人脸，即使视点随被摄体与照相机的方向的关系而变化，也持续识别为同一被摄体。在人脸的情况下，例如肤色、发色也能够在考虑了多样性的基础上进行确定。
此处，在数据库60中，预先保存有一般而言用户拍摄的被摄体的构成要件和形状、颜色等即使观察被摄体的方向发生改变也会识别为同一被摄体所需的信息。
作为该数据库60中保存的数据，例如，如果是人，则是将徒步、快跑或者静坐等情况下分别作为特征的形状和颜色等作为要素的数据。另外，如果是鸟，则是将小鸟、猛禽类等，和鹭鸶、天鹅这样颈部较长但取决于种类的不同而在飞翔时使颈部伸长还是弯曲这一点不同等情况下的分别作为特征的形状和颜色等作为要素的数据。
另外，如果是动物，则是将狗、猫或者其他动物的分别作为特征的形状和颜色等作为要素的数据。另外，如果是机动车，则是将轿车、跑车、运货车、卡车或者赛车等的分别作为特征的形状和颜色等作为要素的数据。另外，如果是列车，则是将电车、蒸汽机车或者其他列车的分别作为特征的形状和颜色等作为要素的数据。
数据库60中保存的这些数据，特别是在高速移动时即使拍摄装置进行跟踪的期间方向发生改变也能够进行跟踪的信息，被供给至对象提取部50。
此处，颜色和形状数据在即使对于一定程度从被摄体脱焦的模糊的影像也能够根据大致形状和颜色的混色状态识别被摄体的算法中使用。
摄像装置拍摄的拍摄图像中，存在从拍摄开始时起就映入拍摄区域内但中途离开拍摄区域的被摄体，或者在拍摄开始后进入拍摄区域内并保持于其中的被摄体等多个被摄体，但例如对它们跟踪规定时间，将始终存在于拍摄区域内的被摄体识别为用户想要拍摄的对象物即被摄体。
此处，这样的方式也是有效的，即，对于更长时间地持续位于主照相机20的大致中央的被摄体，在多个被摄体中使它的用于识别用户想要拍摄的对象物的权重更强。该处理和判断由对象提取部50进行。
此时，识别为被摄体的对象物也被通知到被摄体跟踪部90，在副照相机80拍摄的拍摄图像中，也对同一被摄体进行跟踪。
然后，将用于计算与该被摄体间的距离的信息的一部分发送到距离信息计算部100，并且在副照相机80中，即使所拍摄的被摄体存在瞬间离开主照相机20的拍摄区域的情况，也将其作为被摄体持续地跟踪，对对象提取部50持续发送表示该被摄体的位置的信息。
另外，为了在对象提取部50所识别出的、用户正作为拍摄对象物进行跟踪的被摄体上合焦，利用空间频率计算部70计算被摄体的合焦状态，将其结果通过对象提取部50发送给距离信息计算部100，距离信息计算部100根据该信息，对使物镜10的位置移动的AF控制部110发送指示，通过电动机驱动而进行物镜10与主照相机20的相对距离的增减移动，以在被摄体上合焦。
针对根据该结果新得到的图像，利用空间频率计算部70新计算出不同的空间频率，再次用相同的方法将其反馈给AF控制部110，由此能够始终在被摄体上持续合焦。
此时，在跟踪被摄体时，为了尽量不移动镜头也能扩大合焦的范围，在提高传感器感光度、缩小光圈而确保了景深的状态下进行跟踪，而使用摄像装置实际进行拍摄时，则要提高快门速度，并且在可能的范围内降低传感器感光度从而确保S/N，因此光圈为打开的方向，景深变窄。不过，在通过AF控制部110的动作而精确地在被摄体自身上合焦之后，才实际地使快门动作，从主照相机20获取拍摄图像，由此能够在目标物上恰当地合焦，并且从特别是移动的被摄体得到手抖小、画质好的静态图像。
此处，在拍摄时，不需要始终在跟踪时复杂地进行物镜10的移动以在被摄体上完全合焦，也可以采用这样的方法，即，在一定程度合焦的状态下，以物镜10不移动的状态继续跟踪，在例如用户为了拍摄被摄体而操作了快门按钮时，最终进行正确的合焦来进行拍摄。该情况下，因为物镜10不需要复杂地移动，所以能够抑制使摄像装置工作的电池的消耗。
其中，对于识别为被摄体并进行跟踪的被摄体，在EVF 40显示的主照相机20的拍摄图像中，以覆盖在被摄体上的方式，叠加显示表示已识别的图标，从而用户能够确认被摄体已被正确识别。
在识别了错误的对象的情况下，例如通过按下摄像装置本体上设置的指定的按钮等而使跟踪重置，或者改变摄像装置的方向持续跟踪，从而能够将用户想要拍摄的被摄体重新捕捉为跟踪对象，不过这一点并未图示。
另外，例如也可以利用在用户半按快门按钮时进行跟踪，在全按时拍摄(正式拍照)，不按时不进行跟踪或者使跟踪重置的方法，来重新选择跟踪对象的被摄体。该方法例如在拍摄高速移动以至于不存在先使目光从EVF 40上离开，再触摸未图示的其他显示部来选择被摄体这样的富余的被摄体的情况下是有效的。
另外，副照相机80相比主照相机20更广角地进行拍摄，即使在被摄体离开主照相机20所拍摄的拍摄区域的情况下，也能够利用副照相机80拍摄的拍摄图像对被摄体进行跟踪。另外，对于用户而言，通过在EVF 40上显示表示离开了拍摄区域的被摄体的方向的摇镜头指示，用户能够识别离开了拍摄区域的被摄体的方向。
＜作为摄像装置之一例的数字照相机的结构＞
接着，使用图2说明作为本发明实施方式1的摄像装置之一例的数字照相机的结构。图2是表示作为本发明实施方式1的摄像装置之一例的数字照相机的结构的结构图。
图2中，数字照相机通过由三合透镜构成的物镜10将被摄体120的图像投影在主照相机20上，进行被摄体120的拍摄。另外，被摄体120也被配置在数字照相机上部的副照相机80拍摄。拍摄被摄体得到的拍摄图像被显示在EVF 40上，用户能够确认所拍摄的对象物。另外，拍摄图像也显示在LCD(Liquid Crystal Display，液晶显示器)130上，能够进行对象物的确认和各种操作等。
图2中，作为拍摄的对象物，数字照相机选择了高速飞翔的鸟这样的移动体对象作为被摄体120。在该选择中，例如被摄体120通过由三合透镜构成的物镜10被主照相机20接收规定时间而形成被摄体影像，而在该被摄机影像被持续接收规定时间时，识别为被摄体。
此处，对于主照相机20持续捕捉的被摄体，用户在观看EVF 40上显示的拍摄图像的同时，以使得被摄体的拍摄图像进入主照相机20的方式，一边改变数字照相机的方向一边进行被摄体120的跟踪。
然后，在适当的时刻，用户按下未图示的快门按钮(进行拍照)，由此物镜10以在被摄体120上合焦的方式移动，主照相机20获取被摄体的拍摄影像，在LCD 130上显示数秒，同时在后述的外部存储器中记录拍摄图像。
另外，数字照相机还搭载有副照相机80。副照相机80的光学系统在与主照相机20和物镜所构成的光学系统相同的方向上大致平行地设置，并且与主照相机20的光学系统相比，为了能够进行更广角的拍摄，而具有视角更广的光学系统。在主照相机20将被摄体120识别为拍摄对象之后，在副照相机80中也对该被摄体持续跟踪。
副照相机80获取的影像除了用于被摄体120的跟踪，也能够利用被摄体120的焦点140、主照相机20与副照相机80的光轴间距离即基线长度1050，通过三角测量的方法测量被摄体120与数字照相机的距离。具体而言，如果副照相机80上投影的被摄体120的坐标从副照相机80的光学系统的轴中心偏离了偏移距离155，则能够根据该距离和光学系统的尺寸，大致计算副照相机80的位置＝照相机位置与被摄体120的距离，所以也能够将该信息用作主照相机20进行合焦用的信息。
其中，作为将被摄体120识别为拍摄对象的方法，除了上述的对被摄体120连续规定时间存在于主照相机20的拍摄图像内进行识别之外，也可以将主照相机20拍摄的拍摄图像与EVF 40同样地作为动态图像实时地显示在LCD 130上，通过设置在LCD 130上的未图示的触摸面板，利用手指等触摸拍摄图像中的被摄体，来将被摄体120识别为拍摄对象。
此时，虽然要先使目光离开EVF 40，一边看着LCD 130一边进行触摸，之后再利用EVF 40观看拍摄对象，但即使在使目光离开LCD 130而去观看EVF 40的期间中，被摄体120离开主照相机20的拍摄区域，因为使用与主照相机20的光学系统相比具有更为广角的光学系统的副照相机80继续跟踪被摄体120，所以通过在EVF 40内表示出被摄体120所在的位置，从而能够再次使被摄体120显示在EVF 40上，对作为移动体的被摄体120进行跟踪。
＜数字照相机的内部结构＞
接着，使用图3说明作为本发明实施方式1的摄像装置之一例的数字照相机的内部结构。图3是表示作为本发明实施方式1的摄像装置之一例的数字照相机的内部结构的结构图。
图3中，数字照相机构成为以CPU 150为核心的计算机系统。CPU 150与各种外围电路由主总线300连接。
硬件SW 160是以快门按钮为首的用于进行变焦镜头的驱动等操作的开关组，当按下这些SW中的某一个时，与各SW对应的代码和表示SW被按下的代码一同被CPU 150获取，由CPU 150进行与各SW对应的处理。
执行这些处理的程序记录于闪存220中，而处理中的工作区域从SD-RAM230中获取。照相机个体密钥信息170是基于表示数字照相机个体的编号、或者用户在数字照相机中登记的用户名而得到的信息，能够在拍摄的拍摄图像数据内嵌入进行拍摄的数字照相机名和用户名，根据情况为了使他人不能观看拍摄图像，而使用该密钥信息对拍摄图像数据加密保存。
编码器/解码器180是对所拍摄的拍摄图像数据进行压缩/解压缩的电路，对于主照相机20拍摄的拍摄图像，能够在例如实施了JPEG压缩后，经由外部存储器I/F 260记录到例如SD存储卡等外部存储器270中。另外，能够对外部存储器270中记录的静态图像和动态图像等图像进行解压缩，将其显示在LCD 240上。
主照相机20是用于拍摄被摄体120的照相机。主照相机20的使用方式是，在对移动的被摄体120进行跟踪和进行拍摄这两者下使用。副照相机80是用于跟踪被摄体的照相机，也包括信号处理电路。
其中，在图3中，图1中的进行主照相机20的信号处理的信号处理DSP 30没有图示，例如采用了在主照相机20的内部进行信号处理DSP 30的处理等的结构。另外，副照相机80的输出信号所输入的被摄体跟踪部90也没有图示，例如采用了由对象提取部50进行被摄体跟踪部90的处理，或者通过CPU 150的处理进行被摄体跟踪部90的处理等的结构。
扬声器190在利用数字照相机拍摄并再现动态图像时进行声音再现，或者播放按下硬件SW 160或后述的LCD 240上设置的触摸面板250时的声音，以及对用户通知发生了通知或警告等信息的声音。
耳机200在使用数字照相机拍摄动态图像时，在拍摄中监听麦克风210获取的声音时使用。另外，在再现已拍摄的动态图像时，在不用扬声器190发声而是要安静地确认拍摄结果时，也能够利用耳机200进行声音再现，用户对拍摄的动态图像通过影像和声音双方进行确认。
LCD 240能够显示所拍摄记录的静态图像和动态图像等图像，另外在用户使用触摸面板250对照相机输入设定信息时，能够在触摸面板250上触摸的坐标处显示设定项目，实现用户能够通过触摸输入而进行数字照相机的操作的显示。
EVF 40在拍摄时用作数字照相机的取景器。在EVF 40的显示图像中，在主照相机20取得的实时动态图像上，叠加显示拍摄所需的传感器感光度、快门速度、光圈值、正在跟踪的被摄体的方向等信息。
外部存储器I/F 260是供安装用于保存所拍摄的拍摄图像数据的可插拔的SD存储卡等外部存储器270的I/F。
对象提取部50如图1所示，具有从主照相机20和副照相机80的照相机所捕捉的影像中提取、确定用户想要拍摄的被摄体的功能。作为拍摄对象的被摄体的形状、颜色等特征预先保存在数据库60中，也能够由用户新追加。
对象提取部50首先通过G传感器290判断数字照相机当前是固定了位置和方向、还是为了跟踪运动的被摄体而由用户持续改变方向，在固定的情况下，从数据库60读取人脸、猫脸等运动较少的被摄体120的特征，进行用于确定被摄体的判断。
另外，在数字照相机的方向正在持续改变时，判断为被摄体120正在运动，从数据库60中读取飞翔的鸟和快跑的动物、儿童、以及狗和猫的从侧面观看的形状等特征，进行用于确定被摄体120的判断。
另外，在被摄体120更加特殊、不存在于数据库60中的情况下，在改变数字照相机的方向进行跟踪时，在LCD 240上显示拍摄图像，并通过在触摸面板250上触摸来确定被摄体120，由此将该被摄体120的特征追加至数据库60。
另外，在再现已预先拍摄的动态图像时，在再现中或利用PAUSE暂停时，也能够通过在触摸面板250上触摸来确定被摄体120，将其特征追加保存至数据库60。
此处，来自主照相机20和副照相机80的信息可以使用主总线300发送到对象提取部50，但拍摄图像这样大量的数据可能会将处于CPU 150直接管理下的主总线300占用，所以拍摄图像的数据使用直接路径305发送。由此，拍摄图像数据在不对主总线300施加负荷的前提下发送到对象提取部50，CPU 150能够充裕地应对包括照相机操作在内的所有照相机动作，能够不在数字照相机的操作中引起产生延迟等的问题的情况下进行拍摄。
距离信息计算部100和AF控制部110与图1的动作相同。此处，从对象提取部50也通过直接路径305对距离信息计算部100发送信息，从而减轻了主总线300的负荷，能够不对数字照相机的通常动作造成影响地，进行跟踪和自动聚焦处理。
无线LAN280通过无线通信进行网络连接，例如能够将拍摄的拍摄图像自动地保存至网络服务器，应对外部存储区270的容量减少，或者在社交网络等服务中发表所拍摄的拍摄图像。
进而，能够通过制造商服务等进行闪存220中保存的数字照相机的动作程序的更新、和数据库60中记录的表示各种被摄体的特征的信息的追加/变更。
G传感器290检测数字照相机的运动，其检测结果发送到对象提取部50，能够变更从数据库60读取的表示被摄体特征的数据的读取优先级。G传感器290基本上是加速度传感器，能够检测数字照相机的前后左右的直线运动、和摇摆数字照相机时的角加速度，将数字照相机的运动数据化。
另外，若G传感器290不仅是加速度传感器，也具有地磁传感器的功能，则例如在数字照相机朝向上方时，对于从数据库60读取的表示被摄体特征的数据，优先检索飞翔的鸟，在数字照相机从下方向上方运动时，例如优先从数据库60中检索爬树的猫这样存在从下方去往上方的行动的对象物，从而能够更高速地提取被摄体特征，由此能够更快地进入被摄体的跟踪动作。
＜主照相机和副照相机的拍摄区域＞
接着，使用图4说明本发明实施方式1的摄像装置的主照相机和副照相机的拍摄区域。图4是用于说明本发明实施方式1的摄像装置的主照相机和副照相机的拍摄区域的说明图，示出了主照相机和副照相机的拍摄区域与被摄体的位置关系。
副照相机80的拍摄区域310与主照相机20的拍摄区域320相比更为广角，始终拍摄更广的区域。即，在图4(A)～(C)的所有图中，能够用EVF 40观看的实际拍摄的范围，是主照相机20的拍摄区域320，副照相机80的拍摄区域310始终拍摄比主照相机20的拍摄区域320更广的范围。
图4(A)中，被摄体120处于主照相机20的拍摄区域320内。用户在此处选择飞翔的鸟作为被摄体120，在跟踪被摄体120的状态下，在恰好适合拍摄的状态下，被摄体120位于主照相机20的视野内大致中央，处于能够用主照相机20跟踪被摄体120的状态。
图4(B)中，示出了被摄体120即将离开主照相机20的拍摄区域320的状态。此时，仅用主照相机20难以进行被摄体120的识别和跟踪，所以在被摄体120的识别和跟踪中也参考副照相机80的拍摄图像。
此处，在主照相机20的镜头可更换或者是变焦镜头的情况下，为了使副照相机80的光学系统始终相比主照相机20的拍摄区域320更为广角，需要改良副照相机80的光学系统，本实施方式例如采用以下所示的方法。
第一方法是，在副照相机中使用比主照相机20可能使用的镜头中最广角的镜头的视角更广的视角的镜头。该情况下，在主照相机20使用的镜头是最广角的镜头的情况下，在跟踪被摄体120时，被摄体从主照相机20的画面离开的可能性远小于使用远摄镜头的情况，所以就副照相机80的最大广角焦距而言，使用与主照相机20相比大致相同至略为广角程度的广角镜头就能够发挥充分的效果。
但是，在要使用主照相机20可能使用的镜头中焦距最长的远摄镜头来捕捉运动的被摄体的情况下，只能在副照相机80的拍摄区域的极小部分中识别被摄体120，作为副照相机80的规格，需要在副照相机中使用具有即使在这样的情况下也足以对被摄体120进行识别的像素数的传感器，和具有足够的分辨率性能的镜头。
第二方法是这样的方法，即，根据第一方法中说明的主照相机20与副照相机80的镜头的焦距的关系，可认为，在对需要利用副照相机80跟踪的被摄体120进行拍摄的主照相机20所使用的镜头的焦距为一定程度以上的情况下——例如是具有换算为在数字单反照相机等中称为“全画幅”的约36mm×24mm尺寸的画面上进行拍摄的35mm胶片照相机的镜头焦距为f＝100mm以上程度的光学焦距的镜头时——能够使用副照相机80即可，故使副照相机80用的镜头的焦距不是最大广角镜头的焦距，而是决定为一定程度长的焦距，例如换算为35mm胶片照相机的镜头焦距为f＝50mm程度的光学焦距。
但是，该情况也同样地，在作为主照相机20中使用的镜头使用极端的远摄镜头、例如具有换算为35mm胶片照相机的镜头焦距为f＝500mm以上的光学焦距的镜头的情况下，主照相机20的视角在副照相机80的传感器上就长度方向而言仅有1/10，由于需要在该范围中进行被摄体120的识别和跟踪，所以与第一方法同样，需要在副照相机80中使用具有足以对被摄体120进行识别的像素数的传感器，和具有足够的分辨率性能的镜头。
第三方法是使副照相机80中使用的镜头的焦距可变的方法。具体而言，在更换了主照相机20用的镜头的情况下，通过镜头与照相机机身之间的电气接口读取主照相机20用镜头的焦距，而在利用变焦镜头改变焦距的情况下，即使主照相机20用镜头使用变焦镜头，也同样读取使用时的镜头的光学焦距。
并且，使用变焦镜头作为副照相机80的镜头，且变更为预先决定的焦距，例如在按视角相同的方式换算的情况下，变更为主照相机20的光学焦距的二倍的焦距等。
另外，副照相机80的镜头不需要使用能够以最大焦距到最小焦距之间的所有焦距进行拍摄的变焦镜头，例如能够采用在换算为35mm胶片照相机的镜头焦距为f＝35mm、50mm、75mm这三处时可实现足够的光学性能的结构的镜头，从而在主照相机20的摄影镜头更换时从3种焦距中选择与其适合的焦距用作副照相机80的镜头。
另外，也能够采用在主照相机20的摄影镜头变更的同时也更换副照相机80的镜头的方法。
通过这些方法，如图4(C)所示，即使主照相机20的拍摄区域320的视角发生变化，也能够用副照相机80继续跟踪被摄体120。另外，如图2所示主照相机20与副照相机80的光轴中心位置存在相当于基线长度的位置差异，特别在近距离下，主照相机20的光轴中心与被摄体位置的关系同副照相机80的光轴中心与被摄体的位置关系不一致，但在该情况下，能够通过计算数字照相机等与被摄体120的距离而确定被摄体120与主照相机20和副照相机80的光学位置关系，所以能够进行相当于基线长度的误差的校正，用副照相机80进行被摄体120的跟踪。
＜EVF的显示例＞
接着，使用图5说明本发明实施方式1的摄像装置的EVF的显示例。图5是用于说明本发明实施方式1的摄像装置的EVF的显示例的说明图。
图5(A)与图4(A)同样，被摄体120处于主照相机20的拍摄区域320内。用户在此处选择飞翔的鸟作为被摄体，在对其跟踪的状态下，在恰好适合拍摄的状态下，被摄体120位于主照相机20的视野内大致中央，用户通过EVF 40对其确认，处于能够用主照相机20跟踪被摄体的状态。
图5(B)示出了被摄体120离开主照相机20的拍摄区域320的状态。虽然处于不能用主照相机20跟踪被摄体120的状态，但在能够获取比主照相机20的拍摄区域320更广角的范围的副照相机80的拍摄区域310中，捕捉到被摄体120。
于是，本实施方式中，为了使虽然副照相机80捕捉到、但在主照相机20的视野中不可见的被摄体120进入主照相机的视野，在EVF 40上显示摇镜头指示330。通过使数字照相机等朝向该摇镜头指示330的箭头方向，用户能够通过EVF 40再次捕捉到被摄体120。
图5(C)与图5(B)不同，在被摄体120虽然仍处于主照相机20的视野中，但持续移动的被摄体120即将离开主照相机20的视野时，利用EVF 40将使数字照相机等朝向的方向作为摇镜头指示330用箭头显示而进行指引，从而能够在主照相机20的视野中持续捕捉。
该处理主要使用主照相机20的影像进行，在本实施方式中作为被摄体120的飞翔的鸟向画面下方移动时，对用户提供用于对其进行跟踪的指示，从而能够持续跟踪被摄体120。
图5(D)中，在主照相机20所捕捉的被摄体120因急速接近照相机而成为超过主照相机20的视野的大小时，在EVF 40上进行“拉远镜头！”的显示340，从而对用户警告镜头的焦距过长。
具体而言，在显示了该消息时，用户通过使主照相机20的变焦镜头向短焦距方向移动，能够再次使被摄体120处于主照相机20内。另外，在能够利用系统来控制变焦镜头的焦距的结构的情况下，也可以自动地使变焦镜头的焦距向短焦距方向移动，辅助用户的拍摄。
另外，相反地，在被摄体120急速远离数字照相机等时，也可以相反地显示“推近镜头！”，或者自动地移动变焦镜头。
该摇镜头指示330和“拉远镜头！”的显示340等显示，在EVF 40内可以简单地在图像上进行OSD(On Screen Display，屏上显示)显示，也可以为了进一步强调显示而改变颜色，或者进行闪烁。
此时的闪烁速度可以根据数字照相机等与被摄体120的关系，在需要用户尽快操作数字照相机等时，进行较快的显示等，另外，关于这些显示本身的可否显示和显示方法，能够通过预先利用数字照相机等的设定进行指定，而由用户自由地选择是否显示。
＜摄像装置的动作＞
接着，使用图6说明本发明实施方式1的摄像装置的动作。图6是表示本发明实施方式1的摄像装置的动作的流程图，示出了数字照相机的整体动作。
首先，在电源接通时，进行所有电路的起动和初始设定，开始数字照相机的起动，和例如图5(D)所示的按照预先由用户指定的初始值的照相机动作(步骤S100)。
此后是照相机工作中的循环，判断是否因用户操作电源关闭按钮等而存在电源关闭的指示(步骤S110)，继续此后的动作直到在步骤S110中判断存在电源关闭的指示，数字照相机的电源完全关闭(步骤S120)。
但是，在未图示的电池容量成为规定值以下等情况下，自动地进行电源关闭的动作。此时，可以通过EVF 40或LCD 130对用户发出“电池电量低”等消息。
接着，通过获取主照相机影像的处理，例如以每秒30帧(30fps＝30frame persecond)从主照相机20获取影像(步骤S130)，在EVF 40上显示(步骤S140)。由此，利用30fps的动态图像，将EVF 40用作数字照相机的取景器，用户能够对准被摄体120进行跟踪。
然后，判断用户是否按下了快门按钮(步骤S150)，在步骤S150中判断为按下了快门按钮的情况下，是拍摄从主照相机20获取的图像的状态，成为在被摄体120上合焦的状态，此时，例如从用作取景器的用于高速拍摄的不使用主照相机的全部像素的模式，变为获取主照相机20的全部像素的模式，获取全部像素(步骤S160)，对获取的图像数据进行压缩、保存(步骤S170)。
在步骤S170中，例如进行JPEG格式的压缩，在SD存储卡等可插拔的存储器中保存压缩图像数据。然后，在LCD 130上将拍摄的图像显示规定时间(步骤S180)，使用户能够确认拍摄的图像，之后再次转移至步骤S110，返回用于拍摄的基本循环。
另外，在步骤S150中判断为没有按下快门按钮的情况下，为了跟踪移动中的被摄体，从来自主照相机20和副照相机80的拍摄图像进行被摄体120的对象提取(步骤S190)。作为对象的提取方法，从数据库60中读取设想的被摄体120的形状、颜色等特征，通过计算与主照相机20和副照相机80拍摄的拍摄图像内拍到的物体的相关性而进行提取。
然后，判断步骤S190中提取的被摄体120的对象中是否存在要跟踪的对象(步骤S200)，在步骤S200中判断对象中不存在要跟踪的对象的情况下，转移至步骤S110，再次返回用于拍摄的基本循环。
在步骤S200中的判断中，例如，将始终处于拍摄区域内的被摄体作为用户想要拍摄的对象物即被摄体，指定为要跟踪的对象，或者通过用户选择LCD 130上显示的被摄体120等进行指定，而判断存在要跟踪的对象。
然后，在步骤S200中，在判断为对象中存在要跟踪的对象的情况下，判断副照相机80中是否存在要跟踪的对象(步骤S210)。在步骤S210中判断为副照相机80中存在要跟踪的对象的情况下，在被摄体120的位置即将离开主照相机20的拍摄区域、同时被副照相机80所拍摄的情况下，或仅被副照相机80拍摄的情况下，在EVF 40上显示例如图5(B)或图5(C)所示的摇镜头指示330，在EVF 40上用箭头显示被摄体120所在的方向(步骤S220)。
然后，在步骤S210中判断为副照相机80中不存在要跟踪的对象的情况下，以及在步骤S220中在EVF 40上用箭头显示了被摄体120所在的方向之后，在该对象上合焦(步骤S230)，继续进行跟踪，同时转移至步骤S110，返回拍摄的基本循环，等待用户按下快门。
通过以上处理，在用户所拍摄的被摄体120的对象离开主照相机20的拍摄区域320的情况下，用户也能够识别被摄体120的方向，对被摄体120合焦状态下的跟踪也能够继续进行。
＜副照相机的安装误差校正方法＞
接着，使用图7说明本发明实施方式1的摄像装置的副照相机的安装误差校正方法。图7是用于说明本发明实施方式1的摄像装置的副照相机的安装误差校正方法的说明图。
副照相机80不像主照相机20那样是拍摄用的照相机，所以其性能不需要是能够拍摄高画质静态图像的级别。根据像素数在规定数量以上和小型等设计要求，优选使用照相机本体与信号处理电路构成1个封装的、安装在移动电话或智能手机等小型便携终端中的照相机模块。
此处，本实施方式的副照相机80需要同时识别主照相机20中拍到的被摄体，为此，本来优选主照相机20与副照相机80的光轴平行。但是，例如移动电话或智能手机中使用的照相机模块，难以按正确的精度安装其光轴。
于是，给出将主照相机20和副照相机80安装在数字照相机本体中，校正副照相机80的安装误差的方法。
如图7所示，对于使用会聚透镜350识别为无穷远像的被摄体360，主照相机20和副照相机80同时进行拍摄。此时，在以被摄体360位于主照相机20的拍摄图像380的中央的方式显示被摄体像400时，在副照相机80的拍摄图像390上，因为其安装位置精度的误差，而在离开中央的位置看到被摄体像400。
该位置能够从图像的左端起按X-Y坐标进行数值测定。使用该数值，以使得副照相机80的拍摄图像中拍到的被摄体像400位于副照相机80中心的方式对副照相机80的拍摄数据的处理电路给出坐标校正值，由此能够将位于主照相机20的拍摄图像380中央的被摄体像400和副照相机80的拍摄图像中拍到的被摄体像400识别为同一被摄体，能够校正副照相机80的安装误差。
其中，本实施方式说明了数字照相机作为摄像装置的一例，但也能够应用于摄像机等使被摄体的影像通过镜头投影到摄像传感器上，并通过测量各像素上照射的光量而获取二维拍摄影像的任意装置。
(实施方式2)
在实施方式1中使用了副照相机80，而在实施方式2中仅使用主照相机20，在被摄体离开拍摄区域的情况下也能够跟踪被摄体。
＜摄像装置的基本结构＞
使用图8说明本发明实施方式2的摄像装置的基本结构。图8是表示本发明实施方式2的摄像装置的基本结构的结构图。
图8中，摄像装置相对于图1所示的摄像装置，删除了副照相机80和利用副照相机80的拍摄图像跟踪被摄体的被摄体跟踪部90，由主照相机20、信号处理DSP 30、EVF 40、对象提取部50、数据库60、空间频率计算部70、距离信息计算部100和AF控制部110构成，其中主照相机20为摄像传感器，被摄体的图像经物镜10投影于其上。
另外，信号处理DSP 30、对象提取部50、空间频率计算部70、距离信息计算部100、AF控制部110构成处理部。
此处，摄像装置与实施方式1同样，选择了高速飞翔的鸟这样的移动体的被摄体作为拍摄的对象物。该选择与实施方式1同样，在被摄体通过物镜10被主照相机20接收规定时间以上而形成的被摄体影像被主照相机20持续接收规定时间时，识别为被摄体。
本实施方式中，与图1所示的实施方式1的摄像装置同样，通过物镜10投影到主照相机20上的被摄体的拍摄图像被转换为电信号，输入到信号处理DSP 30。此处，输入信号被转换为由亮度+色差信号构成的YUV，并且同时通过EVF 40提供给用户，特别是在用户移动摄像装置跟踪移动中的被摄体时使用。
用于跟踪移动的被摄体的对象提取部50、数据库60、空间频率计算部70、距离信息计算部100、AF控制部110的动作与图1所示的实施例1同样。
＜摄像装置的被摄体的跟踪动作＞
接着，使用图9和图10说明本发明实施方式2的摄像装置的被摄体的跟踪动作。图9和图10是用于说明本发明实施方式2的摄像装置的被摄体的跟踪动作的说明图，图9表示使用主照相机的全部像素数拍摄的情况，图10表示使用主照相机的全部像素数的一部分拍摄的情况。
本实施方式中，不像实施方式1那样具有副照相机80，所以仅利用来自主照相机20的信息进行运动的被摄体的跟踪，作为其方法，存在以下2种方法。
第一方法是使用主照相机20的全部像素数进行拍摄的情况。该情况下，例如图9(A)所示，在被摄体120离开主照相机20的拍摄区域410的情况下不再能够恢复。作为其对策，例如在被摄体120离开主照相机20的拍摄区域410的情况下，自动地缩短变焦镜头的焦距，用更广角的镜头再次寻找并捕捉被摄体120，使拍摄区域410成为如图9(B)所示的状态，通过进行这样的动作，能够继续进行被摄体120的跟踪。
第二方法是不使用主照相机20的全部像素数，而是使用特定大小的比主照相机20的全部像素数少的像素数的部分作为拍摄区域410的拍摄像素的方法。
该情况下，图10(A)所示的拍摄区域410是通过EVF 40显示的范围，是用户实际上拍摄时观看的范围，但主照相机20的拍摄区域310捕捉了比其更广角的大小的范围，即使在被摄体120离开通过EVF 40观看的范围时，主照相机20也继续跟踪被摄体120，所以能够显示摇镜头指示330，对用户指示被摄体120的位置，发出移动摄像装置的指示以继续跟踪。
另外，即使被摄体120略微离开拍摄区域410，通过使主照相机20的全部像素中的作为拍摄区域410裁切的部分如图10(B)所示地从主照相机20的中心向拍到被摄体120的方向偏移，裁切捕捉到被摄体120的像素，从而也能够在跟踪运动的被摄体120的同时进行拍摄。
对于将特定大小的比主照相机20的全部像素数少的像素数的部分用作拍摄区域410的拍摄像素的情况的详情进行说明。主照相机20覆盖了比实际进行拍摄的拍摄区域410更为广角的范围。此处，在被摄体120位于拍摄区域410外的情况下，在EVF 40上显示摇镜头指示330，对用户发出移动摄像装置的指示。图10(A)所示的例子中，被摄体120位于右下，所以发出使照相机朝向右下的指示。
另外，在通过使拍摄区域410自身向右下方向移动，而使被摄体120进入拍摄区域410内的情况下，即使被摄体120进入了拍摄区域410，拍摄区域410在主照相机20的全部像素中也不是位于中央而是位于偏离的位置，所以在EVF 40上，如图10(B)所示继续进行摇镜头指示330的显示，对用户指示被摄体跟踪的方向直到拍摄区域410再次返回主照相机20的中央附近。
通过以上处理，在本实施方式中，也与实施方式1同样地，在用户拍摄的被摄体120的对象离开拍摄区域410的情况下，用户也能够识别被摄体120，继续在合焦在被摄体120上的状态下进行跟踪。
(实施方式3)
在实施方式1和2中，在EVF 40上进行实际的拍摄区域的显示，但在实施方式3中，在被摄体120离开拍摄区域410的情况下，根据被摄体120与拍摄区域410的位置关系的状况切换EVF 40上显示的影像，将拍摄区域410的外侧作为补充区域也进行显示。EVF 40的显示处理以外的动作与实施方式1和2同样。
＜EVF的显示例＞
使用图11说明本发明实施方式3的摄像装置的EVF的显示例。图11是用于说明本发明实施方式3的摄像装置的EVF的显示例的说明图。
图11(A)中，通过EVF 40观看的拍摄区域410的被摄体120位于即将离开主照相机20的位置。此时，例如在使用了副照相机80的情况下，或者使用主照相机20的整个拍摄区域中的一部分作为主照相机20的摄像范围的情况下，摄像装置虽然在继续捕捉被摄体120，但处于即将移动至用户的眼睛看不见的位置的状态。
此处，如图11(B)所示，将用户可通过EVF 40看到的范围作为补充区域420，表示副照相机80的拍摄图像，或者主照相机20的整个拍摄图像，并对于其中实际拍摄的拍摄区域410叠加框线将其表示出来，由此用户能够用较广的补充区域420跟踪被摄体120，在拍摄区域410内适当构图并进行拍摄。
其中，对于实施方式1所示的使用副照相机80的摄像装置，也能够组合实施方式2所示的不使用副照相机80的摄像装置的处理。该情况下，进行使副照相机80的拍摄区域与主照相机20的全部像素的拍摄区域不同等处理，在被摄体120离开实际的拍摄区域的情况下，选择最佳的图像作为实际的拍摄区域外部的拍摄图像，能够进行精度更高的被摄体跟踪。
附图标记说明
10……物镜，20……主照相机，30……信号处理DSP，40……EVF，50……对象提取部，60……数据库，70……空间频率计算部，80……副照相机，90……被摄体跟踪部，100……距离信息计算部，110……AF控制部。

Claims (24)

1.一种对被摄体进行拍摄，取得所述被摄体的拍摄图像的摄像装置，其特征在于，包括：
对所述被摄体进行拍摄的第一摄像传感器；
显示所述第一摄像传感器拍摄的所述拍摄图像的显示部；
以比所述第一摄像传感器大的拍摄范围对所述被摄体进行拍摄的第二摄像传感器；
处理部，其从通过所述第一摄像传感器和所述第二摄像传感器拍摄的拍摄图像中提取所述被摄体，并跟踪提取出的所述被摄体，在拍摄所述被摄体时在所述被摄体上合焦；和
数据库，其预先保存有表示多个种类的移动的被摄体的特征的数据，其中，
所述处理部读取保存在所述数据库中的所述数据，将其与所述第一摄像传感器和所述第二摄像传感器拍摄到的拍摄图像进行对照来确定所述被摄体，并从表示所述被摄体的特征的数据中确定与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，即使在所述被摄体移动至所述第一摄像传感器的拍摄范围外的情况下，也基于与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，来跟踪从所述第二摄像传感器拍摄的拍摄图像中提取出的所述被摄体。
2.如权利要求1所述的摄像装置，其特征在于：
对于预先保存有数据的数据库，能够由用户在之后追加表示被摄体的特征的数据。
3.如权利要求1所述的摄像装置，其特征在于：
所述处理部在存在多个所述被摄体的情况下，将长时间停留在所述第一摄像传感器拍摄的所述拍摄图像内的被摄体，或者与所述摄像装置的运动一致地运动的被摄体作为要拍摄的被摄体进行跟踪。
4.如权利要求3所述的摄像装置，其特征在于：
所述处理部在所述被摄体移动至所述第一摄像传感器的拍摄范围外的情况下，基于从所述第二摄像传感器拍摄的拍摄图像中提取出的所述被摄体，在所述显示部上显示表示所述被摄体的方向的信息。
5.如权利要求4所述的摄像装置，其特征在于：
所述处理部在所述被摄体移动至所述第一摄像传感器的拍摄范围外的情况下，基于所述第二摄像传感器拍摄的拍摄图像，在所述显示部上显示所述第一摄像传感器的拍摄范围外的拍摄图像。
6.如权利要求5所述的摄像装置，其特征在于：
所述处理部，对在所述第一摄像传感器的中心部拍摄到无穷远图像的被摄体的拍摄图像，与所述第二摄像传感器拍摄的所述无穷远图像的被摄体的拍摄图像进行比较，基于所述无穷远图像的被摄体在所述第二摄像传感器上的位置信息，校正所述第二摄像传感器的安装误差。
7.如权利要求1所述的摄像装置，其特征在于：
保存在所述数据库中的所述用于进行被摄体跟踪的特征信息能够通过制造商服务进行追加和变更。
8.一种对被摄体进行拍摄，取得所述被摄体的拍摄图像的摄像装置，其特征在于，包括：
摄像传感器，其拍摄比所述被摄体的拍摄图像的拍摄范围大的范围；
显示部，其显示所述被摄体的拍摄图像的拍摄范围的图像；
处理部，其从所述摄像传感器拍摄的拍摄图像中提取所述被摄体，并跟踪提取出的所述被摄体，在拍摄所述被摄体时在所述被摄体上合焦；和
数据库，其预先保存有表示多个种类的移动的被摄体的特征的数据，其中，
所述处理部读取保存在所述数据库中的所述数据，将其与所述摄像传感器拍摄到的拍摄图像进行对照来确定所述被摄体，并从表示所述被摄体的特征的数据中确定与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，即使在所述被摄体移动至所述拍摄范围的区域外的情况下，也基于与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，来跟踪从所述摄像传感器在所述拍摄范围的区域外拍摄的拍摄图像中提取出的所述被摄体。
9.如权利要求8所述的摄像装置，其特征在于：
对于预先保存有数据的数据库，能够由用户在之后追加表示被摄体的特征的数据。
10.如权利要求8所述的摄像装置，其特征在于：
所述处理部在存在多个所述被摄体的情况下，将长时间停留在所述摄像传感器拍摄的所述拍摄图像内的被摄体，或者与所述摄像装置的运动一致地运动的被摄体作为要拍摄的被摄体进行跟踪。
11.如权利要求10所述的摄像装置，其特征在于：
所述处理部在所述被摄体移动至所述拍摄范围的区域外的情况下，基于从所述摄像传感器在所述拍摄范围的区域外拍摄的拍摄图像中提取出的所述被摄体，在所述显示部上显示表示所述被摄体的方向的信息。
12.如权利要求11所述的摄像装置，其特征在于：
所述处理部在所述被摄体移动至所述拍摄范围的区域外的情况下，基于所述摄像传感器拍摄的拍摄图像，在所述显示部上显示所述拍摄范围的区域外的拍摄图像。
13.如权利要求10所述的摄像装置，其特征在于：
所述处理部在所述被摄体移动至所述拍摄范围的区域外的情况下，在所述摄像传感器拍摄的拍摄图像中，使作为所述拍摄范围的区域移动至能够拍摄所述被摄体的位置。
14.如权利要求13所述的摄像装置，其特征在于：
所述处理部在移动了作为所述拍摄范围的区域的情况下，在所述显示部上显示表示所述被摄体的方向的信息，直至作为所述拍摄范围的区域返回所述摄像传感器的中央附近。
15.如权利要求8的所述的摄像装置，其特征在于：
保存在所述数据库中的所述用于进行被摄体跟踪的特征信息能够通过制造商服务进行追加和变更。
16.一种对被摄体进行拍摄来取得所述被摄体的拍摄图像的摄像装置中的被摄体跟踪方法，其特征在于：
利用处理部，从通过第一摄像传感器和第二摄像传感器拍摄的拍摄图像中提取所述被摄体，并跟踪提取出的所述被摄体，在拍摄所述被摄体时在所述被摄体上合焦，其中，所述第二摄像传感器以比第一摄像传感器大的拍摄范围对所述被摄体进行拍摄，并且，
利用所述处理部，从预先保存有表示多个种类的移动的被摄体的特征的数据的数据库中读取所述数据，将其与所述第一摄像传感器和所述第二摄像传感器拍摄到的拍摄图像进行对照来确定所述被摄体，并从表示所述被摄体的特征的数据中确定与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，即使在所述被摄体移动至所述第一摄像传感器的拍摄范围外的情况下，也基于与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，来跟踪从所述第二摄像传感器拍摄的拍摄图像中提取出的所述被摄体。
17.如权利要求16所述的被摄体跟踪方法，其特征在于：
对于预先保存有数据的数据库，能够由用户在之后追加表示被摄体的特征的数据。
18.如权利要求16所述的被摄体跟踪方法，其特征在于：
利用所述处理部，在存在多个所述被摄体的情况下，将长时间停留在所述第一摄像传感器拍摄的所述拍摄图像内的被摄体，或者与所述摄像装置的运动一致地运动的被摄体作为要拍摄的被摄体进行跟踪。
19.如权利要求16所述的被摄体跟踪方法，其特征在于：
保存在所述数据库中的所述用于进行被摄体跟踪的特征信息能够通过制造商服务进行追加和变更。
20.一种对被摄体进行拍摄来取得所述被摄体的拍摄图像的摄像装置中的被摄体跟踪方法，其特征在于：
利用处理部，从摄像传感器拍摄的拍摄图像中提取所述被摄体，并跟踪提取出的所述被摄体，在拍摄所述被摄体时在所述被摄体上合焦，其中，所述摄像传感器拍摄比所述被摄体的拍摄图像的拍摄范围大的范围，并且，
利用所述处理部，从预先保存有表示多个种类的移动的被摄体的特征的数据的数据库中读取所述数据，将其与所述摄像传感器拍摄到的拍摄图像进行对照来确定所述被摄体，并从表示所述被摄体的特征的数据中确定与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，即使在所述被摄体移动至所述拍摄范围的区域外的情况下，也基于与所确定的被摄体对应的用于进行被摄体跟踪的特征信息，来跟踪从所述摄像传感器在所述拍摄范围的区域外拍摄的拍摄图像中提取出的所述被摄体。
21.如权利要求20所述的被摄体跟踪方法，其特征在于：
对于预先保存有数据的数据库，能够由用户在之后追加表示被摄体的特征的数据。
22.如权利要求20所述的被摄体跟踪方法，其特征在于：
利用所述处理部，在存在多个所述被摄体的情况下，将长时间停留在所述摄像传感器拍摄的所述拍摄图像内的被摄体，或者与所述摄像装置的运动一致地运动的被摄体作为要拍摄的被摄体进行跟踪。
23.如权利要求22所述的被摄体跟踪方法，其特征在于：
利用所述处理部，在所述被摄体移动至所述拍摄范围的区域外的情况下，在所述摄像传感器拍摄的拍摄图像中，使作为所述拍摄范围的区域移动至能够拍摄所述被摄体的位置。
24.如权利要求20所述的被摄体跟踪方法，其特征在于：
保存在所述数据库中的所述用于进行被摄体跟踪的特征信息能够通过制造商服务进行追加和变更。
CN201480080883.XA 2014-07-31 2014-07-31 摄像装置及其被摄体跟踪方法 Active CN106575027B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/070164 WO2016016984A1 (ja) 2014-07-31 2014-07-31 撮像装置およびその被写体追尾方法

Publications (2)

Publication Number Publication Date
CN106575027A CN106575027A (zh) 2017-04-19
CN106575027B true CN106575027B (zh) 2020-03-06

Family

ID=55216925

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480080883.XA Active CN106575027B (zh) 2014-07-31 2014-07-31 摄像装置及其被摄体跟踪方法
CN202510161231.9A Pending CN119997586A (zh) 2014-07-31 2021-01-22 半导体器件和集成电路以及形成半导体器件的方法
CN202110086383.9A Active CN113054024B (zh) 2014-07-31 2021-01-22 半导体器件和集成电路以及形成半导体器件的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202510161231.9A Pending CN119997586A (zh) 2014-07-31 2021-01-22 半导体器件和集成电路以及形成半导体器件的方法
CN202110086383.9A Active CN113054024B (zh) 2014-07-31 2021-01-22 半导体器件和集成电路以及形成半导体器件的方法

Country Status (7)

Country Link
US (8) US10609273B2 (zh)
JP (1) JPWO2016016984A1 (zh)
KR (1) KR102375643B1 (zh)
CN (3) CN106575027B (zh)
DE (1) DE102020108663A1 (zh)
TW (1) TWI772887B (zh)
WO (1) WO2016016984A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6525724B2 (ja) * 2015-05-20 2019-06-05 キヤノン株式会社 パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
KR20180020689A (ko) * 2016-08-19 2018-02-28 엘지전자 주식회사 이동 단말기
KR102593824B1 (ko) 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
JP6906995B2 (ja) * 2017-03-27 2021-07-21 キヤノン株式会社 電子機器、撮像装置、及び制御方法、並びにプログラム
JP6979799B2 (ja) * 2017-06-06 2021-12-15 ローム株式会社 カメラおよび動画の撮影方法
US10863079B2 (en) * 2017-07-13 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
JP6856914B2 (ja) * 2017-07-18 2021-04-14 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドＨａｎｇｚｈｏｕ Ｔａｒｏ Ｐｏｓｉｔｉｏｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． インテリジェントな物体追跡
KR102645340B1 (ko) * 2018-02-23 2024-03-08 삼성전자주식회사 전자 장치 및 그의 녹화 방법
CN108897789B (zh) * 2018-06-11 2022-07-26 西南科技大学 一种跨平台的社交网络用户身份识别方法
TWI670646B (zh) 2018-06-15 2019-09-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統
TWI693828B (zh) * 2018-06-28 2020-05-11 圓展科技股份有限公司 顯示擷取裝置與其操作方法
US10679065B2 (en) * 2018-07-03 2020-06-09 Hitachi, Ltd. Non-invasive data extraction from digital displays
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
KR102170921B1 (ko) * 2018-11-13 2020-10-28 에이치엔티 일렉트로닉스(주) 촬영 시스템 및 촬영 시스템 제어방법
CN109889727A (zh) * 2019-03-14 2019-06-14 睿魔智能科技（深圳）有限公司 无人拍摄目标切换方法及系统、无人摄像机及存储介质
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP7296817B2 (ja) * 2019-08-07 2023-06-23 キヤノン株式会社 撮像装置及びその制御方法
CN114270800B (zh) * 2019-08-29 2024-10-22 富士胶片株式会社 摄像装置、摄像装置的动作方法及程序
JP7379083B2 (ja) * 2019-10-24 2023-11-14 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
JP7173067B2 (ja) * 2020-02-28 2022-11-16 カシオ計算機株式会社 撮像装置、撮影システム、撮像方法及びプログラム
US11601589B2 (en) * 2020-09-15 2023-03-07 Micron Technology, Inc. Actuating an image sensor
JP7415912B2 (ja) * 2020-12-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
CN112954220A (zh) * 2021-03-03 2021-06-11 北京蜂巢世纪科技有限公司 图像预览方法及装置、电子设备、存储介质
CN115278043B (zh) * 2021-04-30 2024-09-20 华为技术有限公司 一种目标追踪方法及相关装置
CN113873159B (zh) * 2021-09-30 2024-11-26 维沃移动通信有限公司 图像处理方法、装置及电子设备
JP2023062381A (ja) * 2021-10-21 2023-05-08 キヤノン株式会社 撮像装置及びその制御方法とプログラム
US12033390B2 (en) * 2021-10-26 2024-07-09 Hitachi, Ltd. Method and apparatus for people flow analysis with inflow estimation
JP7753057B2 (ja) * 2021-10-29 2025-10-14 キヤノン株式会社 撮像装置
KR20230116565A (ko) 2022-01-28 2023-08-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP2024110050A (ja) * 2023-02-02 2024-08-15 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP7769671B2 (ja) * 2023-09-27 2025-11-13 キヤノン株式会社 表示制御装置および表示制御方法、ならびに撮像システム
US12349459B1 (en) 2024-10-07 2025-07-01 Globalfoundries U.S. Inc. High-voltage semiconductor device structures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置
JP2010533416A (ja) * 2007-07-13 2010-10-21 タンドベルク・テレコム・エイ・エス 自動的カメラ制御方法とシステム
JP2012147370A (ja) * 2011-01-14 2012-08-02 Panasonic Corp 撮像装置
JP2013127601A (ja) * 2011-11-16 2013-06-27 Panasonic Corp 撮像装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580248A (ja) 1991-09-19 1993-04-02 Ricoh Co Ltd オートフオーカス装置
AUPO960197A0 (en) 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus
US6040220A (en) * 1997-10-14 2000-03-21 Advanced Micro Devices, Inc. Asymmetrical transistor formed from a gate conductor of unequal thickness
US6093947A (en) * 1998-08-19 2000-07-25 International Business Machines Corporation Recessed-gate MOSFET with out-diffused source/drain extension
US6614998B1 (en) * 1999-10-18 2003-09-02 Fuji Photo Film Co., Ltd. Automatic focusing camera and shooting method
JP4507392B2 (ja) * 2000-11-15 2010-07-21 株式会社ニコン 電子カメラ
US7214991B2 (en) * 2002-12-06 2007-05-08 Taiwan Semiconductor Manufacturing Co., Ltd. CMOS inverters configured using multiple-gate transistors
JP2006032410A (ja) 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd 半導体装置およびその製造方法
JP2007041046A (ja) 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP2007103694A (ja) * 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 半導体装置及びその製造方法
KR20070056749A (ko) * 2005-11-30 2007-06-04 주식회사 하이닉스반도체 개선된 리프레쉬 특성을 가지는 리세스 채널 트랜지스터제조 방법
US7371645B2 (en) * 2005-12-30 2008-05-13 Infineon Technologies Ag Method of manufacturing a field effect transistor device with recessed channel and corner gate device
JP4875942B2 (ja) 2006-07-31 2012-02-15 イーストマン コダック カンパニー 複数光学系を有する撮像装置
WO2008026434A1 (en) * 2006-08-30 2008-03-06 Nikon Corporation Image tracking apparatus, image tracking method and camera
JP2008084995A (ja) * 2006-09-26 2008-04-10 Sharp Corp 高耐圧トレンチｍｏｓトランジスタ及びその製造方法
JP2008136024A (ja) 2006-11-29 2008-06-12 Fujifilm Corp 撮影装置、撮影システムおよび撮影方法
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
KR20090041152A (ko) * 2007-10-23 2009-04-28 삼성전자주식회사 균일한 두께의 게이트 유전막을 갖는 리세스 채널트랜지스터의 제조방법
WO2009111498A2 (en) * 2008-03-03 2009-09-11 Videoiq, Inc. Object matching for tracking, indexing, and search
JP5326345B2 (ja) 2008-04-30 2013-10-30 株式会社ニコン 撮影装置
JP5709367B2 (ja) 2009-10-23 2015-04-30 キヤノン株式会社 画像処理装置、および画像処理方法
US20120002958A1 (en) * 2010-07-01 2012-01-05 Nokia Corporation Method And Apparatus For Three Dimensional Capture
JP5712519B2 (ja) 2010-07-23 2015-05-07 株式会社リコー 撮像装置および撮像方法
JP2012049651A (ja) * 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
JP2013013050A (ja) 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
JP5782517B2 (ja) * 2011-07-28 2015-09-24 富士フイルム株式会社 カメラ制御システムおよびその動作制御方法
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
US8890207B2 (en) 2011-09-06 2014-11-18 Taiwan Semiconductor Manufacturing Company, Ltd. FinFET design controlling channel thickness
US8759916B2 (en) * 2012-01-27 2014-06-24 International Business Machines Corporation Field effect transistor and a method of forming the transistor
KR101293245B1 (ko) * 2012-02-21 2013-08-09 (주)비에이치비씨 광학 줌 카메라의 줌 트래킹 자동 초점 제어기 및 그 제어 방법
JP5872981B2 (ja) 2012-08-02 2016-03-01 オリンパス株式会社 撮影機器，動体の撮影方法，撮影プログラム
JP2014050022A (ja) * 2012-09-03 2014-03-17 Nikon Corp 画像処理装置、撮像装置、およびプログラム
US9209182B2 (en) 2012-12-28 2015-12-08 Taiwan Semiconductor Manufacturing Company, Ltd. Dummy metal gate structures to reduce dishing during chemical-mechanical polishing
WO2014183004A1 (en) * 2013-05-10 2014-11-13 Robert Bosch Gmbh System and method for object and event identification using multiple cameras
CN104241366B (zh) * 2013-06-07 2017-06-13 台湾积体电路制造股份有限公司 FinFET器件的源极区和漏极区中的位错形成
US9076766B2 (en) * 2013-06-13 2015-07-07 Taiwan Semiconductor Manufacturing Co., Ltd. Mechanism for forming metal gate structure
US10115819B2 (en) * 2015-05-29 2018-10-30 Crossbar, Inc. Recessed high voltage metal oxide semiconductor transistor for RRAM cell
US9443958B2 (en) * 2014-10-06 2016-09-13 United Microelectronics Corp. High voltage metal-oxide-semiconductor transistor device and method of forming the same
US9728646B2 (en) * 2015-08-28 2017-08-08 Taiwan Semiconductor Manufacturing Co., Ltd. Flat STI surface for gate oxide uniformity in Fin FET devices
US9781350B2 (en) * 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
KR102296258B1 (ko) 2017-06-27 2021-08-30 한국전기연구원 트렌치 게이트형 탄화규소 모스펫 구조 및 그 제조방법
US10431663B2 (en) * 2018-01-10 2019-10-01 Globalfoundries Inc. Method of forming integrated circuit with gate-all-around field effect transistor and the resulting structure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置
JP2010533416A (ja) * 2007-07-13 2010-10-21 タンドベルク・テレコム・エイ・エス 自動的カメラ制御方法とシステム
JP2012147370A (ja) * 2011-01-14 2012-08-02 Panasonic Corp 撮像装置
JP2013127601A (ja) * 2011-11-16 2013-06-27 Panasonic Corp 撮像装置

Also Published As

Publication number Publication date
US20170223261A1 (en) 2017-08-03
US20250216747A1 (en) 2025-07-03
CN113054024B (zh) 2025-03-07
US20200221014A1 (en) 2020-07-09
US20200221015A1 (en) 2020-07-09
US20250102887A1 (en) 2025-03-27
KR20210117896A (ko) 2021-09-29
US20240069412A1 (en) 2024-02-29
TWI772887B (zh) 2022-08-01
CN119997586A (zh) 2025-05-13
DE102020108663A1 (de) 2021-09-23
US11445104B2 (en) 2022-09-13
US10609273B2 (en) 2020-03-31
US11846871B2 (en) 2023-12-19
WO2016016984A1 (ja) 2016-02-04
TW202137556A (zh) 2021-10-01
JPWO2016016984A1 (ja) 2017-06-01
CN106575027A (zh) 2017-04-19
CN113054024A (zh) 2021-06-29
KR102375643B1 (ko) 2022-03-17
US12204232B2 (en) 2025-01-21
US11860511B2 (en) 2024-01-02
US12276899B2 (en) 2025-04-15
US20220353430A1 (en) 2022-11-03
US20240061320A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
CN106575027B (zh) 摄像装置及其被摄体跟踪方法
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP5251215B2 (ja) デジタルカメラ
US8594390B2 (en) Composition determination device, composition determination method, and program
US8638372B2 (en) Image capture unit with changeable image capture direction
EP2791899B1 (en) Method and apparatus for image capture targeting
US9300858B2 (en) Control device and storage medium for controlling capture of images
US10270975B2 (en) Preview image display method, apparatus and storage medium
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP2015005860A (ja) 撮像装置、撮像方法及びプログラム
US9413940B2 (en) Digital electronic apparatus and method of controlling continuous photographing thereof
CN104820567B (zh) 一种使用手写笔控制拍照的方法、设备与系统
JP2013141086A (ja) 撮像装置
JP2007329602A (ja) 撮像装置、撮影方法、および撮影プログラム
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP2018033013A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2012124767A (ja) 撮像機器
JP2015191074A (ja) 撮像装置
JP2015037219A (ja) 撮像装置、撮像方法およびプログラム
JP2010213221A (ja) 撮像装置
JP6354377B2 (ja) 撮像装置およびその制御方法とプログラム
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
JP2013162453A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180302

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Osaka Japan

Applicant before: Hitachi Maxell, Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220606

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right