JP2020030325A

JP2020030325A - Control device

Info

Publication number: JP2020030325A
Application number: JP2018155910A
Authority: JP
Inventors: 明邵; Ming Shao; 塚本　千尋; Chihiro Tsukamoto; 千尋塚本
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2018-08-23
Filing date: 2018-08-23
Publication date: 2020-02-27
Anticipated expiration: 2038-08-23
Also published as: JP6627116B1

Abstract

To improve the convenience of a control device for controlling an imaging apparatus.SOLUTION: The control device may be a control device for controlling the imaging apparatus. The control device may include a first reception part for receiving an operation for adjusting a position of a focus lens of the imaging apparatus. The control device may include a control part for controlling the focus lens of the imaging apparatus on the basis of the operation received by the first reception part. The control device may include a display part for displaying a first object indicating the reliability of the focusing state of an image formed through the focus lens in association with a subject distance indicating a distance from the imaging apparatus to a subject.SELECTED DRAWING: Figure 5

Description

本発明は、制御装置に関する。 The present invention relates to a control device.

特許文献１には、操作ホイールを回転させることでフォーカスレンズを調整し、その調整を表示する表示部を備え、カメラを操作する操作ユニットが開示されている。
特許文献１米国特許出願公開第２０１２／００１９７０２号公報 Patent Document 1 discloses an operation unit that adjusts a focus lens by rotating an operation wheel, includes a display unit that displays the adjustment, and operates a camera.
Patent Document 1 US Patent Application Publication No. 2012/0019702

操作ユニットのように撮像装置を制御する制御装置の利便性の向上が望まれている。 There is a demand for improved convenience of a control device that controls an imaging device, such as an operation unit.

本発明の一態様に係る制御装置は、撮像装置を制御する制御装置でよい。制御装置は、撮像装置のフォーカスレンズの位置を調整するための操作を受け付ける第１受付部を備えてよい。制御装置は、第１受付部が受け付けた操作に基づいて、撮像装置のフォーカスレンズを制御する制御部を備えてよい。制御装置は、撮像装置から被写体までの距離を示す被写体距離に対応づけて、フォーカスレンズを介して結像される像の合焦状態の信頼度を示す第１オブジェクトを表示する表示部を備えてよい。 The control device according to one embodiment of the present invention may be a control device that controls the imaging device. The control device may include a first receiving unit that receives an operation for adjusting the position of the focus lens of the imaging device. The control device may include a control unit that controls the focus lens of the imaging device based on the operation received by the first reception unit. The control device includes a display unit that displays a first object indicating the reliability of the in-focus state of an image formed via the focus lens in association with a subject distance indicating a distance from the imaging device to the subject. Good.

表示部は、第１表示領域と第２表示領域とを有し、第１表示領域に第１オブジェクトを表示し、第２表示領域に撮像装置により撮像された画像を表示してよい。 The display unit may include a first display area and a second display area, display the first object in the first display area, and display an image captured by the imaging device in the second display area.

第１表示領域は、第２表示領域に隣接していてよい。 The first display area may be adjacent to the second display area.

制御装置は、撮像装置の絞り値を調整するための操作を受け付ける第２受付部を備えてよい。表示部は、絞り値に基づく信頼度を示す第１オブジェクトを表示してよい。 The control device may include a second receiving unit that receives an operation for adjusting the aperture value of the imaging device. The display unit may display a first object indicating reliability based on the aperture value.

制御装置は、第１受付部、第２受付部、及び第１受付部と第２受付部との間に表示部が設けられた本体を備えてよい。 The control device may include a first receiving unit, a second receiving unit, and a main body provided with a display unit between the first receiving unit and the second receiving unit.

第１受付部は、本体に対して回転可能に設けられた操作ダイヤルでよい。 The first receiving unit may be an operation dial provided rotatably with respect to the main body.

第２受付部は、本体に対してスライド可能に設けられた操作レバーでよい。 The second receiving unit may be an operation lever provided slidably with respect to the main body.

表示部は、撮像装置の撮像領域において被写体が占める割合に基づく信頼度を示す第１オブジェクトを表示してよい。 The display unit may display a first object indicating a degree of reliability based on a ratio occupied by a subject in an imaging region of the imaging device.

表示部は、撮像装置の撮像面とフォーカスレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像のぼけ量と、撮像面とフォーカスレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像のぼけ量に基づく信頼度を示す第１オブジェクトを表示してよい。 The display unit includes: a blur amount of the first image included in the first captured image captured in a state where the imaging surface of the imaging device and the focus lens are in the first positional relationship; The first object indicating the reliability based on the blur amount of the second image included in the second captured image captured in the relational state may be displayed.

表示部は、撮像装置から複数の被写体までのそれぞれの距離を示すそれぞれの被写体距離に対応付けて、それぞれの第１オブジェクトを表示してよい。 The display unit may display each first object in association with each subject distance indicating each distance from the imaging device to the plurality of subjects.

表示部は、被写体距離に対応付けて、フォーカスレンズの位置を示す第２オブジェクトを表示してよい。 The display unit may display a second object indicating the position of the focus lens in association with the subject distance.

表示部は、第２オブジェクトに対応付けて、撮像装置の絞り値に応じた被写界深度を示す第３オブジェクトを表示してよい。 The display unit may display a third object indicating a depth of field corresponding to an aperture value of the imaging device in association with the second object.

本発明の一態様によれば、撮像装置を制御する制御装置の利便性を向上させることができる。 According to one embodiment of the present invention, the convenience of a control device that controls an imaging device can be improved.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the present invention does not list all of the necessary features of the present invention. Further, a sub-combination of these feature groups can also be an invention.

撮像システムの全体構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of an overall configuration of an imaging system. ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。FIG. 4 is a diagram illustrating an example of a curve indicating a relationship between a blur amount and a lens position. ぼけ量に基づいてオブジェクトまでの距離を算出する手順の一例を示す図である。FIG. 9 is a diagram illustrating an example of a procedure for calculating a distance to an object based on a blur amount. オブジェクトの位置、レンズの位置、及び焦点距離との関係について説明するための図である。FIG. 3 is a diagram for describing a relationship among an object position, a lens position, and a focal length. 制御装置の表示部側から見た外観図の一例を示す図である。FIG. 4 is a diagram illustrating an example of an external view as viewed from a display unit side of the control device. 表示部に表示される第１オブジェクトの他の例を示す図である。FIG. 10 is a diagram illustrating another example of the first object displayed on the display unit. 表示部に表示される第１オブジェクトの他の例を示す図である。FIG. 10 is a diagram illustrating another example of the first object displayed on the display unit.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all combinations of the features described in the embodiments are necessarily essential to the solution of the invention.

図１は、本実施形態に係る撮像システムの全体構成の一例を示す図である。撮像システムは、撮像装置１０、及び制御装置１００を備える。制御装置１００は、撮像装置１０を制御する。制御装置１００は、撮像装置１０とは別体である。制御装置１００は、無線を介して撮像装置１０と通信する。制御装置１００は、有線を介して撮像装置１０と通信してよい。制御装置１００は、撮像装置１０を遠隔制御してよい。 FIG. 1 is a diagram illustrating an example of an overall configuration of an imaging system according to the present embodiment. The imaging system includes an imaging device 10 and a control device 100. The control device 100 controls the imaging device 10. The control device 100 is separate from the imaging device 10. The control device 100 communicates with the imaging device 10 via wireless. The control device 100 may communicate with the imaging device 10 via a wire. The control device 100 may remotely control the imaging device 10.

撮像装置１０は、撮像部１２と、レンズ部１４とを備える。撮像部１２は、ＣＣＤまたはＣＭＯＳにより構成されるイメージセンサを有する。レンズ部１４は、イメージセンサに被写体の光学像を結像されるレンズ系を有する。レンズ系は、フォーカスレンズを含む。レンズ系は、ズームレンズを含んでよい。レンズ部１４は、撮像部１２に対して着脱可能に設けられる交換レンズでよい。 The imaging device 10 includes an imaging unit 12 and a lens unit 14. The imaging unit 12 has an image sensor configured by a CCD or a CMOS. The lens unit 14 has a lens system that forms an optical image of a subject on an image sensor. The lens system includes a focus lens. The lens system may include a zoom lens. The lens unit 14 may be an interchangeable lens that is provided detachably with respect to the imaging unit 12.

制御装置１００は、本体１０２、操作ダイヤル１１０、表示部１２０、操作レバー１３０、及び操作ボタン１４０を備える。操作ダイヤル１１０は、撮像装置１０のフォーカスレンズの位置を調整するための操作を受け付ける。操作ダイヤル１１０は、本体１０２に対して回転可能に設けられる。操作ダイヤル１１０が本体１０２に対して回転することで、その回転方向、及び回転量に応じて撮像装置１０がフォーカスレンズを移動させる。これにより、撮像装置１０から合焦する被写体までの距離を示す合焦距離が調整される。操作ダイヤル１１０は、第１受付部の一例である。制御装置１００は、操作ダイヤル１１０の代わりに、撮像装置１０のフォーカスレンズの位置を調整するための操作を受け付ける操作レバーなどの他のユーザユーザインタフェースを備えてもよい。 The control device 100 includes a main body 102, an operation dial 110, a display unit 120, an operation lever 130, and operation buttons 140. The operation dial 110 receives an operation for adjusting the position of the focus lens of the imaging device 10. The operation dial 110 is provided rotatably with respect to the main body 102. When the operation dial 110 rotates with respect to the main body 102, the imaging device 10 moves the focus lens according to the rotation direction and the amount of rotation. Thereby, the focusing distance indicating the distance from the imaging device 10 to the subject to be focused is adjusted. The operation dial 110 is an example of a first reception unit. The control device 100 may include, instead of the operation dial 110, another user user interface such as an operation lever that receives an operation for adjusting the position of the focus lens of the imaging device 10.

制御装置１００は、操作ダイヤル１１０が受け付けた操作に基づいて、撮像装置１０のフォーカスレンズを制御する制御部を備える。制御部は、本体１０２に内蔵されてよい。制御部は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。制御部は、操作ダイヤル１１０の回転方向及び回転量に応じてフォーカスレンズを移動させるためのフォーカス制御命令を撮像装置１０に送信してよい。 The control device 100 includes a control unit that controls the focus lens of the imaging device 10 based on the operation received by the operation dial 110. The control unit may be built in the main body 102. The control unit may be configured by a microprocessor such as a CPU or an MPU, a microcontroller such as an MCU, or the like. The control unit may transmit a focus control command for moving the focus lens according to the rotation direction and the rotation amount of the operation dial 110 to the imaging device 10.

操作レバー１３０は、撮像装置１０の絞り値を調整するための操作を受け付ける。操作レバー１３０は、本体１０２に対してスライド可能に設けられる。操作レバー１３０が本体１０２に対してスライドすることで、その移動方向、及び移動量に応じて撮像装置１０の絞り値、すなわちＦ値が調整される。操作レバー１３０は、第２受付部の一例である。制御装置１００は、操作レバー１３０の代わりに、撮像装置１０の絞り値を調整するための操作を受け付ける操作ダイヤルなど他のユーザインタフェースを備えてもよい。 The operation lever 130 receives an operation for adjusting the aperture value of the imaging device 10. The operation lever 130 is provided slidably with respect to the main body 102. When the operation lever 130 slides with respect to the main body 102, the aperture value of the imaging device 10, that is, the F-number, is adjusted according to the moving direction and the moving amount. The operation lever 130 is an example of a second reception unit. The control device 100 may include, instead of the operation lever 130, another user interface such as an operation dial that receives an operation for adjusting the aperture value of the imaging device 10.

表示部１２０は、撮像装置１０に関する各種の情報を表示する。表示部１２０は、液晶ディスプレイでよい。表示部１２０は、タッチパネルディスプレイでよい。表示部１２０は、操作ダイヤル１１０と操作レバー１３０との間に設けられてよい。表示部１２０は、第１表示領域１２１、第２表示領域１２２、及び第３表示領域１２３を有する。第１表示領域１２１は、第２表示領域１２２に隣接してよい。第３表示領域１２３は、第２表示領域１２２に隣接してよい。第２表示領域１２２は、第１表示領域１２１と第３表示領域１２３との間に配置されてよい。 The display unit 120 displays various information related to the imaging device 10. The display unit 120 may be a liquid crystal display. The display unit 120 may be a touch panel display. The display unit 120 may be provided between the operation dial 110 and the operation lever 130. The display unit 120 has a first display area 121, a second display area 122, and a third display area 123. The first display area 121 may be adjacent to the second display area 122. The third display area 123 may be adjacent to the second display area 122. The second display area 122 may be arranged between the first display area 121 and the third display area 123.

表示部１２０は、撮像装置１０から被写体までの距離を示す被写体距離に対応づけて、フォーカスレンズを介して結像される像の合焦状態の信頼度を示す第１オブジェクトを第１表示領域１２１に表示してよい。表示部１２０は、第２表示領域１２２に撮像装置１０に撮像された画像を表示してよい。表示部１２０は、第２表示領域１２２に撮像装置１０に撮像された画像をプレビュー画像として表示してよい。表示部１２０は、第３表示領域１２３に絞り値の目盛を表示してよい。 The display unit 120 displays a first object indicating the reliability of the in-focus state of the image formed via the focus lens in the first display area 121 in association with the subject distance indicating the distance from the imaging device 10 to the subject. May be displayed. The display unit 120 may display an image captured by the imaging device 10 in the second display area 122. The display unit 120 may display an image captured by the imaging device 10 in the second display area 122 as a preview image. The display unit 120 may display the scale of the aperture value in the third display area 123.

表示部１２０は、絞り値に基づく信頼度を示す第１オブジェクトを第１表示領域１２１に表示してよい。表示部１２０は、撮像装置１０の撮像領域において被写体が占める割合に基づく信頼度を示す第１オブジェクトを表示してよい。 The display unit 120 may display a first object indicating the degree of reliability based on the aperture value in the first display area 121. The display unit 120 may display a first object indicating a degree of reliability based on a ratio of a subject in an imaging region of the imaging device 10.

表示部１２０は、撮像装置１０から複数の被写体までのそれぞれの距離を示すそれぞれの被写体距離に対応付けて、それぞれの第１オブジェクトを表示してよい。表示部１２０は、被写体距離に対応付けて、現在のフォーカスレンズの位置を示す第２オブジェクトを表示してよい。表示部１２０は、第２オブジェクトに対応付けて、撮像装置１０の絞り値に応じた被写界深度を示す第３オブジェクトを表示してよい。 The display unit 120 may display each first object in association with each subject distance indicating each distance from the imaging device 10 to the plurality of subjects. The display unit 120 may display a second object indicating the current position of the focus lens in association with the subject distance. The display unit 120 may display a third object indicating the depth of field according to the aperture value of the imaging device 10 in association with the second object.

ここで、撮像装置１０は、オートフォーカス処理（ＡＦ処理）を実行して、所望の被写体を撮像してもよい。撮像装置１０は、ＡＦ処理を実行するために、レンズから被写体までの距離（被写体距離）を決定する。被写体距離を決定するための方式として、レンズと撮像面との位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて決定する方式がある。ここで、この方式を、ぼけ検出オートフォーカス（ＢｏｋｅｈＤｅｔｅｃｔｉｏｎＡｕｔｏＦｏｕｃｕｓ：ＢＤＡＦ）方式と称する。 Here, the imaging device 10 may execute an autofocus process (AF process) to capture an image of a desired subject. The imaging device 10 determines the distance from the lens to the subject (subject distance) in order to execute the AF processing. As a method for determining the subject distance, there is a method for determining the subject distance based on the blur amounts of a plurality of images captured in a state where the positional relationship between the lens and the imaging surface is different. Here, this method is referred to as a “bokeh detection auto focus (BDAF) method”.

例えば、画像のぼけ量（Ｃｏｓｔ）は、ガウシアン関数を用いて次式（１）で表すことができる。式（１）において、ｘは、水平方向における画素位置を示す。σは、標準偏差値を示す。

For example, the blur amount (Cost) of an image can be expressed by the following equation (1) using a Gaussian function. In Expression (1), x indicates a pixel position in the horizontal direction. σ indicates a standard deviation value.

図２は、式（１）に表される曲線の一例を示す。曲線５００の極小点５０２に対応するレンズ位置にフォーカスレンズを合わせることで、画像Ｉに含まれるオブジェクトに焦点を合わせることができる。 FIG. 2 shows an example of the curve represented by the equation (1). The object included in the image I can be focused by adjusting the focus lens to the lens position corresponding to the minimum point 502 of the curve 500.

図３は、ＢＤＡＦ方式の距離算出手順の一例を示すフローチャートである。まず、撮像装置１０で、レンズと撮像面とが第１位置関係にある状態で、１枚目の画像Ｉ_１を撮像してメモリに格納する。次いで、フォーカスレンズまたはイメージセンサの撮像面を光軸方向に移動させることで、レンズと撮像面とが第２位置関係にある状態にして、撮像装置１０で２枚目の画像Ｉ_２を撮像してメモリに格納する（Ｓ１０１）。例えば、いわゆる山登りＡＦのように、合焦点を超えないようにフォーカスレンズまたはイメージセンサの撮像面を光軸方向に移動させる。フォーカスレンズまたはイメージセンサの撮像面の移動量は、例えば、１０μｍでよい。 FIG. 3 is a flowchart illustrating an example of a BDAF-based distance calculation procedure. First, in the image pickup apparatus 10, in a state where the lens and the image plane is in the first positional relationship, for storing the image I ₁ of the first sheet by imaging in the memory. Then, by moving the imaging surface of the focusing lens or the image sensor in the optical axis direction, the lens and the imaging surface in the state in the second positional relationship, captures an image I ₂ of the second sheet by the imaging device 10 Stored in the memory (S101). For example, like a so-called hill-climbing AF, the focus lens or the imaging surface of the image sensor is moved in the optical axis direction so as not to exceed the focal point. The movement amount of the imaging surface of the focus lens or the image sensor may be, for example, 10 μm.

次いで、撮像装置１０は、画像Ｉ_１を複数の領域に分割する（Ｓ１０２）。画像Ｉ２内の画素ごとに特徴量を算出して、類似する特徴量を有する画素群を一つの領域として画像Ｉ_１を複数の領域に分割してよい。画像Ｉ_１のうちＡＦ処理枠に設定されている範囲の画素群を複数の領域に分割してもよい。撮像装置１０は、画像Ｉ_１の複数の領域に対応する複数の領域に画像Ｉ_２を分割する。撮像装置１０は、画像Ｉ_１の複数の領域のそれぞれのぼけ量と、画像Ｉ_２の複数の領域のそれぞれのぼけ量とに基づいて、複数の領域ごとに複数の領域のそれぞれに含まれるオブジェクトまでの距離を算出する（Ｓ１０３）。 Then, the imaging device 10 divides the image _{I 1} into a plurality of regions (S102). Calculates a feature amount for each pixel in the image I2, it may divide the image I ₁ into a plurality of regions of pixel groups having a feature amount that is similar as a single region. The pixel groups in the range that is set in the AF processing frame of the image I ₁ may be divided into a plurality of regions. The imaging device 10 divides the image I ₂ into a plurality of regions corresponding to a plurality of areas of the image I _1. Object image pickup device 10, and the respective amount of blur plurality of regions of the image I _1, based on the respective blur amount of the plurality of regions of the image I _2, respectively included in the plurality of regions for each of a plurality of regions Is calculated (S103).

図４を参照して距離の算出手順についてさらに説明する。レンズＬ（主点）から被写体５１０（物面）までの距離をＡ、レンズＬ（主点）から被写体５１０が撮像面で結像する位置（像面）までの距離をＢ、焦点距離をＦとする。この場合、距離Ａ、距離Ｂ、及び焦点距離Ｆの関係は、レンズの公式から次式（２）で表すことができる。

The procedure for calculating the distance will be further described with reference to FIG. A is the distance from the lens L (principal point) to the subject 510 (object surface), B is the distance from the lens L (principal point) to the position (image plane) where the subject 510 forms an image on the imaging surface, and F is the focal length. And In this case, the relationship between the distance A, the distance B, and the focal length F can be expressed by the following equation (2) from the lens formula.

焦点距離Ｆはレンズ位置で特定される。したがって、被写体５１０が撮像面で結像する距離Ｂが特定できれば、式（２）を用いて、レンズＬから被写体５１０までの距離Ａを特定することができる。 The focal length F is specified by the lens position. Therefore, if the distance B at which the subject 510 forms an image on the imaging surface can be specified, the distance A from the lens L to the subject 510 can be specified using Expression (2).

図４に示すように、撮像面上に投影された被写体５１０のぼけの大きさ（錯乱円５１２及び５１４）から被写体５１０が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することができる。つまり、ぼけの大きさ（ぼけ量）が撮像面と結像位置とに比例することを考慮して、結像位置を特定できる。 As shown in FIG. 4, the distance B is specified by calculating the position where the subject 510 forms an image from the magnitude of blur (confusion circles 512 and 514) of the subject 510 projected on the imaging surface, and furthermore, the distance B is specified. A can be specified. That is, the image formation position can be specified in consideration of the fact that the size of the blur (blur amount) is proportional to the imaging surface and the image formation position.

ここで、撮像面から近い像Ｉ_１からレンズＬまでの距離をＤ_１とする。像面から遠い像Ｉ_２からレンズＬまでの距離をＤ_２とする。それぞれの画像はぼけている。このときの点像分布関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）をＰＳＦ、Ｄ_１及びＤ_２における画像をそれぞれ、Ｉ_ｄ１及びＩ_ｄ２とする。この場合、例えば、像Ｉ_１は、畳み込み演算により次式（３）で表すことができる。

Here, the distance from the image I ₁ close to the imaging surface to the lens L is D ₁ . The distance from the far image I ₂ from the image plane to the lens L and D _2. Each image is blurred. The point spread function of the time (Point Spread Function) PSF, the image in the _{D 1} and _{D 2,} _{respectively,} and _{I d1} and _{I d2.} In this case, for example, the image I ₁ can be the convolution operation represented by the following formula (3).

さらに、画像データＩ_ｄ１及びＩ_ｄ２のフーリエ変換関数をｆとして、画像Ｉ_ｄ１及びＩ_ｄ２の点像分布関数ＰＳＦ_１及びＰＳＦ_２をフーリエ変換した光学伝達関数（ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）をＯＴＦ_１及びＯＴＦ_２として、次式（４）のように比をとる。

Further, assuming that a Fourier transform function of the image data I _d1 and I _d2 is f, an optical transfer function (Optical Transfer Function) obtained by Fourier-transforming the point spread functions PSF ₁ and PSF ₂ of the images I _d1 and I _d2 is OTF ₁ and OTF. _{As 2} , the ratio is calculated as in the following equation (4).

式（４）に示す値Ｃは、画像Ｉ_ｄ１及びＩ_ｄ２のそれぞれのぼけ量の変化量、つまり、値Ｃは、画像Ｉ_ｄ１のぼけ量と画像Ｉ_ｄ２ｎのぼけ量との差に相当する。 The value C shown in Expression (4) is a change amount of each of the blur amounts of the images I _d1 and I _d2 , that is, the value C corresponds to a difference between the blur amount of the image I _{d1 and} the blur amount of the image I _d2n. .

撮像装置１０は、撮像装置１０により撮像される被写体の被写体距離を特定してよい。撮像装置１０は、図４に示すレンズＬ（主点）から被写体５１０（物面）までの距離Ａを被写体の被写体距離として特定してよい。撮像装置１０は、撮像面とフォーカスレンズとの位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて被写体が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することで、被写体距離を特定してよい。 The imaging device 10 may specify a subject distance of a subject imaged by the imaging device 10. The imaging device 10 may specify the distance A from the lens L (principal point) shown in FIG. 4 to the subject 510 (object surface) as the subject distance of the subject. The imaging apparatus 10 specifies the distance B by calculating the position at which the subject forms an image based on the blur amounts of a plurality of images captured in a state where the positional relationship between the imaging surface and the focus lens is different, and further specifies the distance B. By specifying A, the subject distance may be specified.

撮像装置１０は、被写体の被写体距離の信頼度を特定してよい。撮像装置１０は、被写体距離の予測確度が高いほど信頼度が大きくなるように、被写体距離の信頼度を特定してよい。撮像装置１０は、撮像装置１０により撮像された画像内の被写体のぼけ量に基づいて、被写体距離の信頼度を特定してよい。撮像装置１０は、例えば、ガウシアン関数を用いた式（１）で算出される画像のぼけ量（Ｃｏｓｔ）に基づいて被写体距離の信頼度を特定してよい。撮像装置１０が、被写体までの距離を測定する測距センサなど比較的確度の高い測距機能を有する場合に、撮像装置１０は、予め定められた最大値を示す信頼度を、被写体の被写体距離の信頼度として特定してもよい。この場合、被写体の被写体距離の信頼度は常に一定でよい。 The imaging device 10 may specify the reliability of the subject distance of the subject. The imaging device 10 may specify the reliability of the subject distance so that the reliability increases as the prediction accuracy of the subject distance increases. The imaging device 10 may specify the reliability of the subject distance based on the blur amount of the subject in the image captured by the imaging device 10. For example, the imaging device 10 may specify the reliability of the subject distance based on the blur amount (Cost) of the image calculated by Expression (1) using the Gaussian function. When the imaging device 10 has a relatively accurate ranging function such as a ranging sensor that measures the distance to the subject, the imaging device 10 determines the reliability indicating a predetermined maximum value as the subject distance of the subject. May be specified. In this case, the reliability of the subject distance of the subject may always be constant.

表示部１２０は、撮像装置１０の撮像面とフォーカスレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像のぼけ量と、撮像面とフォーカスレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像のぼけ量に基づく信頼度を示す第１オブジェクトを第１表示領域１２１に表示してよい。表示部１２０は、上記のように、ガウシアン関数を用いた式（１）で算出される画像のぼけ量（Ｃｏｓｔ）に基づいて特定された被写体距離の信頼度を示す第１オブジェクトを第１表示領域１２１に表示してよい。なお、制御装置１００が、撮像装置１０の代わりに、撮像装置１０により撮像された画像内の被写体のぼけ量に基づいて、被写体距離の信頼度を特定してもよい。 The display unit 120 displays the blur amount of the first image included in the first captured image captured in a state where the imaging surface of the imaging device 10 and the focus lens are in the first positional relationship, and the imaging surface and the focus lens. A first object indicating the reliability based on the blur amount of the second image included in the second captured image captured in the two positional relationship may be displayed in the first display area 121. The display unit 120 displays the first object indicating the reliability of the subject distance specified based on the blur amount (Cost) of the image calculated by Expression (1) using the Gaussian function, as described above. It may be displayed in the area 121. Note that the control device 100 may specify the reliability of the subject distance based on the blur amount of the subject in the image captured by the imaging device 10 instead of the imaging device 10.

図５は、制御装置１００の表示部１２０側から見た外観図の一例を示す。撮像装置１０は、被写体距離の異なるそれぞれの被写体２０１、被写体２０２、及び被写体２０３を撮像している。撮像装置１０は、被写体２０１、被写体２０２、及び被写体２０３を主要被写体として撮像してよい。表示部１２０は、被写体距離の目盛３０４を第１表示領域１２１に表示する。表示部１２０は、被写体距離の目盛３０４に対応付けて、現在のフォーカスレンズの位置を示す第２オブジェクト３０５を表示してよい。表示部１２０は、被写体距離の目盛３０４として、至近から無限まで全体の被写体距離のうち、現在のフォーカスレンズの位置に対応する被写体距離を基準とした一部の被写体距離の目盛を表示してよい。表示部１２０は、被写体距離の目盛３０４として、至近から無限まで全体の被写体距離の目盛を表示してもよい。 FIG. 5 shows an example of an external view of the control device 100 as viewed from the display unit 120 side. The imaging device 10 images the respective subjects 201, 202, and 203 having different subject distances. The imaging device 10 may image the subject 201, the subject 202, and the subject 203 as main subjects. The display unit 120 displays the scale 304 of the subject distance in the first display area 121. The display unit 120 may display a second object 305 indicating the current position of the focus lens in association with the scale 304 of the subject distance. The display unit 120 may display, as the subject distance scale 304, a scale of a part of the subject distance based on the subject distance corresponding to the current position of the focus lens among the entire subject distance from the closest to infinity. . The display unit 120 may display the scale of the entire subject distance from the closest to infinity as the scale 304 of the subject distance.

表示部１２０は、撮像装置１０から被写体２０１、被写体２０２、及び被写体２０３までのそれぞれの距離を示すそれぞれの被写体距離に対応付けて、それぞれの第１オブジェクトを表示してよい。表示部１２０は、被写体２０１、被写体２０２、及び被写体２０３のそれぞれの被写体距離に対応付けて、第１オブジェクト３０１、第１オブジェクト３０２、及び第１オブジェクト３０３を表示してよい。表示部１２０は、被写体２０１、被写体２０２、及び被写体２０３のそれぞれの被写体距離の信頼度を示す第１オブジェクト３０１、第１オブジェクト３０２、及び第１オブジェクト３０３を表示してよい。第１オブジェクト３０１、第１オブジェクト３０２、及び第１オブジェクト３０３の幅３０６が、それぞれの被写体距離での信頼度を示す。すなわち、第１オブジェクトの幅３０６が広いほど、その被写体距離の信頼度が高い。操作ダイヤル１１０を調整して、第１オブジェクトの幅３０６の広い部分に、フォーカスレンズの位置を示す第２オブジェクト３０５を合わせることで、その第１オブジェクトに対応する被写体に合焦する確率が高くなる。第１オブジェクトの幅３０６が広いほど、その幅３０６に対応する被写体距離に被写体が存在する確率が高いことを意味する。 The display unit 120 may display each first object in association with each of the subject distances indicating the respective distances from the imaging device 10 to the subject 201, the subject 202, and the subject 203. The display unit 120 may display the first object 301, the first object 302, and the first object 303 in association with the respective subject distances of the subject 201, the subject 202, and the subject 203. The display unit 120 may display a first object 301, a first object 302, and a first object 303 indicating the reliability of the subject distance of each of the subject 201, the subject 202, and the subject 203. The width 306 of the first object 301, the first object 302, and the first object 303 indicates the reliability at each subject distance. That is, the greater the width 306 of the first object, the higher the reliability of the subject distance. By adjusting the operation dial 110 and adjusting the second object 305 indicating the position of the focus lens to the wide portion of the width 306 of the first object, the probability of focusing on the subject corresponding to the first object increases. . The wider the width 306 of the first object, the higher the probability that the subject exists at the subject distance corresponding to the width 306.

表示部１２０は、現在のフォーカスレンズの位置を示す第２オブジェクト３０５に対応付けて、撮像装置１０の絞り値に応じた被写界深度を示す第３オブジェクト３１０を表示してよい。表示部１２０は、被写界深度が深さに応じた幅を有する第３オブジェクト３１０を表示してよい。表示部１２０は、被写界深度が深いほど幅の広い第３オブジェクト３１０を表示してよい。 The display unit 120 may display a third object 310 indicating the depth of field according to the aperture value of the imaging device 10 in association with the second object 305 indicating the current position of the focus lens. The display unit 120 may display the third object 310 whose depth of field has a width corresponding to the depth. The display unit 120 may display the third object 310 that is wider as the depth of field is deeper.

以上のように、撮像装置１０を制御する制御装置１００の表示部１２０に、撮像装置１０により撮像された画像とともに、被写体距離に対応づけて被写体の合焦状態の信頼度を示すオブジェクトが表示される。これにより、制御装置１００を使用してフォーカスレンズの位置を調整する場合に、撮像装置１０により撮像される被写体に合焦させるフォーカスレンズの位置の目安をユーザに提供できる。ユーザは、撮像装置１０により撮像された画像を参照しながら、制御装置１００を用いて遠隔で撮像装置１０のフォーカスレンズの位置、または絞り値を調整できる。 As described above, the display unit 120 of the control device 100 that controls the imaging device 10 displays the image captured by the imaging device 10 and the object indicating the reliability of the in-focus state of the subject in association with the subject distance. You. Thus, when adjusting the position of the focus lens using the control device 100, it is possible to provide the user with an indication of the position of the focus lens to be focused on the subject imaged by the imaging device 10. The user can remotely adjust the position of the focus lens or the aperture value of the imaging device 10 using the control device 100 while referring to the image captured by the imaging device 10.

図６は、表示部１２０に表示される第１オブジェクトの他の例を示す。表示部１２０は、撮像装置１０の撮像領域においてそれぞれの被写体４０１、被写体４０２、及び被写体４０３が占める割合に基づく信頼度を示す第１オブジェクト４１１、第１オブジェクト４１２、及び第１オブジェクト４１３をそれぞれの被写体距離に対応付けて表示してよい。第１オブジェクトの長さ４０６が長いほど、撮像装置１０の撮像領域において対応する被写体の占める割合が高いことを意味する。撮像装置１０の撮像領域において占める割合が高い被写体に対応する被写体距離にフォーカスレンズの位置を調整することで、撮像装置１０の撮像領域内で合焦状態となる領域の割合が高くなる。これにより、ユーザは、どの被写体距離にフォーカスレンズの位置を合わせれば、被写体に合焦させることができるかを容易に把握することができる。しかも、第１オブジェクトの長さ４０６を目安にして、第１オブジェクトに対応する被写体距離の被写体が撮像領域において占める割合を容易に把握することができる。 FIG. 6 shows another example of the first object displayed on the display unit 120. The display unit 120 displays a first object 411, a first object 412, and a first object 413 each indicating a reliability based on a ratio occupied by the subject 401, the subject 402, and the subject 403 in the imaging region of the imaging device 10. The information may be displayed in association with the subject distance. The longer the length 406 of the first object, the higher the proportion of the corresponding subject in the imaging region of the imaging device 10. By adjusting the position of the focus lens to a subject distance corresponding to a subject that occupies a high proportion in the imaging region of the imaging device 10, the ratio of the region in the imaging region of the imaging device 10 that is in focus increases. Thereby, the user can easily grasp at which subject distance the focus lens can be focused to focus on the subject. In addition, using the length 406 of the first object as a guide, it is possible to easily grasp the ratio of the subject at the subject distance corresponding to the first object in the imaging area.

図７は、表示部１２０に表示される第１オブジェクトの他の例を示す。図７は、表示部１２０が、絞り値に基づく信頼度を示す第１オブジェクト４２１、第１オブジェクト４２２、及び第１オブジェクト４２３を表示する例を示す。図７において、第１オブジェクトの高さ４２６は、撮像装置１０の撮像領域において対応する被写体が占める割合を示す。すなわち、第１オブジェクトの高さ４２６が高いほど、撮像装置１０の撮像領域において対応する被写体が占める割合が高いことを意味する。 FIG. 7 shows another example of the first object displayed on the display unit 120. FIG. 7 illustrates an example in which the display unit 120 displays a first object 421, a first object 422, and a first object 423 indicating reliability based on an aperture value. In FIG. 7, the height 426 of the first object indicates a ratio occupied by the corresponding subject in the imaging region of the imaging device 10. That is, the higher the height 426 of the first object, the higher the ratio of the corresponding subject in the imaging region of the imaging device 10.

第１オブジェクトの幅４２７は、絞り値に基づく被写界深度を示す。表示部１２０は、被写界深度が深さに応じた幅（半値幅）４２７を有する第１オブジェクトを表示してよい。表示部１２０は、被写界深度が深いほど幅４２７が広い第１オブジェクトを表示してよい。 The width 427 of the first object indicates the depth of field based on the aperture value. The display unit 120 may display the first object having a width (half width) 427 corresponding to the depth of field according to the depth. The display unit 120 may display the first object having a wider width 427 as the depth of field increases.

被写界深度は、被写体距離ｓ、絞り値Ｆ、焦点距離ｆ、及び許容錯乱円径δに基づいて定められてよい。より具体的には、前方被写界深度Ｄｎは、以下の式から定められてよい。
Ｄｎ＝δＦ（ｓ−ｆ）^２／（ｆ^２＋δＦ（ｓ−ｆ）） The depth of field may be determined based on the subject distance s, the aperture value F, the focal length f, and the permissible circle of confusion δ. More specifically, the front depth of field Dn may be determined from the following equation.
Dn = δF (s-f) ² / (f ² + δF (s-f))

後方被写界深度Ｄｆは、以下の式から定められてよい。
Ｄｆ＝δＦ（ｓ−ｆ）^２／（ｆ^２−δＦ（ｓ−ｆ））
そして、被写界深度Ｄは、以下の式から定められてよい。
Ｄ＝Ｄｄ＋Ｄｆ The rear depth of field Df may be determined from the following equation.
Df = δF (s−f) ² / (f ² −δF (s−f))
Then, the depth of field D may be determined from the following equation.
D = Dd + Df

図７に示すように、被写体距離に対応付けた第１オブジェクトの幅（半値幅）が、絞り値の大きさによって変化する。ユーザは、表示部１２０に表示された第１オブジェクトの位置を目安に被写体距離を把握することができ、かつ第１オブジェクトの幅を目安に、被写界深度を把握することができる。 As shown in FIG. 7, the width (half width) of the first object associated with the subject distance changes depending on the magnitude of the aperture value. The user can grasp the subject distance using the position of the first object displayed on the display unit 120 as a guide, and can grasp the depth of field using the width of the first object as a guide.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As described above, the present invention has been described using the embodiments, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each processing such as operation, procedure, step, and step in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before”, “before”. It should be noted that they can be realized in any order as long as the output of the previous process is not used in the subsequent process. Even if the operation flow in the claims, the specification, and the drawings is described using "first," "second," or the like for convenience, it means that it is essential to perform the operation in this order. Not something.

１０撮像装置
１２撮像部
１４レンズ部
１００制御装置
１０２本体
１１０操作ダイヤル
１２０表示部
１２１第１表示領域
１２２第２表示領域
１２３第３表示領域
１３０操作レバー
１４０操作ボタン
３０１，３０２，３０３第１オブジェクト
３０５第２オブジェクト
３１０第３オブジェクト Reference Signs List 10 imaging device 12 imaging unit 14 lens unit 100 control device 102 main body 110 operation dial 120 display unit 121 first display area 122 second display area 123 third display area 130 operation lever 140 operation buttons 301, 302, 303 first object 305 Second object 310 Third object

Claims

A control device for controlling the imaging device,
A first receiving unit that receives an operation for adjusting a position of a focus lens of the imaging device;
A control unit that controls the focus lens of the imaging device based on the operation received by the first reception unit;
A display unit for displaying a first object indicating the reliability of a focused state of an image formed via the focus lens in association with a subject distance indicating a distance from the imaging device to the subject .

The display unit has a first display area and a second display area, displays the first object in the first display area, and displays an image captured by the imaging device in the second display area. The control device according to claim 1.

The control device according to claim 2, wherein the first display area is adjacent to the second display area.

A second reception unit that receives an operation for adjusting an aperture value of the imaging device,
The control device according to claim 1, wherein the display unit displays the first object indicating the reliability based on the aperture value.

The control device according to claim 4, further comprising: the first receiving unit, the second receiving unit, and a main body in which the display unit is provided between the first receiving unit and the second receiving unit.

The control device according to claim 5, wherein the first receiving unit is an operation dial rotatably provided with respect to the main body.

The control device according to claim 5, wherein the second receiving unit is an operation lever provided slidably with respect to the main body.

The control device according to claim 1, wherein the display unit displays the first object indicating the reliability based on a ratio of the subject in an imaging region of the imaging device.

The display unit includes: a blur amount of a first image included in a first captured image captured in a state where an imaging surface of the imaging device and the focus lens are in a first positional relationship; The control device according to claim 1, wherein the control unit displays the first object indicating the reliability based on a blur amount of a second image included in a second captured image captured in a state in which the second object is in a second positional relationship.

The control device according to claim 1, wherein the display unit displays each of the first objects in association with each of the subject distances indicating respective distances from the imaging device to the plurality of subjects.

The control device according to claim 1, wherein the display unit displays a second object indicating a position of the focus lens in association with the subject distance.

The control device according to claim 11, wherein the display unit displays a third object indicating a depth of field corresponding to an aperture value of the imaging device, in association with the second object.