JP2017108373A - Image processing apparatus, image processing apparatus control method, and program - Google Patents
Image processing apparatus, image processing apparatus control method, and program Download PDFInfo
- Publication number
- JP2017108373A JP2017108373A JP2016111699A JP2016111699A JP2017108373A JP 2017108373 A JP2017108373 A JP 2017108373A JP 2016111699 A JP2016111699 A JP 2016111699A JP 2016111699 A JP2016111699 A JP 2016111699A JP 2017108373 A JP2017108373 A JP 2017108373A
- Authority
- JP
- Japan
- Prior art keywords
- refocus
- image
- sharpness
- strength
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の視差画像を用いてリフォーカス処理を実行する画像処理装置、画像処理装置の制御方法及びプログラムに関する。 The present invention relates to an image processing apparatus that performs refocus processing using a plurality of parallax images, a control method for the image processing apparatus, and a program.
撮像装置による撮影時の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。例えば、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を備える撮像装置が提案されている（特許文献１参照）。また、複数に分割された光電変換部で受光した視差信号を加算することによって撮像信号を生成する撮像装置が提案されている（特許文献２参照）。これらの撮像装置で撮影された画像に関する複数の視差信号は、光強度の空間分布と角度分布の情報を有する。よって、複数の視差信号を有する画像データを用いて、撮像面とは異なる仮想結像面における画像を合成する画像処理、すなわち、リフォーカス処理を行うことができる。 As one of focus detection methods at the time of shooting by an imaging device, there is an imaging plane phase difference method in which focus detection by a phase difference method is performed by focus detection pixels formed on an image sensor. For example, an imaging apparatus including a two-dimensional imaging device in which one microlens and a plurality of divided photoelectric conversion units are formed for one pixel has been proposed (see Patent Document 1). In addition, an imaging apparatus that generates an imaging signal by adding parallax signals received by a plurality of divided photoelectric conversion units has been proposed (see Patent Document 2). A plurality of parallax signals related to images captured by these imaging apparatuses have information on spatial distribution and angular distribution of light intensity. Therefore, it is possible to perform image processing that combines images on a virtual imaging plane different from the imaging plane, that is, refocus processing, using image data having a plurality of parallax signals.
上記特許文献１，２に記載された撮像装置において、複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。そして、複数に分割された光電変換部でそれぞれ受光した視差信号から像ずれ量を求めることにより、位相差方式の焦点検出を行うことができる。 In the imaging devices described in Patent Documents 1 and 2, the photoelectric conversion unit divided into a plurality of parts is configured to receive different areas of the exit pupil of the photographing lens through one microlens and perform pupil division. Do. Then, by obtaining the image shift amount from the parallax signal received by each of the photoelectric conversion units divided into a plurality, it is possible to perform focus detection by the phase difference method.
しかし、各画素部に形成された直径が数マイクロメートルのマイクロレンズと複数に分割された光電変換部とに瞳分割を行う構成は、光の回折限界の影響を受ける。つまり、焦点検出に用いられる画素（焦点検出画素）が受光する光束と、撮影画像の取得に用いる撮像画素（撮影用画素）が受光する光束が異なってしまう。具体的には、撮影レンズの各収差（球面収差、非点収差、コマ収差等）による焦点検出信号への影響と撮像信号への影響が異なる。そのため、焦点検出信号から算出される焦点位置（検出合焦位置）と撮像信号の最良合焦位置との間に差が生じる可能性がある。 However, a configuration in which pupil division is performed on a microlens having a diameter of several micrometers formed in each pixel portion and a plurality of photoelectric conversion portions is affected by the diffraction limit of light. That is, the light beam received by the pixel used for focus detection (focus detection pixel) is different from the light beam received by the image pickup pixel (photographing pixel) used for acquiring the captured image. Specifically, the influence on the focus detection signal and the influence on the imaging signal due to each aberration (spherical aberration, astigmatism, coma aberration, etc.) of the photographing lens are different. Therefore, there is a possibility that a difference occurs between the focus position (detection focus position) calculated from the focus detection signal and the best focus position of the imaging signal.
そこで、撮影画像である視差画像の焦点精度を高めるために、撮影後に、複数に分割された光電変換部の出力からそれぞれ取得される視差画像の画像データを修正するリフォーカス処理を行うことが望ましい。リフォーカス処理では、複数の画像データから異なる瞳領域毎に複数の視差画像データを生成し、生成した複数の視差画像の画素毎に、複数の視差画像間の差を拡大して視差を強調する変換処理を行う。この変換処理によって焦点精度を高めた画像を得ることができるが、得られた画像では解像感が変わってしまうという問題がある。 Therefore, in order to increase the focus accuracy of the parallax image that is a captured image, it is desirable to perform a refocus process that corrects the image data of the parallax image obtained from the output of the photoelectric conversion unit divided into a plurality of parts after the capture . In the refocus processing, a plurality of parallax image data is generated for each different pupil region from a plurality of image data, and the difference between the plurality of parallax images is enlarged for each pixel of the generated plurality of parallax images to enhance the parallax. Perform the conversion process. Although this conversion process can obtain an image with improved focus accuracy, there is a problem that the resolution of the obtained image changes.
本発明は、複数の視差画像に対するリフォーカス処理の実行によって解像感が変化した場合に、リフォーカス状態を保持しながら速やかに解像感の調整を行うことが可能な画像処理装置を提供することを目的とする。 The present invention provides an image processing apparatus capable of quickly adjusting resolution while maintaining a refocus state when the resolution changes due to execution of refocus processing on a plurality of parallax images. For the purpose.
本発明に係る画像処理装置は、視差画像に対するリフォーカスの強さを指定するための第１のアイテムと、画像のシャープネスの強さを指定するための第２のアイテムと、を同時に表示手段に表示するよう制御する表示制御手段と、前記第１のアイテムにより指定されたリフォーカスの強さに基づき、前記視差画像に対するリフォーカス処理を実行するリフォーカス処理手段と、前記表示制御手段により前記リフォーカス処理手段により生成された画像が前記表示手段に表示された後に、前記第２のアイテムにより指定されたシャープネスの強さに基づき、前記画像のシャープネスを調整するシャープネス調整手段と、を備え、前記表示制御手段は、前記シャープネス調整手段により生成された画像を前記表示手段に表示するよう表示制御を行うことを特徴とする。 The image processing apparatus according to the present invention simultaneously displays a first item for designating the strength of refocus on a parallax image and a second item for designating the strength of image sharpness. Display control means for controlling display, refocus processing means for executing refocus processing on the parallax image based on the strength of refocus specified by the first item, and the refocusing means by the display control means. Sharpness adjusting means for adjusting the sharpness of the image based on the strength of the sharpness specified by the second item after the image generated by the focus processing means is displayed on the display means, The display control means performs display control so that the image generated by the sharpness adjustment means is displayed on the display means. And wherein the Ukoto.
本発明によれば、リフォーカス処理の実行によって解像感が変化した場合に、リフォーカス状態を保持しながら速やかに解像感の調整を行うことができ、これにより所望の解像感の画像を得ることができる。 According to the present invention, when the resolution changes due to the execution of the refocus processing, it is possible to quickly adjust the resolution while maintaining the refocus state. Can be obtained.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、演算部（ＣＰＵ）１０１、信号処理部１０２、一次記憶装置１０３、二次記憶装置１０４、ＲＯＭ１０５、操作部１０６及び表示部１０７を有し、これらはバス１０８により相互に通信可能に接続されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus 100 according to an embodiment of the present invention. The image processing apparatus 100 includes a calculation unit (CPU) 101, a signal processing unit 102, a primary storage device 103, a secondary storage device 104, a ROM 105, an operation unit 106, and a display unit 107, which communicate with each other via a bus 108. Connected as possible.
演算部１０１は、ＣＰＵを有し、ＲＯＭ１０５に格納された各種のプログラムを一次記憶装置１０３に展開し、画像処理装置１００の各部の動作を制御することにより、画像処理装置１００の全体的な制御を行う。信号処理部１０２は、撮影画像の復号化、視差画像に対するリフォーカス処理のための視差強調処理、リフォーカス処理後の画像（以下「リフォーカス画像」という）に対する解像感の調整処理等の各種処理を行う。一次記憶装置１０３は、例えば、ＤＲＡＭであり、演算部１０１が実行するプログラムの展開領域を有し、また、演算部１０１が算出する各種の演算データ等を記憶する。二次記憶装置１０４は、例えば、フラッシュメモリ等の不揮発性メモリであり、演算部１０１の動作に必要な各種のパラメータ等を記憶する。ＲＯＭ１０５は、演算部１０１が実行する制御プログラムやアプリケーションプログラム等の各種のプログラムを格納する。操作部１０６は、例えば、マウスやキーボード等を含み、ユーザによる操作に応じてユーザが所望する処理の実行を演算部１０１に対して指示する。表示部１０７は、例えば、液晶ディスプレイ（ＬＣＤ）等であり、画像データやグラフィカルユーザインターフェース（ＧＵＩ）を表示する。表示部１０７での表示制御は、演算部１０１によって行われる。バス１０８は、アドレスバス、データバス及びコントロールバスを含み、各部間の通信を可能とする。 The arithmetic unit 101 has a CPU, develops various programs stored in the ROM 105 in the primary storage device 103, and controls the operation of each unit of the image processing device 100, thereby controlling the entire image processing device 100. I do. The signal processing unit 102 performs various processes such as decoding of a captured image, parallax enhancement processing for refocus processing on a parallax image, and resolution adjustment processing on an image after refocus processing (hereinafter referred to as “refocus image”). Process. The primary storage device 103 is, for example, a DRAM, has a development area for a program executed by the calculation unit 101, and stores various calculation data calculated by the calculation unit 101 and the like. The secondary storage device 104 is, for example, a nonvolatile memory such as a flash memory, and stores various parameters necessary for the operation of the arithmetic unit 101. The ROM 105 stores various programs such as a control program and application program executed by the arithmetic unit 101. The operation unit 106 includes, for example, a mouse, a keyboard, and the like, and instructs the calculation unit 101 to execute a process desired by the user in accordance with an operation by the user. The display unit 107 is, for example, a liquid crystal display (LCD) or the like, and displays image data and a graphical user interface (GUI). Display control on the display unit 107 is performed by the calculation unit 101. The bus 108 includes an address bus, a data bus, and a control bus, and enables communication between the units.
画像処理装置１００は、視差画像に対するリフォーカス処理を効率的に行うために、リフォーカス処理を視差強調処理とシフト処理の２段階で行う。リフォーカス処理は、演算部１０１の制御下において信号処理部１０２が実行する。 The image processing apparatus 100 performs the refocusing process in two stages of parallax enhancement processing and shift processing in order to efficiently perform the refocusing processing on the parallax image. The refocus processing is executed by the signal processing unit 102 under the control of the calculation unit 101.
まず、リフォーカス処理における視差強調処理について説明する。視差強調処理では、第１の視差画像と第２の視差画像の２つの視差画像の間の差を画素毎に拡大して視差を強調し、これにより、第１の修正視差画像と第２の修正視差画像を生成する。視差画像の画像データは、視差画像を撮影した撮像素子の画素配列と対応させることができる。そこで、以下の説明では、“ｊ”，“ｉ”を整数として、撮像素子の行方向のｊ番目、列方向のｉ番目の位置を［ｊ，ｉ］とし、位置［ｊ，ｉ］での画素の第１の視差画像の画像データをＡ０［ｊ，ｉ］、第２の視差画像の画像データをＢ０［ｊ，ｉ］と表記する。すると、位置［ｊ，ｉ］での撮影画像の画像データをＩ［ｊ，ｉ］とすると、“Ｉ［ｊ，ｉ］＝Ａ０［ｊ，ｉ］＋Ｂ０［ｊ，ｉ］”の関係が成り立つ。 First, the parallax enhancement processing in the refocus processing will be described. In the parallax enhancement processing, the difference between the two parallax images of the first parallax image and the second parallax image is enlarged for each pixel to emphasize the parallax, and thereby the first corrected parallax image and the second parallax image A corrected parallax image is generated. The image data of the parallax image can be made to correspond to the pixel array of the image sensor that has captured the parallax image. Therefore, in the following description, “j” and “i” are integers, the j-th position in the row direction and the i-th position in the column direction of the image sensor are [j, i], and the positions at the positions [j, i]. The image data of the first parallax image of the pixel is denoted as A0 [j, i], and the image data of the second parallax image is denoted as B0 [j, i]. Then, if the image data of the photographed image at the position [j, i] is I [j, i], the relationship “I [j, i] = A0 [j, i] + B0 [j, i]” is established. .
第１の視差画像の画像データＡ０［ｊ，ｉ］と第２の視差画像の画像データＢ０［ｊ，ｉ］に対して、下記式１乃至６を用いて視差画像間の差を拡大して視差強調する変換処理を行う。第１の修正視差画像の画像データＡ［ｊ，ｉ］は、下記式１により求められ、第２の修正視差画像の画像データＢ［ｊ，ｉ］は、下記式２により求められる。ここで、係数ｋを“０≦ｋ≦１”の関係を満たす実数とし、係数αを“０≦α≦１”の関係を満たす実数として、ｋ１、ｋ２、Ａ１［ｊ，ｉ］及びＢ１［ｊ，ｉ］は、下記式３〜６で定義される変数である。複数の視差画像毎に複数の視差画像間の差を拡大して視差を強調する変換処理を行うことにより、複数の修正視差画像を生成する。その際、係数ｋの値を変えることにより、視差画像間の差を調整することができる。 For the image data A0 [j, i] of the first parallax image and the image data B0 [j, i] of the second parallax image, the difference between the parallax images is enlarged using the following formulas 1 to 6. A conversion process for parallax enhancement is performed. The image data A [j, i] of the first modified parallax image is obtained by the following equation 1, and the image data B [j, i] of the second modified parallax image is obtained by the following equation 2. Here, k 1 , k 2 , A 1 [j, i] where the coefficient k is a real number satisfying the relationship of “0 ≦ k ≦ 1” and the coefficient α is a real number satisfying the relationship of “0 ≦ α ≦ 1”. And B 1 [j, i] are variables defined by the following formulas 3 to 6. A plurality of corrected parallax images are generated by performing a conversion process for enhancing the parallax by enlarging the difference between the plurality of parallax images for each of the plurality of parallax images. At that time, the difference between the parallax images can be adjusted by changing the value of the coefficient k.
次に、リフォーカス処理におけるシフト処理について説明する。図２は、第１の修正視差画像と第２の修正視差画像を例にして、瞳分割方向（水平方向）のリフォーカス処理の概要を説明する図である。図２では、“ｉ”を整数として、撮像面２００に配置された撮像素子の列方向におけるｉ番目の画素の第１の修正視差画像をＡｉ、第２の修正視差画像をＢｉとして模式的に表わしている。また、図２では、第１の修正視差画像及び第２の修正視差画像の結像位置を、撮像面２００から撮影レンズの光軸方向にシフトした仮想結像面２１０へ変更（リフォーカス）させる例を示す。第１の修正視差画像Ａｉの信号は、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。一方、第２の修正視差画像Ｂｉの信号は、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。よって、第１の修正視差画像Ａｉと第２の修正視差画像Ｂｉは、光強度分布情報だけでなく、入射角度情報をも有している。 Next, the shift process in the refocus process will be described. FIG. 2 is a diagram for explaining the outline of the refocus processing in the pupil division direction (horizontal direction) using the first modified parallax image and the second modified parallax image as examples. In FIG. 2, “i” is an integer, and the first modified parallax image of the i-th pixel in the column direction of the image sensor arranged on the imaging surface 200 is represented as A i , and the second modified parallax image is represented as B i. It expresses. In FIG. 2, the imaging positions of the first corrected parallax image and the second corrected parallax image are changed (refocused) from the imaging plane 200 to the virtual imaging plane 210 shifted in the optical axis direction of the photographic lens. An example is shown. The signal of the first modified parallax image A i is a light reception signal of a light beam incident on the i-th pixel at the principal ray angle θa. On the other hand, the signal of the second modified parallax image B i is a light reception signal of a light beam incident on the i-th pixel at the principal ray angle θb. Therefore, the first modified parallax image A i and the second modified parallax image B i have not only light intensity distribution information but also incident angle information.
したがって、以下に説明する平行移動処理と加算処理により、仮想結像面２１０でのリフォーカス信号を生成することができる。すなわち、平行移動処理では、第１の修正視差画像Ａｉを主光線角度θａに沿って仮想結像面２１０まで平行移動させ、第２の修正視差画像Ｂｉを主光線角度θｂに沿って仮想結像面２１０まで平行移動させる。また、加算処理では、平行移動処理により平行移動させた第１の修正視差画像Ａｉと第２の修正視差画像Ｂｉを加算する。 Therefore, a refocus signal on the virtual imaging plane 210 can be generated by the parallel movement process and the addition process described below. That is, in the translation process, the first modified parallax image A i is translated along the principal ray angle θa to the virtual imaging plane 210, and the second modified parallax image B i is virtually translated along the principal ray angle θb. Translate to the image plane 210. In addition, in the addition process, the first modified parallax image A i and the second modified parallax image B i translated by the translation process are added.
第１の修正視差画像Ａｉを主光線角度θａに沿って仮想結像面２１０まで平行移動させることは、第１の修正視差画像Ａｉを列方向へ＋０．５画素分だけシフトさせることに対応する。また、第２の修正視差画像Ｂｉを主光線角度θｂに沿って仮想結像面２１０まで平行移動させることは、第２の修正視差画像Ａｉを列方向へ−０．５画素分だけシフトさせることに対応する。逆に言えば、主光線角度θａや主光線角度θｂに基づき、上記平行移動の結果、第１の修正視差画像Ａｉが列方向へ＋０．５画素分だけシフトし、且つ第２の修正視差画像Ａｉを列方向へ−０．５画素分だけシフトする位置に仮想結像面２１０を設定する。このとき、仮想結像面２１０では、第１の修正視差画像Ａｉと第２の修正視差画像Ｂｉが相対的に＋１画素分シフトされ、第１の修正視差画像Ａｉと第２の修正視差画像Ｂｉ＋１とが加算される。これにより、仮想結像面２１０でのリフォーカス信号を生成することができる。同様に、整数の画素分だけシフトされた第１の修正視差画像Ａｉと第２の修正視差画像Ｂｉとが加算される位置に仮想結像面を設定することにより、各仮想結像面で整数シフト量に対応したシフト加算信号（リフォーカス信号）を生成することができる。このとき、仮想結像面は整数シフト量に応じて撮影レンズの光軸方向にシフトするため、整数シフト量を指定することにより、リフォーカスの位置を撮影レンズの光軸方向に関して移動させることができる。こうして、本実施形態では、複数の視差画像から、結像光学系の各仮想結像面に応じたリフォーカス画像を生成することができる。 Translating the first modified parallax image A i along the principal ray angle θa to the virtual imaging plane 210 is to shift the first modified parallax image A i by +0.5 pixels in the column direction. Correspond. Further, translating the second modified parallax image B i along the principal ray angle θb to the virtual imaging plane 210 shifts the second modified parallax image A i by −0.5 pixels in the column direction. Corresponds to In other words, based on the principal ray angle θa and the principal ray angle θb, the first modified parallax image A i is shifted by +0.5 pixels in the column direction as a result of the parallel movement, and the second modified parallax is obtained. The virtual imaging plane 210 is set at a position where the image A i is shifted by −0.5 pixels in the column direction. At this time, on the virtual imaging plane 210, the first modified parallax image A i and the second modified parallax image B i are relatively shifted by +1 pixel, and the first modified parallax image A i and the second modified parallax image A i are corrected. The parallax image B i +1 is added. As a result, a refocus signal on the virtual imaging plane 210 can be generated. Similarly, each virtual imaging plane is set by setting the virtual imaging plane at a position where the first corrected parallax image A i shifted by an integer number of pixels and the second corrected parallax image B i are added. Thus, a shift addition signal (refocus signal) corresponding to the integer shift amount can be generated. At this time, since the virtual imaging plane shifts in the optical axis direction of the photographing lens according to the integer shift amount, the refocus position can be moved with respect to the optical axis direction of the photographing lens by specifying the integer shift amount. it can. Thus, in this embodiment, a refocus image corresponding to each virtual imaging plane of the imaging optical system can be generated from a plurality of parallax images.
次に、視差画像から上述したリフォーカス処理によりリフォーカス処理後画像を生成し、更にリフォーカス処理後画像の解像感を調整するためのＧＵＩについて説明する。なお、以下の説明において、「リフォーカス編集処理」は、リフォーカス処理と、リフォーカス画像に対してシャープネスの強さを調整する処理（以下「シャープネス調整処理」という）とを含むものとする。また、「リフォーカス編集画像」は、シャープネス調整処理後の画像を指すものとする。 Next, a GUI for generating a refocused image from the parallax image by the above-described refocusing process and further adjusting the resolution of the refocused image will be described. In the following description, it is assumed that “refocus edit processing” includes refocus processing and processing for adjusting the strength of sharpness with respect to the refocused image (hereinafter referred to as “sharpness adjustment processing”). The “refocus edited image” refers to an image after the sharpness adjustment processing.
図３は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うためのＧＵＩの一例である第１の編集画面３００を示す図である。第１の編集画面３００には、リフォーカスの強さを指定するための第１のスライダバー３０１（第１のアイテム）及びシャープネスの強さを指定するための第２のスライダバー３０２（第２のアイテム）が表示されている。また、第１の編集画面３００には、リフォーカスの位置を調整するための第３のスライダバー３１０（第３のアイテム）、画像表示ウィンドウ３０３、終了ボタン３０４及び保存ボタン３０５が表示されている。ユーザは、第１のスライダバー３０１を操作することにより、リフォーカス処理での視差強調処理において視差を強調するレベル（つまり、係数ｋの値）を指定することができる。また、ユーザは、第２のスライダバー３０２を操作することにより、リフォーカス画像のシャープネスの強さを指定することができる。さらに、ユーザは、第３のスライダバー３１０を操作することにより、視差画像がリフォーカスされる仮想結像面２１０の位置（リフォーカス位置）を調整することができる。すなわち、ユーザは、第３のスライダバー３１０を操作することにより、仮想結像面２１０の位置を奥行き方向である撮影レンズの光軸方向へシフトさせることができる。なお、第３のスライダバー３１０において「手前」は「奥」よりも撮像面２００からの距離が短いことを示す。第１の編集画面３００において、ユーザは、まず、第３のスライダバー３１０を操作してリフォーカス位置を調整した後、第１のスライダバー３０１を操作してリフォーカスの強さを指定することにより、リフォーカス調整を行う。本実施形態では、リフォーカス調整の際に指定されたリフォーカスの強さ及び調整されたリフォーカス位置に基づき、視差画像に対するリフォーカス処理が実行されてリフォーカス画像が生成される。また、本実施形態において、シャープネスの強さとは、リフォーカス画像のエッジを強調するレベルを指し、よって、シャープネス調整処理とは、リフォーカス画像のエッジを強調するエッジ強調処理を指し、エッジ強調により解像感を調整する。画像表示ウィンドウ３０３には、第１のスライダバー３０１や第３のスライダバー３１０の操作に応じたリフォーカス処理後のリフォーカス画像や、第２のスライダバー３０２の操作に応じたシャープネス調整処理後のリフォーカス編集画像が表示される。 FIG. 3 is a diagram illustrating a first editing screen 300 that is an example of a GUI for performing refocus editing processing on a parallax image in the image processing apparatus 100. The first editing screen 300 includes a first slider bar 301 (first item) for designating refocus strength and a second slider bar 302 (second product) for designating sharpness strength. Item) is displayed. The first editing screen 300 displays a third slider bar 310 (third item) for adjusting the refocus position, an image display window 303, an end button 304, and a save button 305. . By operating the first slider bar 301, the user can specify the level (that is, the value of the coefficient k) that enhances the parallax in the parallax enhancement processing in the refocus processing. Further, the user can designate the strength of the sharpness of the refocused image by operating the second slider bar 302. Further, the user can adjust the position (refocus position) of the virtual imaging plane 210 where the parallax image is refocused by operating the third slider bar 310. That is, the user can shift the position of the virtual imaging plane 210 in the optical axis direction of the photographing lens, which is the depth direction, by operating the third slider bar 310. Note that “front” in the third slider bar 310 indicates that the distance from the imaging surface 200 is shorter than “back”. On the first editing screen 300, the user first operates the third slider bar 310 to adjust the refocus position, and then operates the first slider bar 301 to specify the refocus strength. To perform refocus adjustment. In the present embodiment, a refocus process is performed on a parallax image based on the refocus intensity specified at the time of refocus adjustment and the adjusted refocus position to generate a refocus image. In the present embodiment, the strength of sharpness refers to a level that enhances the edge of the refocus image, and thus the sharpness adjustment processing refers to edge enhancement processing that enhances the edge of the refocus image. Adjust the resolution. In the image display window 303, a refocus image after the refocus processing according to the operation of the first slider bar 301 or the third slider bar 310, or after the sharpness adjustment processing according to the operation of the second slider bar 302 is displayed. The refocus edit image of is displayed.
このように、第１の編集画面３００には、リフォーカスの強さを指定する第１のスライダバー３０１、リフォーカス位置を調整する第３のスライダバー３１０及びシャープネスの強さを指定する第２のスライダバー３０２が同時に表示される。そのため、ユーザは、リフォーカス処理後に速やかにリフォーカス画像の解像感を調整して、その結果（リフォーカス編集画像）を確認することができる。逆に、ユーザは、リフォーカス編集画像の解像感を確認しながら、リフォーカス処理を行うことができる。なお、リフォーカス処理が実行される前には、第１のスライダバー３０１及び第３のスライダバー３１０を、第２のスライダバー３０２よりも強調して表示するように、第１の編集画面３００での表示を制御するようにしてもよい。この場合、リフォーカス処理が実行された後には、第２のスライダバー３０２を、第１のスライダバー３０１及び第３のスライダバー３１０よりも強調して表示することが望ましい。この強調表示の方法には特に制限はなく、例えば、操作すべきスライダバーについて、表示色を変える、描画線の太さを変える、点滅させる等の方法が挙げられる。 Thus, on the first editing screen 300, the first slider bar 301 for specifying the refocus strength, the third slider bar 310 for adjusting the refocus position, and the second for specifying the sharpness strength. The slider bar 302 is simultaneously displayed. Therefore, the user can quickly adjust the resolution of the refocus image after the refocus processing and check the result (refocus edit image). Conversely, the user can perform the refocus process while confirming the resolution of the refocus edited image. Note that before the refocusing process is executed, the first editing screen 300 is displayed so that the first slider bar 301 and the third slider bar 310 are displayed more emphasized than the second slider bar 302. You may make it control the display in. In this case, it is desirable to display the second slider bar 302 with more emphasis than the first slider bar 301 and the third slider bar 310 after the refocus processing is executed. The highlighting method is not particularly limited, and examples thereof include a method of changing the display color, changing the thickness of the drawing line, and blinking the slider bar to be operated.
保存ボタン３０５が押される（選択される）と、その時点での画像処理後（リフォーカス画像、リフォーカス編集画像）の画像データが二次記憶装置１０４に記憶される。終了ボタン３０４が押されると、リフォーカス編集処理は終了となり、第１の編集画面３００は閉じられる。なお、第１の編集画面３００では、リフォーカスの強さ及びシャープネスの強さの指定手段、並びにリフォーカス位置の調整手段としてスライダバーが用いられている。しかしながら、これらの指定手段はスライダバーに限定されるものではなく、ボタン等の他のアイテムを用いても構わない。 When the save button 305 is pressed (selected), image data after image processing (refocus image, refocus edit image) at that time is stored in the secondary storage device 104. When the end button 304 is pressed, the refocus editing process ends and the first editing screen 300 is closed. In the first editing screen 300, a slider bar is used as a refocus strength and sharpness strength designation means and a refocus position adjustment means. However, these designation means are not limited to the slider bar, and other items such as buttons may be used.
続いて、画像処理装置１００による視差画像に対するリフォーカス編集処理の流れについて説明する。図４は、第１の編集画面３００の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。図４のフローチャートに示される各処理は、演算部１０１がＲＯＭ１０５に記憶された所定のプログラム等を一次記憶装置１０３に展開することにより、演算部１０１が画像処理装置１００を構成する各部の動作を制御することにより実現される。 Next, the flow of refocus editing processing for parallax images by the image processing apparatus 100 will be described. FIG. 4 is a flowchart for explaining the flow of the refocus editing process executed on the parallax image by the operation on the first editing screen 300. Each processing shown in the flowchart of FIG. 4 is performed by the arithmetic unit 101 developing a predetermined program or the like stored in the ROM 105 in the primary storage device 103, so that the arithmetic unit 101 performs an operation of each unit constituting the image processing apparatus 100. It is realized by controlling.
ステップＳ４０１の開始前において、図３に示した第１の編集画面３００が表示部１０７に表示されており、画像表示ウィンドウ３０３には、リフォーカス編集処理の対象となる視差画像が表示されている（画像データが読み出されている）ものとする。ステップＳ４０１において演算部１０１は、第１のスライダバー３０１が操作されたことによってリフォーカスの強さが変更されたか（強さが新たに指定されたか）否かを判定する。具体的には、ステップＳ４０１では、上述した視差強調処理において、視差をどの程度強調するのかの設定（上記式３，４の係数ｋに設定される値）が変更されたか否かが判定される。演算部１０１は、リフォーカスの強さが変更された場合（Ｓ４０１でＹＥＳ）、処理をステップＳ４０２へ進め、リフォーカスの強さが変更されていない場合（Ｓ４０１でＮＯ）、処理をステップＳ４０４へ進める。 Before the start of step S401, the first editing screen 300 shown in FIG. 3 is displayed on the display unit 107, and a parallax image to be subjected to refocus editing processing is displayed in the image display window 303. (Image data is read out). In step S <b> 401, the calculation unit 101 determines whether or not the refocus strength has been changed (the strength has been newly designated) by operating the first slider bar 301. Specifically, in step S401, it is determined whether or not the setting of how much the parallax is enhanced (the value set in the coefficient k in the above equations 3 and 4) has been changed in the above-described parallax enhancement processing. . If the refocus strength is changed (YES in S401), the arithmetic operation unit 101 advances the process to step S402. If the refocus strength is not changed (NO in S401), the operation proceeds to step S404. Proceed.
ステップＳ４０２では、演算部１０１の制御下において信号処理部１０２が、視差画像の画像データに対してリフォーカス処理を行う。信号処理部１０２は、変更されたリフォーカスの強さで視差画像の画像データに対して視差強調処理を行い、更にシフト処理を行う。なお、リフォーカス処理では、第３のスライダバー３１０を用いて調整されたリフォーカス位置（仮想結像面２１０の位置）で各修正視差画像を加算（結像）させる。続くステップＳ４０３において演算部１０１は、リフォーカス画像を画像表示ウィンドウ３０３に表示する。その後、ステップＳ４０４において演算部１０１は、第２のスライダバー３０２が操作されたことによってシャープネスの強さが変更されたか否かを判定する。演算部１０１は、シャープネスの強さが変更された場合（Ｓ４０４でＹＥＳ）、処理をステップＳ４０５へ進め、リフォーカスの強さが変更されていない場合（Ｓ４０５でＮＯ）、処理をステップＳ４０７へ進める。 In step S <b> 402, the signal processing unit 102 performs refocus processing on the image data of the parallax image under the control of the calculation unit 101. The signal processing unit 102 performs a parallax enhancement process on the image data of the parallax image with the changed refocus strength, and further performs a shift process. In the refocus processing, each corrected parallax image is added (imaged) at the refocus position (position of the virtual image plane 210) adjusted using the third slider bar 310. In subsequent step S <b> 403, the calculation unit 101 displays the refocus image on the image display window 303. Thereafter, in step S <b> 404, the calculation unit 101 determines whether the sharpness strength has been changed by operating the second slider bar 302. If the strength of sharpness has been changed (YES in S404), operation unit 101 advances the process to step S405. If the strength of refocus has not been changed (NO in S405), operation proceeds to step S407. .
ステップＳ４０２のリフォーカス処理の視差強調処理によって、リフォーカス画像のエッジが強調される。そこでステップＳ４０５では、演算部１０１の制御下で信号処理部１０２が、リフォーカス画像に対してシャープネスの強さを調整する。なお、上述したように、シャープネスの強さ調整する処理とはエッジ強調処理を指し、エッジ強調処理には周知の画像処理方法を用いることができる。例えば、元画像とラプラシアンフィルタの出力画像との差分を求める方法を用いることができるが、これに限定されるものではない。シャープネスをより強くするように第２のスライダバー３０２が操作されると、エッジがより強調されるように画像処理が行われ、逆に、シャープネスをより弱くするように第２のスライダバー３０２が操作されると、エッジをぼかすように画像処理が行われる。こうして、リフォーカス画像の解像感をユーザの所望の通りに調整することができる。 The edge of the refocus image is enhanced by the parallax enhancement process of the refocus process in step S402. In step S405, the signal processing unit 102 adjusts the strength of sharpness for the refocused image under the control of the calculation unit 101. As described above, the process for adjusting the strength of sharpness refers to the edge enhancement process, and a well-known image processing method can be used for the edge enhancement process. For example, a method for obtaining a difference between an original image and an output image of a Laplacian filter can be used, but the method is not limited to this. When the second slider bar 302 is operated so as to increase the sharpness, image processing is performed so that the edge is more emphasized, and conversely, the second slider bar 302 is adjusted so as to weaken the sharpness. When operated, image processing is performed so as to blur the edge. Thus, the resolution of the refocus image can be adjusted as desired by the user.
続いて、ステップＳ４０６において演算部１０１は、リフォーカス編集画像（シャープネス調整処理後の画像）を画像表示ウィンドウ３０３に表示する。これにより、ユーザはリフォーカス編集画像の解像感を確認することができる。続くステップＳ４０７において演算部１０１は、保存ボタン３０５が押されたか否かを判定する。演算部１０１は、保存ボタン３０５が押された場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０８へ進め、保存ボタン３０５が押されていない場合（Ｓ４０７でＮＯ）、処理をステップＳ４０９へ進める。 Subsequently, in step S <b> 406, the calculation unit 101 displays a refocus edited image (image after sharpness adjustment processing) on the image display window 303. Thereby, the user can confirm the resolution of the refocus edited image. In subsequent step S407, operation unit 101 determines whether save button 305 has been pressed or not. If the save button 305 has been pressed (YES in S407), the calculation unit 101 advances the process to step S408. If the save button 305 has not been pressed (NO in S407), the calculation unit 101 advances the process to step S409.
ステップＳ４０８において演算部１０１は、リフォーカス編集画像を二次記憶装置１０４に記憶する。そして、ステップＳ４０９において演算部１０１は、終了ボタン３０４が押されたか否かを判定する。演算部１０１は、終了ボタン３０４が押された場合（Ｓ４０９でＹＥＳ）、本処理を終了させ、終了ボタン３０４が押されていない場合（Ｓ４０９でＮＯ）、処理をステップＳ４０１へ戻す。 In step S <b> 408, the calculation unit 101 stores the refocus edited image in the secondary storage device 104. In step S409, the calculation unit 101 determines whether the end button 304 has been pressed. If the end button 304 is pressed (YES in S409), the calculation unit 101 ends the process, and if the end button 304 is not pressed (NO in S409), the process returns to step S401.
以上の説明の通り、本実施形態によれば、視差画像に対するリフォーカス処理によってユーザが意図しない解像感になったときでも、リフォーカスされた状態を維持しつつ、速やかにリフォーカス画像のシャープネス（解像感）を調整することができる。よって、ユーザは、所望の解像感の画像（リフォーカス編集画像）を簡単に生成することができる。 As described above, according to the present embodiment, the sharpness of the refocused image can be quickly maintained while maintaining the refocused state even when the resolution is not intended by the user due to the refocus processing on the parallax image. (Resolution) can be adjusted. Therefore, the user can easily generate an image with a desired resolution (refocus edited image).
次に、視差画像に対してリフォーカス編集処理を行うための編集画面の別の例について説明する。図５は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第２の編集画面５００を示す図である。なお、第２の編集画面５００において図３に示した第１の編集画面３００と同じアイテムについては、同じ符号を付して、説明を省略する。 Next, another example of an editing screen for performing refocus editing processing on a parallax image will be described. FIG. 5 is a diagram showing a second editing screen 500 for performing refocus editing processing on a parallax image in the image processing apparatus 100. Note that, in the second editing screen 500, the same items as those in the first editing screen 300 shown in FIG.
図３に示した第１の編集画面３００では、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２とを同じ画面に配置した。これに対して、第２の編集画面５００には、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２とを切り替えて表示するための２つのタブ５０１，５０２が表示されている。図５（ａ）は、タブ５０１が選択されて、第１のスライダバー３０１及び第３のスライダバー３１０が表示された画面を示している。図５（ｂ）は、タブ５０２が選択されて、第２のスライダバー３０２が表示された画面を示している。なお、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２との表示切り替え手段は、タブ５０１，５０２に限定されるものではなく、他の手段（方法）を用いてもよい。 In the first editing screen 300 shown in FIG. 3, the first slider bar 301, the third slider bar 310, and the second slider bar 302 are arranged on the same screen. On the other hand, the second editing screen 500 includes two tabs 501 and 502 for switching between the first slider bar 301, the third slider bar 310, and the second slider bar 302 for display. It is displayed. FIG. 5A shows a screen on which the tab 501 is selected and the first slider bar 301 and the third slider bar 310 are displayed. FIG. 5B shows a screen on which the tab 502 is selected and the second slider bar 302 is displayed. The display switching means for the first slider bar 301, the third slider bar 310, and the second slider bar 302 is not limited to the tabs 501 and 502, and other means (methods) are used. May be.
図６は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第３の編集画面６００を示す図である。なお、第３の編集画面６００において図３に示した第１の編集画面３００と同じ構成要素については、同じ符号を付して、説明を省略する。第３の編集画面６００は、リフォーカス調整画面６１０とシャープネス調整画面６２０の２つの画面からなる。リフォーカス調整画面６１０は、第１のスライダバー３０１及び第３のスライダバー３１０を含み、シャープネス調整画面６２０は、第２のスライダバー３０２を含む。リフォーカス画像は画像表示ウィンドウ６１１に表示され、リフォーカス編集画像は画像表示ウィンドウ６２１に表示される。 FIG. 6 is a diagram showing a third editing screen 600 for performing the refocus editing process on the parallax image in the image processing apparatus 100. In the third editing screen 600, the same components as those in the first editing screen 300 shown in FIG. The third edit screen 600 includes two screens, a refocus adjustment screen 610 and a sharpness adjustment screen 620. The refocus adjustment screen 610 includes a first slider bar 301 and a third slider bar 310, and the sharpness adjustment screen 620 includes a second slider bar 302. The refocus image is displayed in the image display window 611, and the refocus edit image is displayed in the image display window 621.
リフォーカス調整画面６１０とシャープネス調整画面６２０は、同時に表示部１０７に表示されている。そのため、ユーザは、リフォーカスの強さの変更に応じてリフォーカス画像の解像感が変わっても、シャープネス調整画面６２０でシャープネスの強さを変更してリフォーカス画像の解像感を調整し、リフォーカス編集画像で解像感を確認することができる。なお、図６では、リフォーカス調整画面６１０とシャープネス調整画面６２０が左右に並べて表示されているが、この際にどちらの画面を右側としてもよい。また、リフォーカス調整画面６１０とシャープネス調整画面６２０は、上下に並べて表示されてもよく、その際にどちらの画面を上側としてもよい。更に、リフォーカス調整画面６１０とシャープネス調整画面６２０を並べて表示したときに、画像表示ウィンドウ６１１と画像表示ウィンドウ６２１とが近接するように、画面内レイアウトを調整してもよく、これにより画像比較が容易となる。 The refocus adjustment screen 610 and the sharpness adjustment screen 620 are displayed on the display unit 107 at the same time. Therefore, even if the resolution of the refocus image changes according to the change of the refocus strength, the user changes the sharpness adjustment screen 620 to adjust the resolution of the refocus image. The resolution can be confirmed with the refocused edited image. In FIG. 6, the refocus adjustment screen 610 and the sharpness adjustment screen 620 are displayed side by side, but either screen may be on the right side. Further, the refocus adjustment screen 610 and the sharpness adjustment screen 620 may be displayed side by side, and either screen may be set as the upper side. Further, when the refocus adjustment screen 610 and the sharpness adjustment screen 620 are displayed side by side, the layout in the screen may be adjusted so that the image display window 611 and the image display window 621 are close to each other, thereby enabling image comparison. It becomes easy.
上述した第１の編集画面３００、第２の編集画面５００及び第３の編集画面６００では、リフォーカスの強さとシャープネスの強さの指定手段を同時に編集画面に表示して、ユーザがリフォーカス画像の解像感を確認することができる構成となっている。換言すれば、これらの編集画面は、リフォーカス処理とシャープネス調整処理の順序を問わない構成とも言える。これに対して、以下に、リフォーカス処理後にシャープネス調整処理を行うことによってリフォーカス画像の解像感を確認する構成について説明する。 In the first editing screen 300, the second editing screen 500, and the third editing screen 600 described above, the refocus strength and sharpness strength designation means are displayed on the editing screen at the same time, and the user can refocus the image. The resolution can be confirmed. In other words, it can be said that these editing screens have any order of refocus processing and sharpness adjustment processing. On the other hand, a configuration for confirming the resolution of the refocus image by performing the sharpness adjustment process after the refocus process will be described below.
図７は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第４の編集画面７００を示す図である。図７（ａ）は、リフォーカス処理の段階で表示されるリフォーカス調整画面であり、図７（ｂ）は、リフォーカス画像の解像感を調整する段階で表示されるシャープネス調整画面である。なお、第４の編集画面７００において図３に示した第１の編集画面３００と同じ構成要素については、同じ符号を付して、説明を省略する。 FIG. 7 is a diagram illustrating a fourth editing screen 700 for performing refocus editing processing on a parallax image in the image processing apparatus 100. FIG. 7A is a refocus adjustment screen displayed at the stage of refocus processing, and FIG. 7B is a sharpness adjustment screen displayed at the stage of adjusting the resolution of the refocus image. . In the fourth editing screen 700, the same components as those in the first editing screen 300 shown in FIG.
第４の編集画面７００におけるリフォーカス調整画面（図７（ａ））には、第１のスライダバー３０１及び第３のスライダバー３１０と、リフォーカスの強さ及びリフォーカス位置を指定するためのＯＫボタン７０１とが表示されている。また、リフォーカス調整画面では、第２のスライダバー３０２は操作無効となり、第１のスライダバー３０１を用いてリフォーカスの強さを調整する操作や第３のスライダバー３１０を用いてリフォーカス位置を調整する操作がユーザに対して求められる。ユーザがリフォーカスの強さを第１のスライダバー３０１により指定してＯＫボタン７０１を押すと、指定されたリフォーカスの強さのリフォーカス処理が行われ、シャープネス調整画面（図７（ｂ））に遷移する。 In the refocus adjustment screen (FIG. 7A) in the fourth editing screen 700, the first slider bar 301 and the third slider bar 310, and the refocus strength and the refocus position are designated. An OK button 701 is displayed. In the refocus adjustment screen, the operation of the second slider bar 302 is disabled, and an operation for adjusting the strength of refocus using the first slider bar 301 or a refocus position using the third slider bar 310 is performed. The user is required to perform an operation for adjusting the. When the user designates the refocus strength with the first slider bar 301 and presses the OK button 701, the refocus processing of the designated refocus strength is performed, and the sharpness adjustment screen (FIG. 7B). ).
第４の編集画面７００におけるシャープネス調整画面では、第２のスライダバー３０２は有効となっているが、第１のスライダバー３０１及び第３のスライダバー３１０は操作無効となっている。よって、ユーザは、第２のスライダバー３０２を操作することによってリフォーカス画像のシャープネス（解像感）を調整することができる。なお、シャープネス調整画面にはリセットボタン７０２が表示されており、リセットボタン７０２が押されると、シャープネス調整画面はリフォーカス調整画面（図７（ａ））へ遷移する。 On the sharpness adjustment screen in the fourth editing screen 700, the second slider bar 302 is enabled, but the first slider bar 301 and the third slider bar 310 are disabled. Accordingly, the user can adjust the sharpness (resolution) of the refocused image by operating the second slider bar 302. Note that a reset button 702 is displayed on the sharpness adjustment screen, and when the reset button 702 is pressed, the sharpness adjustment screen changes to the refocus adjustment screen (FIG. 7A).
ユーザは、第４の編集画面７００を起動した場合、リフォーカス調整画面でリフォーカスの強さを調整した後に、シャープネス調整画面でリフォーカス画像のシャープネスを調整する。つまり、ユーザは、視差画像に対するリフォーカス処理が行われた後に、リフォーカス画像の解像感を調整するためのシャープネス調整処理を行い、その結果を確認することができる。 When the user activates the fourth edit screen 700, the user adjusts the refocus strength on the refocus adjustment screen, and then adjusts the sharpness of the refocused image on the sharpness adjustment screen. That is, after the refocus process is performed on the parallax image, the user can perform the sharpness adjustment process for adjusting the resolution of the refocus image and confirm the result.
図８は、第４の編集画面７００の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。図８のフローチャートに示される各処理は、演算部１０１がＲＯＭ１０５に記憶された所定のプログラム等を一次記憶装置１０３に展開することにより、演算部１０１が画像処理装置１００を構成する各部の動作を制御することにより実現される。 FIG. 8 is a flowchart for explaining the flow of the refocus editing process executed on the parallax image by the operation on the fourth editing screen 700. Each processing shown in the flowchart of FIG. 8 is performed by the arithmetic unit 101 developing a predetermined program or the like stored in the ROM 105 in the primary storage device 103, so that the arithmetic unit 101 performs an operation of each unit constituting the image processing apparatus 100. It is realized by controlling.
ステップＳ８０１の開始前において、図７に示した第４の編集画面７００が表示部１０７に表示されており、画像表示ウィンドウ３０３には、リフォーカス編集処理対象となる視差画像が表示されている（画像データが読み出されている）ものとする。ステップＳ８０１において演算部１０１は、リフォーカス調整画面において第２のスライダバー３０２の操作を無効にする。演算部１０１は、例えば、第４の編集画面７００を起動する際に、予め第２のスライダバー３０２の操作を無効にした状態で、リフォーカス調整画面を表示部１０７に表示する。ステップＳ８０２〜Ｓ８０４の処理内容は、図４のフローチャートのステップＳ４０１〜Ｓ４０３の処理内容と同じであるので、ここでの説明を省略する。 Before the start of step S801, the fourth editing screen 700 shown in FIG. 7 is displayed on the display unit 107, and a parallax image that is a target of refocus editing processing is displayed in the image display window 303 ( Assume that image data has been read out). In step S801, the calculation unit 101 invalidates the operation of the second slider bar 302 on the refocus adjustment screen. For example, when the fourth editing screen 700 is activated, the calculation unit 101 displays the refocus adjustment screen on the display unit 107 in a state where the operation of the second slider bar 302 is previously invalidated. Since the processing contents of steps S802 to S804 are the same as the processing contents of steps S401 to S403 in the flowchart of FIG. 4, description thereof is omitted here.
ステップＳ８０５において演算部１０１は、第１のスライダバー３０１及び第３のスライダバー３１０の操作を無効にする。続いて、ステップＳ８０６において演算部１０１は、第２のスライダバー３０２の操作を有効にする。ステップＳ８０５，Ｓ８０６により、リフォーカス調整画面からシャープネス調整画面への遷移が完了する。ステップＳ８０７〜Ｓ８０９の処理内容は、図４のフローチャートのステップＳ４０４〜Ｓ４０６の処理内容と同じであるので、ここでの説明を省略する。 In step S805, the calculation unit 101 invalidates the operation of the first slider bar 301 and the third slider bar 310. Subsequently, in step S806, the calculation unit 101 validates the operation of the second slider bar 302. By steps S805 and S806, the transition from the refocus adjustment screen to the sharpness adjustment screen is completed. Since the processing contents of steps S807 to S809 are the same as the processing contents of steps S404 to S406 in the flowchart of FIG. 4, description thereof is omitted here.
続くステップＳ８１０において演算部１０１は、リフォーカスの強さの指定をキャンセルするリセットボタン７０２が押されたか否かを判定する。演算部１０１は、リセットボタン７０２が押された場合（Ｓ８１０でＹＥＳ）、処理をステップＳ８１１へ進め、リセットボタン７０２が押されていない場合（Ｓ８１０でＮＯ）、処理をステップＳ８１３へ進める。ステップＳ８１１において演算部１０１は、第１のスライダバー３０１及び第３のスライダバー３１０の操作を有効にする。続くステップＳ８１２において演算部１０１は、第２のスライダバー３０２の操作を無効にする。これにより、シャープネス調整画面からリフォーカス調整画面への遷移が完了する。 In the subsequent step S810, the calculation unit 101 determines whether or not the reset button 702 for canceling the designation of the refocus strength has been pressed. If the reset button 702 is pressed (YES in S810), the arithmetic unit 101 advances the process to step S811, and if the reset button 702 is not pressed (NO in S810), the arithmetic unit 101 advances the process to step S813. In step S811, the calculation unit 101 validates the operation of the first slider bar 301 and the third slider bar 310. In subsequent step S812, operation unit 101 invalidates the operation of second slider bar 302. Thereby, the transition from the sharpness adjustment screen to the refocus adjustment screen is completed.
続いて、ステップＳ８１３において演算部１０１は、終了ボタン３０４が押されたか否かを判定する。演算部１０１は、終了ボタン３０４が押された場合（Ｓ８１３でＹＥＳ）、本処理を終了させ、終了ボタン３０４が押されていない場合（Ｓ８１３でＮＯ）、処理をステップＳ８０１へ戻す。 Subsequently, in step S813, the calculation unit 101 determines whether or not the end button 304 has been pressed. If the end button 304 has been pressed (YES in S813), the calculation unit 101 ends this process, and if the end button 304 has not been pressed (NO in S813), the process returns to step S801.
なお、ステップＳ８０５とステップＳ８０６の順序は逆であってもよい。同様に、ステップＳ８１１とステップＳ８１２の順序は逆であってもよい。また、図８のフローチャートでは、保存ボタン３０５が押されたときの処理を省略している。保存ボタン３０５の操作は、リフォーカス調整画面とシャープネス調整画面のどの画面が表示された状態でも可能であり、各画面での処理後画像の画像データを保存することできる。更に、図８のフローチャートでは、ステップＳ８１０〜Ｓ８１３により、リフォーカス調整画面にした状態で処理の終了を判定する構成にした。これに限らず、ステップＳ８０９の終了後のシャープネス調整画面が表示された状態で、終了ボタン３０４が押されたか否かを判定する構成にしてもよい。一方、ステップＳ８１０〜Ｓ８１３の処理を必須とする構成の場合、シャープネス調整画面では終了ボタン３０４は不要となるため、シャープネス調整画面に終了ボタン３０４が表示されない構成としてもよい。 Note that the order of step S805 and step S806 may be reversed. Similarly, the order of step S811 and step S812 may be reversed. Further, in the flowchart of FIG. 8, processing when the save button 305 is pressed is omitted. The save button 305 can be operated in any state where the refocus adjustment screen and the sharpness adjustment screen are displayed, and the image data of the processed image on each screen can be saved. Further, in the flowchart of FIG. 8, it is configured to determine the end of processing in the state where the refocus adjustment screen is displayed in steps S810 to S813. The present invention is not limited to this, and it may be configured to determine whether or not the end button 304 has been pressed in a state where the sharpness adjustment screen after the end of step S809 is displayed. On the other hand, in the configuration in which the processing of steps S810 to S813 is indispensable, the end button 304 is not necessary on the sharpness adjustment screen, and thus the end button 304 may not be displayed on the sharpness adjustment screen.
以上の説明の通り、第４の編集画面７００の操作によれば、視差画像がリフォーカスされた結果に基づいてシャープネスを変更することにより、解像感を調整することができる。よって、ユーザは、所望の解像感の画像を簡単に生成することができる。 As described above, according to the operation on the fourth editing screen 700, the sense of resolution can be adjusted by changing the sharpness based on the result of refocusing the parallax image. Therefore, the user can easily generate an image with a desired resolution.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１ 演算部（ＣＰＵ）
１０２ 信号処理部
１０３ 一次記憶装置
１０４ 二次記憶装置
１０５ ＲＯＭ
１０６ 操作部
１０７ 表示部
３００ 第１の編集画面
101 arithmetic unit (CPU)
102 Signal processing unit 103 Primary storage device 104 Secondary storage device 105 ROM
106 Operation unit 107 Display unit 300 First editing screen
Claims (11)
前記第１のアイテムにより指定されたリフォーカスの強さに基づき、前記視差画像に対するリフォーカス処理を実行するリフォーカス処理手段と、
前記表示制御手段により前記リフォーカス処理手段により生成された画像が前記表示手段に表示された後に、前記第２のアイテムにより指定されたシャープネスの強さに基づき、前記画像のシャープネスを調整するシャープネス調整手段と、を備え、
前記表示制御手段は、前記シャープネス調整手段により生成された画像を前記表示手段に表示するよう表示制御を行うことを特徴とする画像処理装置。 Display control means for controlling the display means to simultaneously display a first item for designating the strength of refocus on the parallax image and a second item for designating the strength of image sharpness; ,
Refocus processing means for executing refocus processing on the parallax image based on the strength of refocus specified by the first item;
Sharpness adjustment that adjusts the sharpness of the image based on the strength of sharpness designated by the second item after the image generated by the refocus processing means is displayed on the display means by the display control means Means, and
The image processing apparatus, wherein the display control means performs display control so that the image generated by the sharpness adjusting means is displayed on the display means.
前記リフォーカスの強さとは、前記視差を強調するレベルであり、
前記シャープネスの強さとは、前記リフォーカス処理手段により生成された画像のエッジを強調するレベルであることを特徴とする請求項１に記載の画像処理装置。 The refocusing process includes a process of enhancing the parallax of the parallax image,
The refocus strength is a level that emphasizes the parallax,
The image processing apparatus according to claim 1, wherein the strength of the sharpness is a level that emphasizes an edge of an image generated by the refocus processing unit.
前記リフォーカス処理手段は、前記指定されたリフォーカスの強さ及び前記調整された仮想結像面の位置に基づき、前記視差画像に対するリフォーカス処理を実行することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The display control means displays a third item for adjusting the position of the virtual imaging plane on which the parallax image is refocused on the display means simultaneously with the first item and the second item. To control and
7. The refocus processing unit performs a refocus process on the parallax image based on the designated refocus intensity and the adjusted position of the virtual imaging plane. The image processing apparatus according to any one of the above.
前記第１の指定手段により指定されたリフォーカスの強さに基づき、前記視差画像に対してリフォーカス処理を行うリフォーカス処理手段と、
前記リフォーカス処理手段により生成された画像に対するシャープネスの強さを指定する第２の指定手段と、
前記第２の指定手段により指定されたシャープネスの強さに基づき、前記リフォーカス処理手段により生成された画像のシャープネスを調整するシャープネス調整手段と、
前記視差画像、前記リフォーカス処理手段により生成された画像、前記シャープネス調整手段により生成された画像を、前記リフォーカス処理手段と前記シャープネス調整手段によりそれぞれ実行された処理に応じて前記表示手段に表示する表示制御手段と、を備えることを特徴とする画像処理装置。 First specifying means for specifying the strength of refocusing on the parallax image displayed on the display means;
Refocus processing means for performing refocus processing on the parallax image based on the strength of refocus specified by the first specifying means;
Second specifying means for specifying the strength of sharpness for the image generated by the refocus processing means;
Sharpness adjusting means for adjusting the sharpness of the image generated by the refocus processing means based on the strength of sharpness specified by the second specifying means;
The parallax image, the image generated by the refocus processing unit, and the image generated by the sharpness adjustment unit are displayed on the display unit according to the processes respectively executed by the refocus processing unit and the sharpness adjustment unit. And an image processing apparatus.
視差画像に対するリフォーカスの強さを指定するための第１のアイテムと、画像のシャープネスの強さを指定するための第２のアイテムと、を同時に表示手段に表示するステップと、
リフォーカス処理の対象となる視差画像を表示手段に表示するステップと、
前記第１のアイテムにより指定されたリフォーカスの強さに基づき、前記視差画像に対するリフォーカス処理を実行するステップと、
前記リフォーカス処理により生成された画像を前記表示手段に表示するステップと、
前記リフォーカス処理により生成された画像に対して前記第２のアイテムにより指定されたシャープネスの強さに基づき、前記リフォーカス処理により生成された画像のシャープネスを調整するステップと、
前記シャープネスが調整された画像を前記表示手段に表示するステップと、を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing apparatus that performs refocus processing on a parallax image,
Displaying a first item for designating the strength of refocus on the parallax image and a second item for designating the strength of image sharpness simultaneously on the display means;
Displaying a parallax image to be refocused on a display means;
Executing a refocus process on the parallax image based on a refocus intensity designated by the first item;
Displaying the image generated by the refocus processing on the display means;
Adjusting the sharpness of the image generated by the refocus processing based on the strength of the sharpness specified by the second item for the image generated by the refocus processing;
And a step of displaying the sharpness-adjusted image on the display means.
表示手段に表示された前記視差画像に対するリフォーカスの強さを指定する第１の指定ステップと、
前記指定されたリフォーカスの強さに基づき、前記視差画像に対してリフォーカス処理を実行するリフォーカス処理ステップと、
前記リフォーカス処理により生成された画像に対するシャープネスの強さを指定する第２の指定ステップと、
前記指定されたシャープネスの強さに基づき、前記リフォーカス処理により生成された画像に対してシャープネス調整処理を実行するシャープネス調整ステップと、
前記視差画像、前記リフォーカス処理により生成された画像、前記シャープネス調整処理により生成された画像を、前記リフォーカス処理及び前記シャープネス調整処理のそれぞれの実行に応じて前記表示手段に表示する表示制御ステップと、を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing apparatus that performs refocus processing on a parallax image,
A first specifying step of specifying the strength of refocus for the parallax image displayed on the display means;
A refocus processing step for executing a refocus process on the parallax image based on the designated refocus strength;
A second specifying step of specifying the strength of sharpness for the image generated by the refocus processing;
A sharpness adjustment step of executing a sharpness adjustment process on the image generated by the refocus process based on the specified sharpness strength;
Display control step of displaying the parallax image, the image generated by the refocus process, and the image generated by the sharpness adjustment process on the display unit in accordance with each execution of the refocus process and the sharpness adjustment process And a control method for an image processing apparatus.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015233195 | 2015-11-30 | ||
| JP2015233195 | 2015-11-30 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017108373A true JP2017108373A (en) | 2017-06-15 |
| JP2017108373A5 JP2017108373A5 (en) | 2019-07-04 |
| JP6771954B2 JP6771954B2 (en) | 2020-10-21 |
Family
ID=59061064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016111699A Active JP6771954B2 (en) | 2015-11-30 | 2016-06-03 | Image processing device, control method and program of image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6771954B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011114816A (en) * | 2009-11-30 | 2011-06-09 | Nikon Corp | Imaging apparatus, and program |
| JP2013009274A (en) * | 2011-06-27 | 2013-01-10 | Canon Inc | Image processing device, image processing method, and program |
| WO2013146067A1 (en) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | Image processing device, imaging device, image processing method, recording medium, and program |
| JP2014023083A (en) * | 2012-07-23 | 2014-02-03 | Nikon Corp | Display device, imaging device, and image editing program |
-
2016
- 2016-06-03 JP JP2016111699A patent/JP6771954B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011114816A (en) * | 2009-11-30 | 2011-06-09 | Nikon Corp | Imaging apparatus, and program |
| JP2013009274A (en) * | 2011-06-27 | 2013-01-10 | Canon Inc | Image processing device, image processing method, and program |
| WO2013146067A1 (en) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | Image processing device, imaging device, image processing method, recording medium, and program |
| JP2014023083A (en) * | 2012-07-23 | 2014-02-03 | Nikon Corp | Display device, imaging device, and image editing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6771954B2 (en) | 2020-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102278776B1 (en) | Image processing method, apparatus, and apparatus | |
| JP6548367B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
| JP6112824B2 (en) | Image processing method and apparatus, and program. | |
| CN106133794B (en) | Information processing method, information processing apparatus, and program | |
| JP5230456B2 (en) | Image processing apparatus and image processing method | |
| EP2526528B1 (en) | Blur function modeling for depth of field rendering | |
| JP5968073B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP6991957B2 (en) | Image processing device, image pickup device and image processing method | |
| TW201607313A (en) | Image capturing system obtaining scene depth information and focusing method thereof | |
| WO2021093635A1 (en) | Image processing method and apparatus, electronic device, and computer readable storage medium | |
| JP2014023083A (en) | Display device, imaging device, and image editing program | |
| JP2016039613A (en) | Image processing apparatus, control method therefor, program, and storage medium | |
| JP6604908B2 (en) | Image processing apparatus, control method thereof, and control program | |
| Luo et al. | Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors | |
| US8564712B2 (en) | Blur difference estimation using multi-kernel convolution | |
| JP2015041169A (en) | Image processing apparatus, control method therefor, and program | |
| JP6755737B2 (en) | Distance measuring device, imaging device, and distance measuring method | |
| US9936121B2 (en) | Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device | |
| JP6162971B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and control method thereof | |
| JP6771954B2 (en) | Image processing device, control method and program of image processing device | |
| JP6789677B2 (en) | Image processing equipment and its control method, imaging equipment, programs | |
| JP2015198340A (en) | Image processing system and control method therefor, and program | |
| JP6818734B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs | |
| JP6627116B1 (en) | Control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190530 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200930 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6771954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |