[go: up one dir, main page]

JP2009009206A - Outline extraction method and image processing apparatus therefor - Google Patents

Outline extraction method and image processing apparatus therefor Download PDF

Info

Publication number
JP2009009206A
JP2009009206A JP2007167581A JP2007167581A JP2009009206A JP 2009009206 A JP2009009206 A JP 2009009206A JP 2007167581 A JP2007167581 A JP 2007167581A JP 2007167581 A JP2007167581 A JP 2007167581A JP 2009009206 A JP2009009206 A JP 2009009206A
Authority
JP
Japan
Prior art keywords
contour
image
initial
distance
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007167581A
Other languages
Japanese (ja)
Inventor
Hideki Sasaki
秀貴 佐々木
Yuji Kuniyone
祐司 國米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007167581A priority Critical patent/JP2009009206A/en
Publication of JP2009009206A publication Critical patent/JP2009009206A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 本発明は、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な撮像装置等及びその輪郭抽出方法を提供することを目的とする。
【解決手段】 撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備える撮像装置とする。
【選択図】 図1
PROBLEM TO BE SOLVED: To provide an imaging apparatus and the like and an outline extraction method thereof capable of easily performing a quick and accurate dynamic outline extraction method.
A distance image generation unit that generates a distance image from a plurality of images obtained by imaging an object at a desired distance from different angles by an image sensor, and an outline of the object at a desired distance by the generated distance image And an initial contour generation unit that generates an initial contour closed curve, and an initial contour closed curve generated by the initial contour generation unit as an initial position, and a dynamic contour extraction method that extracts a contour of a target at a desired distance The imaging device includes an outline extraction unit.
[Selection] Figure 1

Description

本発明は、撮像画像中の対象の輪郭を抽出する方法、その撮像装置及び画像処理装置等に関する。   The present invention relates to a method for extracting a contour of an object in a captured image, an imaging apparatus, an image processing apparatus, and the like.

撮像装置により撮像して得られた画像中の人物等の輪郭を抽出する方法は、種々のものが知られている。例えば、適当な閾値で画像を二値化することにより、特定のエッジ等を抽出する方法もその一つである。   Various methods for extracting the contour of a person or the like in an image obtained by imaging with an imaging device are known. For example, a method of extracting a specific edge or the like by binarizing the image with an appropriate threshold is one of them.

また、M.Kassらによって提案された動的輪郭抽出法では、より正確な輪郭を求めるために対象を含む閉曲線を初期位置として与え、その閉曲線上の画素の値等を用いてエネルギ−等の評価関数を定義する。そして、各画素でのその評価関数の和が最小となるように閉曲線の位置を修正し、変化させる等により、対象の輪郭に最も近い最小解を求める。   In addition, in the active contour extraction method proposed by M. Kass et al., A closed curve including an object is given as an initial position in order to obtain a more accurate contour, and energy values and the like are obtained using pixel values on the closed curve. Define an evaluation function. Then, the position of the closed curve is corrected and changed so that the sum of the evaluation functions at each pixel is minimized, and the minimum solution closest to the target contour is obtained.

このような、動的輪郭抽出方法の例は、特開平10−11588等に開示されている。また、ステレオ画像から距離画像を統合する方法等について、特開平8−313212等に開示されている。
特開平10−11588 特開平8−313212
An example of such an active contour extraction method is disclosed in JP-A-10-11588. A method for integrating a distance image from a stereo image is disclosed in Japanese Patent Laid-Open No. 8-313212.
JP 10-11588 JP-A-8-313212

動的輪郭抽出法においては、初期位置としての閉曲線の設定如何によっては、正しい輪郭が得られなかったり、輪郭の抽出に相当の時間を要するという問題があった。   The dynamic contour extraction method has a problem that a correct contour cannot be obtained or a considerable time is required for contour extraction depending on the setting of the closed curve as the initial position.

また、画像中の輪郭を抽出する目的となる対象物の周囲を手入力等により指定し、それを初期位置として動的輪郭抽出法を行おうとすると、煩雑な人的入力作業が必要とされる。   Also, if the periphery of the target object for extracting the contour in the image is specified by manual input or the like and the dynamic contour extraction method is to be performed with the initial position as the initial position, a complicated human input operation is required. .

本発明は、このような事情に鑑み、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な画像処理装置等及びその輪郭抽出方法を提供することを目的とする。   In view of such circumstances, an object of the present invention is to provide an image processing apparatus and the like and an outline extraction method thereof that can easily perform a quick and accurate dynamic outline extraction method.

本発明にかかる画像処理装置は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。   An image processing apparatus according to the present invention includes a distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device, and a desired distance based on the generated distance image. The contour of the target at a desired distance by the dynamic contour extraction method, with the initial contour generating unit that extracts the contour of the target at the initial position and the initial contour closed curve generated by the initial contour generating unit as the initial position And an active contour extraction unit for extracting.

また、本発明にかかる撮像装置は、撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。   In addition, an imaging apparatus according to the present invention includes a distance image generation unit that generates a distance image from a plurality of images obtained by imaging an object at a desired distance from different angles by an imaging element, and a desired distance image generated by the generated distance image. The contour of the target at a distance is extracted, and an initial contour generation unit that generates an initial contour closed curve, and the initial contour closed curve generated by the initial contour generation unit is used as an initial position of the target at a desired distance by the dynamic contour extraction method. And a dynamic contour extracting unit that extracts a contour.

また、本発明にかかる撮像画像中の対象の輪郭抽出方法は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から所望の距離にある対象の輪郭を抽出する方法であって、複数の画像から距離画像を生成する工程と、生成した距離画像により所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、生成した初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する工程とを有することを特徴とする。   In addition, the contour extraction method for a target in a captured image according to the present invention extracts a contour of a target at a desired distance from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device. A method of generating a distance image from a plurality of images, extracting a contour of a target at a desired distance from the generated distance image to generate an initial contour closed curve, and initializing the generated initial contour closed curve And a step of extracting a contour of a target at a desired distance by a dynamic contour extraction method as a position.

また、本発明にかかる動的輪郭抽出法の初期輪郭閉曲線設定方法は、動的輪郭抽出法の初期位置として用いる初期輪郭閉曲線を設定する方法であって、輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する被写体の輪郭を、初期輪郭閉曲線として設定することを特徴とする。   The initial contour closed curve setting method of the dynamic contour extraction method according to the present invention is a method of setting an initial contour closed curve used as an initial position of the dynamic contour extraction method, wherein the subject to be contour extracted is set to a different angle. A contour of a subject generated from a distance image obtained by imaging a plurality of images is set as an initial contour closed curve.

この発明により、撮像画像中の所望の対象の輪郭を迅速かつ正確に抽出可能となり、またその抽出過程で猥雑な手作業も不要とできる。   According to the present invention, it is possible to quickly and accurately extract the contour of a desired object in a captured image, and it is possible to eliminate complicated manual work in the extraction process.

図1は、実施形態にかかる撮像装置1の全体構成について概念的に説明するブロック図である。この撮像装置1のレンズ10は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するVR(Vibration Reduction)レンズから構成される。   FIG. 1 is a block diagram conceptually illustrating the overall configuration of the imaging apparatus 1 according to the embodiment. The lens 10 of the imaging apparatus 1 includes a zoom lens (not shown) whose focal length can be continuously changed, a focusing lens that adjusts the focus, and a VR (Vibration Reduction) lens that corrects camera shake during imaging. Composed.

レンズ10は、CPU17からの指示により、不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ10の位置は、不図示のレンズ位置検出器によりその位置が検出され、CPU17によりフィ−ドバック制御される。   The lens 10 is controlled and adjusted by driving a lens driving device (not shown) according to an instruction from the CPU 17. The position of the lens 10 is detected by a lens position detector (not shown), and feedback control is performed by the CPU 17.

レンズ10は、撮像素子11の撮像面に被写体像を結像させる。撮像素子11は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子11は、CMOSやCCD等の固体撮像素子を用いる。   The lens 10 forms a subject image on the imaging surface of the imaging element 11. The image sensor 11 outputs an electrical signal obtained by photoelectric conversion according to the light intensity of the subject image formed on the imaging surface. The image sensor 11 uses a solid-state image sensor such as a CMOS or CCD.

また、撮像素子11は、CPU17が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。   Further, the image sensor 11 sequentially outputs electrical signals obtained by photoelectric conversion in response to a trigger input from a clock generator such as a timing generator (not shown) included in the CPU 17.

また、レンズ10と撮像素子11との間には、不図示の絞りが設けられ、CPU17により演算された適切な露出(自動露出AE:Auto Exposure)が指示され、調整される。   In addition, a diaphragm (not shown) is provided between the lens 10 and the image sensor 11, and an appropriate exposure (auto exposure) calculated by the CPU 17 is instructed and adjusted.

撮像素子11やレンズ10等の撮像系は、ステレオカメラによる画像取得をする場合には、被写体に対して異なるアングルで複数セット設けることとしてもよい。   A plurality of image pickup systems such as the image pickup element 11 and the lens 10 may be provided at different angles with respect to the subject when acquiring an image with a stereo camera.

撮像素子11から出力される電気信号は、アナログ信号のままCDS部12に入力されCDS(Correlated Double Sampling)処理によりノイズの低減処理がされる。CDS部12でのノイズ低減処理の後、不図示のAGC部でゲインの調整がされる。また、A/D変換部13では、アナログ信号からディジタル信号へと変換処理される。   The electrical signal output from the image sensor 11 is input to the CDS unit 12 as an analog signal and subjected to noise reduction processing by CDS (Correlated Double Sampling) processing. After the noise reduction process in the CDS unit 12, the gain is adjusted in an AGC unit (not shown). The A / D converter 13 performs conversion processing from an analog signal to a digital signal.

ディジタル変換処理された画像デ−タは、画像処理部14に入力される。撮像素子11にCMOSを用いる場合には、CDS部12とA/D変換部13等は、撮像素子11に組み込まれる場合もある。   The digitally converted image data is input to the image processing unit 14. When CMOS is used for the image sensor 11, the CDS unit 12, the A / D converter 13, and the like may be incorporated in the image sensor 11.

画像処理部14は、中央演算装置であるCPU17からの指示に従い、A/D変換部13から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理(ガンマ補正)等の様々な画像処理の演算を行う。   The image processing unit 14 performs white balance processing, high-pass filter processing, noise reduction processing, edge processing, step processing, and the like on the digital image data obtained from the A / D conversion unit 13 in accordance with an instruction from the CPU 17 that is a central processing unit. Various image processing operations such as tone processing (gamma correction) are performed.

また、画像処理部14が備えるAWB(Auto White Balance)演算部14aでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。   An AWB (Auto White Balance) calculation unit 14a included in the image processing unit 14 performs parameter value calculation and processing for optimal white balance processing.

画像処理部14で行われる種々の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ19等に予め記録されており、CPU17からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。   Algorithms and parameters necessary for various image processing performed in the image processing unit 14 are recorded in advance in the flash memory 19 and the like, and optimum ones are read out as necessary according to instructions from the CPU 17. Applied.

また、画像処理部14は、撮像素子11から取り込んだ撮像画像から距離画像を生成する距離画像生成部14bを備える。CPU17は、距離画像生成部14bに、同一の対象を異なるアングルで撮像した二以上の撮像画像から距離画像を作成させる。   In addition, the image processing unit 14 includes a distance image generation unit 14 b that generates a distance image from the captured image captured from the image sensor 11. The CPU 17 causes the distance image generation unit 14b to create a distance image from two or more captured images obtained by capturing the same target at different angles.

また、画像処理部14は、距離画像生成部14bが生成した距離画像から、所望の距離にある対象を抽出し、初期輪郭を抽出する初期輪郭生成部14cを備える。CPU17は、初期輪郭生成部14cに、距離画像から対象となる被写体が位置する距離範囲に対応してその輪郭を抽出させる。   Further, the image processing unit 14 includes an initial contour generation unit 14c that extracts a target at a desired distance from the distance image generated by the distance image generation unit 14b and extracts an initial contour. The CPU 17 causes the initial contour generation unit 14c to extract the contour corresponding to the distance range where the target subject is located from the distance image.

また、画像処理部14は、初期輪郭生成部14cが抽出した輪郭を初期位置の閉曲線として、動的輪郭抽出法による輪郭抽出処理をする動的輪郭抽出部14dを備える。すなわちCPU17は、動的輪郭抽出部14dに、初期輪郭生成部14cが抽出した輪郭を初期輪郭閉曲線として動的輪郭抽出法による演算処理を行わせ、その輪郭を作成させる。   In addition, the image processing unit 14 includes a dynamic contour extraction unit 14d that performs contour extraction processing by a dynamic contour extraction method using the contour extracted by the initial contour generation unit 14c as a closed curve at an initial position. That is, the CPU 17 causes the dynamic contour extraction unit 14d to perform arithmetic processing by the dynamic contour extraction method using the contour extracted by the initial contour generation unit 14c as the initial contour closed curve, and causes the contour to be generated.

画像処理部14で演算処理された画像デ−タは、RAM16等に一時記録することができる。RAM16は外付けのメモリとして構成してもよい。RAM16に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。   The image data calculated by the image processing unit 14 can be temporarily recorded in the RAM 16 or the like. The RAM 16 may be configured as an external memory. By recording in the RAM 16, the image data can be read out and processed separately.

また、画像処理部14での処理負荷が大きい場合には、画像処理部14や後述するCPU17の機能の一部を、例えば専用の演算処理装置やコンピュ−タ等に行わせることとして、撮像装置1をシステム構成してもよい。   Further, when the processing load on the image processing unit 14 is large, the image processing unit 14 and a part of the function of the CPU 17 described later are performed by, for example, a dedicated arithmetic processing unit or a computer, and the imaging apparatus 1 may be configured as a system.

また、画像処理部14は、RAM16や不図示のレジスタをバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部14は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。   The image processing unit 14 may use the RAM 16 or a register (not shown) as a buffer memory, and may be used as a frame memory that temporarily stores image data for a plurality of captured frames. The image processing unit 14 performs predetermined image processing by appropriately reading image data from the frame memory and writing it appropriately after image processing.

例えば、距離画像生成部14bが、距離画像の生成に異なるアングルから撮像した二枚の画像を用いる場合には、CPU17の指示により、第一の画像をRAM16等に一時格納しておく。そして、距離画像生成部14bは、その後に撮像素子11から取得した第二の画像と、RMA16等から読み出した第一の画像とから距離画像を生成することとできる。   For example, when the distance image generation unit 14b uses two images captured from different angles for generation of the distance image, the first image is temporarily stored in the RAM 16 or the like according to an instruction from the CPU 17. Then, the distance image generation unit 14b can generate a distance image from the second image acquired from the image sensor 11 and the first image read from the RMA 16 or the like thereafter.

また、撮像装置1全体の撮像動作シ−ケンスについての制御はCPU17からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部18からの操作信号も、CPU17に入力され処理される。   Further, the control of the imaging operation sequence of the entire imaging apparatus 1 is in response to an instruction from the CPU 17, and an operation signal from an operation unit 18 that performs operations such as a release switch and various setting processes (not shown) is also input to the CPU 17. And processed.

操作部18は、撮像装置1の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部15に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。   The operation unit 18 includes a power switch for turning on / off the power of the imaging apparatus 1, a full-press or half-press of a release button, and an up / down button for updating a reproduced image or the like. The up / down button is also used to select a desired person from the persons extracted and displayed on the display unit 15, or to manually drive the zoom lens to the tele or wide side during imaging.

さらに、カ−ドインタ−フェ−ス1aを介してメモリカ−ド1b等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス1cを介して、撮像装置1内の画像デ−タや処理プログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。画像処理部14等を別体として撮像装置1をシステム構成する場合には、カ−ドインタ−フェ−ス1aや外部インタ−フェ−ス1cや図示しない通信ポ−ト等により、処理対象となる画像デ−タを演算処理装置等に送信等して処理させることができる。   Furthermore, it is also possible to store various electronic information relating to image data and image processing in the memory card 1b or the like via the card interface 1a. In addition, the image data, processing program, and the like in the image pickup apparatus 1 can be read out or written to an external medium or arithmetic processing can be performed via the external interface 1c. When the image pickup apparatus 1 is configured as a system with the image processing unit 14 or the like as a separate body, the image processing unit 14 or the like becomes a processing target by the card interface 1a, the external interface 1c, a communication port (not shown), or the like. Image data can be transmitted to an arithmetic processing unit or the like for processing.

また、表示部15には、処理した画像を表示して撮像装置1のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。   The display unit 15 is configured to display the processed image so that the operator of the imaging apparatus 1 can confirm the image and display various processing information and various guidance such as a menu. .

また、表示部15にタッチパネル等を用いることで、入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部15は操作部18の一部としても機能する。   Moreover, it can also be set as the structure in which input operation is possible by using a touch panel etc. for the display part 15. FIG. In the case of the touch panel system, the display unit 15 also functions as a part of the operation unit 18.

表示部15は、LCDや有機EL、無機EL等の各種表示デバイスで構成できる。表示部15は、RAM16やメモリカ−ド1bに記録されている画像デ−タや、外部インタ−フェ−ス1c等を通じて外部の撮像装置や演算処理装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。また、撮像装置1をシステム構成する場合には、表示部15を画像処理部14等とは別体のモニタ−専用装置等として構成してもよい。   The display unit 15 can be composed of various display devices such as an LCD, an organic EL, and an inorganic EL. The display unit 15 includes image data recorded in the RAM 16 and the memory card 1b, image data transferred from an external imaging device, arithmetic processing unit, etc. through the external interface 1c, etc. It is also used when playing and displaying. When the imaging apparatus 1 is configured as a system, the display unit 15 may be configured as a monitor-dedicated device or the like separate from the image processing unit 14 or the like.

撮像装置1のCPU17は、AF演算部17bを備え、撮像素子11で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ10を制御する。また、CPU17は、撮像した画像の中に人物の顔があるかないかを検出する検出部17aを備える。   The CPU 17 of the imaging apparatus 1 includes an AF calculation unit 17b, performs calculation so as to perform optimum automatic focus adjustment using image data captured by the image sensor 11, and controls the lens 10. In addition, the CPU 17 includes a detection unit 17a that detects whether a human face is present in the captured image.

検出部17aは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を2次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。   The detection unit 17a can detect whether or not there is a portion corresponding to the eyes or nose of a person's face in the captured image. As a detection method, for example, a pattern recognition theory such as composite similarity established by character recognition by capturing a face as a two-dimensional pattern, or an extraction method using a previously learned neural network is used. May be.

また、AF演算部17bが行う自動焦点の演算は、撮像画像の中の所定の5個所又は9個所について行う。そして、検出部17aにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行うこととできる。   Further, the autofocus calculation performed by the AF calculation unit 17b is performed at predetermined five or nine locations in the captured image. When the human face is detected in the captured image by the detection unit 17a, the autofocus operation can be performed on the human face.

また、人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。また、撮像画像の中心位置を占める人物の顔について自動焦点合せを行う。この場合に、撮像装置1は、例えば中心位置を占める人物を距離画像からの抽出対象として自動的に認識し、初期輪郭生成部14cがその人物の輪郭を生成することとしてもよい。   When a plurality of human faces are detected, automatic focusing is performed on the closest face or the face having the largest area in the captured image. Further, automatic focusing is performed on the face of the person who occupies the center position of the captured image. In this case, for example, the imaging apparatus 1 may automatically recognize a person occupying the center position as an extraction target from the distance image, and the initial contour generation unit 14c may generate the contour of the person.

次に、動的輪郭抽出部14dが行う動的輪郭抽出処理について図2を用いて説明する。図2において、人物画像21が輪郭を抽出しようとする対象である。   Next, the dynamic contour extraction process performed by the dynamic contour extraction unit 14d will be described with reference to FIG. In FIG. 2, a person image 21 is a target for which an outline is to be extracted.

Snakes法等による動的輪郭抽出法では、対象となる人物画像21の周囲に初期輪郭閉曲線22を設定する必要がある。この初期輪郭閉曲線22は、例えばタッチペンやマウス入力により、表示部15等の表示画面から手動で与えてやることも可能である。   In the active contour extraction method using the Snakes method or the like, it is necessary to set an initial contour closed curve 22 around the target person image 21. The initial contour closed curve 22 can be manually given from a display screen such as the display unit 15 by, for example, a touch pen or a mouse input.

初期輪郭閉曲線22は、可能な限り正確に対象を捉えてその近くに設定することが好ましい。撮像装置1においては、初期輪郭閉曲線22が、後述する距離画像等により自動的に与えられるので正確であり、煩雑な入力手間を低減可能である。   The initial contour closed curve 22 is preferably set as close as possible to the target as accurately as possible. In the imaging apparatus 1, the initial contour closed curve 22 is automatically given by a distance image or the like to be described later, which is accurate and can reduce troublesome input labor.

動的輪郭抽出部14dは、初期輪郭閉曲線22を狭めながら、初期輪郭閉曲線22上の各画素におけるエネルギ−等が最小となる最小解等を求めることにより、正確な輪郭23を求めることができる。ここで、初期輪郭閉曲線22上の複数のプロットは、輪郭を時間的に動かす際の制御点である。   The dynamic contour extraction unit 14d can obtain the accurate contour 23 by obtaining the minimum solution or the like that minimizes the energy in each pixel on the initial contour closed curve 22 while narrowing the initial contour closed curve 22. Here, a plurality of plots on the initial contour closed curve 22 are control points when the contour is moved in time.

次に、Snakes法による動的輪郭抽出法について簡単に説明する。この方法は、アクティブカンタ−モデル(Active Contour Models)を用いて物体の輪郭を抽出するものである。   Next, the active contour extraction method by the Snakes method will be briefly described. In this method, the contour of an object is extracted using an active contour model.

この方法では、画像上の対象について、その周りに設定した初期輪郭閉曲線のエネルギ−最小化手法によって、アクティブカンタ−モデル(「Snakes : Active Contour Models」,IJCV vol.1(No.3),pp.321-331,(1988)等)を変化させる。このような方法においては、その後、輪郭抽出が正確に行えるかどうかは、初期輪郭閉曲線22の設定が正確であるかどうかに大きく依存することが知られている。   In this method, the active contour model ("Snakes: Active Contour Models", IJCV vol.1 (No.3), pp. .321-331, (1988) etc.). In such a method, it is known that whether or not the contour can be accurately extracted thereafter largely depends on whether or not the initial contour closed curve 22 is set accurately.

この点、撮像装置1では、距離画像により初期輪郭生成部14cが生成した初期輪郭閉曲線22を与えることが可能であり、手動入力等による初期位置よりも、遥かに迅速かつ正確に設定することが可能となる。   In this regard, the imaging apparatus 1 can provide the initial contour closed curve 22 generated by the initial contour generation unit 14c based on the distance image, and can be set much faster and more accurately than the initial position by manual input or the like. It becomes possible.

また、同様にアクティブカンタ−モデルを用いるグロウィングスネ−ク法(growing snake method:0lof Henricsson and Walter Neuenschwander,In Proc.ICPR,pp68-73,1994等)を適用してもよい。   Similarly, a growing snake method (growing snake method: 0lof Henricsson and Walter Neuenschwander, In Proc. ICPR, pp 68-73, 1994, etc.) using an active canter model may be applied.

また、動的輪郭抽出部14dは、撮像素子11から取得した動画像において、エッジ画像に基づいてエッジの部分が他の部分よりも低いエネルギ−とされるよう、画像のエネルギ−の高低によってエッジを表現するポテンシャル画像を生成してもよい。   In addition, the dynamic contour extraction unit 14d performs edge detection based on the level of the energy of the image so that the edge portion has lower energy than other portions based on the edge image in the moving image acquired from the image sensor 11. May be generated.

そして、動的輪郭抽出部14dは、設定されたアクティブカンタ−モデルの初期位置(初期輪郭閉曲線22に相当)を、生成されたポテンシャル画像にそのエネルギ−が低く(エッジ部分)なるように追跡させてもよい。動画像の場合には、対象となる被写体が常に画像中に存在することが好ましいが、仮に画像中から対象が消滅しても再度出現した際には、改めて初期輪郭閉曲線22を設定することとしてもよい。   Then, the active contour extraction unit 14d causes the generated potential image to track the initial position of the set active canter model (corresponding to the initial contour closed curve 22) so that the energy is low (edge portion). May be. In the case of a moving image, it is preferable that the target subject is always present in the image. However, if the target disappears from the image again and appears again, the initial contour closed curve 22 is set again. Also good.

また、上述のグロウィングスネ−ク法や動画像の場合には、初期輪郭生成部14cが作成する初期輪郭閉曲線22上の任意の点(又は画素)を初期位置として演算処理してもよい。   Further, in the case of the above-described glow snake method or moving image, calculation processing may be performed using an arbitrary point (or pixel) on the initial contour closed curve 22 created by the initial contour generation unit 14c as an initial position.

図3は、距離画像生成部14bが、距離画像を生成する際に用いる複数の画像の取得について説明する概念図である。被写体となる対象31に対して、第一の撮像装置32と、第二の撮像装置33との二つのアングルから、いわゆるステレオ画像を取得する。   FIG. 3 is a conceptual diagram illustrating acquisition of a plurality of images used when the distance image generation unit 14b generates a distance image. A so-called stereo image is acquired from two angles of the first imaging device 32 and the second imaging device 33 with respect to the target 31 that is the subject.

第一の撮像装置32と第二の撮像装置33とは、同一の撮像装置1を用いてもよい。すなわち、この場合には一つの撮像装置1を移動させることで、二つの異なるアングルから被写体31を撮像する。また、撮像装置1は、二つの異なるアングルからだけではなく、移動させながら順次複数の画像を取得してもよく、また、移動させながら動画像を取得してもよい。   The first imaging device 32 and the second imaging device 33 may use the same imaging device 1. That is, in this case, the subject 31 is imaged from two different angles by moving one imaging device 1. Further, the imaging apparatus 1 may acquire a plurality of images sequentially while moving the image, and may acquire a moving image while moving the image, not only from two different angles.

距離画像生成部14bは、撮像装置1の移動角度(アングル)と、その結果得られる画像の視差量とから、対象となる被写体等の距離を算出することが可能となる。これについて、図4と図5を用いて説明する。   The distance image generation unit 14b can calculate the distance of the subject to be detected from the movement angle (angle) of the imaging device 1 and the parallax amount of the image obtained as a result. This will be described with reference to FIGS.

図4は、通常の単眼カメラで被写体となる対象31を撮像した概念図である。この場合には、被写体となる対象31の他に、画像41中に背景42や背景43が混在する。また、背景42や背景43も、各々その輪郭を有しエッジ部分を有し、各々の輪郭を個別に区別することは困難である。   FIG. 4 is a conceptual diagram in which an object 31 as an object is imaged with a normal monocular camera. In this case, the background 42 and the background 43 are mixed in the image 41 in addition to the target 31 as the subject. Also, the background 42 and the background 43 each have an outline and an edge portion, and it is difficult to distinguish each outline individually.

このため、画像処理部14が、この状態のまま対象31の輪郭を抽出しようとしても、誤差を多く含んだり、過誤となる対象について輪郭抽出したりすることが懸念され、正確な輪郭の抽出を期待できない。   For this reason, even if the image processing unit 14 tries to extract the contour of the target 31 in this state, there is a concern that the contour extraction may be performed on a target that includes many errors or is erroneous, and accurate contour extraction is performed. I can't expect it.

一方、図3に示すように、取得したステレオ画像等による視差量から距離を算出すると、かなり正確な対象の特定が可能となる。典型的には、距離画像生成部14bが、幾何学模様等のパタ−ンマッチング(テンプレ−トマッチング)による対応付けによる視差量に基づき、遠方は黒色とし距離が近い程白色のグラデ−ション画像(距離画像)を作成し、距離情報を重畳させた画像を作成する。この際、距離画像生成部14bは、算出された視差量の有効性を、画像中の隣接画素間の輝度差によって評価してもよい。   On the other hand, as shown in FIG. 3, if the distance is calculated from the amount of parallax obtained from the acquired stereo image or the like, it becomes possible to specify the target fairly accurately. Typically, the distance image generation unit 14b is based on the amount of parallax associated with pattern matching (template matching) such as a geometric pattern, and the gradation image is whiter as the distance is black and the distance is shorter. (Distance image) is created, and an image in which distance information is superimposed is created. At this time, the distance image generation unit 14b may evaluate the validity of the calculated amount of parallax based on a luminance difference between adjacent pixels in the image.

このようにして、特定の距離範囲に存在する被写体となる対象31のみを抽出することが可能となる。図5は、被写体となる対象の抽出と距離画像による輪郭の説明概念図を示すものである。   In this way, it is possible to extract only the target 31 that is a subject existing in a specific distance range. FIG. 5 shows an explanatory conceptual diagram of extraction of an object as a subject and an outline by a distance image.

このようにして得た距離画像は、それのみではノイズや欠落部分が存在する場合が多い。特に、テンプレ−トマッチング等を用いると、その大きさに依存する位置の不確定性が顕在化する傾向が生じる。   The distance image obtained in this way often has noise or missing parts. In particular, when template matching or the like is used, there is a tendency that the uncertainty of the position depending on the size becomes obvious.

画像52は、画像処理部14が、距離画像から所望の特定の距離範囲にある対象31のみを残し、その他を消去することで作成する。典型的には、所望の距離範囲の対象31をディジタル値“1”とし、その他をディジタル値“0”として2値化したディジタル処理により作成する。   The image 52 is created by the image processing unit 14 leaving only the target 31 within a desired specific distance range from the distance image and deleting the others. Typically, the target 31 in the desired distance range is created by digital processing in which the digital value is “1” and the others are digitized as “0”.

対象31の選択や設定は、操作部18への入力により、撮像装置1からの距離範囲で指定することができる。また、表示部15等に表示される画面上で、対象31を確認しながら操作部18等からの入力操作により指定してもよい。   Selection or setting of the target 31 can be specified by a distance range from the imaging device 1 by input to the operation unit 18. Further, it may be specified by an input operation from the operation unit 18 or the like while confirming the target 31 on the screen displayed on the display unit 15 or the like.

また、画像52中の中心位置に存在する対象や、AF演算部17bがAFのタ−ゲットとする対象、検出部17aが検出する対象等を、輪郭を抽出する対象31とすることとしてもよい。画像処理部14は、指定された対象31と所定の距離範囲内にある被写体のみをディジタル処理による2値化で抽出する。   Further, a target existing at the center position in the image 52, a target to be AF target by the AF calculation unit 17b, a target to be detected by the detection unit 17a, or the like may be set as the target 31 from which the contour is extracted. . The image processing unit 14 extracts only a subject within a predetermined distance range from the designated target 31 by binarization by digital processing.

次に、初期輪郭生成部14cは、距離画像生成部14bが生成した距離画像から抽出された対象31の輪郭を抽出して初期輪郭閉曲線51を作成する。初期輪郭生成部14cは、対象31のみが存在する画像52について、対象31の輪郭を抽出するので、図4の画像41からの抽出に比べて正確な輪郭抽出が行える。   Next, the initial contour generation unit 14 c extracts the contour of the target 31 extracted from the distance image generated by the distance image generation unit 14 b and creates the initial contour closed curve 51. Since the initial contour generation unit 14c extracts the contour of the target 31 from the image 52 in which only the target 31 exists, the contour extraction can be performed more accurately than the extraction from the image 41 in FIG.

典型的には、上述のように2値化したディジタル処理により抽出される対象31の境界画素を、エッジ抽出等に選択して輪郭とする。エッジ抽出は、例えば画素値の微分演算値等を用いて抽出処理してもよい。   Typically, the boundary pixels of the target 31 extracted by the digital processing binarized as described above are selected for edge extraction or the like and used as the contour. The edge extraction may be performed using, for example, a differential operation value of the pixel value.

次に、動的輪郭抽出部14dは、初期輪郭生成部14cが作成した初期輪郭閉曲線51を初期位置として、上述の動的輪郭抽出法を演算処理し、図6に示すように対象31の輪郭61を抽出する。図6は、初期輪郭閉曲線51と輪郭61の説明概念図を示すものである。   Next, the dynamic contour extraction unit 14d performs the above-described dynamic contour extraction method using the initial contour closed curve 51 created by the initial contour generation unit 14c as an initial position, and performs contour processing of the target 31 as shown in FIG. 61 is extracted. FIG. 6 is an explanatory conceptual diagram of the initial contour closed curve 51 and the contour 61.

上述するように、初期輪郭閉曲線51は、輪郭61に近い位置でかなり正確である。従って、その後動的輪郭抽出部14dで動的輪郭抽出法の適用をして演算する際に、迅速かつ正確な処理が行えることとなる。   As described above, the initial contour closed curve 51 is fairly accurate near the contour 61. Accordingly, when the dynamic contour extraction unit 14d performs the calculation by applying the dynamic contour extraction method thereafter, quick and accurate processing can be performed.

図7は、撮像装置1の輪郭抽出フロ−を概念的に示すものである。既に、説明してきた処理と重複するので、図7を用いて下記に簡単に説明をする。   FIG. 7 conceptually shows the contour extraction flow of the image pickup apparatus 1. Since the processing already described is duplicated, a brief description will be given below with reference to FIG.

(ステップ71)
撮像装置1は、被写体となる対象31について2つの異なるアングルから画像を取得する。
(Step 71)
The imaging device 1 acquires images from two different angles for the target 31 that is the subject.

(ステップ72)
距離画像生成部14bは、ステップ71で取得した2つの異なるアングルの画像を用いて視差量を演算し、距離画像を作成する。距離画像生成部14bが、距離画像を作成することにより、画像処理部14は、特定の距離に位置する対象のみを抽出した画像52を作成する。
(Step 72)
The distance image generation unit 14b calculates the amount of parallax using the images of two different angles acquired in step 71, and creates a distance image. When the distance image generation unit 14b creates a distance image, the image processing unit 14 creates an image 52 in which only a target located at a specific distance is extracted.

(ステップ73)
初期輪郭生成部14cは、ステップ72で距離画像生成部14bが作成した被写体像の距離画像に基づく画像52を用いて、被写体の対象31の輪郭を抽出する。
(Step 73)
The initial contour generation unit 14 c extracts the contour of the subject 31 using the image 52 based on the distance image of the subject image created by the distance image generation unit 14 b in step 72.

(ステップ74)
動的輪郭抽出部14dは、ステップ73で初期輪郭生成部14cが抽出した初期輪郭閉曲線51を初期位置として、動的輪郭抽出法による画像処理を実行する。この実行プログラムは、フラッシュメモリ19等に格納しておいて、CPU17の指示により適宜読み出して、動的輪郭抽出部14dが実行することとしてもよい。
(Step 74)
The dynamic contour extraction unit 14d executes image processing by the dynamic contour extraction method using the initial contour closed curve 51 extracted by the initial contour generation unit 14c in step 73 as an initial position. This execution program may be stored in the flash memory 19 or the like, read as appropriate according to an instruction from the CPU 17, and executed by the dynamic contour extraction unit 14d.

動的輪郭抽出部14dは、例えば初期輪郭閉曲線51の形状に依存する演算値と、初期輪郭閉曲線51上の画素情報との和を評価値として、その評価値の最小解を探索する処理を行う。   The active contour extraction unit 14d performs a process of searching for a minimum solution of the evaluation value using, for example, a sum of a calculation value depending on the shape of the initial contour closed curve 51 and pixel information on the initial contour closed curve 51 as an evaluation value. .

典型的には、形状に依存する演算値は、初期輪郭閉曲線51の全周長や各画素での曲率の一周和などの線形和とする。このような線形和は、閉曲線が短く滑らかであるほど値が小さくなる。また、画像情報は、各画素での濃度勾配の絶対値の初期輪郭閉曲線51上での一周和とする。   Typically, the calculation value that depends on the shape is a linear sum such as the total perimeter of the initial contour closed curve 51 and the round sum of curvature of each pixel. Such a linear sum becomes smaller as the closed curve becomes shorter and smoother. Further, the image information is the sum of one round on the initial contour closed curve 51 of the absolute value of the density gradient at each pixel.

(ステップ75)
動的輪郭抽出部14dの抽出処理により、対象31の輪郭61が抽出される。抽出した輪郭61は、CPU17の指示により、表示部15に表示してもよいし、RAM16等に一時記憶しておいてもよい。また、画像処理部14で行う種々の画像処理に用いてもよい。
(Step 75)
The contour 61 of the target 31 is extracted by the extraction processing of the dynamic contour extraction unit 14d. The extracted contour 61 may be displayed on the display unit 15 according to an instruction from the CPU 17, or may be temporarily stored in the RAM 16 or the like. Further, it may be used for various image processing performed by the image processing unit 14.

なお、上述のステップ72における特定の距離に位置する対象のみを抽出した画像52の作成は、CPU17の指示により、距離画像生成部14bに処理させてもよい。   Note that the creation of the image 52 in which only the object located at the specific distance in the above-described step 72 is extracted may be processed by the distance image generation unit 14b according to an instruction from the CPU 17.

次に、動的輪郭抽出部14dが、別異の動的輪郭抽出法による処理を行う場合について説明する。図8は、動的輪郭抽出部14dが処理する動的輪郭抽出法として、いわゆるレベルセット法を用いた場合の一例を示すものである。   Next, a case where the dynamic contour extraction unit 14d performs processing by a different dynamic contour extraction method will be described. FIG. 8 shows an example in which a so-called level set method is used as the dynamic contour extraction method processed by the dynamic contour extraction unit 14d.

動的輪郭抽出部14dがレベルセット法による動的輪郭抽出処理を実行すると、図8に示すように対象82a、82bが二つある場合においても、各々同時に独立した輪郭83a、83bを得ることが可能となる。   When the dynamic contour extraction unit 14d executes the dynamic contour extraction processing by the level set method, even when there are two objects 82a and 82b as shown in FIG. 8, it is possible to obtain independent contours 83a and 83b at the same time. It becomes possible.

特に、被写体となる二つの対象が同じ距離範囲に近接して存在する場合には、距離画像生成部14bは、この二つの対象82aと対象82bを距離により分離して認識することができないことが懸念される。この場合には、初期輪郭生成部14cは、初期輪郭閉曲線として輪郭81を作成する。   In particular, in the case where two objects as subjects are close to the same distance range, the distance image generation unit 14b may not be able to recognize the two objects 82a and 82b separately by distance. Concerned. In this case, the initial contour generation unit 14c creates the contour 81 as the initial contour closed curve.

図8(a)に示すように、輪郭81は、対象82aと対象82bとを切り分けできず、双方を包含する。レベルセット法にて動的輪郭処理を行う動的輪郭抽出部14は、このような輪郭81を初期輪郭閉曲線として処理しても、対象82a、対象82b各々についての輪郭83a、83bを個別に分離し、各々独立に算出することが可能であり好ましい。   As shown to Fig.8 (a), the outline 81 cannot isolate | separate the object 82a and the object 82b, but includes both. The active contour extraction unit 14 that performs dynamic contour processing by the level set method separates the contours 83a and 83b for the objects 82a and 82b individually even if the contour 81 is processed as an initial contour closed curve. However, each can be calculated independently, which is preferable.

なお、レベルセット法に関する詳細は、種々の論文等により説明されている(例えばIEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp.402-407, March 2004等)のでここでは、それ自体の詳細説明を避ける。   Details regarding the level set method are explained in various papers (eg IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp. 402-407, March 2004, etc.). Avoid detailed description of itself.

実施形態において、距離画像を作成するための複数の画像は、対象となる被写体を異なるアングルから個別に撮像するものに限定されず、例えばアングルを変化させながら動画像を撮像して取得する画像であってもよい。この場合には、いわゆる因子分解法等の三次元復元手法によって距離画像を求めてもよい。   In the embodiment, the plurality of images for creating the distance image are not limited to images obtained by individually capturing the target subject from different angles, and are, for example, images obtained by capturing moving images while changing the angles. There may be. In this case, the distance image may be obtained by a three-dimensional restoration method such as a so-called factorization method.

また、実施形態の説明においては、二枚の画像から距離画像を作成することとしたが、これに限定されることはなく、任意の複数の画像から距離画像を作成してもよい。この場合には、より多くの画像を用いる程、距離画像の信頼性がより高くなるので好ましいこととなる。   In the description of the embodiment, the distance image is created from two images. However, the present invention is not limited to this, and the distance image may be created from an arbitrary plurality of images. In this case, it is preferable to use a larger number of images because the reliability of the distance image becomes higher.

また、距離画像を作成するための複数の画像は、撮像装置を移動させることによるアングルバリエ−ションに限定されるものではない。例えば、対象を含む被写体自体を回転させたり又は移動させたりして、撮像装置自体は定点に固定して取得する画像から距離画像を作成してもよい。また、撮像装置1のうちレンズ10や撮像素子11等の撮像系のみを移動させ、CPU17や画像処理部14は固定の演算装置等に備えてもよい。   Further, the plurality of images for creating the distance image is not limited to the angle variation by moving the imaging device. For example, the imaging device itself may create a distance image from an image acquired by fixing or moving the subject including the target to a fixed point. Further, only the imaging system such as the lens 10 and the imaging element 11 in the imaging device 1 may be moved, and the CPU 17 and the image processing unit 14 may be provided in a fixed arithmetic device or the like.

また、対象を含む被写体の回転等と撮像装置の移動とを併用して、異なるアングルからの画像取得としてもよい。また、距離画像の作成には、いわゆるステレオカメラによる取得画像を用いてもよく、単眼カメラによる取得画像を複数枚用いてもよい。また、その他の公知な手法により距離画像を作成してもよい。   Moreover, it is good also as image acquisition from a different angle, using together the rotation of the to-be-photographed object including a target, and the movement of an imaging device. In creating the distance image, an acquired image obtained by a so-called stereo camera may be used, or a plurality of acquired images obtained by a monocular camera may be used. Further, the distance image may be created by other known methods.

また、実施形態に用いる動的輪郭抽出法は、Snakes法に限らず、いわゆるレベルセット法を用いることとしてもよい。また、その他の公知な動的輪郭抽出法を用いる事としてもよい。典型的には、画像中の対象のエッジを抽出し、そのまわりに設定した輪郭を時間的に動かすことで、対象の正確な輪郭を抽出するその他の方法を用いてもよい。   The active contour extraction method used in the embodiment is not limited to the Snakes method, and a so-called level set method may be used. Other known active contour extraction methods may be used. Typically, other methods of extracting the exact contour of the object by extracting the edge of the object in the image and moving the contour set around it in time may be used.

また、撮像装置1が用いる動的輪郭抽出法は、その処理プログラムやアルゴリズム等の構成を変えることにより、初期輪郭閉曲線を広げながら最適輪郭を探索する処理を行わせることも可能である。   In addition, the dynamic contour extraction method used by the imaging apparatus 1 can perform processing for searching for an optimal contour while expanding the initial contour closed curve by changing the configuration of the processing program, algorithm, and the like.

しかし、初期輪郭閉曲線の内側に対象となる輪郭が存在するとして、初期輪郭閉曲線を内側に狭めながら、最適な輪郭を抽出していく動的輪郭抽出法を用いることが、迅速かつ正確な輪郭抽出処理を行う上でさらに好ましい。   However, assuming that the target contour exists inside the initial contour closed curve, the dynamic contour extraction method that extracts the optimal contour while narrowing the initial contour closed curve to the inner side can be used for quick and accurate contour extraction. It is further preferable when processing is performed.

撮像装置1は、スナップ写真のように背景が複雑な画像であっても、適切な初期輪郭位置を与えることができるので動的輪郭抽出処理により、適切かつ正確な輪郭の抽出を迅速に処理できる。   The imaging apparatus 1 can provide an appropriate initial contour position even for an image with a complicated background such as a snapshot, so that an accurate and accurate contour extraction can be quickly processed by dynamic contour extraction processing. .

この実施形態で説明する撮像装置1の構成と動作は、自明な範囲で適宜変更して使用することができる。   The configuration and operation of the imaging device 1 described in this embodiment can be used by appropriately changing within a self-evident range.

本発明は、撮像装置や撮像画像中の対象の輪郭をモニタ−する車載用の画像処理装置、医療用の画像処理装置、監視用装置やその他の画像処理装置等に利用することができる。また、産業用ロボット等の被写体認識が必要な視覚システム等に利用できる。   The present invention can be used for an imaging device, an in-vehicle image processing device that monitors the contour of an object in a captured image, a medical image processing device, a monitoring device, and other image processing devices. Moreover, it can be used for a visual system that requires object recognition, such as an industrial robot.

本発明にかかる撮像装置の構成概念図1 is a conceptual diagram of a configuration of an imaging apparatus according to the present invention. 動的輪郭抽出法の説明概念図Conceptual diagram of the active contour extraction method 複数の画像取得の説明概念図Conceptual diagram of multiple image acquisition 通常の撮像画像の説明概念図Description conceptual diagram of normal captured image 初期輪郭閉曲線と輪郭の説明概念図Conceptual diagram of initial contour closed curve and contour explanation 対象の抽出と距離画像による輪郭の説明概念図Conceptual illustration of the outline of the object extraction and distance image 撮像装置の輪郭抽出フロ−を説明する概念図Conceptual diagram for explaining the contour extraction flow of the imaging apparatus レベルセット法による輪郭抽出の説明概念図Conceptual diagram of contour extraction by level set method

符号の説明Explanation of symbols

1・・撮像装置、10・・レンズ、11・・撮像素子、12・・CDS部、13・・A/D変換部、14・・画像処理部、14a・・AWB演算部、14b・・距離画像生成部、14c・・初期輪郭生成部、14d・・動的輪郭抽出部、15・・表示部、16・・RAM、17・・CPU、17a・・検出部、17b・・AF演算部、18・・操作部、19・・フラッシュメモリ、1a・・カ−ドインタ−フェ−ス、1b・・メモリカ−ド、1c・・外部インタ−フェ−ス DESCRIPTION OF SYMBOLS 1 ... Image pick-up device, 10 ... Lens, 11 ... Image sensor, 12 ... CDS part, 13 ... A / D conversion part, 14 ... Image processing part, 14a ... AWB calculating part, 14b ... Distance Image generating unit, 14c... Initial contour generating unit, 14d... Dynamic contour extracting unit, 15... Display unit, 16. 18..Operation unit, 19..Flash memory, 1a..Card interface, 1b.Memory card, 1c..External interface

Claims (4)

撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、
前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
を備えることを特徴とする画像処理装置。
A distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device;
An initial contour generation unit that extracts a contour of the target at the desired distance from the generated distance image and generates an initial contour closed curve;
An image processing apparatus comprising: a dynamic contour extraction unit that extracts a contour of a target at the desired distance by a dynamic contour extraction method using an initial contour closed curve generated by the initial contour generation unit as an initial position. .
撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、
前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
を備えることを特徴とする撮像装置。
A distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an image sensor;
An initial contour generation unit that extracts a contour of a target at the desired distance from the generated distance image and generates an initial contour closed curve;
An imaging apparatus comprising: a dynamic contour extraction unit that extracts a contour of an object at the desired distance by a dynamic contour extraction method using an initial contour closed curve generated by the initial contour generation unit as an initial position.
撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から前記所望の距離にある対象の輪郭を抽出する方法であって、
前記複数の画像から距離画像を生成する工程と、
生成した前記距離画像により前記所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、
生成した前記初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する工程と
を有することを特徴とする撮像画像中の対象の輪郭抽出方法。
A method for extracting a contour of a target at a desired distance from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device,
Generating a distance image from the plurality of images;
Extracting a contour of the object at the desired distance from the generated distance image to generate an initial contour closed curve; and
A method for extracting a contour of a target in a captured image, comprising: extracting a contour of a target at the desired distance by a dynamic contour extraction method using the generated initial contour closed curve as an initial position.
動的輪郭抽出法の初期位置として用いる初期輪郭閉曲線を設定する方法において、
輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する前記被写体の輪郭を、前記初期輪郭閉曲線として設定する
ことを特徴とする動的輪郭抽出法の初期輪郭閉曲線設定方法。
In the method of setting the initial contour closed curve used as the initial position of the dynamic contour extraction method,
The initial contour of the dynamic contour extraction method is characterized in that the contour of the subject generated from a distance image based on a plurality of images obtained by imaging the subject to be contour extracted from different angles is set as the initial contour closed curve. Contour closed curve setting method.
JP2007167581A 2007-06-26 2007-06-26 Outline extraction method and image processing apparatus therefor Withdrawn JP2009009206A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007167581A JP2009009206A (en) 2007-06-26 2007-06-26 Outline extraction method and image processing apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007167581A JP2009009206A (en) 2007-06-26 2007-06-26 Outline extraction method and image processing apparatus therefor

Publications (1)

Publication Number Publication Date
JP2009009206A true JP2009009206A (en) 2009-01-15

Family

ID=40324250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007167581A Withdrawn JP2009009206A (en) 2007-06-26 2007-06-26 Outline extraction method and image processing apparatus therefor

Country Status (1)

Country Link
JP (1) JP2009009206A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282268A (en) * 2009-06-02 2010-12-16 Konica Minolta Medical & Graphic Inc Contour extraction device and program
JP2013182330A (en) * 2012-02-29 2013-09-12 Canon Inc Image processor and image processing method
US9142864B2 (en) 2010-11-15 2015-09-22 Amprius, Inc. Electrolytes for rechargeable batteries
US9231243B2 (en) 2009-05-27 2016-01-05 Amprius, Inc. Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries
CN115249020A (en) * 2021-04-26 2022-10-28 天津工业大学 An RFID target imaging method based on dynamic selection of initial contour

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9231243B2 (en) 2009-05-27 2016-01-05 Amprius, Inc. Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries
US10461359B2 (en) 2009-05-27 2019-10-29 Amprius, Inc. Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries
JP2010282268A (en) * 2009-06-02 2010-12-16 Konica Minolta Medical & Graphic Inc Contour extraction device and program
US9142864B2 (en) 2010-11-15 2015-09-22 Amprius, Inc. Electrolytes for rechargeable batteries
US10038219B2 (en) 2010-11-15 2018-07-31 Amprius, Inc. Electrolytes for rechargeable batteries
JP2013182330A (en) * 2012-02-29 2013-09-12 Canon Inc Image processor and image processing method
CN115249020A (en) * 2021-04-26 2022-10-28 天津工业大学 An RFID target imaging method based on dynamic selection of initial contour

Similar Documents

Publication Publication Date Title
KR101679290B1 (en) Image processing method and apparatus
JP6049448B2 (en) Subject area tracking device, control method thereof, and program
JP4848965B2 (en) Imaging device
JP6800628B2 (en) Tracking device, tracking method, and program
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2013228930A (en) Subject area detection device, method and program for controlling the same, imaging device and display device
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
JP2009123081A (en) Face detection method and photographing apparatus
JP2009009206A (en) Outline extraction method and image processing apparatus therefor
JP2019175112A (en) Image processing device, photographing device, image processing method, and program
JP2013152643A (en) Image processing apparatus, image processing method, and program
WO2012014946A1 (en) Image processing device and image processing program
JP6087615B2 (en) Image processing apparatus and control method therefor, imaging apparatus, and display apparatus
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP5329940B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JP2009244944A (en) Image-recovering apparatus and photographing apparatus
JP2013218393A (en) Imaging device
JP2016081095A (en) Subject tracking device, control method thereof, imaging device, display device, and program
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
JP2013157675A (en) Imaging device, method for controlling the same, program, and storage medium
JP5247419B2 (en) Imaging apparatus and subject tracking method
JP4668863B2 (en) Imaging device
JP5928024B2 (en) Image processing apparatus, image processing method, and program
JP2009027437A (en) Image processing apparatus, image processing method, and imaging apparatus
JP6776532B2 (en) Image processing equipment, imaging equipment, electronic devices and image processing programs

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100907