JP2009009206A - Outline extraction method and image processing apparatus therefor - Google Patents
Outline extraction method and image processing apparatus therefor Download PDFInfo
- Publication number
- JP2009009206A JP2009009206A JP2007167581A JP2007167581A JP2009009206A JP 2009009206 A JP2009009206 A JP 2009009206A JP 2007167581 A JP2007167581 A JP 2007167581A JP 2007167581 A JP2007167581 A JP 2007167581A JP 2009009206 A JP2009009206 A JP 2009009206A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- image
- initial
- distance
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】 本発明は、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な撮像装置等及びその輪郭抽出方法を提供することを目的とする。
【解決手段】 撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備える撮像装置とする。
【選択図】 図1PROBLEM TO BE SOLVED: To provide an imaging apparatus and the like and an outline extraction method thereof capable of easily performing a quick and accurate dynamic outline extraction method.
A distance image generation unit that generates a distance image from a plurality of images obtained by imaging an object at a desired distance from different angles by an image sensor, and an outline of the object at a desired distance by the generated distance image And an initial contour generation unit that generates an initial contour closed curve, and an initial contour closed curve generated by the initial contour generation unit as an initial position, and a dynamic contour extraction method that extracts a contour of a target at a desired distance The imaging device includes an outline extraction unit.
[Selection] Figure 1
Description
本発明は、撮像画像中の対象の輪郭を抽出する方法、その撮像装置及び画像処理装置等に関する。 The present invention relates to a method for extracting a contour of an object in a captured image, an imaging apparatus, an image processing apparatus, and the like.
撮像装置により撮像して得られた画像中の人物等の輪郭を抽出する方法は、種々のものが知られている。例えば、適当な閾値で画像を二値化することにより、特定のエッジ等を抽出する方法もその一つである。 Various methods for extracting the contour of a person or the like in an image obtained by imaging with an imaging device are known. For example, a method of extracting a specific edge or the like by binarizing the image with an appropriate threshold is one of them.
また、M.Kassらによって提案された動的輪郭抽出法では、より正確な輪郭を求めるために対象を含む閉曲線を初期位置として与え、その閉曲線上の画素の値等を用いてエネルギ−等の評価関数を定義する。そして、各画素でのその評価関数の和が最小となるように閉曲線の位置を修正し、変化させる等により、対象の輪郭に最も近い最小解を求める。 In addition, in the active contour extraction method proposed by M. Kass et al., A closed curve including an object is given as an initial position in order to obtain a more accurate contour, and energy values and the like are obtained using pixel values on the closed curve. Define an evaluation function. Then, the position of the closed curve is corrected and changed so that the sum of the evaluation functions at each pixel is minimized, and the minimum solution closest to the target contour is obtained.
このような、動的輪郭抽出方法の例は、特開平10−11588等に開示されている。また、ステレオ画像から距離画像を統合する方法等について、特開平8−313212等に開示されている。
動的輪郭抽出法においては、初期位置としての閉曲線の設定如何によっては、正しい輪郭が得られなかったり、輪郭の抽出に相当の時間を要するという問題があった。 The dynamic contour extraction method has a problem that a correct contour cannot be obtained or a considerable time is required for contour extraction depending on the setting of the closed curve as the initial position.
また、画像中の輪郭を抽出する目的となる対象物の周囲を手入力等により指定し、それを初期位置として動的輪郭抽出法を行おうとすると、煩雑な人的入力作業が必要とされる。 Also, if the periphery of the target object for extracting the contour in the image is specified by manual input or the like and the dynamic contour extraction method is to be performed with the initial position as the initial position, a complicated human input operation is required. .
本発明は、このような事情に鑑み、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な画像処理装置等及びその輪郭抽出方法を提供することを目的とする。 In view of such circumstances, an object of the present invention is to provide an image processing apparatus and the like and an outline extraction method thereof that can easily perform a quick and accurate dynamic outline extraction method.
本発明にかかる画像処理装置は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。 An image processing apparatus according to the present invention includes a distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device, and a desired distance based on the generated distance image. The contour of the target at a desired distance by the dynamic contour extraction method, with the initial contour generating unit that extracts the contour of the target at the initial position and the initial contour closed curve generated by the initial contour generating unit as the initial position And an active contour extraction unit for extracting.
また、本発明にかかる撮像装置は、撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。 In addition, an imaging apparatus according to the present invention includes a distance image generation unit that generates a distance image from a plurality of images obtained by imaging an object at a desired distance from different angles by an imaging element, and a desired distance image generated by the generated distance image. The contour of the target at a distance is extracted, and an initial contour generation unit that generates an initial contour closed curve, and the initial contour closed curve generated by the initial contour generation unit is used as an initial position of the target at a desired distance by the dynamic contour extraction method. And a dynamic contour extracting unit that extracts a contour.
また、本発明にかかる撮像画像中の対象の輪郭抽出方法は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から所望の距離にある対象の輪郭を抽出する方法であって、複数の画像から距離画像を生成する工程と、生成した距離画像により所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、生成した初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する工程とを有することを特徴とする。 In addition, the contour extraction method for a target in a captured image according to the present invention extracts a contour of a target at a desired distance from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device. A method of generating a distance image from a plurality of images, extracting a contour of a target at a desired distance from the generated distance image to generate an initial contour closed curve, and initializing the generated initial contour closed curve And a step of extracting a contour of a target at a desired distance by a dynamic contour extraction method as a position.
また、本発明にかかる動的輪郭抽出法の初期輪郭閉曲線設定方法は、動的輪郭抽出法の初期位置として用いる初期輪郭閉曲線を設定する方法であって、輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する被写体の輪郭を、初期輪郭閉曲線として設定することを特徴とする。 The initial contour closed curve setting method of the dynamic contour extraction method according to the present invention is a method of setting an initial contour closed curve used as an initial position of the dynamic contour extraction method, wherein the subject to be contour extracted is set to a different angle. A contour of a subject generated from a distance image obtained by imaging a plurality of images is set as an initial contour closed curve.
この発明により、撮像画像中の所望の対象の輪郭を迅速かつ正確に抽出可能となり、またその抽出過程で猥雑な手作業も不要とできる。 According to the present invention, it is possible to quickly and accurately extract the contour of a desired object in a captured image, and it is possible to eliminate complicated manual work in the extraction process.
図1は、実施形態にかかる撮像装置1の全体構成について概念的に説明するブロック図である。この撮像装置1のレンズ10は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するVR(Vibration Reduction)レンズから構成される。
FIG. 1 is a block diagram conceptually illustrating the overall configuration of the
レンズ10は、CPU17からの指示により、不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ10の位置は、不図示のレンズ位置検出器によりその位置が検出され、CPU17によりフィ−ドバック制御される。
The
レンズ10は、撮像素子11の撮像面に被写体像を結像させる。撮像素子11は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子11は、CMOSやCCD等の固体撮像素子を用いる。
The
また、撮像素子11は、CPU17が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。
Further, the
また、レンズ10と撮像素子11との間には、不図示の絞りが設けられ、CPU17により演算された適切な露出(自動露出AE:Auto Exposure)が指示され、調整される。
In addition, a diaphragm (not shown) is provided between the
撮像素子11やレンズ10等の撮像系は、ステレオカメラによる画像取得をする場合には、被写体に対して異なるアングルで複数セット設けることとしてもよい。
A plurality of image pickup systems such as the
撮像素子11から出力される電気信号は、アナログ信号のままCDS部12に入力されCDS(Correlated Double Sampling)処理によりノイズの低減処理がされる。CDS部12でのノイズ低減処理の後、不図示のAGC部でゲインの調整がされる。また、A/D変換部13では、アナログ信号からディジタル信号へと変換処理される。
The electrical signal output from the
ディジタル変換処理された画像デ−タは、画像処理部14に入力される。撮像素子11にCMOSを用いる場合には、CDS部12とA/D変換部13等は、撮像素子11に組み込まれる場合もある。
The digitally converted image data is input to the
画像処理部14は、中央演算装置であるCPU17からの指示に従い、A/D変換部13から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理(ガンマ補正)等の様々な画像処理の演算を行う。
The
また、画像処理部14が備えるAWB(Auto White Balance)演算部14aでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。
An AWB (Auto White Balance)
画像処理部14で行われる種々の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ19等に予め記録されており、CPU17からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。
Algorithms and parameters necessary for various image processing performed in the
また、画像処理部14は、撮像素子11から取り込んだ撮像画像から距離画像を生成する距離画像生成部14bを備える。CPU17は、距離画像生成部14bに、同一の対象を異なるアングルで撮像した二以上の撮像画像から距離画像を作成させる。
In addition, the
また、画像処理部14は、距離画像生成部14bが生成した距離画像から、所望の距離にある対象を抽出し、初期輪郭を抽出する初期輪郭生成部14cを備える。CPU17は、初期輪郭生成部14cに、距離画像から対象となる被写体が位置する距離範囲に対応してその輪郭を抽出させる。
Further, the
また、画像処理部14は、初期輪郭生成部14cが抽出した輪郭を初期位置の閉曲線として、動的輪郭抽出法による輪郭抽出処理をする動的輪郭抽出部14dを備える。すなわちCPU17は、動的輪郭抽出部14dに、初期輪郭生成部14cが抽出した輪郭を初期輪郭閉曲線として動的輪郭抽出法による演算処理を行わせ、その輪郭を作成させる。
In addition, the
画像処理部14で演算処理された画像デ−タは、RAM16等に一時記録することができる。RAM16は外付けのメモリとして構成してもよい。RAM16に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。
The image data calculated by the
また、画像処理部14での処理負荷が大きい場合には、画像処理部14や後述するCPU17の機能の一部を、例えば専用の演算処理装置やコンピュ−タ等に行わせることとして、撮像装置1をシステム構成してもよい。
Further, when the processing load on the
また、画像処理部14は、RAM16や不図示のレジスタをバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部14は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。
The
例えば、距離画像生成部14bが、距離画像の生成に異なるアングルから撮像した二枚の画像を用いる場合には、CPU17の指示により、第一の画像をRAM16等に一時格納しておく。そして、距離画像生成部14bは、その後に撮像素子11から取得した第二の画像と、RMA16等から読み出した第一の画像とから距離画像を生成することとできる。
For example, when the distance image generation unit 14b uses two images captured from different angles for generation of the distance image, the first image is temporarily stored in the
また、撮像装置1全体の撮像動作シ−ケンスについての制御はCPU17からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部18からの操作信号も、CPU17に入力され処理される。
Further, the control of the imaging operation sequence of the
操作部18は、撮像装置1の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部15に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。
The
さらに、カ−ドインタ−フェ−ス1aを介してメモリカ−ド1b等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス1cを介して、撮像装置1内の画像デ−タや処理プログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。画像処理部14等を別体として撮像装置1をシステム構成する場合には、カ−ドインタ−フェ−ス1aや外部インタ−フェ−ス1cや図示しない通信ポ−ト等により、処理対象となる画像デ−タを演算処理装置等に送信等して処理させることができる。
Furthermore, it is also possible to store various electronic information relating to image data and image processing in the memory card 1b or the like via the card interface 1a. In addition, the image data, processing program, and the like in the
また、表示部15には、処理した画像を表示して撮像装置1のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。
The
また、表示部15にタッチパネル等を用いることで、入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部15は操作部18の一部としても機能する。
Moreover, it can also be set as the structure in which input operation is possible by using a touch panel etc. for the
表示部15は、LCDや有機EL、無機EL等の各種表示デバイスで構成できる。表示部15は、RAM16やメモリカ−ド1bに記録されている画像デ−タや、外部インタ−フェ−ス1c等を通じて外部の撮像装置や演算処理装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。また、撮像装置1をシステム構成する場合には、表示部15を画像処理部14等とは別体のモニタ−専用装置等として構成してもよい。
The
撮像装置1のCPU17は、AF演算部17bを備え、撮像素子11で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ10を制御する。また、CPU17は、撮像した画像の中に人物の顔があるかないかを検出する検出部17aを備える。
The
検出部17aは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を2次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。
The
また、AF演算部17bが行う自動焦点の演算は、撮像画像の中の所定の5個所又は9個所について行う。そして、検出部17aにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行うこととできる。
Further, the autofocus calculation performed by the
また、人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。また、撮像画像の中心位置を占める人物の顔について自動焦点合せを行う。この場合に、撮像装置1は、例えば中心位置を占める人物を距離画像からの抽出対象として自動的に認識し、初期輪郭生成部14cがその人物の輪郭を生成することとしてもよい。
When a plurality of human faces are detected, automatic focusing is performed on the closest face or the face having the largest area in the captured image. Further, automatic focusing is performed on the face of the person who occupies the center position of the captured image. In this case, for example, the
次に、動的輪郭抽出部14dが行う動的輪郭抽出処理について図2を用いて説明する。図2において、人物画像21が輪郭を抽出しようとする対象である。
Next, the dynamic contour extraction process performed by the dynamic contour extraction unit 14d will be described with reference to FIG. In FIG. 2, a
Snakes法等による動的輪郭抽出法では、対象となる人物画像21の周囲に初期輪郭閉曲線22を設定する必要がある。この初期輪郭閉曲線22は、例えばタッチペンやマウス入力により、表示部15等の表示画面から手動で与えてやることも可能である。
In the active contour extraction method using the Snakes method or the like, it is necessary to set an initial contour closed
初期輪郭閉曲線22は、可能な限り正確に対象を捉えてその近くに設定することが好ましい。撮像装置1においては、初期輪郭閉曲線22が、後述する距離画像等により自動的に与えられるので正確であり、煩雑な入力手間を低減可能である。
The initial contour closed
動的輪郭抽出部14dは、初期輪郭閉曲線22を狭めながら、初期輪郭閉曲線22上の各画素におけるエネルギ−等が最小となる最小解等を求めることにより、正確な輪郭23を求めることができる。ここで、初期輪郭閉曲線22上の複数のプロットは、輪郭を時間的に動かす際の制御点である。
The dynamic contour extraction unit 14d can obtain the
次に、Snakes法による動的輪郭抽出法について簡単に説明する。この方法は、アクティブカンタ−モデル(Active Contour Models)を用いて物体の輪郭を抽出するものである。 Next, the active contour extraction method by the Snakes method will be briefly described. In this method, the contour of an object is extracted using an active contour model.
この方法では、画像上の対象について、その周りに設定した初期輪郭閉曲線のエネルギ−最小化手法によって、アクティブカンタ−モデル(「Snakes : Active Contour Models」,IJCV vol.1(No.3),pp.321-331,(1988)等)を変化させる。このような方法においては、その後、輪郭抽出が正確に行えるかどうかは、初期輪郭閉曲線22の設定が正確であるかどうかに大きく依存することが知られている。
In this method, the active contour model ("Snakes: Active Contour Models", IJCV vol.1 (No.3), pp. .321-331, (1988) etc.). In such a method, it is known that whether or not the contour can be accurately extracted thereafter largely depends on whether or not the initial contour closed
この点、撮像装置1では、距離画像により初期輪郭生成部14cが生成した初期輪郭閉曲線22を与えることが可能であり、手動入力等による初期位置よりも、遥かに迅速かつ正確に設定することが可能となる。
In this regard, the
また、同様にアクティブカンタ−モデルを用いるグロウィングスネ−ク法(growing snake method:0lof Henricsson and Walter Neuenschwander,In Proc.ICPR,pp68-73,1994等)を適用してもよい。 Similarly, a growing snake method (growing snake method: 0lof Henricsson and Walter Neuenschwander, In Proc. ICPR, pp 68-73, 1994, etc.) using an active canter model may be applied.
また、動的輪郭抽出部14dは、撮像素子11から取得した動画像において、エッジ画像に基づいてエッジの部分が他の部分よりも低いエネルギ−とされるよう、画像のエネルギ−の高低によってエッジを表現するポテンシャル画像を生成してもよい。
In addition, the dynamic contour extraction unit 14d performs edge detection based on the level of the energy of the image so that the edge portion has lower energy than other portions based on the edge image in the moving image acquired from the
そして、動的輪郭抽出部14dは、設定されたアクティブカンタ−モデルの初期位置(初期輪郭閉曲線22に相当)を、生成されたポテンシャル画像にそのエネルギ−が低く(エッジ部分)なるように追跡させてもよい。動画像の場合には、対象となる被写体が常に画像中に存在することが好ましいが、仮に画像中から対象が消滅しても再度出現した際には、改めて初期輪郭閉曲線22を設定することとしてもよい。
Then, the active contour extraction unit 14d causes the generated potential image to track the initial position of the set active canter model (corresponding to the initial contour closed curve 22) so that the energy is low (edge portion). May be. In the case of a moving image, it is preferable that the target subject is always present in the image. However, if the target disappears from the image again and appears again, the initial contour closed
また、上述のグロウィングスネ−ク法や動画像の場合には、初期輪郭生成部14cが作成する初期輪郭閉曲線22上の任意の点(又は画素)を初期位置として演算処理してもよい。
Further, in the case of the above-described glow snake method or moving image, calculation processing may be performed using an arbitrary point (or pixel) on the initial contour closed
図3は、距離画像生成部14bが、距離画像を生成する際に用いる複数の画像の取得について説明する概念図である。被写体となる対象31に対して、第一の撮像装置32と、第二の撮像装置33との二つのアングルから、いわゆるステレオ画像を取得する。
FIG. 3 is a conceptual diagram illustrating acquisition of a plurality of images used when the distance image generation unit 14b generates a distance image. A so-called stereo image is acquired from two angles of the
第一の撮像装置32と第二の撮像装置33とは、同一の撮像装置1を用いてもよい。すなわち、この場合には一つの撮像装置1を移動させることで、二つの異なるアングルから被写体31を撮像する。また、撮像装置1は、二つの異なるアングルからだけではなく、移動させながら順次複数の画像を取得してもよく、また、移動させながら動画像を取得してもよい。
The
距離画像生成部14bは、撮像装置1の移動角度(アングル)と、その結果得られる画像の視差量とから、対象となる被写体等の距離を算出することが可能となる。これについて、図4と図5を用いて説明する。
The distance image generation unit 14b can calculate the distance of the subject to be detected from the movement angle (angle) of the
図4は、通常の単眼カメラで被写体となる対象31を撮像した概念図である。この場合には、被写体となる対象31の他に、画像41中に背景42や背景43が混在する。また、背景42や背景43も、各々その輪郭を有しエッジ部分を有し、各々の輪郭を個別に区別することは困難である。
FIG. 4 is a conceptual diagram in which an
このため、画像処理部14が、この状態のまま対象31の輪郭を抽出しようとしても、誤差を多く含んだり、過誤となる対象について輪郭抽出したりすることが懸念され、正確な輪郭の抽出を期待できない。
For this reason, even if the
一方、図3に示すように、取得したステレオ画像等による視差量から距離を算出すると、かなり正確な対象の特定が可能となる。典型的には、距離画像生成部14bが、幾何学模様等のパタ−ンマッチング(テンプレ−トマッチング)による対応付けによる視差量に基づき、遠方は黒色とし距離が近い程白色のグラデ−ション画像(距離画像)を作成し、距離情報を重畳させた画像を作成する。この際、距離画像生成部14bは、算出された視差量の有効性を、画像中の隣接画素間の輝度差によって評価してもよい。 On the other hand, as shown in FIG. 3, if the distance is calculated from the amount of parallax obtained from the acquired stereo image or the like, it becomes possible to specify the target fairly accurately. Typically, the distance image generation unit 14b is based on the amount of parallax associated with pattern matching (template matching) such as a geometric pattern, and the gradation image is whiter as the distance is black and the distance is shorter. (Distance image) is created, and an image in which distance information is superimposed is created. At this time, the distance image generation unit 14b may evaluate the validity of the calculated amount of parallax based on a luminance difference between adjacent pixels in the image.
このようにして、特定の距離範囲に存在する被写体となる対象31のみを抽出することが可能となる。図5は、被写体となる対象の抽出と距離画像による輪郭の説明概念図を示すものである。
In this way, it is possible to extract only the
このようにして得た距離画像は、それのみではノイズや欠落部分が存在する場合が多い。特に、テンプレ−トマッチング等を用いると、その大きさに依存する位置の不確定性が顕在化する傾向が生じる。 The distance image obtained in this way often has noise or missing parts. In particular, when template matching or the like is used, there is a tendency that the uncertainty of the position depending on the size becomes obvious.
画像52は、画像処理部14が、距離画像から所望の特定の距離範囲にある対象31のみを残し、その他を消去することで作成する。典型的には、所望の距離範囲の対象31をディジタル値“1”とし、その他をディジタル値“0”として2値化したディジタル処理により作成する。
The
対象31の選択や設定は、操作部18への入力により、撮像装置1からの距離範囲で指定することができる。また、表示部15等に表示される画面上で、対象31を確認しながら操作部18等からの入力操作により指定してもよい。
Selection or setting of the
また、画像52中の中心位置に存在する対象や、AF演算部17bがAFのタ−ゲットとする対象、検出部17aが検出する対象等を、輪郭を抽出する対象31とすることとしてもよい。画像処理部14は、指定された対象31と所定の距離範囲内にある被写体のみをディジタル処理による2値化で抽出する。
Further, a target existing at the center position in the
次に、初期輪郭生成部14cは、距離画像生成部14bが生成した距離画像から抽出された対象31の輪郭を抽出して初期輪郭閉曲線51を作成する。初期輪郭生成部14cは、対象31のみが存在する画像52について、対象31の輪郭を抽出するので、図4の画像41からの抽出に比べて正確な輪郭抽出が行える。
Next, the initial
典型的には、上述のように2値化したディジタル処理により抽出される対象31の境界画素を、エッジ抽出等に選択して輪郭とする。エッジ抽出は、例えば画素値の微分演算値等を用いて抽出処理してもよい。
Typically, the boundary pixels of the
次に、動的輪郭抽出部14dは、初期輪郭生成部14cが作成した初期輪郭閉曲線51を初期位置として、上述の動的輪郭抽出法を演算処理し、図6に示すように対象31の輪郭61を抽出する。図6は、初期輪郭閉曲線51と輪郭61の説明概念図を示すものである。
Next, the dynamic contour extraction unit 14d performs the above-described dynamic contour extraction method using the initial contour closed
上述するように、初期輪郭閉曲線51は、輪郭61に近い位置でかなり正確である。従って、その後動的輪郭抽出部14dで動的輪郭抽出法の適用をして演算する際に、迅速かつ正確な処理が行えることとなる。
As described above, the initial contour closed
図7は、撮像装置1の輪郭抽出フロ−を概念的に示すものである。既に、説明してきた処理と重複するので、図7を用いて下記に簡単に説明をする。
FIG. 7 conceptually shows the contour extraction flow of the
(ステップ71)
撮像装置1は、被写体となる対象31について2つの異なるアングルから画像を取得する。
(Step 71)
The
(ステップ72)
距離画像生成部14bは、ステップ71で取得した2つの異なるアングルの画像を用いて視差量を演算し、距離画像を作成する。距離画像生成部14bが、距離画像を作成することにより、画像処理部14は、特定の距離に位置する対象のみを抽出した画像52を作成する。
(Step 72)
The distance image generation unit 14b calculates the amount of parallax using the images of two different angles acquired in step 71, and creates a distance image. When the distance image generation unit 14b creates a distance image, the
(ステップ73)
初期輪郭生成部14cは、ステップ72で距離画像生成部14bが作成した被写体像の距離画像に基づく画像52を用いて、被写体の対象31の輪郭を抽出する。
(Step 73)
The initial
(ステップ74)
動的輪郭抽出部14dは、ステップ73で初期輪郭生成部14cが抽出した初期輪郭閉曲線51を初期位置として、動的輪郭抽出法による画像処理を実行する。この実行プログラムは、フラッシュメモリ19等に格納しておいて、CPU17の指示により適宜読み出して、動的輪郭抽出部14dが実行することとしてもよい。
(Step 74)
The dynamic contour extraction unit 14d executes image processing by the dynamic contour extraction method using the initial contour closed
動的輪郭抽出部14dは、例えば初期輪郭閉曲線51の形状に依存する演算値と、初期輪郭閉曲線51上の画素情報との和を評価値として、その評価値の最小解を探索する処理を行う。
The active contour extraction unit 14d performs a process of searching for a minimum solution of the evaluation value using, for example, a sum of a calculation value depending on the shape of the initial contour closed
典型的には、形状に依存する演算値は、初期輪郭閉曲線51の全周長や各画素での曲率の一周和などの線形和とする。このような線形和は、閉曲線が短く滑らかであるほど値が小さくなる。また、画像情報は、各画素での濃度勾配の絶対値の初期輪郭閉曲線51上での一周和とする。
Typically, the calculation value that depends on the shape is a linear sum such as the total perimeter of the initial contour closed
(ステップ75)
動的輪郭抽出部14dの抽出処理により、対象31の輪郭61が抽出される。抽出した輪郭61は、CPU17の指示により、表示部15に表示してもよいし、RAM16等に一時記憶しておいてもよい。また、画像処理部14で行う種々の画像処理に用いてもよい。
(Step 75)
The
なお、上述のステップ72における特定の距離に位置する対象のみを抽出した画像52の作成は、CPU17の指示により、距離画像生成部14bに処理させてもよい。
Note that the creation of the
次に、動的輪郭抽出部14dが、別異の動的輪郭抽出法による処理を行う場合について説明する。図8は、動的輪郭抽出部14dが処理する動的輪郭抽出法として、いわゆるレベルセット法を用いた場合の一例を示すものである。 Next, a case where the dynamic contour extraction unit 14d performs processing by a different dynamic contour extraction method will be described. FIG. 8 shows an example in which a so-called level set method is used as the dynamic contour extraction method processed by the dynamic contour extraction unit 14d.
動的輪郭抽出部14dがレベルセット法による動的輪郭抽出処理を実行すると、図8に示すように対象82a、82bが二つある場合においても、各々同時に独立した輪郭83a、83bを得ることが可能となる。
When the dynamic contour extraction unit 14d executes the dynamic contour extraction processing by the level set method, even when there are two
特に、被写体となる二つの対象が同じ距離範囲に近接して存在する場合には、距離画像生成部14bは、この二つの対象82aと対象82bを距離により分離して認識することができないことが懸念される。この場合には、初期輪郭生成部14cは、初期輪郭閉曲線として輪郭81を作成する。
In particular, in the case where two objects as subjects are close to the same distance range, the distance image generation unit 14b may not be able to recognize the two
図8(a)に示すように、輪郭81は、対象82aと対象82bとを切り分けできず、双方を包含する。レベルセット法にて動的輪郭処理を行う動的輪郭抽出部14は、このような輪郭81を初期輪郭閉曲線として処理しても、対象82a、対象82b各々についての輪郭83a、83bを個別に分離し、各々独立に算出することが可能であり好ましい。
As shown to Fig.8 (a), the
なお、レベルセット法に関する詳細は、種々の論文等により説明されている(例えばIEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp.402-407, March 2004等)のでここでは、それ自体の詳細説明を避ける。 Details regarding the level set method are explained in various papers (eg IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp. 402-407, March 2004, etc.). Avoid detailed description of itself.
実施形態において、距離画像を作成するための複数の画像は、対象となる被写体を異なるアングルから個別に撮像するものに限定されず、例えばアングルを変化させながら動画像を撮像して取得する画像であってもよい。この場合には、いわゆる因子分解法等の三次元復元手法によって距離画像を求めてもよい。 In the embodiment, the plurality of images for creating the distance image are not limited to images obtained by individually capturing the target subject from different angles, and are, for example, images obtained by capturing moving images while changing the angles. There may be. In this case, the distance image may be obtained by a three-dimensional restoration method such as a so-called factorization method.
また、実施形態の説明においては、二枚の画像から距離画像を作成することとしたが、これに限定されることはなく、任意の複数の画像から距離画像を作成してもよい。この場合には、より多くの画像を用いる程、距離画像の信頼性がより高くなるので好ましいこととなる。 In the description of the embodiment, the distance image is created from two images. However, the present invention is not limited to this, and the distance image may be created from an arbitrary plurality of images. In this case, it is preferable to use a larger number of images because the reliability of the distance image becomes higher.
また、距離画像を作成するための複数の画像は、撮像装置を移動させることによるアングルバリエ−ションに限定されるものではない。例えば、対象を含む被写体自体を回転させたり又は移動させたりして、撮像装置自体は定点に固定して取得する画像から距離画像を作成してもよい。また、撮像装置1のうちレンズ10や撮像素子11等の撮像系のみを移動させ、CPU17や画像処理部14は固定の演算装置等に備えてもよい。
Further, the plurality of images for creating the distance image is not limited to the angle variation by moving the imaging device. For example, the imaging device itself may create a distance image from an image acquired by fixing or moving the subject including the target to a fixed point. Further, only the imaging system such as the
また、対象を含む被写体の回転等と撮像装置の移動とを併用して、異なるアングルからの画像取得としてもよい。また、距離画像の作成には、いわゆるステレオカメラによる取得画像を用いてもよく、単眼カメラによる取得画像を複数枚用いてもよい。また、その他の公知な手法により距離画像を作成してもよい。 Moreover, it is good also as image acquisition from a different angle, using together the rotation of the to-be-photographed object including a target, and the movement of an imaging device. In creating the distance image, an acquired image obtained by a so-called stereo camera may be used, or a plurality of acquired images obtained by a monocular camera may be used. Further, the distance image may be created by other known methods.
また、実施形態に用いる動的輪郭抽出法は、Snakes法に限らず、いわゆるレベルセット法を用いることとしてもよい。また、その他の公知な動的輪郭抽出法を用いる事としてもよい。典型的には、画像中の対象のエッジを抽出し、そのまわりに設定した輪郭を時間的に動かすことで、対象の正確な輪郭を抽出するその他の方法を用いてもよい。 The active contour extraction method used in the embodiment is not limited to the Snakes method, and a so-called level set method may be used. Other known active contour extraction methods may be used. Typically, other methods of extracting the exact contour of the object by extracting the edge of the object in the image and moving the contour set around it in time may be used.
また、撮像装置1が用いる動的輪郭抽出法は、その処理プログラムやアルゴリズム等の構成を変えることにより、初期輪郭閉曲線を広げながら最適輪郭を探索する処理を行わせることも可能である。
In addition, the dynamic contour extraction method used by the
しかし、初期輪郭閉曲線の内側に対象となる輪郭が存在するとして、初期輪郭閉曲線を内側に狭めながら、最適な輪郭を抽出していく動的輪郭抽出法を用いることが、迅速かつ正確な輪郭抽出処理を行う上でさらに好ましい。 However, assuming that the target contour exists inside the initial contour closed curve, the dynamic contour extraction method that extracts the optimal contour while narrowing the initial contour closed curve to the inner side can be used for quick and accurate contour extraction. It is further preferable when processing is performed.
撮像装置1は、スナップ写真のように背景が複雑な画像であっても、適切な初期輪郭位置を与えることができるので動的輪郭抽出処理により、適切かつ正確な輪郭の抽出を迅速に処理できる。
The
この実施形態で説明する撮像装置1の構成と動作は、自明な範囲で適宜変更して使用することができる。
The configuration and operation of the
本発明は、撮像装置や撮像画像中の対象の輪郭をモニタ−する車載用の画像処理装置、医療用の画像処理装置、監視用装置やその他の画像処理装置等に利用することができる。また、産業用ロボット等の被写体認識が必要な視覚システム等に利用できる。 The present invention can be used for an imaging device, an in-vehicle image processing device that monitors the contour of an object in a captured image, a medical image processing device, a monitoring device, and other image processing devices. Moreover, it can be used for a visual system that requires object recognition, such as an industrial robot.
1・・撮像装置、10・・レンズ、11・・撮像素子、12・・CDS部、13・・A/D変換部、14・・画像処理部、14a・・AWB演算部、14b・・距離画像生成部、14c・・初期輪郭生成部、14d・・動的輪郭抽出部、15・・表示部、16・・RAM、17・・CPU、17a・・検出部、17b・・AF演算部、18・・操作部、19・・フラッシュメモリ、1a・・カ−ドインタ−フェ−ス、1b・・メモリカ−ド、1c・・外部インタ−フェ−ス
DESCRIPTION OF
Claims (4)
前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
を備えることを特徴とする画像処理装置。 A distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device;
An initial contour generation unit that extracts a contour of the target at the desired distance from the generated distance image and generates an initial contour closed curve;
An image processing apparatus comprising: a dynamic contour extraction unit that extracts a contour of a target at the desired distance by a dynamic contour extraction method using an initial contour closed curve generated by the initial contour generation unit as an initial position. .
前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
を備えることを特徴とする撮像装置。 A distance image generation unit that generates a distance image from a plurality of images obtained by imaging a target at a desired distance from different angles by an image sensor;
An initial contour generation unit that extracts a contour of a target at the desired distance from the generated distance image and generates an initial contour closed curve;
An imaging apparatus comprising: a dynamic contour extraction unit that extracts a contour of an object at the desired distance by a dynamic contour extraction method using an initial contour closed curve generated by the initial contour generation unit as an initial position.
前記複数の画像から距離画像を生成する工程と、
生成した前記距離画像により前記所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、
生成した前記初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する工程と
を有することを特徴とする撮像画像中の対象の輪郭抽出方法。 A method for extracting a contour of a target at a desired distance from a plurality of images obtained by imaging a target at a desired distance from different angles by an imaging device,
Generating a distance image from the plurality of images;
Extracting a contour of the object at the desired distance from the generated distance image to generate an initial contour closed curve; and
A method for extracting a contour of a target in a captured image, comprising: extracting a contour of a target at the desired distance by a dynamic contour extraction method using the generated initial contour closed curve as an initial position.
輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する前記被写体の輪郭を、前記初期輪郭閉曲線として設定する
ことを特徴とする動的輪郭抽出法の初期輪郭閉曲線設定方法。 In the method of setting the initial contour closed curve used as the initial position of the dynamic contour extraction method,
The initial contour of the dynamic contour extraction method is characterized in that the contour of the subject generated from a distance image based on a plurality of images obtained by imaging the subject to be contour extracted from different angles is set as the initial contour closed curve. Contour closed curve setting method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007167581A JP2009009206A (en) | 2007-06-26 | 2007-06-26 | Outline extraction method and image processing apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007167581A JP2009009206A (en) | 2007-06-26 | 2007-06-26 | Outline extraction method and image processing apparatus therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009009206A true JP2009009206A (en) | 2009-01-15 |
Family
ID=40324250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007167581A Withdrawn JP2009009206A (en) | 2007-06-26 | 2007-06-26 | Outline extraction method and image processing apparatus therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009009206A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010282268A (en) * | 2009-06-02 | 2010-12-16 | Konica Minolta Medical & Graphic Inc | Contour extraction device and program |
| JP2013182330A (en) * | 2012-02-29 | 2013-09-12 | Canon Inc | Image processor and image processing method |
| US9142864B2 (en) | 2010-11-15 | 2015-09-22 | Amprius, Inc. | Electrolytes for rechargeable batteries |
| US9231243B2 (en) | 2009-05-27 | 2016-01-05 | Amprius, Inc. | Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries |
| CN115249020A (en) * | 2021-04-26 | 2022-10-28 | 天津工业大学 | An RFID target imaging method based on dynamic selection of initial contour |
-
2007
- 2007-06-26 JP JP2007167581A patent/JP2009009206A/en not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9231243B2 (en) | 2009-05-27 | 2016-01-05 | Amprius, Inc. | Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries |
| US10461359B2 (en) | 2009-05-27 | 2019-10-29 | Amprius, Inc. | Interconnected hollow nanostructures containing high capacity active materials for use in rechargeable batteries |
| JP2010282268A (en) * | 2009-06-02 | 2010-12-16 | Konica Minolta Medical & Graphic Inc | Contour extraction device and program |
| US9142864B2 (en) | 2010-11-15 | 2015-09-22 | Amprius, Inc. | Electrolytes for rechargeable batteries |
| US10038219B2 (en) | 2010-11-15 | 2018-07-31 | Amprius, Inc. | Electrolytes for rechargeable batteries |
| JP2013182330A (en) * | 2012-02-29 | 2013-09-12 | Canon Inc | Image processor and image processing method |
| CN115249020A (en) * | 2021-04-26 | 2022-10-28 | 天津工业大学 | An RFID target imaging method based on dynamic selection of initial contour |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101679290B1 (en) | Image processing method and apparatus | |
| JP6049448B2 (en) | Subject area tracking device, control method thereof, and program | |
| JP4848965B2 (en) | Imaging device | |
| JP6800628B2 (en) | Tracking device, tracking method, and program | |
| US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
| JP2013228930A (en) | Subject area detection device, method and program for controlling the same, imaging device and display device | |
| US10404912B2 (en) | Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium | |
| JP2009123081A (en) | Face detection method and photographing apparatus | |
| JP2009009206A (en) | Outline extraction method and image processing apparatus therefor | |
| JP2019175112A (en) | Image processing device, photographing device, image processing method, and program | |
| JP2013152643A (en) | Image processing apparatus, image processing method, and program | |
| WO2012014946A1 (en) | Image processing device and image processing program | |
| JP6087615B2 (en) | Image processing apparatus and control method therefor, imaging apparatus, and display apparatus | |
| JP5539565B2 (en) | Imaging apparatus and subject tracking method | |
| JP5329940B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
| JP2009244944A (en) | Image-recovering apparatus and photographing apparatus | |
| JP2013218393A (en) | Imaging device | |
| JP2016081095A (en) | Subject tracking device, control method thereof, imaging device, display device, and program | |
| US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
| JP2013157675A (en) | Imaging device, method for controlling the same, program, and storage medium | |
| JP5247419B2 (en) | Imaging apparatus and subject tracking method | |
| JP4668863B2 (en) | Imaging device | |
| JP5928024B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2009027437A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP6776532B2 (en) | Image processing equipment, imaging equipment, electronic devices and image processing programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100907 |