JP2002208013A - Image region extraction device and image region extraction method - Google Patents
Image region extraction device and image region extraction methodInfo
- Publication number
- JP2002208013A JP2002208013A JP2001005008A JP2001005008A JP2002208013A JP 2002208013 A JP2002208013 A JP 2002208013A JP 2001005008 A JP2001005008 A JP 2001005008A JP 2001005008 A JP2001005008 A JP 2001005008A JP 2002208013 A JP2002208013 A JP 2002208013A
- Authority
- JP
- Japan
- Prior art keywords
- color
- color image
- image data
- normal distribution
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 66
- 238000005315 distribution function Methods 0.000 claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 239000000203 mixture Substances 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 入力用カラー画像データから抽出対象画像領
域を精度良く抽出する。
【解決手段】 複数のサンプル用カラー画像データＳＧ
と、入力用カラー画像データＩＧとを色・テクスチャ特
徴空間上に変換するカラー画像変換部２０と、カラー画
像変換部で変換した複数のサンプル用カラー画像データ
に対して予め指定した色とテクスチャとを持った領域の
色・テクスチャ特徴空間上での分布を混合正規分布関数
で近似させる混合正規分布演算部３０と、混合正規分布
演算部から出力した混合正規分布関数に、カラー画像変
換部で変換した入力用カラー画像データの色・テクスチ
ャ特徴空間上の値を代入して、混合正規分布関数の出力
値が予め設定した閾値より大きい値を有する画素領域を
入力用カラー画像中で前記指定した色とテクスチャとに
対応した抽出対象画像領域であると判定する領域抽出部
４０と、抽出対象画像領域を出力する抽出データ出力部
５０とを備える。
(57) [Summary] To accurately extract an extraction target image region from input color image data. SOLUTION: A plurality of sample color image data SG
A color image conversion unit 20 for converting the input color image data IG into a color / texture feature space; and a color and texture designated in advance for the plurality of sample color image data converted by the color image conversion unit. A normal distribution operation unit 30 for approximating the distribution of the region having the color / texture feature space on the color / texture feature space with the normal mixture distribution function, and a normal mixture function output from the normal mixture distribution operation unit are converted by the color image conversion unit. Substituting the values on the color / texture feature space of the input color image data into a pixel area having an output value of the mixture normal distribution function having a value greater than a preset threshold in the input color image. The image processing apparatus includes an area extraction unit 40 that determines an extraction target image area corresponding to an image and a texture, and an extraction data output unit 50 that outputs the extraction target image area.
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、カラー画像データ
の色情報と、テクスチャ（質感）情報とを用いて入力カ
ラー画像データから抽出対象画像領域を精度良く確実に
抽出できる画像領域抽出装置及び画像領域抽出方法に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image area extracting apparatus and an image area extracting apparatus capable of accurately and reliably extracting an image area to be extracted from input color image data using color information of color image data and texture (texture) information. It relates to an area extraction method.
【０００２】[0002]
【従来の技術】最近、電子スチルカメラ，ビデオカメラ
などを用いて、個人（ユーザー）が撮影したスチル画像
を、ディジタル画像データとしてパソコン上でデータベ
ース化することが盛んに行われている。ここで、スチル
画像に写っている人物をパソコン上のデータベースから
検索できると大変便利である。この際、スチル画像に写
っている人物を自動的に同定するためには、顔画像を用
いるのが最良である。顔画像で個人を同定するために
は、まず、顔画像領域を検出することが必要で、そのた
めには、肌色領域を抽出すると便利である。2. Description of the Related Art Recently, a still image captured by an individual (user) using an electronic still camera, a video camera, or the like has been actively converted into a database on a personal computer as digital image data. Here, it is very convenient if the person appearing in the still image can be searched from a database on a personal computer. At this time, it is best to use a face image in order to automatically identify the person appearing in the still image. In order to identify an individual from a face image, it is necessary to first detect a face image region, and for that purpose, it is convenient to extract a skin color region.
【０００３】例えば、特開平１０−２６９３６０号公報
には、画像領域抽出をより簡易且つ精密に行うことを目
的した画像領域抽出方法及び装置並びに画像処理装置が
開示されている。尚、詳細な説明は上記同号公報を参照
されたい。For example, Japanese Patent Application Laid-Open No. H10-269360 discloses an image area extraction method and apparatus and an image processing apparatus aiming at simpler and more precise image area extraction. For a detailed description, refer to the above publication.
【０００４】上記した特開平１０−２６９３６０号に開
示された従来の画像領域抽出方法及び装置並びに画像処
理装置では、自然カラー画像における所定の領域を抽出
対象として抽出する際に、抽出対象のサンプルデータを
色空間上の色空間分布に変換し、色空間分布の高明度側
から低明度側もしくは低明度側から高明度側にかけて明
度軸に沿い、且つ、色空間分布の中心近傍を通過するよ
うに複数の線分を設定して、各線分を主軸とする正規分
布関数で色空間分布を近似している。画素が抽出対象に
含まれる場合は、画素の色座標に対する各正規分布関数
の値が予め設定された閾値より大きい場合、画素が抽出
対象に含まれると判定することで、静止画像からの領域
抽出をより簡易且つ精密に行うことが可能である旨が記
載されている。In the conventional image area extracting method and apparatus and image processing apparatus disclosed in Japanese Patent Application Laid-Open No. 10-269360, when extracting a predetermined area in a natural color image as an extraction target, sample data to be extracted is Is converted into a color space distribution on the color space, and along the lightness axis from the high lightness side to the low lightness side or from the low lightness side to the high lightness side of the color space distribution, and passes near the center of the color space distribution. A plurality of line segments are set, and the color space distribution is approximated by a normal distribution function having each line segment as a main axis. If the pixel is included in the extraction target, and if the value of each normal distribution function for the color coordinates of the pixel is larger than a preset threshold, it is determined that the pixel is included in the extraction target, and the region extraction from the still image is performed. Can be performed more easily and precisely.
【０００５】[0005]
【発明が解決しようとする課題】ところで、上記した従
来の画像領域抽出方法及び装置並びに画像処理装置にお
いて、複数の自然カラー画像を入力した際に、照明の種
類が複数ある場合では、分布の形状が複雑になるので、
中心近傍を通る線分を主軸とする正規分布関数ではうま
く近似できず、求める抽出対象画像領域をうまく抽出で
きない。In the above-described conventional image area extracting method and apparatus and image processing apparatus, when a plurality of natural color images are input and there are a plurality of types of illumination, the distribution shape is not changed. Becomes complicated,
A normal distribution function whose main axis is a line passing through the vicinity of the center cannot be approximated well, and the extraction target image region to be obtained cannot be well extracted.
【０００６】また、自然カラー画像の色情報だけを用い
て抽出対象画像領域を抽出しているので、同一色で且つ
異なる抽出対象画像領域を分離することができないなど
の問題点が発生する。Further, since the extraction target image region is extracted using only the color information of the natural color image, there arises a problem that it is impossible to separate different extraction target image regions of the same color.
【０００７】そこで、カラー画像の色情報と、テクスチ
ャ（質感）情報とを用いて入力カラー画像データから抽
出対象画像領域を精度良く確実に抽出することで、上記
した問題点を解決することができる画像領域抽出装置及
び画像領域抽出方法が望まれている。Therefore, the above-mentioned problem can be solved by accurately and reliably extracting the image area to be extracted from the input color image data using the color information of the color image and the texture (texture) information. There is a need for an image region extraction device and an image region extraction method.
【０００８】[0008]
【課題を解決するための手段】本発明は上記課題に鑑み
てなされたものであり、第１の発明は、入力した複数の
サンプル用カラー画像データと、入力用カラー画像デー
タとをそれぞれ別々に色・テクスチャ特徴空間上に変換
するカラー画像変換部と、前記カラー画像変換部で変換
した複数のサンプル用カラー画像データに対して予め指
定した色とテクスチャとを持った領域の色・テクスチャ
特徴空間上での分布を混合正規分布関数で近似させて、
この混合正規分布関数を出力する混合正規分布演算部
と、前記混合正規分布演算部から出力した前記混合正規
分布関数に、前記カラー画像変換部で変換した入力用カ
ラー画像データの色・テクスチャ特徴空間上の値を代入
して、前記混合正規分布関数の出力値が予め設定した閾
値より大きい値を有する画素領域を入力用カラー画像中
で前記指定した色とテクスチャとに対応した抽出対象画
像領域であると判定する領域抽出部と、前記領域抽出部
で判定した前記抽出対象画像領域を出力する抽出データ
出力部とを具備したことを特徴とする画像領域抽出装置
である。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and a first invention is to separately input a plurality of sample color image data and input color image data. A color image conversion unit for converting into a color / texture feature space, and a color / texture feature space for an area having a color and texture designated in advance for the plurality of sample color image data converted by the color image conversion unit By approximating the distribution above with a mixture normal distribution function,
A mixed normal distribution operation unit for outputting the mixed normal distribution function, and a color / texture feature space of input color image data converted by the color image conversion unit to the mixed normal distribution function output from the mixed normal distribution operation unit By substituting the above values, a pixel region in which the output value of the mixed normal distribution function has a value larger than a preset threshold value is extracted in the input color image by the extraction target image region corresponding to the specified color and texture. An image region extracting apparatus, comprising: a region extracting unit that determines that there is a region; and an extraction data output unit that outputs the extraction target image region determined by the region extracting unit.
【０００９】また、第２の発明は、入力した複数のサン
プル用カラー画像データと、入力用カラー画像データと
をそれぞれ別々に色・テクスチャ特徴空間上に変換する
カラー画像変換ステップと、前記カラー画像変換ステッ
プで変換した複数のサンプル用カラー画像データに対し
て予め指定した色とテクスチャとを持った領域の色・テ
クスチャ特徴空間上での分布を混合正規分布関数で近似
させて、この混合正規分布関数を出力する混合正規分布
演算ステップと、前記混合正規分布演算ステップから出
力した前記混合正規分布関数に、前記カラー画像変換ス
テップで変換した入力用カラー画像データの色・テクス
チャ特徴空間上の値を代入して、前記混合正規分布関数
の出力値が予め設定した閾値より大きい値を有する画素
領域を入力用カラー画像中で前記指定した色とテクスチ
ャとに対応した抽出対象画像領域であると判定する領域
抽出ステップと、前記領域抽出ステップで判定した前記
抽出対象画像領域を出力する抽出データ出力ステップと
を有することを特徴とする画像領域抽出方法である。A second invention provides a color image conversion step of separately converting a plurality of input sample color image data and input color image data into a color / texture feature space, The distribution in the color / texture feature space of the region having the color and texture specified in advance for the plurality of sample color image data converted in the conversion step is approximated by a mixed normal distribution function, and this mixed normal distribution A mixed normal distribution operation step of outputting a function; and a value in the color / texture feature space of the input color image data converted in the color image conversion step, into the mixed normal distribution function output from the mixed normal distribution operation step. Substituting a pixel region in which the output value of the mixture normal distribution function has a value greater than a preset threshold value An area extraction step of determining an extraction target image area corresponding to the specified color and texture in an image, and an extraction data output step of outputting the extraction target image area determined in the area extraction step Is an image region extraction method characterized by the following.
【００１０】[0010]
【発明の実施の形態】以下に本発明に係る画像領域抽出
装置及び画像領域抽出方法の一実施例を図１乃至図３を
参照して詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image area extracting apparatus and an image area extracting method according to the present invention will be described below in detail with reference to FIGS.
【００１１】図１は本発明に係る画像領域抽出装置を説
明するための構成図、図２は入力用カラー画像中の抽出
対象画像領域を示した図、図３は本発明に係る画像領域
抽出方法を説明するためのフロー図である。FIG. 1 is a block diagram for explaining an image area extracting apparatus according to the present invention, FIG. 2 is a view showing an image area to be extracted in an input color image, and FIG. 3 is an image area extracting apparatus according to the present invention. It is a flowchart for demonstrating a method.
【００１２】本発明に係る画像領域抽出装置及び画像領
域抽出方法は、多数のカラー画像を蓄積した画像データ
ベースから例えば検索用の顔画像などを用いて、検索用
の顔画像に対して相関のある顔画像が写ったカラー画像
を検索する際に、例えば検索用の顔画像などを得るため
に入力カラー画像中から顔画像を含む抽出対象画像領域
を精度良く確実に抽出できることを特徴とするものであ
る。An image region extracting apparatus and an image region extracting method according to the present invention have a correlation with a search face image using, for example, a search face image from an image database storing a large number of color images. When searching for a color image that includes a face image, for example, an extraction target image region including the face image can be accurately and reliably extracted from the input color image in order to obtain a face image for search. is there.
【００１３】図１に示した如く、本発明に係る画像領域
抽出装置１０は、３原色（ＲＧＢ）からなる複数のサン
プル用カラー画像データＳＧと、３原色（ＲＧＢ）から
なる入力用カラー画像データＩＧとをそれぞれ入力し
て、各カラー画像データＳＧ，ＩＧをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換部２
０と、カラー画像変換部２０で変換した複数のサンプル
用カラー画像データＳＧに対して予め指定した色とテク
スチャとを持った領域の色・テクスチャ特徴空間上での
分布を混合正規分布関数で近似させて、この混合正規分
布関数を出力する混合正規分布演算部３０と、混合正規
分布演算部３０から出力した混合正規分布関数に、カラ
ー画像変換部２０で変換した入力用カラー画像データＩ
Ｇの色・テクスチャ特徴空間上の値を代入して、混合正
規分布関数の出力値が予め設定した閾値より大きい値を
有する画素領域を入力用カラー画像ＩＧ中で前記指定し
た色とテクスチャとに対応した抽出対象画像領域である
と判定する領域抽出部４０と、領域抽出部４０で判定し
た抽出対象画像領域を出力する抽出データ出力部５０と
から概略構成されている。As shown in FIG. 1, an image area extracting apparatus 10 according to the present invention includes a plurality of sample color image data SG consisting of three primary colors (RGB) and input color image data consisting of three primary colors (RGB). IG and a color image conversion unit 2 for separately converting each of the color image data SG and IG into a color / texture feature space.
0 and the distribution in the color / texture feature space of the region having the color and texture designated in advance for the plurality of sample color image data SG converted by the color image conversion unit 20 is approximated by a mixed normal distribution function. Then, the input normal color image data I converted by the color image conversion unit 20 into the mixed normal distribution calculation unit 30 that outputs the mixed normal distribution function, and the mixed normal distribution function output from the mixed normal distribution calculation unit 30
By substituting the values in the color / texture feature space of G, a pixel region in which the output value of the mixture normal distribution function has a value larger than a preset threshold is set to the specified color and texture in the input color image IG. It is roughly composed of a region extraction unit 40 that determines that the image region is a corresponding extraction target image region, and an extraction data output unit 50 that outputs the extraction target image region determined by the region extraction unit 40.
【００１４】ここで、本発明に係る画像領域抽出装置１
０をより具体的に順を追って説明すると、まず、電子ス
チルカメラとかビデオカメラなどで撮影した複数のサン
プル用カラー画像データＳＧの各画素及び入力用カラー
画像データＩＧの各画素は、共にＲ（赤），Ｇ（緑），
Ｂ（青）の各値からなる３次元ベクトルで表現されてお
り、両カラー画像データＳＧ，ＩＧは共にＲＧＢ信号で
カラー画像変換部２０に入力されている。Here, the image area extracting apparatus 1 according to the present invention
0 will be described more specifically in order. First, each pixel of the plurality of sample color image data SG and each pixel of the input color image data IG taken by an electronic still camera or a video camera are both R ( Red), G (green),
Both color image data SG and IG are input to the color image conversion unit 20 as RGB signals, both being represented by a three-dimensional vector composed of B (blue) values.
【００１５】次に、上記したカラー画像変換部２０は、
複数のサンプル用カラー画像データＳＧのＲＧＢ信号及
び入力用カラー画像データＩＧのＲＧＢ信号を輝度信号
Ｙと色差信号Ｕ，Ｖとにそれぞれ変換する輝度／色差系
座標変換部（ＹＵＶ変換部）２１と、両カラー画像デー
タＳＧ，ＩＧのテクスチャ量Ｔを演算するテクスチャ量
演算部２２と、両カラー画像データＳＧ，ＩＧの各画素
の（Ｙ，Ｕ，Ｖ，Ｔ）の４次元ベクトルを出力する４次
元ベクトル出力部２３とを内部に備えている。Next, the above-mentioned color image conversion unit 20
A luminance / color difference coordinate conversion unit (YUV conversion unit) 21 for converting the RGB signals of the plurality of sample color image data SG and the RGB signals of the input color image data IG into a luminance signal Y and color difference signals U and V, respectively; A texture amount calculator 22 for calculating the texture amount T of both color image data SG and IG, and a four-dimensional vector (Y, U, V, T) of each pixel of both color image data SG and IG. A dimensional vector output unit 23 is provided inside.
【００１６】まず、カラー画像変換部２０内の輝度／色
差系座標変換部（ＹＵＶ変換部）２１では、ＲＧＢ信号
で入力された複数のサンプル用カラー画像データＳＧ
と、ＲＧＢ信号で入力された入力用カラー画像データＩ
Ｇとを、輝度信号Ｙと色差信号Ｕ（＝Ｂ−Ｙ），Ｖ（＝
Ｒ−Ｙ）とに下記の［数１］に示した変換式に基づいて
それぞれ変換している。First, in a luminance / color difference system coordinate conversion unit (YUV conversion unit) 21 in the color image conversion unit 20, a plurality of sample color image data SG input as RGB signals are output.
And input color image data I input as RGB signals
G, the luminance signal Y and the color difference signals U (= BY), V (=
RY) based on the conversion formula shown in the following [Equation 1].
【００１７】[0017]
【数１】 この際、複数のサンプル用カラー画像データＳＧと、入
力用カラー画像データＩＧは輝度／色差系座標変換部２
１でそれぞれ別々に輝度／色差系座標変換を行ってい
る。(Equation 1) At this time, the plurality of sample color image data SG and the input color image data IG are converted to
1 separately performs the luminance / color difference coordinate conversion.
【００１８】尚、複数のサンプル用カラー画像データＳ
Ｇ及び入力用カラー画像データＩＧが輝度／色差信号で
入力される場合には、カラー画像変換部２０内の輝度／
色差系座標変換部２１を省略できる。A plurality of sample color image data sets S
When G and the input color image data IG are input as a luminance / color difference signal, the luminance / color difference signal
The color difference system coordinate conversion unit 21 can be omitted.
【００１９】次に、カラー画像変換部２０内のテクスチ
ャ量演算部２２では、輝度／色差系座標変換部２１で輝
度信号Ｙと色差信号Ｕ，Ｖに変換された複数のサンプル
用カラー画像データＳＧと、入力用カラー画像データＩ
Ｇとに対してそれぞれ別々にテクスチャ量Ｔを求めてい
る。Next, in a texture amount calculation unit 22 in the color image conversion unit 20, a plurality of sample color image data SG converted into a luminance signal Y and color difference signals U and V by a luminance / color difference system coordinate conversion unit 21. And input color image data I
The texture amount T is obtained separately for G.
【００２０】ここでは、両カラー画像データＳＧ，ＩＧ
に対して各画素の近傍領域のエッジ成分の平均値を求め
ている。即ち、両カラー画像データＳＧ，ＩＧの輝度画
像に対して下記の［数２］に示した式に基づいてガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
を行うことで、各画素の近傍領域のエッジ検出とローパ
スフィルタリングとを行っている。Here, both color image data SG, IG
, The average value of the edge components in the vicinity area of each pixel is obtained. That is, by filtering the luminance image of both color image data SG and IG with the Laplacian ▽ 2 G (x, y) of the Gaussian function based on the equation shown in [Equation 2] below, Edge detection and low-pass filtering of a nearby area are performed.
【００２１】[0021]
【数２】 そして、ローパスフィルタリング後の両カラー画像デー
タＳＧ，ＩＧにおいて、各画素の近傍領域の値の絶対値
の平均を求めて、その各画素のテクスチャ量Ｔとしてお
り、従ってテクスチャ量Ｔとしてエッジ検出データを用
いている。(Equation 2) Then, in both color image data SG and IG after low-pass filtering, the average of the absolute values of the values in the vicinity of each pixel is calculated and used as the texture amount T of each pixel. Used.
【００２２】尚、両カラー画像データＳＧ，ＩＧの各テ
クスチャ量Ｔを求める際に、ＲＧＢ信号のままでガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
して求める方法もある。When calculating the texture amount T of both color image data SG and IG, there is also a method of filtering by Gaussian function Laplacian ▽ 2 G (x, y) without changing the RGB signals.
【００２３】次に、カラー画像変換部２０内の４次元ベ
クトル出力部２３では、輝度／色差系座標変換部２１か
らの出力と、テクスチャ量演算部２２からの出力とによ
って、両カラー画像データＳＧ，ＩＧの各画素の値を
（Ｒ，Ｇ，Ｂ）の３次元ベクトルから４次元ベクトル
（Ｙ，Ｕ，Ｖ，Ｔ）へ変換している。この後、サンプル
用カラー画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は
混合正規分布演算部３０へ出力する一方、入力用カラー
画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は領域抽出
部４０に出力している。Next, the four-dimensional vector output unit 23 in the color image conversion unit 20 outputs the two color image data SG based on the output from the luminance / color difference system coordinate conversion unit 21 and the output from the texture amount calculation unit 22. , IG are converted from a three-dimensional vector (R, G, B) to a four-dimensional vector (Y, U, V, T). Thereafter, the four-dimensional vector (Y, U, V, T) on the sample color image side is output to the mixed normal distribution calculation unit 30, while the four-dimensional vector (Y, U, V, T) on the input color image side is output. ) Are output to the region extraction unit 40.
【００２４】次に、混合正規分布演算部３０では、複数
のサンプル用カラー画像データのＹＵＶＴ特徴空間上で
の確率密度関数を求めている。ここでは、確率密度関数
として、カラー画像変換部２０で変換した複数のサンプ
ル用カラー画像データＳＧに対して予め指定した色とテ
クスチャとを持った領域の色・テクスチャ特徴空間上で
の分布を混合正規分布関数で近似させている。この混合
正規分布関数を用いることにより複雑な形状をしている
分布でも予め指定した色とテクスチャとに対して精度良
く近似することができる。この際、混合正規分布関数ｐ
（ｔ）は、下記する［数３］に示した式で表すことがで
きる。Next, the mixed normal distribution calculation unit 30 obtains a probability density function of a plurality of sample color image data on the YUVT feature space. Here, as the probability density function, the distribution in the color / texture feature space of the region having the color and texture specified in advance for the plurality of sample color image data SG converted by the color image conversion unit 20 is mixed. It is approximated by a normal distribution function. By using this mixture normal distribution function, even a distribution having a complicated shape can be accurately approximated to a color and texture specified in advance. At this time, the mixture normal distribution function p
(T) can be represented by the following equation (3).
【００２５】[0025]
【数３】 ここで、入力用カラー画像データＩＧ中から抽出したい
抽出対象画像領域として例えば人物の顔画像領域を設定
した場合には、顔画像領域中の皮膚の色、即ち、肌色と
テクスチャとに注目することで肌色領域が顔画像領域で
あると判定できるため、混合正規分布関数ｐ（ｔ）に対
して予め肌色とテクスチャとを指定して、ＥＭ（Ｅｘｐ
ｅｃｔａｔｉｏｎ ａｎｄ Ｍａｘｉｍｉｚａｔｉｏ
ｎ）アルゴリズムを用いて複数のサンプル用カラー画像
データにより［数３］に示した式中の正規分布関数の共
分散行列Σｉ及び正規分布関数の平均値ベクトルμｉ並
びに各正規分布関数に対する重み付けｗｉに対して肌色
領域を学習させて、学習させて求めた混合正規分布関数
ｐ（ｔ）を領域抽出部４０に出力している。(Equation 3) Here, when, for example, a face image region of a person is set as the extraction target image region to be extracted from the input color image data IG, attention is paid to the skin color in the face image region, that is, the skin color and the texture. Can determine that the skin color area is a face image area, so that the skin color and the texture are specified in advance for the mixed normal distribution function p (t), and EM (Exp
Ectation and Maximizatio
n) The covariance matrix Σi of the normal distribution function and the average value vector μi of the normal distribution function in the equation shown in [Equation 3] and the weight wi for each normal distribution function are obtained from the plurality of sample color image data using the algorithm. On the other hand, the skin color area is learned, and the mixed normal distribution function p (t) obtained by the learning is output to the area extracting unit 40.
【００２６】そして、ここで求めた混合正規分布関数ｐ
（ｔ）の出力値は、肌色領域に対して大きな値を示し、
その他の色の領域に対して０に近付く方向で小さな値を
示すようになる。Then, the mixed normal distribution function p
The output value of (t) shows a large value for the skin color area,
For the other color areas, small values are shown in the direction approaching zero.
【００２７】勿論、肌色領域だけでなく、他の色とテク
スチャとによる領域を抽出対象画像領域に設定する場合
には、上記と同様に混合正規分布関数ｐ（ｔ）に対して
他の色とテクスチャとを予め指定して、ＥＭアルゴリズ
ムを用いて他の色とテクスチャとによる領域を学習させ
てこの色とテクスチャとに対応させた混合正規分布関数
ｐ（ｔ）を求めれば良く、以下同様にして各色及び各テ
クスチャの組みごとに混合正規分布関数ｐ（ｔ）をそれ
ぞれ予め求めておけば、必要に応じて各色と各テクスチ
ャとに対応させた混合正規分布関数ｐ（ｔ）のいずれか
を選択することで、選択した色とテクスチャとに対応し
た抽出対象画像領域を設定することも可能である。Of course, when not only a skin color area but also an area based on another color and texture is set as the image area to be extracted, the mixed normal distribution function p (t) is set to the other color in the same manner as described above. The texture may be specified in advance, and the region using other colors and textures may be learned using the EM algorithm to obtain a mixed normal distribution function p (t) corresponding to the colors and textures, and so on. If the mixture normal distribution function p (t) is obtained in advance for each combination of each color and each texture, one of the mixture normal distribution functions p (t) corresponding to each color and each texture can be obtained as needed. By making a selection, it is also possible to set an extraction target image area corresponding to the selected color and texture.
【００２８】尚、ＥＭアルゴリズムは、観測されない隠
れ変数がある場合に、最尤推定量を得ることを目的とし
た逐次的手法である。The EM algorithm is a sequential method for obtaining a maximum likelihood estimator when there are hidden variables that are not observed.
【００２９】次に、領域抽出部４０では、入力用カラー
画像データＩＧから抽出対象画像領域の抽出を行ってい
る。ここでは、混合正規分布演算部３０で色とテクスチ
ャとを予め指定して求めた混合正規分布関数ｐ（ｔ）
に、４次元ベクトル出力部２３から出力された入力用カ
ラー画像ＩＧの４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）の値
を代入して、混合正規分布関数ｐ（ｔ）の出力値が予め
設定した閾値より大きい値を有する画素領域を入力用カ
ラー画像データＩＧ中で前記指定した色とテクスチャと
に対応した抽出対象画像領域であると判定している。こ
の際、前述したように、混合正規分布演算部３０で抽出
対象画像領域が肌色の顔画像領域になるように予め肌色
とテクスチャとを指定して混合正規分布関数ｐ（ｔ）を
求めた場合には、図２に示したように入力用カラー画像
データＩＧ中で太線で囲んだ枠内が肌色の抽出対象画像
領域として抽出データ出力部５０から出力される。Next, the area extracting section 40 extracts an image area to be extracted from the input color image data IG. Here, the mixed normal distribution function p (t) obtained by specifying the colors and textures in advance by the mixed normal distribution calculation unit 30 is used.
Is substituted for the value of the four-dimensional vector (Y, U, V, T) of the input color image IG output from the four-dimensional vector output unit 23, and the output value of the mixed normal distribution function p (t) is determined in advance. It is determined that a pixel area having a value larger than the set threshold value is an extraction target image area corresponding to the specified color and texture in the input color image data IG. At this time, as described above, when the mixture normal distribution function p (t) is obtained by specifying the skin color and the texture in advance so that the extraction target image region becomes the skin color face image region, as described above. In the input color image data IG, as shown in FIG. 2, a frame surrounded by a thick line is output from the extraction data output unit 50 as a skin color extraction target image area.
【００３０】次に、本発明に係る画像領域抽出方法につ
いて図３を用いて簡略に説明する。図３に示した本発明
に係る画像領域抽出方法は、上記した画像領域抽出装置
１０での動作をステップ順にまとめたものであり、ま
ず、カラー画像変換ステップＳ１では、入力した複数の
サンプル用カラー画像データＳＧと、入力用カラー画像
データＩＧとをそれぞれ別々に色・テクスチャ特徴空間
上に変換している。Next, an image area extracting method according to the present invention will be briefly described with reference to FIG. The image region extraction method according to the present invention shown in FIG. 3 is a collection of the operations of the above-described image region extraction device 10 in the order of steps. The image data SG and the input color image data IG are separately converted into a color / texture feature space.
【００３１】次に、混合正規分布演算ステップＳ２で
は、カラー画像変換ステップＳ１で変換した複数のサン
プル用カラー画像データＳＧに対して予め指定した色と
テクスチャとを持った領域の色・テクスチャ特徴空間上
での分布を混合正規分布関数で近似させて、この混合正
規分布関数を下記する領域抽出ステップＳ３に出力して
いる。Next, in the mixed normal distribution calculation step S2, the color / texture feature space of the area having the color and texture specified in advance for the plurality of sample color image data SG converted in the color image conversion step S1. The above distribution is approximated by a mixed normal distribution function, and the mixed normal distribution function is output to a region extraction step S3 described below.
【００３２】次に、領域抽出ステップＳ３では、混合正
規分布演算ステップＳ２から出力した混合正規分布関数
に、カラー画像変換ステップＳ１で変換した入力用カラ
ー画像データＩＧの色・テクスチャ特徴空間上の値を代
入して、混合正規分布関数の出力値が予め設定した閾値
より大きい値を有する画素領域を入力用カラー画像ＩＧ
中で前記指定した色に対応した抽出対象画像領域である
と判定している。Next, in a region extraction step S3, the value in the color / texture feature space of the input color image data IG converted in the color image conversion step S1 is added to the mixed normal distribution function output from the mixed normal distribution calculation step S2. And the pixel area where the output value of the mixture normal distribution function has a value larger than a preset threshold value is input color image IG
It is determined that the image is the extraction target image area corresponding to the designated color.
【００３３】最後に、抽出データ出力ステップＳ４では
領域抽出ステップＳ３で判定した入抽出対象画像領域を
出力している。Finally, in the extraction data output step S4, the input / output target image area determined in the area extraction step S3 is output.
【００３４】[0034]
【発明の効果】以上詳述した本発明に係る画像領域抽出
装置及び画像領域抽出方法によると、とくに、入力用カ
ラー画像データから抽出対象画像領域を抽出する際に、
色情報だけでなく、テクスチャ情報を用いて抽出対象画
像領域の抽出を行っているので、同一色でも、テクスチ
ャが異なる抽出対象画像領域を精度良く確実に分離する
ことができる。According to the image region extracting apparatus and the image region extracting method according to the present invention described in detail above, particularly when extracting an image region to be extracted from input color image data,
Since the extraction target image region is extracted using not only the color information but also the texture information, the extraction target image regions having the same color but different textures can be accurately and reliably separated.
【００３５】また、複数の入力用カラー画像データを適
用する際に、照明の種類が複数ある場合では、分布の形
状が複雑になるが、複数の正規分布関数で近似している
ため、近似誤差が小さく、求める抽出対象画像領域を精
度良く確実に抽出できる。Further, when a plurality of input color image data are applied, if there are a plurality of types of illumination, the shape of the distribution becomes complicated. Is small, and the extraction target image area to be obtained can be accurately and reliably extracted.
【図１】本発明に係る画像領域抽出装置を説明するため
の構成図である。FIG. 1 is a configuration diagram for explaining an image area extraction device according to the present invention.
【図２】入力用カラー画像中の抽出対象画像領域を示し
た図である。FIG. 2 is a diagram showing an extraction target image area in an input color image.
【図３】本発明に係る画像領域抽出方法を説明するため
のフロー図である。FIG. 3 is a flowchart for explaining an image area extraction method according to the present invention.
１０…画像領域抽出装置、２０…カラー画像変換部、２
１…輝度／色差系座標変換部（ＹＵＶ変換部）、２２…
テクスチャ量演算部、２３…４次元ベクトル出力部、３
０…混合正規分布演算部、４０…領域抽出部、５０…抽
出データ出力部、ＳＧ…サンプル用カラー画像データ、
ＩＧ…入力用カラー画像データ、Ｔ…テクスチャ量。10 image area extracting device, 20 color image converter, 2
1 ... Luminance / color difference coordinate conversion unit (YUV conversion unit), 22 ...
Texture amount calculator, 23... 4-dimensional vector output unit, 3
0: mixture normal distribution calculation unit, 40: region extraction unit, 50: extraction data output unit, SG: sample color image data,
IG: input color image data, T: texture amount.
フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CE09 CE16 DA08 DB02 DB06 DB09 DC25 DC30 DC36 5L096 AA02 AA06 CA02 EA35 FA01 FA06 FA15 FA45 GA40 HA07 JA11 Continued on the front page F term (reference) 5B057 CA01 CA08 CA12 CA16 CE09 CE16 DA08 DB02 DB06 DB09 DC25 DC30 DC36 5L096 AA02 AA06 CA02 EA35 FA01 FA06 FA15 FA45 GA40 HA07 JA11
Claims (2)
ータと、入力用カラー画像データとをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換部
と、 前記カラー画像変換部で変換した複数のサンプル用カラ
ー画像データに対して予め指定した色とテクスチャとを
持った領域の色・テクスチャ特徴空間上での分布を混合
正規分布関数で近似させて、この混合正規分布関数を出
力する混合正規分布演算部と、 前記混合正規分布演算部から出力した前記混合正規分布
関数に、前記カラー画像変換部で変換した入力用カラー
画像データの色・テクスチャ特徴空間上の値を代入し
て、前記混合正規分布関数の出力値が予め設定した閾値
より大きい値を有する画素領域を入力用カラー画像中で
前記指定した色とテクスチャとに対応した抽出対象画像
領域であると判定する領域抽出部と、 前記領域抽出部で判定した前記抽出対象画像領域を出力
する抽出データ出力部とを具備したことを特徴とする画
像領域抽出装置。1. A color image conversion unit for separately converting a plurality of input sample color image data and input color image data into a color / texture feature space, and a plurality of color image data converted by the color image conversion unit. A mixed normal distribution function that approximates the distribution in the color / texture feature space of the region having the color and texture specified in advance with respect to the sample color image data using the mixed normal distribution function and outputs the mixed normal distribution function A distribution calculating unit, substituting the value of the color / texture feature space of the input color image data converted by the color image converting unit into the mixed normal distribution function output from the mixed normal distribution calculating unit, A pixel region in which the output value of the normal distribution function has a value greater than a preset threshold value corresponds to the specified color and texture in the input color image. And determining region extraction unit as the target image region out, the image region extraction apparatus characterized by comprising an extraction data output unit which outputs the extracted target image region determined in said region extraction unit.
ータと、入力用カラー画像データとをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換ステ
ップと、 前記カラー画像変換ステップで変換した複数のサンプル
用カラー画像データに対して予め指定した色とテクスチ
ャとを持った領域の色・テクスチャ特徴空間上での分布
を混合正規分布関数で近似させて、この混合正規分布関
数を出力する混合正規分布演算ステップと、 前記混合正規分布演算ステップから出力した前記混合正
規分布関数に、前記カラー画像変換ステップで変換した
入力用カラー画像データの色・テクスチャ特徴空間上の
値を代入して、前記混合正規分布関数の出力値が予め設
定した閾値より大きい値を有する画素領域を入力用カラ
ー画像中で前記指定した色とテクスチャとに対応した抽
出対象画像領域であると判定する領域抽出ステップと、 前記領域抽出ステップで判定した前記抽出対象画像領域
を出力する抽出データ出力ステップとを有することを特
徴とする画像領域抽出方法。2. A color image conversion step of separately converting a plurality of input sample color image data and input color image data into a color / texture feature space; A mixed normal distribution function that approximates the distribution in the color / texture feature space of the region having the color and texture specified in advance with respect to the sample color image data using the mixed normal distribution function and outputs the mixed normal distribution function A distribution operation step, and substituting a value on the color / texture feature space of the input color image data converted in the color image conversion step into the mixture normal distribution function output from the mixture normal distribution operation step, A pixel region in which the output value of the normal distribution function has a value greater than a preset threshold is specified in the input color image. An area extraction step of determining an extraction target image area corresponding to the selected color and texture, and an extraction data output step of outputting the extraction target image area determined in the area extraction step. Region extraction method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005008A JP2002208013A (en) | 2001-01-12 | 2001-01-12 | Image region extraction device and image region extraction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005008A JP2002208013A (en) | 2001-01-12 | 2001-01-12 | Image region extraction device and image region extraction method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002208013A true JP2002208013A (en) | 2002-07-26 |
Family
ID=18873107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001005008A Pending JP2002208013A (en) | 2001-01-12 | 2001-01-12 | Image region extraction device and image region extraction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002208013A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234810A (en) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | Image processor |
| JP2005293555A (en) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | Identification of skin area in image |
| JP2006508462A (en) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | Face detection |
| JP2008257353A (en) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | Learning system and computer program for learning visual representation of objects |
| JP2011517526A (en) * | 2008-03-18 | 2011-06-09 | トムソン ライセンシング | Method and apparatus for adaptive color model parameter estimation of object of interest |
-
2001
- 2001-01-12 JP JP2001005008A patent/JP2002208013A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006508462A (en) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | Face detection |
| JP2005234810A (en) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | Image processor |
| JP2005293555A (en) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | Identification of skin area in image |
| JP2008257353A (en) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | Learning system and computer program for learning visual representation of objects |
| JP2011517526A (en) * | 2008-03-18 | 2011-06-09 | トムソン ライセンシング | Method and apparatus for adaptive color model parameter estimation of object of interest |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163810B (en) | Image processing method, device and terminal | |
| US8385638B2 (en) | Detecting skin tone in images | |
| JP4597391B2 (en) | Facial region detection apparatus and method, and computer-readable recording medium | |
| EP0532823B1 (en) | Method and apparatus for detecting the contour and separating a given subject from an image | |
| JP4251719B2 (en) | Robust tracking system for human faces in the presence of multiple persons | |
| JP4194025B2 (en) | Illumination-invariant object tracking method and video editing apparatus using the same | |
| EP0756426B1 (en) | Specified image-area extracting method and device for producing video information | |
| JPH09322192A (en) | Detection and correction device for pink-eye effect | |
| JP4373840B2 (en) | Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus | |
| Zangana et al. | A new algorithm for human face detection using skin color tone | |
| KR101624801B1 (en) | Matting method for extracting object of foreground and apparatus for performing the matting method | |
| JP3459950B2 (en) | Face detection and face tracking method and apparatus | |
| KR101875891B1 (en) | apparatus and method for face detection using multi detection | |
| KR20130111021A (en) | Device and method for processing image | |
| JP2002342758A (en) | Visual recognition system | |
| JP2002208013A (en) | Image region extraction device and image region extraction method | |
| JPH09130714A (en) | Image information extracting apparatus and method | |
| JP2721107B2 (en) | Video feature processing method | |
| JP2936599B2 (en) | Color image processing equipment | |
| JP2005250778A (en) | Judging the direction of the image | |
| JP6855175B2 (en) | Image processing equipment, image processing methods and programs | |
| JP2008139941A (en) | Image processing apparatus, image processing method, and image processing program | |
| WO2005048133A1 (en) | Image processing method, image processing system, and image processing program | |
| CN112907492B (en) | Method and system for generating object motion trail | |
| JP2019121184A (en) | Collation apparatus, collation method, and computer program |