[go: up one dir, main page]

WO2006082979A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2006082979A1
WO2006082979A1 PCT/JP2006/302059 JP2006302059W WO2006082979A1 WO 2006082979 A1 WO2006082979 A1 WO 2006082979A1 JP 2006302059 W JP2006302059 W JP 2006302059W WO 2006082979 A1 WO2006082979 A1 WO 2006082979A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
image
attraction
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/302059
Other languages
English (en)
French (fr)
Inventor
Masaki Yamauchi
Masayuki Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007501675A priority Critical patent/JPWO2006082979A1/ja
Publication of WO2006082979A1 publication Critical patent/WO2006082979A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Definitions

  • the present invention relates to a technique for extracting an area of interest in an image, and more particularly to a technique for extracting an area of interest in accordance with a user's request.
  • ROI region of interest
  • Image processing for example, enlargement or refinement
  • Non-Patent Document 1 Conventionally, various methods for extracting a region of interest from an image have been proposed (see, for example, Non-Patent Document 1 and Non-Patent Document 2).
  • the conventional technique for extracting and using a region of interest has a problem that it cannot sufficiently reflect the user's request regarding the extraction of the region of interest.
  • the conventional technique extracts the region of interest from the image, it only extracts it according to a predetermined algorithm (attraction level calculation formula, etc.). The size, position, number of regions, etc.) were not taken into account, and it was difficult to extract the region of interest desired by the user.
  • Non-Patent Document 1 it can be understood from the multi-resolution model (stepped representation of image resolution by a pyramid structure) as the human attention position (the position where the line of sight is held or the position where the user is gazing) (Corresponding to the position of the region) is extracted, but there is no description of the attention range (corresponding to the range in the region of interest).
  • Non-Patent Document 2 In contrast to the method of Non-Patent Document 1, Non-Patent Document 2 also describes the range of caution. In the case of non-patent document 2, regarding the size of the attention range, Based on a specific visual model, the attention position and the size of the attention range depend only on the target image from which the region of interest is extracted. That is, the above non-patent literature
  • Non-Patent Document 1 As with 1, the issue of not being able to respond to user requests remains. In other words, it is not possible to extract the same region of interest, the same shape of interest, or the same number of regions of interest for multiple image inputs.
  • the shape or number is uniquely determined by a predetermined algorithm, and in general, different regions of interest such as numbers and shapes are extracted.
  • automatic extraction of a region of interest is disclosed in several powerful papers, etc., and the region of interest is automatically extracted using the data structure of JPEG2000. There are also proposals for methods (see Non-Patent Document 3, for example).
  • Non-Patent Document 3 Even in the case of Non-Patent Document 3, the position and size of the extracted region of interest depend only on the image. This is obviously a big problem in practical use. Even if the “construction of a human gaze model based on a visual model” in Non-Patent Document 3 is used for the actual region of interest extraction, what is obtained is uncontrollable and its utility value is small. The method of interest extraction used for actual use must be able to appropriately reflect the user's intentions and instructions.
  • a method for selectively extracting a region of interest based on an instruction input of user iso-force is also disclosed.
  • instruction information acquired from the user etc.
  • information on the subject such as “the part of the person ’s face is visible” or “the part of the subject that is visible in front”, “red part, part” or “
  • image attributes such as information about impressions (features) of images such as “flashy parts”.
  • information on how to display the region of interest such as the number, size, or shape of the region of interest to be extracted, or, for example, “Create a photographic power thumbnail image (reduced version image for list display)” or “ There are cases where the user receives information related to the action and processing, such as “extracting only a part where a person is shown,” as an instruction input.
  • V for example (when “person” is instructed), change the formula for calculating the degree of attraction so that the person in the image shows the object and the area is more attractive.
  • Non-Patent Document 1 "A Saliency— Based Search Mechanism For Overt And Covert Shifts Of Visual Attention J (Itti et al., Vision Research, Vol. 40, 2000, ppl489-1506)
  • Non-Patent Document 2 "Gaze Model Based on Scale Space Theory” (Science Theory, D-II, Vol. J 86 -D-II, No. 10, ppl490- 1501, October 2003)
  • Non-patent document 3 “Automatic extraction and evaluation of region of interest in JPEG2000 transcoder” Takeo Hamada et al., 30th Annual Conference of the Institute of Image Electronics Engineers of Japan, No. 10, pp. 115-116, June 2002. Disclosure of Invention
  • the request to “extract two (or two or more) regions where a red object is reflected” is not possible with the conventional methods (at best, in the image) Select the two most red dots from the top, and you can only deal with the surrounding areas as interesting areas). Even more simply, when extracting the region of interest when the size, number, shape, etc. of the region of interest are specified separately, it is not necessary to specify the content of the image such as “red region”. If you specify "Extract one area”, “Extract circular area”, etc.), the conventional method cannot cope with it at all, or the degree of attraction in the image is the highest, and the number of points specified Simply select a point and output it as a specified shape, such as a circle or rectangle.
  • An object of the present invention is to provide an image processing apparatus and the like that can extract an area of interest in accordance with a user's wishes when extracting the area of interest from an image. Means for solving the problem
  • an image processing apparatus includes an image input unit that acquires image data representing an image, and an instruction input unit that receives conditions relating to extraction of the region of interest of the image. And, based on pixels corresponding to the degree of attraction that exceeds a predetermined threshold value in the calculated degree of attraction, the image A region generating means for generating a region of interest from the data, and a determining unit for determining whether or not the generated region of interest satisfies the received condition, and when it is determined that the condition is not satisfied The threshold value is changed, and the processing of the region generation unit and the determination unit is repeated.
  • the region of interest generated based on the degree of attraction does not satisfy the accepted condition, the region of interest is generated again by changing the threshold of the degree of attraction, so that the user's request is met. Region of interest can be extracted.
  • the image processing apparatus can accept the number, shape, size, position, and extraction range of the region of interest as the conditions regarding the region of interest extraction.
  • Various degrees of weighting for example, weighting according to the probability distribution for the specified range, weighting according to the distance from the contour line, or weighting according to the distance from the specified position) are added to the degree of attraction. You can also
  • the specific request of the user is reflected by satisfying the conditions such as the number, shape, size, position, and extraction range of the received region of interest. Is possible.
  • the region generation unit is characterized in that the number of image data to be clustered is changed by changing the threshold value.
  • the area generation means further includes the number of clusters obtained as a result of the clustering.
  • the threshold value may be changed based on the above. Furthermore, by using a plurality of generated clusters and performing interpolation or extrapolation, an attractiveness threshold for extracting a region of interest that meets the conditions specified by the instruction input means (that satisfies the output conditions) Can also be determined.
  • the image processing apparatus may extract an edge or an object, and calculate a degree of attraction based on the result.
  • the degree of objectivity (object degree) of a predetermined object may be obtained by using pattern matching or -Ural net, and the degree of attraction may be calculated based on this.
  • the “attraction degree” may be calculated by adding “weight corresponding to the type of object” to the “object degree”. You can also calculate the degree of attraction based on a human gaze model.
  • the image processing apparatus may generate an area having an attractiveness in the image higher than a predetermined value (threshold) as the region of interest, and the attractiveness in the image is predetermined.
  • the region of interest may be generated by clustering based on the attractiveness of the region (position) higher than the value (threshold) and the characteristics of the input image (texture, shade, color, etc.).
  • clustering may be performed on a plurality of threshold values, and a second clustering region including a region determined as a region of interest as a result of the first clustering may be generated as the region of interest.
  • the image processing apparatus can output status information indicating that extraction is impossible when it is determined that the region of interest in accordance with the designated condition cannot be generated. Furthermore, it is possible to output arbitrary status information indicating the processing progress and processing status.
  • the image processing apparatus can generate a region of interest so that the first region of interest and the second region of interest do not overlap.
  • the region of interest can be generated so that the second region of interest is included in the first region of interest.
  • the interest area can be generated in approximately the same size.
  • the regions of interest can be generated in different sizes.
  • the image processing apparatus performs clustering with the number of clusters controlled so that the number of clusters matches the region of interest generation condition, and outputs the obtained cluster as a region of interest.
  • as a method of controlling the number of clusters based on the distribution of the degree of attraction in the image, the degree of attraction is so high that it includes the ridge area (just like drawing a contour line on the map).
  • the number of clusters can be controlled by increasing or decreasing the corresponding threshold.
  • the present invention is realized as an image processing method using steps as characteristic constituent means in the image processing apparatus, or realized as a program or an integrated circuit for causing a personal computer or the like to execute these steps.
  • the program can be widely distributed via a recording medium such as a DVD or a transmission medium such as the Internet.
  • an area of interest in accordance with a user's request (requirements related to attributes of the area of interest, such as shape, size, position, number of areas, etc.) is extracted while considering the content and characteristics of the image. be able to.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to the present embodiment.
  • FIG. 2 (a) shows an example of an original image.
  • Figure 2 (b) is a schematic diagram showing a multi-resolution image as a mosaic image.
  • FIG. 3 is a schematic diagram in which edge detection is performed on a mosaic image.
  • FIG. 4 (a) shows an example of an original image.
  • Fig. 4 (b) is a schematic diagram showing a multi-resolution image as a mosaic image.
  • FIGS. 5 (a) and 5 (b) are schematic diagrams showing an example of extraction when the shape and size of the region to be extracted are specified.
  • FIGS. 6 (a) and 6 (b) are schematic diagrams showing an example of weight distribution and an example of extraction when the position of the region to be extracted is designated.
  • FIG. 7 (a) shows an example of an original image.
  • Figure 7 (b) shows an example of extracting the region of interest.
  • FIGS. 8 (a) and 8 (b) are diagrams showing an example of extracting a region of interest.
  • FIG. 9 (a) and (b) are diagrams schematically showing examples of mosaic images.
  • FIGS. 10A and 10B are diagrams schematically showing an example of an edge image.
  • FIG. 11 is a diagram schematically and three-dimensionally showing an attractiveness map and a region of interest.
  • FIG. 12 is a diagram schematically and three-dimensionally showing an attractiveness map and a region of interest.
  • FIG. 13 is a diagram schematically showing an attractiveness map and a region of interest.
  • FIG. 14 is a flowchart showing a processing flow of the image output apparatus according to the present invention.
  • FIGS. 15 (a) to 15 (d) are diagrams showing the relationship between the distribution of data to be clustered, threshold values, and generated clusters in a two-dimensional schematic diagram.
  • FIG. 16 is a diagram that shows one-dimensionally the relationship between the attractiveness distribution, the threshold value, and the generated cluster from another viewpoint.
  • FIG. 17 is an example of a graph showing the relationship between a threshold and a large number of generated classes.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus 100 according to Embodiment 1 of the present invention.
  • the image processing apparatus 100 is an independent apparatus or portable terminal that can extract a region of interest in accordance with a user's request while considering the content and characteristics of the image. It is a device provided as a part of the function, image input unit 102, shape specifying unit 112, size specifying unit 114, position range specifying unit 116, number specifying unit 118, attractiveness calculating unit 122, attractiveness calculating image Processing unit 124, status display unit 132, region generation condition setting unit 142, region generation unit 144, clustering unit 146, threshold value determination unit 147, attractiveness map unit 148, image output unit 152, status output unit 154, and region information output Part 156 is provided.
  • the image input unit 102 includes a storage device such as a RAM, and acquires the acquired original image (eg, digital Image taken by a tall camera or the like).
  • the attractiveness calculating image processing unit 124 performs image processing necessary for calculating the attractiveness (also referred to as “attention level”) at each position in the image.
  • the attractiveness calculating unit 122 actually calculates the attractiveness of each position.
  • “attraction degree” refers to the degree of user's attention to a part of an image (for example, represented by a real number from 0 to 1, an integer from 0 to 255, etc.).
  • the status display unit 132 is a liquid crystal panel, for example, and displays a series of processing contents.
  • the image output unit 152, the status output unit 154, and the region information output unit 156 send the processed image, processing status, and information on the region of interest (for example, coordinates and size) to the status display unit 132 or an external display device. Etc.
  • the region generation condition setting unit 142 receives the user's isotropic instructions and conditions via each designation unit (shape designation unit 112, size designation unit 114, position range designation unit 116, number designation unit 118). Based on this, the region generation unit 144 sets a region of interest determination condition, which is a condition for determining the region of interest.
  • the region generation condition setting unit is an example of a region generation unit.
  • the area generation unit 144 is a microphone computer including, for example, a RAM and a ROM that stores a control program, and controls the entire apparatus 100. Furthermore, the region generation unit 144 generates a region of interest based on the degree of attraction of each pixel.
  • the region generation unit 144 includes a clustering unit 146, a threshold determination unit 147, and an attractiveness map unit 148.
  • the attractiveness map unit 148 generates, for each image, an attractiveness map (which will be described later) in which the calculated attractiveness is associated with the position on the XY coordinates.
  • the attractiveness map is equivalent to the brightness value of each pixel replaced with the attractiveness value. If the degree of attraction is defined for each block of any size (n x m pixels: n, m are positive integers), all pixels in each block have the same degree of attraction (or multi-resolution decomposition) It can be thought of as a pyramid.
  • the clustering unit 146 performs clustering on the above-described attractiveness map according to the distribution of attractiveness.
  • clustering means that similar image data (or image patterns) are grouped into the same class.
  • Clustering methods include layering methods such as the shortest distance method that group together image data that are close to each other, and k-average methods. There is a percent optimization method.
  • the power described later for the clustering method The basic operation is to divide the attractiveness map into several clusters (also called “segments” and “categories”) based on the distribution of attractiveness. Is.
  • clustering means that “internal connection” but “external separation” can be achieved for a set of classification targets (in this case, a set of points on which each degree of attraction is defined). It is also defined as “dividing into a small subset (in this case, a group of points with a defined degree of attraction)” and refers to a method of bringing together similar things.
  • a partial set that is divided or classified is called a “cluster”. For example, if the distribution of attractiveness on the attractiveness map exists locally at four locations, this is equivalent to dividing them into four categories.
  • the threshold value determination unit 147 controls the threshold value when determining the degree of attraction on the attraction level map. Specifically, the threshold is increased or decreased when the number or size of the clusters divided by the clustering unit 146 does not satisfy the condition accepted by the user isotropic force.
  • the threshold determination unit is an example of a determination unit.
  • each designation unit (the shape designation unit 112, the size designation unit 114, the position range designation unit 116, and the number designation unit 118) will be described in detail below. It should be noted that the input to each of the above-mentioned specifying sections may be performed by the user or input via a control program or the like.
  • the shape designating unit 112, the size designating unit 114, the position range designating unit 116, and the number designating unit 118 include a keyboard and a mouse (or by executing a control program), and extract a region of interest from a user or the like. To accept conditions and instructions.
  • the shape designation part, the size designation part, the position range designation part, and the number designation part are examples of instruction input means.
  • the shape designating unit 112 accepts designation of the shape of the region of interest for which user iso-force extraction is desired (for example, circular, rectangular, elliptical, etc.). Note that the shape types are not limited to these shapes, and any shape can be accepted (as will be described later, FIG. 5 (a) shows two circular shapes with different sizes as the shape of the region of interest to be extracted from the user etc. This is an example when the region of interest is specified).
  • the size specifying unit 114 determines the size of the region of interest (ROI) from which the user isotropic force is to be extracted (for example, It accepts designation of absolute size based on the number of pixels and relative size expressed as a ratio to the vertical and horizontal size of the image. At this time, in addition to specifying by size, it can be specified by “ratio to the size of the largest region of interest that can be extracted”, “second largest area”, “largest area included in a specific size”, etc. It is also acceptable to accept an attribute that replaces. In this case, the size itself may change dynamically depending on the content of the image (see Fig. 5 (a)).
  • the size of the shape is not limited to the method described above, and may be designated by any designation method including those that dynamically change according to the contents of the image or those that do not change dynamically. Good.
  • the position range designation unit 116 accepts designation of the position and range of the region of interest to be extracted. For example, it accepts designations such as absolute position (absolute point) based on the number of pixels and relative position versus point expressed as a ratio to the vertical and horizontal size of the image.
  • Arbitrary methods can be used for the number of points, the designation form, and the usage method (rule when extracting the region of interest).
  • the region of interest is extracted so as to always include the specified point.
  • the number of points and the specified form such as “Place priority and extract high priority and include all points” and “Extract the region of interest as an area containing multiple points”.
  • the usage method can be arbitrarily selected.
  • the number of points that can be specified may be singular or plural.
  • a condition for extracting a region of interest it may be necessary to include it as a condition, such as when all specified points are included or when at least one is included. Even vague conditions (best F auto type).
  • the size and number of the range and the usage method can be arbitrarily selected as in the case where the point is designated. For example, “Extract the region of interest to include at least 20% of the specified range”, “Extract the region of interest from within the specified range”, “If there are multiple specified ranges, at least either Either range is 50
  • priorities and weight ranges based on probability distributions. Any method based on mathematical / statistical processing can be used within the range that can be realized by the practitioner at the technical level at the time of filing, such as extracting areas so as to increase.
  • the user's isotropic force accepts specification of a specific range (for example, accepts specification of a range with a mouse, a pen, etc.) or automatically specifies a predetermined range when a point is specified.
  • a specific range for example, accepts specification of a range with a mouse, a pen, etc.
  • Any existing user interface may be used, such as a method to enable setting.
  • the number designation unit 118 can be combined with the number condition of the designated region of interest.
  • the number of specified points and how to use them can be arbitrarily set together with the number condition to be extracted, such as “extract at least one of them to include the specified points”.
  • the number designation unit 118 accepts designation of the number of regions of interest to be extracted by the user iso-force. As in the case of the point designation method in the previous position range designation unit 116, the number of regions of interest to be designated may be singular or plural. In addition, the number of areas of interest to be specified, the form of designation, and the method of use (rules on the extraction and use of areas of interest) can be used in any case (as described later, Fig. 5 (a) shows two interests. An example is shown when an area is specified).
  • the conditions and instructions accepted through the shape designation unit 112, the size designation unit 114, the position range designation unit 116, and the number designation unit 118 are arbitrary conditions, but at least one accepted condition is The region of interest will be extracted using it.
  • a shape specifying unit 112 As an interface for receiving an instruction from a user or the like, a shape specifying unit 112, a size specifying unit 114, a position range specifying unit 116, and a number specifying unit 118 are provided.
  • these may not be the above structure.
  • an interface may be provided to separately input V and elements specified for extraction of the region of interest!
  • an interface that can be designated as V, where the regions of interest overlap, and an interface that controls the distance between the regions of interest. Toughace, control each other's size (when extracting multiple regions of interest, “extract only one region larger than the other”, “extract all regions of interest with approximately the same size”, etc.) Interface) may be provided.
  • the interface for inputting separately is not limited to the above, but it is possible to provide an interface that receives any designation within the range that can control the extraction of the region of interest.
  • the degree of attraction is calculated by the degree of attraction calculation unit 122 and the image processing unit 124 for attraction level calculation.
  • the attractiveness calculating unit 122 calculates the local attractiveness of the image.
  • the degree-of-attraction calculation image processing unit 124 performs image processing necessary to calculate the degree of attraction in the degree-of-attraction calculation unit 122.
  • a conventional region of interest extraction method or a human gaze model can be used as the image processing in the image processing unit 124 for calculating the degree of attraction.
  • a technique for obtaining a local attraction (a human eye gaze model) in an image is described in the above prior art. In both cases, a gaze model is constructed based on local differences in images.
  • the portion corresponding to the calculation of the attractiveness by the gaze model is the attractiveness calculation unit 122.
  • the image processing portion including the difference processing is applied to the attractiveness calculation image processing unit 124.
  • the image is decomposed at many resolutions (hereinafter referred to as “high resolution”) (referred to as an image pyramid structure). After calculating the hue difference from the block, etc., the calculated value of the attractiveness at each resolution is added together with a predetermined weight, and the final “attractiveness” is calculated by adding the weight according to the position. .
  • the attractiveness calculation image processing unit 124 has a multi-resolution separation and hue conversion function.
  • existing filter processing such as noise reduction and normalization (such as histogram equalizer and dynamic range adjustment), smoothing (blur, low-pass filter, Gaussian filter, etc.) and edge enhancement, morphing conversion using OPENING and CLOSING, etc.
  • noise reduction and normalization such as histogram equalizer and dynamic range adjustment
  • smoothing blue, low-pass filter, Gaussian filter, etc.
  • edge enhancement morphing conversion using OPENING and CLOSING, etc.
  • morphing conversion using OPENING and CLOSING, etc.
  • the smoothing process is a process that also leads to the scale space in the above-described conventional technology. Instead of defining and calculating the scale space for each element (individual pixels or individual blocks) in the image, a Gaussian filter is used. You can substitute the whole image.
  • the attractiveness calculation unit 122 calculates the attractiveness of each layer at each resolution, and calculates the final attractiveness in consideration of the weighting of the calculated value in each layer.
  • the method of extracting the region of interest is not limited to the above-described processing for specifying an object (a method for processing an image globally), but the target is specified as in the above-described conventional technique! Case processing may be used.
  • the brain region is extracted from the MRI image as the region of interest.
  • detection, discrimination, and recognition techniques that are generally performed using templates, -Ural nets, BOOSTING, etc., such as human face detection and character recognition, as well as general object detection and recognition, etc. It can also be used as an extraction method.
  • calculation of the "probability" of an object may be used for calculating the attractiveness.
  • the degree of attraction may be obtained by multiplying the probability by the coefficient corresponding to the type of the object. For example, the coefficient is “2.0” for a face, “1.0” for a flower, “1.5” for a dog, etc.
  • the difference in attractiveness with respect to the object may be expressed by a coefficient.
  • top-down type image processing in which some information about an object is known is referred to as "top-down type” image processing, and the content and object of the image A process in which information about an object is not known is distinguished by calling it a “bottom-up” image process.
  • the state display unit 132 presents the processing status and condition setting status in the attraction level calculation unit 122, the attraction level calculation image processing unit 124, and the region generation condition setting unit 142 described later to the user. For example, each situation is presented to the user using any means such as a liquid crystal panel or LED.
  • the image processing result in the attractiveness calculating image processing unit 124 may be displayed.
  • the “attraction level” at each part of the image calculated by the attraction level calculation unit 122 may be processed and displayed so as to be visible.
  • FIG. 2 schematically shows a mosaic image 202 as an example of an image that has been subjected to multi-resolution conversion by the image processing unit 124 for calculating the original image 200 and the attractiveness degree (for the original image 200 and the mosaic image 202).
  • Each block originally has a gray value.
  • it is refused in advance that the shade is virtually represented by black and white binary values by dither error diffusion. The same)) o
  • the “attraction degree” is defined using only the edge strength.
  • the attraction degree can be calculated by various methods. Use a simple example).
  • the edge strength expressed by the density of line segments is used.
  • FIG. 3 is an example of an image on which edge detection has been performed. (Originally, we would like to express the value of the degree of attraction in shades, but it is not possible with binary drawings, so it is shown schematically as shown in Fig. 3.)
  • the state display unit 132 displays the mosaic image 202 in FIG. 2B and the edge detection image 300 in FIG. Thereby, the user can know the image processing status and the attractiveness distribution.
  • status display section 132 is not an essential component in the first embodiment, as is the case with each designation section (size designation section 114, position range designation section 116, number designation section 118, etc.). It is a component that can be selected as needed.
  • functions of the region generation condition setting unit 142 and the region generation unit 144 will be described. As described above, the region generation unit 144 determines the region of interest based on the degree of attraction. The region generation condition setting unit 142 specifies the determination conditions at this time.
  • the region generation condition setting unit 142 sets the region of interest determination condition, the user in each designation unit (the shape designation unit 112, the size designation unit 114, the position range designation unit 116, the number designation unit 118) Set based on instructions of equal power.
  • the region of interest determination condition is set so that the region of interest becomes that shape.
  • the region-of-interest determination condition is set so that the region of interest has that size.
  • the region-of-interest determination condition is set so that the number of interesting regions is the number.
  • FIG. 4A shows an example of the original image.
  • FIG. 4 (a) is a diagram schematically showing a state in which the object A410, the object B412, the object C414, and the object D416 are shown in the original image 400.
  • FIG. 4B schematically shows an example of an edge image 440 obtained by performing mosaic processing on the original image 400 and performing edge extraction.
  • the strength of the edge that matches the degree of shading of each block in the edge image 440 is represented.
  • a circle is specified as the shape of the region of interest by the shape specifying unit 112 and a predetermined size is specified as the size of the region of interest from the size specifying unit 114.
  • a predetermined size is specified as the size of the region of interest from the size specifying unit 114.
  • the condition is that a circular region of interest is extracted with the two regions of interest approximately the size shown in Fig. 5 (a).
  • set a range that allows variation in size in this case, size example A502
  • allowable variation range 506 indicated by a broken line in FIG. Also good.
  • the presence / absence of the fluctuation allowance 506, the specific diameter, etc. may be defined in advance as a preset, or the user's isotropic force may be accepted through each designation unit (in the above example,
  • the region generation condition setting unit 142 sets the conditions for determining the region of interest based on the designation of each designated unit force in this way.
  • the region generation unit 144 extracts a region of interest according to the size example A502 and the size example B504. A specific example of extracting an area corresponding to the size example A502 will be described with reference to FIG.
  • the edge strength in the edge image 440 (in FIG. 5 (b), the darker the color of each block is, the stronger the edge is) is directly equivalent to the degree of attraction.
  • the edge image 440 is an attraction level map showing the level of attraction level.
  • the edge image 440 will be referred to as an attractiveness map 440, particularly in the description using the attractiveness.
  • the size example A502 having the variation allowable width 506 scans in the attractiveness map 440 just like pattern matching. This is equivalent to searching for a position with the highest total degree of attraction on the circle (attraction level score).
  • a slight difference from general pattern matching is that the attractiveness inside the circle does not contribute to the attractiveness score, but only the attractiveness of the blocks belonging to the circumference contributes to the attractiveness score.
  • a general pattern matching algorithm can be applied as it is, but this leads to overestimation of the degree of attraction inside the region of interest rather than on the region of interest boundary line.
  • the region of interest map 440 is scanned in the same manner as pattern matching in size example A502 so that the attraction level score is maximized. As a result, the region of interest obtained is ROI determination example A542 shown in FIG. is there. Similarly, ROI determination example B544 shown in FIG. 5 (b) corresponding to the size example B504. If there is no specification of a circle, it can be transformed into an ellipse. [0094] In the above example, the force described using only the pattern-matching method. The determination of the position of the specific interesting region and the determination of the position involving the shape change of the region of interest itself are the pattern-matching method. It is possible to implement other than.
  • Dynamic contour extraction technology is a technique that defines the energy of a contour and changes the contour to minimize the energy in the image for the purpose of extracting the contour. This is an extraction method by calculation.
  • a predetermined number for example, 20 points
  • candidate points that can be regarded as moving deformation destination candidates are set for the respective control points.
  • the maximum value is obtained when the energy itself is other than "circular". It is possible to use a method of designing such that it is taken, or a method of correcting to a circle when it has converged. Such definition of energy may also be performed by the region generation condition setting unit 142.
  • the configurations of the region generation condition setting unit 142 and the region generation unit 144 are not limited to the above examples, and may be configured using other existing technologies. .
  • two regions of interest are extracted without overlapping, but when extracting a plurality of regions of interest, It may be necessary to determine whether or not they overlap each other. For example, there are cases where each designation unit specifies whether or not to allow overlap, or when the image processing apparatus 100 is preset so as not to allow overlap.
  • the degree of attraction is calculated based on the previous edge strength. It shall be.
  • the area of interest is designed so that the attractiveness score decreases (that is, the area between the area of interest 822 and the area of interest 824). ) As a region of interest, or a large region that includes region of interest 822 and region of interest 824 is not extracted as a region of interest.
  • the interest area 822 and the interest area 824 may be output as the interest areas without any problem.
  • FIGS. 9 (a) and 9 (b) are diagrams illustrating an example in which the original image 800 in FIG. 8 is mosaicked with two block sizes. Needless to say, this is a schematic example of the original image 800 broken down into multiple resolutions. As shown in mosaic images A900 in Fig. 9 (a) and mosaic image B910 in Fig. 9 (b), the results obtained with multiple resolutions and the edge strengths obtained are shown in Fig. 10 (a) and (b). . As in Fig. 3, the edge strength is expressed for convenience by the density of the line segments. Comparing the edge image A100 00 and the edge image B1010, it can be seen that the edge image B1010 captures a more global edge distribution and the edge image A1000 captures a more local edge distribution.
  • FIG. 11 shows an example in which the edge strength is sequentially obtained by multi-resolution as described above, and the edge strength is read as the degree of attraction in the same manner as in the previous examples, and an attraction degree map is generated.
  • Fig. 11 schematically represents an attractiveness map when the original image 800 is decomposed into a plurality of multi-resolutions, the edge strength is obtained at each resolution, and the edge strength is read as the attractiveness. (Attraction map 1100).
  • the height direction represents the height of the attractiveness.
  • This degree of attraction map 1100 is shown in a state where the map is cut at a certain value (attraction level) just as the map is cut along contour lines. Attracting degree map 1100 black, the part is cut into circles!
  • the attractiveness map 1100 in FIG. 11 has six cut areas. One of them is the area of interest 1110.
  • Fig. 12 shows an example of changing the height at which this rounding is performed.
  • the attractiveness map 1200 in FIG. 12 is rounded at a value lower than that in FIG.
  • the main cross section is indicated by black dots.
  • the cross-section created in Fig. 11 (the interest region 1110) is shown in Fig. 12 as a region surrounded by a dotted line!
  • the higher (higher degree of attention) area is included in the lower, wider area.
  • By generating candidate regions of interest hierarchically it is possible to output a region that matches the user's request as a region of interest.
  • the region corresponding to the region of interest 1110 cannot be extracted explicitly.
  • judgment can be made by incorporating existing clustering methods (for example, hierarchical methods such as the shortest distance method and split optimization methods such as k-means) and BOOSTING methods.
  • the accuracy can be increased.
  • the object in the image is extracted using an existing template match, etc. (an object extraction that can be applied to the approximate position and shape is not necessary even if it is not a complete object extraction.) Use it for clustering.
  • FIG. 13 is a diagram illustrating the operation of threshold determination section 147 by simplifying the relationship between the attractiveness map in FIG. 11 and FIG. 12 and the threshold (cross section).
  • FIG. 13 schematically shows the change in the degree of attractiveness when the image is crossed by the scanning line 1310.
  • a region of interest is extracted with each of threshold A1302, threshold B1304, and threshold C1306.
  • By changing the threshold value it is possible to extract a region that has been adapted according to the size or shape instruction of the region of interest from the user or the like without changing the formula for calculating the degree of attraction.
  • a cluster is configured by the degree of attraction corresponding to each ROI configured when each of threshold A1302, threshold B1304, and threshold C1306 in FIG. 13 is used.
  • threshold A1302 two clusters with a higher degree of attraction than threshold A1302, and three lower clusters (ROI-3 external left side, ROI-3 external right side force R OI-7 external left side, ROI—7 external right side corresponds to it)).
  • ROI-3 external left side, ROI-3 external right side force R OI-7 external left side, ROI—7 external right side corresponds to it
  • the shape of the region of interest is specified from the shape specifying unit 112
  • the size of the region of interest is specified from the size specifying unit 114
  • the number of the region of interest is specified from the number specifying unit 118 This is a specific example of generating the region of interest and the conditions for determining the region of interest in the case of being performed.
  • the region of interest is added so that the region of interest becomes that position, or weighting is added according to the distance of the position force.
  • a region of interest determination condition is set so as to be extracted.
  • Fig. 6 (a) is a diagram showing an example when weights are set for the attractiveness map. Here, it is shown that the blacker region has a higher weight. By multiplying this weight setting with the attractiveness map, it is possible to extract the region of interest with more emphasis on the center.
  • edge image 440 is replaced with an attractiveness map in the same manner as in the description of Figs.
  • a new attraction map obtained by multiplying the edge image 440 (attraction level map 440) by the weight setting 600 is the weighted edge image 640 in FIG. 6 (b).
  • the edge (equivalent to the degree of attraction) near the specified position (center) is emphasized, far from the specified position !, edge (equivalent to attraction level) It can be divided that is drawn weakly.
  • region of interest is determined by pattern matching for the weighted edge image 640 in the same manner as in FIG. Needless to say, the region close to the specified position (center) can be output as the region of interest.
  • the image output unit 152, the status output unit 154, and the region information output unit 156 include, for example, a liquid crystal panel, and output the processed image, the processing status, and information on the region of interest (such as coordinates and size), respectively.
  • the status output unit 154 can also output the processing status during each process as a log in addition to information such as whether or not the region of interest extraction has succeeded. Use it as a monitor for each process in the present embodiment, in the same way as or in place of status display section 132.
  • image output unit 152 and the status output unit 154 are not indispensable components in the present embodiment, like the respective specification units (such as the size specification unit 114). It is a component that can be selected as needed.
  • FIG. 7 (b) is a diagram showing a result of interest region extraction (interest region extraction image 702) for the original image 200, and is an example of image output in the image output unit 152.
  • FIG. 14 is a flowchart showing a process flow in the image processing apparatus 100.
  • an image is input through the image input unit 102 (S100), and the user's isotropic force also receives an instruction through the shape specifying unit 112 to the number specifying unit 118 (S102).
  • the size is included (S104: Yes), and if the shape is further specified (S120: Yes), this is notified to the region generation condition setting unit 142 (S122).
  • the region generation unit 144 instructs the attraction degree map unit 148 to generate an attraction degree map based on the above specified conditions (S124). Further, the region generation unit 144 selects an optimal ROI using a method similar to the conventional method (S126).
  • the ROI specified by the above processing is displayed (S118).
  • the entire image power region of interest is extracted.
  • a predetermined range or a specified range range may be extracted.
  • the presence / absence of the number designation is determined after the presence / absence of the designation of size in S104.
  • the present invention is not limited to this configuration, and it corresponds to the designation of the size.
  • Each of the dependency relations (upstream and downstream relations in the flowchart, etc.) that allows the process corresponding to the process and the shape specification and the process corresponding to the number specification to function independently can be arbitrarily set according to the specification requirements. Can be systematized.
  • the region output as ROI based on each cluster is determined. You may decide. At this time, the number of data to be clustered (data distribution) itself changes by changing the threshold.
  • Figures 15 (a) to 15 (d) are two-dimensional schematic diagrams showing the relationship between the distribution of data to be clustered, threshold values, and generated clusters.
  • the horizontal axis is the X direction (image width direction)
  • the vertical axis is the y direction (image height direction)
  • the coordinates where there is image data whose degree of attraction exceeds the threshold A are shown. Plotting.
  • Point A is the degree of attraction corresponding to pixel (xl, yl).
  • Fig. 15 (a) When Fig. 15 (a) is divided into clusters using a general clustering method, it is expected to be roughly classified into two as shown in Fig. 15 (b). If it is the optimization method and efficiency method of the conventional clustering method, the theme is how to make the two optimal areas, or how the two areas can be classified into four. However, in this method, the distribution of image data itself can be modified by changing the threshold value.
  • FIG. 15C shows an example of image data distribution when the threshold A is changed to the threshold B.
  • threshold A is greater than threshold B.
  • the star-shaped points represent points that exceed threshold A
  • the round points represent points that do not exceed threshold A but exceed threshold B.
  • Fig. 15 (c) If the same general clustering method is applied to Fig. 15 (c), it is expected to be classified into four clusters as shown in Fig. 15 (d). As a result, the extraction of four interesting areas is specified as an input instruction.
  • the data area belonging to each cluster can be set by using the clustering result at threshold B.
  • the region of interest to be output is, for example, an ellipse surrounding each cluster in FIG.
  • FIG. 16 is a diagram that shows one-dimensionally the relationship between the attractiveness distribution, the threshold value, and the generated cluster from another viewpoint.
  • the horizontal axis represents the coordinates (the image is represented one-dimensionally), and the vertical axis represents the degree of attraction.
  • points where the attractiveness exceeds threshold A or threshold B are indicated by oval black saddle points.
  • the attractiveness graph is a discrete value (a discrete value in pixel units).
  • the degree of attraction exceeds a predetermined value (here, threshold value B)
  • the points of interest are all included or inscribed (for example, a rectangle) as a region of interest.
  • One-dimensional writing is equivalent to the conventional ROI (1601).
  • the region of interest can be extracted flexibly in the data distribution.
  • 601) and the clustering result based on threshold A or threshold B for the degree of attraction.
  • the distribution of the attractiveness varies depending on the image. For this reason, there is no general rule about the threshold, the number of data to be obtained, and the number of clusters, but setting the threshold more appropriately can reduce the need for repeated clustering.
  • the image processing apparatus can generate a region of interest from a single still image, a group of still images, or a moving image according to the user's request (the shape, size, and number of regions of interest).
  • a region of interest from a single still image, a group of still images, or a moving image according to the user's request (the shape, size, and number of regions of interest).
  • it is also useful for a system for storing, managing or classifying images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

　画像から興味領域を抽出する際に、ユーザの希望に則した興味領域の抽出が可能な画像処理装置等を提供する。 　画像入力部１０２から入力された原画像は、誘目度算出用画像処理部１２４で画像内での各位置（画素）における誘目度の算出に必要な画像処理が行われ、誘目度算出部１２２で各位置の誘目度を算出する。領域生成部１４４は、各位置の誘目度に基づいて興味領域を決定し、領域生成条件設定部１４２は、そのときの決定条件を指定する。領域生成条件設定部１４２が興味領域決定条件を設定する時には、各指定部１１２～１１８から入力されたユーザの指示を基づいて興味領域決定条件を設定する。各出力部（画像出力部１５２、ステータス出力部１５４、領域情報出力部１５６）は、処理後の画像や処理ステータス、興味領域の情報（座標やサイズなど）を出力する。                                                                         

Description

画像処理装置および画像処理方法
技術分野
[0001] 本発明は、画像の中の興味領域の抽出技術に関し、特にユーザの要求に則した 興味領域の抽出を行う技術に関する。
背景技術
[0002] 一般に、画像は、興味のある（又は重要な)部分 (以下「興味領域 (ROI： Region of I nterest)」という。）とそれ以外の部分とに分けられることが多い。そして、画像処理 (例 えば、拡大や精細化など）は興味領域に施される場合が多い。
[0003] 従来、画像から興味領域を抽出する種々の手法等が提案されている（例えば、非 特許文献 1、非特許文献 2参照)。
[0004] ところが、従来の興味領域の抽出技術及び利用技術では、興味領域の抽出に関し て、ユーザの要求を十分に反映することが出来ないという問題がある。言い換えると、 従来の技術は、画像中から興味領域を抽出するものの、それは予め決められたアル ゴリズム (誘目度算出式等）に沿って抽出するのみで、抽出される興味領域の属性（ 形状、大きさ、位置および領域数など）は考慮されず、ユーザが希望する興味領域の 抽出はできな力つた。
[0005] 上記非特許文献 1では、多解像度モデル (ピラミッド構造による画像解像度の段階 的表現)から、ヒトの注意位置 (画像中で視線を留める位置又は注視する位置と解す ることができ、興味領域の位置に相当する。）を抽出しているが、注意範囲 (興味領域 における範囲に相当する。 )に対する記述はない。
[0006] この場合、ユーザが興味領域の形状について、例えば八角形の興味領域を欲する 場合であっても、八角形の興味領域の抽出を行うことはできず、抽出できるものは興 味領域の位置のみとなる（上記非特許文献 1では、注意範囲の大きさは固定である）
[0007] この非特許文献 1の手法に対し、上記非特許文献 2では、注意範囲についても記 述している。非特許文献 2の場合、注意範囲の大きさに関して、スケールスペースに 基づ 、た特定の視覚モデルを用意して 、るが、注意位置および注意範囲の大きさは 、興味領域を抽出する対象の画像にのみ依存している。すなわち、上記非特許文献
1同様、ユーザの要求に応えられないという課題は残ったままである。言い換えると、 複数の画像入力に対して、同じ大きさの興味領域や、同じ形状の興味領域、同じ数 の興味領域を抽出することはできず、各画像力 出力される興味領域の大きさ、形状 又は数は、決められたアルゴリズムによって一意に決まり、一般にそれぞれ異なった 数や形状等の興味領域が抽出される。興味領域の自動抽出に関しては、上記非特 許文献 1および非特許文献 2の他にも、幾つ力論文等で開示されており、 JPEG200 0のデータ構造を利用して興味領域を自動的に抽出する手法についての提案もある (例えば、非特許文献 3参照)。
[0008] しカゝしながら、非特許文献 3の場合でも、抽出される興味領域の位置、大きさは画 像にのみ依存している。これでは、実際に利用する上で大きな問題があることは明白 である。非特許文献 3における「視覚モデルに基づくヒトの注視モデルの構築」を実 際の興味領域の抽出等に利用するとしても、どんなものが得られるかがコントロール 不能であり、利用価値が小さい。実際の利用に供する興味領域抽出手法は、ユーザ の意図や指示が適切に反映され得るのでなければならない。
[0009] 一方、ユーザ等力 の指示入力に基づいて興味領域を選択的に抽出する手法も 開示されている。例えば、ユーザ等から取得する指示情報として、「人の顔が写って V、る部分」や「手前に写って 、る部分」などの被写体に関する情報や、「赤つぽ 、部 分」や「派手な部分」などの画像が有する印象 (特徴）に関する情報のような、画像の 属性に関する情報がある。また、抽出する興味領域の個数、大きさ又は形状などの 興味領域の表示方法に関する情報、あるいは、例えば「旅行の写真力 サムネイル 画像 (一覧表示のための縮小版画像)を作成する」ことや「人が写って 、る部分だけ を切り出す」ことなどのユーザが行 、た 、処理に関する情報を指示入力として受け付 ける場合がある。
[0010] しかし、これらは基本的に、ユーザ等からの指示に従って画像中の誘目度の算出 式そのものを改変しているものである。つまり、ユーザが「赤」といえば（「赤」という指 示があった場合は）、画像中の「赤!、」領域の誘目度が高くなるように誘目度の算出 式を変更し、赤い領域が高いスコアを示すように変更する。同様に、ユーザが「人」と
V、えば（「人」と 、う指示があった場合は）、画像中の「人」ら 、物体が写って 、る領 域の誘目度が高くなるように誘目度の算出式を変更する。
非特許文献 1 :「A Saliency— Based Search Mechanism For Overt And Covert Shifts Of Visual AttentionJ (Itti他、 Vision Research, Vol. 40, 2000, ppl489 - 1506)
非特許文献 2 :「スケールスペース理論に基づく注視モデル」（信学論， D-II, Vol. J 86 -D-II, No. 10, ppl490- 1501, 2003年 10月）
非特許文献 3：「JPEG2000トランスコーダにおける興味領域自動抽出と評価」荻田 健夫他，画像電子学会第 30回年次大会， No. 10, pp. 115 - 116, June 2002. 発明の開示
発明が解決しょうとする課題
[0011] しかしながら、これらの手法は、予め画像中に何がどんな風に映っているかが既知 の場合には非常に有効である力 逆に興味領域の大きさ、数又は形状などを画像の 内容に合わせて適応的に抽出した 、場合には殆ど対応できな 、。
[0012] 例えば、「できれば赤いものが映っている領域」を「二つ (もしくは二つ以上)抽出し たい」という要求に対しては、これまでの手法では全く対応できない（せいぜい、画像 中の最も赤い点を上位カゝら 2つ選び、その周辺領域をそれぞれ興味領域とする程度 の対応しかできない)。よりシンプルに、興味領域の大きさや数、形状などが単独でュ 一ザ力 指定された場合の興味領域の抽出でも、（「赤い領域」など画像の内容につ いて指定せず、単に「二つの領域を抽出せよ」、「円形の領域を抽出せよ」などと指定 した場合など）、従来の手法では全く対応できないか、もしくは、画像中の誘目度が 最も高 、点力 指定された数だけ点を選択し、円形や矩形など指定された形状とし て出力するだけである。
[0013] 以上のように、従来の技術では、画像の内容に応じてユーザからの指示を適応的 に解釈して興味領域を抽出することは出来ない。
[0014] 本発明は、画像から興味領域を抽出する際に、ユーザの希望に則した興味領域の 抽出が可能な画像処理装置等を提供することを目的とする。 課題を解決するための手段
[0015] 上記課題を解決するために、本発明に係る画像処理装置は、画像を表す画像デ ータを取得する画像入力手段と、前記画像の興味領域の抽出に関する条件を受け 付ける指示入力手段と、前記画像について、ユーザが注目する度合いを表わす誘目 度を算出する誘目度算出手段と、算出された前記誘目度における予め規定された閾 値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領 域生成手段と、生成された前記興味領域が、受け付けられた前記条件を満たすか否 かを判定する判定手段とを備え、前記条件を満たさないと判定された場合は、前記 閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返すことを特 徴とする。
[0016] これにより、誘目度に基づいて生成された興味領域が、受け付けた条件を満たさな い場合は、誘目度の閾値を変更して再度興味領域の生成を行うので、ユーザの要求 に則した興味領域を抽出することができる。
[0017] また、本発明に係る画像処理装置は、興味領域の抽出に関する条件として、興味 領域の個数、形状、大きさ、位置、抽出範囲を受け付けることもできる。また、誘目度 に、各種の重み付け (例えば、指定された範囲に関する確率分布による重み付け、 輪郭線からの距離に応じた重み付け又は指定された位置からの距離に応じた重み 付けなど)を付カロさせることもできる。
[0018] これにより、画像から興味領域を抽出する際に、受け付けた興味領域の個数、形状 、大きさ、位置、抽出範囲などの条件を満たすことにより、ユーザの具体的な要求を 反映させることが可能となる。
[0019] また、前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対 象となる画像データ数を変化させることを特徴とする。
[0020] これにより、興味領域を抽出する際のクラスタリングの対象となる画像データ（クラス タリングの対象とする母集団に含まれるデータ）の数を変化させることができるため、 より容易に、指示入力手段で指示された条件に合致する興味領域の抽出を行うこと が可能となる。
[0021] また、前記領域生成手段は、さらに、前記クラスタリングの結果得られたクラスタの数 に基づいて、前記閾値の変更を行うこととしてもよい。更に、生成されたクラスタ数を 複数用いて、内挿や外揷を行うことにより、指示入力手段で指示された条件に合致 する（出力条件を満たす)興味領域を抽出するための誘目度の閾値を決定することも できる。
[0022] これにより、興味領域を抽出する際の誘目度の閾値をシラミつぶし的に設定するこ となぐ効率的に設定することができるので、より迅速にユーザの要望に則した興味 領域を生成することができる。
[0023] また、本発明に係る画像処理装置は、エッジもしくはオブジェクトを抽出し、その結 果に基づいて誘目度を算出してもよい。また、パターンマッチングもしくは-ユーラル ネットを用いて所定のオブジェクトのオブジェクトらしさ（オブジェクト度合い）を求め、 それに基づいて誘目度を算出してもよい。また、その「オブジェクト度合い」に「ォブジ ェタトの種類に対応した重み」を付加して誘目度を算出してもよい。また、ヒトの注視 モデルに基づ 、て誘目度を算出してもよ 、。
[0024] これにより、よりヒトの感覚に合致させつつ、ユーザの要求に則した興味領域の抽出 を行うことができる。
[0025] また、本発明に係る画像処理装置は、画像中の誘目度が所定の値（閾値)よりも高 い領域を興味領域として生成しても良ぐまた、画像中の誘目度が所定の値 (閾値)よ りも高 ヽ領域 (位置)の誘目度と入力画像の特徴 (テクスチャや濃淡 ·色など）とに基 づ 、てクラスタリングを行って興味領域を生成しても良い。更にクラスタリングを複数 の閾値に対して実行し、第 1のクラスタリングの結果で興味領域と判定された領域を 含む第 2のクラスタリングの領域を興味領域として生成してもよい。
[0026] これにより、興味領域を抽出する際に、更にユーザの要求に則した抽出をすること ができる。
[0027] また、本発明に係る画像処理装置は、指定された条件に則した興味領域が生成で きないと判断した場合に、抽出不能を意味するステータス情報を出力することもでき る。更に、処理経過や処理状況を示す任意のステータス情報を出力することもできる
[0028] これにより、画像処理装置が興味領域を抽出する際に、より木目細力べユーザの要 求に則した出力を行うことができる。
[0029] また、本発明に係る画像処理装置は、第 1の興味領域と第 2の興味領域が重ならな いように興味領域を生成することができる。また、第 1の興味領域に第 2の興味領域 が内包するように興味領域を生成することができる。また、おおよそ同一の大きさに興 味領域を生成することができる。また、全て異なる大きさに興味領域を生成することが できる。
[0030] 本構成によって、画像処理装置が興味領域を抽出する際に、よりユーザの要求に 則した興味領域の抽出することができる。
[0031] また、本発明に係る画像処理装置は、誘目度について、クラスタ数が興味領域生 成条件に合致するように、クラスタ数をコントロールしたクラスタリングを行い、得られ たクラスタを興味領域として出力することもできる。また、クラスタ数のコントロール手法 として、画像中の誘目度の分布をもとに、誘目度が高!ヽ領域を含むように（ちょうど地 図上に等高線を引くように）、等高線の高さに相当する閾値を増減させることでクラス タ数をコントロールすることができる。また、「誘目度が最も高い箇所に対応した領域 周囲にあるオブジェクトの概形を抽出し、そのオブジェクト領域に含まれない領域から 、次に誘目度の高い箇所を探し、その箇所に対応した領域周囲にあるオブジェクトの 概形を抽出する」ことを繰り返すことで、所定数のクラスタを抽出することもできる。
[0032] 本構成によって、画像処理装置が興味領域を抽出する際に、より画像の内容に基 づいた、興味領域の抽出を行うことができる。
[0033] なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする 画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行さ せるプログラムや集積回路として実現したりすることもできる。そして、そのプログラム を DVD等の記録媒体やインターネット等の伝送媒体を介して広く流通させることがで きるのは云うまでもない。
発明の効果
[0034] 本発明により、画像の内容や特徴を考慮しつつ、ユーザの要求 (興味領域の属性 に関する要求、例えば、形状、大きさ、位置、領域数など。 )に則した興味領域を抽出 することができる。 図面の簡単な説明
[図 1]図 1は、本実施の形態における画像処理装置の機能構成を示したブロック図で ある。
[図 2]図 2 (a)は、原画像の例である。図 2 (b)は、多重解像度画像をモザイク画像とし て示した模式図である。
[図 3]図 3は、モザイク画像に対してエッジ検出を行った模式図である。
[図 4]図 4 (a)は、原画像の例である。図 4 (b)は、多重解像度画像をモザイク画像とし て示した模式図である。
[図 5]図 5 (a)、（b)は、抽出する領域の形状や大きさが指定された場合の抽出例を示 した模式図である。
[図 6]図 6 (a)、 (b)は、抽出する領域の位置が指定された場合の重み分布例と抽出 例を示した模式図である。
[図 7]図 7 (a)は、原画像の例である。図 7 (b)は、興味領域を抽出した一例を示す図 である。
[図 8]図 8 (a)、（b)は、興味領域を抽出した一例を示す図である。
[図 9]図 9 (a)、（b)は、モザイク画像例を模式的に示した図である。
[図 10]図 10 (a)、（b)は、エッジ画像例を模式的に示した図である。
[図 11]図 11は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
[図 12]図 12は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
[図 13]図 13は、誘目度マップと興味領域を模式的に示した図である。
[図 14]図 14は、本発明に係る画像出力装置の処理の流れを示すフローチャートであ る。
[図 15]図 15 (a)〜（d)は、クラスタリング対象となるデータの分布と閾値、生成クラスタ の関係を 2次元的な模式図で示した図である。
[図 16]図 16は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一 次元的に示した図である。
[図 17]図 17は、閾値と生成クラス多数の関係を示すグラフの一例である。
符号の説明 100 画像処理装置
102 画像入力部
112 形状指定部
114 大きさ指定部
116 位置範囲指定部
118 個数指定部
122 誘目度算出部
124 誘目度算出用画像処理部
132 状態表示部
142 領域生成条件指定部
144 領域生成部
146 クラスタリング部
147 閾値決定部
148 誘目度マップ部
152 画像出力部
154 ステータス出力部
156 領域情報出力部
200 原画像
202 モザイク画像
300 エッジ検出画像
400 原画像
410 オブジェクト A
412 オブジェクト B
414 オブジェクト C
416 オブジェクト D
440 エッジ画像（誘目度マップ)
500 原画像
502 サイズ例 A 504 サイズ例 B
506 変動許容幅
542 興味領域決定例 A
544 興味領域決定例 B
600 重み設定
612 重み A領域
614 重み B領域
616 重み C領域
618 重み D領域
620 重み付け中央値
640 重み付きエッジ画像
642 円領域
702 興味領域抽出画像
800 原画像
812 興味領域
813 興味領域
814 興味領域
815 興味領域
816 興味領域
817 興味領域
822 興味領域
824 興味領域
900 モザイク画像 A
910 モザイク画像 B
1000 エッジ画像 A
1010 エッジ画像 B
1100 誘目度マップ
1110 興味領域 1200 誘目度マップ
1210 興味領域
1220 興味領域
1302 閾値 A
1304 閾値 B
1306 閾値。
1310 走査線
1601 従来の ROI
1611〜1614 クラスタ B
1621、 1622 クラスタ A
1701 点 A
1702 点 B
1703 点。
発明を実施するための最良の形態
[0037] 以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発 明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例 示を目的としており、本発明がこれらに限定されることを意図しない。
[0038] (実施の形態 1)
図 1は、本発明に係る実施の形態 1における画像処理装置 100の機能構成を示す ブロック図である。
[0039] 図 1に示すように、画像処理装置 100は、画像の内容や特徴を考慮しつつ、ユーザ の要求に則した興味領域を抽出することが可能な、独立した装置又は携帯端末等の 一部の機能として提供される装置であり、画像入力部 102、形状指定部 112、大きさ 指定部 114、位置範囲指定部 116、個数指定部 118、誘目度算出部 122、誘目度 算出用画像処理部 124、状態表示部 132、領域生成条件設定部 142、領域生成部 144、クラスタリング部 146、閾値決定部 147、誘目度マップ部 148、画像出力部 15 2、ステータス出力部 154および領域情報出力部 156を備える。
[0040] 画像入力部 102は、 RAM等の記憶装置を備え、取得された原画像 (例えば、デジ タルカメラ等によって撮影された画像)を記憶する。誘目度算出用画像処理部 124は 、画像内の各位置における誘目度（「注目度」ともいう。）の算出に必要な画像処理を 行う。誘目度算出部 122は、実際に各位置の誘目度を算出する。ここで、「誘目度」と は、画像の一部に対するユーザの注目の度合いをいう（例えば、 0〜1の実数、 0〜2 55の整数などによって表わす)。
[0041] 状態表示部 132は、例えば、液晶パネルであり、一連の処理内容を表示する。画 像出力部 152、ステータス出力部 154および領域情報出力部 156は、処理後の画像 や処理ステータス、興味領域の情報 (例えば、座標やサイズなど）を、上記状態表示 部 132又は外部の表示装置等に出力する。
[0042] 領域生成条件設定部 142は、各指定部 (形状指定部 112、大きさ指定部 114、位 置範囲指定部 116、個数指定部 118)を介してユーザ等力 受け付けた指示や条件 に基づいて、領域生成部 144において興味領域を決定する際の条件である興味領 域決定条件を設定する。なお、領域生成条件設定部は、領域生成手段の一例であ る。
[0043] 領域生成部 144は、例えば RAMや制御プログラムを格納する ROM等を備えるマ イク口コンピュータであり、本装置 100全体の制御を行う。さらに、領域生成部 144は 、各画素の誘目度に基づいて興味領域を生成する。なお、領域生成部 144は、クラ スタリング部 146、閾値決定部 147および誘目度マップ部 148を備える。
[0044] 誘目度マップ部 148は、画像毎に、算出された誘目度とその XY座標上の位置とを 対応付けた誘目度マップ (これにつ 、ては後述する。 )を生成する。誘目度マップは、 各画素の輝度値を誘目度の値に置き換えたものに相当する。誘目度が任意のサイズ (n X mピクセル : n、 mは正の整数）のブロック毎に定義される場合は、各ブロックに おけるすべての画素が同一の誘目度を有する（又は多解像度分解されピラミッド状に なっている）と考えてよい。
[0045] クラスタリング部 146は、上記の誘目度マップを誘目度の分布に応じてクラスタリン グを行う。ここで、クラスタリングとは、類似した画像データ同士 (又は画像パターン同 士）を同じクラスにまとめることをいう。クラスタリング手法には、距離が近い画像デー タ等をまとめてグループィヒする最短距離法などの階層化手法や k一平均法などの分 割最適化手法がある。クラスタリング手法については後にも述べている力 基本的な 動作としては、誘目度の分布に基づ 、て誘目度マップを幾つかのクラスタ（「セグメン ト」や「カテゴリー」ともいう。）に分割するものである。また、クラスタリングとは、「分類対 象の集合 (この場合は、誘目度マップ上の各誘目度が定義された点の集合)を"内的 結合"ど'外的分離"が達成されるような部分集合 (この場合は、誘目度が定義された 点のグループ）に分割すること」とも定義され、似ているもの同士をまとめる手法をいう 。ここでは、誘目度マップを分類対象の集合としたときに、分割や分類がなされた部 分集合を「クラスタ」と呼ぶことする。例えば誘目度マップ上の誘目度の分布が 4箇所 に局所的に存在して 、る場合に、それらを 4つのカテゴリ一に分割することに相当す る。
[0046] 閾値決定部 147は、誘目度マップ上での誘目度の判定を行う際の閾値のコント口 ールを行う。具体的には、クラスタリング部 146において分割されたクラスタの個数や 大きさ等が、ユーザ等力 受け付けた条件を満たさない場合に、閾値を増大又は減 少させる。なお、閾値決定部は、判定手段の一例である。
[0047] 以下、各指定部 (形状指定部 112、大きさ指定部 114、位置範囲指定部 116およ び個数指定部 118)の機能について、詳細な説明を行う。なお、上記各指定部に対 する入力は、ユーザが行ってもよいし、制御プログラム等を介して入力することとして ちょい。
[0048] 形状指定部 112、大きさ指定部 114、位置範囲指定部 116および個数指定部 118 は、キーボードやマウスなどを備え (又は制御プログラムの実行によって）、ユーザ等 から、興味領域を抽出するための条件や指示を受け付ける。なお、形状指定部、大 きさ指定部、位置範囲指定部および個数指定部は、指示入力手段の一例である。
[0049] 形状指定部 112は、ユーザ等力 抽出したい興味領域の形状 (例えば、円形ゃ矩 形、楕円形など)の指定を受け付ける。なお、形状の種類はこれらの形に限らず任意 の形状を受け付けることができる (後述するが、図 5 (a)は、ユーザ等から抽出したい 興味領域の形状として、大きさの異なる 2つの円形の興味領域が指定された場合の 一例である)。
[0050] 大きさ指定部 114は、ユーザ等力も抽出したい興味領域 (ROI)の大きさ（例えば、 ピクセル数による絶対サイズや、画像の縦横サイズに対する比で表現した相対サイズ など）の指定を受け付ける。この際、サイズによる指定以外に、「抽出され得る最大の 興味領域のサイズに対する比」で指定したり、「2番目に大きい領域」、「特定のサイズ に内包される最も大きい領域」など、サイズに代わる属性を受け付けることとしてもよ い。この場合、画像の内容に応じてサイズそのものは動的に変化する場合がある（図 5 (a)を参照)。
[0051] 形状の大きさは、上記で表記した方法に限らず、画像の内容に応じて動的に変更 するもの、又は動的に変化しないものを含め、任意の指定方法によって指定されても よい。
[0052] 位置範囲指定部 116では、抽出したい興味領域の位置や範囲の指定を受け付け る。例えば、ピクセル数による絶対位置 (絶対点）や、画像の縦横サイズに対する比 で表現した相対位置湘対点)などの指定を受け付ける。
[0053] 点の個数や指定形態とその利用方法 (興味領域を抽出する時のルール）は、任意 の方法を用いることができる。
[0054] つまり、上述のように、「興味領域の位置を点で指定した場合に指定した点を必ず 含むように興味領域を抽出する」ことはもちろん、「複数の点が指定された場合に優 先順位を設けて優先順位の高 、点をなるベく含むように抽出する」ことや、「複数の 点を内包するような領域として興味領域を抽出する」など、点の個数や指定形態とそ の利用方法は、任意に選択することができる。
[0055] さらに、指定する（指定できる）点の個数は、単数でも複数でもよい。また、興味領域 の抽出時の条件として、指定された点を全て含む場合や少なくとも 1つを含む場合な ど、「必ず含む」ことを条件としてもよぐまた、「なるべく含むようにする」など曖昧な条 件（ベストエフオート型）であってもよ ヽ。
[0056] また、点によって位置の指定を受け付けるだけでなぐ範囲による指定を受け付け てもよい。この場合は、点で指定された場合と同様に、範囲の大きさや個数とその利 用方法は任意に選択することができるものとする。例えば、「指定された範囲の少なく とも 20%を含むように興味領域を抽出する」、「指定された範囲の内部から興味領域 を抽出する」、「指定された範囲が複数の場合、少なくともどちらか一方の範囲を 50 %以上含むように興味領域を抽出する」などが考えられる力 もちろんこの限りではな ぐ点の場合と同様に、優先順位を設けたり、範囲について確率分布による重み付け を行って定義し、なるべく確率が高くなるように領域を抽出するなど、出願時点での 技術水準にお 、て施行者が実現できる範囲での数学的 ·統計的処理による任意の 手法を用いることができる。
[0057] また、範囲の設定方法は、ユーザ等力も具体的な範囲の指定を受け付ける (例え ば、マウスやペンなどにより範囲の指定を受け付ける)他、点を指定すると自動的に 所定の範囲を設定できるようにする方法など、任意の既存のユーザインタフェースを 用いることとしてちよい。
[0058] また、個数指定部 118は、指定される興味領域の個数条件と組み合わせることもで きる。例えば、「少なくとも 1つは必ず指定された点を含むように抽出する」など、指定 点の個数とその利用方法は、抽出する個数条件と併せて任意に設定することができ る。
[0059] 個数指定部 118は、ユーザ等力 抽出したい興味領域の個数の指定を受け付ける 。先の位置範囲指定部 116における、点の指定方法の場合と同様に、指定する興味 領域の個数は単数でも複数でもよい。また、指定する興味領域の個数や指定形態と その利用方法 (興味領域の抽出や利用に関するルール）は、任意のケースを用いる ことができる（後述するが、図 5 (a)は、 2つの興味領域が指定された場合の一例を示 す)。
[0060] すなわち、興味領域の抽出時の条件として、指定された数になるよう必ず抽出する
(抽出が困難の場合であっても、指定個数の出力を最優先する)場合や、ベストエフ オート型として、なるべく指定された個数になるように出力する場合など、指定条件は 任意であってもよい。
[0061] なお、形状指定部 112、大きさ指定部 114、位置範囲指定部 116および個数指定 部 118を介して受け付ける条件や指示は任意の条件等とするが、受け付けた条件を 少なくとも 1つは利用して興味領域の抽出を行うこととする。
[0062] 本実施の形態 1では、ユーザ等からの指示を受け付けるインタフェースとして、形状 指定部 112、大きさ指定部 114、位置範囲指定部 116、個数指定部 118を備えるこ ととしたが、これらは上記の構造でなくともよい。実際の利用条件に即して、必要な指 示を入力するために必要なインタフェースのみを備えた画像処理装置として構成を 単純ィ匕しても、もちろんよい。
[0063] また、形状、大きさ、位置、範囲、個数のほか、興味領域の抽出に対して指定した V、要素を別途入力する為のインタフェースを設けてもよ!、。
[0064] 例えば、複数の興味領域 (ROI)を抽出した 、場合に、互 、の興味領域が重ならな V、ように指定できるインタフ ースや、互 、の興味領域の距離をコントロールするイン タフエース、互いの大きさをコントロールする（複数の興味領域を抽出する場合に、「1 つだけ他より大きな領域として抽出する」、「全ての興味領域をほぼ同一の大きさで抽 出する」などを行う)インタフェースなどを設けてもよい。もちろん、別途入力する為の インタフェースは上記の限りではなぐ興味領域の抽出をコントロールできる範囲で任 意の指定を受けるインタフェースを設けてもょ 、。
[0065] 次に、画像力も興味領域を抽出する際に必要な画像内の局所的な誘目度を算出 する方法について説明する。
[0066] 誘目度は、誘目度算出部 122と誘目度算出用画像処理部 124によって算出される 。誘目度算出部 122は、画像の局所的な誘目度を算出する。誘目度算出用画像処 理部 124は、誘目度算出部 122における誘目度の算出に必要な画像処理を行う。
[0067] 誘目度算出用画像処理部 124における画像処理としては、従来の興味領域抽出 手法やヒトの注視モデルを用いることができる。例えば、画像中の局所的な誘目度 (ヒ トの注視モデル)を求める手法については、上記従来技術に記載されている。いずれ も画像の局所的な差分をベースに注視モデルを構築している。
[0068] 上記従来技術の手法を、誘目度算出部 122と誘目度算出用画像処理部 124に当 てはめると、注視モデル (数式）による誘目度の算出に相当する部分が誘目度算出 部 122に当てはまり、差分処理を始めとする画像処理部分が誘目度算出用画像処 理部 124に当てはまる。
[0069] また、興味領域を抽出する手法としては、上記従来技術のように、画像の局所的な 「誘目度」を定義する手法もある。これらの例では、画像を多くの解像度 (以下「高解 像度」という。）で分解し (画像ピラミッド構造とし)、各解像度で明度分布の差や隣接 ブロックとの色相差等を求めた上で、各解像度での誘目度の算出値を所定の重み付 けをもって合算し、位置による重みを付加して最終的な「誘目度」を算出している。
[0070] このように、誘目度算出用画像処理部 124は、多解像度による分解と色相変換機 能を有する。もちろん、ノイズ除去や正規化 (ヒストグラムイコライザやダイナミックレン ジの調整など）、スムージング（ぼかしやローパスフィルタ、ガウシアンフィルタなど）や エッジ強調などの一般的なフィルタ処理、 OPENINGや CLOSINGによるモフォロジ 変換など、既存の画像処理技術を組み合わせて、誘目度の算出性能を向上させるこ ともできる。特に、フィルタやモフォロジ変換によるノイズ除去は、孤立的なノイズに対 して誘目度が高くなりすぎることを防ぐために有効である。また、スムージング処理は 、上記従来技術におけるスケールスペースにもつながる処理であり、画像中の個々 の要素（個々の画素や個々のブロック）に対してスケールスペースを定義し演算する 代わりに、ガウシアンフィルタを画像全体にかけることで代用できる。
[0071] 誘目度算出部 122は、各解像度における各層の誘目度を算出し、各層における算 出値についての重み付けを考慮して最終的な誘目度を算出する。
[0072] また、興味領域の抽出方法は、上記のような対象物を特定しない処理 (画像を大局 的に処理する手法)だけではなく、上記従来技術のように対象が特定されて!ヽる場合 の処理を用いてもよい。上記従来技術では、 MRI画像から脳領域を興味領域として 抽出している。
[0073] また、ヒトゃ顔の検出や文字認識、更には一般的なオブジェクトの検出や認識など 、一般にテンプレートや-ユーラルネット、 BOOSTING等を用いて行う検出、判別お よび認識技術を興味領域の抽出方法として用いることもできる。
[0074] このような検出対象が予め確定して 、る処理 (ルールベース型 Zテンプレート型の 処理)では、一般に対象物の検出や認識に際して、内部的にマッチングや判別処理 が行われ、対象物の確からしさが求められる。その確力 しさが所定の値以上である 場合には対象物が検出されたとみなされる。対象物を認識する場合も同様である。
[0075] これら任意のルールベース型検出における、対象物の「確力 しさ」算出を誘目度 の算出に用いてもよい。更に、確力もしさに対象物の種類に応じた係数を乗じて誘目 度してもよい。例えば、顔なら係数「2. 0」、花なら「1. 0」、犬なら「1. 5」といったよう に、対象に対する誘目性の差を係数で表現してもよい。
[0076] ちなみに、上記従来技術の分野では、対象物に関する何らかの情報が既知である とするルールベース型の処理のことを「トップダウン型」の画像処理であると呼び、画 像の内容や対象物に関する情報が既知ではない処理を「ボトムアップ型」の画像処 理と呼ぶことで区別している。
[0077] さて、次に、状態表示部 132の機能について説明する。
[0078] 状態表示部 132は、誘目度算出部 122や誘目度算出用画像処理部 124、後述の 領域生成条件設定部 142における処理状況や条件設定状況をユーザに提示する。 例えば、液晶パネルや LEDなど、任意の手段を用いて各状況をユーザに提示する。
[0079] 例えば、誘目度算出用画像処理部 124における画像処理結果を表示してもよい。
また、誘目度算出部 122で算出された画像の各部位での「誘目度」を可視できるよう に加工して表示してもよい。
[0080] 例えば、図 2に原画像 200と誘目度算出用画像処理部 124で多解像度変換された 画像例としてモザイク画像 202を模式的に示して ヽる（原画像 200やモザイク画像 20 2の各ブロックは、本来であれば濃淡値を持っているのである力 図中ではディザ誤 差拡散により白黒 2値で濃淡を仮想的に表現していることを予め断っておく。以下の 画像例でも同様である。 ) o
[0081] ここで、「誘目度」として、エッジの強さのみを用いて定義する場合について説明す る (もちろん、上述のように誘目度は種々の方法によって算出が可能である力 ここで は端的な例を用いる）。更に、簡略化のために、エッジの強さを線分の密集度で表現 したものを用いる。図 3は、エッジ検出を行った画像の一例である。（本来は誘目度の 値を濃淡で表現したいが、 2値図面では不可能であるため図 3のように模式的に示し ている。）
状態表示部 132は、図 2 (b)のモザイク画像 202や図 3のエッジ検出画像 300を表 示する。これにより、ユーザは、画像処理状況や誘目度分布を知ることができる。
[0082] なお、状態表示部 132は、各指定部（大きさ指定部 114、位置範囲指定部 116、個 数指定部 118など）と同様、本実施の形態 1における必須の構成要素ではない。必 要に応じて取捨選択が可能な構成要素である。 [0083] 次に、領域生成条件設定部 142及び領域生成部 144の機能について説明する。 上記で述べたように、領域生成部 144は、誘目度に基づいて興味領域を決定する。 このときの決定条件を領域生成条件設定部 142が指定する。
[0084] 領域生成条件設定部 142が興味領域決定条件を設定する時には、各指定部 (形 状指定部 112、大きさ指定部 114、位置範囲指定部 116、個数指定部 118)におけ るユーザ等力もの指示に基づいて設定する。
[0085] 形状指定部 112において興味領域の形状が指定された場合、興味領域がその形 状になるように興味領域決定条件が設定される。大きさ指定部 114において興味領 域の大きさが指定された場合、興味領域がその大きさになるように興味領域決定条 件が設定される。個数指定部 118において興味領域の個数が指定された場合、興 味領域がその個数になるように興味領域決定条件が設定される。以下、具体例を挙 げて説明する。
[0086] 図 4 (a)は、原画像の一例を示す図である。図 4 (a)は、原画像 400内にオブジェク ト A410、オブジェクト B412、オブジェクト C414およびオブジェクト D416が写ってい る状態を模式的に示した図である。
[0087] 図 4 (b)は、原画像 400に対してモザイク処理を行 、、エッジ抽出を行った例をエツ ジ画像 440として模式的に示している。上記の例と同様に、便宜上、エッジ画像 440 中の各ブロックの濃淡の度合 ヽに合致するエッジの強度を表して 、る。
[0088] ここで、形状指定部 112によって、興味領域の形状として円形が指定され、大きさ 指定部 114から興味領域の大きさとして所定の大きさが指定されたとする。例えば、 図 5 (a)に示すように、原画像 500全体の横幅に比べて、 1つは横幅が 2分の 1程度 の大きさの円を、もう 1つは 4分の 1程度の大きさの円が指定されたとする。さらに、個 数指定部 118によって、興味領域の個数として「2個」が指定されたとする。原画像 5 00内のサイズ例 A502とサイズ例 B504が、形状指定部 112、大きさ指定部 114およ び個数指定部 118による指定された興味領域を決定する際の条件である。「2つの 興味領域を、それぞれおおよそ図 5 (a)に示す大きさで、円形の興味領域を抽出する 」という条件である。このとき、図 5 (a)において破線で示されている変動許容幅 506 のように、（この場合は、サイズ例 A502の）大きさの変動を許容する範囲を設定して もよい。なお、この変動許容幅 506の有無や具体的な直径等は、事前にプリセットで 定義しても 、 、し、各指定部を通じてユーザ等力も受け付けてもよ 、（上記の例では
、サイズ例 A502の直径の ± 20%として設定している。 ) o
[0089] 領域生成条件設定部 142は、このように各指定部力もの指定に基づいて興味領域 を決定する際の条件を設定する。
[0090] 領域生成部 144は、サイズ例 A502とサイズ例 B504に応じた興味領域の抽出を行 う。サイズ例 A502に応じた領域を抽出する具体的について、図 5 (b)を用いて説明 する。
[0091] 説明を簡略化するために、エッジ画像 440の中のエッジ強度（図 5 (b)において、各 ブロックの色が黒いほどエッジが強いとする。）が、そのまま誘目度に相当するものと する。つまり、エッジ画像 440が誘目度の強弱を示す誘目度マップである。以後、特 に誘目度を用いた説明では、エッジ画像 440を誘目度マップ 440と呼ぶことにする。
[0092] さて、図 5 (b)に示すように、誘目度マップ 440中を、変動許容幅 506を持ったサイ ズ例 A502が、ちょうどパターンマッチングと同様にスキャンする。円上の誘目度の合 計 (誘目度スコア)が最も高くなる位置を探すことに相当する。一般的なパターンマツ チングと若干相違する点として、円内部の誘目度は誘目度スコアに寄与せず、円周 上に属するブロックの誘目度のみが誘目度スコアに寄与して 、る点がある。もちろん 、一般的なパターンマッチングアルゴリズムをそのまま適用してもよいが、興味領域境 界線上ではなく興味領域内部の誘目度を過大に評価することにつながり、興味領域 出力の品質 (興味領域内に適切にオブジェクトなどが配置されているかどうか）に影 響を及ぼす可能性があるため、興味領域境界線上及び興味領域内部に属するプロ ックの誘目度の双方を誘目度スコアとして用いる際には、輪郭線力もの距離などによ る重み付けなどでチューニングする必要がある。
[0093] 誘目度マップ 440中を、誘目度スコアが最大となるようにサイズ例 A502でパターン マッチングと同様に走査した結果、得られる興味領域が、図 5 (b)に示す ROI決定例 A542である。同様に、サイズ例 B504に対応した興味領域力 図 5 (b)に示す ROI 決定例 B544である。円形という指定がない場合は、楕円形などに変形しても、もちろ んよい。 [0094] 上記の例では、パターンマッチング的な手法のみを用いて説明した力 具体的な興 味領域の位置の決定や興味領域そのものの形状変更を伴う位置の決定は、パター ンマッチング的な手法以外でも実現可能である。
[0095] 例えば、 SNAKESに代表される動的輪郭抽出技術を応用することもできる。動的 輪郭抽出技術は、輪郭を抽出することを目的として、輪郭のエネルギーを定義して画 像中で最もエネルギーが最小となるように輪郭を変化させていく手法で、典型的なェ ネルギー収束演算による抽出方法である。
[0096] パターンマッチング的手法の例では、誘目度スコアが最大になるようにマッチングを 行ったが、動的輪郭抽出技術における「輪郭のエネルギー」を「誘目度スコア」と読み 替え、最大化ではなく最小化するように収束演算を行うことで、動的輪郭抽出技術を 応用することが可能である。（誘目度スコアを正負反転させてエネルギーとする)。
[0097] 動的輪郭抽出技術では、輪郭上に所定数 (例えば 20点）の制御点を配置し、それ ぞれの制御点に対して、移動変形先候補と言える候補点を設定する。各制御点がそ れぞれの候補点の 、ずれかに移動した場合のエネルギーを計算し、最小となるエネ ルギー値を持つ場合の候補点を次の制御点とすることで、収束演算を行う。
[0098] ここで、形状指定部 112から興味領域の形状として円形が指定された先の例のよう に、形状に対する指定が有る場合には、エネルギーそのものが「円形」以外のときに 極大値をとるように設計する方法や、収束し終わった段階で円形に補正する方法な どを用いることができる。このようなエネルギーの定義についても、領域生成条件設 定部 142で行ってもよい。
[0099] なお、領域生成条件設定部 142及び領域生成部 144の構成は、上記の例に限定 されるものではなぐ他の既存技術を用いて構成してもよ 、ことは云うまでもな 、。
[0100] 図 5に示す実施例では、 2つの興味領域 (興味領域決定例 A542及び興味領域決 定例 B544)が、重なることなく抽出されているが、複数の興味領域を抽出する際には 、相互に重なっているか否かの判定が必要になる場合もある。例えば、各指定部から 重なりを許容するカゝ否かについて指定されている場合や、本画像処理装置 100とし て重なりを認めな ヽようにプリセットされる場合などである。
[0101] 興味領域が重なっているかいないかについての判定そのものは、既存技術で容易 に実現可能である力 優先的にどのオブジェクトを一まとめにして興味領域として出 力するかといった問題は別途発生する。機械的に、「最初の興味領域は画像全体か ら最も誘目度スコアの高 、位置を抽出」し、「以降は残りの領域力 最も誘目度スコア の高い位置を抽出する」という手法でもよいが、よりユーザの要求に近い出力をさせる
[0102] 具体的なケースとして、図 8 (a)、図 8 (b)のような画像の場合を考える。原画像 800 に対して、個数指定部 118によって、興味領域として抽出する個数として「6個」及び 「2個」と指定されたとする。このとき、単純に誘目度の高い領域力も順に興味領域を 選択すると、概して、図 8 (b)に示すように、興味領域 822と興味領域 824の 2つがま ず興味領域として選択される。
[0103] もちろん、誘目度の算出方法及び領域の選定方法によっては、その他の領域が興 味領域として選択されることも有り得るが、ここでは、先のエッジ強度に基づいて誘目 度を算出しているものとする。また、興味領域の内部にテクスチャの無い領域が有る 場合には、興味領域として誘目度スコアが下がるような設計をしているものとする（つ まり、興味領域 822と興味領域 824の間の領域を興味領域として抽出したり、興味領 域 822と興味領域 824を内包する大きな領域を興味領域として抽出したりすることが 無いような設計になっているものとする。 ) o
[0104] ここで、個数指定部 118から興味領域抽出個数が 2個に指定されている場合は、特 に問題なく興味領域 822と興味領域 824を興味領域として出力すればよい。
[0105] しかし、興味領域として抽出する個数を「6個」とする指定がなされ、さらに、興味領 域同士が重ならないような設定がなされた場合には、主に比較的無意味な (人間が 見て主観的にあまり意味を感じないような）白い領域力も残り 4個の興味領域が選ば れること〖こなる。
[0106] 上記の「よりヒトの主観に近！ヽ (よりユーザの要求に近!、；)出力を目指す」ためには、 この例で 、えば「6個」と指定されたときに、最初の「2個」として興味領域 822と興味 領域 824を抽出するのではなぐ図 8 (a)のように、興味領域 812、興味領域 813、興 味領域 814、興味領域 815、興味領域 816および興味領域 817 (以下「6領域」という 。）が出力されることがより良いことは自明である。 [0107] ここで、「6個」の指定がされた場合に 6領域が抽出されるようにするには、誘目度を 階層的に捉えると良い。先述の誘目度算出の説明の際に、画像を多解像度に分解 する例を示した力 同様に考えることができる。
[0108] 図 9 (a)、 (b)は、上記図 8における原画像 800を 2段階のブロックサイズでモザイク 化した例を示した図である。いうまでもなぐ原画像 800を多解像度に分解した模式 例である。図 9 (a)のモザイク画像 A900と図 9 (b)のモザイク画像 B910のように、複 数の解像度で表現し、それぞれエッジ強度を求めたものが図 10(a)、（b)である。上記 図 3と同様、線分の密集度でエッジの強度を便宜的に表現している。エッジ画像 A10 00とエッジ画像 B1010とを見比べると、エッジ画像 B1010がより大局的なエッジの 分布を、エッジ画像 A1000がより局所的なエッジの分布を捉えていることが分かる。
[0109] このように多解像でエッジ強度を順次求めていき、これまでの例と同様にエッジ強 度を誘目度と読み替えて、誘目度マップを生成した例を図 11に示す。
[0110] 図 11は、原画像 800を複数の多解像に分解し各解像度でエッジ強度を求め、エツ ジ強度を誘目度と読み替えた場合の誘目度マップを模式的に表現して 、る (誘目度 マップ 1100)。
[0111] ここで、高さ方向は誘目度の高さを表している。
[0112] この誘目度マップ 1100は、ちょうど地図を等高線で輪切りにするように、ある値 (誘 目度)で輪切りにした状態で示して 、る。誘目度マップ 1100中の黒 、部分が輪切り にされて!、る領域を示して 、る。
[0113] ここで、図 11の誘目度マップ 1100は、 6つの輪切りにされた領域を有している。そ の 1つが興味領域 1110である。この輪切りを行う高さを変化させた例が、図 12である 。図 12の誘目度マップ 1200は、上記図 11よりも低い値で輪切りにされている。便宜 上、主な断面を黒点で示している。また、参考として、上記図 11で作られた断面 (興 味領域 1110ほ力）を、図 12中にお!/、て点線で囲まれた領域として示して 、る。
[0114] ここで、誘目度マップ 1100と誘目度マップ 1200は、全く同一であることに注意する と、高さを変えながら断面を見ていくことで、興味領域として抽出できる領域数を変化 させられることに気付く。
[0115] より上位 (誘目度が高い）の領域は、より下位のより広い領域に内包されるものとして 、階層的に注目領域の候補を生成することで、よりユーザの要求に合致する領域を 興味領域として出力することができる。もちろん、実際には、例えば興味領域 1110に 相当する領域が明示的に抽出できないケースも有り得る。つまり、誘目度マップを上 位から断面をしてみていった場合に、どの点とどの点が 1つの領域をなすの力判断し にくい場合がある。そのような状況に対しては、既存のクラスタリング手法 (例えば、最 短距離法などの階層的手法や k-meansなどの分割最適化手法)や BOOSTING法 などの判別手法を取り入れることで、判断の精度を上げることができる。また、画像中 力も既存のテンプレートマッチなどでオブジェクトを抽出し (完全なオブジェクト抽出と なっていなくともよぐ大体の位置形状が分力る程度のオブジェクト抽出でよい。）、そ の結果を誘目度のクラスタリングに用いてもょ 、。
[0116] ここまでの説明で、誘目度マップ及び誘目度マップを用いたクラスタリング手法につ いて説明を行ってきた力 誘目度マップの生成は、前述の誘目度マップ部 148で行 つてもよい。また、クラスタリングは、クラスタリング部 146で行ってもよい。
[0117] 図 13は、上記の図 11及び図 12における誘目度マップと閾値（断面）の関係を簡略 化し、閾値決定部 147の動作として説明した図である。
[0118] 図 13は、画像を走査線 1310で横切った場合の誘目度の変化を模式的に示してい る。閾値 A1302、閾値 B1304、閾値 C 1306でそれぞれ興味領域を抽出した場合を 示している。閾値を変化させることで、ユーザ等からの興味領域の大きさや形状指示 により適合した領域を、誘目度の算出式を変更することなく抽出することができる。
[0119] また、図 13中の閾値 A1302、閾値 B1304、閾値 C1306それぞれを用いた場合に 構成される各 ROIに対応する誘目度によって、クラスタが構成されて 、ると解釈する こともできる。閾値 A1302の場合には、誘目度が閾値 A1302よりも高い二つのクラス タと、低い 3つのクラスタ（画像例での ROI— 3の外部左側、 ROI— 3外部右側力 R OI— 7外部左側、 ROI— 7外部右側がそれにあたる。）の計 5つのクラスタである。も ちろん、単に閾値を変化させるだけではなぐ前述のクラスタリング手法を用いて、こ の誘目度をクラスタに分割してもよ 、ことは云うまでもな 、。
[0120] また、このとき、クラスタリングを複数回行うことで (例えば閾値を、閾値 A1302と閾 値 B1304の 2つを用いてそれぞれクラスタリングして）、いずれかのクラスタリング結果 の領域と別の 、ずれかのクラスタリング結果の領域から、その和集合や積集合を興味 領域として選択してもよい。また、複数回のクラスタリング手法がそれぞれ異なるもの でもよい。
[0121] 以上が、形状指定部 112から興味領域の形状が指定された場合、大きさ指定部 11 4から興味領域の大きさが指定された場合、個数指定部 118から興味領域の個数が 指定された場合の興味領域を決定する際の条件及び興味領域を生成する具体例で ある。
[0122] 同様に、位置範囲指定部 116から興味領域の位置が指定された場合、興味領域 がその位置になるように、もしくは、その位置力もの距離に応じて重み付けを付加して 興味領域が抽出されるように、興味領域決定条件が設定される。
[0123] これについても、具体例を挙げて説明する。
[0124] ここでは、ユーザ等力 画像の中心の位置を指定された場合を考える。必ず指定さ れた位置を含むように抽出することは簡単に実行できるため（指定位置を含まないよ うな興味領域を出力しなければ良い）、以下の例では、なるべく画像の中心に近い興 味領域を抽出するための手法を説明する。
[0125] 上記図 6 (a)は、誘目度マップに対する重みを設定した場合の一例を示す図である 。ここでは、より黒い領域ほど重みが強いことを示している。この重み設定を誘目度マ ップと掛け合わせることで、中心により重きを置いた興味領域の抽出が可能となる。
[0126] なお、上記図 4、図 5の説明の時と同様に、エッジ画像 440を誘目度マップと読み替 えることにする。このエッジ画像 440 (誘目度マップ 440)に、重み設定 600を掛け合 わせてできた新し 、誘目度マップが、上記図 6 (b)の重み付きエッジ画像 640である 。模式的に示している力 エッジ画像 440 (誘目度マップ 440)と較べて、指定位置（ 中心)付近のエッジ (誘目度相当）が強調され、指定位置から遠!、エッジ (誘目度相 当）が弱く描画されていることが分力る。
[0127] この重み付きエッジ画像 640に対して、図 5と同様にパターンマッチング的に興味 領域を決定した例が円領域 642である。いうまでもなぐ指定位置（中心）に近い領域 を興味領域として出力できる。
[0128] 次に、各出力部の機能について説明する。 [0129] 画像出力部 152、ステータス出力部 154および領域情報出力部 156は、例えば液 晶パネルを備え、それぞれ処理後の画像や処理ステータス、興味領域の情報 (座標 やサイズなど)を出力する。
[0130] ここでステータス出力部 154は、興味領域抽出が成功した力否かといった情報のほ かに各処理中の処理状況をログとして出力することもできる。状態表示部 132と同様 又はその代用として、本実施の形態における各処理をモニターするものとして用いて ちょい。
[0131] なお、画像出力部 152やステータス出力部 154は、各指定部（大きさ指定部 114な ど）と同様に、本実施の形態における必須の構成要素ではない。必要に応じて取捨 選択が可能な構成要素である。
[0132] 図 7 (b)は、原画像 200に対する興味領域抽出の結果 (興味領域抽出画像 702)を 示す図であり、画像出力部 152における画像出力例である。
[0133] 次に、本発明に係る画像処理装置 100の動作について説明する。
[0134] 図 14は、画像処理装置 100における処理の流れを示すフローチャートである。
[0135] 最初に、画像入力部 102を介して画像を入力し (S100)、形状指定部 112〜個数 指定部 118を介して、ユーザ等力も指示を受け付ける（S102)。この場合に、大きさ の指定を含み（S104 : Yes)、さらに形状等の指定があった場合は（S120 : Yes)、そ の旨を領域生成条件設定部 142に通知する（S122)。
[0136] 次に、領域生成部 144は、上記の指定条件に基づいて誘目度マップを生成するよ うに誘目度マップ部 148に指示する（S 124)。さらに、領域生成部 144は、従来と同 様の手法を用いて最適な ROIを選択する（S126)。
[0137] 一方、ユーザ等力もの指示に個数の指定が含まれている場合も（S106)、誘目度 マップを作成する（S 108)。この場合、作成した誘目度マップが指定された個数の条 件を満たさない場合は、所定の閾値を変えて、再度上記処理を繰り返す (S110、 S1
12)。
[0138] さらに、上記のように特定された ROIについて、形状が指定されている場合は（S11
4)、その形状に ROIを変形する。
[0139] 最後に、上記の処理で特定された ROIを表示する（S 118)。 [0140] なお、本実施の形態 1の説明では画像全体力 興味領域を抽出しているが、予め 決められた範囲、もしくは指定された範囲カゝら抽出してもよい。抽出する対象 範囲を指定するためのインタフェースを設けてもょ 、。
[0141] なお、上記図 14の説明では、 S 104で大きさの指定の有無を判定した後に、個数 指定の有無を判定しているが、この構成に限らず、大きさの指定に対応する処理と形 状指定に対応する処理、個数指定に対応する処理をそれぞれ独立に機能させても よぐそれぞれの依存関係 (フローチャートにおける上流や下流の関係など）は、仕様 要求等に応じて任意にシステム化することが出来る。
[0142] ここで、個数指定部 118のその他の機能について説明をカ卩える。
[0143] 上記の手法の外に、閾値を変えながらクラスタリングを実施し、その結果として得ら れたクラスタ数が個数条件を満たした場合、おのおのクラスタに基づ 、て ROIとして 出力される領域を決定してもよい。このとき、閾値を変えることによって、クラスタリング されるデータ数 (データ分布)そのものが変化する。
一般にデータ処理を行う場合、すなわち特定のデータから何らかの有意な特徴を 解析した 、場合にぉ 、て解析対象となるデータそのものを改変することは、無意味で ある。例えば、統計処理を行う際にその母集団データを変化させると解析そのものの 意味が失われる。
[0144] しかし、今回のように画像内の特徴 (興味領域)を画像中から抽出したい場合にお いては、特徴解析を行うクラスタリングの対象となるデータ分布が変化することに意味 が生まれる。一般のクラスタリングアルゴリズムの最適化や効率ィ匕とは異なり、クラスタ リング手法そのものではなぐ入力データ分布を変化させることに意味が出てくる。
[0145] これについて、図 15〜図 17を用いながら具体的に説明する。ここでは、入力される 指示として、 4つの興味領域の抽出が指定されていた場合を考える。こ図 15 (a)〜(d )は、クラスタリング対象となるデータの分布と閾値、生成クラスタの関係を 2次元的な 模式図で示した図である。
[0146] 閾値 Aを超える誘目度の点力 図 15 (a)に示すように分布しているとする。
ここで図 15 (a)は、横軸を X方向（画像の幅方向）、縦軸を y方向（画像の高さ方向）と し、誘目度が閾値 Aを超える画像データが存在する座標をプロットしている。例えば 点 Aは、画素 (xl, yl)に対応する誘目度であるとする。
[0147] 図 15 (a)に対し、一般的なクラスタリング手法を用いてクラスタに分けた場合、おお よそ図 15 (b)のように 2つに分類されることが予想される。従来のクラスタリング手法の 最適化方法や効率化方法であれば、如何に最適な 2つの領域とする力、又は如何に 2つの領域を 4つに分類できるようにするかがテーマとなる。しかし、本手法では、閾 値を変えることによって画像データの分布そのものを改変することが出来る。
[0148] 図 15 (c)に、閾値 Aから閾値 Bに変更した場合の画像データの分布例を示す。仮 に閾値 Aは閾値 Bより大きいとする。図 15 (c)では、星型の点は閾値 Aを超える点、 丸型の点は閾値 Aを超えず閾値 Bを超える点を表している。
図 15 (c)に対して同様に一般的なクラスタリング手法を用 、た場合、図 15 (d)のよう に 4つのクラスタに分類されることが予想される。その結果、入力指示として 4つの興 味領域の抽出が指定されているので、この場合は閾値 Bでのクラスタリング結果を用 いてそれぞれのクラスタに属するデータ力も興味領域を設定すればよい。出力される 興味領域は、例えば図 15 (d)の各クラスタを囲む楕円形などである。
[0149] 図 16は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一次元 的に示した図である。横軸に座標（画像を一次元的に表している）を、縦軸に誘目度 を表している。図 16の誘目度グラフにおいて、誘目度が閾値 A又は閾値 Bを越える 点をそれぞれ楕円形の黒 ヽ点で示して ヽる。実際には誘目度グラフは離散値である (画素単位での離散値)。
[0150] 閾値 Aの画像データでは、データ数が 6個しか得られず、クラスタは 2つ生成された のみである（クラスタ A1621とクラスタ A1622)。閾値 Bでは、クラスタ B1611〜クラス タ B1614まで 4つのクラスタが生成されている。図 16では、比較のため従来の ROI設 定方法も示している。
従来の ROI設定方法では、誘目度が所定の値 (ここでは閾値 B)を超えた場合、超え た点を全て内包もしくは内接する領域 (例えば矩形)を持って、興味領域として 、る。 1次元的に書くと、従来 ROI (1601)が相当する。 2次元的に書くと、図 15 (a)の従来 ROI (1501)が相当する。本発明が、従来の画一的な興味領域の設定方法とは全く 異なり、データ分布に柔軟に興味領域が抽出できることが、図 16に示す従来 ROI (l 601)と、誘目度についての閾値 A又は閾値 Bに基づくクラスタリング結果との比較か ら分かる。ここで、誘目度の分布は画像によって異なる。そのため、閾値と得られるデ ータ数、そしてクラスタ数には一般的な法則性が無いが、閾値をより適切に設定する ことで、クラスタリングを何度も繰り返す必要を減らすことができる。
[0151] 例えば、ある画像において、閾値 1ではクラスタが 8個生成され、閾値 2ではクラスタ 力 個生成され、閾値 3ではクラスタが 2個生成されたとする。グラフで書くと図 17のよ うなイメージになる。
[0152] 入力された指示として「4個」の興味領域の抽出が指定されている場合には、閾値 2 と閾値 3の間にクラスタを 4個生成するであろう「閾値 4」の存在が予測される（上記の 予測状況を図 17中の 1点鎖線で示す)。誘目度は画像の内容に応じて変化するた め、必ず閾値 4が存在するとは限らないが、画像の内容が極めて特殊な場合を除き、 上記の推測が成立する可能性は高 、と考えられる。
[0153] そこで、閾値 4を閾値 2と閾値 3の間に設定することで、適切な閾値設定が可能とな る。
産業上の利用可能性
[0154] 本発明に係る画像処理装置は、単一の静止画像もしくは複数の静止画像群や動 画像から、ユーザの要求 (興味領域の形状、大きさおよび個数など）に則した興味領 域の抽出を行う手法を提示し、画像自動編集装置などに有用である他、画像を蓄積 、管理又は分類するシステムにも有用である。

Claims

請求の範囲
[1] 画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、 前記画像にっ 、て、ユーザが注目する度合 、を表わす誘目度を算出する誘目度 算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画 素に基づき、前記画像力も興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすカゝ否かを判定する 判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成 手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
[2] 前記指示入力手段は、生成される興味領域の数について指示を受け付け、
前記領域生成手段は、
前記画像における前記誘目度を満たす画素について、受け付けられた前記興味 領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得ら れたクラスタを含む領域を前記生成された興味領域とする
ことを特徴とする請求項 1記載の画像処理装置。
[3] 前記領域生成手段は、さらに、
取得された前記画像における前記誘目度が第 1の条件を満たす範囲について第 1 のクラスタリングを行い、前記画像における前記誘目度が第 2の条件を満たす範囲に ついて第 2のクラスタリングを行い、前記第 1のクラスタリングの結果と前記第 2のクラス タリングの結果とを比較し、前記第 1のクラスタリングにより興味領域と特定された領域 の少なくとも一部を含み、かつ前記第 2のクラスタリングにより興味領域と特定された 領域を興味領域とする
ことを特徴とする請求項 2記載の画像処理装置。
[4] 前記領域生成手段は、さらに、
前記興味領域の個数が前記指示された数を満たす個数になるまで前記第 1の条件 又は第 2の条件を変化させて、前記第 1のクラスタリング又は前記第 2のクラスタリング を行う
ことを特徴とする請求項 3記載の画像処理装置。
[5] 前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対象とな る画像データ数を変化させる
ことを特徴とする請求項 2記載の画像処理装置。
[6] 前記領域生成手段は、さらに、
前記クラスタリングの結果得られたクラスタの数に基づ 、て、前記閾値の変更を行う ことを特徴とする請求項 2記載の画像処理装置。
[7] 前記領域生成手段は、前記閾値の変更の際に、複数の前記クラスタ数の区間内に 、前記指示入力手段で指示された数が当てはまる場合には、前記区間内に対応した 閾値を選択する
ことを特徴とする請求項 6記載の画像処理装置。
[8] 取得された前記画像はオブジェクトを含み、
前記誘目度算出手段は、
取得された前記画像に対してオブジェクト抽出を行い、所定の算出式に基づいて、 抽出された前記オブジェクトに対応する誘目度を算出し、
前記領域生成手段は、さらに、
算出された前記誘目度に基づいて、前記興味領域の生成を行う
ことを特徴とする請求項 1記載の画像処理装置。
[9] 前記誘目度算出手段は、さらに、
階層的に n回の前記オブジェクト抽出を行い、所定の算出式に基づいて、抽出され た前記オブジェクトに対応する誘目度を算出し、
前記領域生成手段は、さらに、
算出された前記 n階層の誘目度に基づいて、興味領域を特定する
ことを特徴とする請求項 8記載の画像処理装置。
[10] 前記誘目度算出手段は、
所定の単位ブロック (nX mピクセル: n、 mは正の整数)毎に誘目度を算出し、さら に、前記単位ブロックにそれぞれ前記誘目度を割り当てた誘目度マップを生成し、 前記領域生成手段は、
前記誘目度マップに基づいて、一の誘目度が所定値と交差する位置について必要 に応じて補間処理を行 、、前記交差位置の集合に基づ 、て前記所定値を満たす前 記単位ブロックを内包する候補領域を求め、前記候補領域を興味領域として特定す る
ことを特徴とする請求項 1記載の画像処理装置。
[11] 前記領域生成手段は、
少なくとも 2つの興味領域が生成された場合に、第 1の興味領域と第 2の興味領域 が重ならないように、第 1の興味領域に第 2の興味領域が内包するように、第 1の興味 領域と第 2の興味領域の大きさがほぼ同一の大きさになるように又は興味領域の大き さが全て異なる大きさになるように特定する
ことを特徴とする請求項 1記載の画像処理装置。
[12] 前記指示入力手段は、さらに、
前記興味領域の形状を表す指示を受け付け、
前記領域生成手段は、さらに、
受け付けられた前記形状に略同一の形状の興味領域を抽出するために、前記形 状に略同一の大きさのテンプレートを用いて、前記誘目度の総和もしくは画素あたり の平均値の少なくとも一方が極大値となる領域を特定し、当該特定した領域を興味 領域とする
ことを特徴とする請求項 1記載の画像処理装置。
[13] 前記領域生成手段は、さらに、
前記極大値となる領域を特定する場合に、前記形状に略同一のテンプレートの輪 郭上に位置する前記誘目度、又は、前記形状に略同一のテンプレートの輪郭内部 に位置する前記誘目度、の少なくとも一方を用いて前記極大値を求める
ことを特徴とする請求項 12記載の画像処理装置。
[14] 画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、 前記画像にっ 、て、ユーザが注目する度合 、を表わす誘目度を算出する誘目度 算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画 素に基づき、前記画像力も興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすカゝ否かを判定する 判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成 手段および前記判定手段の処理を繰り返す
ことを特徴とする集積回路。
[15] 画像を表す画像データを取得する画像入力ステップと、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力ステップと、 前記画像にっ 、て、ユーザが注目する度合 、を表わす誘目度を算出する誘目度 算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画 素に基づき、前記画像力も興味領域を生成する領域生成ステップと、
生成された前記興味領域が、受け付けられた前記条件を満たすカゝ否かを判定する 判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成 ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とする画像処理方法。
[16] 画像処理装置に用いられる、コンピュータに実行させるためのプログラムであって、 前記プログラムは、
画像を表す画像データを取得する画像入力ステップと、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力ステップと、 前記画像にっ 、て、ユーザが注目する度合 、を表わす誘目度を算出する誘目度 算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画 素に基づき、前記画像力も興味領域を生成する領域生成ステップと、 生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する 判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成 ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とするプログラム。
PCT/JP2006/302059 2005-02-07 2006-02-07 画像処理装置および画像処理方法 Ceased WO2006082979A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007501675A JPWO2006082979A1 (ja) 2005-02-07 2006-02-07 画像処理装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005031113 2005-02-07
JP2005-031113 2005-02-07

Publications (1)

Publication Number Publication Date
WO2006082979A1 true WO2006082979A1 (ja) 2006-08-10

Family

ID=36777356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/302059 Ceased WO2006082979A1 (ja) 2005-02-07 2006-02-07 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20070201749A1 (ja)
JP (1) JPWO2006082979A1 (ja)
WO (1) WO2006082979A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187241A1 (en) * 2007-02-05 2008-08-07 Albany Medical College Methods and apparatuses for analyzing digital images to automatically select regions of interest thereof
JP2009003615A (ja) * 2007-06-20 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
JP2009212740A (ja) * 2008-03-04 2009-09-17 Nittoh Kogaku Kk 変化要因情報のデータの生成法および信号処理装置
JP2009295081A (ja) * 2008-06-09 2009-12-17 Iwasaki Electric Co Ltd 目立ち画像生成装置、及び目立ち画像生成プログラム
JP2011514789A (ja) * 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
WO2011148562A1 (ja) * 2010-05-26 2011-12-01 パナソニック株式会社 画像情報処理装置
JP2012022414A (ja) * 2010-07-12 2012-02-02 Nippon Hoso Kyokai <Nhk> 関心密度分布モデル化装置及びそのプログラム
WO2013128522A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 配色判定装置、配色判定方法および配色判定プログラム
WO2013128523A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 配色変更装置、配色変更方法および配色変更プログラム
KR101341576B1 (ko) * 2012-11-20 2013-12-13 중앙대학교 산학협력단 등고선 기반 관심영역 결정방법 및 장치
US8698959B2 (en) 2009-06-03 2014-04-15 Thomson Licensing Method and apparatus for constructing composite video images
JP2017224068A (ja) * 2016-06-14 2017-12-21 大学共同利用機関法人自然科学研究機構 質感評価システム
CN112132135A (zh) * 2020-08-27 2020-12-25 南京南瑞信息通信科技有限公司 一种基于图像处理的电网传输线检测方法、存储介质
US10878265B2 (en) 2017-03-13 2020-12-29 Ricoh Company, Ltd. Image processing device and image processing method for setting important areas in an image
KR102433384B1 (ko) 2016-01-05 2022-08-18 한국전자통신연구원 텍스처 이미지 처리 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2107787A1 (en) * 2008-03-31 2009-10-07 FUJIFILM Corporation Image trimming device
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US8253802B1 (en) * 2009-09-01 2012-08-28 Sandia Corporation Technique for identifying, tracing, or tracking objects in image data
US9183224B2 (en) * 2009-12-02 2015-11-10 Google Inc. Identifying matching canonical documents in response to a visual query
US9176986B2 (en) 2009-12-02 2015-11-03 Google Inc. Generating a combination of a visual query and matching canonical document
US8811742B2 (en) 2009-12-02 2014-08-19 Google Inc. Identifying matching canonical documents consistent with visual query structural information
US8805079B2 (en) 2009-12-02 2014-08-12 Google Inc. Identifying matching canonical documents in response to a visual query and in accordance with geographic information
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US9405772B2 (en) * 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US9852156B2 (en) 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
JP5144789B2 (ja) * 2011-06-24 2013-02-13 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US9298980B1 (en) * 2013-03-07 2016-03-29 Amazon Technologies, Inc. Image preprocessing for character recognition
US10878024B2 (en) * 2017-04-20 2020-12-29 Adobe Inc. Dynamic thumbnails
JP6938270B2 (ja) 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58219682A (ja) * 1982-06-14 1983-12-21 Fujitsu Ltd 文字画像情報の読取方式
JPH0785275A (ja) * 1993-06-29 1995-03-31 Fujitsu General Ltd 画像抽出方法および装置
JP2004220368A (ja) * 2003-01-15 2004-08-05 Sharp Corp 安定度検証に特長をもつ画像処理手順設計エキスパートシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1346321B1 (en) * 2000-12-14 2005-09-21 Matsushita Electric Works, Ltd. Image processor and pattern recognition apparatus using the image processor
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58219682A (ja) * 1982-06-14 1983-12-21 Fujitsu Ltd 文字画像情報の読取方式
JPH0785275A (ja) * 1993-06-29 1995-03-31 Fujitsu General Ltd 画像抽出方法および装置
JP2004220368A (ja) * 2003-01-15 2004-08-05 Sharp Corp 安定度検証に特長をもつ画像処理手順設計エキスパートシステム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187241A1 (en) * 2007-02-05 2008-08-07 Albany Medical College Methods and apparatuses for analyzing digital images to automatically select regions of interest thereof
US8126267B2 (en) * 2007-02-05 2012-02-28 Albany Medical College Methods and apparatuses for analyzing digital images to automatically select regions of interest thereof
JP2009003615A (ja) * 2007-06-20 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
JP2009212740A (ja) * 2008-03-04 2009-09-17 Nittoh Kogaku Kk 変化要因情報のデータの生成法および信号処理装置
JP2011514789A (ja) * 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
JP2009295081A (ja) * 2008-06-09 2009-12-17 Iwasaki Electric Co Ltd 目立ち画像生成装置、及び目立ち画像生成プログラム
US8698959B2 (en) 2009-06-03 2014-04-15 Thomson Licensing Method and apparatus for constructing composite video images
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
CN102301316A (zh) * 2009-12-14 2011-12-28 松下电器产业株式会社 用户界面装置以及输入方法
CN102301316B (zh) * 2009-12-14 2015-07-22 松下电器（美国）知识产权公司 用户界面装置以及输入方法
US8830164B2 (en) 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
CN102906790B (zh) * 2010-05-26 2015-10-07 松下电器（美国）知识产权公司 图像信息处理装置
CN102906790A (zh) * 2010-05-26 2013-01-30 松下电器产业株式会社 图像信息处理装置
JP5837484B2 (ja) * 2010-05-26 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像情報処理装置
WO2011148562A1 (ja) * 2010-05-26 2011-12-01 パナソニック株式会社 画像情報処理装置
US8908976B2 (en) 2010-05-26 2014-12-09 Panasonic Intellectual Property Corporation Of America Image information processing apparatus
JP2012022414A (ja) * 2010-07-12 2012-02-02 Nippon Hoso Kyokai <Nhk> 関心密度分布モデル化装置及びそのプログラム
JPWO2013128522A1 (ja) * 2012-02-29 2015-07-30 日本電気株式会社 配色判定装置、配色判定方法および配色判定プログラム
US8736634B2 (en) 2012-02-29 2014-05-27 Nec Corporation Color scheme changing apparatus, color scheme changing method, and color scheme changing program
WO2013128522A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 配色判定装置、配色判定方法および配色判定プログラム
WO2013128523A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 配色変更装置、配色変更方法および配色変更プログラム
JP5418740B1 (ja) * 2012-02-29 2014-02-19 日本電気株式会社 配色変更装置、配色変更方法および配色変更プログラム
US9600905B2 (en) 2012-02-29 2017-03-21 Nec Corporation Color-scheme determination device, color-scheme determination method, and color-scheme determination program
KR101341576B1 (ko) * 2012-11-20 2013-12-13 중앙대학교 산학협력단 등고선 기반 관심영역 결정방법 및 장치
KR102433384B1 (ko) 2016-01-05 2022-08-18 한국전자통신연구원 텍스처 이미지 처리 장치 및 방법
JP2017224068A (ja) * 2016-06-14 2017-12-21 大学共同利用機関法人自然科学研究機構 質感評価システム
US10878265B2 (en) 2017-03-13 2020-12-29 Ricoh Company, Ltd. Image processing device and image processing method for setting important areas in an image
CN112132135A (zh) * 2020-08-27 2020-12-25 南京南瑞信息通信科技有限公司 一种基于图像处理的电网传输线检测方法、存储介质
CN112132135B (zh) * 2020-08-27 2023-11-28 南京南瑞信息通信科技有限公司 一种基于图像处理的电网传输线检测方法、存储介质

Also Published As

Publication number Publication date
US20070201749A1 (en) 2007-08-30
JPWO2006082979A1 (ja) 2008-06-26

Similar Documents

Publication Publication Date Title
WO2006082979A1 (ja) 画像処理装置および画像処理方法
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN101523412B (zh) 基于人脸的图像聚类
US8345974B2 (en) Hierarchical recursive image segmentation
CN100405388C (zh) 特定被摄体检测装置
JP5283088B2 (ja) 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8488190B2 (en) Image processing apparatus, image processing apparatus control method, and storage medium storing program
JP2006285944A (ja) 被写体の構成要素を検出する装置および方法
JP2008097607A (ja) 入力イメージを自動的に分類する方法
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP7077046B2 (ja) 情報処理装置、被写体の判別方法及びコンピュータプログラム
JP2005190400A (ja) 顔画像検出方法及び顔画像検出システム並びに顔画像検出プログラム
KR100836740B1 (ko) 영상 데이터 처리 방법 및 그에 따른 시스템
JP3708042B2 (ja) 画像処理方法及びプログラム
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP2009123234A (ja) オブジェクト識別方法および装置ならびにプログラム
JP3720892B2 (ja) 画像処理方法および画像処理装置
JP4285640B2 (ja) オブジェクト識別方法および装置ならびにプログラム
CN114359090A (zh) 一种口腔ct影像的数据增强方法
CN113723453A (zh) 花粉图像分类方法及装置
JP4285644B2 (ja) オブジェクト識別方法および装置ならびにプログラム
CN100565556C (zh) 特定被摄体检测装置
WO2020208955A1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN107545261A (zh) 文本检测的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007501675

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2007201749

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11547643

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06713202

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 6713202

Country of ref document: EP