[go: up one dir, main page]

WO2013073168A1 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

画像処理装置、撮像装置および画像処理方法 Download PDF

Info

Publication number
WO2013073168A1
WO2013073168A1 PCT/JP2012/007271 JP2012007271W WO2013073168A1 WO 2013073168 A1 WO2013073168 A1 WO 2013073168A1 JP 2012007271 W JP2012007271 W JP 2012007271W WO 2013073168 A1 WO2013073168 A1 WO 2013073168A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
segment
unit
image processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/007271
Other languages
English (en)
French (fr)
Inventor
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to EP12849347.5A priority Critical patent/EP2782330A4/en
Priority to US13/979,175 priority patent/US9171222B2/en
Priority to CN201280005118.2A priority patent/CN103299613B/zh
Priority to JP2013518622A priority patent/JP5878924B2/ja
Publication of WO2013073168A1 publication Critical patent/WO2013073168A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing method for tracking a subject included in a first image in a second image captured after the first image.
  • Cameras such as digital still cameras or digital video cameras equipped with a touch panel that displays images in real time are widely spread.
  • the user can take a picture or a video while checking the image displayed on the touch panel.
  • the user can designate the position of the subject of interest in the image displayed on the touch panel by touching the touch panel.
  • the camera uses an amount of features extracted from the peripheral area of the position to perform autofocus (AF: Autofocus) or automatic exposure (AE: Automatic Exposure). Run.
  • AF Autofocus
  • AE Automatic Exposure
  • the camera automatically focuses on the subject even when the subject or the camera moves by performing AF again using the feature value extracted from the area of the subject tracked in this manner. be able to.
  • the camera is an object when the shape of the object is different from the predetermined shape. Feature quantities can not be extracted properly. As a result, it is difficult for the camera to track the subject correctly.
  • the present invention provides an image processing apparatus, an imaging apparatus, and an image processing method that can accurately track a subject included in a first image in a second image captured after the first image.
  • An image processing apparatus is an image processing apparatus for tracking a subject included in a first image in a second image captured after the first image, and is applicable to the similarity of pixel values.
  • a segment set including a segmentation unit that divides the first image into a plurality of segments, an instruction unit that indicates the position of the subject in the first image, and an indicated segment that is a segment present at the indicated position.
  • An area setting unit that sets the target area as the target area, an extraction unit that extracts the feature quantity from the set target area, and an area similar to the target area using the extracted feature quantity in the second image
  • a tracking unit that tracks the subject by searching in
  • the subject included in the first image can be accurately tracked in the second image captured after the first image.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to the embodiment.
  • FIG. 2 is a flowchart showing the processing operation of the image processing apparatus according to the embodiment.
  • FIG. 3 is a flowchart showing details of the processing operation of the segmentation unit according to the embodiment.
  • FIG. 4 is a diagram for explaining an example of the processing operation of the segmentation unit according to the embodiment.
  • FIG. 5 is a diagram for explaining an example of the processing operation of the segmentation unit according to the embodiment.
  • FIG. 6 is a diagram showing an example of the segmentation result according to the embodiment.
  • FIG. 7 is a diagram for describing an example of processing operation of the instruction unit according to the embodiment.
  • FIG. 8 is a flowchart showing details of the processing operation of the area setting unit according to the embodiment.
  • FIG. 8 is a flowchart showing details of the processing operation of the area setting unit according to the embodiment.
  • FIG. 9 is a diagram for explaining an example of processing operation of the area setting unit according to the embodiment.
  • FIG. 10 is a diagram for explaining an example of the processing operation of the tracking unit according to the embodiment.
  • FIG. 11 is a diagram for explaining an example of processing operation of the tracking unit according to the modification of the embodiment.
  • FIG. 12 is a block diagram showing the configuration of an imaging apparatus according to an embodiment.
  • An image processing apparatus is an image processing apparatus for tracking a subject included in a first image in a second image captured after the first image, and is applicable to the similarity of pixel values.
  • a segment set including a segmentation unit that divides the first image into a plurality of segments, an instruction unit that indicates the position of the subject in the first image, and an indicated segment that is a segment present at the indicated position.
  • An area setting unit that sets the target area as the target area, an extraction unit that extracts the feature quantity from the set target area, and an area similar to the target area using the extracted feature quantity in the second image
  • a tracking unit that tracks the subject by searching in
  • the target area is set using a plurality of segments obtained by dividing the first image based on the similarity of the pixel values. Therefore, even for a subject having a complicated geometric shape, it is possible to set a target region of a shape suitable for the complicated geometric shape. As a result, since the feature amount of the subject can be extracted more appropriately than in the case of extracting the feature amount from the target area of a predetermined shape, it is possible to track the subject accurately.
  • the segmentation unit divides the first image into a plurality of segments based on color similarity.
  • the first image can be divided into a plurality of segments based on the color similarity. Therefore, it is possible to divide the first image into a plurality of segments so that a plurality of different subjects are not included in one segment. As a result, since the possibility that the boundary of the subject is included in the segment can be reduced, it is possible to set a target area having a shape more suitable for the shape of the subject.
  • the segmentation unit divides the first image into a plurality of segments by clustering based on similarity defined using colors and pixel positions.
  • the clustering is k-means clustering.
  • the first image can be divided into a plurality of segments by the k-means method. Therefore, it is possible to divide the first image into a plurality of segments with higher accuracy so that a plurality of different subjects are not included in one segment. Furthermore, since segmentation can be performed by relatively simple processing, it is also possible to reduce the processing load for tracking an object.
  • the region setting unit is a segment set including the indication segment and a similar segment whose value indicating the similarity of the image to the indication segment is larger than a threshold, and the segment set forming one continuous region is It is preferable to set it as a target area.
  • a segment set including the designated segment and the similar segment can be set as the target region. Therefore, even when the area of one subject straddles a plurality of segments, it is possible to set a target area of a shape suitable for the shape of the subject.
  • the tracking unit scans, in the second image, a frame having a predetermined shape surrounding the target region, thereby setting the region in the frame at each position in the scanned second image.
  • the feature amount is extracted only from the region corresponding to the target region, and the region similar to the target region is obtained by comparing the feature amount extracted at each position with the feature amount extracted from the target region. It is preferable to search.
  • the feature quantity is extracted only from the area corresponding to the target area among the areas in the frame. Similar regions can be searched. Therefore, it is possible to track the subject more accurately.
  • the extraction unit extracts a feature amount for each of the segments included in the target region
  • the tracking unit uses the feature amount extracted from the segment for each of the segments included in the target region. It is preferable to search for an area similar to the target area by searching for an area similar to the above in the second image.
  • the tracking unit uses the positional relationship between the segment and the segment closest to the center of gravity of the target region in addition to the feature amount extracted from the segment, and makes the region similar to the segment in the second image It is preferable to search by
  • the image processing apparatus may be configured as an integrated circuit.
  • An imaging device includes the image processing device, and an imaging unit configured to capture the first image and the second image.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus 10 according to the embodiment.
  • the image processing apparatus 10 tracks a subject included in a first image in a second image captured later than the first image.
  • the image processing apparatus 10 includes a segmentation unit 11, an instruction unit 12, an area setting unit 13, an extraction unit 14, and a tracking unit 15.
  • the segmentation unit 11 divides the first image into a plurality of segments based on the similarity of pixel values. That is, the segmentation unit 11 divides the first image into a plurality of segments such that pixels having similar pixel values are included in one segment.
  • segmentation corresponds to a partial region in the first image.
  • segmentation The process of dividing into a plurality of segments is hereinafter also referred to as segmentation.
  • a pixel value is a value which the pixel which comprises an image has.
  • the pixel value is, for example, a value indicating the luminance, color, lightness, hue or saturation of the pixel, or a combination thereof.
  • the segmentation unit 11 divides the first image into a plurality of segments based on the color similarity. For example, the segmentation unit 11 divides the first image into a plurality of segments by clustering based on similarity defined using colors and pixel positions.
  • the instructing unit 12 instructs the position of the subject in the first image.
  • the instruction unit 12 receives an input from the user for specifying the position of the subject in the first image through an input device (such as a touch panel). Then, the instruction unit 12 instructs the position of the subject based on the received input.
  • the instruction unit 12 may indicate a predetermined position (for example, the center position or the like) in the first image as the position of the subject.
  • the position designated by the designation unit 12 will be referred to as a designated position.
  • the area setting unit 13 sets a segment set including the designated segment as a target area.
  • the indication segment is a segment present at the position indicated by the indication unit 12.
  • a segment set is a set including at least one segment.
  • the region setting unit 13 is a segment set including a designated segment and a similar segment whose value indicating the similarity of the image to the designated segment is larger than a threshold, and forms one continuous region. Set the set as the target area.
  • the area setting unit 13 does not have to set the segment set including the designated segment and the similar segment as the target area.
  • the area setting unit 13 may set a segment set including only the designated segment as the target area.
  • the extraction unit 14 extracts the feature amount from the set target region.
  • the feature amount is a value quantitatively indicating the feature of the image of the target area.
  • the extraction unit 14 extracts the color histogram of the target area as a feature quantity.
  • the color histogram represents a frequency corresponding to each of a plurality of predetermined color types.
  • the plurality of color types are predetermined, for example, using a range of H (hue) component values in the HSV color space.
  • the plurality of color types need not necessarily be defined using the range of H component values in the HSV color space.
  • the plurality of color types may be defined using a range of values obtained from the H component value and at least one of the V (lightness) component value and the S (saturation) component value.
  • the types of the plurality of colors may be determined using component values in other color spaces (eg, RGB color space, YUV color space, Lab color space, etc.) instead of component values in the HSV color space.
  • the tracking unit 15 tracks the subject by searching for an area similar to the target area in the second image using the extracted feature amount. That is, the tracking unit 15 tracks the subject by searching for an area in the second image from which the feature quantity most similar to the feature quantity extracted from the target area is extracted.
  • a color histogram is used as the feature amount. That is, the tracking unit 15 searches the second image for an area where a color histogram most similar to the color histogram extracted from the target area is extracted.
  • the degree of similarity between the two color histograms is represented by the degree of overlap between the two color histograms.
  • the overlapping degree of the two color histograms indicates the magnitude of the overlapping frequency in each color type of the two color histograms.
  • the two color histograms are respectively normalized color histograms such that the sum of frequencies is equal to each other.
  • the tracking unit 15 can easily calculate a value indicating the degree of similarity between the two color histograms by adding the smaller one of the two frequencies of each color type for all color types. it can.
  • FIG. 2 is a flowchart showing the processing operation of the image processing apparatus 10 according to the embodiment.
  • the segmentation unit 11 divides the first image into a plurality of segments based on the similarity of pixel values (S101).
  • the instruction unit 12 instructs the position of the subject in the first image (S102).
  • the area setting unit 13 sets an area including at least a segment present at the designated position as a target area (S103).
  • the extraction unit 14 extracts the feature amount from the target area (S104).
  • the tracking unit 15 tracks the subject by searching the second image for an area similar to the target area using the extracted feature amount (S105).
  • the image processing apparatus 10 can track the subject included in the first image in the second image captured after the first image.
  • the image processing apparatus 10 does not necessarily have to perform the processing in the order of the steps shown in FIG.
  • the image processing apparatus 10 may execute step S101 after step S102. Further, for example, the image processing apparatus 10 may execute step S101 and step S102 in parallel.
  • FIG. 3 is a flowchart showing details of the processing operation of the segmentation unit 11 according to the embodiment.
  • FIG. 4 is a diagram for explaining an example of the processing operation of the segmentation unit 11 according to the embodiment.
  • FIG. 5 is a diagram for explaining an example of the processing operation of the segmentation unit 11 according to the embodiment.
  • FIG. 6 is a diagram showing an example of the segmentation result according to the embodiment.
  • the segmentation unit 11 first converts the color space of the first image and the second image (S201). Specifically, the segmentation unit 11 converts the first image and the second image from the RGB color space to the Lab color space.
  • This Lab color space is a perceptually uniform color space. That is, in the Lab color space, when the color value changes by the same amount, the change felt when a human looks at it is also equal. Therefore, the segmentation unit 11 can segment the first image along the boundary of the subject perceived by human by performing the segmentation of the first image in the Lab color space.
  • the segmentation unit 11 sets the centroids of k (k: integers of 2 or more) initial clusters (S202).
  • the centers of gravity of these k initial clusters are set, for example, to be evenly distributed on the first image.
  • the centers of gravity of the k initial clusters are set such that the distance between adjacent centers of gravity is S (pixels).
  • the segmentation unit 11 calculates a distance Ds with respect to the center of gravity of each cluster (S203).
  • the distance Ds corresponds to a value indicating similarity defined using pixel values and pixel positions.
  • the smaller the distance Ds the higher the similarity of the pixel to the centroid of the cluster.
  • the segmentation unit 11 calculates the distance Ds of the target pixel i only to the center of gravity Ck located within the distance calculation target range.
  • a position that is equal to or less than the centroid distance S of the initial cluster from the position of the target pixel i is set as the distance calculation target range. That is, the segmentation unit 11 calculates the distances to the respective centers of gravity C2, C3, C6, and C7 for the target pixel i.
  • setting the distance calculation target range makes it possible to reduce the calculation load as compared to the case of calculating the distances for all the centers of gravity.
  • the distance Ds of the target pixel i (pixel position (xi, yi), pixel value (li, ai, bi)) to the center of gravity Ck (pixel position (xk, yk), pixel value (lk, ak, bk)) is It is calculated by Equation 1.
  • m is a coefficient for balancing the influence of the distance dlab based on the pixel value and the distance dxy based on the pixel position on the distance Ds.
  • This coefficient m may be predetermined experimentally or empirically.
  • the segmentation unit 11 determines a cluster to which the target pixel i belongs by using the distance Ds with respect to each centroid of the target pixel i as described above (S204). Specifically, the segmentation unit 11 determines a cluster having a center of gravity with the smallest distance Ds as a cluster to which the target pixel i belongs.
  • the segmentation unit 11 updates the center of gravity of each cluster (S205). For example, as a result of determination of the belonging cluster of each pixel in step S204, as shown in FIG. 5, the pixel value and the pixel position of the gravity center C6 are updated when the rectangular cluster changes to a hexagonal cluster.
  • the segmentation unit 11 calculates the pixel value (lk_new, ak_new, bk_new) and the pixel position (xk_new, yk_new) of the new center of gravity according to Equation 2 below.
  • the segmentation unit 11 ends the process. That is, if there is no change in the center of gravity of each cluster before and after the update in step S205, the segmentation unit 11 ends the segmentation. On the other hand, if the center of gravity of each cluster has not converged (No in S206), the segmentation unit 11 repeats the processing in steps S203 to S205.
  • the segmentation unit 11 can divide the first image into a plurality of segments by clustering (here, the k-means method) based on the similarity defined using the pixel value and the pixel position. Therefore, as shown in FIG. 6, the segmentation unit 11 can divide the first image into a plurality of segments according to the features of the subject region included in the first image.
  • the segmentation unit 11 can divide the first image into a plurality of segments so that the same subject is included in one segment.
  • the parallax values of the pixels in each segment are similar, it is possible to improve the accuracy of the parallax value specified for each segment. That is, depth data can be generated more accurately.
  • the k-means method is relatively simple clustering, it is also possible to reduce the processing load for generating depth data.
  • FIG. 7 is a diagram for explaining an example of the processing operation of the instruction unit 12 according to the embodiment.
  • the instruction unit 12 designates the position on the touch panel touched by the user as the position of the subject.
  • the touch panel detects the position touched by the user by, for example, a resistive film method or a capacitance method.
  • the instruction unit 12 designates the position on the touch panel touched by the user as the position of the subject, whereby the user can easily designate the position of the subject simply by touching the touch panel.
  • the touched position may be not only the position touched by the user but also a position representing an area surrounded by a locus drawn by the position touched by the user.
  • the instruction unit 12 does not necessarily have to acquire the position input by the user via the touch panel.
  • the instruction unit 12 may indicate the position on the display, which the user has input via the operation button or the like, as the position of the subject.
  • FIG. 8 Details of the target area setting process (S103) will be described using FIGS. 8 and 9.
  • FIG. 8 is a flowchart showing details of the processing operation of the region setting unit 13 according to the embodiment.
  • FIG. 9 is a diagram for explaining an example of the processing operation of the area setting unit 13 according to the embodiment.
  • the area setting unit 13 selects an instruction segment (S301). Subsequently, the region setting unit 13 sets the image similarity between the instructed segment and the segment (hereinafter referred to as “adjacent segment”) adjacent to the segment selected in step S301 or S304 (hereinafter referred to as “selected segment”). A value (hereinafter referred to as a "similar value”) indicating the property is calculated (S302). Specifically, the region setting unit 13 calculates, for example, a value indicating the degree of overlap between the color histogram of the designated segment and the color histogram of the adjacent segment as the similarity value.
  • the region setting unit 13 selects the adjacent segment as the similar segment (S304), and returns to the process of step S302 again.
  • the area setting unit 13 sets an area including the selected segment as a target area (S305). That is, the area setting unit 13 sets the segment selected in step S301 and step S304 as the target area.
  • the region setting unit 13 can set a segment set including the indication segment and the similar segment whose value indicating the similarity of the image to the indication segment is larger than the threshold as the target region. .
  • the area setting unit 13 sets an area including the indication segment and the similar segment as the target area as shown in (b) of FIG. And can be set.
  • the area setting unit 13 may execute the processing of steps S302 to S304 for each adjacent segment.
  • the similarity value does not have to be a value that indicates the degree of overlap of the color histograms.
  • the similarity value may be a value indicating the difference in average color between two segments.
  • the similarity value may not be color, but may be a value indicating similarity of brightness, lightness or saturation.
  • the similarity value may be a value that indicates the similarity of position in addition to the similarity of the image. In this case, the similarity value decreases as the distance from the designated segment increases.
  • FIG. 10 is a diagram for explaining an example of the processing operation of the tracking unit 15 according to the embodiment.
  • the tracking unit 15 scans a frame of a predetermined shape surrounding the target area in the second image. For example, as shown in (a) and (b) of FIG. 10, the tracking unit 15 scans a rectangular frame circumscribing the target area in the second image.
  • the tracking unit 15 extracts the feature amount from only the area corresponding to the target area among the areas in the frame. For example, as shown in (b) of FIG. 10, the tracking unit 15 extracts the feature amount only from the area in the frame excluding the blank area.
  • the tracking unit 15 compares an area similar to the target area in the second image by comparing the feature quantity extracted at each position in the second image in this manner with the feature quantity extracted from the target area. Explore.
  • the target region is set using a plurality of segments obtained by dividing the first image based on the similarity of pixel values. . Therefore, even for a subject having a complicated geometric shape, it is possible to set a target region of a shape suitable for the complicated geometric shape. As a result, since the feature amount of the subject can be extracted more appropriately than in the case of extracting the feature amount from the target area of a predetermined shape, it is possible to track the subject accurately.
  • the first image can be divided into a plurality of segments based on the color similarity. Therefore, it is possible to divide the first image into a plurality of segments so that a plurality of different subjects are not included in one segment. As a result, since the possibility that the boundary of the subject is included in the segment can be reduced, it is possible to set a target area having a shape more suitable for the shape of the subject.
  • the first image can be divided into a plurality of segments by clustering based on the similarity defined using the color and the pixel position. Therefore, it is possible to divide the first image into a plurality of segments with high accuracy so that a plurality of different subjects are not included in one segment.
  • the first image can be divided into a plurality of segments by the k-means method. Therefore, it is possible to divide the first image into a plurality of segments with higher accuracy so that a plurality of different subjects are not included in one segment. Furthermore, since segmentation can be performed by relatively simple processing, it is also possible to reduce the processing load for tracking an object.
  • a segment set including the designated segment and the similar segment can be set as the target area. Therefore, even when the area of one subject straddles a plurality of segments, it is possible to set a target area of a shape suitable for the shape of the subject.
  • the image processing apparatus it is possible to search for an area similar to the target area by scanning a frame of a predetermined shape surrounding the target area.
  • the feature quantity is extracted only from the area corresponding to the target area among the areas in the frame, so not only the similarity of the feature quantity but also the shape similarity is taken into consideration. Similar regions can be searched. Therefore, it is possible to track the subject more accurately.
  • FIG. 11 is a diagram for explaining an example of the processing operation of the tracking unit 15 according to the modification of the embodiment.
  • the extraction unit 14 extracts a feature amount for each of the segments included in the target region.
  • the tracking unit 15 is, for each segment included in the target region, a target region by searching a region similar to the segment using the feature amount extracted from the segment. Search for similar regions.
  • the tracking unit 15 searches for a region similar to the segment in the second image using the positional relationship of the segment to the center of gravity of the target region in addition to the feature amount extracted from the segment. Specifically, the tracking unit 15 searches the second image for a region similar to the segment based on both the similarity of the positional relationship of the segment with the gravity center of the target region and the similarity of the feature amount.
  • the tracking unit 15 searches for an area similar to the segment in the second image, using a vector connecting the center of gravity and the segment. Specifically, when searching for an area similar to each segment in the target area in the second image, the tracking unit 15 generates a second vector connecting the center of gravity of the target area and a representative point of the segment, and A value indicating the similarity between the position corresponding to the center of gravity of the target area in the image and the vector connecting the representative point of the area to be searched is calculated. Further, the tracking unit 15 calculates a value indicating the similarity between the feature quantity extracted from the segment and the feature quantity extracted from the area to be searched. The tracking unit 15 determines whether the area to be searched is similar to the segment, using the values indicating the two similarities thus calculated.
  • the region similar to the segment can be searched using the positional relationship between the segments, so that the subject can be tracked more accurately.
  • the segmentation unit 11 performs segmentation based on the k-means method, but may perform segmentation based on another clustering method.
  • the segmentation unit 11 may perform segmentation based on mean-shift clustering.
  • the tracking unit 15 searches for an area similar to the target area in the entire area of the second image, but the search need not necessarily be performed on the entire area.
  • the tracking unit 15 may search for an area similar to the target area in the vicinity area of the position corresponding to the target area in the second image.
  • the search area can be made smaller, which makes it possible to reduce the processing load.
  • the image processing apparatus 10 may be configured as one system LSI (Large Scale Integration: large scale integrated circuit).
  • the image processing apparatus 10 may be configured of a system LSI including the segmentation unit 11, the instruction unit 12, the area setting unit 13, the extraction unit 14, and the tracking unit 15.
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of component parts on one chip, and specifically, a microprocessor, a read only memory (ROM), a random access memory (RAM), etc.
  • a computer system configured to include A computer program is stored in the ROM.
  • the system LSI achieves its functions as the microprocessor operates in accordance with the computer program.
  • a system LSI may be called an IC, an LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a programmable field programmable gate array FPGA
  • a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
  • FIG. 10 is a block diagram showing a functional configuration of the imaging device 30 according to an embodiment.
  • the imaging device 30 is, for example, a digital still camera or a digital video camera.
  • the imaging device 30 includes an imaging unit 31 that captures a first image and a second image from different viewpoints, and the image processing device 10 according to the above-described embodiment.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • software for realizing the image decoding apparatus and the like according to each of the above-described embodiments is the following program.
  • this program is an image processing method for causing a computer to track a subject included in a first image in a second image captured after the first image, and based on the similarity of pixel values, Segmentation step of dividing the first image into a plurality of segments, indication step of indicating the position of the subject in the first image, and segment set including indication segments which are segments present at the indicated position
  • An area similar to the target area is searched in the second image using the area setting step of setting, the extraction step of extracting the feature quantity from the set target area, and the extracted feature quantity.
  • the image processing method including the tracking step of tracking the subject is executed.
  • the present invention relates to an image processing apparatus capable of accurately tracking an object included in a first image in a second image captured after the first image, and a digital still camera or the image processing apparatus It can be used as an imaging device such as a digital video camera.
  • image processing apparatus 11 segmentation unit 12 instruction unit 13 area setting unit 14 extraction unit 15 tracking unit 30 imaging device 31 imaging unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において追尾する画像処理装置（１０）は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割するセグメンテーション部（１１）と、第１画像における被写体の位置を指示する指示部（１２）と、指示された位置に存在するセグメントである指示セグメントを少なくとも含む領域を対象領域と設定する領域設定部（１３）と、設定された対象領域から特徴量を抽出する抽出部（１４）と、抽出された特徴量を用いて、対象領域に類似する領域を第２画像内で探索することにより、被写体を追尾する追尾部（１５）とを備える。

Description

画像処理装置、撮像装置および画像処理方法
　本発明は、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において追尾する画像処理装置、撮像装置および画像処理方法に関する。
　リアルタイムに画像を表示するタッチパネルを備えるカメラ（デジタルスチルカメラまたはデジタルビデオカメラなど）が広く普及している。ユーザは、タッチパネルに表示された画像を確認しながら、写真あるいはビデオを撮影することができる。また、ユーザは、タッチパネルをタッチすることにより、タッチパネルに表示された画像内の注目している被写体の位置を指示することができる。
　注目している被写体の位置が指示された場合、カメラは、当該位置の周辺領域から抽出される特徴量を利用して、オートフォーカス（ＡＦ：Ａｕｔｏｆｏｃｕｓ）あるいは自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）などを実行する。その結果、カメラは、ユーザが注目している被写体に適した写真あるいはビデオを撮影することできる。
　ここで、例えばＡＦが実行された後に被写体あるいはカメラが動いた場合、被写体に合っていた焦点がずれてしまう。そこで、タッチパネルに表示されている画像内の被写体を自動で追尾する技術が提案されている（例えば、特許文献１を参照）。
　このように追尾された被写体の領域から抽出される特徴量を利用して、再度ＡＦを実行することにより、カメラは、被写体あるいはカメラが動いた場合であっても、自動で被写体にピントを合わせることができる。
国際公開第２００９／１２５５９６号
　しかしながら、上記従来の方法では、特徴量が抽出される領域が予め定められた形状（矩形あるいは楕円形など）であるため、被写体の形状が予め定められた形状と異なる場合に、カメラは被写体の特徴量を適切に抽出することができない。その結果、カメラは、被写体を正しく追尾することが難しい。
　そこで、本発明は、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において正確に追尾することができる画像処理装置、撮像装置および画像処理方法を提供する。
　本発明の一態様に係る画像処理装置は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、前記第１画像における被写体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、設定された前記対象領域から特徴量を抽出する抽出部と、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明の一態様に係る画像処理装置によれば、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において正確に追尾することができる。
図１は、実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態に係る画像処理装置の処理動作を示すフローチャートである。 図３は、実施の形態に係るセグメンテーション部の処理動作の詳細を示すフローチャートである。 図４は、実施の形態に係るセグメンテーション部の処理動作の一例を説明するための図である。 図５は、実施の形態に係るセグメンテーション部の処理動作の一例を説明するための図である。 図６は、実施の形態に係るセグメンテーション結果の一例を示す図である。 図７は、実施の形態に係る指示部の処理動作の一例を説明するための図である。 図８は、実施の形態に係る領域設定部の処理動作の詳細を示すフローチャートである。 図９は、実施の形態に係る領域設定部の処理動作の一例を説明するための図である。 図１０は、実施の形態に係る追尾部の処理動作の一例を説明するための図である。 図１１は、実施の形態の変形例に係る追尾部の処理動作の一例を説明するための図である。 図１２は、一実施形態に係る撮像装置の構成を示すブロック図である。
　本発明の一態様に係る画像処理装置は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、前記第１画像における被写体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、設定された前記対象領域から特徴量を抽出する抽出部と、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備える。
　この構成によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して、対象領域が設定される。したがって、複雑な幾何形状を有する被写体であっても、その複雑な幾何形状に適した形状の対象領域を設定することが可能となる。その結果、予め定められた形状の対象領域から特徴量を抽出する場合よりも、適切に被写体の特徴量を抽出することができるので、被写体を正確に追尾することが可能となる。
　また、前記セグメンテーション部は、色の類似性に基づいて、前記第１画像を複数のセグメントに分割することが好ましい。
　この構成によれば、色の類似性に基づいて第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに分割することが可能となる。その結果、被写体の境界がセグメント内に含まれる可能性を低減することができるので、被写体の形状により適した形状の対象領域を設定することが可能となる。
　また、前記セグメンテーション部は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割することが好ましい。
　この構成によれば、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに高精度に分割することが可能となる。
　また、前記クラスタリングは、ｋ平均法（ｋ－ｍｅａｎｓ　ｃｌｕｓｔｅｒｉｎｇ）であることが好ましい。
　この構成によれば、ｋ平均法により第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントにさらに高精度に分割することが可能となる。さらに、比較的簡易な処理によりセグメンテーションが可能となるので、被写体を追尾するための処理負荷を軽減することも可能となる。
　また、前記領域設定部は、前記指示セグメントと、前記指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を前記対象領域と設定することが好ましい。
　この構成によれば、指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定することができる。したがって、１つの被写体の領域が複数のセグメントにまたがっている場合であっても、被写体の形状に適した形状の対象領域を設定することが可能となる。
　また、前記追尾部は、前記対象領域を囲む予め定められた形状の枠を前記第２画像内で走査することにより、走査された前記第２画像内の各位置において、前記枠内の領域のうち前記対象領域に対応する領域のみから特徴量を抽出し、各位置において抽出された特徴量と、前記対象領域から抽出された特徴量とを比較することにより、前記対象領域に類似する領域を探索することが好ましい。
　この構成によれば、対象領域を囲む予め定められた形状の枠を走査することにより、対象領域に類似する領域を探索することが可能となる。このとき、第２画像において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出するので、特徴量の類似性だけではなく、形状の類似性も考慮して、対象領域に類似する領域を探索することができる。したがって、より正確に被写体を追尾することが可能となる。
　また、前記抽出部は、前記対象領域に含まれるセグメントごとに特徴量を抽出し、前記追尾部は、前記対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントと類似する領域を前記第２画像内で探索することにより、前記対象領域と類似する領域を探索することが好ましい。
　この構成によれば、セグメントごとに、特徴量を用いて当該セグメントに類似する領域を探索することができる。したがって、被写体の形状が大きく変化した場合であっても被写体を追尾することが可能となる。
　また、前記追尾部は、当該セグメントから抽出された特徴量に加えて、当該セグメントと、対象領域の重心に最も近いセグメントとの位置関係を用いて、当該セグメントと類似する領域を第２画像内で探索することが好ましい。
　この構成によれば、セグメント間の位置関係を用いて、セグメントに類似する領域を探索することができるので、より正確に被写体を追尾することが可能となる。
　また、前記画像処理装置は、集積回路として構成されてもよい。
　また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記第１画像および前記第２画像を撮影する撮像部とを備える。
　この構成によれば、上記画像処理装置と同様の効果を奏することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　図１は、実施の形態に係る画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、第１画像に含まれる被写体を当該第１画像よりも後に撮影された第２画像内において追尾する。
　図１に示すように、本実施の形態に係る画像処理装置１０は、セグメンテーション部１１と、指示部１２と、領域設定部１３と、抽出部１４と、追尾部１５とを備える。
　セグメンテーション部１１は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する。つまり、セグメンテーション部１１は、画素値が互いに類似する画素が１つのセグメントに含まれるように、第１画像を複数のセグメントに分割する。
　ここで、セグメントとは、第１画像内の一部の領域に相当する。また、複数のセグメントに分割する処理を、以下においてセグメンテーションともいう。
　また、画素値とは、画像を構成する画素が有する値である。画素値は、例えば、画素の輝度、色、明度、色相もしくは彩度、またはそれらの組合せを示す値である。
　本実施の形態では、セグメンテーション部１１は、色の類似性に基づいて、第１画像を複数のセグメントに分割する。例えば、セグメンテーション部１１は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割する。
　指示部１２は、第１画像における被写体の位置を指示する。例えば、指示部１２は、第１画像における被写体の位置を指示するためのユーザからの入力を入力装置（タッチパネルなど）を介して受け付ける。そして、指示部１２は、受け付けた入力に基づいて、被写体の位置を指示する。また例えば、指示部１２は、第１画像内の予め定められた位置（例えば中心位置など）を被写体の位置として指示してもよい。以下において、指示部１２によって指示された位置を指示位置と呼ぶ。
　領域設定部１３は、指示セグメントを含むセグメント集合を対象領域と設定する。指示セグメントとは、指示部１２によって指示された位置に存在するセグメントである。また、セグメント集合とは、少なくとも１つのセグメントを含む集合である。本実施の形態では、領域設定部１３は、指示セグメントと、当該指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を対象領域と設定する。
　なお、領域設定部１３は、必ずしも指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定する必要はない。例えば、領域設定部１３は、指示セグメントのみを含むセグメント集合を対象領域と設定しても構わない。
　抽出部１４は、設定された対象領域から特徴量を抽出する。特徴量とは、対象領域の画像の特徴を定量的に示す値である。本実施の形態では、抽出部１４は、対象領域の色ヒストグラムを特徴量として抽出する。色ヒストグラムとは、予め定められた複数の色の種類の各々に対応する度数を表す。複数の色の種類は、例えば、ＨＳＶ色空間におけるＨ（色相）成分値の範囲を用いて予め定められる。
　なお、複数の色の種類は、必ずしもＨＳＶ色空間におけるＨ成分値の範囲を用いて定められる必要はない。例えば、複数の色の種類は、Ｈ成分値と、Ｖ（明度）成分値およびＳ（彩度）成分値の少なくとも一方とから得られる値の範囲を用いて定められてもよい。また、複数の色の種類は、ＨＳＶ色空間における成分値ではなく、他の色空間（例えば、ＲＧＢ色空間、ＹＵＶ色空間、Ｌａｂ色空間など）における成分値を用いて定められてもよい。
　追尾部１５は、抽出された特徴量を用いて、対象領域に類似する領域を第２画像内で探索することにより、被写体を追尾する。つまり、追尾部１５は、対象領域から抽出された特徴量と最も類似する特徴量が抽出される第２画像内の領域を探索することにより、被写体を追尾する。
　本実施の形態では、特徴量として色ヒストグラムが用いられる。つまり、追尾部１５は、対象領域から抽出された色ヒストグラムと最も類似する色ヒストグラムが抽出される領域を第２画像内で探索する。ここで、２つの色ヒストグラムの類似度合いは、２つの色ヒストグラムの重なり度合いで表される。２つの色ヒストグラムの重なり度合いとは、２つの色ヒストグラムの各色の種類において重複している度数の大きさを示す。
　なお、２つの色ヒストグラムは、度数の和が互いに等しくなるように、それぞれ正規化された色ヒストグラムであることが好ましい。これにより、追尾部１５は、各色の種類における２つ度数のうち小さい方の度数をすべての色の種類について加算することにより、２つの色ヒストグラムの類似度合いを示す値を容易に算出することができる。
　次に、以上のように構成された画像処理装置１０の処理動作を説明する。
　図２は、実施の形態に係る画像処理装置１０の処理動作を示すフローチャートである。
　まず、セグメンテーション部１１は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する（Ｓ１０１）。指示部１２は、第１画像における被写体の位置を指示する（Ｓ１０２）。
　領域設定部１３は、指示位置に存在するセグメントを少なくとも含む領域を対象領域として設定する（Ｓ１０３）。抽出部１４は、対象領域から特徴量を抽出する（Ｓ１０４）。追尾部１５は、抽出された特徴量を用いて、対象領域に類似する領域を第２画像内で探索することにより、被写体を追尾する（Ｓ１０５）。
　このように画像処理装置１０は、第１画像に含まれる被写体を当該第１画像よりも後に撮影された第２画像内において追尾することができる。
　なお、画像処理装置１０は、必ずしも図２に示すステップの順番で処理を行う必要はない。例えば、画像処理装置１０は、ステップＳ１０２の後にステップＳ１０１を実行しても構わない。また例えば、画像処理装置１０は、ステップＳ１０１とステップＳ１０２とを並行で実行してもよい。
　以下に、このような画像処理装置１０の処理動作の詳細について図面を参照しながら説明する。まず、セグメンテーション処理（Ｓ１０１）の詳細について図３～図６を用いて説明する。なお、ここでは、セグメンテーションの一例として、ｋ平均法（ｋ－ｍｅａｎｓ　ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメンテーションについて説明する。
　図３は、実施の形態に係るセグメンテーション部１１の処理動作の詳細を示すフローチャートである。図４は、実施の形態に係るセグメンテーション部１１の処理動作の一例を説明するための図である。図５は、実施の形態に係るセグメンテーション部１１の処理動作の一例を説明するための図である。図６は、実施の形態に係るセグメンテーション結果の一例を示す図である。
　図３に示すように、セグメンテーション部１１は、まず、第１画像および第２画像の色空間を変換する（Ｓ２０１）。具体的には、セグメンテーション部１１は、第１画像および第２画像を、ＲＧＢ色空間からＬａｂ色空間に変換する。
　このＬａｂ色空間は、知覚的に均等な色空間である。つまり、Ｌａｂ色空間では、色の値が同じだけ変化したとき、人間がそれを見たときに感じられる変化も等しい。したがって、セグメンテーション部１１は、Ｌａｂ色空間において第１画像のセグメンテーションを行うことにより、人間が知覚する被写体の境界に沿って第１画像を分割することが可能となる。
　次に、セグメンテーション部１１は、ｋ個（ｋ：２以上の整数）の初期クラスタの重心を設定する（Ｓ２０２）。これらのｋ個の初期クラスタの重心は、例えば、第１画像上において均等に配置されるように設定される。ここでは、隣り合う重心間の間隔がＳ（画素）となるように、ｋ個の初期クラスタの重心が設定される。
　続いて、第１画像内の各画素に対してステップＳ２０３、Ｓ２０４の処理が行われる。具体的には、セグメンテーション部１１は、各クラスタの重心に対する距離Ｄｓを算出する（Ｓ２０３）。この距離Ｄｓは、画素値および画素位置を用いて定義された類似性を示す値に相当する。ここでは、距離Ｄｓが小さいほど、クラスタの重心に対する画素の類似性が高いことを示す。
　なお、図４に示すように、セグメンテーション部１１は、距離算出対象範囲内に位置する重心Ｃｋに対してのみ対象画素ｉの距離Ｄｓを算出する。ここでは、水平方向および垂直方向において、対象画素ｉの位置から初期クラスタの重心間隔Ｓ以下となる位置を距離算出対象範囲と設定する。つまり、セグメンテーション部１１は、対象画素ｉについては、重心Ｃ２、Ｃ３、Ｃ６、Ｃ７の各々に対する距離を算出する。このように、距離算出対象範囲が設定されることにより、すべての重心に対して距離を算出する場合よりも、計算負荷を軽減することが可能となる。
　重心Ｃｋ（画素位置（ｘｋ，ｙｋ）、画素値（ｌｋ，ａｋ，ｂｋ））に対する対象画素ｉ（画素位置（ｘｉ，ｙｉ）、画素値（ｌｉ，ａｉ，ｂｉ））の距離Ｄｓは、以下の式１によって算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｍは、画素値に基づく距離ｄｌａｂと、画素位置に基づく距離ｄｘｙとが距離Ｄｓに及ぼす影響のバランスを図るための係数である。この係数ｍは、実験的あるは経験的に予め定められればよい。
　次に、セグメンテーション部１１は、このように対象画素ｉの各重心に対する距離Ｄｓを用いて、対象画素ｉが所属するクラスタを決定する（Ｓ２０４）。具体的には、セグメンテーション部１１は、距離Ｄｓが最も小さい重心を有するクラスタを対象画素ｉの所属クラスタと決定する。
　このようなステップＳ２０３、Ｓ２０４の処理を第１画像に含まれる画素ごとに繰り返すことにより、各画素の所属クラスタが決定される。
　次に、セグメンテーション部１１は、各クラスタの重心を更新する（Ｓ２０５）。例えば、ステップＳ２０４において各画素の所属クラスタが決定された結果、図５に示すように、矩形状のクラスタが六角形状のクラスタに変化した場合に重心Ｃ６の画素値および画素位置を更新する。
　具体的には、セグメンテーション部１１は、以下の式２に従って、新たな重心の画素値（ｌｋ＿ｎｅｗ，ａｋ＿ｎｅｗ、ｂｋ＿ｎｅｗ）および画素位置（ｘｋ＿ｎｅｗ，ｙｋ＿ｎｅｗ）を算出する。
Figure JPOXMLDOC01-appb-M000002
　ここで、各クラスタの重心が収束している場合（Ｓ２０６のＹｅｓ）、セグメンテーション部１１は、処理を終了する。つまり、ステップＳ２０５の更新前後において各クラスタの重心に変化がない場合に、セグメンテーション部１１は、セグメンテーションを終了する。一方、各クラスタの重心が収束していない場合（Ｓ２０６のＮｏ）、セグメンテーション部１１は、ステップＳ２０３～Ｓ２０５の処理を繰り返す。
　このように、セグメンテーション部１１は、画素値および画素位置を用いて定義された類似度に基づくクラスタリング（ここではｋ平均法）により、第１画像を複数のセグメントに分割することができる。したがって、図６に示すように、セグメンテーション部１１は、第１画像に含まれる被写体領域の特徴に応じて、第１画像を複数のセグメントに分割することができる。
　つまり、セグメンテーション部１１は、１つのセグメントに同一の被写体が含まれるように第１画像を複数のセグメントに分割することが可能となる。その結果、各セグメント内の画素の視差値が類似するので、セグメントごとに特定される視差値の正確度を向上させることができる。つまり、デプスデータはより正確に生成されうる。さらに、ｋ平均法は、比較的簡易なクラスタリングであるので、デプスデータを生成するための処理負荷を軽減することも可能となる。
　次に、指示処理（Ｓ１０２）の詳細について図７を用いて説明する。
　図７は、実施の形態に係る指示部１２の処理動作の一例を説明するための図である。図７では、指示部１２は、ユーザがタッチしたタッチパネル上の位置を、被写体の位置として指示する。タッチパネルは、例えば抵抗膜方式あるいは静電容量方式などにより、ユーザがタッチした位置を検出する。
　このように、指示部１２が、ユーザがタッチしたタッチパネル上の位置を、被写体の位置として指示することにより、ユーザは、タッチパネルをタッチするだけで容易に被写体の位置を指示することができる。
　なお、タッチした位置とは、ユーザが接触した位置だけではなく、ユーザが接触した位置によって描かれる軌跡によって囲まれた領域を表す位置であってもよい。
　また、指示部１２は、必ずしもタッチパネルを介してユーザが入力した位置を取得する必要はない。例えば、指示部１２は、ユーザが操作ボタンなどを介して入力したディスプレイ上の位置を被写体の位置として指示しても構わない。
　次に、対象領域の設定処理（Ｓ１０３）の詳細について図８および図９を用いて説明する。
　図８は、実施の形態に係る領域設定部１３の処理動作の詳細を示すフローチャートである。図９は、実施の形態に係る領域設定部１３の処理動作の一例を説明するための図である。
　図８に示すように、まず、領域設定部１３は、指示セグメントを選択する（Ｓ３０１）。続いて、領域設定部１３は、指示セグメントと、ステップＳ３０１またはステップＳ３０４で選択されたセグメント（以下、「選択セグメント」という）に隣接するセグメント（以下、「隣接セグメント」という）との画像の類似性を示す値（以下、「類似値」という）を算出する（Ｓ３０２）。具体的には、領域設定部１３は、例えば、指示セグメントの色ヒストグラムと隣接セグメントの色ヒストグラムとの重なり度合いを示す値を類似値として算出する。
　類似値が閾値より大きい場合（Ｓ３０３のＹｅｓ）、領域設定部１３は、隣接セグメントを類似セグメントとして選択し（Ｓ３０４）、再び、ステップＳ３０２の処理に戻る。一方、類似値が閾値より小さい場合（Ｓ３０３のＮｏ）、領域設定部１３は、選択セグメントを含む領域を対象領域と設定する（Ｓ３０５）。つまり、領域設定部１３は、ステップＳ３０１およびステップＳ３０４で選択されたセグメントを対象領域と設定する。
　以上のような処理を行うことで、領域設定部１３は、指示セグメントと、指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合を対象領域と設定することができる。例えば、図９の（ａ）に示すように被写体の位置が指示された場合、領域設定部１３は、図９の（ｂ）に示すように、指示セグメントと類似セグメントとを含む領域を対象領域と設定することができる。
　なお、隣接セグメントが複数ある場合には、領域設定部１３は、隣接セグメントごとに、ステップＳ３０２～ステップＳ３０４の処理を実行すればよい。
　また、類似値は、必ずしも色ヒストグラムの重なり度合いを示す値である必要はない。例えば、類似値は、２つのセグメント間の平均色の差分を示す値であってもよい。また、類似値は、色ではなく、輝度、明度あるいは彩度の類似性を示す値であってもよい。
　また、類似値は、画像の類似性に加えて、位置の類似性も示す値であってもよい。この場合、指示セグメントからの距離が大きいセグメントほど類似値が小さくなる。
　次に、追尾処理（Ｓ１０５）の詳細について図１０を用いて説明する。図１０は、実施の形態に係る追尾部１５の処理動作の一例を説明するための図である。
　ここでは、追尾部１５は、対象領域を囲む予め定められた形状の枠を第２画像内で走査する。例えば、追尾部１５は、図１０の（ａ）および（ｂ）に示すように、対象領域に外接する矩形の枠を第２画像内で走査する。
　このとき、追尾部１５は、走査された第２画像内の各位置において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出する。例えば、追尾部１５は、図１０の（ｂ）に示すように、枠内の領域のうち空白領域を除く領域のみから特徴量を抽出する。
　追尾部１５は、このように第２画像内の各位置において抽出された特徴量と、対象領域から抽出された特徴量とを比較することにより、対象領域に類似する領域を第２画像内で探索する。
　以上のように、本実施の形態に係る画像処理装置によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して、対象領域が設定される。したがって、複雑な幾何形状を有する被写体であっても、その複雑な幾何形状に適した形状の対象領域を設定することが可能となる。その結果、予め定められた形状の対象領域から特徴量を抽出する場合よりも、適切に被写体の特徴量を抽出することができるので、被写体を正確に追尾することが可能となる。
　また、本実施の形態に係る画像処理装置によれば、色の類似性に基づいて第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに分割することが可能となる。その結果、被写体の境界がセグメント内に含まれる可能性を低減することができるので、被写体の形状により適した形状の対象領域を設定することが可能となる。
　また、本実施の形態に係る画像処理装置によれば、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに高精度に分割することが可能となる。
　また、本実施の形態に係る画像処理装置によれば、ｋ平均法により第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントにさらに高精度に分割することが可能となる。さらに、比較的簡易な処理によりセグメンテーションが可能となるので、被写体を追尾するための処理負荷を軽減することも可能となる。
　また、本実施の形態に係る画像処理装置によれば、指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定することができる。したがって、１つの被写体の領域が複数のセグメントにまたがっている場合であっても、被写体の形状に適した形状の対象領域を設定することが可能となる。
　また、本実施の形態に係る画像処理装置によれば、対象領域を囲む予め定められた形状の枠を走査することにより、対象領域に類似する領域を探索することが可能となる。このとき、第２画像において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出するので、特徴量の類似性だけではなく、形状の類似性も考慮して、対象領域に類似する領域を探索することができる。したがって、より正確に被写体を追尾することが可能となる。
　（変形例）
　次に、上記実施の形態の変形例について説明する。本変形例では、本変形例では、抽出部１４および追尾部１５の処理動作が上記実施の形態と異なる。図１１は、実施の形態の変形例に係る追尾部１５の処理動作の一例を説明するための図である。
　本変形例に係る抽出部１４は、対象領域に含まれるセグメントごとに特徴量を抽出する。
　本変形例に係る追尾部１５は、対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントに類似する領域を第２画像内で探索することにより、対象領域と類似する領域を探索する。
　このとき、追尾部１５は、当該セグメントから抽出された特徴量に加えて、対象領域の重心に対する当該セグメントの位置関係も用いて、当該セグメントと類似する領域を第２画像内で探索する。具体的には、追尾部１５は、対象領域の重心に対するセグメントの位置関係の類似性と、特徴量の類似性との両方に基づいて、セグメントに類似する領域を第２画像内で探索する。
　例えば、追尾部１５は、図１１に示すように、重心とセグメントとを結ぶベクトルを利用して、当該セグメントと類似する領域を第２画像内で探索する。具体的には、追尾部１５は、対象領域内の各セグメントに類似する領域を第２画像内で探索する場合に、対象領域の重心と当該セグメントとの代表点とを結ぶベクトルと、第２画像内の対象領域の重心に対応する位置と探索の対象となる領域の代表点とを結ぶベクトルとの類似性を示す値を算出する。さらに、追尾部１５は、当該セグメントから抽出される特徴量と、探索の対象となる領域から抽出される特徴量との類似性を示す値を算出する。追尾部１５は、このように算出された２つの類似性を示す値を用いて、探索の対象となる領域が当該セグメントに類似しているか否かを判定する。
　以上のように、本変形例に係る画像処理装置によれば、セグメントごとに、特徴量を用いて当該セグメントに類似する領域を探索することができる。したがって、被写体の形状が大きく変化した場合であっても被写体を追尾することが可能となる。
　また、本変形例に係る画像処理装置によれば、セグメント間の位置関係を用いて、セグメントに類似する領域を探索することができるので、より正確に被写体を追尾することが可能となる。
　以上、１つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、１つまたは複数の範囲内に含まれる。
　例えば、上記実施の形態において、セグメンテーション部１１は、ｋ平均法に基づいてセグメンテーションを行なっていたが、他のクラスタリング手法に基づいてセグメンテーションを行なってもよい。例えば、セグメンテーション部１１は、平均変位法（ｍｅａｎ－ｓｈｉｆｔ　ｃｌｕｓｔｅｒｉｎｇ）に基づいてセグメンテーションを行なってもよい。
　また、上記実施の形態において、追尾部１５は、第２画像内の全領域において対象領域に類似する領域の探索を行なっていたが、必ずしも全領域において探索を行う必要はない。例えば、追尾部１５は、第２画像内の対象領域に対応する位置の近傍領域内において、対象領域に類似する領域の探索を行なってもよい。これにより、探索領域を小さくすることができるので、処理負荷を軽減することが可能となる。
　また、上記実施の形態における画像処理装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１０は、セグメンテーション部１１と、指示部１２と、領域設定部１３と、抽出部１４と、追尾部１５とを有するシステムＬＳＩから構成されてもよい。
　システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、このような画像処理装置は、撮像装置に備えられてもよい。図１０は、一実施形態に係る撮像装置３０の機能構成を示すブロック図である。撮像装置３０は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。図１０に示すように、撮像装置３０は、互いに異なる視点から第１画像および第２画像を撮影する撮像部３１と、上記実施の形態に係る画像処理装置１０とを備える。
　なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理方法であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーションステップと、前記第１画像における被写体の位置を指示する指示ステップと、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定ステップと、設定された前記対象領域から特徴量を抽出する抽出ステップと、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾ステップとを含む画像処理方法を実行させる。
　本発明は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において正確に追尾することができる画像処理装置、およびその画像処理装置を備える、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置として利用可能である。
　１０　　画像処理装置
　１１　　セグメンテーション部
　１２　　指示部
　１３　　領域設定部
　１４　　抽出部
　１５　　追尾部
　３０　　撮像装置
　３１　　撮像部

Claims (12)

  1. 　第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、
    　画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、
    　前記第１画像における被写体の位置を指示する指示部と、
    　指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、
    　設定された前記対象領域から特徴量を抽出する抽出部と、
    　抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備える
    　画像処理装置。
  2. 　前記セグメンテーション部は、色の類似性に基づいて、前記第１画像を複数のセグメントに分割する
    　請求項１に記載の画像処理装置。
  3. 　前記セグメンテーション部は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割する
    　請求項２に記載の画像処理装置。
  4. 　前記クラスタリングは、ｋ平均法（ｋ－ｍｅａｎｓ　ｃｌｕｓｔｅｒｉｎｇ）である
    　請求項３に記載の画像処理装置。
  5. 　前記領域設定部は、前記指示セグメントと、前記指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を前記対象領域と設定する
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記追尾部は、
    　前記対象領域を囲む予め定められた形状の枠を前記第２画像内で走査することにより、走査された前記第２画像内の各位置において、前記枠内の領域のうち前記対象領域に対応する領域のみから特徴量を抽出し、
    　各位置において抽出された特徴量と、前記対象領域から抽出された特徴量とを比較することにより、前記対象領域に類似する領域を探索する
    　請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記抽出部は、前記対象領域に含まれるセグメントごとに特徴量を抽出し、
    　前記追尾部は、前記対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントと類似する領域を前記第２画像内で探索することにより、前記対象領域と類似する領域を探索する
    　請求項１～５のいずれか１項に記載の画像処理装置。
  8. 　前記追尾部は、当該セグメントから抽出された特徴量に加えて、当該セグメントと、対象領域の重心に最も近いセグメントとの位置関係を用いて、当該セグメントと類似する領域を第２画像内で探索する
    　請求項７に記載の画像処理装置。
  9. 　前記画像処理装置は、集積回路として構成されている
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　請求項１～９のいずれか１項に記載の画像処理装置と、
    　前記第１画像および前記第２画像を撮影する撮像部とを備える
    　撮像装置。
  11. 　第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理方法であって、
    　画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーションステップと、
    　前記第１画像における被写体の位置を指示する指示ステップと、
    　指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定ステップと、
    　設定された前記対象領域から特徴量を抽出する抽出ステップと、
    　抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾ステップとを含む
    　画像処理方法。
  12. 　請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2012/007271 2011-11-17 2012-11-13 画像処理装置、撮像装置および画像処理方法 Ceased WO2013073168A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12849347.5A EP2782330A4 (en) 2011-11-17 2012-11-13 IMAGE PROCESSING DEVICE, IMAGING APPARATUS AND IMAGE PROCESSING METHOD
US13/979,175 US9171222B2 (en) 2011-11-17 2012-11-13 Image processing device, image capturing device, and image processing method for tracking a subject in images
CN201280005118.2A CN103299613B (zh) 2011-11-17 2012-11-13 图像处理装置、摄像装置及图像处理方法
JP2013518622A JP5878924B2 (ja) 2011-11-17 2012-11-13 画像処理装置、撮像装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-251943 2011-11-17
JP2011251943 2011-11-17

Publications (1)

Publication Number Publication Date
WO2013073168A1 true WO2013073168A1 (ja) 2013-05-23

Family

ID=48429264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007271 Ceased WO2013073168A1 (ja) 2011-11-17 2012-11-13 画像処理装置、撮像装置および画像処理方法

Country Status (5)

Country Link
US (1) US9171222B2 (ja)
EP (1) EP2782330A4 (ja)
JP (1) JP5878924B2 (ja)
CN (1) CN103299613B (ja)
WO (1) WO2013073168A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230309B2 (en) 2013-04-05 2016-01-05 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method with image inpainting
US9495757B2 (en) 2013-03-27 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9530216B2 (en) 2013-03-27 2016-12-27 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386908B2 (en) * 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
JP6463101B2 (ja) * 2014-12-01 2019-01-30 キヤノン株式会社 領域分割装置及び方法
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
CN106303195A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 拍摄设备及跟踪拍摄方法和系统
GB2549940A (en) * 2016-04-29 2017-11-08 Kudan Ltd Discovering points of interest and identifying reference images in video processing and efficient search and storage therefor
US10089721B2 (en) * 2016-09-08 2018-10-02 Sony Corporation Image processing system and method for object boundary smoothening for image segmentation
CN107872614A (zh) * 2016-09-27 2018-04-03 中兴通讯股份有限公司 一种拍摄方法及拍摄装置
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
TWI739203B (zh) * 2019-11-08 2021-09-11 大猩猩科技股份有限公司 一種評估影像有效分析區域之方法與系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08167028A (ja) * 1994-12-13 1996-06-25 Toppan Printing Co Ltd 画像処理方法
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
JP2010067252A (ja) * 2008-08-15 2010-03-25 Fuji Xerox Co Ltd オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム
JP2011134117A (ja) * 2009-12-24 2011-07-07 Canon Inc 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
US6774908B2 (en) * 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
KR20080006642A (ko) * 2005-05-05 2008-01-16 이 아이 듀폰 디 네모아 앤드 캄파니 보수용 도료를 맞추기 위한 컬러 클러스터링 기술
US7925112B2 (en) * 2007-02-28 2011-04-12 Honeywell International Inc. Video data matching using clustering on covariance appearance
US7898576B2 (en) * 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
JP4872834B2 (ja) 2007-07-04 2012-02-08 株式会社ニコン 画像認識装置、焦点調節装置および撮像装置
US8331667B2 (en) * 2007-09-28 2012-12-11 Samsung Electronics Co., Ltd. Image forming system, apparatus and method of discriminative color features extraction thereof
JP5151472B2 (ja) 2007-12-27 2013-02-27 株式会社豊田中央研究所 距離画像生成装置、環境認識装置、及びプログラム
CN101939980B (zh) * 2008-02-06 2012-08-08 松下电器产业株式会社 电子摄像机和图像处理方法
CN101681501B (zh) 2008-04-11 2012-08-22 松下电器产业株式会社 图像处理装置、图像处理方法和存储介质
JP4926116B2 (ja) * 2008-04-16 2012-05-09 株式会社日立ハイテクノロジーズ 画像検査装置
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
US8509482B2 (en) 2009-12-21 2013-08-13 Canon Kabushiki Kaisha Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08167028A (ja) * 1994-12-13 1996-06-25 Toppan Printing Co Ltd 画像処理方法
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
JP2010067252A (ja) * 2008-08-15 2010-03-25 Fuji Xerox Co Ltd オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム
JP2011134117A (ja) * 2009-12-24 2011-07-07 Canon Inc 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2782330A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495757B2 (en) 2013-03-27 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9530216B2 (en) 2013-03-27 2016-12-27 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9230309B2 (en) 2013-04-05 2016-01-05 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method with image inpainting

Also Published As

Publication number Publication date
JP5878924B2 (ja) 2016-03-08
CN103299613B (zh) 2017-08-15
EP2782330A4 (en) 2015-03-11
JPWO2013073168A1 (ja) 2015-04-02
CN103299613A (zh) 2013-09-11
US9171222B2 (en) 2015-10-27
US20130287259A1 (en) 2013-10-31
EP2782330A1 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
JP5878924B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP6043293B2 (ja) 画像処理装置、撮像装置および画像処理方法
US11657514B2 (en) Image processing apparatus, image processing method, and storage medium
JP5923713B2 (ja) 画像処理装置、撮像装置および画像処理方法
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
JP5210318B2 (ja) 画像処理装置、方法、および記憶媒体
CN106663196B (zh) 用于识别主体的方法、系统和计算机可读存储介质
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
EP3093822B1 (en) Displaying a target object imaged in a moving picture
US9058655B2 (en) Region of interest based image registration
US10169673B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
CN106469455B (zh) 图像处理方法、图像处理设备以及记录介质
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5310485B2 (ja) 画像処理方法及び装置並びにプログラム
CN115103120A (zh) 拍摄场景检测方法、装置、电子设备和存储介质
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
JP5914046B2 (ja) 画像処理装置および画像処理方法
JP2016219879A (ja) 画像処理装置、画像処理方法及びプログラム
US10671881B2 (en) Image processing system with discriminative control
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
Yu et al. Line-based region growing image segmentation for mobile device applications
Mahotra Real-time disparity computation and tracking for hand-pair gesture recognition
Kiran et al. A Robust Oversegmentation Algorithm using Colour and Geometric Cues
JP2016181182A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013518622

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012849347

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13979175

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12849347

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE