[go: up one dir, main page]

WO2015145643A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2015145643A1
WO2015145643A1 PCT/JP2014/058721 JP2014058721W WO2015145643A1 WO 2015145643 A1 WO2015145643 A1 WO 2015145643A1 JP 2014058721 W JP2014058721 W JP 2014058721W WO 2015145643 A1 WO2015145643 A1 WO 2015145643A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
cell nucleus
region
edge
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/058721
Other languages
English (en)
French (fr)
Inventor
勇介 三村
遠山　修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to US14/902,214 priority Critical patent/US9384550B2/en
Priority to PCT/JP2014/058721 priority patent/WO2015145643A1/ja
Priority to JP2015506956A priority patent/JP5804220B1/ja
Priority to EP14887352.4A priority patent/EP3124967B1/en
Publication of WO2015145643A1 publication Critical patent/WO2015145643A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing apparatus and an image processing program, and more particularly to image processing for pathological diagnosis.
  • a so-called pathological diagnosis in which a tissue section collected from a human body is observed with a microscope to diagnose the presence or absence of a lesion and the type of the lesion is actively performed.
  • a tissue specimen to be a target of pathological diagnosis is generally prepared through a process of fixation ⁇ embedding ⁇ thin cutting ⁇ staining so as to be suitable for microscopic observation.
  • image data cell images
  • many techniques have been proposed to generate image data (cell images) by microscopic observation of stained tissue sections at high magnification, and to accurately extract objects such as cell nuclei by image processing of such cell images. ing.
  • Patent Document 1 even when a plurality of cells are superimposed on the cell image, the cell shape is individually extracted (see paragraph 0018). Specifically, paying attention to the staining density (density gradient) of the cell, this technique is to determine the sign of the inner product value of the density gradient vector of the cell contour forming pixel and the displacement vector from the pixel to the cell center position. (See paragraphs 0027 to 0028, FIG. 10, paragraphs 0084 to 0088, FIGS. 13 to 16, etc.). The technique of Patent Document 2 tries to avoid the influence of noise and other tissue edges that may be caught when extracting the shape of an object (cell nucleus) from a cell image (paragraphs 0014 to 0015). reference).
  • a known SNAKES process is used to execute a SNAKES process using a blurred image and a SNAKES process using a non-blurred image (see paragraphs 0037 to 0039, FIG. 1, etc.)
  • a process of filling the inner space with surrounding colors see paragraphs 0044 to 0046, FIG. 3 and the like.
  • staining of tissue sections is performed to facilitate detection of the shape of an object such as a cell nucleus, but not all the cell nuclei are stained cleanly, especially in cells where cancer is progressing. Uneven staining of cell nuclei is often produced. That is, as shown in FIG. 20A, one cell nucleus is detected from a cell image in which cell nuclei are finely stained. However, even if image processing is performed on a cell image of a cell in which cancer is progressing, one cell nucleus is detected. When cell nuclei are sparsely detected and one cell nucleus is erroneously detected as a plurality of cell nuclei (see FIG.
  • the main object of the present invention is to provide an image processing apparatus capable of individually detecting cell nuclei by suppressing erroneous detection of cell nuclei even when the cell nuclei are unevenly stained or adjacent to each other. It is to provide an image processing program.
  • an image processing apparatus for detecting a cell nucleus from a cell image in which the cell nucleus is stained, Region extraction means for extracting candidate regions and region information of cell nuclei from the cell image; A determination means for determining whether to correct a candidate region of the cell nucleus based on the region information of the cell nucleus; Based on the determination result of the determination means, the correction means for correcting the candidate region of the cell nucleus and detecting the cell nucleus, An image processing apparatus is provided.
  • Region extraction means for extracting candidate regions and region information of cell nuclei from the cell image;
  • a determination means for determining whether to correct a candidate region of the cell nucleus based on the region information of the cell nucleus;
  • the correction means for correcting the candidate region of the cell nucleus and detecting the cell nucleus,
  • An image processing program is provided that is caused to function as the above.
  • the present invention even when there is uneven staining of cell nuclei or adjacent cell nuclei, it is possible to detect individual cell nuclei while suppressing erroneous detection of cell nuclei.
  • FIG. 1 is a diagram schematically showing a configuration of a pathological diagnosis support system. It is a block diagram which shows roughly the functional structure of an image processing apparatus. It is a flowchart which shows the flow of an image process roughly. It is a figure which illustrates roughly the relationship of the luminance value in the cell image by which the cell nucleus was dye
  • FIG. 1 shows an example of the overall configuration of the pathological diagnosis support system 10.
  • the pathological diagnosis support system 10 is a system that detects a cell nucleus in a tissue section to be observed by acquiring a microscopic image of a tissue section of a human body stained with a predetermined staining reagent and analyzing the acquired microscopic image. .
  • the pathological diagnosis support system 10 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition apparatus 1A and the image processing apparatus 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected via a LAN (Local Area Network) or may be connected wirelessly.
  • LAN Local Area Network
  • the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means includes a light source, a filter, and the like, and irradiates the tissue section on the slide placed on the slide fixing stage with light.
  • the image forming means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, etc. emitted from the tissue section on the slide by the irradiated light.
  • the image pickup means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, picks up an image formed on the image forming surface by the image forming means, and generates digital image data of the microscope image.
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
  • the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
  • the image processing device 2A detects the cell nucleus in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition device 1A.
  • FIG. 2 shows a functional configuration example of the image processing apparatus 2A.
  • the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation. For example, the control unit 21 executes image processing (see FIG. 3) in cooperation with the image processing program stored in the storage unit 25, and functions as a region extraction unit, a determination unit, a correction unit, and an edge extraction unit. To realize.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and includes a key press signal pressed by the keyboard and an operation signal by the mouse. Is output to the control unit 21 as an input signal.
  • the display unit 23 includes a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with display signal instructions input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 functions as a cell image input unit.
  • the storage unit 25 is configured by, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs and various data.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like, and be connected to an external device via a communication network such as a LAN.
  • the image processing device 2A performs an analysis using a microscope image (cell image) transmitted from the microscope image acquisition device 1A.
  • Cell image refers to a tissue image stained with a staining reagent capable of staining cell nuclei such as hematoxylin staining reagent (H staining reagent), hematoxylin-eosin staining reagent (HE staining reagent), etc. 2 is a microscopic image obtained by enlarging imaging and photographing in a bright field, and is a cell image representing the morphology of cells in the tissue section.
  • Hematoxylin is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, etc. (basophilic tissue, etc.).
  • Eodine (E) is a red to pink pigment that stains cytoplasm, connective tissue of soft tissues, erythrocytes, fibrin, endocrine granules (acidophilic tissues, etc.).
  • the operator stains a tissue section using H staining reagent or HE staining reagent. Thereafter, a cell image is acquired by the procedure (a1) to (a3) using the microscope image acquisition apparatus 1A.
  • A1 The operator places the tissue section on which the cell nucleus is stained with the H staining reagent or the HE staining reagent on the slide, and places the slide on the slide fixing stage of the microscope image acquisition apparatus 1A.
  • A2 The unit is set as a bright field unit, the imaging magnification and the focus are adjusted, and the region to be observed on the tissue section is placed in the field of view.
  • Photographing is performed by the imaging means to generate cell image image data, and the image data is transmitted to the image processing apparatus 2A.
  • FIG. 3 shows a flowchart of image processing in the image processing apparatus 2A.
  • the image processing shown in FIG. 3 is executed in cooperation with the control unit 21 and the image processing program stored in the storage unit 25, and the control unit 21 executes the following processing according to the image processing program.
  • step S10 when a cell image is input from the microscope image acquisition apparatus 1A through the communication I / F 24 (step S10), color information is acquired from the cell image, a specific color component is extracted, and threshold processing is performed on the cell image. A binary image is generated, and cell nucleus candidate regions and region information are extracted (step S20).
  • the “candidate region” of the cell nucleus is a region that is a candidate for the cell nucleus in the individual detection of the cell nucleus and is considered to be a region derived from the cell nucleus.
  • the “region information” of the cell nucleus is information on the candidate region of the cell nucleus, and is information on the size and shape of the candidate region of the cell nucleus, and whether or not there are other parts (nuclear bodies, etc.) other than the cell nucleus. included.
  • step S10 when a cell image is input from the microscope image acquisition apparatus 1A by the communication I / F 24 separately from step S20 (step S10), color information is acquired from the cell image and cell nucleus edge information is also extracted (step S30). ).
  • the luminance value at the coordinate position along the straight line portion of the cell image 30 is There is a large difference between the region and the nuclear region (lower side).
  • the luminance value at the coordinate position along the straight line portion of the cell image 40 is the outer nucleus region and the inner nucleus of the cell nucleus.
  • the difference between the regions is small, and only the intranuclear region 42 is detected as the candidate region of the cell nucleus in the binary image in step S20 (lower side).
  • the region 44 in the nuclear region and the region 46 in the nuclear region. If the edge information is used, the boundary line of the cell nucleus can be detected (lower side).
  • a binary image is generated in step S ⁇ b> 20, and cell nucleus candidate regions and regions are generated.
  • edge information of cell nuclei is extracted in step S3.
  • the cell nucleus edge information includes edge strength, edge angle, edge normal direction, and edge curvature.
  • “Edge strength” is the amount of change in the luminance value at the edge of the cell nucleus of the cell image, and is a value calculated using a certain filter.
  • a sobel filter 60, a first-order directional differential filter 62, and the like can be used, and the filter is also used when extracting an edge angle and an edge normal direction. For example, when extracting the edge intensity using the sobel filter 60, as shown in FIG.
  • a pixel area 64 having an edge portion (3 ⁇ 3 pixel area centered on the target pixel 66) is selected, and the pixel
  • the luminance values a1 to a9 in the region 64 and each value of the sobel filter 60 are multiplied in the order of 1 ⁇ a1 ⁇ 0 ⁇ a2 ⁇ ⁇ 1 ⁇ a3 ⁇ ... ⁇ 0 ⁇ a8 ⁇ ⁇ 1 ⁇ a9, and the total is obtained. What is necessary is just to calculate as a luminance value of the pixel of interest 66 and to execute such an operation sequentially for each pixel of the edge portion.
  • the image of edge strength in FIG. 5 is an image generated by extracting the edge strength from the cell image in step S30, and is expressed in white as the edge strength is large.
  • the “edge angle” is an angle of a tangent to the edge portion of the cell nucleus of the cell image.
  • the edge strength of the edge portion is adjusted while rotating the filter by 5 ° in a range of 0 to 90 °.
  • the angle of the tangent in the horizontal direction is set to 0 ° and the angle of the tangent in the vertical direction is set to 90 ° (blue) with respect to the edge portion of the cell nucleus of the cell image.
  • the image of the edge angle in FIG. 5 is an image generated by extracting the edge angle from the cell image in step S30, and the cell nucleus is expressed in blue shades according to the edge angle.
  • the “edge normal direction” indicates a normal direction of a tangent to the edge portion of the cell nucleus of the cell image and a direction from the extranuclear region to the intranuclear region of the cell nucleus.
  • the edge normal direction is a direction orthogonal to the angle of the filter at which the edge strength is obtained by rotating the filter by 5 ° in the range of 0 to 360 ° and obtaining the edge strength of the edge portion.
  • the sign of the edge strength is considered as follows. For example, as shown by the arrow in FIG.
  • the normal direction of the tangent line is lateral with respect to the edge portion of the cell nucleus of the cell image, and the direction from the nucleus region to the nucleus region of the cell nucleus is 0 ° to the right.
  • the normal direction of the tangent is the vertical direction
  • the direction from the extranuclear region of the cell nucleus toward the intranuclear region is 90 ° (yellow)
  • the normal direction of the tangent is the lateral direction
  • the cell nucleus The direction from the extranuclear region to the intranuclear region is 180 ° (green) in the left direction
  • the normal direction of the tangent is the vertical direction
  • the direction from the extranuclear region of the cell nucleus to the intranuclear region is the downward direction. It is set to 270 ° (blue).
  • the image in the edge normal direction in FIG. 5 is an image generated by extracting the edge normal direction from the cell image in step S30, and the cell nucleus is expressed in red, yellow, green, and blue according to the edge normal direction. Has been.
  • FIG. 8A to 8D are a cell image (FIG. 8A), a binary image (FIG. 8B) generated from the cell image in step S20, an image (FIG. 8C) generated by extracting edge intensity from the cell image in step S30, and It is an example of the image (FIG. 8D) generated by extracting the edge normal direction from the cell image in step S30.
  • the dotted-line square frame of each image has shown the same area
  • the “edge curvature” is literally the curvature at the edge of the cell nucleus of the cell image.
  • the edge curvature can be calculated based on whether or not the images generated by extracting the edge intensity from the cell image are matched by matching the filters 70, 72, and 74 having a certain curvature as shown in FIGS. 9A to 9C. it can.
  • the edge portion is thinned from the cell image, and is calculated using a mathematical formula from a total of three points including one point (P i ) on the fine line and two points (P i-1 ) around it. Also good.
  • the edge portion may be thinned from the cell image, and may be calculated from a plurality of points on the thin line using the least square method as shown in FIG. 9E.
  • Step S40 it is determined whether or not to correct the candidate cell nucleus region extracted in step S20 based on the cell nucleus region information extracted in step S20 and the cell nucleus edge information extracted in step S30 (see FIG. 3). Step S40).
  • step S40 it is first determined whether or not to correct a cell nucleus candidate region based on cell nucleus region information (step S41).
  • step S41 for example, as shown in FIG. 11, a certain range of region 80 is extracted from the cell nucleus candidate region, and whether or not a plurality of small cell nucleus candidate regions 82a to 82f exist in region 80 based on the cell nucleus region information. If it is determined that it exists, the area and density of the cell nucleus candidate regions 82a to 82f in the region 80 are calculated.
  • step S42 Whether the area (total area) of the candidate regions 82a to 82f is less than a certain threshold (Condition 1-1) Whether the density of the candidate areas 82a to 82f exceeds a certain threshold (Condition 1-2)
  • a certain threshold Condition 1-1
  • a certain threshold Condition 1-2
  • the conditions 1-1 and 1-2 are satisfied, it is determined that the candidate areas 82 need to be integrated, and the process proceeds to step S42.
  • the transition to step S42 may be performed when both the conditions 1-1 and 1-2 are satisfied, or may be performed when either one is satisfied.
  • the gray solid line represents the actual cell nucleus.
  • a region 90 in a certain range is extracted from the cell nucleus candidate region, and based on the cell nucleus region information, it is determined whether or not one large cell nucleus candidate region 92 exists in the region 90. If it is determined that it exists, the area of the cell nucleus candidate region 92 in the region 90, the circularity, the presence / absence of a recess, and the presence / absence of a plurality of nucleoli are calculated or detected.
  • step S46 Whether the area of the candidate area 92 exceeds a certain threshold (Condition 2-1) Whether the circularity of the candidate area 92 is less than a certain threshold (Condition 2-2) -Whether there is a concave point in the candidate area 92 (see Condition 2-3, dotted line in FIG. 12) Whether there are multiple nucleoli in the candidate area 92 (Condition 2-4) If the conditions 2-1 to 2-4 are satisfied, it is determined that the candidate area 92 needs to be divided, and the process proceeds to step S46. The transition to step S46 may be performed when all of the conditions 2-1 to 2-4 are satisfied, may be performed when any three are satisfied, or may be performed when any two are satisfied. It may be made when any one is satisfied. In FIG. 12, a gray solid line portion represents an actual cell nucleus.
  • step S42 based on the cell nucleus region information and the cell nucleus edge information, it is determined whether or not a plurality of small cell nucleus candidate regions are truly integrated (step S42).
  • step S42 as shown in FIG. 13A, the area and circularity of the candidate regions 82a to 82c of the region 80 are calculated based on the region information of the cell nucleus, and the candidate regions 82a to 82c of the region 80 are calculated based on the edge information of the cell nucleus. Calculate or detect the continuity in the edge normal direction, the total angle value in the edge normal direction, and the edge curvature.
  • step S43 Whether the area (total area) of the candidate regions 82a to 82c is less than a certain threshold (Condition 3-1Q) Whether the circularity of the candidate areas 82a to 82c is less than a certain threshold (Condition 3-2Q) -Whether there is continuity in the direction of edge normal (Condition 3-3Q) -Is the total angle value in the edge normal direction away from 0 ° (Condition 3-4Q)? -Is there variation in the edge curvature of the candidate areas 82a to 82c (Condition 3-5Q)? When the conditions 3-1Q to 3-5Q are satisfied, it is determined that the integration of the candidate areas 82 is truly necessary, and the process proceeds to step S43.
  • the transition to step S43 may be performed when all of the conditions 3-1Q to 3-5Q are satisfied, may be performed when any four are satisfied, or may be performed when any three are satisfied. It may be made when any two are satisfied, or may be made when any one is satisfied.
  • condition 3-1Q when the area (total area) of the candidate regions 82a to 82c is small and less than a certain threshold, only a part of one cell nucleus is detected, and the candidate regions 82a to 82c are integrated. I think it should be.
  • condition 3-2Q cell nuclei are basically high in circularity, but if the circularity of candidate regions 82a-82c is low and below a certain threshold, only a part of one cell nucleus is detected, It is considered that the candidate areas 82a to 82c should be integrated.
  • condition 3-3Q as shown in FIGS.
  • the outer contour lines of candidate regions 82a to 82c are connected, and 0 ° ⁇ 90 ° ⁇ 180 ° ⁇ 270 ° ⁇ 0 in the edge normal direction of the outer contour lines. It is considered whether or not there is continuity such as °, and if it is determined that there is continuity, candidate regions 82a to 82c surrounded by the outer contour line should be integrated.
  • condition 3-4Q the outer contour lines of the candidate regions 82a to 82c are connected, and the rotation angle of the filter is changed from 0 to 360 ° to ⁇ 180 ° to 0 ° to + 180 °, and the edge of the outer contour line It is determined whether or not the total angle in the normal direction is away from 0 °, and when it is determined that the angle is away from 0 °, only a part of one cell nucleus is detected, and candidate regions 82a to 82c are detected. It should be integrated.
  • condition 3-5Q if the edge curvatures of candidate regions 82a to 82c vary, only a part of one cell nucleus is detected, and it is considered that candidate regions 82a to 82c should be integrated.
  • step S43 as shown in FIG. 13B, candidate regions 82b / 82c, 82a / 82c, 82a / 82b existing in the vicinity (a fixed distance) from candidate regions 82a, 82b, 82c are searched and grouped.
  • the area (total area) of the candidate regions 82a to 82c is greater than or equal to a certain threshold (Condition 3-1A)
  • the circularity of the candidate areas 82a to 82c is greater than or equal to a certain threshold (Condition 3-2A) -There is continuity in the edge normal direction (Condition 3-3A) -The total angle value in the edge normal direction is within a certain range from 0 ° (Condition 3-4A) -Variations in edge curvature of candidate regions 82a-82c are alleviated and fall within a certain range (Condition 3-5A) (Step S44), and when the conditions 3-1A to 3-5A are satisfied, the integration process of the candidate areas 82a to 82c is executed (Step S45).
  • step S44 to step S45 may be performed when all of the conditions 3-1A to 3-5A are satisfied, may be performed when any four are satisfied, or any three are satisfied. It may be done sometimes, may be made when any two are satisfied, or may be made when any one is satisfied.
  • step S45 the grouped candidate areas 82a to 82c are integrated into one area 84, as shown in FIGS. 13D to 13E.
  • the centroids of the candidate areas 82a to 82c are calculated, a circle including the candidate areas 82a to 82c is drawn from the centroid, and the candidate areas 82a to 82c are integrated within the circle.
  • the outer contour lines of the candidate regions 82a to 82c may be connected by straight lines, and the candidate regions 82a to 82c may be integrated within a range surrounded by the outer contour lines and the straight lines of the candidate regions 82a to 82c. .
  • FIG. 15A the centroids of the candidate areas 82a to 82c are calculated, a circle including the candidate areas 82a to 82c is drawn from the centroid, and the candidate areas 82a to 82c are integrated within the circle.
  • the outer contour lines of the candidate regions 82a to 82c may be connected by straight lines, and the candidate regions 82a to 82
  • the center point and radius of the circle are calculated from the points on the outer contour lines of the candidate regions 82a to 82c by using the least square method, and the candidate regions 82a to 82c are integrated within the circle range. Also good.
  • the center and radius of the circle may be calculated from the edge curvatures of the outer contour lines of the candidate regions 82a to 82b, and the candidate regions 82a to 82b may be integrated within the circle.
  • an intersection is calculated from the edge normal direction of the outer contour lines of the candidate regions 82a to 82b, a circle including the candidate regions 82a to 82b is drawn from the intersection, and the candidate region 82a is within the circle.
  • intersection points are calculated such that the edge normal directions of the outer contour lines of the candidate regions 82a to 82c continue from 45 ° ⁇ 145 ° ⁇ 290 °, and the candidate regions 82a to 82c are included from the intersections.
  • a circle may be drawn, and the candidate areas 82a to 82c may be integrated within the circle.
  • FIG. 16D in the image generated by extracting the edge normal direction from the cell image, when the outer contour line of the candidate region is almost closed and the portion is missing, the missing portion 86 is displayed.
  • the candidate regions may be integrated with each other within a range surrounded by the outer contour line of the candidate region and the straight line or curve along the outer contour line of the candidate region.
  • step S46 it is determined based on the cell nucleus region information and the cell nucleus edge information whether or not one large cell nucleus candidate region is truly divided (step S46).
  • step S46 as shown in FIG. 17A, based on the region information of the cell nucleus, the area of the candidate region 92 in the region 90, the circularity, the presence / absence of a concave point, the presence / absence of a plurality of nucleoli are calculated or detected, Based on the information, the continuity of the edge normal direction of the candidate area 92 of the area 90, the angle total value of the edge normal direction, and the edge curvature are calculated or detected.
  • step S47 may be performed when all of the conditions 4-1Q to 4-7Q are satisfied, may be performed when any six are satisfied, or may be performed when any five are satisfied. It may be made when any four are satisfied, may be made when any three are satisfied, may be made when any two are satisfied, or any one May be done when one is met.
  • condition 4-1Q if the area of the candidate region 92 is large and exceeds a certain threshold, a plurality of cell nuclei are detected, and the candidate region 92 should be divided.
  • condition 4-2Q the cell nucleus basically has a high circularity, but if the circularity of the candidate region 92 is low and less than a certain threshold, a plurality of cell nuclei are detected and the candidate region 92 should be divided. it is conceivable that.
  • condition 4-3Q if there are indentations in the candidate area 92, particularly if there are indentations at positions facing each other, a plurality of cell nuclei are detected, and the candidate area 92 should be divided. .
  • condition 4-4Q there is basically one nucleolus per cell, but when there are a plurality of nucleoli in the candidate region 92, a plurality of cell nuclei are detected, and the candidate region 92 Should be divided.
  • condition 4-5Q the outer contour line of the candidate region 92 is connected, and it is determined whether there is continuity of 0 ° ⁇ 90 ° ⁇ 180 ° ⁇ 270 ° ⁇ 0 ° in the edge normal direction of the outer contour line. When it is determined that there is no continuity, it is considered that the candidate area 92 surrounded by the outer contour line should be divided. For example, as shown in FIGS.
  • condition 4-6Q the outer contour line of the candidate region 92 is connected, and the rotation angle of the filter is changed from 0 to 360 ° to ⁇ 180 ° to 0 ° to + 180 °, and the edge normal of the outer contour line It is determined whether or not the total angle value of the direction is away from 0 °, and when it is determined that it is away from 0 °, a plurality of cell nuclei are detected, and it is considered that the candidate region 92 should be divided.
  • condition 4-7Q if the edge curvature of the candidate region 92 varies, it is considered that a plurality of cell nuclei are detected and the candidate region 92 should be divided.
  • step S47 as shown in FIG. 17B, a boundary line 94 (division pattern) that can divide the candidate area 92 is searched, and the candidate area 92 is divided into an area 96 and an area 98 by the boundary line 94.
  • the area of the candidate areas 96 and 98 is within a certain threshold (Condition 4-1A)
  • the circularity of the candidate areas 96 and 98 is a certain threshold value or more (Condition 4-2A) -There are no concave points in the candidate areas 96 and 98 (Condition 4-3A) -There are not a plurality of nucleoli in candidate regions 96 and 98 (Condition 4-4A) ⁇ Continuity in edge normal direction (Condition 4-5A) -The total angle value in the edge normal direction is within a certain range from 0 ° (Condition 4-6A) -Variations in edge curvature of candidate regions 96 and 98 are alleviated and fall within a certain range (Condition 4-7A) (Step S48), and when the conditions 4-1A to 4-7A are satisfied, the integration process of the candidate area 92 is executed (Step S49).
  • step S48 to step S49 may be performed when all of the conditions 4-1A to 4-7A are satisfied, may be performed when any of the six conditions is satisfied, or any five are satisfied. It may be done at any time, may be done when any 4 are satisfied, may be made when any 3 are satisfied, may be made when any 2 are satisfied, It may be done when any one is satisfied.
  • step S49 as shown in FIGS. 17C to 17D, the candidate area 92 is divided into an area 96 and an area 98 along the boundary line 94.
  • steps S47 and S49 as shown in FIG. 19, in the image generated by extracting the edge strength from the cell image, a boundary line 94 is set between the portions having a large edge strength, and the candidate region 92 is set as the region 96, Divide into 98.
  • a boundary line 94 may be set between portions where the edge normal direction is opposite, and the candidate area 92 may be divided into areas 96 and 98.
  • a boundary line 94 may be set between the concave points of the candidate area 92, and the candidate area 92 may be divided into areas 96 and 98 (Bottle-Neck: Pattern Reecognition Volume 45, Issue 7, July 2012, Pages 2780-2787).
  • a boundary line 94 may be set in the candidate area 92 according to a known watershed method, and the candidate area 92 may be divided into areas 96 and 98.
  • step S50 a process of detecting the region after integration or division (84, 96, 98) as one cell nucleus is executed (step S50).
  • the region information of the cell nucleus and the cell nucleus are further determined in steps S42 to S45.
  • one cell nuclei may be misdetected as multiple cell nuclei, or multiple cell nuclei as one cell nuclei Misdetection is also suppressed, and cell nuclei can be detected individually.
  • the target of pathological diagnosis is a tissue section collected from a human body, but the tissue includes a cultured tissue, and instead of the tissue, a cell or a cultured cell separated from the tissue is used. It is also possible to do.
  • an HDD or a semiconductor non-volatile memory is used as a computer-readable medium of the image processing program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave carrier wave
  • the detailed configuration and detailed operation of each device constituting the pathological diagnosis support system 10 can be changed as appropriate without departing from the spirit of the invention.
  • the present invention can be suitably used for image processing for pathological diagnosis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Food Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Optics & Photonics (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

　画像処理装置では、細胞画像から細胞核の候補領域と領域情報とを抽出し（Ｓ２０）、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定し、その判定結果に基づき、細胞核の候補領域を補正する（Ｓ４０）。

Description

画像処理装置および画像処理プログラム
　本発明は画像処理装置および画像処理プログラムに関し、特に病理診断の画像処理に関する。
　人体から採取された組織切片を、顕微鏡で観察し、病変の有無や病変の種類について診断する、いわゆる病理診断が盛んにおこなわれている。病理診断の対象となる組織標本は、顕微鏡観察に適するように、一般的には、固定→包理→薄切→染色の過程を経て作製される。近年では、染色後の組織切片を高倍率で顕微鏡観察して画像データ（細胞画像）を生成し、かかる細胞画像を、画像処理して細胞核などの対象物を正確に抽出する技術が数多く提案されている。
　たとえば、特許文献１の技術では、細胞画像上で、複数の細胞が重畳している場合であっても、細胞形状を個別に抽出しようとしている（段落００１８参照）。具体的には、細胞の染色濃度（濃度勾配）に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている（段落００２７～００２８、図１０、段落００８４～００８８、図１３～図１６など参照）。
　特許文献２の技術では、細胞画像から対象物（細胞核）の形状を抽出する際に、ノイズや他の組織のエッジとひっかかることがあっても、その影響を回避しようとしている（段落００１４～００１５参照）。具体的には、公知のＳＮＡＫＥＳ処理を用いて、ぼかした画像を用いたＳＮＡＫＥＳ処理と、ぼかしていない画像を用いたＳＮＡＫＥＳ処理とを実行したり（段落００３７～００３９、図１など参照）、細胞画像の細胞核に核内空がある場合には、あらかじめ核内空を周囲の色で塗りつぶす処理を実行したり（段落００４４～００４６、図３など参照）してかかる技術を実現しようとしている。
特開２０００－３２１０３１号公報 特開２０００－３３１１４３号公報
　ところで、組織切片の染色は細胞核などの対象物の形状を検出し易くするために行われるが、当該細胞核はすべてきれいに染色されるとは限らず、特に癌が進行しているような細胞においては細胞核の染色にムラができることが多い。
　すなわち、図２０Ａに示すとおり、細胞核がきれいに染色された細胞画像からは１つの細胞核が検出されるが、癌が進行しているような細胞の細胞画像に対し画像処理を行っても、１つの細胞核がまばらに検出され、１つの細胞核が複数の細胞核として誤検出されることがあるし（図２０Ｂ参照）、逆に、複数の細胞核同士が隣接している場合には、複数の細胞核が１つの細胞核として誤検出されることもありうる（図２０Ｃ参照）。
　したがって、本発明の主な目的は、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる画像処理装置および画像処理プログラムを提供することにある。
　上記課題を解決するため、本発明の一態様によれば、
　細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
　前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
　細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
　前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
　を備えることを特徴とする画像処理装置が提供される。
　本発明の他の態様によれば、
　細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
　前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
　細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
　前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
　として機能させることを特徴とする画像処理プログラムが提供される。
　本発明によれば、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる。
病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 画像処理の流れを概略的に示すフローチャートである。 細胞核がきれいに染色された細胞画像における輝度値の関係を概略的に説明する図である。 １つの細胞核がまばらに染色された細胞画像における輝度値の関係を概略的に説明する図である。 図４Ｂの座標位置の範囲を広げた図である。 細胞核がきれいに染色された細胞画像、１つの細胞核がまばらに染色された細胞画像、および複数の細胞核が隣接して染色された細胞画像における、二値画像、エッジ強度で表した画像、エッジ角度で表した画像、エッジ法線方向で表した画像の一例である。 エッジ強度の抽出に用いるフィルタの一例である。 エッジ強度の抽出に用いるフィルタの一例である。 エッジ強度の抽出方法を概略的に説明する図である。 エッジ角度の抽出方法を概略的に説明する図である。 エッジ法線方向の抽出方法を概略的に説明する図である。 エッジ角度の角度を概略的に説明する図である。 エッジ法線方向の方向を概略的に説明する図である。 細胞画像の一例である。 細胞画像から生成した二値画像の一例である。 細胞画像からエッジ強度を抽出して生成した画像の一例である。 細胞画像からエッジ法線方向を抽出して生成した画像の一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出方法を概略的に説明する図である。 エッジ曲率の抽出方法を概略的に説明する図である。 判定／補正処理の流れを概略的に示すフローチャートである。 細胞核の候補領域の統合が必要である状態を示す図である。 細胞核の候補領域の分割が必要である状態を示す図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 細胞核の候補領域の分割処理の一例を示す図である。 細胞核がきれいに染色された細胞画像の一例である。 １つの細胞核がまばらに染色された細胞画像の一例である。 複数の細胞核が隣接して染色された細胞画像の一例である。
　以下、図面を参照しながら本発明の好ましい実施形態について説明する。
＜病理診断支援システム１０の構成＞
　図１に、病理診断支援システム１０の全体構成例を示す。
　病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出するシステムである。
　図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
　顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
　顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出する。
　図２に、画像処理装置２Ａの機能構成例を示す。
　図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
　たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像処理（図３参照）を実行し、領域抽出手段、判定手段、補正手段、エッジ抽出手段としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、細胞画像の入力手段として機能する。
　記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
　本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像（細胞画像）を用いて解析を行うようになっている。
　「細胞画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）など、細胞核を染色しうる染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
　以下、病理診断支援システム１０において、上記説明した細胞画像を取得して解析を行う動作について説明する。
　まず、操作者はＨ染色試薬またはＨＥ染色試薬を用いて組織切片を染色する。
　その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）～（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、Ｈ染色試薬またはＨＥ染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　その後、画像処理装置２Ａを用いて、細胞画像に基づき画像処理を実行する。
　図３に、画像処理装置２Ａにおける画像処理のフローチャートを示す。
　図３に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって下記の処理を実行する。
　まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像が入力されると（ステップＳ１０）、細胞画像から色情報を取得し、特定の色成分を抽出してその細胞画像に閾値処理を施し二値画像を生成し、細胞核の候補領域と領域情報とを抽出する（ステップＳ２０）。
　細胞核の「候補領域」とは、染色領域のうち、細胞核の個々の検出にあたり細胞核の候補となる領域であって、細胞核由来の領域と考えられる領域である。
　細胞核の「領域情報」とは、細胞核の候補領域に関する情報であって、細胞核の候補領域のサイズや形状などに関する情報であり、細胞核以外の他の部位（核小体など）の存在の有無も含まれる。
　他方、ステップＳ２０とは別に、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像が入力されると（ステップＳ１０）、細胞画像から色情報を取得し、細胞核のエッジ情報も抽出する（ステップＳ３０）。
　たとえば、図４Ａに示すとおり、細胞核がきれいに染色された細胞画像３０では（上側）、色情報から輝度値を算出すると、細胞画像３０の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とでは差が大きい（下側）。
　これに対し、図４Ｂに示すとおり、１つの細胞核がまばらに染色された細胞画像４０では（上側）、細胞画像４０の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とで差が小さく、ステップＳ２０の二値画像では細胞核の候補領域として核内領域の領域４２のみが検出されるにすぎない（下側）。
　ただ、図４Ｃに示すとおり、細胞画像４０でも（上側）、細胞画像４０の直線部に沿う座標位置の範囲を広げると、核外領域の領域４４と核内領域の領域４６とで差があり、エッジ情報を利用すれば細胞核の境界線を検出しうる（下側）。
　本実施形態では、図５に示すとおり、細胞画像３０、細胞画像４０、および複数の細胞核が隣接して染色された細胞画像５０において、ステップＳ２０で二値画像を生成し細胞核の候補領域と領域情報とを抽出するのに加え、ステップＳ３では細胞核のエッジ情報を抽出する。
　細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率が含まれる。
　「エッジ強度」とは、細胞画像の細胞核のエッジ部における輝度値の変化量であって、一定のフィルタを用いて算出される値である。
　一定のフィルタとしては、図６Ａ～６Ｂに示すとおり、ｓｏｂｅｌフィルタ６０、１次方向微分フィルタ６２などを用いることができ、当該フィルタはエッジ角度、エッジ法線方向を抽出する際にも用いられる。
　たとえば、ｓｏｂｅｌフィルタ６０を用いてエッジ強度を抽出する場合には、図６Ｃに示すとおり、エッジ部のある画素領域６４（注目画素６６を中心とした３×３の画素領域）を選択し、画素領域６４の輝度値ａ１～ａ９とｓｏｂｅｌフィルタ６０の各値とを、１×ａ１→０×ａ２→－１×ａ３→…→０×ａ８→－１×ａ９というように掛け合わせ、その総計を注目画素６６の輝度値として算出し、かかる操作をエッジ部の各画素に対し順次実行すればよい。
　図５のエッジ強度の画像は、ステップＳ３０で細胞画像からエッジ強度を抽出して生成した画像であり、エッジ強度が大きいほど白く表現されている。
　「エッジ角度」とは、細胞画像の細胞核のエッジ部に対する接線の角度であって、図６Ｄに示すとおり、フィルタを０～９０°の範囲で５°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度である。
　本実施形態では、図７Ａに示すとおり、細胞画像の細胞核のエッジ部に対し、横方向の接線の角度を０°と、縦方向の接線の角度を９０°（青）と設定している。
　図５のエッジ角度の画像は、ステップＳ３０で細胞画像からエッジ角度を抽出して生成した画像であり、エッジ角度に応じて、細胞核が青の濃淡で表現されている。
　「エッジ法線方向」とは、細胞画像の細胞核のエッジ部に対する接線の法線方向で、かつ、細胞核の核外領域から核内領域に向かう方向を示すものである。
　詳しくは、エッジ法線方向とは、フィルタを０～３６０°の範囲で５°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度に対し直交する方向で、かつ、その直交する方向上でエッジ強度が正から負に変化する方向を示すものである。
　エッジ強度の正負は下記のとおり観念される。
　たとえば、図６Ｅの矢印に示すとおり、細胞画像３０において、細胞核の核外領域から核内領域に向けてフィルタ６０を用いてエッジ強度を求める場合、核外領域では輝度値が高く、核内領域では輝度値が低い。細胞核の核外領域と核内領域の境界領域では、核外領域の高い輝度値とフィルタ６０の正の値（１、２、１）とが掛け合わされ、核内領域の低い輝度値とフィルタ６０の負の値（－１、－２、－１）とが掛け合わされる。そのため、境界領域のうち、核外領域側では、核外領域の高い輝度値の寄与度が大きく注目画素の輝度値は正になり、核外領域側から核内領域側に移行するにつれて、核内領域の低い輝度値の寄与度が大きくなり、注目画素の輝度値は負に変化する。
　本実施形態では、図７Ｂに示すとおり、細胞画像の細胞核のエッジ部に対し、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が右向きの方向を０°（赤）と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が上向きの方向を９０°（黄）と、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が左向きの方向を１８０°（緑）と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が下向きの方向を２７０°（青）と設定している。
　図５のエッジ法線方向の画像は、ステップＳ３０で細胞画像からエッジ法線方向を抽出して生成した画像であり、エッジ法線方向に応じて、細胞核が赤、黄、緑、青で表現されている。
　図８Ａ～８Ｄは、細胞画像（図８Ａ）、ステップＳ２０で細胞画像から生成した二値画像（図８Ｂ）、ステップＳ３０で細胞画像からエッジ強度を抽出して生成した画像（図８Ｃ）、およびステップＳ３０で細胞画像からエッジ法線方向を抽出して生成した画像（図８Ｄ）の一例である。
　なお、各画像の点線四角枠は同じ領域を示している。
　「エッジ曲率」とは、文字どおり、細胞画像の細胞核のエッジ部における曲率である。
　エッジ曲率は、細胞画像からエッジ強度を抽出して生成した画像に対し、図９Ａ～９Ｃに示すとおり、一定の曲率を有するフィルタ７０、７２、７４を照合させ一致するかどうかにより算出することができる。
　細胞画像からエッジ部を細線化し、図９Ｄに示すとおり、当該細線上の１点（Ｐｉ）とその周辺の２点（Ｐｉ－１）との計３点から数式を用いて算出してもよい。
　細胞画像からエッジ部を細線化し、図９Ｅに示すとおり、当該細線上の複数の点から最小二乗法を用いて算出してもよい。
　その後、図３に示すとおり、ステップＳ２０で抽出した細胞核の領域情報と、ステップＳ３０で抽出した細胞核のエッジ情報とに基づき、ステップＳ２０で抽出した細胞核の候補領域を補正するかどうかを判定する（ステップＳ４０）。
　ステップＳ４０では、まず、図１０に示すとおり、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する（ステップＳ４１）。
　ステップＳ４１では、たとえば、図１１に示すとおり、細胞核の候補領域から一定範囲の領域８０を抜き出し、細胞核の領域情報に基づき、領域８０において複数の小さな細胞核の候補領域８２ａ～８２ｆが存在するかどうかを判断し、それが存在すると判断した場合に、領域８０における細胞核の候補領域８２ａ～８２ｆの面積、密集度を算出する。
　その後、
　・候補領域８２ａ～８２ｆの面積（総面積）が一定の閾値未満であるか（条件１－１）
　・候補領域８２ａ～８２ｆの密集度が一定の閾値を超えるか（条件１－２）
　を判断し、条件１－１、１－２を満たすときは、候補領域８２の統合が必要であると判断してステップＳ４２に移行する。
　ステップＳ４２への移行は、条件１－１、１－２の両方を満たすときになされてもよいし、いずれか一方を満たすときになされてもよい。
　なお、図１１中、グレーの実線部が実際の細胞核を表している。
　他方、たとえば、図１２に示すとおり、細胞核の候補領域から一定範囲の領域９０を抜き出し、細胞核の領域情報に基づき、領域９０において１つの大きな細胞核の候補領域９２が存在するかどうかを判断し、それが存在すると判断した場合に、領域９０における細胞核の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出する。
　その後、
　・候補領域９２の面積が一定の閾値を超えるか（条件２－１）
　・候補領域９２の円形度が一定の閾値未満であるか（条件２－２）
　・候補領域９２に凹点が存在するか（条件２－３、図１２点線部参照）
　・候補領域９２に複数の核小体が存在するか（条件２－４）
を判断し、条件２－１～２－４を満たすときは、候補領域９２の分割が必要であると判断してステップＳ４６に移行する。
　ステップＳ４６への移行は、条件２－１～２－４のすべてを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
　なお、図１２中、グレーの実線部が実際の細胞核を表している。
　図１０に示すとおり、ステップＳ４２では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、複数の小さな細胞核の候補領域を統合するかどうかを判定する（ステップＳ４２）。
　ステップＳ４２では、図１３Ａに示すとおり、細胞核の領域情報に基づき、領域８０の候補領域８２ａ～８２ｃの面積、円形度を算出し、細胞核のエッジ情報に基づき、領域８０の候補領域８２ａ～８２ｃのエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
　その後、
　・候補領域８２ａ～８２ｃの面積（総面積）が一定の閾値未満であるか（条件３－１Ｑ）
　・候補領域８２ａ～８２ｃの円形度が一定の閾値未満であるか（条件３－２Ｑ）
　・エッジ法線方向に連続性があるか（条件３－３Ｑ）
　・エッジ法線方向の角度合計値が０°から離れているか（条件３－４Ｑ）
　・候補領域８２ａ～８２ｃのエッジ曲率にバラツキがあるか（条件３－５Ｑ）
を判断し、条件３－１Ｑ～３－５Ｑを満たすときは、真に、候補領域８２の統合が必要であると判断してステップＳ４３に移行する。
　ステップＳ４３への移行は、条件３－１Ｑ～３－５Ｑのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
　条件３－１Ｑに関しては、候補領域８２ａ～８２ｃの面積（総面積）が小さく一定の閾値未満である場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ～８２ｃを統合すべきと考えられる。
　条件３－２Ｑに関しては、細胞核は基本的に円形度が高いが、候補領域８２ａ～８２ｃの円形度が低く一定の閾値未満である場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ～８２ｃを統合すべきと考えられる。
　条件３－３Ｑに関しては、図１４Ａ～１４Ｃに示すとおり、候補領域８２ａ～８２ｃの外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性があるかどうかを判断し、連続性があると判断したときは、その外側輪郭線で囲まれた候補領域８２ａ～８２ｃを統合すべきと考えられる。
　条件３－４Ｑに関しては、候補領域８２ａ～８２ｃの外側輪郭線を結び、かつ、フィルタの回転角度を０～３６０°から－１８０°～０°～＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ～８２ｃを統合すべきと考えられる。
　条件３－５Ｑに関しては、候補領域８２ａ～８２ｃのエッジ曲率にバラツキがある場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ～８２ｃを統合すべきと考えられる。
　ステップＳ４３では、図１３Ｂに示すとおり、候補領域８２ａ、８２ｂ、８２ｃから近傍（一定の距離）に存在する候補領域８２ｂ／８２ｃ、８２ａ／８２ｃ、８２ａ／８２ｂを探索してこれらをグループ化する。
　その後、図１３Ｃに示すとおり、グループ化した候補領域８２ａ～８２ｃに対し、条件３－１Ｑ～３－５Ｑと同様の基準を適用し、
　・候補領域８２ａ～８２ｃの面積（総面積）が一定の閾値以上である（条件３－１Ａ）
　・候補領域８２ａ～８２ｃの円形度が一定の閾値以上である（条件３－２Ａ）
　・エッジ法線方向に連続性がある（条件３－３Ａ）
　・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件３－４Ａ）
　・候補領域８２ａ～８２ｃのエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件３－５Ａ）
かどうかを判別し（ステップＳ４４）、条件３－１Ａ～３－５Ａを満たすときは、候補領域８２ａ～８２ｃの統合処理を実行する（ステップＳ４５）。
　ステップＳ４４からステップＳ４５への移行は、条件３－１Ａ～３－５Ａのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
　ステップＳ４５では、図１３Ｄ～１３Ｅに示すとおり、グループ化した候補領域８２ａ～８２ｃを１つの領域８４に統合する。
　詳しくは図１５Ａに示すとおり、候補領域８２ａ～８２ｃの重心を算出し、その重心から候補領域８２ａ～８２ｃを包含する円を描き、その円の範囲内で候補領域８２ａ～８２ｃを統合する。
　図１５Ｂに示すとおり、候補領域８２ａ～８２ｃの外側輪郭線同士を直線で結び、候補領域８２ａ～８２ｃの外側輪郭線と直線とで囲まれる範囲内で候補領域８２ａ～８２ｃを統合してもよい。
　図１５Ｃに示すとおり、候補領域８２ａ～８２ｃの外側輪郭線上の点から最小二乗法を用いて円の中心点と半径とを算出し、その円の範囲内で候補領域８２ａ～８２ｃを統合してもよい。
　図１６Ａに示すとおり、候補領域８２ａ～８２ｂの外側輪郭線のエッジ曲率から円の中心と半径とを算出し、その円の範囲内で候補領域８２ａ～８２ｂを統合してもよい。
　図１６Ｂに示すとおり、候補領域８２ａ～８２ｂの外側輪郭線のエッジ法線方向から交点を算出し、その交点から候補領域８２ａ～８２ｂを包含する円を描き、その円の範囲内で候補領域８２ａ～８２ｂを統合してもよい。
　図１６Ｃに示すとおり、候補領域８２ａ～８２ｃの外側輪郭線のエッジ法線方向が４５°→１４５°→２９０°と連続するような交点を算出し、その交点から候補領域８２ａ～８２ｃを包含する円を描き、その円の範囲内で候補領域８２ａ～８２ｃを統合してもよい。
　図１６Ｄに示すとおり、細胞画像からエッジ法線方向を抽出して生成した画像において、候補領域の外側輪郭線がほぼ閉じた状態で一部が欠落しているような場合に、欠落部８６を候補領域の外側輪郭線に沿って直線または曲線で結び、候補領域の外側輪郭線と直線または曲線とで囲まれる範囲内で候補領域を統合してもよい。
　他方、図１０に示すとおり、ステップＳ４６では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、１つの大きな細胞核の候補領域を分割するかどうかを判定する（ステップＳ４６）。
　ステップＳ４６では、図１７Ａに示すとおり、細胞核の領域情報に基づき、領域９０の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出し、細胞核のエッジ情報に基づき、領域９０の候補領域９２のエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
　その後、
　・候補領域９２の面積が一定の閾値を超えているか（条件４－１Ｑ）
　・候補領域９２の円形度が一定の閾値未満であるか（条件４－２Ｑ）
　・候補領域９２に凹点が存在するか（条件４－３Ｑ）
　・候補領域９２に複数の核小体が存在するか（条件４－４Ｑ）
　・エッジ法線方向に連続性がないか（条件４－５Ｑ）
　・エッジ法線方向の角度合計値が０°から離れているか（条件４－６Ｑ）
　・候補領域９２のエッジ曲率にバラツキがあるか（条件４－７Ｑ）
を判断し、条件４－１Ｑ～４－７Ｑを満たすときは、真に、候補領域９２の分割が必要であると判断してステップＳ４７に移行する。
　ステップＳ４７への移行は、条件４－１Ｑ～４－７Ｑのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
　条件４－１Ｑに関しては、候補領域９２の面積が大きく一定の閾値を超えている場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　条件４－２Ｑに関しては、細胞核は基本的に円形度が高いが、候補領域９２の円形度が低く一定の閾値未満である場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　条件４－３Ｑに関しては、候補領域９２に凹点が存在する場合、特に互いに対向する位置に凹点が存在する場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　条件４－４Ｑに関しては、核小体は基本的に細胞ごとに１つずつ存在するが、候補領域９２に複数の核小体が存在する場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　条件４－５Ｑに関しては、候補領域９２の外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性がないかどうかを判断し、連続性がないと判断したときは、その外側輪郭線で囲まれた候補領域９２を分割すべきと考えられる。
　たとえば、図１８Ａ～１８Ｂに示すとおり、候補領域９２の外側輪郭線上でエッジ法線方向の連続性がないかどうかを判断する際に、細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分が存在するときは、候補領域９２を分割すべきと考えられる。
　条件４－６Ｑに関しては、候補領域９２の外側輪郭線を結び、かつ、フィルタの回転角度を０～３６０°から－１８０°～０°～＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　条件４－７Ｑに関しては、候補領域９２のエッジ曲率にバラツキがある場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
　ステップＳ４７では、図１７Ｂに示すとおり、候補領域９２を分割しうる境界線９４（分割パターン）を探索し、候補領域９２を境界線９４で領域９６と領域９８に区画する。
　その後、領域９６、９８に対し、条件４－１Ｑ～４－７Ｑと同様の基準を適用し、
　・候補領域９６、９８の面積が一定の閾値以内である（条件４－１Ａ）
　・候補領域９６、９８の円形度が一定の閾値以上である（条件４－２Ａ）
　・候補領域９６、９８に凹点が存在しない（条件４－３Ａ）
　・候補領域９６、９８に複数の核小体が存在しない（条件４－４Ａ）
　・エッジ法線方向に連続性がある（条件４－５Ａ）
　・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件４－６Ａ）
　・候補領域９６、９８のエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件４－７Ａ）
かどうかを判別し（ステップＳ４８）、条件４－１Ａ～４－７Ａを満たすときは、候補領域９２の統合処理を実行する（ステップＳ４９）。
　ステップＳ４８からステップＳ４９への移行は、条件４－１Ａ～４－７Ａのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
　ステップＳ４９では、図１７Ｃ～１７Ｄに示すとおり、候補領域９２を、境界線９４で領域９６と領域９８とに分割する。
　詳しくは、ステップＳ４７、Ｓ４９では、図１９に示すとおり、細胞画像からエッジ強度を抽出して生成した画像において、エッジ強度の大きい部分間に境界線９４を設定し、候補領域９２を領域９６、９８に分割する。
　細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分間に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい。
　公知の手法にしたがって、候補領域９２の凹点間に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい（Bottle-Neck: Pattern Reecognition Volume 45, Issue7, July 2012, Pages 2780-2787参照）。
　公知のwatershed法にしたがって、候補領域９２に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい。
　そして最終的に、図３に示すとおり、統合後または分割後の領域（８４、９６、９８）を、１つの細胞核として検出する処理を実行する（ステップＳ５０）。
　以上の本実施形態によれば、ステップＳ４１において、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定するのに加え、さらにステップＳ４２～Ｓ４５において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を統合するかどうかを判定し統合するか、またはステップＳ４６～Ｓ４９において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を分割するかどうかを判定し統合するから、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、１つの細胞核が複数の細胞核として誤検出されることも、複数の細胞核が１つの細胞核として誤検出されることも抑制され、細胞核を個々に検出することができる。
　なお、本実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　たとえば、本実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
　上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
　その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　本発明は病理診断の画像処理に好適に利用することができる。
　１Ａ　顕微鏡画像取得装置
　２Ａ　画像処理装置
　３Ａ　ケーブル
　１０　病理診断支援システム
　２１　制御部
　２２　操作部
　２３　表示部
　２４　通信Ｉ／Ｆ
　２５　記憶部
　２６　バス
　３０、４０、５０　細胞画像
　８２ａ～８２ｆ　細胞核の候補領域（統合前）
　８４　統合後の領域
　９２　細胞核の候補領域（分割前）
　９６、９８　分割後の領域

Claims (8)

  1. 　細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
    　前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
    　細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
    　前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段を備え、
    　前記補正手段が、細胞核のエッジ情報に基づき、細胞核の候補領域を補正することを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率の少なくとも１つが含まれることを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記判定手段が、細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定することを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記判定手段が、
    　細胞核の領域情報に基づき、細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の少なくとも１つを算出または検出し、
    　細胞核のエッジ情報に基づき、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の少なくとも１つを算出または検出し、
    　それら算出または検出結果に基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定することを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記補正手段が、
    　細胞核の候補領域の面積、円形度の算出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の算出または検出結果との少なくとも１つに基づき、複数の細胞核の候補領域を統合することを特徴とする画像処理装置。
  7. 　請求項５に記載の画像処理装置において、
    　前記補正手段が、
    　細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の算出または検出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率を算出または検出結果との少なくとも１つに基づき、１つの細胞核の候補領域を分割することを特徴とする画像処理装置。
  8. 　細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
    　前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
    　細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
    　前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
    　として機能させることを特徴とする画像処理プログラム。
PCT/JP2014/058721 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム Ceased WO2015145643A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/902,214 US9384550B2 (en) 2014-03-27 2014-03-27 Image processing device and storage medium for image processing
PCT/JP2014/058721 WO2015145643A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム
JP2015506956A JP5804220B1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム
EP14887352.4A EP3124967B1 (en) 2014-03-27 2014-03-27 Image-processing device and image-processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058721 WO2015145643A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2015145643A1 true WO2015145643A1 (ja) 2015-10-01

Family

ID=54194240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058721 Ceased WO2015145643A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Country Status (4)

Country Link
US (1) US9384550B2 (ja)
EP (1) EP3124967B1 (ja)
JP (1) JP5804220B1 (ja)
WO (1) WO2015145643A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152242A1 (ja) * 2015-03-25 2016-09-29 株式会社日立ハイテクノロジーズ 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
WO2019188647A1 (ja) * 2018-03-30 2019-10-03 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP2023021000A (ja) * 2021-07-29 2023-02-09 楽天グループ株式会社 ぼけに対してロバストな画像のセグメンテーション
JP2023520528A (ja) * 2020-07-02 2023-05-17 ソニーグループ株式会社 輪郭精度評価を用いた画像セグメンテーション訓練

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3124956B1 (en) * 2014-03-27 2018-12-26 Konica Minolta, Inc. Image processing device and image processing program
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
US9738937B1 (en) * 2017-03-31 2017-08-22 Cellmax, Ltd. Identifying candidate cells using image analysis
JP7063680B2 (ja) * 2018-03-29 2022-05-09 住友化学株式会社 画像処理装置、異物検査装置、画像処理方法、および異物検査方法
CN109801308B (zh) * 2018-12-28 2022-10-18 西安电子科技大学 粘连类圆形目标图像的分割方法
WO2021062064A1 (en) * 2019-09-24 2021-04-01 Nuvasive, Inc. Systems and methods for adjusting appearance of objects in medical images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186750A (ja) * 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
US20110274336A1 (en) * 2010-03-12 2011-11-10 Institute For Medical Informatics Optimizing the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
WO2012016242A2 (en) * 2010-07-30 2012-02-02 Aureon Biosciences, Inc. Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
JP2012037432A (ja) * 2010-08-09 2012-02-23 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2013020212A (ja) * 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
JP3314759B2 (ja) 1999-05-11 2002-08-12 日本電気株式会社 細胞形状抽出装置及び細胞形状抽出方法
JP2000331143A (ja) 1999-05-14 2000-11-30 Mitsubishi Electric Corp 画像処理方法
GB2396406A (en) * 2002-12-17 2004-06-23 Qinetiq Ltd Image analysis
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
US8064679B2 (en) * 2007-12-27 2011-11-22 Cytyc Corporation Targeted edge detection method and apparatus for cytological image processing applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186750A (ja) * 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
US20110274336A1 (en) * 2010-03-12 2011-11-10 Institute For Medical Informatics Optimizing the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
WO2012016242A2 (en) * 2010-07-30 2012-02-02 Aureon Biosciences, Inc. Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
JP2012037432A (ja) * 2010-08-09 2012-02-23 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2013020212A (ja) * 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152242A1 (ja) * 2015-03-25 2016-09-29 株式会社日立ハイテクノロジーズ 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法
US10453192B2 (en) 2015-03-25 2019-10-22 Hitachi High-Technologies Corporation Cytologic diagnosis support apparatus, cytologic diagnosis support method, remote diagnosis support system, service providing system, and image processing method
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017150194A1 (ja) * 2016-03-04 2018-12-27 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US10890576B2 (en) 2016-06-23 2021-01-12 Konica Minolta, Inc. Image processing device, image processing method, and recording medium
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2017221592A1 (ja) * 2016-06-23 2019-04-11 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
WO2019188647A1 (ja) * 2018-03-30 2019-10-03 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JPWO2019188647A1 (ja) * 2018-03-30 2021-05-13 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP7259844B2 (ja) 2018-03-30 2023-04-18 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP2023520528A (ja) * 2020-07-02 2023-05-17 ソニーグループ株式会社 輪郭精度評価を用いた画像セグメンテーション訓練
JP7476345B2 (ja) 2020-07-02 2024-04-30 ソニーグループ株式会社 輪郭精度評価を用いた画像セグメンテーション訓練
JP2023021000A (ja) * 2021-07-29 2023-02-09 楽天グループ株式会社 ぼけに対してロバストな画像のセグメンテーション
JP7447191B2 (ja) 2021-07-29 2024-03-11 楽天グループ株式会社 ぼけに対してロバストな画像のセグメンテーション

Also Published As

Publication number Publication date
EP3124967B1 (en) 2018-11-28
JP5804220B1 (ja) 2015-11-04
EP3124967A1 (en) 2017-02-01
EP3124967A4 (en) 2017-12-06
US20160163043A1 (en) 2016-06-09
JPWO2015145643A1 (ja) 2017-04-13
US9384550B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
US10890576B2 (en) Image processing device, image processing method, and recording medium
US8073233B2 (en) Image processor, microscope system, and area specifying program
US9881373B2 (en) Image generating apparatus and image generating method
AU2014292179B2 (en) Auto-focus methods and systems for multi-spectral imaging
TWI496112B (zh) 細胞影像分割方法以及核質比評估方法
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2005352571A (ja) 画像処理装置
Piórkowski et al. Color normalization approach to adjust nuclei segmentation in images of hematoxylin and eosin stained tissue
Nasir et al. New crescent moon detection using Circular Hough Transform (CHT)
JP6819445B2 (ja) 情報処理装置、制御方法、及びプログラム
US11449991B2 (en) Image processing method, image processing apparatus, and storage medium
JPWO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP5269637B2 (ja) 画像処理装置および画像処理プログラム
JP3860540B2 (ja) エントロピーフィルタ及び該フィルタを用いた領域抽出法
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2016076104A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2010185858A (ja) 画像処理装置および画像処理プログラム
JP5845139B2 (ja) 図形検出処理装置、図形検出処理方法及び図形検出処理プログラム
KR101276792B1 (ko) 눈 검출 장치 및 방법
JP2005160916A (ja) 石灰化陰影判定方法、石灰化陰影判定装置及びプログラム
Chen et al. Comprehensive bilateral and gradient-based least squares circle fitting algorithm for precision circular spot identification
Hyllander Spatial Descriptions of Tumour Nerve-Cells with Image Analysis: Biological Aspects

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015506956

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14887352

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014887352

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014887352

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14902214

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE