[go: up one dir, main page]

WO2017221592A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2017221592A1
WO2017221592A1 PCT/JP2017/018453 JP2017018453W WO2017221592A1 WO 2017221592 A1 WO2017221592 A1 WO 2017221592A1 JP 2017018453 W JP2017018453 W JP 2017018453W WO 2017221592 A1 WO2017221592 A1 WO 2017221592A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
cell
image
image processing
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/018453
Other languages
English (en)
French (fr)
Inventor
勇介 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018523599A priority Critical patent/JP6791245B2/ja
Priority to EP17815062.9A priority patent/EP3477586A1/en
Priority to US16/311,781 priority patent/US10890576B2/en
Publication of WO2017221592A1 publication Critical patent/WO2017221592A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program, and more particularly to image processing used for pathological diagnosis.
  • Patent Document 1 describes a technique capable of extracting individual cells even when a plurality of cells are superimposed on an image (see paragraph 0018). Specifically, focusing on the gradient of cell staining concentration, this technology is realized by calculating the sign of the inner product value of the concentration gradient vector of the cell contour forming pixel and the displacement vector from the pixel to the cell center position. (See paragraphs 0027 to 0028, FIG. 10, paragraphs 0084 to 0088, FIGS. 13 to 16, etc. of Patent Document 1). According to the image processing described in Patent Document 1, it is possible to identify individual cells even when the cell density is high. However, there is no description about correction of uneven dyeing or voids.
  • Patent Document 2 describes a technique capable of extracting individual cells even when there is a variation in staining concentration between cells on an image. Specifically, a binary image is created by changing the threshold stepwise, a feature amount is calculated for each connected pixel region in the binary image, and only regions where the feature amount satisfies a predetermined condition are merged. Generate a result image. Thereby, even if the threshold value to be used is different for each cell, the target object (cell or the like) can be detected with high accuracy (see claim 1, paragraph 0009, etc. of Patent Document 2). According to the technique described in Patent Document 2, it is possible to correct the variation in staining concentration between cells (see FIG. 1). However, there is no description about correction of staining unevenness or missing in one cell.
  • Patent Document 3 describes a technique capable of extracting the outline of a cell even when there is color unevenness based on the fine structure and noise inside the cell. Specifically, an image obtained by extracting a low frequency component and an image obtained by extracting a high frequency component are created from an image obtained by photographing cells, and an image obtained by performing a filtering process using a plurality of frequency images different from each other is created. By performing threshold processing on the created image, a cell outline can be formed (see claim 1, paragraph 0006, etc. of Patent Document 3). Patent Document 3 also describes that processing such as hole filling is performed on the image after threshold processing to adjust the shape of the cell region (see paragraph 0059 and the like).
  • Patent Documents 1 to 3 it is possible to reduce to some extent errors due to cell overlap, staining unevenness, and voids in images obtained by photographing tissue specimens.
  • a background image 2 a region where no cells exist in the image
  • a plurality of cell nuclei are mixed in one cell image
  • the background 2 surrounded by a plurality of cell nuclei is regarded as a void in the cell nucleus and subjected to a filling process, or conversely, the void 2 is regarded as a background surrounded by a plurality of cell nuclei.
  • one hollow core 1 is subjected to a division process, and as a result, an error occurs in the analysis result.
  • the main object of the present invention is to provide an image processing apparatus capable of determining a background and a hollow nucleus surrounded by a plurality of cell nuclei in image processing for extracting cells subjected to staining processing from an image obtained by photographing a tissue specimen, and an image
  • the object is to provide a processing method and an image processing program.
  • An image processing apparatus comprising:
  • threshold setting means for setting a threshold value of the feature amount, The image processing apparatus according to claim 1 or 2, wherein the determination unit determines whether the candidate region is a cell region based on the feature amount and the threshold value.
  • the feature amount includes at least one of an area, a circularity, an area convex hull ratio, an unevenness number, and a curvature of the candidate region.
  • Image processing device includes at least one of an area, a circularity, an area convex hull ratio, an unevenness number, and a curvature of the candidate region.
  • the feature amount includes at least one of an average value, a variation, and a difference value of pixel values inside or around the candidate region.
  • Image processing apparatus includes at least one of an average value, a variation, and a difference value of pixel values inside or around the candidate region.
  • An image input process for inputting an image obtained by photographing a stained specimen A cell region extraction step of extracting the stained region from the image as a cell region; A candidate region extraction step of extracting a region surrounded by the cell region and not stained as a candidate region; A feature amount extraction step of extracting a feature amount of the candidate region; A determination step of determining whether the candidate region is a cell region based on the feature amount; and An image processing method comprising: a correction step of correcting the candidate region determined to be a cell region in the determination step as a cell region.
  • Computer Image input means for inputting an image obtained by photographing a stained specimen;
  • a cell region extraction means for extracting a region subjected to the staining from the image as a cell region;
  • Candidate area extraction means for extracting the area surrounded by the cell area and not stained as a candidate area,
  • Feature amount extraction means for extracting the feature amount of the candidate region;
  • Determination means for determining whether the candidate region is a cell region based on the feature amount;
  • Correction means for correcting the candidate area determined to be a cell area by the determination means as a cell area;
  • Image processing program to function as
  • the image processing apparatus in the image processing for extracting the stained cells from the image obtained by photographing the tissue specimen, a small background and medium surrounded by a plurality of cell nuclei. Nucleus can be accurately determined.
  • FIG. 1 It is a figure which shows the extraction result of the cell nucleus by the pathology image which image
  • FIG. 3 shows an example of the overall configuration of the pathological diagnosis support system 100.
  • the pathological diagnosis support system 100 acquires a microscopic image of a tissue section of a human body stained with a predetermined staining reagent, and analyzes the acquired microscopic image, thereby expressing the expression of a specific biological material in the tissue section to be observed. This is a system that outputs feature quantities quantitatively.
  • the pathological diagnosis support system 100 is configured by connecting a microscope image acquisition apparatus 1A and an image processing apparatus 2A so that data can be transmitted and received via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition apparatus 1A and the image processing apparatus 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected via a LAN (Local Area Network) or may be connected wirelessly.
  • the microscope image acquisition apparatus 1A is a known camera-equipped microscope, which acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means is composed of a light source, a filter, and the like, and irradiates the tissue section on the slide placed on the slide fixing stage with light.
  • the imaging means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the imaging means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, captures an image formed on the imaging surface by the imaging means, and generates digital image data of the microscope image.
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined. Further, a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation may be provided.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
  • the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
  • the image processing apparatus 2A calculates the expression distribution of a specific biological material in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition apparatus 1A.
  • FIG. 4 shows a functional configuration example of the image processing apparatus 2A.
  • the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation. For example, the control unit 21 performs image analysis processing in cooperation with the image processing program stored in the storage unit 25, and performs cell region extraction means, candidate region extraction means, feature amount extraction means, determination means, threshold setting. Functions as the means and the correction means are realized.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and includes a key pressing signal pressed by the keyboard and an operation signal by the mouse. Is output to the control unit 21 as an input signal.
  • the display unit 23 includes a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), for example, and displays various screens in accordance with display signal instructions input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), for example, and displays various screens in accordance with display signal instructions input from the control unit 21.
  • CTR Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 realizes a function as a cell image input unit.
  • the storage unit 25 is configured by, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs, various data, and the like.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like and be connected to an external device via a communication network such as a LAN.
  • the image processing apparatus 2A performs analysis using a cell image representing the morphology of stained cells.
  • Cell image means any staining that can stain a specific structure of a cell (eg, cell nucleus, cell membrane, etc.), such as a hematoxylin staining reagent (H staining reagent), a hematoxylin-eosin staining reagent (HE staining reagent), etc.
  • a microscopic image obtained by enlarging and photographing a tissue section stained with a reagent in a bright field in the microscope image acquisition apparatus 1A, and is a cell morphology image representing the morphology of cells in the tissue section.
  • Hematoxylin (H) is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, etc. (basophilic tissue, etc.).
  • Eodine (E) is a red to pink pigment that stains cytoplasm, soft tissue connective tissue, erythrocytes, fibrin, endocrine granules, etc. (eosinophilic tissue, etc.).
  • cell images include fluorescent images obtained by staining tissue sections with a fluorescent staining reagent that can specifically stain specific structures of cells and photographing the fluorescence emitted by the fluorescent staining reagent used. It may be used. Examples of the fluorescent staining reagent that can be used for obtaining a cell image include DAPI staining that can stain cell nuclei, Papalonico staining that can stain cytoplasm, and the like.
  • an operator stains a tissue section by a known method using an H staining reagent.
  • cell images are acquired by the following procedures (a1) to (a3).
  • A1 The operator places the tissue section in which the cell nucleus is stained with the H staining reagent on the slide, and places the slide on the slide fixing stage of the microscope image acquisition apparatus 1A.
  • A2) The unit is set as a bright field unit, the imaging magnification and the focus are adjusted, and the region to be observed on the tissue section is placed in the field of view.
  • A3 Photographing is performed by the imaging means to generate cell image image data, and the image data is transmitted to the image processing apparatus 2A. Image processing of the cell image transmitted to the image processing apparatus 2A will be described in detail below.
  • FIG. 5 shows a flowchart of image processing in the image processing apparatus 2A.
  • the image processing shown in FIG. 5 is executed in cooperation with the control unit 21 and the image processing program stored in the storage unit 25, and the control unit 21 executes the following processing according to the image processing program.
  • the control unit 21 executes arbitrary preprocessing on the cell image (step S11).
  • the preprocessing includes, for example, a Gaussian filter that removes noise components in the image, a process using closing, and the like.
  • the control unit 21 generates a binary image (stained image) in which a region (stained region) stained blue by H staining is extracted from the pre-processed cell image (step S31: stained region extraction step).
  • FIG. 6B and FIG. 7B are examples of stained images generated from the cell images of FIG. 6A and FIG. 7A, respectively, and the stained region is represented in white and the unstained region is represented in black.
  • the staining region extraction step (step S31) for example, the cell image is color-separated to extract a blue component, converted into a monochrome image, and then subjected to threshold processing using a predetermined threshold to A stained image in which the values are binarized is generated.
  • an arbitrary noise process may be performed on the obtained binary image.
  • a closing process is a process in which the contraction process is performed the same number of times after the expansion process is performed.
  • the expansion process is a process of replacing a target pixel with white when at least one pixel in the range of n ⁇ n pixels (n is an integer of 2 or more) from the target pixel is white.
  • the contraction process is a process of replacing a target pixel with black when at least one pixel in the range of n ⁇ n pixels from the target pixel contains black.
  • the control unit 21 searches for a hole region in the stained image generated in the staining region extraction step (step S31) (step S41: hole region search step).
  • the “hole region” is a non-stained region surrounded by a stained region, and indicates a candidate region that is a candidate for a cell nucleus, not a background. Of the non-stained regions surrounded by the stained region, those having a size (area, major axis, etc.) greater than or equal to a predetermined value are excluded from the hole region as a non-stained region that is clearly not a hollow cell nucleus. It is good as well.
  • Each extracted hole region is subjected to a labeling process.
  • FIGS. 6B and 7B examples of hole regions 31 and 32 surrounded by a stained region represented by white are shown, respectively.
  • control unit 21 extracts the feature amount of the hole region (step S51: feature amount extraction step), and based on the feature amount, the background of the hole region is a hollow core or surrounded by a plurality of cell nuclei. It is determined whether or not there is (step S61: determination step).
  • Table 1 shows an outline of the main feature amounts (classification and type) used in the present invention and the relationship between the feature amount and the determination result.
  • a feature amount related to the shape of the hole region is calculated.
  • the feature amount preferably includes at least one of the circularity, area, convex hull ratio, and convex number of the hole region.
  • the method for calculating the feature amount is arbitrary, but specifically, for example, it can be calculated as follows.
  • the circularity can be calculated by the formula: “4 ⁇ S / L 2 ” where S is the area of the hole region and L is the perimeter.
  • the convex hull ratio is a ratio of the area of the hole region to the area of the convex hull polygon that includes the hole region.
  • the circularity and the convex hull ratio each take a value between 0 and 1, and the closer to 1, the closer to a circle.
  • the coordinates of each pixel on the outline of the hole area when the center of gravity of the hole area is used as the origin are converted to polar coordinates, and the distance from each point on the outline of the hole area to the origin is obtained. To do.
  • the number of times that the distance is increased or decreased is calculated as the convex number. Note that smoothing processing may be performed on the stained image by any known method before the polar coordinate conversion.
  • control unit 21 compares the feature amount extracted in step S51 with a preset threshold value to determine whether the hole region is a hollow core or a background surrounded by a plurality of cell nuclei, for example. A determination is made based on the following criteria (step S61: determination step).
  • the hole region shows a hollow core
  • the area is smaller than the cell nucleus.
  • the hole region is a background surrounded by a plurality of cell nuclei
  • the area may be larger than the cell nuclei. Therefore, when the area of the hole region is larger than a predetermined threshold (for example, the area of a standard cell nucleus), the hole region is determined to be the background.
  • a predetermined threshold for example, the area of a standard cell nucleus
  • the shape is often relatively circular as shown in the hole region 31 of FIG. 6B.
  • the hole region is a background surrounded by a plurality of cell nuclei, as shown in the hole region 32 of FIG. 7B, there is a high possibility that the shape is irregular.
  • the circularity is greater than a predetermined threshold
  • the convex hull ratio is greater than a predetermined threshold, and / or if the number of convexities is less than a predetermined number, Determined.
  • the image processing method of the present invention preferably further includes a threshold setting step for setting the threshold used in the determination step (step S61) according to the sample.
  • the threshold setting process can be performed at an arbitrary timing before the determination process (step S61).
  • Such information is input in advance via the operation unit 22 or the communication I / F 24, for example.
  • the probability that the hole region is a hollow core (or the probability that it is a background surrounded by a plurality of cell nuclei) differs as follows.
  • the size of cells and the ease of hollowing out vary depending on the cancer type.
  • the ease of occurrence of voids differs depending on the degree of progression of cancer. In general, it is known that as the cancer progresses, voids are more likely to occur.
  • the threshold value of the feature value used in the determination step is set to a value such that the hole region is easily determined as a void portion in the void core. Specifically, for example, when the area is used as the feature amount, the threshold value is set to a large value.
  • the control unit 21 corrects the stained image based on the determination result to generate a corrected image (step S71: correction process). Specifically, in the correction process, an image showing a cell nucleus region composed of a hole region that is filled and a stained region is obtained by performing binarization processing that fills a hollow portion (non-stained region) of the hollow nucleus. It is done. More specifically, in the correction step (step S71), the hole region 31 determined to be hollow in the stained image shown in FIG. 6B is changed to white, and the corrected image shown in FIG. 6C is obtained.
  • control unit 21 performs a forming process for extracting individual cell nuclei from the corrected image (step S81).
  • the cell nucleus region is divided and integrated in the corrected image using any known method, and the shape of each cell nucleus is extracted.
  • the control unit 21 performs post-processing to analyze the feature amount of the cell nucleus and generate diagnostic information (step S91), and outputs the analysis result (step S101).
  • FIG. 5 shows a flowchart of image processing in the image processing apparatus 2A.
  • the image processing shown in FIG. 5 is executed in cooperation with the control unit 21 and the image processing program stored in the storage unit 25, and the control unit 21 executes the following processing according to the image processing program.
  • the processes of steps S12 to S42 and S72 to S102 of the second embodiment are performed in the same manner as the processes of steps S11 to S41 and S71 to S101 of the first embodiment.
  • the description will focus on the configuration different from the first embodiment described above, and the description of the common configuration will be omitted.
  • a feature amount based on pixel values of pixels inside and / or around the hole region on the cell image is calculated.
  • the “peripheral” pixels of the hole region are pixels outside the hole region and within a predetermined distance from the contour of the hole region. The predetermined distance is appropriately set according to the cell type, the size of the hole region, and the like.
  • the saturation (S) value calculated from the RGB value of each pixel in the cell image is preferable to use as the feature amount representing the density of H staining.
  • S saturation
  • a higher S pixel value is calculated for a cell nucleus that is deeply stained by H staining.
  • Other examples of the pixel value include the value of a color component appropriately selected according to the type of staining, the brightness of each pixel in a monochrome image obtained by performing gray scale conversion on a cell image, and the like.
  • the feature amount calculated based on the pixel value is, for example, a pixel value inside the hole area (for example, an average value), a variation in pixel values around the hole area (for example, a variation coefficient), and the inside and the periphery of the hole area.
  • a pixel value inside the hole area for example, an average value
  • a variation in pixel values around the hole area for example, a variation coefficient
  • the difference of the average value of these pixel values, etc. are mentioned.
  • the feature amount extracted in step S52 is compared with a preset threshold value, and the background of the hole region is a hollow core or surrounded by a plurality of cell nuclei. For example, based on the following criteria.
  • the hole region shows a hollow cavity
  • the stained region surrounding each hole region is a single cell nucleus
  • the hole region is a background surrounded by a plurality of cells
  • the staining density is different for each of the plurality of cells surrounding the hole region. Therefore, when the variation in pixel values around the hole area is larger than the predetermined threshold, it is determined that the hole area is a background surrounded by a plurality of cell nuclei.
  • step S53 a feature amount based on the edge of the hole region is calculated.
  • step S63 the feature amount extracted in step S53 is compared with a preset threshold value, and the hole region is a background surrounded by a hollow portion of a hollow nucleus or a plurality of cells. Is determined based on the following criteria, for example.
  • steps S53 to S63 of the third embodiment will be specifically described.
  • Feature Amount Related to Edge Strength is a color change amount at an edge portion of a region corresponding to a hole region on a cell image, and is a value calculated by a known method. is there.
  • the feature value of the edge strength for example, an average value of the edge strength of each hole region is calculated. The clearer the outline, the higher the edge strength.
  • the edge strength is often weak because the inside and outside of the hole region are not separated by a nuclear membrane or the like.
  • the peripheral strength of the cell nucleus forms the edge of the hole region. High nature. Therefore, when the edge strength is larger than the predetermined threshold value, it is determined in the determination step (step S63) that the hole region indicates a void in the nucleus.
  • FIG. 10A and FIG. 10B are schematic diagrams of stained images showing a background surrounded by a hollow nucleus and a plurality of cell nuclei.
  • the feature amount related to the edge normal direction for example, an arbitrary starting point P (see FIGS. 10A and 10B) is set on the edge, and a plurality of points on the edge (for example, P 1 to P in FIG. 10A and FIG. 10B).
  • a correlation coefficient of “distance from start point (length along edge)” and “amount of change in edge direction with reference to edge direction of start point” is calculated.
  • the edge normal direction (direction indicated by the arrow) changes smoothly along the edge, and therefore the correlation between the distance from the start point P and the edge normal direction is high.
  • the edge normal direction (direction indicated by the arrow) changes abruptly at the corner of the edge, so the distance from the start point P and the edge method
  • the correlation in the line direction is low (eg, between P 2 and P 3 in FIG. 10B).
  • the hole region shows a hollow core, its shape is often relatively circular as shown in FIG. 6B.
  • the hole region is a background surrounded by a plurality of cell nuclei, as shown in FIG. 7B, there is a high possibility that the shape is irregular. Therefore, when the correlation coefficient in the edge normal direction is higher than a predetermined threshold value, it is determined that the hole region indicates a void in the nucleus.
  • Feature Quantity Related to Curvature indicates the degree of local bending of the edge.
  • a curvature circle that approximates a part of the edge of each edge of the hole area divided into a predetermined number is created, and the variation in the position of the center coordinate of the curvature circle is calculated. The closer the hole area is to a circle, the smaller the variation in the center coordinate position of the curvature circle. If the hole region shows a hollow core, its shape is often relatively circular as shown in FIG. 6B. On the other hand, when the hole region is a background surrounded by a plurality of cell nuclei, as shown in FIG. 7B, there is a high possibility that the shape is irregular. Therefore, when the variation in curvature is smaller than a predetermined threshold value, it is determined that the hole region indicates a void in the nucleus.
  • Image a binary image obtained by extracting a region (stained region) subjected to H staining from a pre-processed cell image based on the result of machine learning.
  • any known method such as Deep Learning or SVM (Support Vector Machine) can be used.
  • a feature amount based on machine learning is calculated.
  • machine learning any known method such as Deep Learning or SVM (Support Vector Machine) can be used.
  • a nucleus score indicating the likelihood of cell nuclei a background score indicating the likelihood of background, an edge score indicating the likelihood of edge, and the like can be used.
  • 12B to 12D are examples of images showing the nuclear score, the background score, and the edge score calculated from the cell image of FIG. 12A, and each pixel with a high score is represented in white.
  • the feature amount extracted in the feature amount extraction step (step S54) is compared with a preset threshold value to determine whether or not the hole region is a hollow core. Determine whether the background is surrounded by cell nuclei.
  • FIG. 13A is an example of a cell image obtained by photographing a hollow nucleus
  • FIGS. 13B and 13C are examples of a nucleus score image, a stained image, and a background score image created from the cell image of FIG. 13A.
  • threshold processing is performed on the nucleus score image of FIG. 13B, and the portion where the nucleus score is higher than a predetermined threshold and is likely to be a stained region (in FIG. 13B, the color is white). A close region) is extracted as a cell nucleus region, and a stained image is created.
  • step S44 The subsequent hole area searching step (step S44) is performed in the same manner as step S41 of the first embodiment.
  • a background score is extracted in a feature amount extraction step (step S54), and a background score image is created.
  • 13B and 13C show the hole region 33 extracted in step S44.
  • step S64 determination step.
  • the determination step (step S64) specifically, the background score of the portion corresponding to the hole region of the background score image is compared with a predetermined threshold value, and if the background score is smaller than the threshold value, the core is omitted. It is determined that
  • the hole region 33 is considered as a background surrounded by a plurality of cell nuclei.
  • the determination accuracy can be further increased by using a score (for example, an edge score) other than the score relating to the cell nucleus likelihood and the background likelihood as the determination target.
  • a score for example, an edge score
  • the feature amount extraction step step S54
  • the relationship between the background score and the threshold value and the edge score and the threshold value relationship may be weighted by a predetermined arbitrary method to make a final determination.
  • the description content in the said embodiment is a suitable example of this invention, and is not limited to this.
  • the hole region is determined to be either a nucleus void or a background surrounded by a plurality of cell nuclei, but also a nucleus void, a background surrounded by a plurality of cell nuclei, or It may be determined that any of the three of automatic determination is impossible.
  • the hole region determined to be impossible to automatically determine for example, based on the cell image displayed on the display unit 23, the operator classifies the hole region as either a hollow core or a background surrounded by a plurality of cell nuclei.
  • the determination result is input via the operation unit 22.
  • the feature amount extracted in the feature amount extraction step and the determination method described in the first to fourth embodiments may be used in combination. Specifically, for example, the determination based on the area of the hole region according to the first embodiment and the determination based on the score based on the machine learning according to the fourth embodiment are performed independently, and the determination results are weighted. A final determination may be made. In addition, regarding a hole region that cannot be automatically determined according to one embodiment, the determination may be performed using the method of another embodiment.
  • the cell nucleus is extracted based on the staining from the image obtained by imaging the tissue section subjected to H staining.
  • the staining method is not limited to this, and in addition to the cell nucleus, Arbitrary structures such as cell membranes can be stained and extracted. Further, an image obtained by photographing an arbitrary tissue specimen such as a cultured cell or a specimen collected by needle biopsy may be used as a cell image.
  • an HDD or a semiconductor nonvolatile memory is used as a computer-readable medium for the program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave carrier wave
  • the detailed configuration and detailed operation of each device constituting the pathological diagnosis support system 100 can be changed as appropriate without departing from the spirit of the invention.
  • the present invention provides an image in which a background surrounded by a plurality of cell nuclei and a hollow nucleus can be determined with high accuracy in image processing for extracting cells subjected to staining processing from an image obtained by photographing a tissue specimen. It is suitable for providing a processing device, an image processing method, and an image processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Food Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Image Analysis (AREA)

Abstract

組織標本を撮影した画像から染色処理を施された細胞を抽出する画像処理において、複数の細胞核に囲まれた背景と中抜け核を判定可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。本発明の画像処理装置は、染色された標本を撮影して得られた画像を入力する入力手段と、前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段と、前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段と、前記候補領域の特徴量を抽出する特徴量抽出手段と、前記候補領域から抽出された特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段と、前記判定手段により前記候補領域が細胞領域であると判定された候補領域を細胞領域と補正する補正手段と、を備えることを特徴とする。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に病理診断に用いられる画像処理に関する。
　従来、病理診断や生命科学分野の研究において、組織標本を撮影した画像から細胞の形状や数を抽出する画像処理が広く行われている。具体的には、例えば、染色された細胞核を画像から抽出した後、抽出された細胞核構造の特徴量（大きさ、形、等）の算出、当該構造における特定の生体物質（癌タンパク、遺伝子等）の発現量や分布の解析、等が行われる。
　このような画像処理を観察者が目視で行う場合、膨大な手間が必要であり、また、観察者毎に画像処理の結果が大きくばらつく可能性がある。そのため、近年では、組織標本を撮影した画像の画像処理を自動的に行う技術が数多く提案されている。
　ところが、実際の組織標本を撮影した画像において、全ての細胞が均一に染色されていることは殆どなく、細胞間での染色濃度のばらつき、１つの細胞における染色ムラ（斑状の染色、染色濃度の勾配、等）、中抜け核（輪郭付近のみが染色された細胞核）、等が多く観察される（図１参照）。また、細胞密度が高い場合には、画像上で複数の細胞が重なっているため、個々の細胞を同定することがさらに難しい。従来の自動的な画像処理においては、このような染色ムラや重なりに基づく誤差が多く発生し得る（図１参照）ため、誤差を補正するための様々な技術が提案されている。
　例えば、特許文献１には、画像上で複数の細胞が重畳している場合にも、個々の細胞を抽出可能な技術が記載されている（段落００１８参照）。具体的には、細胞の染色濃度の勾配に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている（特許文献１の段落００２７～００２８、図１０、段落００８４～００８８、図１３～図１６等参照）。
　特許文献１に記載の画像処理によれば、細胞密度が高い場合であっても個々の細胞を同定することが可能である。しかし、染色ムラや中抜けの補正については記載されていない。
　特許文献２には、画像上で細胞間に染色濃度のばらつきがある場合にも、個々の細胞を抽出可能な技術が記載されている。具体的には、閾値を段階的に変化させて二値画像を作成し、二値画像中の連結画素領域ごとに特徴量を算出し、特徴量が所定の条件を満たす領域のみをマージして結果画像を生成する。これにより、用いるべき閾値が細胞ごとに異なる場合であっても、目的のオブジェクト（細胞等）を高精度で検出可能である（特許文献２の請求項１、段落０００９等参照）。
　特許文献２に記載の技術によれば、細胞間での染色濃度のばらつきを補正することが可能である（図１参照）。しかし、１つの細胞内での染色ムラや中抜けの補正については記載されていない。
　特許文献３には、細胞内部の微細構造やノイズに基づく色ムラがある場合にも、細胞の輪郭を抽出可能な技術が記載されている。具体的には、細胞を撮影した画像から、低周波数成分を抽出した画像と高周波数成分を抽出した画像を作成し、が互いに異なる複数の周波数画像を用いてフィルタ処理を行った画像を作成し、作成された画像に閾値処理を行うことにより、細胞の輪郭線を形成することができる（特許文献３の請求項１、段落０００６等参照）。特許文献３には、閾値処理後の画像に対して、穴埋め等の処理を行って細胞領域の形を整えることも記載されている（段落００５９等参照）。
特開２０００－３２１０３１号公報 特開２０１３－１０５２４５号公報 特開２０１３－１３７６２７号公報
　特許文献１～３によれば、組織標本を撮影した画像における細胞の重なり、染色ムラ及び中抜けに由来する誤差をある程度減らすことが可能である。しかし、例えば図２に示されるように、中抜け核１及び複数の細胞核に囲まれた背景２（画像において、細胞が存在しない領域）が１つの細胞画像に混在している場合に、これらを区別することはできない。その結果、複数の細胞核に囲まれた背景２が細胞核の中抜けと見做されて穴埋め処理を施されたり、逆に、中抜け核１が複数の細胞核に囲まれた背景と見做されて、１つの中抜け核１が分割処理を施されたりする場合があり、その結果、解析結果に誤差が生じるという問題点があった。
　本発明の主な目的は、組織標本を撮影した画像から染色処理が施された細胞を抽出する画像処理において、複数の細胞核に囲まれた背景と中抜け核を判定可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
　本発明に係る上記課題は、以下の手段により解決される。
１．　染色された標本を撮影して得られた画像を入力する入力手段と、
　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段と、
　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段と、
　前記候補領域の特徴量を抽出する特徴量抽出手段と、
　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段と、
　前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段と、
　を備えることを特徴とする画像処理装置。
２．　前記補正手段は、前記候補領域を細胞領域として二値化処理することを特徴とする、第１項に記載の画像処理装置。
３．　前記標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つに基づいて、前記特徴量の閾値を設定する閾値設定手段を有し、
　前記判定手段は、前記特徴量及び前記閾値に基づいて、前記候補領域が細胞領域であるか否かを判定する
　ことを特徴とする第１項又は第２項に記載の画像処理装置。
４．　前記特徴量は機械学習手法による判別結果を含む
　ことを特徴とする第１項～第３項の何れか一項に記載の画像処理装置。
５．　前記特徴量は前記候補領域の面積、円形度、面積凸包比、凹凸数及び曲率の少なくとも何れか一つを含む
　ことを特徴とする第１項～第４項の何れか一項に記載の画像処理装置。
６．　前記特徴量は前記候補領域の内部又は周辺部の画素値の平均値、ばらつき及び差分値の少なくとも何れか一つを含む
　ことを特徴とする第１項～第５項の何れか一項に記載の画像処理装置。
７．　前記特徴量は前記候補領域のエッジ強度、エッジ方向及びエッジ方向のばらつきの少なくとも何れか一つを含む
　ことを特徴とする第１項～第６項の何れか一項に記載の画像処理装置。
８．　染色された標本を撮影して得られた画像を入力する画像入力工程と、
　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出工程と、
　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出工程と、
　前記候補領域の特徴量を抽出する特徴量抽出工程と、
　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定工程と、
　前記判定工程において細胞領域であると判定された前記候補領域を細胞領域と補正する補正工程
　を備えることを特徴とする画像処理方法。
９．　コンピュータを、
　染色された標本を撮影して得られた画像を入力する画像入力手段、
　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段、
　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段、
　前記候補領域の特徴量を抽出する特徴量抽出手段、
　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段、
　前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段、
　として機能させるための画像処理プログラム。
　本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、組織標本を撮影した画像から染色処理を施された細胞を抽出する画像処理において、複数の細胞核に囲まれた小さい背景と中抜け核を精度よく判定することができる。
染色状態が異なる細胞を撮影した病理画像及び従来の画像処理による細胞核の抽出結果を示す図である。 細胞画像の一例を示す図である。 本発明の診断支援情報生成システムのシステム構成を示す図である。 本発明の画像処理装置の機能的構成を示すブロック図である。 第１実施形態の画像解析処理を示すフローチャートである。 細胞画像の一例である。 染色画像の一例である。 補正画像の一例である。 細胞画像の一例である。 染色画像の一例である。 第２実施形態の画像解析処理を示すフローチャートである。 第３実施形態の画像解析処理を示すフローチャートである。 中抜け核を示す染色画像の模式図である。 複数の細胞核に囲まれた背景を示す染色画像の模式図である。 第４実施形態の画像解析処理を示すフローチャートである。 細胞画像の一例である。 核スコア画像の一例である。 背景スコア画像の一例である。 エッジスコア画像の一例である。 細胞画像の一例である。 核スコア画像の一例である。 背景スコア画像の一例である。
　以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
＜病理診断支援システム１００の構成＞
　図３に、病理診断支援システム１００の全体構成例を示す。
　病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
　図３に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。
　顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local　Area　Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルタ等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge　Coupled　Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
　顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。また、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられていてもよい。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
　図４に、画像処理装置２Ａの機能構成例を示す。
　図４に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
　たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、細胞領域抽出手段、候補領域抽出手段、特徴量抽出手段、判定手段、閾値設定手段及び補正手段としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、たとえばＣＲＴ（Cathode　Ray　Tube）やＬＣＤ（Liquid　Crystal　Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、細胞画像の入力手段としての機能を実現する。
　記憶部２５は、たとえばＨＤＤ（Hard　Disk　Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。
＜画像について＞
　本実施形態では、画像処理装置２Ａは、染色された細胞の形態を表す細胞画像を用いて解析を行うことが好ましい。
　「細胞画像」とは、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）等、細胞の特定構造（例えば、細胞核、細胞膜、等）を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分等（好塩基性の組織等）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒等（好酸性の組織等）を染色する。
　細胞画像としては、明視野画像の他に、細胞の特定の構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。細胞画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なＤＡＰＩ染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。
＜病理診断支援システム１００の動作（画像処理方法を含む。）＞
　以下、病理診断支援システム１００において、細胞の形態を表す細胞画像を取得して、細胞の染色された構造を抽出する動作について、具体的な実施形態を挙げて説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像から、Ｈ染色を施された細胞核の領域を抽出する場合を例として説明するが、本発明は、これに限定されるものではない。
　まず、操作者はＨ染色試薬を用いて、公知の方法により組織切片を染色する。
　その後、顕微鏡画像取得装置１Ａを用いて、下記（ａ１）～（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、Ｈ染色試薬により細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　画像処理装置２Ａに送信された細胞画像の画像処理について、以下、詳細に説明する。
［第１実施形態］
　図５に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図５に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって以下の処理を実行する。
　まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像（図６Ａ）が入力されると（ステップＳ１１：入力工程）、制御部２１は、細胞画像に対して任意の前処理を施す（ステップＳ２１）。前処理は、例えば、画像内のノイズ成分を除去するガウシアンフィルタやクロージングでの処理、等を含む。
　次いで、制御部２１は、前処理後の細胞画像から、Ｈ染色により青色に染色された領域（染色領域）を抽出した二値画像（染色画像）を生成する（ステップＳ３１：染色領域抽出工程）。図６Ｂ及び図７Ｂは、それぞれ図６Ａ及び図７Ａの細胞画像から生成された染色画像の一例であり、染色領域は白、非染色領域は黒で表されている。
　染色領域抽出工程（ステップＳ３１）では、例えば、細胞画像を色分解して青色の成分を抽出し、モノクロ画像に変換した後、予め定められた閾値を用いて閾値処理を施して、各画素の値を二値化した染色画像を生成する。
　染色領域抽出工程（ステップＳ３１）において、得られた二値画像に任意のノイズ処理を施してもよい。例えば、二値画像にクロージング処理を施すことにより、ノイズ等の小さい領域を除去することができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。
　次いで、制御部２１は、染色領域抽出工程（ステップＳ３１）で生成された染色画像における穴領域を探索する（ステップＳ４１：穴領域探索工程）。
　本実施形態において、「穴領域」は、染色領域に囲まれた非染色領域であり、かつ背景ではなく細胞核の候補である候補領域を指すこととする。なお、染色領域に囲まれた非染色領域の中で、大きさ（面積、長径等）が所定値の以上であるものは、細胞核の中抜けでないことが明らかな非染色領域として穴領域から除くこととしてもよい。抽出された各穴領域には、ラベリング処理が施される。図６Ｂ及び図７Ｂの染色画像には、それぞれ、白で表される染色領域に囲まれた穴領域３１及び３２の例が示されている。
　次いで、制御部２１は、穴領域の特徴量を抽出し（ステップＳ５１：特徴量抽出工程）、特徴量に基づいて、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを判定する（ステップＳ６１：判定工程）。表１に、本発明で用いられる主な特徴量（分類及び種類）及び特徴量と判定結果の関係の概要を示す。
Figure JPOXMLDOC01-appb-T000001
  
　第１実施形態の特徴量抽出工程（ステップＳ５１）では、穴領域の形状に係る特徴量を算出する。特徴量は、穴領域の円形度、面積、凸包比及び凸数の少なくとも一つを含むことが好ましい。特徴量の算出方法は任意であるが、具体的には、例えば以下のように算出することができる。
　円形度は、穴領域の面積をＳ、周囲長をＬとした場合に、式：「４πＳ／Ｌ２」により算出できる。凸包比は、穴領域の面積と、穴領域を包含する凸包多角形の面積の比である。円形度及び凸包比は、それぞれ０～１の間の値をとり、１に近いほど円形に近いことを示す。
　凸数の算出においては、まず、穴領域の重心を原点とした場合の穴領域の輪郭上の各画素の座標を極座標変換して、穴領域の輪郭上の各点から原点までの距離を取得する。次いで、穴領域の輪郭に沿って、当該距離の増減する回数を算出して凸数とする。なお、極座標変換の前に、染色画像に公知の任意の方法でスムージング処理を施してもよい。
　次いで、制御部２１は、ステップＳ５１で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを、例えば以下の基準に基づいて判定する（ステップＳ６１：判定工程）。
　穴領域が核の中抜けを示す場合、その面積は細胞核よりも小さい。一方、穴領域が複数の細胞核に囲まれた背景である場合、その面積は、細胞核よりも大きい可能性がある。従って、穴領域の面積が所定の閾値（例えば、標準的な細胞核の面積）より大きい場合、その穴領域は背景であると判定される。穴領域の面積が所定の閾値より小さい場合には、核の中抜けと判定してもよいし、面積以外の特徴量をさらに用いて判定を行うこととしてもよい。
　また、穴領域が核の中抜けを示す場合、図６Ｂの穴領域３１に示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂの穴領域３２に示されるように、形状がいびつである可能性が高い。従って、円形度が所定の閾値よりも大きい場合、凸包比が所定の閾値よりも大きい場合及び／又は凸数が所定の数よりも少ない場合には、穴領域は核の中抜けを示すと判定される。
　なお、効率よく判定を行うため、本発明の画像処理方法は、判定工程(ステップＳ６１)で用いる閾値を標本に応じて設定する閾値設定工程をさらに備えることが好ましい。閾値設定工程は、判定工程(ステップＳ６１)以前の任意のタイミングで行うことができる。
　閾値設定工程では、観察対象標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つの情報に基づいて閾値を設定することが好ましい。
　これらの情報は、例えば、操作部２２又は通信Ｉ／Ｆ２４を介して予め入力される。
　上記の情報に応じて、穴領域が核の中抜けである確率（又は複数の細胞核に囲まれた背景である確率）は以下のように異なることが知られる。
　例えば、細胞の大きさや、中抜けのしやすさは、がん種によって異なる。また、同じがん種であっても、がんの進行度によって中抜けの発生しやすさが異なる。一般的には、がんが進行しているほど、中抜けが発生しやすいことが知られる。
　また、同じ乳がん組織から作成した標本であっても、針生検により採取された標本では細胞の密度が高く、組織を薄切した切片では細胞の密度が低いことが知られる。そして、細胞の密度が低いほど、細胞画像において細胞が重なっている可能性が低い。従って、複数の細胞核に囲まれた背景が存在する可能性が低く、穴領域は中抜け核の中抜け部分を示す可能性が高い。
　中抜けが発生しやすい標本の場合、閾値設定工程では、判定工程（ステップＳ６１）で用いる特徴量の閾値を、穴領域が中抜け核の中抜け部分と判定されやすいような値に設定する。具体的には、例えば、面積を特徴量として用いる場合、閾値を大きな値に設定する。
　次いで、制御部２１は、判定結果に基づいて染色画像の補正を行って補正画像を生成する（ステップＳ７１：補正工程）。具体的には、補正工程では、中抜け核の中抜け部分（非染色領域）を穴埋めする二値化処理を行うことにより、穴埋めされた穴領域及び染色領域からなる細胞核領域を示す画像が得られる。さらに具体的には、補正工程（ステップＳ７１）では、図６Ｂに示される染色画像において中抜けと判定された穴領域３１が白に変更されて、図６Ｃに示される補正画像が得られる。
　次いで、制御部２１は、補正画像から個々の細胞核を抽出する形成処理を行う（ステップＳ８１）。形成処理においては、公知の任意の方法を用いて、補正画像における細胞核領域の分割処理、統合処理等を行い、個々の細胞核の形状を抽出する。
　次いで、制御部２１は、細胞核の特徴量等を解析して診断情報を生成する後処理を行い（ステップＳ９１）、解析結果を出力する（ステップＳ１０１）。
［第２実施形態］
　次に、第２実施形態の画像処理について説明する。
　図５に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図５に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって以下の処理を実行する。
　第２実施形態のステップＳ１２～Ｓ４２及びＳ７２～Ｓ１０２の処理は、第１実施形態のステップＳ１１～Ｓ４１及びＳ７１～Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
　第２実施形態の特徴量抽出工程（ステップＳ５２）では、細胞画像上で穴領域の内部及び／又は周辺の画素の画素値に基づく特徴量を算出する。ここで、穴領域の「周辺」の画素とは、穴領域の外側であって、かつ、穴領域の輪郭から所定の距離以内の画素を示す。所定の距離は、細胞の種類、穴領域の大きさ、等に応じて適宜設定される。
　本実施形態では、Ｈ染色の濃さを表す特徴量として、細胞画像における各画素のＲＧＢ値から算出される彩度(Ｓ)の値を画素値として用いることが好ましい。Ｈ染色により濃く染色された細胞核ほど、高いＳの画素値が算出される。
　画素値の他の例としては、染色の種類に応じて適宜選択される色成分の値、又は細胞画像をグレースケール変換したモノクロ画像における各画素の明るさ、等が挙げられる。
　画素値に基づいて算出される特徴量は、例えば、穴領域の内部の画素値（例えば、平均値）、穴領域の周辺の画素値のばらつき（例えば、変動係数）、穴領域の内部と周辺の画素値の平均値の差分、等が挙げられる。
　第２実施形態の判定工程（ステップＳ６２）では、ステップＳ５２で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを、例えば以下の基準に基づいて判定する。
　Ｈ染色を施された標本を撮影した細胞画像において、核の中抜けを示す穴領域（図６Ａ参照）内の色と、複数の細胞核に囲まれた背景を示す穴領域（図７Ｂ参照）内の色を比較すると、背景を示す穴領域の方が色が薄いことが、従来知られている。従って、穴領域内の画素値の平均値が所定の閾値よりも小さい（白に近い）場合には、穴領域が複数の細胞に囲まれた背景であると判定される。
　また、穴領域が核の中抜けを示す場合、各穴領域を囲む染色領域は一つの細胞核であるため、穴領域の周辺は、比較的均一に染色されている可能性が高い。一方、穴領域が複数の細胞に囲まれた背景である場合、穴領域を囲む複数の細胞ごとに、染色の濃さが異なっている可能性が高い。従って、穴領域の周辺の画素値のばらつきが所定の閾値よりも大きい場合には、穴領域が複数の細胞核に囲まれた背景であると判定される。
［第３実施形態］
　次に、第３実施形態の画像処理について説明する。
　第３実施形態のステップＳ１３～Ｓ４３及びＳ７３～Ｓ１０３の処理は、第１実施形態のステップＳ１１～Ｓ４１及びＳ７１～Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
　第３実施形態の特徴量抽出工程（ステップＳ５３）では、穴領域のエッジに基づく特徴量を算出する。次いで、判定工程（ステップＳ６３）では、ステップＳ５３で抽出された特徴量と予め設定された閾値を比較して、穴領域が中抜け核の中抜け部分か複数の細胞に囲まれた背景であるかを、例えば以下の基準に基づいて判定する。以下、第３実施形態のステップＳ５３～Ｓ６３の処理について、具体的に説明する。
（１）エッジ強度に関する特徴量
　本実施形態における「エッジ強度」とは、細胞画像上で穴領域に該当する領域のエッジ部における色の変化量であって、公知の方法により算出される値である。エッジ強度の特徴量としては、例えば、各穴領域のエッジ強度の平均値を算出する。輪郭がはっきりしているほど、エッジ強度は高い。
　穴領域が核の中抜けを示す場合、穴領域の内外は核膜等で区切られていないことから、エッジ強度は弱い場合が多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、周囲の細胞核の核膜が穴領域のエッジを形成していることから、エッジ強度は中抜け核の中抜け部分よりも強い可能性が高い。従って、エッジ強度が所定の閾値よりも大きい場合、判定工程（ステップＳ６３）において、穴領域は核の中抜けを示すと判定される。
（２）エッジ法線方向に関する特徴量
　本実施形態における「エッジ法線方向」とは、穴領域のエッジ部に対する接線の法線方向で、かつ、穴領域の内側から外側に向かう方向を示す。図１０Ａ及び図１０Ｂは、中抜け核及び複数の細胞核に囲まれた背景を示す染色画像の模式図である。エッジ法線方向に関する特徴量としては、例えば、エッジ上に任意の開始点Ｐ(図１０Ａ及び図１０Ｂ参照)を設定し、エッジ上の複数の点(例えば、図１０Ａ及び図１０ＢのＰ１～Ｐ４)について、“開始点からの距離（エッジに沿った長さ）”及び“開始点のエッジ方向を基準とした場合の、エッジ方向の変化量”の相関係数を算出する。例えば、図１０Ａのように穴領域がほぼ円形の場合、エッジ法線方向（矢印が指す方向）はエッジに沿って滑らかに変化するため、開始点Ｐからの距離とエッジ法線方向の相関が高い。一方、図１０Ｂのように穴領域がいびつな形である場合、エッジ法線方向（矢印が指す方向）は、エッジの角の部分では急激に変化するため、開始点Ｐからの距離とエッジ法線方向の相関が低い（例えば、図１０ＢのＰ２及びＰ３の間）。
　穴領域が核の中抜けを示す場合、図６Ｂに示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂに示されるように、形状がいびつである可能性が高い。従って、エッジ法線方向の相関係数が所定の閾値よりも高い場合、穴領域は核の中抜けを示すと判定される。
（３）曲率に関する特徴量
　本実施形態における「曲率」とは、エッジの局所的な曲がり具合を示すものである。曲率に関する特徴量としては、例えば、所定の数に分割した穴領域のエッジのそれぞれについて、エッジの一部を近似した曲率円を作成し、曲率円の中心座標の位置のばらつきを算出する。穴領域が円形に近いほど、曲率円の中心座標の位置のばらつきは小さい。
　穴領域が核の中抜けを示す場合、図６Ｂに示されるように、その形状は比較的円形に近いことが多い。一方、穴領域が複数の細胞核に囲まれた背景である場合、図７Ｂに示されるように、形状がいびつである可能性が高い。従って、曲率のばらつきが所定の閾値よりも小さい場合、穴領域は核の中抜けを示すと判定される。
［第４実施形態］
　次に、第４実施形態の画像処理について説明する。
　第４実施形態のステップＳ１４～Ｓ２４、Ｓ４４及びＳ７４～Ｓ１０４の処理は、第１実施形態のステップＳ１１～Ｓ２１、Ｓ４１及びＳ７１～Ｓ１０１の処理と同様に行う。以下、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
　第４実施形態の染色領域抽出工程（ステップＳ３４）では、機械学習の結果に基づいて、前処理後の細胞画像から、Ｈ染色を施された領域（染色領域）を抽出した二値画像（染色画像）が生成される。機械学習は、Deep　Learning、SVM（Support　Vector　Machine）等、公知の任意の方法を用いることができる。
　第４実施形態の特徴量抽出工程（ステップＳ５４）では、機械学習に基づく特徴量を算出する。機械学習は、Deep　Learning、SVM（Support　Vector　Machine）等、公知の任意の方法を用いることができる。特徴量は、例えば、細胞核らしさを表す核スコア、背景らしさを表す背景スコア、エッジらしさを表すエッジスコア、等を用いることができる。
　図１２Ｂ～図１２Ｄは、図１２Ａの細胞画像から算出された核スコア、背景スコア及びエッジスコアを示す画像の例であり、それぞれ、高スコアの画素が白で表されている。
　第４の判定方法の判定工程（ステップＳ６４）では、特徴量抽出工程（ステップＳ５４）で抽出された特徴量と予め設定された閾値を比較して、穴領域が核の中抜けであるか複数の細胞核に囲まれた背景であるかを判定する。
　以下、ステップＳ３４～Ｓ６４の画像処理について、図を用いて具体的に説明する。
　図１３Ａは中抜け核を撮影した細胞画像の一例であり、図１３Ｂ及び図１３Ｃは図１３Ａの細胞画像から作成された核スコア画像、染色画像及び背景スコア画像の一例である。第４実施形態のステップＳ３４では、図１３Ｂの核スコア画像において閾値処理が施されて、核スコアが所定の閾値より高く、染色領域である可能性が高い部分(図１３Ｂでは、色が白に近い領域)が細胞核領域として抽出されて、染色画像が作成される。
　続く穴領域探索工程（ステップＳ４４）は、第１実施形態のステップＳ４１と同様に行う。
　次いで、特徴量抽出工程（ステップＳ５４）において背景スコアが抽出され、背景スコア画像が作成される。図１３Ｂ及び図１３Ｃには、ステップＳ４４において抽出される穴領域３３が示されている。図１３Ｃによれば、穴領域３３に該当する部分の背景スコアが低いことから、穴領域３３は核の中抜けであると判定される（ステップＳ６４：判定工程）。判定工程（ステップＳ６４）では、具体的には、背景スコア画像の穴領域に該当する部分の背景スコアと所定の閾値が比較されて、背景スコアが閾値よりも小さい場合には、核の中抜けであると判定される。
　なお、例えば、穴領域内の核スコアが上記と同様に小さい一方で、背景スコアは閾値よりも大きい場合には、穴領域３３は複数の細胞核に囲まれた背景と考えられる。
　なお、判定対象である細胞核らしさ及び背景らしさに関するスコア以外のスコア（例えば、エッジスコア）を用いることによっても、判定精度をさらに高めることができる。
　また、特徴量抽出工程（ステップＳ５４）において、複数種類のスコア（例えば、背景スコアとエッジスコア）を特徴量として用いる場合には、背景スコアと閾値の大小関係及びエッジスコアと閾値の大小関係の結果に対して、所定の任意の方法により重みづけを行い、最終的な判定を行うこととしてもよい。
　以上説明した本発明の実施形態によれば、核の中抜けに相当する穴領域のみを埋めることが可能であり、誤って背景の穴埋めを行うことがないため、細胞核の抽出精度を高めることができる。本発明の画像処理を用いて病理診断を行うことにより、診断精度を高め、より詳細な治療計画を立てることができる。
　なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　例えば、判定工程では、穴領域を、核の中抜け又は複数の細胞核に囲まれた背景の何れかであると判定するだけでなく、核の中抜け、複数の細胞核に囲まれた背景、又は自動判定不可、の３つのいずれかであると判定しても良い。自動判定不可と判定された穴領域については、例えば、表示部２３に表示された細胞画像等に基づいて、操作者が核の中抜け又は複数の細胞核に囲まれた背景のいずれかに分類し、操作部２２を介して判定結果を入力する。
　また、上記の第１～第４実施形態で説明した特徴量抽出工程において抽出される特徴量及び判定方法は、組み合わせて用いてもよい。
　具体的には、例えば、第１実施形態に係る穴領域の面積による判定及び第４実施形態に係る機械学習に基づくスコアによる判定をそれぞれ独立に行い、それぞれの判定結果に対して重みづけを行い、最終的な判定を行うこととしてもよい。また、一つの実施形態により自動判定不可であった穴領域に関しては、別の実施形態の方法を用いて判定を行うこととしてもよい。
　また、上記実施形態では、Ｈ染色を施された組織切片を撮影した画像から、染色に基づいて細胞核を抽出することとしたが、染色方法はこれに限定されず、また、細胞核の他に、細胞膜等の任意の構造を染色して抽出することができる。また、培養細胞、針生検により採取した標本、等、任意の組織標本を撮影した画像を細胞画像として用いてよい。
　また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
　その他、病理診断支援システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　以上のように、本発明は、組織標本を撮影した画像から染色処理が施された細胞を抽出する画像処理において、複数の細胞核に囲まれた背景と中抜け核を高い精度で判定可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することに適している。
　１　　　中抜け核
　２　　　複数の細胞核に囲まれた背景
　３１、３２、３３　　穴領域
　１Ａ　　顕微鏡画像取得装置
　２Ａ　　画像処理装置
　２１　　制御部
　２２　　操作部
　２３　　表示部
　２４　　通信Ｉ／Ｆ
　２５　　記憶部
　２６　　バス
　３Ａ　　ケーブル
　１００　診断支援情報生成システム

Claims (9)

  1. 　染色された標本を撮影して得られた画像を入力する入力手段と、
    　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段と、
    　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段と、
    　前記候補領域の特徴量を抽出する特徴量抽出手段と、
    　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段と、
    　前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記補正手段は、前記候補領域を細胞領域として二値化処理することを特徴とする、請求項１に記載の画像処理装置。
  3. 　前記標本のがん種、がんの進行度、組織の採取方法及び染色方法の少なくともいずれか一つに基づいて、前記特徴量の閾値を設定する閾値設定手段を有し、
    　前記判定手段は、前記特徴量及び前記閾値に基づいて、前記候補領域が細胞領域であるか否かを判定する
    　ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記特徴量は機械学習手法による判別結果を含む
    　ことを特徴とする請求項１～３の何れか一項に記載の画像処理装置。
  5. 　前記特徴量は前記候補領域の面積、円形度、面積凸包比、凹凸数及び曲率の少なくとも何れか一つを含む
    　ことを特徴とする請求項１～４の何れか一項に記載の画像処理装置。
  6. 　前記特徴量は前記候補領域の内部又は周辺部の画素値の平均値、ばらつき及び差分値の少なくとも何れか一つを含む
    　ことを特徴とする請求項１～５の何れか一項に記載の画像処理装置。
  7. 　前記特徴量は前記候補領域のエッジ強度、エッジ方向及びエッジ方向のばらつきの少なくとも何れか一つを含む
    　ことを特徴とする請求項１～６の何れか一項に記載の画像処理装置。
  8. 　染色された標本を撮影して得られた画像を入力する画像入力工程と、
    　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出工程と、
    　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出工程と、
    　前記候補領域の特徴量を抽出する特徴量抽出工程と、
    　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定工程と、
    　前記判定工程において細胞領域であると判定された前記候補領域を細胞領域と補正する補正工程
    　を備えることを特徴とする画像処理方法。
  9. 　コンピュータを、
    　染色された標本を撮影して得られた画像を入力する画像入力手段、
    　前記画像から前記染色が施された領域を細胞領域として抽出する細胞領域抽出手段、
    　前記細胞領域に囲まれ、かつ、前記染色が施されていない領域を候補領域として抽出する候補領域抽出手段、
    　前記候補領域の特徴量を抽出する特徴量抽出手段、
    　前記特徴量に基づいて、前記候補領域が細胞領域であるか否かを判定する判定手段、
    　前記判定手段により細胞領域であると判定された前記候補領域を細胞領域と補正する補正手段、
    　として機能させるための画像処理プログラム。
PCT/JP2017/018453 2016-06-23 2017-05-17 画像処理装置、画像処理方法及び画像処理プログラム Ceased WO2017221592A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018523599A JP6791245B2 (ja) 2016-06-23 2017-05-17 画像処理装置、画像処理方法及び画像処理プログラム
EP17815062.9A EP3477586A1 (en) 2016-06-23 2017-05-17 Image processing device, image processing method, and image processing program
US16/311,781 US10890576B2 (en) 2016-06-23 2017-05-17 Image processing device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016124037 2016-06-23
JP2016-124037 2016-06-23

Publications (1)

Publication Number Publication Date
WO2017221592A1 true WO2017221592A1 (ja) 2017-12-28

Family

ID=60784668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018453 Ceased WO2017221592A1 (ja) 2016-06-23 2017-05-17 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10890576B2 (ja)
EP (1) EP3477586A1 (ja)
JP (1) JP6791245B2 (ja)
WO (1) WO2017221592A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225507A1 (ja) * 2018-05-24 2019-11-28 株式会社ニコン 生物組織画像処理装置及び方法
JP2019203803A (ja) * 2018-05-24 2019-11-28 日本電子株式会社 生物組織画像処理システム及び機械学習方法
WO2020166469A1 (ja) * 2019-02-15 2020-08-20 コニカミノルタ株式会社 情報提供方法、情報提供装置及びプログラム
WO2020209217A1 (ja) * 2019-04-12 2020-10-15 コニカミノルタ株式会社 画像処理システム、画像処理方法及びプログラム
KR20220082695A (ko) * 2020-12-10 2022-06-17 기가비스주식회사 초점 변화 기반 3차원 측정기에서 최적의 스캔 범위 자동 설정 방법
JP2022530280A (ja) * 2019-05-28 2022-06-28 ペイジ．エーアイ インコーポレイテッド デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
JP2023137418A (ja) * 2022-03-18 2023-09-29 株式会社神戸製鋼所 粒径測定装置、該方法および該プログラム
JPWO2024023911A1 (ja) * 2022-07-26 2024-02-01

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3889588A4 (en) * 2018-11-29 2022-01-26 FUJIFILM Corporation INSPECTION ASSIST DEVICE, INSPECTION ASSIST METHOD AND INSPECTION ASSIST PROGRAM FOR CONCRETE STRUCTURE
GB2594329B (en) * 2020-04-24 2025-05-28 Sony Interactive Entertainment Europe Ltd Computer-implemented method for completing an image
JP7601325B2 (ja) * 2020-08-25 2024-12-17 株式会社Ｓｃｒｅｅｎホールディングス 標本解析方法および画像処理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07198714A (ja) * 1993-12-28 1995-08-01 Asahi Breweries Ltd 細胞活性度判定方法及び装置
JP2000321031A (ja) 1999-05-11 2000-11-24 Nec Corp 細胞形状抽出装置及び細胞形状抽出方法
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2006349533A (ja) * 2005-06-16 2006-12-28 Olympus Corp 画像処理装置および画像処理プログラム
JP2011043350A (ja) * 2009-08-19 2011-03-03 Olympus Corp 細胞画像解析装置、細胞画像解析方法、及びコンピュータープログラム
JP2013105245A (ja) 2011-11-11 2013-05-30 Ikutoku Gakuen 画像処理方法、装置及びプログラム
JP2013137627A (ja) 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4097845A (en) * 1976-11-01 1978-06-27 Rush-Presbyterian-St. Luke's Medical Center Method of and an apparatus for automatic classification of red blood cells
US5548661A (en) * 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
US20100279341A1 (en) * 2000-10-24 2010-11-04 Tissuegnostics Gmbh Methods and system for analyzing cells
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US20050136549A1 (en) * 2003-10-30 2005-06-23 Bioimagene, Inc. Method and system for automatically determining diagnostic saliency of digital images
US7760927B2 (en) * 2003-09-10 2010-07-20 Bioimagene, Inc. Method and system for digital image based tissue independent simultaneous nucleus cytoplasm and membrane quantitation
WO2006124651A2 (en) * 2005-05-13 2006-11-23 Tripath Imaging, Inc. Methods of chromogen separation-based image analysis
US20110077506A1 (en) * 2008-04-17 2011-03-31 Bastiaan Driehuys Methods and compositions for molecular imaging
US9176310B2 (en) * 2008-07-25 2015-11-03 Sloan Kettering Institute For Cancer Research Rapid confocal microscopy to support surgical procedures
US20120115139A1 (en) * 2009-04-21 2012-05-10 Tokyo Medical University Method for evaluating cancer
US20110111435A1 (en) * 2009-11-06 2011-05-12 SlidePath Limited Detecting Cell Surface Markers
SG10201702608VA (en) * 2010-03-31 2017-04-27 Agency Science Tech & Res A method and system for determining a stage of fibrosis in a liver
CA2807144C (en) 2010-07-30 2019-05-28 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
JP5451552B2 (ja) * 2010-08-09 2014-03-26 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US9076198B2 (en) * 2010-09-30 2015-07-07 Nec Corporation Information processing apparatus, information processing system, information processing method, program and recording medium
CN111610138B (zh) * 2011-04-15 2023-06-09 罗氏血液诊断股份有限公司 测量细胞体积和成份
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US9189678B2 (en) 2012-03-30 2015-11-17 Konica Minolta, Inc. Medical image processor and storage medium
US9014444B2 (en) * 2012-07-13 2015-04-21 Sony Corporation Method and apparatus for automatic HER2 scoring of tissue samples
US8989839B2 (en) * 2012-08-14 2015-03-24 University Of Windsor Method and apparatus for diagnosis of tumor activity using tumor interstitial fluid pressure
EP3108446B1 (en) * 2014-02-21 2019-03-20 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
EP3124956B1 (en) 2014-03-27 2018-12-26 Konica Minolta, Inc. Image processing device and image processing program
EP3218843B1 (en) * 2014-11-10 2024-04-24 Ventana Medical Systems, Inc. Classifying nuclei in histology images
WO2016076104A1 (ja) 2014-11-13 2016-05-19 コニカミノルタ株式会社 画像処理方法、画像処理装置、及びプログラム
CN107209934B (zh) * 2014-12-03 2021-03-30 文塔纳医疗系统公司 用于定量分析异质生物标志物分布的方法、系统和装置
US9779499B2 (en) * 2015-09-18 2017-10-03 Definiens Ag Grading of glandular tissue cancer by detailed image analysis of stained tissue slices
WO2017059390A1 (en) * 2015-09-30 2017-04-06 Rooney Michele Allograft rejection test
WO2017150194A1 (ja) 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07198714A (ja) * 1993-12-28 1995-08-01 Asahi Breweries Ltd 細胞活性度判定方法及び装置
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2000321031A (ja) 1999-05-11 2000-11-24 Nec Corp 細胞形状抽出装置及び細胞形状抽出方法
JP2006349533A (ja) * 2005-06-16 2006-12-28 Olympus Corp 画像処理装置および画像処理プログラム
JP2011043350A (ja) * 2009-08-19 2011-03-03 Olympus Corp 細胞画像解析装置、細胞画像解析方法、及びコンピュータープログラム
JP2013105245A (ja) 2011-11-11 2013-05-30 Ikutoku Gakuen 画像処理方法、装置及びプログラム
JP2013137627A (ja) 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3477586A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7181003B2 (ja) 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理装置及び方法
JP2019203803A (ja) * 2018-05-24 2019-11-28 日本電子株式会社 生物組織画像処理システム及び機械学習方法
WO2019225506A1 (ja) * 2018-05-24 2019-11-28 株式会社ニコン 生物組織画像処理システム及び機械学習方法
JP2019204695A (ja) * 2018-05-24 2019-11-28 日本電子株式会社 生物組織画像処理装置及び方法
WO2019225507A1 (ja) * 2018-05-24 2019-11-28 株式会社ニコン 生物組織画像処理装置及び方法
JP7181002B2 (ja) 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理システム及び機械学習方法
WO2020166469A1 (ja) * 2019-02-15 2020-08-20 コニカミノルタ株式会社 情報提供方法、情報提供装置及びプログラム
WO2020209217A1 (ja) * 2019-04-12 2020-10-15 コニカミノルタ株式会社 画像処理システム、画像処理方法及びプログラム
JP7150289B2 (ja) 2019-05-28 2022-10-11 ペイジ．エーアイ インコーポレイテッド デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法
JP2022530280A (ja) * 2019-05-28 2022-06-28 ペイジ．エーアイ インコーポレイテッド デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法
US11869185B2 (en) 2019-05-28 2024-01-09 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
US12131473B2 (en) 2019-05-28 2024-10-29 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
KR20220082695A (ko) * 2020-12-10 2022-06-17 기가비스주식회사 초점 변화 기반 3차원 측정기에서 최적의 스캔 범위 자동 설정 방법
KR102542367B1 (ko) 2020-12-10 2023-06-12 기가비스주식회사 초점 변화 기반 3차원 측정기에서 최적의 스캔 범위 자동 설정 방법
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
JP2023137418A (ja) * 2022-03-18 2023-09-29 株式会社神戸製鋼所 粒径測定装置、該方法および該プログラム
JP7712235B2 (ja) 2022-03-18 2025-07-23 株式会社神戸製鋼所 粒径測定装置、該方法および該プログラム
JPWO2024023911A1 (ja) * 2022-07-26 2024-02-01
WO2024023911A1 (ja) * 2022-07-26 2024-02-01 日本電信電話株式会社 学習装置、学習方法及びプログラム
JP7741454B2 (ja) 2022-07-26 2025-09-18 Ｎｔｔ株式会社 学習装置、学習方法及びプログラム

Also Published As

Publication number Publication date
EP3477586A4 (en) 2019-05-01
JP6791245B2 (ja) 2020-11-25
EP3477586A1 (en) 2019-05-01
JPWO2017221592A1 (ja) 2019-04-11
US10890576B2 (en) 2021-01-12
US20190204292A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US12530912B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US12411329B2 (en) Auto-focus methods and systems for multi-spectral imaging
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
EP3486835A1 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
JPWO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20170364664A1 (en) Method for stratifying and selecting candidates for receiving a specific therapeutic approach
US20040014165A1 (en) System and automated and remote histological analysis and new drug assessment
US11449991B2 (en) Image processing method, image processing apparatus, and storage medium
CN114945825A (zh) 癌症判定装置、癌症判定方法以及程序
WO2016076104A1 (ja) 画像処理方法、画像処理装置、及びプログラム
CN119049046A (zh) 一种胰腺穿刺Diff Quick快速染色全玻片细胞病理分析方法及其装置
WO2016029208A1 (en) System and method for automated stereology of cancer

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018523599

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017815062

Country of ref document: EP

Effective date: 20190123