[go: up one dir, main page]

WO2017150194A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2017150194A1
WO2017150194A1 PCT/JP2017/005610 JP2017005610W WO2017150194A1 WO 2017150194 A1 WO2017150194 A1 WO 2017150194A1 JP 2017005610 W JP2017005610 W JP 2017005610W WO 2017150194 A1 WO2017150194 A1 WO 2017150194A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature amount
image processing
biological material
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/005610
Other languages
English (en)
French (fr)
Inventor
一谷　修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018503018A priority Critical patent/JPWO2017150194A1/ja
Publication of WO2017150194A1 publication Critical patent/WO2017150194A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly to image processing used for pathological diagnosis.
  • pathological diagnosis in which tissue sections collected from living organisms such as humans and animals are observed with a microscope to diagnose the presence or type of lesions, has been actively performed.
  • the collected tissue is first dehydrated to fix it, and then treated with paraffin blocking, then cut into thin slices with a thickness of 2 to 8 ⁇ m, the paraffin removed, stained, and observed with a microscope.
  • Diagnosis is performed by generating data (cell image) and analyzing morphological information and staining information such as changes in the size and shape of the cell nucleus and changes in the pattern of the tissue.
  • image processing for extracting for example, a cell region from such a cell image is performed manually, a huge amount of labor is required, and errors for each operator are large.
  • Patent Document 1 in image processing for identifying an object in an image, a threshold is sequentially changed, and an object is detected from an image based on a result of evaluating characteristics of the identified object for each threshold. A technique for extracting an area where an object is photographed is described.
  • pathological images vary greatly from image to image depending on many factors such as the type of cells and cancer, the staining method of the sample, the preparation and storage methods, and the image acquisition method.
  • a pathological image obtained by photographing a tissue specimen stained with cell nuclei has greatly different characteristics depending on the specimen acquisition method and the tissue type.
  • FIG. 6 shows representative examples of images classified into 10 patterns based on the staining state and density of cell nuclei.
  • appropriate parameters used for image processing for pathological diagnosis vary greatly from image to image due to such differences in image characteristics. For example, when an image showing stained cell nuclei is extracted, it is necessary to perform strong division processing on an image obtained by photographing a specimen in which cell nuclei are dense. In addition, for an image obtained by photographing a specimen with a large staining unevenness of cell nuclei, for example, it is necessary to perform an averaging filter process for reducing color unevenness.
  • the main object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of efficiently performing image processing suitable for an image in image processing of an image obtained by photographing a biological material.
  • an image processing apparatus reflecting one aspect of the present invention is an image processing apparatus that performs image processing of an image obtained by photographing a biological material, Input means for inputting the image; Feature amount extraction means for extracting a predetermined feature amount relating to the biological material from the image; Determination means for determining an image pattern corresponding to the feature quantity of the image extracted by the feature quantity extraction means based on a plurality of image patterns into which the feature quantity is classified; Setting means for setting parameters for image processing based on the image pattern determined by the determination means; Processing means for performing image processing of the image using the parameters set by the setting means; It is characterized by providing.
  • An image processing method reflecting one aspect of the present invention is an image processing method for performing image processing of an image obtained by photographing a biological material.
  • An input step for inputting the image A feature amount extraction step of extracting a predetermined feature amount related to the biological material from the image; A determination step of determining an image pattern corresponding to the feature amount of the image extracted by the feature amount extraction step based on a plurality of image patterns into which the feature amount is classified; A setting step of setting parameters for image processing based on the image pattern determined by the determination step; A processing step of performing image processing of the image using the parameters set in the setting step; It is characterized by providing.
  • a program that reflects one aspect of the present invention is a computer that performs image processing of an image of a biological material.
  • Input means for inputting the image;
  • Feature amount extraction means for extracting a predetermined feature amount relating to the biological material from the image;
  • a determination unit that determines an image pattern corresponding to the feature amount of the image extracted by the feature amount extraction unit based on a plurality of image patterns into which the feature amount is classified;
  • Setting means for setting parameters for image processing based on the image pattern determined by the determination means;
  • an image processing apparatus an image processing method, and a program capable of efficiently performing image processing suitable for an image in image processing of an image obtained by photographing a biological material.
  • FIG. 1 is a diagram schematically showing a configuration of a pathological diagnosis support system. It is a block diagram which shows roughly the functional structure of an image processing apparatus. It is a flowchart which shows the flow of the image analysis process in an Example roughly. It is a flowchart which shows roughly the specific example of the image process of step S6. It is an example of a bright field image. It is an example of the image initially extracted by step S2. It is a schematic diagram which shows the example of an image pattern. 10 is a schematic diagram for explaining a setting process according to Modification 1. FIG. It is a schematic diagram which shows the example of the divided
  • FIG. 1 shows an example of the overall configuration of a pathological diagnosis support system 10 provided with the image processing apparatus of the present invention.
  • the pathological diagnosis support system 10 acquires a microscopic image of a tissue section of a human body stained with a predetermined staining reagent, and analyzes the acquired microscopic image, thereby expressing the expression of a specific biological material in the tissue section to be observed. This is a system that outputs feature quantities quantitatively.
  • the pathological diagnosis support system 10 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the pathological diagnosis support system 10 may be an apparatus in which the microscope image acquisition apparatus 1A and the image processing apparatus 2A are integrally formed.
  • the connection method between the microscope image acquisition apparatus 1A and the image processing apparatus 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected via a LAN (Local Area Network) or may be connected wirelessly.
  • LAN Local Area Network
  • the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means is composed of a light source, a filter, and the like, and irradiates the tissue section on the slide placed on the slide fixing stage with light.
  • the image forming means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the image pickup means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, picks up an image formed on the image forming surface by the image forming means, and generates digital image data of the microscope image.
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit that combines an irradiation unit and an imaging unit suitable for bright field observation, and a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation. It is possible to switch between bright field / fluorescence by switching.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
  • the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
  • the image processing device 2A analyzes the microscope image transmitted from the microscope image acquisition device 1A.
  • the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation. For example, the control unit 21 executes image analysis processing (see FIG. 3) in cooperation with the image processing program stored in the storage unit 25, and extracts feature amount extraction means, determination means, setting means, processing means, and division. A function as a means is realized.
  • image analysis processing see FIG. 3
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse and a touch pen. Is output to the control unit 21 as an input signal.
  • the display unit 23 includes a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), for example, and displays means for displaying various screens in accordance with display signal instructions input from the control unit 21. As a function.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), for example, and displays means for displaying various screens in accordance with display signal instructions input from the control unit 21. As a function.
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 functions as an input unit.
  • the storage unit 25 is configured by, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs and various data.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like, and be connected to an external device via a communication network such as a LAN.
  • the image processing apparatus 2A performs analysis using the image transmitted from the microscope image acquisition apparatus 1A.
  • the image analyzed in the present embodiment is an image obtained by photographing a biological material in an arbitrary tissue specimen produced by a known method such as a tissue section collected from a human body.
  • biological materials include biological materials such as cell nuclei and cell membranes.
  • the biological material may be stained or unstained. When staining is performed, any known reagent or staining method may be used for staining.
  • a tissue specimen stained with a hematoxylin staining reagent can be obtained by enlarging and photographing in a bright field in the microscope image acquisition apparatus 1A. It is a microscope image.
  • Hematoxylin (H) is a blue-violet pigment that stains biological materials such as cell nuclei, bone tissue, part of cartilage tissue, serous components (basophilic tissue, etc.).
  • Eodine (E) is a red to pink pigment that stains biological materials such as cytoplasm, soft tissue connective tissue, red blood cells, fibrin, and endocrine granules (eg, acidophilic tissue).
  • the image analyzed in the present embodiment may be a fluorescent image obtained by photographing a tissue specimen in which a biological material is stained with a fluorescent substance using a fluorescent microscope.
  • the operator places a tissue section on a slide and stains it using an HE staining reagent. Thereafter, a bright field image is acquired by the following procedure using the microscope image acquisition apparatus 1A.
  • A1 The operator installs the slide on the slide fixing stage of the microscope image acquisition apparatus 1A.
  • A2) Set to the bright field unit, adjust the imaging magnification and focus, and place the region to be observed on the tissue section in the field of view.
  • A3 Shooting is performed by the imaging unit to generate bright field image data, and the image data is transmitted to the image processing apparatus 2A.
  • step S1 input process
  • a biological material here, cell nucleus
  • input image a biological material in the input image
  • step S2 initial extraction step
  • a binarized process using a predetermined threshold is performed on the grayscale converted input image (FIG. 5A) to extract a portion stained dark blue by HE staining.
  • the created image is created.
  • an image as shown in FIG. 5B is actually obtained.
  • one cell nucleus is extracted in a plurality of parts due to uneven staining, or a plurality of close (or overlapped) cell nuclei are extracted as one region. Therefore, in the initial extraction step of step S2 The generated image has a large error with respect to the image showing the actual cell nucleus region.
  • the feature amount of the input image is extracted based on the image created by the initial extraction step (step S3: feature amount extraction step).
  • the feature amount is arbitrary as long as it relates to the cell nucleus, and is, for example, a value that quantitatively represents the circularity of the cell nucleus, the convex hull area ratio, the color density, the color unevenness, the size, and the density of the cell nucleus. is there. More specific examples include, but are not limited to, the following.
  • the circularity is calculated by the formula: “4 ⁇ S / L 2 ”, where S is the area of the initially extracted cell nucleus and L is the perimeter.
  • the convex hull area ratio is the ratio of the area of the initially extracted cell nucleus and the area of the convex hull polygon that includes the initially extracted cell nucleus. When the cell nucleus is accurately extracted, the circularity and / or the convex hull area ratio is considered to be close to 1.
  • the color density is an average value of RGB values, HSV values, luminance values, and the like of each pixel in the initially extracted cell nucleus. Color unevenness is represented by standard deviations such as RGB values, HSV values, or luminance values of each pixel in the initially extracted cell nucleus.
  • the size is the area, major axis, minor axis, perimeter, etc. in the initially extracted cell nucleus.
  • the density is the ratio of the area of the initially extracted cell nucleus to the area of the entire input image, or the number of the initially extracted cell nucleus.
  • the feature amount extracted in step S3 is not limited to the above example, and a plurality of types of feature amounts may be extracted. Further, for example, for the purpose of reducing an error due to noise, a feature amount related to only an initially extracted cell nucleus having an area larger than a predetermined value may be extracted.
  • an image pattern corresponding to the feature amount extracted in step S3 is determined based on a plurality of image patterns prepared in advance (step S4: determination step).
  • the plurality of image patterns are classified based on the feature amount.
  • FIG. 6 shows an example of ten image patterns A to J classified based on the staining state and the density.
  • each pattern has a dyeing state of “color is dark and has little unevenness”, “color unevenness is large”, “missing”, “color is light, and unevenness is based on color density and color unevenness.
  • the density of cell nuclei is “high: the number of cell nuclei is high and / or dense”, “medium: the number of cell nuclei and / or density is high It is classified as either “medium” or “low: the number of cell nuclei is small and sparse”.
  • the number of feature quantities associated with each image pattern, the classification criteria for each item, the number of classification steps, and the like are arbitrary.
  • Each image pattern as shown in FIG. 6 has a corresponding feature amount set in advance by an arbitrary method. Specifically, for example, the feature amount of the input image corresponding to each image pattern is digitized, and the feature amount range and the reference value are set based on the average value and variance.
  • the storage unit 25 stores in advance a table that associates each image pattern with the feature amount range or the reference value, and the control unit 21 refers to the table and corresponds to the feature amount extracted in step S3. The image pattern is determined.
  • step S4 for example, when a range of feature amounts corresponding to each image pattern is set in advance, an image pattern that includes the feature amount extracted in step S3 in the range is determined.
  • a feature value distance indicating a difference between the feature value extracted in step S3 and each reference value is calculated.
  • the image pattern with the shortest distance is determined.
  • the feature distance can be Euclidean distance or Mahalanobis distance, for example.
  • step S5 setting step.
  • Corresponding parameters are set in advance for each image pattern. Specifically, for example, a constant defined for each image pattern or a function of a feature amount defined for each image pattern is set as a parameter.
  • a table for associating each image pattern with a parameter is stored in the storage unit 25 in advance, and the control unit 21 searches for a parameter corresponding to the image pattern determined in step S4 with reference to the table, and performs image processing. Set as a parameter to use.
  • step S4 when any one image pattern corresponding to the feature amount of the input image is determined, a parameter associated with the determined one image pattern is set.
  • parameters used for image processing for extracting an image representing a biological material include threshold values used for binarization processing, color averaging filters, edge enhancement filters, division sizes, integrated sizes, and the like. For example, by setting a threshold value used for binarization processing, binarization processing according to the color density of the input image can be performed. Further, by setting the color averaging filter, the color unevenness of the input image can be reduced even when the color unevenness is large. Due to the setting of the edge enhancement filter, the outline of the biological material is emphasized and displayed when the biological material is lightly stained. By setting the division size, when the biological materials are dense, it is possible to divide and display the individual biological materials. With the setting of the integrated size, when one biological material is divided and extracted due to the lack of staining or color unevenness, the biological material can be integrated and displayed in a preferable integrated size.
  • the parameter setting enables image processing according to the input image. As a result, there is an effect that, for example, the extraction accuracy of an image showing a biological substance is increased. Note that image processing using each parameter will be described in more detail in the description of the subsequent step S6. Note that the parameters set in step S5 are not limited to those described above, and the number of parameters to be set is arbitrary.
  • step S6 processing step.
  • the following (1) to (4) are specific examples of image processing, but image processing is not limited to these.
  • (1) Filter processing (1-1) For an image pattern (for example, D, E, F, etc. in FIG. 6) having a large amount of uneven staining of biological material, color unevenness is obtained by blurring by applying an averaging filter. Is made uniform. Thereby, it is possible to prevent one biological material from being divided into a plurality of parts and extracted in the subsequent binarization process.
  • the outline of the biological material is clarified by performing strong edge enhancement processing.
  • Binarization processing For an image pattern (for example, C in FIG. 6) in which the density of the biological material is high and stained deeply, particularly when the contrast of the input image is low, By performing binarization using a relatively light color (closer to the background color than the stained biological material) as a threshold value, adjacent biological materials are separated and extracted. (2-2) For an image pattern in which the biological material is lightly stained (for example, J in FIG. 6), a relatively dark color (closer to the stained biological material than the background color) is used as a threshold value. By performing binarization processing, adjacent biological substances are separated and extracted. (3) Division processing (3-1) Image patterns (for example, C in FIG.
  • the biological material is easily divided and extracted, but by performing the integration process based on a large integrated size threshold, it is possible to prevent one biological material from being divided and extracted. it can.
  • step S61 filter processing is executed to create an image with enhanced edges (In the above (1-2), step S61), an image obtained by extracting a darkly stained region is created by binarization processing using a relatively dark color as a threshold value (above (2-2), step S62). Based on the set integration size, the image created in step S61 is integrated (above (4-2), step S64), and an image showing the cell nucleus is extracted.
  • image processing such as (1) to (4) is appropriately combined.
  • the type of image processing to be executed (for example, whether to perform division processing or integration processing in the flowchart of FIG. 4) is preferably determined based on the image pattern determined in step S4.
  • Step S4 determination step
  • a feature between the feature value extracted in Step S3 and each reference value A quantity distance is calculated, and a plurality of image patterns with a short distance are selected.
  • a plurality of image patterns are selected in order from the shortest feature amount distance.
  • the plurality of selected image patterns are weighted by, for example, the feature amount distance, and the combination of the plurality of image patterns is determined.
  • Step S5 setting step of Modification 1
  • image processing is performed using the determination result of Step S4 (including information on a plurality of image patterns and feature amount distances) and parameters set for each image pattern.
  • the parameter to be used is set.
  • FIG. 7 shows an example of the parameters A p to J p respectively associated with the image patterns A to J in the two-dimensional coordinates having the two types of parameters X and Y as axes.
  • the parameter is indicated by, for example, a coordinate P p determined by weighting a vector passing through the points of the parameters D p and E p and a vector passing through the points of the parameters D p and H p by the feature amount distance ( (See FIG. 7).
  • step S5 when the feature amount distance between the input image and the image patterns G, H, and J is short, in step S5 (setting step), these image patterns are based on the feature amount distances with the image patterns G, H, and J.
  • the parameters G p , H p and J p corresponding to are interpolated (interpolated) to set parameters used for image processing.
  • the parameter is indicated by, for example, a coordinate Q p determined by weighting a vector passing through the points of the parameters G p and H p and a vector passing through the points of the parameters G p and J p by the feature amount distance ( (See FIG. 7).
  • parameters R p of the input image is set (see FIG. 7).
  • Modification 2 Image processing including a dividing step
  • the division method is arbitrary. For example, only images having a predetermined feature amount among the images divided as shown in FIG. 8A may be used as the divided images.
  • a feature amount is extracted for each divided image in step S3 (feature amount extraction step).
  • step S4 determination step
  • an image pattern (divided image pattern) is determined for each divided image using the feature amount of each divided image, and the image pattern of the entire input image is determined based on these divided image patterns. Determined.
  • the processes after step S5 are performed in the same manner as in the above embodiment.
  • step S4 of this aspect for example, as shown in FIG. 8B, after each divided image pattern is determined to be one of the image patterns A to J in FIG. 6, the image pattern A determined as the largest number of divided image patterns. Is determined as the image pattern of the entire input image.
  • the number of patterns of a small number of divided images including noise is smaller than the number of patterns of all the divided images. This is considered to be ignored as an outlier pattern when determining the pattern. That is, since the influence of noise is reduced in determining the image pattern, appropriate image processing can be performed.
  • a feature amount is extracted for each divided image in step S3 (feature amount extraction step).
  • step S4 determination step
  • step S5 setting step
  • parameters used for image processing are set for each divided image.
  • step S6 image processing similar to that in the above embodiment is performed for each divided image.
  • suitable image processing can be performed for each divided image. Therefore, for example, even when a plurality of types of tissues such as blood vessels and connective tissues are captured in one input image, image processing suitable for each tissue can be performed.
  • step S4 determination step of the above embodiment, for example, an image pattern may be determined using machine learning.
  • machine learning for example, any known one such as SVM, random forest, deep learning, or the like can be used.
  • Random forest is an example of a machine learning algorithm. Using multiple decision trees (weak classifiers with low identification performance) created by ensemble learning using sample data, high-precision pattern identification, clustering, etc. Done.
  • a random forest for example, a plurality of decision trees for associating feature quantities of an input image with image patterns (for example, A to J in FIG. 6) are prepared in advance. Each decision tree outputs a corresponding image pattern when a feature amount is input.
  • step S4 determination step
  • the feature amount extracted in step S3 is input to each decision tree.
  • the probability (score) corresponding to each image pattern is calculated based on the statistics of the output results of all decision trees, and the image pattern having the maximum score is determined.
  • each modification may be executed in combination as appropriate.
  • the image pattern determination of each divided image in the image processing including the dividing step of the second modification may be performed using machine learning as in the third modification.
  • tissue processing of an image obtained by photographing a tissue section collected from a human body is performed, but the tissue includes a cultured tissue, and instead of the tissue, cells separated from the tissue or Cultured cells, blood (for example, cells such as red blood cells, white blood cells, and platelets), urine sediments, and the like can also be used.
  • blood for example, cells such as red blood cells, white blood cells, and platelets
  • urine sediments and the like can also be used.
  • the image processing performed in the present invention is not limited to image processing for extracting an image showing a biological material from an input image. For example, measurement of the number of biological materials, size of biological material (area, Arbitrary image processing such as measurement of a long diameter, etc., extraction of a position of a biological material (for example, a center of gravity of each biological material, etc.) is included.
  • an HDD or a semiconductor non-volatile memory is used as a computer-readable medium of the image processing program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave carrier wave
  • the detailed configuration and detailed operation of each device constituting the pathological diagnosis support system 10 can be changed as appropriate without departing from the spirit of the invention.
  • the image processing apparatus of the present invention is an image processing apparatus that performs image processing of an image obtained by photographing a biological material, Input means for inputting the image; Feature amount extraction means for extracting a predetermined feature amount relating to the biological material from the image; Determination means for determining an image pattern corresponding to the feature quantity of the image extracted by the feature quantity extraction means based on a plurality of image patterns into which the feature quantity is classified; Setting means for setting parameters for image processing based on the image pattern determined by the determination means; Processing means for performing image processing of the image using the parameters set by the setting means; It is characterized by providing.
  • the biological material is preferably a cell nucleus or a cell membrane.
  • the feature amount related to the biological material is at least one of a color density of the biological material, a color unevenness of the biological material, a size of the biological material, and a density of the biological material in the image. It is preferable that
  • the determination unit determines an image pattern to which the feature amount of the image belongs.
  • the determination unit determines an image pattern in which a reference value that minimizes a feature amount distance between the feature amount of the image and the reference value is set.
  • the setting means performs image processing by interpolating or extrapolating parameters set in a predetermined number of the two or more predetermined image patterns in order from the shortest feature amount distance from the image pattern having the shortest feature amount distance. It is preferable to set the parameters for use.
  • the feature amount distance is an Euclidean distance or a Mahalanobis distance.
  • the image processing apparatus includes a dividing unit that divides the image to create a divided image,
  • the feature amount extraction means extracts the feature amount from each of the divided images,
  • the determination unit determines an image pattern for each of the divided images, and determines an image pattern of the entire image based on the image patterns of all the divided images.
  • the image processing apparatus includes a dividing unit that divides the image to create a divided image,
  • the feature amount extraction means extracts the feature amount from each of the divided images,
  • the determination means determines an image pattern for each of the divided images,
  • the setting means sets image processing parameters for each of the divided images based on the image pattern determined for each of the divided images,
  • the processing means preferably performs image processing for each divided image using a parameter set for each of the divided images.
  • the determination unit determines the image pattern using machine learning.
  • the parameters include an averaging filter that reduces color unevenness of the biological material in the image, an edge enhancement filter that emphasizes an outline, and a threshold value that performs binarization processing according to color density.
  • the parameter is a parameter that changes at least one of a division size used when dividing a plurality of adjacent biological materials and an integrated size for integrating the one biological material extracted by division.
  • An image processing method of the present invention is an image processing method for performing image processing of an image taken of a biological material.
  • An input step for inputting the image A feature amount extraction step of extracting a predetermined feature amount related to the biological material from the image; A determination step of determining an image pattern corresponding to the feature amount of the image extracted by the feature amount extraction step based on a plurality of image patterns into which the feature amount is classified; A setting step of setting parameters for image processing based on the image pattern determined by the determination step; A processing step of performing image processing of the image using the parameters set in the setting step; It is characterized by providing.
  • the program of the present invention is a computer that performs image processing of an image obtained by photographing a biological material.
  • Input means for inputting the image;
  • Feature amount extraction means for extracting a predetermined feature amount relating to the biological material from the image;
  • a determination unit that determines an image pattern corresponding to the feature amount of the image extracted by the feature amount extraction unit based on a plurality of image patterns into which the feature amount is classified;
  • Setting means for setting parameters for image processing based on the image pattern determined by the determination means;
  • Processing means for performing image processing of the image using the parameters set by the setting means; It is made to function as.
  • the present invention can be used for image processing of an image obtained by photographing a biological material.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明の課題は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することである。　本発明の画像処理装置２Ａは、生体物質が撮影された画像の画像処理を行う画像処理装置であって、前記画像を入力する入力手段と、前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、を備えることを特徴とする。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に病理診断に用いられる画像処理に関する。
　人や動物等の生物から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類について診断する、いわゆる病理診断が盛んに行われている。病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、２～８μｍの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察して画像データ（細胞画像）を生成し、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報を解析して診断を行う。かかる細胞画像から例えば細胞の領域などを抽出する画像処理を手作業で行うと、膨大な手間がかかり、また、作業者ごとの誤差も大きい。
　近年では、例えば組織切片を撮影した画像から癌細胞の領域を効率よく把握できるようにするための画像処理を自動的に行う技術が数多く提案されている。
　例えば、特許文献１には、画像内の対象物を識別するための画像処理において、閾値を順次変化させて、識別された対象物の特徴を閾値ごとに評価した結果に基づいて、画像から対象物が撮影された領域を抽出する技術が記載されている。
特表２００８－５２７５４６号公報
　病理画像は、撮影された標本における、細胞や癌の種類、標本の染色方法、作成方法及び保存方法、画像の取得方法、等の多くの要因によって、画像ごとに特徴が大きく異なる。
　例えば、図６に示されるように、細胞核を染色した組織標本を撮影した病理画像は、標本の取得方法及び組織の種類に応じて、特徴が大きく異なる。図６は、細胞核の染色状態及び密集度に基づいて１０のパターンに分類された画像の代表例を示す。
　このような画像の特徴の差異に伴い、病理診断のための画像処理に用いられる適切なパラメータは、画像ごとに大きくばらつくことが知られている。例えば、染色された細胞核を示す画像を抽出する際に、細胞核が密集している標本を撮影した画像に対しては、強い分割処理を行う必要がある。また、細胞核の染色ムラが大きい標本を撮影した画像に対しては、例えば色ムラを低減するための平均化フィルタ処理を行う必要がある。
　特許文献１に記載されるような従来の自動的な画像処理では、このようなばらつきを補正して、病理画像ごとに適切な画像処理を施すことは困難であった。また、画像処理に用いられるパラメータの種類は多岐にわたるため、全てのパラメータを変化させて組み合わせて用いた画像処理を行うことは非効率的であり、そのような画像処理によって作成される膨大な数の画像から適切な画像を選択することも困難であった。
　本発明の主な目的は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
　本発明の上記課題を解決するため、本発明の一側面を反映した画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
　前記画像を入力する入力手段と、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
　を備えることを特徴とする。
　本発明の一側面を反映した画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
　前記画像を入力する入力工程、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
　前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
　前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
　を備えることを特徴とする。
　本発明の一側面を反映したプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
　前記画像を入力する入力手段、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
　として機能させることを特徴とする。
　本発明によれば、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 実施例における画像解析処理の流れを概略的に示すフローチャートである。 ステップＳ６の画像処理の具体例を概略的に示すフローチャートである。 明視野画像の一例である。 ステップＳ２で初期抽出された画像の一例である。 画像パターンの例を示す模式図である。 変形例１の設定工程を説明する模式図である。 分割された画像の例を示す模式図である。 分割された画像毎に判定された画像パターンを示す模式図である。
　以下、図面を参照しながら本発明の好ましい形態について説明する。
＜病理診断支援システム１０の構成＞
　図１に、本発明の画像処理装置を備えた病理診断支援システム１０の全体構成例を示す。
　病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
　図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。病理診断支援システム１０は、顕微鏡画像取得装置１Ａと画像処理装置２Ａが一体に形成された装置でもよい。
　顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
　顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析する。
　図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
　たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理（図３参照）を実行し、特徴量抽出手段、判定手段、設定手段、処理手段、分割手段、としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスやタッチペンなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスやタッチペンによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、たとえばＣＲＴ（Cathode　Ray　Tube）やＬＣＤ（Liquid　Crystal　Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する表示手段としての機能を実現する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、入力手段として機能する。
　記憶部２５は、たとえばＨＤＤ（Hard　Disk　Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
　本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された画像を用いて解析を行うようになっている。
　本実施形態で解析される画像は、人体から採取した組織切片等、公知の方法により作製された任意の組織標本における生体物質を撮影した画像である。生体物質の具体例としては、細胞核、細胞膜、等の生体物質が挙げられる。生体物質は染色されていても染色されていなくてもよく、染色を行う場合、染色に用いる試薬や染色方法は、公知の任意のものを用いてよい。
　例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）を用いて染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）の生体物質を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）の生体物質を染色する。
　また、本実施形態で解析される画像は、生体物質が蛍光物質により染色された組織標本を、蛍光顕微鏡を用いて撮影して取得した得た蛍光画像でもよい。
＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
　以下、病理診断支援システム１０において、上記説明した画像を取得して本発明の画像処理方法を用いて画像処理を行う動作について説明する。
　ここでは、生体物質として細胞核が撮影された明視野画像から、細胞核を示す画像を抽出する画像処理を行う場合を例にとって説明する。本実施形態の明視野画像は、例えば、以下のようにＨＥ染色を施された乳癌組織の組織切片を撮影して取得される。
　まず、操作者は、組織切片をスライドに載置して、ＨＥ染色試薬を用いて染色する。
　その後、顕微鏡画像取得装置１Ａを用いて、以下の手順により明視野画像を取得する。
（ａ１）操作者は、スライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率及びピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　その後、画像処理装置２Ａにおいて、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により、図３に示される画像解析処理が実行される。
　通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから画像が入力されると（ステップＳ１：入力工程）、入力された画像(以下、入力画像)における生体物質（ここでは、細胞核）を公知の任意の方法によって初期抽出した画像が作成される（ステップＳ２：初期抽出工程）。
　初期抽出工程では、例えば、グレースケール変換された入力画像（図５Ａ）に対して所定の閾値を用いた二値化処理が施されることにより、ＨＥ染色によって濃い青色に染色された部分を抽出した画像が作成される。図５Ａの入力画像から細胞核を抽出すると、実際は、図５Ｂのような画像が得られる。しかし、例えば、染色ムラにより１つの細胞核が複数に分かれて抽出されたり、近接した（又は重なって撮影された）複数の細胞核が１つの領域として抽出されたりするため、ステップＳ２の初期抽出工程で作成される画像は、実際の細胞核の領域を示す画像に対して誤差が大きい。
　次いで、初期抽出工程により作成された画像に基づいて、入力画像の特徴量が抽出される（ステップＳ３：特徴量抽出工程）。特徴量は、細胞核に関するものであれば任意であり、例えば、細胞核の円形度、凸包面積比、色の濃さ、色のムラ、大きさ及び細胞核の密集度、を定量的に示す値である。さらに具体的には、例えば以下のものが挙げられるがこれらに限定されない。
　円形度は、初期抽出された細胞核の面積をＳ、周囲長をＬとした場合に、式：「４πＳ／Ｌ２」で算出される。凸包面積比は、初期抽出された細胞核の面積と、初期抽出された細胞核を包含する凸包多角形の面積の比である。細胞核が正確に抽出されている場合、円形度及び／又は凸包面積比は１に近いと考えられる。
　色の濃さは、初期抽出された細胞核中の各画素のＲＧＢ値、ＨＳＶ値、輝度値、等の平均値である。色のムラは、初期抽出された細胞核中の各画素のＲＧＢ値、ＨＳＶ値、又は輝度値、等の標準偏差により表される。
　大きさは、初期抽出された細胞核中の面積、長径、短径、周囲長、等である。密度は、入力画像全体の面積に対する、初期抽出された細胞核の面積の割合、又は初期抽出された細胞核の数である。
　ステップＳ３で抽出される特徴量は上記の例に限定されるものではなく、複数種類の特徴量を抽出してもよい。また、例えばノイズによる誤差を減らすことなどを目的として、初期抽出された細胞核のうち、面積が所定値よりも大きいもののみに関する特徴量を抽出してもよい。
　次いで、予め準備された複数の画像パターンに基づいて、ステップＳ３で抽出された特徴量に対応する画像パターンが判定される（ステップＳ４：判定工程）。複数の画像パターンは、特徴量に基づいて分類されている。
　図６は、染色状態及び密集度に基づいて分類された１０の画像パターンＡ～Ｊの例を示す。図６では、各パターンは、色の濃さ及び色のムラに基づいて、染色状態が「色が濃く、ムラが少ない」「色のムラが大きい」「中抜け」「色が薄く、ムラが少ない」の４つに分類され、密度及び面積に基づいて、細胞核の密集度が「高：細胞核の数が多い、及び／又は密集している」、「中：細胞核の数及び／又は密集が中程度である」、「低：細胞核の数が少なく、疎らである」の何れかに分類されている。
　各画像パターンに対応付けられている特徴量の数、各項目における分類の基準、分類の段階数、等は任意である。
　図６に示されるような各画像パターンには、対応する特徴量が予め任意の方法で設定されている。具体的には、例えば、各画像パターンに該当する入力画像の特徴量が数値化されて、その平均値や分散に基づいて、特徴量の範囲及び基準値が設定される。記憶部２５には、各画像パターンと特徴量の範囲又は基準値を対応づけるテーブルが予め記憶されており、制御部２１は、テーブルを参照して、ステップＳ３で抽出された特徴量に対応する画像パターンを判定する。
　ステップＳ４では、例えば、各画像パターンに対応する特徴量の範囲が予め設定されている場合、ステップＳ３で抽出された特徴量を範囲内に含む画像パターンが判定される。
　また、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップＳ３で抽出された特徴量と各基準値との間の差を示す特徴量距離が算出され、当該距離が最短となる画像パターンが判定される。
　特徴量距離は、例えば、ユークリッド距離又はマハラノビス距離を用いることができる。
　次いで、画像パターンに基づいて、画像処理に用いられるパラメータが設定される（ステップＳ５：設定工程）。
　各画像パターンには、対応するパラメータが予め設定されている。具体的には、例えば、画像パターンごとに定められた定数、又は画像パターンごとに定められた特徴量の関数がパラメータとして設定される。記憶部２５には、各画像パターンとパラメータを対応づけるテーブルが予め記憶されており、制御部２１は、テーブルを参照してステップＳ４で判定された画像パターンに対応するパラメータを探し、画像処理に用いるパラメータとして設定する。
　ステップＳ４において、入力画像の特徴量に対応する何れか１つの画像パターンが判定された場合には、判定された１つの画像パターンに対応づけられたパラメータが設定される。
　生体物質を表す画像を抽出する画像処理に用いられるパラメータの具体例には、２値化処理に用いられる閾値、色の平均化フィルタ、エッジ強調フィルタ、分割サイズ、統合サイズ、等がある。
　例えば、２値化処理に用いられる閾値の設定により、入力画像の色の濃さに応じた二値化処理が可能となる。また、色の平均化フィルタの設定により、染色ムラが大きい場合であっても入力画像の色ムラが低減可能である。エッジ強調フィルタの設定により、生体物質が薄く染色された場合に生体物質の輪郭が強調して表示される。分割サイズの設定により、生体物質が密集している場合に、個々の生体物質を分割して表示することが可能となる。統合サイズの設定により、染色の中抜けや色ムラにより１つの生体物質が分割して抽出された場合に、生体物質を好ましい統合サイズに統合して表示することが可能となる。
　このように、パラメータの設定により、入力画像に応じた画像処理が可能となり、その結果、例えば生体物質を示す画像の抽出精度が高まるという効果がある。なお、各パラメータを用いた画像処理については、続くステップＳ６の工程の説明において、さらに詳細に説明する。
　なお、ステップＳ５において設定されるパラメータは上述のものに限定されるものではなく、また、設定されるパラメータの数は任意である。
　次いで、ステップＳ５において設定されたパラメータを用いた画像処理が施される（ステップＳ６：処理工程）。以下の（１）～（４）は画像処理の具体例であるが、画像処理はこれらに限定されない。
（１）フィルタ処理
　（１－１）生体物質の染色ムラが多い画像パターン（例えば、図６のＤ、Ｅ、Ｆ等）に対しては、平均化フィルタをかけてぼかすことにより、色のムラが均一化される。これにより、続く二値化処理において、１つの生体物質が複数に分割されて抽出されることを防ぐことができる。
　（１－２）生体物質の染色が薄い画像パターン（例えば、図６のＪ）に対しては、強いエッジ強調処理を行うことにより、生体物質の輪郭が明確化される。
（２）二値化処理
　（２－１）生体物質の密度が高く、濃く染色されている画像パターン（例えば、図６のＣ）に対しては、特に入力画像のコントラストが低い場合には、比較的薄い（染色された生体物質よりも背景色に近い）色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
　（２－２）生体物質が薄く染色されている画像パターン（例えば、図６のＪ）に対しては、比較的濃い（背景色よりも染色された生体物質に近い）色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
（３）分割処理
　（３－１）生体物質の密度が高く、濃く染色されている画像パターン（例えば、図６のＣ）は、複数の生体物質が個々に分割されずにまとめて抽出されやすいが、エッジ強調等を行って積極的に分割処理を行うことにより、個々の生体物質が分離して抽出される。
　（３－２）生体物質の面積が小さい画像パターン（例えば、図６のＢ）に対しては、小さく設定された分割サイズに基づいて分割処理を行うことにより、複数の生体物質が個々に分離して抽出される。
（４）統合処理
　（４－１）生体物質の染色ムラが多い画像パターン（例えば、図６のＤ、Ｅ、Ｆ）に対しては、設定された統合サイズに達するまで統合処理を繰り返すことにより、１つの生体物質が分割して抽出されることを防ぐことができる。
　（４－２）生体物質が薄く染色されている画像パターン（例えば、図６のＪ）又は生体物質の輪郭のみが染色されている画像パターン（例えば、図６のＧ、Ｈ、Ｉ）に対しては、生体物質が過剰に分割されて抽出されやすいが、大きく設定された統合サイズの閾値に基づいて統合処理を行うことにより、１つの生体物質が分割して抽出されることを防ぐことができる。
　例えば、図４のフローチャートに従って図６のＪのような入力画像から細胞核を示す画像を抽出する画像処理が施される場合、まず、フィルタ処理が実行されてエッジが強調された画像が作成され（上記（１－２）、ステップＳ６１）、比較的濃い色を閾値とした二値化処理によって、濃く染色された領域を抽出した画像が作成され（上記（２－２）、ステップＳ６２）、大きく設定された統合サイズに基づいて、ステップＳ６１で作成された画像の統合処理が行われて（上記（４－２）、ステップＳ６４）、細胞核を示す画像が抽出される。
　なお、（１）～（４）等の画像処理は適宜組み合わせて施される。実行する画像処理の種類（例えば、図４のフローチャートにおいて、分割処理又は統合処理の何れを実行するか）は、ステップＳ４で判定された画像パターンに基づいて決定されることが好ましい。
　以上の実施形態によれば、入力画像の特徴量から判定された画像パターンに基づいてパラメータが設定された後、そのパラメータを用いた画像処理が行われるため、入力画像ごとに適切なパラメータを用いた画像処理が効率よく実行される。すなわち、病理画像の自動的な画像処理が安定して高精度に実行されるため、高効率かつ迅速な病理診断が可能となる。
（変形例１：複数の画像パターンに基づくパラメータ設定）
　上記実施例の変形例１として、判定工程において何れか１つの画像パターンを判定せずに、複数の画像パターンの組み合わせを判定する例を説明する。
　変形例１のステップＳ４（判定工程）では、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップＳ３で抽出された特徴量と各基準値との間の特徴量距離を算出し、当該距離が短い画像パターンが複数個選択される。好ましくは、特徴量距離が最も短いものから順に複数の画像パターンが選択される。選択された複数の画像パターンは、例えば特徴量距離によって重みづけされて、複数の画像パターンの組み合わせが判定される。
　次いで、変形例１のステップＳ５（設定工程）では、ステップＳ４の判定結果（複数の画像パターン及び特徴量距離の情報を含む）及び各画像パターンに設定されているパラメータを用いて、画像処理に用いるパラメータが設定される。
　図７は、２種類のパラメータＸ及びＹをそれぞれ軸とする２次元座標における、画像パターンＡ～Ｊにそれぞれ対応づけられたパラメータＡｐ～Ｊｐの例を示す。
　例えば、入力画像の特徴量が画像パターンＤ、Ｅ及びＨの特徴量の基準値の間であり、入力画像と画像パターンＤ、Ｅ及びＨの特徴量距離が短い場合、ステップＳ５（設定工程）では、画像パターンＤ、Ｅ及びＨとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータＤｐ、Ｅｐ、及びＨｐが内挿（補間）されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータＤｐ及びＥｐの点を通るベクトルと、パラメータＤｐ及びＨｐの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Ｐｐによって示される（図７参照）。
　また、例えば、入力画像と画像パターンＧ、Ｈ及びＪの特徴量距離が短い場合、ステップＳ５（設定工程）では、画像パターンＧ、Ｈ及びＪとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータＧｐ、Ｈｐ及びＪｐが内挿（補間）されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータＧｐ及びＨｐの点を通るベクトルと、パラメータＧｐ及びＪｐの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Ｑｐによって示される（図７参照）。
　また、入力画像の特徴量が画像パターンの範囲外である場合であっても、例えば、特徴量距離が短いＦ、Ｈ及びＩに対応するパラメータＦｐ、Ｈｐ及びＩｐの外挿により、入力画像のパラメータＲｐが設定される（図７参照）。
　なお、図７では２次元座標上のパラメータを例示したが、次元数（すなわち、パラメータの数）は任意である。また、内挿、外挿以外のアルゴリズムを用いてもよい。
　また、入力画像と画像パターンの特徴量距離の最短値が所定の値を超える場合にのみ、変形例１の判定工程及び設定工程を実施することとしてもよい。
　以上の変形例１により、ステップＳ３で抽出された特徴量と予め準備された画像パターンの特徴量のずれが大きい場合であっても、適切なパラメータを設定して画像処理を行うことができる。
（変形例２：分割工程を備えた画像処理）
　上記実施例において、入力画像を図８Ａのように複数の矩形に分割した分割画像を作成する工程（分割工程）を備えてもよい。分割の方法は任意であり、例えば、図８Ａのように分割された画像のうち、所定の特徴量を備えたもののみを分割画像としてもよい。
　変形例２の１態様によれば、例えば、実施例のステップＳ１～Ｓ２の工程の後、ステップＳ３（特徴量抽出工程）において分割画像ごとに特徴量が抽出される。次いで、ステップＳ４（判定工程）では、各分割画像の特徴量を用いて、分割画像ごとに画像パターン（分割画像パターン）が判定され、これらの分割画像パターンに基づいて入力画像全体の画像パターンが判定される。ステップＳ５以降の工程は、上記実施例と同様に行われる。
　本態様のステップＳ４では、例えば、図８Ｂのように、各分割画像パターンが図６の画像パターンＡ～Ｊの何れかに判定された後、最も多くの分割画像パターンとして判定された画像パターンＡが入力画像全体の画像パターンとして判定される。
　変形例２の上記態様によれば、例えば入力画像の一部にノイズがあった場合、ノイズを含む少数の分割画像のパターンは、全分割画像のパターンに対して数が少ないため、入力画像全体のパターンを判定する際に外れパターンとして無視されると考えられる。つまり、画像パターンの判定においてノイズの影響が低減されるため、適切な画像処理が可能となる。
　変形例２の別の態様によれば、例えば、実施例のステップＳ１～Ｓ２の工程の後、ステップＳ３（特徴量抽出工程）において分割画像ごとに特徴量が抽出される。次いで、ステップＳ４（判定工程）では、各分割画像の特徴量を用いて、図８Ｂのように分割画像ごとに画像パターンが判定され、ステップＳ５（設定工程）では、各分割画像のパターンに基づいて、画像処理に用いられるパラメータが分割画像ごとに設定される。ステップＳ６の工程においては、分割画像ごとに、上記実施例と同様の画像処理が行われる。
　変形例２の上記態様によれば、分割画像ごとに、適した画像処理を行うことができる。そのため、例えば、血管、結合組織、等の複数種類の組織が１つの入力画像に撮影されている場合でも、組織ごとに適した画像処理が可能となる。
（変形例３：機械学習を用いた判定工程）
　上記実施例のステップＳ４（判定工程）では、例えば、機械学習を用いて画像パターンが判定されることとしてもよい。機械学習は、例えば、ＳＶＭ、ランダムフォレスト、ディープラーニング等、公知の任意のものを用いることができる。
　ランダムフォレストは、機械学習アルゴリズムの一例であり、サンプルデータを用いたアンサンブル学習により作成された複数の決定木（識別性能の低い弱識別器）を用いて、高精度なパターン識別、クラスタリング、等が行われる。
　本発明においてランダムフォレストを用いる場合、例えば、入力画像の特徴量と画像パターン（例えば、図６のＡ～Ｊ）を対応付ける複数の決定木が予め準備される。各決定木は、特徴量が入力されると、該当する画像パターンを出力する。ステップＳ４（判定工程）では、まず、ステップＳ３で抽出された特徴量が各決定木に入力される。次いで、全ての決定木の出力結果の統計に基づいて、各画像パターンに該当する確率（スコア）が算出され、最大スコアとなる画像パターンが判定される。
　以上の変形例３のような機械学習を用いた画像パターン判定により、効率よく高精度な画像パターン判定が可能となる。
　なお、以上の本実施例及び変形例は本発明の好適な一例であり、これに限定されるものではない。
　各変形例は、適宜組み合わせて実行してもよい。例えば、変形例２の分割工程を備えた画像処理における各分割画像の画像パターン判定を、変形例３のように機械学習を用いて行ってもよい。
　また、本実施形態では、人体から採取した組織切片を撮影した画像の画像処理を行うことしたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞、血液（例えば、赤血球、白血球、血小板等の細胞）、尿沈渣等を使用することも可能である。
　また、本発明で行われる画像処理は、入力された画像から生体物質を示す画像を抽出する画像処理に限られるものではなく、例えば、生体物質の数の計測、生体物質の大きさ（面積、長径、等）の計測、生体物質の位置（例えば、各生体物質の重心等）の抽出、等、任意の画像処理が含まれる。
　上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
　その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　以上説明したように本発明の画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
　前記画像を入力する入力手段と、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
　を備えることを特徴とする。
　本発明の画像処理装置において、前記生体物質は、細胞核又は細胞膜であることが好ましい。
　本発明の画像処理装置において、前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ及び前記画像における生体物質の密度、の少なくとも一つであることが好ましい。
　本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
　前記判定手段は、前記画像の特徴量が属する画像パターンを判定することが好ましい。
　本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
　前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定することが好ましい。
　本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
　前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
　前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に２以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定することが好ましい。
　本発明の画像処理装置において、前記特徴量距離は、ユークリッド距離又はマハラノビス距離であることが好ましい。
　本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
　前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
　前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定することが好ましい。
　本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
　前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
　前記判定手段は、前記分割画像毎に画像パターンを判定し、
　前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
　前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行うことが好ましい。
　本発明の画像処理装置において、前記判定手段は、機械学習を用いて前記画像パターンを判定することが好ましい。
　本発明の画像処理装置において、前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた２値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ及び分割して抽出された１つの前記生体物質を統合する統合サイズ、の少なくとも１つを変化させるパラメータであることが好ましい。
　本発明の画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
　前記画像を入力する入力工程、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
　前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
　前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
　を備えることを特徴とする。
　本発明のプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
　前記画像を入力する入力手段、
　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
　として機能させることを特徴とする。
　本発明は、生体物質を撮影した画像の画像処理に利用することができる。
　１Ａ　顕微鏡画像取得装置
　２Ａ　画像処理装置
　３Ａ　ケーブル
　１０　病理診断支援システム
　２１　制御部（特徴量抽出手段、判定手段、設定手段、処理手段、分割手段）
　２２　操作部
　２３　表示部
　２４　通信Ｉ／Ｆ（入力手段）
　２５　記憶部
　２６　バス

Claims (13)

  1. 　生体物質が撮影された画像の画像処理を行う画像処理装置において、
    　前記画像を入力する入力手段と、
    　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
    　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
    　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
    　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記生体物質は、細胞核又は細胞膜である
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ、及び前記画像における生体物質の密度、の少なくとも一つである
    　ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
    　前記判定手段は、前記画像の特徴量が属する画像パターンを判定する
    　ことを特徴とする請求項１～３の何れか一項に記載の画像処理装置。
  5. 　前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
    　前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定する
    　ことを特徴とする請求項１～３の何れか一項に記載の画像処理装置。
  6. 　前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
    　前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
    　前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に２以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定する
    　ことを特徴とする請求項１～３の何れか一項に記載の画像処理装置。
  7. 　前記特徴量距離は、ユークリッド距離又はマハラノビス距離である
    　ことを特徴とする請求項５又は６に記載の画像処理装置。
  8. 　前記画像を分割して分割画像を作成する分割手段を備え、
    　前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
    　前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定する
    　ことを特徴とする請求項１～７の何れか一項に記載の画像処理装置。
  9. 　前記画像を分割して分割画像を作成する分割手段を備え、
    　前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
    　前記判定手段は、前記分割画像毎に画像パターンを判定し、
    　前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
    　前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行う
    　ことを特徴とする請求項１～７の何れか一項に記載の画像処理装置。
  10. 　前記判定手段は、機械学習を用いて前記画像パターンを判定する
    　ことを特徴とする請求項１～９の何れか一項に記載の画像処理装置。
  11. 　前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた２値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ、及び分割して抽出された１つの前記生体物質を統合する統合サイズ、の少なくとも１つを変化させるパラメータである
    　ことを特徴とする請求項１～１０の何れか一項に記載の画像処理装置。
  12. 　生体物質が撮影された画像の画像処理を行う画像処理方法において、
    　前記画像を入力する入力工程、
    　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
    　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
    　前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
    　前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
    　を備えることを特徴とする画像処理方法。
  13. 　生体物質が撮影された画像の画像処理を行うコンピュータを、
    　前記画像を入力する入力手段、
    　前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
    　前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
    　前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
    　前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
    　として機能させることを特徴とするプログラム。
PCT/JP2017/005610 2016-03-04 2017-02-16 画像処理装置、画像処理方法及びプログラム Ceased WO2017150194A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018503018A JPWO2017150194A1 (ja) 2016-03-04 2017-02-16 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-041750 2016-03-04
JP2016041750 2016-03-04

Publications (1)

Publication Number Publication Date
WO2017150194A1 true WO2017150194A1 (ja) 2017-09-08

Family

ID=59743875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005610 Ceased WO2017150194A1 (ja) 2016-03-04 2017-02-16 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2017150194A1 (ja)
WO (1) WO2017150194A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3477586A4 (en) * 2016-06-23 2019-05-01 Konica Minolta, Inc. PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
JP2019103412A (ja) * 2017-12-11 2019-06-27 憲隆 福永 胚選抜システム
JP2019141090A (ja) * 2019-05-07 2019-08-29 憲隆 福永 胚選抜システム
JP2021106329A (ja) * 2019-12-26 2021-07-26 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
WO2022107435A1 (ja) * 2020-11-20 2022-05-27 コニカミノルタ株式会社 画像解析方法、画像解析システム及びプログラム
JPWO2022259648A1 (ja) * 2021-06-09 2022-12-15
JP2023065352A (ja) * 2018-02-27 2023-05-12 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
WO2024024180A1 (ja) * 2022-07-26 2024-02-01 株式会社Ｓｃｒｅｅｎホールディングス 解析支援方法、プログラムおよび解析支援装置
WO2024195161A1 (ja) * 2023-03-22 2024-09-26 株式会社Ｓｃｒｅｅｎホールディングス 領域選定支援方法、領域選定支援装置およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
WO2013024600A1 (ja) * 2011-08-18 2013-02-21 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2013137635A (ja) * 2011-12-28 2013-07-11 Dainippon Screen Mfg Co Ltd 画像表示装置および画像表示方法
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
WO2013024600A1 (ja) * 2011-08-18 2013-02-21 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2013137635A (ja) * 2011-12-28 2013-07-11 Dainippon Screen Mfg Co Ltd 画像表示装置および画像表示方法
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890576B2 (en) 2016-06-23 2021-01-12 Konica Minolta, Inc. Image processing device, image processing method, and recording medium
EP3477586A4 (en) * 2016-06-23 2019-05-01 Konica Minolta, Inc. PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
JP2019103412A (ja) * 2017-12-11 2019-06-27 憲隆 福永 胚選抜システム
JP7458519B2 (ja) 2018-02-27 2024-03-29 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2023065352A (ja) * 2018-02-27 2023-05-12 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2019141090A (ja) * 2019-05-07 2019-08-29 憲隆 福永 胚選抜システム
JP7000379B2 (ja) 2019-05-07 2022-01-19 憲隆 福永 胚選抜システム
JP7418204B2 (ja) 2019-12-26 2024-01-19 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
JP2021106329A (ja) * 2019-12-26 2021-07-26 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
WO2022107435A1 (ja) * 2020-11-20 2022-05-27 コニカミノルタ株式会社 画像解析方法、画像解析システム及びプログラム
JPWO2022259648A1 (ja) * 2021-06-09 2022-12-15
WO2022259648A1 (ja) * 2021-06-09 2022-12-15 ソニーグループ株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム
JP7762363B2 (ja) 2021-06-09 2025-10-30 ソニーグループ株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム
WO2024024180A1 (ja) * 2022-07-26 2024-02-01 株式会社Ｓｃｒｅｅｎホールディングス 解析支援方法、プログラムおよび解析支援装置
WO2024195161A1 (ja) * 2023-03-22 2024-09-26 株式会社Ｓｃｒｅｅｎホールディングス 領域選定支援方法、領域選定支援装置およびプログラム

Also Published As

Publication number Publication date
JPWO2017150194A1 (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
US12530912B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US11151716B2 (en) Methods and systems for assessing cell morphology
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5822425B2 (ja) 顕微鏡像用に試料を染色する方法
JP5469070B2 (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
AU2016322966A1 (en) Methods and apparatus for detecting an entity in a bodily sample
US11062168B2 (en) Systems and methods of unmixing images with varying acquisition properties
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
JP7156361B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP5269637B2 (ja) 画像処理装置および画像処理プログラム
US12229948B2 (en) Sensitivity analysis for digital pathology
JPWO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
JP2010185858A (ja) 画像処理装置および画像処理プログラム
Sergeev et al. Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing
JP7762363B2 (ja) 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018503018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759665

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17759665

Country of ref document: EP

Kind code of ref document: A1