WO2025169549A1 - フォーカス状態評価方法、染色画像解析方法、および、コンピュータ読み取り可能なプログラム - Google Patents
フォーカス状態評価方法、染色画像解析方法、および、コンピュータ読み取り可能なプログラムInfo
- Publication number
- WO2025169549A1 WO2025169549A1 PCT/JP2024/038572 JP2024038572W WO2025169549A1 WO 2025169549 A1 WO2025169549 A1 WO 2025169549A1 JP 2024038572 W JP2024038572 W JP 2024038572W WO 2025169549 A1 WO2025169549 A1 WO 2025169549A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stained
- image
- focus
- focus state
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present invention relates to a technique for evaluating the focus state of a stained image obtained by immunostaining.
- the stained image When performing the above image analysis, the stained image must be in good focus to ensure the accuracy of the analysis. For this reason, the device that acquires the stained image uses an autofocus mechanism to adjust the focus of the stained image. It is also common to determine whether the focus of the stained image is good or bad.
- conventional autofocus methods achieve average focus for the entire stained image. Furthermore, conventional focus state determination determines the average focus state for the entire stained image.
- the stained region it is usually important to analyze the stained region (hereinafter also referred to as the "stained region"). Therefore, even if the entire stained image is in focus on average, if the focus state in the stained region is poor, the analysis accuracy may decrease. Such poor focus in the stained region is likely to occur, for example, when the proportion of the stained region in the stained image is relatively low. In this case, the focus is on, for example, an area in the stained image where no cells exist, or on the cell walls of unstained cells.
- Japanese Patent Application Laid-Open No. 2012-42668 discloses a technology for determining the defocus amount of a sample in an autofocus device using a phase-contrast optical system by focusing on the sample within the field of view.
- the microscope control device in Document 1 divides a pair of phase-contrast images acquired by the autofocus device into multiple local regions and determines the variance of brightness values in each local region.
- the set of local regions where the variance of brightness values is equal to or greater than a threshold is then considered to be the region in which the sample is imaged, and the phase difference between the pair of phase-contrast images for that region is calculated. Based on this phase difference, the amount of deviation between the position of the sample and the focal position of the microscope is calculated.
- the technology in Reference 1 is a technology that calculates the amount of deviation between the position of the sample and the focal position of the microscope using a pair of phase-contrast images with a phase difference before acquiring an image of the sample, and therefore does not meet this need.
- the present invention is directed to a technology for evaluating the focus state of stained images obtained by immunostaining, and aims to accurately evaluate the focus state of stained areas in stained images.
- Aspect 1 of the present invention is a focus state evaluation method for evaluating the focus state of an image stained by immunostaining, comprising the steps of: a) extracting a stained region from an image of a specimen stained by immunostaining; b) setting an evaluation region including the stained region in the stained image and performing masking to exclude an exclusion region that is a region other than the evaluation region, thereby obtaining an image to be processed; and c) examining the focus state for the evaluation region in the image to be processed and obtaining a focus evaluation value that indicates the focus state of the stained region.
- Aspect 3 of the present invention is the focus state evaluation method of aspect 2, wherein, when the pixel values of the edge are higher than the pixel values of the region other than the edge, the pixel value distribution comprises a first peak portion which is a peak portion in a region near the maximum pixel value, and a second peak portion which is a peak portion in a region where the pixel value is smaller than that of the first peak portion.
- the focus evaluation value is the ratio of the number of pixels included in the first peak portion to the number of pixels included in the second peak portion. The focus state of the dyed region improves as the focus evaluation value increases.
- Aspect 4 of the present invention is the focus state evaluation method of aspect 2, wherein, when the pixel values of the edge are lower than the pixel values of the area other than the edge, the pixel value distribution comprises a first peak portion which is a peak portion in an area near the minimum pixel value, and a second peak portion which is a peak portion in an area where the pixel value is higher than the first peak portion.
- the focus evaluation value is the ratio of the number of pixels included in the first peak portion to the number of pixels included in the second peak portion. The focus state of the dyed area improves as the focus evaluation value increases.
- Aspect 5 of the present invention is a focus state evaluation method according to any one of aspects 1 to 4, wherein step a) includes binarizing the stained image to obtain a binarized image.
- Step b) comprises: b1) performing noise removal processing on the binarized image; b2) setting the evaluation area in the binarized image and forming a mask image that masks the excluded area; and b3) obtaining the processed image by overlaying the mask image on the stained image.
- Aspect 6 of the present invention is a focus state evaluation method according to any one of aspects 1 to 4 (or any one of aspects 1 to 5), in which the evaluation region includes the dyed region and a peripheral region of a predetermined width extending from the boundary of the dyed region.
- Aspect 8 of the present invention is a focus state evaluation method according to any one of Aspects 1 to 4 (or any one of Aspects 1 to 7), in which focus evaluation values obtained by performing steps a), b), and c) on a plurality of stained images of the specimen having different focus states are compared, and one stained image having the best focus state is selected from the plurality of stained images.
- Aspect 9 of the present invention is a focus state evaluation method according to any one of Aspects 1 to 4 (or any one of Aspects 1 to 8), further comprising a step of performing color separation processing on the stained image prior to step a). In step a), the stained region is extracted from the stained image after the color separation processing.
- Aspect 10 of the present invention is a stained image analysis method for analyzing multiple stained images obtained by a multiple immunostaining method, comprising the steps of: d) acquiring a focus evaluation value of the stained region for each of the multiple stained images obtained by the multiple immunostaining method using the focus state evaluation method of any one of aspects 1 to 4 (or any one of aspects 1 to 9); and e) analyzing the multiple stained images in consideration of the focus evaluation value for each stained image.
- Aspect 11 of the present invention is a computer-readable program that causes a computer to evaluate the focus state of a stained image obtained by immunostaining. Execution of the program by a computer performs the following steps: a) extracting a stained region from an image of a specimen stained by immunostaining; b) performing mask processing on the stained image to exclude an exclusion region, which is an area other than the evaluation region that includes the stained region, to obtain a processed image; and c) examining the focus state for the evaluation region in the processed image and obtaining a focus evaluation value that indicates the focus state of the stained region.
- FIG. 10 is a diagram showing a configuration of an image display device according to an embodiment
- FIG. 2 is a block diagram showing a functional configuration of the image display device.
- FIG. 10 shows stained images.
- FIG. 10 is a diagram showing a flow of evaluation of the focus state of a stained image.
- FIG. 10 is a diagram showing a flow of evaluation of the focus state of a stained image.
- FIG. 10 is a diagram showing a binarized image.
- FIG. 10 is a diagram showing a mask image.
- FIG. 2 is a diagram showing a processed image.
- FIG. 10 is a diagram illustrating an example of a pixel value distribution.
- FIG. 10 is a diagram illustrating an example of a pixel value distribution.
- FIG. 10 is a diagram illustrating an example of a pixel value distribution.
- FIG. 10 is a diagram illustrating an example of a pixel value distribution.
- FIG. 10 is a diagram illustrating an example of a pixel value distribution.
- FIG. 1 shows the configuration of a computer that functions as a focus state evaluation device 1 according to one embodiment of the present invention.
- the focus state evaluation device 1 is a device that evaluates the focus state of a stained image of a biological specimen obtained by immunostaining.
- the focus state is an index that indicates the degree to which an object in the stained image is in focus. If the object is in focus, the focus state is considered to be good. On the other hand, if the object is not in focus (i.e., out of focus), the focus state is considered to be poor. Furthermore, the greater the deviation from focus from the object, the worse the focus state.
- FIG. 1 shows the configuration of a computer that functions as the focus state evaluation device 1.
- the computer has the configuration of a typical computer system, including a CPU 51, ROM 52, RAM 53, fixed disk 54, display 55, input unit 56, reading device 57, communication unit 58, GPU 59, and bus 50.
- the CPU 51 performs various arithmetic operations.
- the GPU 59 performs various arithmetic operations related to image processing.
- the ROM 52 stores basic programs.
- the RAM 53 stores various information.
- the fixed disk 54 stores information.
- the display 55 is a display unit that displays various information such as images.
- the program 572 is read in advance from the recording medium 571 via the reading device 57 and stored on the fixed disk 54.
- the program 572 may also be stored on the fixed disk 54 via a network.
- the CPU 51 and GPU 59 perform arithmetic processing using the RAM 53 and the fixed disk 54 in accordance with the computer-readable program 572.
- the CPU 51 and GPU 59 function as an arithmetic unit in the focus state evaluation device 1.
- Other components that function as arithmetic units may be employed in addition to the CPU 51 and GPU 59.
- FIG. 2 is a block diagram showing the functional configuration of the focus state evaluation device 1, which is realized by the above-mentioned computer executing arithmetic processing and the like in accordance with program 572.
- This functional configuration includes a memory unit 501, a dyed region extraction unit 502, an evaluation region setting unit 503, a mask image formation unit 504, a processed image acquisition unit 505, and a focus state evaluation unit 506. All or part of these functions may be realized by dedicated electrical circuits. These functions may also be realized by multiple computers.
- the memory unit 501 is primarily implemented by the RAM 53 and fixed disk 54. Furthermore, the stained area extraction unit 502, evaluation area setting unit 503, mask image formation unit 504, processed image acquisition unit 505, and focus state evaluation unit 506 are implemented by the CPU 51, GPU 59, ROM 52, RAM 53, fixed disk 54, and their peripheral components.
- the memory unit 501 pre-stores stained images of a biological specimen (hereinafter simply referred to as "specimen").
- Figure 3 is a diagram schematically showing an example of a stained image 91 of a specimen stored in the memory unit 501.
- the stained image 91 is an image obtained by capturing an image of a specimen stained by immunostaining.
- Figure 3 depicts the stained image 91 at a lower resolution (i.e., with a larger pixel size) than the actual stained image 91.
- Stained image 91 is, for example, a single-stained image captured after staining a specimen using a single staining method.
- This staining method is, for example, a staining method using a CD45 antibody that detects CD45 protein, which is one of the CD classifications.
- stained image 91 shows cells detected by the CD45 antibody, among the many cells contained in the specimen, stained in a single color.
- the specimen may be stained using various staining methods that use antibodies, or may be stained using various staining methods that do not use antibodies.
- the stained image 91 shown in Figure 3 includes two stained regions 92.
- the stained regions 92 are regions where cells stained by the staining method described above are clustered.
- the stained regions 92 are indicated by hatched lines.
- regions other than the stained regions 92 are regions where no cells originally existed, or regions where unstained cells that are not stained by the staining method are present.
- FIGs 4A and 4B are diagrams showing the flow of evaluation of the focus state of a stained image 91 by the focus state evaluation device 1.
- a specimen stained by immunostaining is first imaged in a device other than the focus state evaluation device 1 (for example, a microscope device, etc.) to obtain a stained image 91.
- the stained image 91 is sent to the memory unit 501 (see Figure 2) of the focus state evaluation device 1 and stored in the memory unit 501 ( Figure 4A: step S11).
- the focus state evaluation device 1 may be part of the microscope device, etc., described above.
- step S12 color separation processing is performed using a known method, for example, so that the pixel values (i.e., luminance values) of the stained region 92 are increased. In this case, the pixel values of the stained region 92 in the stained image 91 after the color separation processing are higher than the pixel values of the areas other than the stained region 92.
- the pixel values (i.e., luminance values) of the stained region 92 are decreased, the pixel values of the stained region 92 in the stained image 91 after the color separation processing are lower than the pixel values of the areas other than the stained region 92.
- the color separation processing may be performed using commercially available image analysis software.
- the stained image 91 after the color separation processing is an image expressed in 256 levels, with the minimum and maximum pixel values being 0 and 255, respectively.
- the evaluation area setting unit 503 binarizes the stained image 91 after color separation processing, obtaining a binary image.
- the binary image is then subjected to noise removal processing (step S14).
- This noise removal processing may be performed using various known techniques, such as expansion/contraction processing or a median filter. For example, if the stained area 92 is represented in black on the binary image, the size of each black area may be measured, and areas below a predetermined size may be removed as noise (i.e., changed to white).
- the size of each white area may be measured, and areas below a predetermined size may be removed as noise (i.e., changed to black).
- This noise removal processing may be performed using commercially available image analysis software.
- evaluation regions 94 including each stained region 92 are set in the binarized image 93 of the stained image 91 shown in Figure 5 (step S15).
- two evaluation regions 94 each including two stained regions 92 are set on the binarized image 93.
- the outer edges of the evaluation regions 94 are indicated by two-dot chain lines.
- Each evaluation region 94 includes one entire stained region 92.
- Each evaluation region 94 includes the stained region 92 and a peripheral region 941 extending around the stained region 92.
- the peripheral region 941 is a region that extends from the boundary 921 of the stained region 92 around the entire periphery of the stained region 92 by a predetermined width (i.e., a predetermined number of pixels) into the background region 95 outside the stained region 92.
- the peripheral region 941 is the portion of the background region 95, which is the region other than the stained region 92, that is located around the entire periphery of the stained region 92.
- the peripheral region 941 is a region that extends two pixels outward from the boundary 921 between the dyed region 92 and the background region 95.
- step S14 may be performed between step S15 and step S16, which will be described later.
- a mask image 97 that masks the exclusion area 96 which is the area of the binarized image 93 other than the evaluation area 94, is formed by the mask image forming unit 504 (see FIG. 2) (step S16).
- the exclusion area 96 of the mask image 97 is marked with diagonal lines (the same applies to FIG. 7).
- the exclusion area 96 is changed to white (i.e., a pixel value of 255).
- the exclusion area 96 is changed to black (i.e., a pixel value of 0) by the masking process.
- the focus state evaluation unit 506 examines the focus state for the evaluation region 94 of the processed image 98, and obtains a focus evaluation value indicating the focus state of the stained region 92 (step S18).
- edges located within each evaluation region 94 of the processed image 98 are extracted.
- the edges refer to regions in each evaluation region 94 where there is a significant change in color and/or brightness.
- the edges include the boundary 921 of the dyed region 92.
- the edges may also exist within the dyed region 92 (i.e., the region inside the boundary 921 of the dyed region 92).
- the edges may be extracted by applying a known edge extraction filter, such as a Sobel filter or Laplacian filter, to the processed image 98.
- the edges may also be extracted using other known edge extraction methods. Alternatively, if edges were extracted when the evaluation region 94 was set (step S15), those edges may be used.
- a pixel value distribution indicating the distribution of pixel values related to the edge is obtained ( Figure 4B: step S181).
- This pixel value distribution indicates the magnitude of change in brightness values near the edge (i.e., the edge portion), and can be obtained using a variety of methods.
- the above-mentioned edge extraction filter is applied to the processed image 98, and the distribution of pixel values for all pixels in the generated edge image (i.e., an image of the edge degree in the processed image 98) is obtained as the pixel value distribution.
- an edge pixel group 923 which is a collection of multiple edge pixels 922 that make up an edge
- the pixel value (i.e., luminance value) of each edge pixel 922 is obtained.
- the distribution of pixel values of the edge pixels 922 in the edge pixel group 923 may be obtained as the pixel value distribution. Note that in FIG. 7, only the edge pixels 922 out of the pixels that make up the processed image 98 are shown as small rectangles.
- FIG. 8 shows an example of the pixel value distribution calculated in step S181.
- the graph shown in FIG. 8 is a histogram showing the distribution of pixel values for all pixels in the edge image described above. In this edge image, pixel values at edges are higher than pixel values in areas other than the edges.
- the horizontal axis of the histogram represents pixel values, and the vertical axis represents the number of pixels corresponding to the pixel values.
- the histogram includes a peak portion in an area near the maximum pixel value (hereinafter also referred to as a "first peak portion 924"), and another peak portion in an area with a pixel value smaller than the first peak portion 924 (hereinafter also referred to as a "second peak portion 925"). Note that, as described above, when the distribution of pixel values of edge pixels 922 in edge pixel group 923 is calculated as a pixel value distribution, a histogram substantially similar to that shown in FIG. 8 is obtained.
- the first peak portion 924 is a portion where the number of pixels (i.e., the number of pixels corresponding to each pixel value) forms a peak that is generally upwardly convex within a pixel value range of a predetermined width near the maximum value of the gradation (i.e., 255) that represents the processed image 98.
- the first peak portion 924 is the portion where the fitted curve monotonically increases as the pixel value increases, reaches the maximum number of pixels, and then monotonically decreases as the pixel value increases.
- the first peak portion 924 mainly corresponds to pixels near the edge that are in good focus (i.e., in focus).
- the width of the pixel value range of the first peak portion 924 (i.e., the difference between the maximum pixel value and the minimum pixel value in the pixel value range) is set arbitrarily, for example, within a range of 10 to 30 gradations.
- the pixel value range is preferably set so that the pixel value with the largest number of pixels in the first peak portion 924 is approximately in the center of the pixel value range.
- the first peak portion 924 is a portion corresponding to a pixel value range of 230 to 250, and the width of the pixel value range of the first peak portion 924 is 20 gradations.
- the pixel value range corresponding to the first peak portion 924 is set, for example, between the maximum pixel value (i.e., 255) and 204, which is 80% of the maximum value.
- the pixel value range corresponding to the first peak portion 924 does not include the maximum pixel value (i.e., 255).
- the second peak portion 925 is located in a region where the pixel value is smaller than the pixel value range corresponding to the first peak portion 924 (e.g., 230-250). Similar to the first peak portion 924, the second peak portion 925 is a portion of a pixel value range of a predetermined width where the number of pixels forms a peak that is generally upwardly convex. For example, when the number of pixels in the pixel value range of the predetermined width is curve-fitted using the least squares method or the like, the second peak portion 925 is a portion where the fitted curve monotonically increases as the pixel value increases, reaches a maximum number of pixels, and then monotonically decreases as the pixel value increases.
- the second peak portion 925 mainly corresponds to pixels near the edge that are poorly focused (i.e., out of focus).
- the second peak portion 925 is typically lower than the first peak portion 924.
- the maximum number of pixels in the second peak portion 925 is typically smaller than the maximum number of pixels in the first peak portion 924.
- the width of the pixel value range of second peak portion 925 (i.e., the difference between the maximum pixel value and the minimum pixel value in the pixel value range) is set arbitrarily, for example, within a range of 10 to 30 gradations. It is preferable to set the pixel value range so that the pixel value with the largest number of pixels in second peak portion 925 is approximately in the center of the pixel value range.
- second peak portion 925 is the portion corresponding to the pixel value range of 110 to 130, and the width of the pixel value range of second peak portion 925 is 20 gradations.
- the width of the pixel value range of second peak portion 925 is the same as the width of the pixel value range of first peak portion 924, but may be different.
- the pixel value range corresponding to second peak portion 925 does not include the minimum pixel value (i.e., 0).
- a focus evaluation value indicating the focus state of the dyed region 92 is obtained based on the pixel value distribution (step S182). Specifically, the number of pixels included in the first peak portion 924 and the number of pixels included in the second peak portion 925 are determined. Then, a value (hereinafter also referred to as the "edge pixel number ratio") is calculated by dividing the number of pixels in the first peak portion 924 by the number of pixels in the second peak portion 925, and this edge pixel number ratio is used as the focus evaluation value.
- the edge pixel number ratio is the ratio of the number of pixels included in the first peak portion 924 to the number of pixels included in the second peak portion 925.
- the edge pixel number ratio (i.e., focus evaluation value) in the pixel value distribution described above will be large.
- the edge pixel number ratio (i.e., focus evaluation value) in the pixel value distribution described above will be small. In other words, if the focus state of stained region 92 in stained image 91 is good, the edge pixel number ratio will be large, and if the focus state is poor, the edge pixel number ratio will be small.
- the pixel value distribution shown in Figure 8 above has a relatively large number of pixels in good focus and corresponds to a stained image 91 that is suitable for image analysis.
- the pixel value distribution shown in Figure 9 has a relatively large number of pixels in poor focus and corresponds to a stained image 91 that is not very suitable for image analysis.
- the difference between the maximum number of pixels in the first peak portion 924 and the maximum number of pixels in the second peak portion 925 is smaller than in the pixel value distribution shown in Figure 8.
- the pixel value distribution obtained in step S181 is not necessarily limited to the histograms shown in FIGS. 8 and 9.
- the histograms shown in FIGS. 10 and 11 are obtained.
- FIGS. 10 and 11 correspond to the histograms shown in FIGS. 8 and 9, respectively.
- the horizontal axis of the histograms shown in FIGS. 10 and 11 represents the pixel value, and the vertical axis represents the number of pixels corresponding to that pixel value.
- first peak 924 which is a peak in the area near the minimum pixel value
- second peak 925 which is another peak in the area where the pixel value is higher than the first peak 924.
- the first peak portion 924 is a portion where the number of pixels (i.e., the number of pixels corresponding to each pixel value) forms a peak that is generally convex upward in a pixel value range of a predetermined width near the minimum value (i.e., 0) of the gradation representing the processed image 98.
- the first peak portion 924 is the portion where the fitted curve monotonically increases as the pixel value increases, reaches a maximum number of pixels, and then monotonically decreases as the pixel value increases.
- the first peak portion 924 mainly corresponds to pixels near the edge that are in good focus (i.e., in focus).
- the width of the pixel value range of first peak portion 924 (i.e., the difference between the maximum pixel value and the minimum pixel value in the pixel value range) is set arbitrarily, for example, within a range of 10 to 30 gradations. It is preferable to set the pixel value range so that the pixel value with the largest number of pixels in first peak portion 924 is approximately in the center of the pixel value range.
- first peak portion 924 is a portion corresponding to a pixel value range of 5 to 25, and the width of the pixel value range of first peak portion 924 is 20 gradations.
- the pixel value range corresponding to first peak portion 924 is set, for example, between the minimum pixel value (i.e., 0) and 51, which is 20% of the maximum pixel value (i.e., 255).
- the pixel value range corresponding to first peak portion 924 does not include the minimum pixel value (i.e., 0).
- the second peak portion 925 mainly corresponds to pixels near the edge that are poorly focused (i.e., out of focus).
- the second peak portion 925 is typically lower than the first peak portion 924.
- the maximum number of pixels in the second peak portion 925 is typically smaller than the maximum number of pixels in the first peak portion 924.
- the width of the pixel value range of the second peak portion 925 (i.e., the difference between the maximum pixel value and the minimum pixel value in the pixel value range) is set arbitrarily, for example, within a range of 10 to 30 gradations. It is preferable to set the pixel value range so that the pixel value with the largest number of pixels in the second peak portion 925 is approximately in the center of the pixel value range.
- the second peak portion 925 is a portion corresponding to a pixel value range of 125 to 145, and the width of the pixel value range of the second peak portion 925 is 20 gradations.
- the width of the pixel value range of the second peak portion 925 is the same as the width of the pixel value range of the first peak portion 924, but may be different.
- the pixel value range corresponding to the second peak portion 925 does not include the maximum pixel value (i.e., 255).
- a focus evaluation value indicating the focus state of the dyed region 92 is obtained based on the pixel value distribution, as described above (step S182). Specifically, the number of pixels included in the first peak portion 924 and the number of pixels included in the second peak portion 925 are determined. Then, the number of pixels in the first peak portion 924 is divided by the number of pixels in the second peak portion 925 to calculate a value (i.e., the edge pixel number ratio), and this edge pixel number ratio is used as the focus evaluation value.
- the edge pixel number ratio is the ratio of the number of pixels included in the first peak portion 924 to the number of pixels included in the second peak portion 925.
- a pixel value range (e.g., a pixel value range of 120 to 190) is selected from the pixel value distribution shown in FIG. 8 that is greater than the pixel value indicating the maximum number of pixels in the second peak 925 and in which the number of pixels generally decreases as the pixel value increases. Then, within this pixel value range, the slope of the number of pixels relative to the pixel value is obtained by linear approximation, and this slope is obtained as the focus evaluation value. In this case, the focus evaluation value is a negative value.
- the focus state in the stained region 92 of the stained image 91 is good, and if the absolute value of the focus evaluation value is relatively small, the focus state is poor. This is because a poor focus state tends to result in a small number of pixels in the region between the first peak 924 and the second peak 925.
- the focus state evaluation method for evaluating the focus state of a stained image 91 using immunostaining includes the steps of extracting a stained region 92 from the stained image 91 of a specimen using immunostaining (step S13), setting an evaluation region 94 including the stained region 92 in the stained image 91 and performing masking to exclude an exclusion region 96, which is an area other than the evaluation region 94, to obtain a processed image 98 (steps S15 to S17), and examining the focus state for the evaluation region 94 in the processed image 98 to obtain a focus evaluation value indicating the focus state of the stained region 92 (step S18).
- stained image 91 the cell walls of many unstained cells (i.e., unstained cells) are generally present in exclusion region 96. Because these cell walls have high contrast, if these cell walls are included in the focus state considerations, as in the past, stained image 91 in which the cell walls are in focus is likely to be judged to have a good focus state. However, when analyzing stained image 91, the stained region 92 is the analysis target. Therefore, it is inappropriate to judge stained image 91 in which the cell walls of unstained cells are in focus as having a good focus state, regardless of whether stained region 92 is in focus or not.
- a mask process is performed on the exclusion region 96 of the stained image 91 (i.e., the region other than the evaluation region 94), and the exclusion region 96 is essentially excluded from consideration of the focus state. This eliminates the influence of cell walls and the like of unstained cells present in the exclusion region 96 (i.e., the influence of parts unnecessary for analysis of the stained image 91), allowing the focus state of the stained region 92 to be evaluated with high accuracy.
- the number of pixels to be analyzed in the stained image 91 is reduced, and therefore the amount of processing (i.e., the amount of calculation) required for evaluating the focus state can also be reduced.
- the above-mentioned step of acquiring the focus evaluation value preferably includes a step of extracting the edges of the stained region 92 from the processed image 98 and determining a pixel value distribution indicating the distribution of pixel values associated with the edges (step S181), and a step of acquiring the focus evaluation value based on the pixel value distribution (step S182).
- the focus evaluation value can be suitably acquired.
- the amount of processing i.e., the amount of calculation
- the pixel value distribution has a first peak portion 924, which is a peak portion in a region near the maximum pixel value, and a second peak portion 925, which is a peak portion in a region where the pixel value is smaller than that of the first peak portion 924.
- the focus evaluation value is preferably the ratio of the number of pixels included in the first peak portion 924 to the number of pixels included in the second peak portion 925 (i.e., the edge pixel number ratio).
- the focus state of the dyed region 92 improves as the focus evaluation value increases. This makes it possible to obtain a focus evaluation value that can preferably indicate the focus state of the dyed region 92.
- the pixel value distribution has a first peak portion 924, which is a peak in a region near the minimum pixel value, and a second peak portion 925, which is a peak in a region where the pixel value is higher than the first peak portion 924.
- the focus evaluation value is preferably the ratio of the number of pixels included in the first peak portion 924 to the number of pixels included in the second peak portion 925 (i.e., the edge pixel number ratio).
- the focus state of the dyed region 92 improves as the focus evaluation value increases. As described above, this makes it possible to obtain a focus evaluation value that can preferably indicate the focus state of the dyed region 92.
- the step of extracting the stained region 92 preferably includes a step of binarizing the stained image 91 to obtain a binarized image 93.
- the step of obtaining the above-described processed image 98 preferably includes a step of performing a noise removal process on the binarized image 93 (step S14), a step of setting an evaluation region 94 in the binarized image 93 and forming a mask image 97 that masks the exclusion region 96 (steps S15-S16), and a step of obtaining the processed image 98 by overlaying the mask image 97 on the stained image 91 (step S17).
- the focus state of the stained region 92 can be evaluated with even greater accuracy.
- the extraction of the stained region 92 in step S13 may be performed by various known methods other than binarizing the stained image 91.
- the evaluation region 94 include the stained region 92 and a peripheral region 941 of a predetermined width that extends from the boundary 921 of the stained region 92 to the periphery. This increases the contrast of the boundary 921 of the stained region 92, allowing for more accurate evaluation of the focus state of the stained region 92. In addition, it is possible to prevent or suppress weakly stained areas on the periphery of stained cells from being included in the exclusion region 96 and being ignored when evaluating the focus state. As a result, it is possible to more accurately evaluate the focus state of the stained region 92.
- the focus state evaluation method further includes a step (step S12) of performing color separation processing on the stained image 91 before step S13.
- step S13 a stained region 92 is extracted from the stained image 91 after the color separation processing.
- step S13 a stained image 91 from which a specific color tone to be analyzed has been extracted is used, and therefore the stained region 92 can be suitably extracted from the stained image 91.
- program 572 is a computer-readable program that causes a computer to evaluate the focus state of a stained image obtained by immunostaining. Execution of program 572 by a computer performs the following steps: extracting a stained region 92 from an image 91 of a specimen stained by immunostaining (step S13); performing masking processing on the stained image 91 to exclude an exclusion region 96, which is an area other than an evaluation region 94 that includes the stained region 92, to obtain a processed image 98 (steps S15-S17); and examining the focus state for the evaluation region 94 in the processed image 98 to obtain a focus evaluation value that indicates the focus state of the stained region 92 (step S18). This allows the focus state of the stained region 92 to be evaluated with high accuracy, as described above.
- step S18 one focus evaluation value is obtained for one stained image 91, but this is not limited to this.
- a focus evaluation value may be obtained for each of multiple divided regions obtained by dividing one stained image 91.
- steps S12 to S17 are performed on one stained image 91 in the same manner as described above to obtain one processed image 98.
- the processed image 98 is divided into multiple divided regions 991.
- the processed image 98 is divided into 12 divided regions 991 arranged in a matrix in the vertical and horizontal directions in the figure.
- Each divided region 991 is, for example, a square in shape.
- Each divided region 991 is, for example, larger than each pixel that makes up the processed image 98 or the stained image 91.
- each divided region 991 includes multiple pixels.
- each divided region 991 is, for example, larger than each cell included in the stained image 91.
- each divided region 991 may have various shapes other than a square (for example, a rectangle).
- the focus state evaluation device 1 generates a processed stained image 99 in which, of the multiple divided regions 991 in the stained image 91, divided regions 991 whose focus evaluation values are less than the above-described evaluation threshold are hidden, and only divided regions 991 whose focus evaluation values are equal to or greater than the evaluation threshold are displayed.
- the processed stained image 99 is displayed, for example, on the display 55 (see Figure 1).
- the operator of the focus state evaluation device 1 can observe only the displayed divided area 991 of the processed stained image 99 displayed on the display 55. Therefore, the operator can analyze only the divided area 991 of the stained image 91 that has a good focus state, allowing for efficient analysis of the stained image 91.
- steps S12 to S17 are performed collectively for one stained image 91, and step S18 is performed individually for each divided region 991, but this is not limited to this.
- the stained image 91 may be divided into multiple divided regions 991, and steps S12 to S18 may be performed for each divided region 991 to obtain a focus evaluation value for each divided region 991.
- step S18 a focus evaluation value is obtained for each of a plurality of divided regions 991 obtained by dividing the stained image 91. Then, it is preferable that a processed stained image 99 is generated in which, of the plurality of divided regions 991 of the stained image 91, divided regions 991 whose focus evaluation value is less than a predetermined threshold value (i.e., the evaluation threshold value) are not displayed. This makes it possible to observe only the regions in the stained image 91 that are in good focus.
- a predetermined threshold value i.e., the evaluation threshold value
- the focus state evaluation device 1 described above can also be used to analyze multiple stained images 91 acquired by multiple immunostaining.
- Figure 14 shows the flow of this analysis.
- multiple stained images 91 acquired by sequential multiple immunostaining are prepared (step S31).
- Sequential multiple immunostaining is a multiple immunostaining method in which immunostaining, observation (e.g., imaging), and color removal for a single specimen are repeated multiple times while changing the antibodies, etc. used for immunostaining.
- the focus state evaluation device 1 acquires a focus evaluation value for the stained region 92 for each of the plurality of stained images 91 (step S32).
- the method for acquiring the focus evaluation value by the focus state evaluation device 1 is the same as in steps S12 to S18 described above.
- the plurality of stained images 91 are analyzed taking into account the focus evaluation value for each stained image 91 (step S33).
- the above-mentioned multiple divided regions 991 are set in each stained image 91, and a focus evaluation value is obtained for each of the multiple divided regions 991. Then, for each divided region 991, the focus evaluation values of the multiple stained images 91 are compared with an evaluation threshold, and only divided regions 991 for which the focus evaluation values of all stained images 91 are equal to or greater than the evaluation threshold are extracted as divided regions 991 suitable for analysis. For example, the above-mentioned multiple stained images 91 obtained by the sequential multiple immunostaining method are displayed on the display 55 of the focus state evaluation device 1, with only the divided regions 991 suitable for analysis being displayed and the other divided regions 991 not being displayed.
- the stained image analysis method for analyzing multiple stained images 91 acquired by the multiple immunostaining method includes a step (step S32) of acquiring a focus evaluation value for each of the multiple stained images 91 acquired by the multiple immunostaining method using the focus state evaluation method described above, and a step (step S33) of analyzing the multiple stained images 91 while taking into account the focus evaluation value for each stained image 91. This allows for optimal analysis of the multiple stained images 91 acquired by the multiple immunostaining method.
- the focus state evaluation device 1 described above may be incorporated into a microscope device that acquires stained images 91 of a specimen, and may be used for autofocusing the microscope device. For example, when a stained image 91 of a specimen is captured in the microscope device, the focus adjustment mechanism of the microscope device is first driven to provisionally acquire multiple stained images of the specimen with different focus states.
- provisionally acquired images will also be referred to as “provisionally acquired images.”
- the focus state evaluation device 1 performs the above-described steps S12 to S18 for each of the multiple provisionally acquired images, and obtains a focus evaluation value for each provisionally acquired image. Next, the focus evaluation values of the multiple provisionally acquired images are compared, and the one provisionally acquired image with the best focus state is selected from the multiple provisionally acquired images.
- the microscope device acquires that one provisionally acquired image as a stained image 91 of the specimen.
- a predetermined threshold for example, the evaluation threshold described above
- focus adjustment is performed to improve the focus state based on the focus evaluation values of the multiple provisionally acquired images, and then multiple new provisionally acquired images are acquired.
- steps S12 to S18 are performed on the multiple new provisionally acquired images in the same manner as above, the focus evaluation values of each acquired provisionally acquired image are compared, and the one provisionally acquired image with the best focus state is selected.
- the microscope device repeats the process of acquiring the above-described multiple provisionally acquired images, comparing the focus evaluation values acquired in steps S12 to S18, and selecting one provisionally acquired image until a stained image 91 with a focus evaluation value equal to or greater than a predetermined threshold is acquired.
- the microscope device incorporating the focus state evaluation device 1 can capture a stained image 91 with a good focus state of the stained region 92.
- step S14 (noise removal processing) does not necessarily have to be performed and may be omitted.
- step S17 the masking process for excluding the exclusion region 96 of the stained image 91 does not necessarily have to be performed by superimposing a mask image 97 on the stained image 91, but may be performed using various known techniques. In this case, the formation of the mask image 97 may be omitted.
- the stained image 91 does not necessarily have to be a single-color image; for example, it may be a multicolor image in which multiple types of antibodies are used on a single specimen.
- the color separation process in step S12 may extract a color tone corresponding to a single selected antibody.
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
免疫染色法による染色画像のフォーカス状態を評価するフォーカス状態評価方法は、免疫染色法による標本の染色画像から染色領域を抽出する工程(ステップS13)と、染色画像に対して染色領域を含む評価領域を設定し、評価領域以外の領域である除外領域を除外するマスク処理を行って被処理画像を取得する工程(ステップS15~S17)と、被処理画像において評価領域に対するフォーカス状態の検討を行い、染色領域のフォーカス状態を示すフォーカス評価値を取得する工程(ステップS18)と、を備える。これにより、染色画像において染色領域のフォーカス状態を精度良く評価することができる。
Description
本発明は、免疫染色法による染色画像のフォーカス状態を評価する技術に関する。
[関連出願の参照]
本願は、2024年2月7日に出願された日本国特許出願JP2024-017089からの優先権の利益を主張し、当該出願の全ての開示は、本願に組み込まれる。
[関連出願の参照]
本願は、2024年2月7日に出願された日本国特許出願JP2024-017089からの優先権の利益を主張し、当該出願の全ての開示は、本願に組み込まれる。
近年、医学研究や生物学研究において、疾患メカニズムの解明や生体メカニズムの解明、薬剤作用機序解明等を目的として、組織標本や細胞標本等の生体由来標本のシングルセル単位の解析が実施されている。例えば、免疫染色解析においては、タンパク質等の生体由来物質を染色した染色画像を取得し、画像解析によって染色状態を計測することで定量的・定性的な解析が行われている。
上記画像解析を行う場合、解析の正確性を担保するために、染色画像のフォーカス状態が良好である必要がある。このため、染色画像を取得する装置において、オートフォーカス機構によって染色画像のフォーカスを合わせることが行われている。また、染色画像のフォーカス状態の良否を判定することも行われている。
ところで、従来のオートフォーカス手法では、染色画像の全体に対して平均的にフォーカスを合わせている。また、従来のフォーカス状態判定では、染色画像の全体について平均的なフォーカス状態が判定されている。しかしながら、染色画像の解析においては、通常、染色された領域(以下、「染色領域」とも呼ぶ。)を解析することが重要であるため、染色画像全体が平均的にフォーカスが合った状態であっても、染色領域におけるフォーカス状態が良好でないと、解析精度が低下するおそれがある。このような染色領域におけるフォーカス不良は、例えば、染色画像中に占める染色領域の割合が比較的低い場合に生じやすい。この場合、フォーカスは、例えば、染色画像中において細胞が存在しない領域や、染色されていない細胞の細胞壁等に合う。
そこで、特開2012-42668号公報(文献1)では、位相差光学系を用いたオートフォーカス装置において、視野内におけるサンプルに注目して当該サンプルのデフォーカス量を求める技術が開示されている。具体的には、文献1の顕微鏡制御装置では、オートフォーカス装置において取得された一対の位相差像を複数の局所領域に分割し、各局所領域における輝度値の分散を求める。そして、当該輝度値の分散が閾値以上となる局所領域の集合を、サンプルが撮像されている領域として、当該領域について一対の位相差像間の位相差を算出し、当該位相差に基づいてサンプルの位置と顕微鏡の焦点位置とのずれ量を算出する。
ところで、上述のような免疫染色解析では、予め取得した染色画像において、染色領域が解析に適したフォーカス状態であるか否かを判定したい、という要望が存在する。文献1の技術は、上述のように、サンプルの画像を取得するよりも前に、位相差を有する一対の異相差像を用いてサンプルの位置と顕微鏡の焦点位置とのずれ量を算出する技術であるため、上記要望には応えられない。
本発明は、免疫染色法による染色画像のフォーカス状態を評価する技術に向けられており、染色画像において染色領域のフォーカス状態を精度良く評価することを目的としている。
本発明によれば、染色画像において染色領域のフォーカス状態を精度良く評価することができる。
本発明の態様1は、免疫染色法による染色画像のフォーカス状態を評価するフォーカス状態評価方法であって、a)免疫染色法による標本の染色画像から染色領域を抽出する工程と、b)前記染色画像に対して前記染色領域を含む評価領域を設定し、前記評価領域以外の領域である除外領域を除外するマスク処理を行って被処理画像を取得する工程と、c)前記被処理画像において前記評価領域に対するフォーカス状態の検討を行い、前記染色領域のフォーカス状態を示すフォーカス評価値を取得する工程と、を備える。
本発明の態様2は、態様1のフォーカス状態評価方法であって、前記c)工程は、c1)前記被処理画像から前記染色領域のエッジを抽出して前記エッジに係る画素値の分布を示す画素値分布を求める工程と、c2)前記画素値分布に基づいて前記フォーカス評価値を取得する工程と、を備える。
本発明の態様3は、態様2のフォーカス状態評価方法であって、前記エッジの画素値が前記エッジ以外の領域の画素値よりも高い状態において、前記画素値分布は、画素値の最大値近傍の領域におけるピーク部である第1ピーク部と、前記第1ピーク部よりも画素値が小さい領域におけるピーク部である第2ピーク部と、を備える。前記フォーカス評価値は、前記第2ピーク部に含まれる画素の個数に対する前記第1ピーク部に含まれる画素の個数の割合である。前記染色領域のフォーカス状態は、前記フォーカス評価値が大きくなるに従って良くなる。
本発明の態様4は、態様2のフォーカス状態評価方法であって、前記エッジの画素値が前記エッジ以外の領域の画素値よりも低い状態において、前記画素値分布は、画素値の最小値近傍の領域におけるピーク部である第1ピーク部と、前記第1ピーク部よりも画素値が大きい領域におけるピーク部である第2ピーク部と、を備える。前記フォーカス評価値は、前記第2ピーク部に含まれる画素の個数に対する前記第1ピーク部に含まれる画素の個数の割合である。前記染色領域のフォーカス状態は、前記フォーカス評価値が大きくなるに従って良くなる。
本発明の態様5は、態様1ないし4のいずれか1つのフォーカス状態評価方法であって、前記a)工程は、前記染色画像を二値化して二値化画像を取得する工程を含む。前記b)工程は、b1)前記二値化画像に対してノイズ除去処理を行う工程と、b2)前記二値化画像に対して前記評価領域を設定し、前記除外領域をマスクするマスク画像を形成する工程と、b3)前記染色画像に前記マスク画像を重ね合わせることにより前記被処理画像を取得する工程と、を備える。
本発明の態様6は、態様1ないし4のいずれか1つ(態様1ないし5のいずれか1つ、であってもよい。)のフォーカス状態評価方法であって、前記評価領域は、前記染色領域と、前記染色領域の境界から周囲に広がる所定幅の周辺領域と、を含む。
本発明の態様7は、態様1ないし4のいずれか1つ(態様1ないし6のいずれか1つ、であってもよい。)のフォーカス状態評価方法であって、前記c)工程において、前記染色画像を分割した複数の分割領域のそれぞれについて前記フォーカス評価値が取得される。前記染色画像の前記複数の分割領域のうち、前記フォーカス評価値が所定の閾値未満である分割領域を非表示とした加工済み染色画像が生成される。
本発明の態様8は、態様1ないし4のいずれか1つ(態様1ないし7のいずれか1つ、であってもよい。)のフォーカス状態評価方法であって、フォーカス状態が異なる前記標本の複数の染色画像について、前記a)工程、前記b)工程および前記c)工程が行われて取得されたフォーカス評価値が比較され、前記複数の染色画像からフォーカス状態が最も良好な1つの染色画像が選出される。
本発明の態様9は、態様1ないし4のいずれか1つ(態様1ないし8のいずれか1つ、であってもよい。)のフォーカス状態評価方法であって、前記a)工程よりも前に、前記染色画像に対する色分解処理を行う工程をさらに備える。前記a)工程では、前記色分解処理後の前記染色画像から前記染色領域が抽出される。
本発明の態様10は、多重免疫染色法により取得された複数の染色画像を解析する染色画像解析方法であって、d)多重免疫染色法により取得された複数の染色画像のそれぞれについて、態様1ないし4のいずれか1つ(態様1ないし9のいずれか1つ、であってもよい。)のフォーカス状態評価方法によって染色領域のフォーカス評価値を取得する工程と、e)各染色画像における前記フォーカス評価値を考慮して前記複数の染色画像の解析を行う工程と、を備える。
本発明の態様11は、免疫染色法による染色画像のフォーカス状態の評価をコンピュータに実行させる、コンピュータ読み取り可能なプログラムであって、前記プログラムがコンピュータによって実行されることにより、a)免疫染色法による標本の染色画像から染色領域を抽出する工程と、b)前記染色画像に対して前記染色領域を含む評価領域以外の領域である除外領域を除外するマスク処理を行って被処理画像を取得する工程と、c)前記被処理画像において前記評価領域に対するフォーカス状態の検討を行い、前記染色領域のフォーカス状態を示すフォーカス評価値を取得する工程と、が行われる。
上述の目的および他の目的、特徴、態様および利点は、添付した図面を参照して以下に行うこの発明の詳細な説明により明らかにされる。
図1は、本発明の一の実施の形態に係るフォーカス状態評価装置1として機能するコンピュータの構成を示す図である。フォーカス状態評価装置1は、免疫染色法より得られた生体由来標本の染色画像のフォーカス状態を評価する装置である。当該フォーカス状態とは、染色画像中の対象物にどの程度フォーカスが合っているかを示す指標である。当該対象物にフォーカスが合っている場合、フォーカス状態は良好とされる。一方、当該対象物にフォーカスが合っていない(すなわち、フォーカスがずれている)場合、フォーカス状態は不良とされる。また、当該対象物からのフォーカスのずれが大きくなると、フォーカス状態は悪化する。
図1は、フォーカス状態評価装置1として機能するコンピュータの構成を示す図である。当該コンピュータは、CPU51と、ROM52と、RAM53と、固定ディスク54と、ディスプレイ55と、入力部56と、読取装置57と、通信部58と、GPU59と、バス50とを含む一般的なコンピュータシステムの構成を有する。CPU51は、各種演算処理を行う。GPU59は、画像処理に関する各種演算処理を行う。ROM52は、基本プログラムを記憶する。RAM53は、各種情報を記憶する。固定ディスク54は、情報記憶を行う。ディスプレイ55は、画像等の各種情報の表示を行う表示部である。
入力部56は、操作者からの入力を受け付けるキーボード56aおよびマウス56bを備える。読取装置57は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体571から情報の読み取りを行う。ディスプレイ55、キーボード56a、マウス56bおよび読取装置57は、インターフェイスI/Fを介してバス50に接続される。通信部58は、フォーカス状態評価装置1の外部の装置等との間で信号を送受信する。バス50は、CPU51、GPU59、ROM52、RAM53、固定ディスク54、ディスプレイ55、入力部56、読取装置57および通信部58を接続する信号回路である。
フォーカス状態評価装置1では、事前に読取装置57を介して記録媒体571からプログラム572が読み出されて固定ディスク54に記憶されている。プログラム572はネットワークを介して固定ディスク54に記憶されてもよい。CPU51およびGPU59は、コンピュータ読み取り可能なプログラム572に従ってRAM53や固定ディスク54を利用しつつ演算処理を実行する。CPU51およびGPU59は、フォーカス状態評価装置1において演算部として機能する。CPU51およびGPU59以外に演算部として機能する他の構成が採用されてもよい。
図2は、上述のコンピュータがプログラム572に従って演算処理等を実行することにより実現されるフォーカス状態評価装置1の機能構成を示すブロック図である。これらの機能構成には、記憶部501と、染色領域抽出部502と、評価領域設定部503と、マスク画像形成部504と、被処理画像取得部505と、フォーカス状態評価部506と、が含まれる。これらの機能の全部または一部は、専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。
図2に示す機能構成のうち、記憶部501は、主としてRAM53および固定ディスク54により実現される。また、染色領域抽出部502、評価領域設定部503、マスク画像形成部504、被処理画像取得部505およびフォーカス状態評価部506は、CPU51、GPU59、ROM52、RAM53、固定ディスク54およびこれらの周辺構成により実現される。
記憶部501は、生体由来標本(以下、単に「標本」とも呼ぶ。)の染色画像を予め記憶する。図3は、記憶部501に記憶されている標本の染色画像91の一例を模式的に示す図である。染色画像91は、免疫染色法により染色された状態の標本を撮像して得られた撮像画像である。図3では、実際の染色画像91よりも低い解像度にて(すなわち、画素サイズを大きく)描いている。
染色画像91は、例えば、標本を一の染色方法にて染色して撮像した単染色画像である。当該染色方法は、例えば、CD分類の一つであるCD45タンパク質を検出するCD45抗体を用いた染色方法である。この場合、染色画像91では、標本に含まれる多数の細胞のうち、CD45抗体によって検出された細胞が単色にて染色されて示される。なお、標本の染色は、抗体を用いた様々な染色方法による染色であってもよく、抗体を用いない様々な染色方法による染色であってもよい。
図3に例示する染色画像91には、2つの染色領域92が含まれている。染色領域92は、上記染色方法によって染色された細胞が集合している領域である。図3では、染色領域92に平行斜線を付す。染色画像91において、染色領域92以外の領域とは、細胞が元々存在しない領域や、上記染色方法では染色されない非染色細胞が存在している領域である。
図4Aおよび図4Bは、フォーカス状態評価装置1による染色画像91のフォーカス状態の評価の流れを示す図である。フォーカス状態の評価が行われる際には、まず、免疫染色法により染色された状態の標本が、フォーカス状態評価装置1以外の装置(例えば、顕微鏡装置等)において撮像されて染色画像91が取得される。染色画像91は、フォーカス状態評価装置1の記憶部501(図2参照)へと送られ、記憶部501に格納される(図4A:ステップS11)。なお、フォーカス状態評価装置1は、上述の顕微鏡装置等の一部であってもよい。
続いて、染色領域抽出部502(図2参照)により、染色画像91に対して色分解処理が行われ、染色画像91中の解析対象となる特定の色調が抽出される(ステップS12)。ステップS12では、例えば、染色領域92の画素値(すなわち、輝度値)が高くなるように、公知の手法にて色分解処理が行われる。この場合、色分解処理後の染色画像91では、染色領域92の画素値は、染色領域92以外の領域の画素値よりも高い。一方、染色領域92の画素値(すなわち、輝度値)が低くなるように色分解処理が行われる場合、色分解処理後の染色画像91では、染色領域92の画素値は、染色領域92以外の領域の画素値よりも低い。当該色分解処理は、市販の画像解析ソフトウェアを用いて行われてもよい。本実施の形態では、色分解処理済みの染色画像91は256階調で表現された画像であり、画素値の最小値および最大値はそれぞれ、0および255である。
次に、評価領域設定部503により、色分解処理後の染色画像91が二値化され、二値化画像が取得される。これにより、当該染色画像91から染色領域92が抽出される(ステップS13)。そして、当該二値化画像に対してノイズ除去処理が行われる(ステップS14)。当該ノイズ除去処理は、膨張収縮処理やメディアンフィルタ等、公知の様々な手法により行われてよい。例えば、上記二値化画像上において、染色領域92が黒色で表現される場合、黒色の各領域の大きさを測定し、所定サイズ以下の領域をノイズとして除去(すなわち、白色に変更)してもよい。一方、二値化画像上において、染色領域92が白色で表現される場合、白色の各領域の大きさを測定し、所定サイズ以下の領域をノイズとして除去(すなわち、黒色に変更)してもよい。当該ノイズ除去処理は、市販の画像解析ソフトウェアを用いて行われてもよい。
ノイズ除去処理が終了すると、図5に示す染色画像91の二値化画像93において、各染色領域92を含む評価領域94が設定される(ステップS15)。図5に示す例では、2つの染色領域92をそれぞれ含む2つの評価領域94が、二値化画像93上に設定される。図5では、評価領域94の外縁を二点鎖線にて示す。各評価領域94には、1つの染色領域92の全体が含まれる。各評価領域94は、染色領域92と、染色領域92の周囲に広がる周辺領域941とを含む。周辺領域941は、染色領域92の全周に亘って染色領域92の境界921から所定幅(すなわち、所定数の画素分)だけ、染色領域92の外側の背景領域95へと広がる領域である。すなわち、周辺領域941は、染色領域92以外の領域である背景領域95のうち、染色領域92の周囲に全周に亘って位置する部分である。図5に示す例では、周辺領域941は、染色領域92と背景領域95との境界921から2画素分だけ外側へと広がる領域である。
なお、二値化画像93上において複数の染色領域92が近接して配置されている場合、複数の染色領域92のそれぞれの全体が、1つの評価領域94に含まれてもよい。また、評価領域94は、必ずしも周辺領域941を含む必要はなく、評価領域94の形状が染色領域92の全体の形状と同じになるように評価領域94が設定されてもよい。また、上述のノイズ除去処理(ステップS14)は、ステップS15と後述するステップS16との間に行われてもよい。
評価領域94が設定されると、図6に示すように、二値化画像93のうち評価領域94以外の領域である除外領域96をマスクするマスク画像97が、マスク画像形成部504(図2参照)によって形成される(ステップS16)。図6では、マスク画像97の除外領域96に平行斜線を付す(図7においても同様)。
続いて、被処理画像取得部505(図2参照)によって、マスク画像97が図3に示す染色画像91に重ね合わせられることにより、図7に示すように、染色画像91において除外領域96が除外され、評価領域94のみにより構成された被処理画像98が取得される(ステップS17)。すなわち、ステップS17では、染色画像91に対して除外領域96を除外するマスク処理が行われる。本実施の形態では、被処理画像98は256階調で表現された画像であり、画素値の最小値および最大値はそれぞれ、0および255である。
上記マスク処理では、例えば、染色画像91において濃く染色されている部分が黒色に近い色(すなわち、画素値が0に近い色)で表現されている場合、除外領域96は白色(すなわち、画素値255)に変更される。一方、染色画像91において濃く染色されている部分が白色に近い色(すなわち、画素値が255に近い色)で表現されている場合、当該マスク処理により、除外領域96は黒色(すなわち、画素値0)に変更される。
あるいは、上記マスク処理では、後述するステップS18におけるフォーカス評価値の取得において画素値分布を求める際に、除外領域96の画素の画素値が画素値分布に含まれないように除外する処理が行われてもよい。
次に、フォーカス状態評価部506(図2参照)により、被処理画像98の評価領域94に対するフォーカス状態の検討が行われ、染色領域92のフォーカス状態を示すフォーカス評価値が取得される(ステップS18)。
ステップS18では、まず、被処理画像98の各評価領域94において、各評価領域94中に位置するエッジが抽出される。当該エッジとは、各評価領域94において色味および/または明度等が大きく変化している領域を意味する。当該エッジには、染色領域92の境界921が含まれる。また、当該エッジは、染色領域92の内部(すなわち、染色領域92の境界921よりも内側の領域)にも存在し得る。エッジの抽出は、被処理画像98に対してソーベルフィルタやラプラシアンフィルタ等の公知のエッジ抽出フィルタを適用することにより行われてよい。また、エッジの抽出は、他の公知のエッジ抽出方法により行われてもよい。あるいは、評価領域94の設定(ステップS15)の際にエッジが抽出されていれば、当該エッジが使用されてもよい。
続いて、エッジに係る画素値の分布を示す画素値分布が求められる(図4B:ステップS181)。当該画素値分布は、エッジ近傍(すなわち、エッジ部)における輝度値の変化の大きさを示すものであり、様々な方法により求めることが可能である。例えば、被処理画像98に対して上述のエッジ抽出フィルタを適用し、生成されたエッジ画像(すなわち、被処理画像98におけるエッジ度合いを画像化したもの)の全画素における画素値の分布が、上記画素値分布として求められる。
あるいは、まず、図7に示すように、エッジを構成する複数のエッジ画素922の集合であるエッジ画素群923において、各エッジ画素922の画素値(すなわち、輝度値)が取得される。そして、エッジ画素群923におけるエッジ画素922の画素値の分布が、上記画素値分布として求められてもよい。なお、図7では、被処理画像98を構成する画素のうちエッジ画素922のみを小さい矩形にて図示する。
図8は、ステップS181にて求められた画素値分布の一例を示す図である。図8に例示するグラフは、上述のエッジ画像の全画素における画素値の分布を示すヒストグラムである。当該エッジ画像では、エッジの画素値がエッジ以外の領域の画素値よりも高い。当該ヒストグラムの横軸は画素値を示し、縦軸は、当該画素値に対応する画素の個数を示す。当該ヒストグラムは、画素値の最大値近傍の領域におけるピーク部(以下、「第1ピーク部924」とも呼ぶ。)と、第1ピーク部924よりも画素値が小さい領域における他のピーク部(以下、「第2ピーク部925」とも呼ぶ。)と、を含む。なお、上述のように、エッジ画素群923におけるエッジ画素922の画素値の分布が画素値分布として求められる場合も、図8に示すものと略同様のヒストグラムが得られる。
第1ピーク部924とは、被処理画像98を表現する階調の最大値(すなわち、255)近傍の所定幅の画素値範囲において、画素数(すなわち、各画素値に対応する画素の個数)が概ね上向きに凸となるピーク部を形成する部分である。例えば、第1ピーク部924は、上記所定幅の画素値範囲において画素数を最小二乗法等によってカーブフィッティングした際に、フィッティングしたカーブが、画素値の増大に従って単調増加して最大画素数に至り、その後、画素値の増大に従って単調減少する部分である。第1ピーク部924は、主に、エッジ近傍においてフォーカス状態が良好な(すなわち、フォーカスが合っている)画素に対応する。
第1ピーク部924の画素値範囲の幅(すなわち、当該画素値範囲における最大画素値と最小画素値との差)は、例えば、10階調以上かつ30階調以下の範囲で任意に設定される。当該画素値範囲は、第1ピーク部924において画素数が最大となる画素値が、当該画素値範囲の略中央となるように設定されることが好ましい。本実施の形態では、第1ピーク部924は、画素値が230以上かつ250以下の範囲に対応する部分であり、第1ピーク部924の画素値範囲の幅は20階調である。第1ピーク部924に対応する画素値範囲は、例えば、画素値の最大値(すなわち、255)と、当該最大値の80%である204との間に設定される。なお、第1ピーク部924に対応する画素値範囲には、画素値の最大値(すなわち、255)は含まれない。
第2ピーク部925は、第1ピーク部924に対応する画素値範囲(例えば、230~250)よりも画素値が小さい領域に位置する。第2ピーク部925は、第1ピーク部924と略同様に、所定幅の画素値範囲において、画素数が概ね上向きに凸となるピーク部を形成する部分である。例えば、第2ピーク部925は、上記所定幅の画素値範囲において画素数を最小二乗法等によってカーブフィッティングした際に、フィッティングしたカーブが、画素値の増大に従って単調増加して最大画素数に至り、その後、画素値の増大に従って単調減少する部分である。第2ピーク部925は、主に、エッジ近傍においてフォーカス状態が良くない(すなわち、フォーカスがずれている)画素に対応する。第2ピーク部925は、通常、第1ピーク部924よりも低い。換言すれば、第2ピーク部925の最大画素数は、通常、第1ピーク部924の最大画素数よりも小さい。
第2ピーク部925の画素値範囲の幅(すなわち、当該画素値範囲における最大画素値と最小画素値との差)は、例えば、10階調以上かつ30階調以下の範囲で任意に設定される。当該画素値範囲は、第2ピーク部925において画素数が最大となる画素値が、当該画素値範囲の略中央となるように設定されることが好ましい。本実施の形態では、第2ピーク部925は、画素値が110以上かつ130以下の範囲に対応する部分であり、第2ピーク部925の画素値範囲の幅は20階調である。本実施の形態では、第2ピーク部925の画素値範囲の幅は、第1ピーク部924の画素値範囲の幅と同じであるが、異なっていてもよい。なお、第2ピーク部925に対応する画素値範囲には、画素値の最小値(すなわち、0)は含まれない。
ステップS181において上記画素値分布(図8参照)が求められると、当該画素値分布に基づいて染色領域92のフォーカス状態を示すフォーカス評価値が取得される(ステップS182)。具体的には、第1ピーク部924に含まれる画素の個数、および、第2ピーク部925に含まれる画素の個数が求められる。そして、第1ピーク部924の画素の個数を、第2ピーク部925の画素の個数により除算した値(以下、「エッジ画素数比」とも呼ぶ。)が算出され、当該エッジ画素数比がフォーカス評価値とされる。エッジ画素数比は、第2ピーク部925に含まれる画素の個数に対する、第1ピーク部924に含まれる画素の個数の割合である。
染色画像91のエッジ近傍において、フォーカス状態が良好な画素の数が比較的多く、フォーカス状態が良くない(すなわち、不良である)画素の数が比較的少ない場合、上述の画素値分布におけるエッジ画素数比(すなわち、フォーカス評価値)は大きくなる。一方、染色画像91のエッジ近傍において、フォーカス状態が良好な画素の数が比較的少なく、フォーカス状態が不良である画素の数が比較的多い場合、上述の画素値分布におけるエッジ画素数比(すなわち、フォーカス評価値)は小さくなる。すなわち、染色画像91における染色領域92のフォーカス状態が良好である場合、エッジ画素数比は大きくなり、当該フォーカス状態が不良である場合、エッジ画素数比は小さくなる。
上述の図8に示す画素値分布は、フォーカス状態が良好な画素が比較的多く、画像解析に適した染色画像91に対応するものである。一方、図9に示す画素値分布は、フォーカス状態が不良である画素が比較的多く、画像解析にあまり適していない染色画像91に対応するものである。図9に示す画素値分布では、図8に示す画素値分布に比べて、第1ピーク部924の最大画素数と第2ピーク部925の最大画素数との差が小さくなっている。
ステップS181にて取得される画素値分布は、必ずしも図8および図9に例示するようなヒストグラムには限定されない。例えば、被処理画像98に対して上述のエッジ抽出フィルタを適用して生成された上記エッジ画像において、エッジの画素値がエッジ以外の領域の画素値よりも低い場合、図10および図11に例示するヒストグラムが得られる。図10および図11はそれぞれ、図8および図9に示すヒストグラムに対応する。図10および図11に示すヒストグラムの横軸は画素値を示し、縦軸は、当該画素値に対応する画素の個数を示す。図10および図11に示すヒストグラムはそれぞれ、画素値の最小値近傍の領域におけるピーク部である第1ピーク部924と、第1ピーク部924よりも画素値が大きい領域における他のピーク部である第2ピーク部925と、を含む。なお、上述のように、エッジ画素群923におけるエッジ画素922の画素値の分布が画素値分布として求められる場合も、図10および図11に示すものと略同様のヒストグラムが得られる。
図10および図11に例示するヒストグラムにおいて、第1ピーク部924とは、被処理画像98を表現する階調の最小値(すなわち、0)近傍の所定幅の画素値範囲において、画素数(すなわち、各画素値に対応する画素の個数)が概ね上向きに凸となるピーク部を形成する部分である。例えば、第1ピーク部924は、上記所定幅の画素値範囲において画素数を最小二乗法等によってカーブフィッティングした際に、フィッティングしたカーブが、画素値の増大に従って単調増加して最大画素数に至り、その後、画素値の増大に従って単調減少する部分である。第1ピーク部924は、主に、エッジ近傍においてフォーカス状態が良好な(すなわち、フォーカスが合っている)画素に対応する。
第1ピーク部924の画素値範囲の幅(すなわち、当該画素値範囲における最大画素値と最小画素値との差)は、例えば、10階調以上かつ30階調以下の範囲で任意に設定される。当該画素値範囲は、第1ピーク部924において画素数が最大となる画素値が、当該画素値範囲の略中央となるように設定されることが好ましい。本実施の形態では、第1ピーク部924は、画素値が5以上かつ25以下の範囲に対応する部分であり、第1ピーク部924の画素値範囲の幅は20階調である。第1ピーク部924に対応する画素値範囲は、例えば、画素値の最小値(すなわち、0)と、画素値の最大値(すなわち、255)の20%である51との間に設定される。なお、第1ピーク部924に対応する画素値範囲には、画素値の最小値(すなわち、0)は含まれない。
第2ピーク部925は、第1ピーク部924に対応する画素値範囲(例えば、5~25)よりも画素値が大きい領域に位置する。第2ピーク部925は、第1ピーク部924と略同様に、所定幅の画素値範囲において、画素数が概ね上向きに凸となるピーク部を形成する部分である。例えば、第2ピーク部925は、上記所定幅の画素値範囲において画素数を最小二乗法等によってカーブフィッティングした際に、フィッティングしたカーブが、画素値の増大に従って単調増加して最大画素数に至り、その後、画素値の増大に従って単調減少する部分である。第2ピーク部925は、主に、エッジ近傍においてフォーカス状態が良くない(すなわち、フォーカスがずれている)画素に対応する。第2ピーク部925は、通常、第1ピーク部924よりも低い。換言すれば、第2ピーク部925の最大画素数は、通常、第1ピーク部924の最大画素数よりも小さい。
第2ピーク部925の画素値範囲の幅(すなわち、当該画素値範囲における最大画素値と最小画素値との差)は、例えば、10階調以上かつ30階調以下の範囲で任意に設定される。当該画素値範囲は、第2ピーク部925において画素数が最大となる画素値が、当該画素値範囲の略中央となるように設定されることが好ましい。本実施の形態では、第2ピーク部925は、画素値が125以上かつ145以下の範囲に対応する部分であり、第2ピーク部925の画素値範囲の幅は20階調である。本実施の形態では、第2ピーク部925の画素値範囲の幅は、第1ピーク部924の画素値範囲の幅と同じであるが、異なっていてもよい。なお、第2ピーク部925に対応する画素値範囲には、画素値の最大値(すなわち、255)は含まれない。
ステップS181において上記画素値分布(図10および図11参照)が求められると、上記と同様に、当該画素値分布に基づいて染色領域92のフォーカス状態を示すフォーカス評価値が取得される(ステップS182)。具体的には、第1ピーク部924に含まれる画素の個数、および、第2ピーク部925に含まれる画素の個数が求められる。そして、第1ピーク部924の画素の個数を、第2ピーク部925の画素の個数により除算した値(すなわち、エッジ画素数比)が算出され、当該エッジ画素数比がフォーカス評価値とされる。エッジ画素数比は、第2ピーク部925に含まれる画素の個数に対する、第1ピーク部924に含まれる画素の個数の割合である。
染色画像91のエッジ近傍において、フォーカス状態が良好な画素の数が比較的多く、フォーカス状態が良くない(すなわち、不良である)画素の数が比較的少ない場合、図10に例示するように、上述の画素値分布におけるエッジ画素数比(すなわち、フォーカス評価値)は大きくなる。一方、染色画像91のエッジ近傍において、フォーカス状態が良好な画素の数が比較的少なく、フォーカス状態が不良である画素の数が比較的多い場合、図11に例示するように、上述の画素値分布におけるエッジ画素数比(すなわち、フォーカス評価値)は小さくなる。図11に示す画素値分布では、図10に示す画素値分布に比べて、第1ピーク部924の最大画素数と第2ピーク部925の最大画素数との差が小さくなっている。
このように、染色画像91における染色領域92のフォーカス状態が良好である場合、図10に示すようにエッジ画素数比は大きくなり、当該染色画像91は画像解析に適する。一方、染色画像91におけるフォーカス状態が不良である場合、図11に示すようにエッジ画素数比は小さくなり、当該染色画像91は画像解析に余り適していない。
ステップS18(すなわち、ステップS181~S182)が終了すると、フォーカス状態評価部506(図2参照)では、ステップS18にて取得されたフォーカス評価値(すなわち、エッジ画素数比)と、記憶部501に予め記憶されている所定の閾値(以下、「評価閾値」とも呼ぶ。)とが比較される。そして、フォーカス評価値が評価閾値以上である場合、染色画像91における染色領域92のフォーカス状態が良好であると判断される(図4A:ステップS19~S20)。一方、フォーカス評価値が評価閾値未満である場合、染色画像91における染色領域92のフォーカス状態が不良であると判断される(ステップS19,S21)。
なお、上述のステップS18では、フォーカス評価値として必ずしもエッジ画素数比が取得される必要はなく、上記画素値分布に基づいて他のパラメータがフォーカス評価値として取得されてもよい。また、フォーカス評価値は、上記画素値分布を用いず、他の公知の手法にて取得されてもよい。
上述の画素値分布に基づいて取得される他のパラメータは、例えば、以下のようにして取得される。まず、図8に示す画素値分布において、第2ピーク部925の最大画素数を示す画素値よりも大きく、かつ、画素値が増加するに従って画素数が概ね減少している画素値範囲(例えば、画素値が120~190の範囲)が選択される。そして、当該画素値範囲において、画素値に対する画素数の傾きを直線近似によって求め、当該傾きをフォーカス評価値として取得する。この場合、フォーカス評価値は負の値となり、フォーカス評価値の絶対値が比較的大きいと、染色画像91の染色領域92におけるフォーカス状態は良好であり、フォーカス評価値の絶対値が比較的小さいと、当該フォーカス状態は不良である。これは、フォーカス状態が不良である場合、第1ピーク部924と第2ピーク部925との間の領域における画素の個数が少なくなる傾向があることによる。
以上に説明したように、免疫染色法による染色画像91のフォーカス状態を評価するフォーカス状態評価方法は、免疫染色法による標本の染色画像91から染色領域92を抽出する工程(ステップS13)と、染色画像91に対して染色領域92を含む評価領域94を設定し、評価領域94以外の領域である除外領域96を除外するマスク処理を行って被処理画像98を取得する工程(ステップS15~S17)と、被処理画像98において評価領域94に対するフォーカス状態の検討を行い、染色領域92のフォーカス状態を示すフォーカス評価値を取得する工程(ステップS18)と、を備える。
染色画像91では、一般的に、除外領域96に多数の染色されていない細胞(すなわち、非染色細胞)の細胞壁等が存在する。当該細胞壁はコントラストが大きいため、従来のようにフォーカス状態の検討対象に当該細胞壁が含まれていると、当該細胞壁にフォーカスが合っている染色画像91は、フォーカス状態が良好と判断される可能性が高い。しかしながら、染色画像91の解析では、染色領域92が解析対象である。したがって、非染色細胞の細胞壁にフォーカスが合っている染色画像91が、染色領域92にフォーカスが合っているか否かに関わらずフォーカス状態が良好と判断されることは適切ではない。
上述のフォーカス状態評価方法では、染色画像91の除外領域96(すなわち、評価領域94以外の領域)に対してマスク処理が行われ、除外領域96は、フォーカス状態の検討対象から実質的に除外される。このため、除外領域96に存在する非染色細胞の細胞壁等の影響(すなわち、染色画像91の解析に不要な部位の影響)を排除し、染色領域92のフォーカス状態を精度良く評価することができる。また、上述のように、エッジ画素922の画素値の分布が上記画素値分布として求められる場合、染色画像91において解析対象となる画素数が低減されるため、上記フォーカス状態の評価における処理量(すなわち、演算量)を低減することもできる。
上述のフォーカス評価値を取得する工程(ステップS18)は、被処理画像98から染色領域92のエッジを抽出してエッジに係る画素値の分布を示す画素値分布を求める工程(ステップS181)と、当該画素値分布に基づいてフォーカス評価値を取得する工程(ステップS182)と、を備えることが好ましい。このように、染色領域92においてコントラストが比較的大きいエッジに注目し、エッジの画素値分布を用いることにより、フォーカス評価値を好適に取得することができる。また、染色領域92全体の画素の画素値分布ではなく、エッジの画素値分布を用いることにより、フォーカス評価値の取得における処理量(すなわち、演算量)を低減することができる。
上述の図8および図9のように、エッジの画素値がエッジ以外の領域の画素値よりも高い状態において、上記画素値分布は、画素値の最大値近傍の領域におけるピーク部である第1ピーク部924と、第1ピーク部924よりも画素値が小さい領域におけるピーク部である第2ピーク部925と、を備える。そして、フォーカス評価値は、第2ピーク部925に含まれる画素の個数に対する第1ピーク部924に含まれる画素の個数の割合(すなわち、エッジ画素数比)であることが好ましい。染色領域92のフォーカス状態は、当該フォーカス評価値が大きくなるに従って良くなる。これにより、染色領域92のフォーカス状態を好適に示すことが可能なフォーカス評価値を取得することができる。
上述の図10および図11のように、エッジの画素値がエッジ以外の領域の画素値よりも低い状態において、上記画素値分布は、画素値の最小値近傍の領域におけるピーク部である第1ピーク部924と、第1ピーク部924よりも画素値が大きい領域におけるピーク部である第2ピーク部925と、を備える。そして、フォーカス評価値は、第2ピーク部925に含まれる画素の個数に対する第1ピーク部924に含まれる画素の個数の割合(すなわち、エッジ画素数比)であることが好ましい。染色領域92のフォーカス状態は、当該フォーカス評価値が大きくなるに従って良くなる。これにより、上記と同様に、染色領域92のフォーカス状態を好適に示すことが可能なフォーカス評価値を取得することができる。
上述のように、染色領域92を抽出する工程(ステップS13)は、染色画像91を二値化して二値化画像93を取得する工程を含むことが好ましい。また、上述の被処理画像98を取得する工程は、二値化画像93に対してノイズ除去処理を行う工程(ステップS14)と、二値化画像93に対して評価領域94を設定し、除外領域96をマスクするマスク画像97を形成する工程(ステップS15~S16)と、染色画像91にマスク画像97を重ね合わせることにより被処理画像98を取得する工程(ステップS17)と、を備えることが好ましい。これにより、ノイズが除去された被処理画像98を取得することができる。その結果、染色領域92のフォーカス状態をさらに精度良く評価することができる。なお、ステップS13における染色領域92の抽出は、染色画像91の二値化以外の様々な公知の方法によって行われてもよい。
上述のように、評価領域94は、染色領域92と、染色領域92の境界921から周囲に広がる所定幅の周辺領域941と、を含むことが好ましい。これにより、染色領域92の境界921のコントラストが大きくなるため、染色領域92のフォーカス状態の評価をさらに精度良く行うことができる。また、染色された細胞の外周部における染色の弱い部分が、除外領域96に含められてフォーカス状態の評価の際に考慮外とされることを防止または抑制することができる。その結果、染色領域92のフォーカス状態の評価をさらに精度良く行うことができる。
上述のように、フォーカス状態評価方法は、ステップS13よりも前に、染色画像91に対する色分解処理を行う工程(ステップS12)をさらに備えることが好ましい。この場合、ステップS13では、色分解処理後の染色画像91から染色領域92が抽出される。これにより、ステップS13において、解析対象となる特定の色調が抽出された染色画像91が用いられるため、染色画像91から染色領域92を好適に抽出することができる。
上述のように、プログラム572は、免疫染色法による染色画像のフォーカス状態の評価をコンピュータに実行させる、コンピュータ読み取り可能なプログラムである。当該プログラム572がコンピュータによって実行されることにより、免疫染色法による標本の染色画像91から染色領域92を抽出する工程(ステップS13)と、染色画像91に対して染色領域92を含む評価領域94以外の領域である除外領域96を除外するマスク処理を行って被処理画像98を取得する工程(ステップS15~S17)と、被処理画像98において評価領域94に対するフォーカス状態の検討を行い、染色領域92のフォーカス状態を示すフォーカス評価値を取得する工程(ステップS18)と、が行われる。これにより、上記と同様に、染色領域92のフォーカス状態を精度良く評価することができる。
上記例では、ステップS18において、1つの染色画像91に対して1つのフォーカス評価値が求められるが、これには限定されない。例えば、ステップS18では、1つの染色画像91を分割した複数の分割領域のそれぞれについてフォーカス評価値が取得されてもよい。
具体的には、まず、1つの染色画像91について、上記と同様にステップS12~S17が行われて1つの被処理画像98が取得される。続いて、図12に示すように、被処理画像98が複数の分割領域991に分割される。図12に示す例では、被処理画像98は、図中の縦方向および横方向にマトリクス状に配列される12個の分割領域991に分割される。各分割領域991の形状は、例えば正方形である。各分割領域991は、例えば、被処理画像98や染色画像91を構成する各画素よりも大きい。換言すれば、各分割領域991は複数の画素を含む。また、各分割領域991は、例えば、染色画像91に含まれる各細胞よりも大きい。なお、各分割領域991は、正方形以外の様々な形状(例えば、長方形)を有していてもよい。
次に、複数の分割領域991のそれぞれについて、上述のステップS18を行うことにより、複数の分割領域991のそれぞれのフォーカス評価値が取得される。フォーカス状態評価装置1では、図13に示すように、染色画像91における複数の分割領域991のうち、フォーカス評価値が上述の評価閾値未満である分割領域991を非表示とし、フォーカス評価値が評価閾値以上である分割領域991のみを表示した加工済み染色画像99が生成される。
加工済み染色画像99は、例えば、ディスプレイ55(図1参照)に表示される。フォーカス状態評価装置1のオペレータは、ディスプレイ55上に表示された加工済み染色画像99のうち、表示された分割領域991のみを観察可能である。したがって、オペレータは、染色画像91のうちフォーカス状態が良好な分割領域991のみを解析対象とすることができ、染色画像91の解析を効率良く行うことができる。
なお、上記例では、ステップS12~S17は1つの染色画像91に対してまとめて行われ、ステップS18は各分割領域991に対して個別に行われるが、これには限定されない。例えば、ステップS11とステップS12との間で、染色画像91が複数の分割領域991に分割され、各分割領域991に対してステップS12~S18が行われて、各分割領域991のフォーカス評価値が取得されてもよい。
以上に説明したように、上述のフォーカス状態評価方法では、ステップS18において、染色画像91を分割した複数の分割領域991のそれぞれについてフォーカス評価値が取得されることも好ましい。そして、染色画像91の複数の分割領域991のうち、フォーカス評価値が所定の閾値(すなわち、評価閾値)未満である分割領域991を非表示とした加工済み染色画像99が生成されることが好ましい。これにより、染色画像91においてフォーカス状態が良好な領域のみを観察することができる。
上述のフォーカス状態評価装置1は、多重免疫染色法により取得された複数の染色画像91の解析にも使用可能である。図14は、当該解析の流れを示す図である。当該解析では、例えば、シーケンシャル多重免疫染色法により取得された複数の染色画像91が準備される(ステップS31)。シーケンシャル多重免疫染色法とは、1つの標本に対する免疫染色、観察(例えば、撮像)および色除去を、免疫染色に用いる抗体等を変更しつつ複数回繰り返す多重免疫染色法である。
続いて、上記複数の染色画像91のそれぞれについて、フォーカス状態評価装置1によって染色領域92のフォーカス評価値が取得される(ステップS32)。フォーカス状態評価装置1による当該フォーカス評価値の取得方法は、上述のステップS12~S18と同様である。その後、各染色画像91におけるフォーカス評価値を考慮して、上記複数の染色画像91の解析が行われる(ステップS33)。
具体的には、例えば、各染色画像91において上述の複数の分割領域991が設定され、複数の分割領域991のそれぞれについてフォーカス評価値が取得される。そして、各分割領域991について、複数の染色画像91のフォーカス評価値がそれぞれ評価閾値と比較され、全ての染色画像91のフォーカス評価値が評価閾値以上である分割領域991のみが、解析対象として適切な分割領域991として抽出される。例えば、シーケンシャル多重免疫染色法により取得された上記複数の染色画像91が、解析対象として適切な分割領域991のみが表示されるとともに他の分割領域991が非表示とされた状態で、フォーカス状態評価装置1のディスプレイ55上に表示される。
以上に説明したように、多重免疫染色法により取得された複数の染色画像91を解析する染色画像解析方法は、多重免疫染色法により取得された複数の染色画像91のそれぞれについて、上述のフォーカス状態評価方法によってフォーカス評価値を取得する工程(ステップS32)と、各染色画像91におけるフォーカス評価値を考慮して複数の染色画像91の解析を行う工程(ステップS33)と、を備える。これにより、多重免疫染色法にて取得された複数の染色画像91を好適に解析することができる。
上述のフォーカス状態評価装置1は、標本の染色画像91等を取得する顕微鏡装置に組み込まれ、顕微鏡装置のオートフォーカスに利用されてもよい。例えば、当該顕微鏡装置において標本の染色画像91が撮像される際には、まず、顕微鏡装置のフォーカス調節機構等を駆動させて、フォーカス状態が異なる当該標本の複数の染色画像が仮取得される。以下、仮取得された当該複数の染色画像を「仮取得画像」とも呼ぶ。
続いて、フォーカス状態評価装置1において、複数の仮取得画像のそれぞれについて上述のステップS12~S18が行われ、各仮取得画像のフォーカス評価値が取得される。次に、当該複数の仮取得画像のフォーカス評価値が比較され、複数の仮取得画像のうちフォーカス状態が最も良好な1つの仮取得画像が選出される。
選出された1つの仮取得画像のフォーカス評価値が所定の閾値(例えば、上述の評価閾値)以上である場合、顕微鏡装置では、当該1つの仮取得画像を、標本の染色画像91として取得する。一方、選出された1つの仮取得画像のフォーカス評価値が所定の閾値未満である場合、上記複数の仮取得画像のフォーカス評価値に基づいて、フォーカス状態が良くなるようにフォーカス調節が行われた後、新たな複数の仮取得画像が取得される。そして、新たな複数の仮取得画像について、上記と同様に、ステップS12~S18が行われ、取得された各仮取得画像のフォーカス評価値が比較されて、フォーカス状態が最も良好な1つの仮取得画像が選出される。
このように、上述のフォーカス状態評価方法では、フォーカス状態が異なる標本の複数の染色画像(すなわち、仮取得画像)について、ステップS12~S18が行われて取得されたフォーカス評価値が比較され、当該複数の染色画像からフォーカス状態が最も良好な1つの染色画像が選出される。ステップS12~S18では、上述のように、染色領域92のフォーカス状態を精度良く評価することができる。したがって、当該フォーカス状態評価方法によれば、染色領域92のフォーカス状態が良好な1つの染色画像91を好適に選出することができる。
顕微鏡装置では、フォーカス評価値が所定の閾値以上である染色画像91が取得されるまで、上述の複数の仮取得画像の取得、ステップS12~S18によって取得されたフォーカス評価値の比較、および、1つの仮取得画像の選出が繰り返される。その結果、フォーカス状態評価装置1が組み込まれた顕微鏡装置では、染色領域92のフォーカス状態が良好な染色画像91を撮像することができる。
上述のフォーカス状態評価方法、染色画像解析方法、および、プログラム572では、様々な変更が可能である。
例えば、ステップS14(ノイズ除去処理)は、必ずしも行われる必要はなく、省略されたもよい。
ステップS17では、染色画像91の除外領域96を除外するマスク処理は、必ずしも、染色画像91にマスク画像97を重ね合わせることによって行われる必要はなく、公知の様々な手法によって行われてよい。この場合、マスク画像97の形成は省略されてよい。
染色画像91は、必ずしも単色にて染色された画像である必要はなく、例えば、1つの標本に対して複数種類の抗体をまとめて用いた多色画像であってもよい。この場合、ステップS12における色分解処理により、選択された1つの抗体に対応する色調が抽出されてもよい。
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
発明を詳細に描写して説明したが、既述の説明は例示的であって限定的なものではない。したがって、本発明の範囲を逸脱しない限り、多数の変形や態様が可能であるといえる。
91 染色画像
92 染色領域
93 二値化画像
94 評価領域
96 除外領域
97 マスク画像
98 被処理画像
99 加工済み染色画像
921 (染色領域の)境界
924 第1ピーク部
925 第2ピーク部
941 周辺領域
991 分割領域
S11~S21,S31~S33,S181~S182 ステップ
92 染色領域
93 二値化画像
94 評価領域
96 除外領域
97 マスク画像
98 被処理画像
99 加工済み染色画像
921 (染色領域の)境界
924 第1ピーク部
925 第2ピーク部
941 周辺領域
991 分割領域
S11~S21,S31~S33,S181~S182 ステップ
Claims (11)
- 免疫染色法による染色画像のフォーカス状態を評価するフォーカス状態評価方法であって、
a)免疫染色法による標本の染色画像から染色領域を抽出する工程と、
b)前記染色画像に対して前記染色領域を含む評価領域を設定し、前記評価領域以外の領域である除外領域を除外するマスク処理を行って被処理画像を取得する工程と、
c)前記被処理画像において前記評価領域に対するフォーカス状態の検討を行い、前記染色領域のフォーカス状態を示すフォーカス評価値を取得する工程と、
を備えるフォーカス状態評価方法。 - 請求項1に記載のフォーカス状態評価方法であって、
前記c)工程は、
c1)前記被処理画像から前記染色領域のエッジを抽出して前記エッジに係る画素値の分布を示す画素値分布を求める工程と、
c2)前記画素値分布に基づいて前記フォーカス評価値を取得する工程と、
を備えるフォーカス状態評価方法。 - 請求項2に記載のフォーカス状態評価方法であって、
前記エッジの画素値が前記エッジ以外の領域の画素値よりも高い状態において、
前記画素値分布は、
画素値の最大値近傍の領域におけるピーク部である第1ピーク部と、
前記第1ピーク部よりも画素値が小さい領域におけるピーク部である第2ピーク部と、
を備え、
前記フォーカス評価値は、前記第2ピーク部に含まれる画素の個数に対する前記第1ピーク部に含まれる画素の個数の割合であり、
前記染色領域のフォーカス状態は、前記フォーカス評価値が大きくなるに従って良くなるフォーカス状態評価方法。 - 請求項2に記載のフォーカス状態評価方法であって、
前記エッジの画素値が前記エッジ以外の領域の画素値よりも低い状態において、
前記画素値分布は、
画素値の最小値近傍の領域におけるピーク部である第1ピーク部と、
前記第1ピーク部よりも画素値が大きい領域におけるピーク部である第2ピーク部と、
を備え、
前記フォーカス評価値は、前記第2ピーク部に含まれる画素の個数に対する前記第1ピーク部に含まれる画素の個数の割合であり、
前記染色領域のフォーカス状態は、前記フォーカス評価値が大きくなるに従って良くなるフォーカス状態評価方法。 - 請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法であって、
前記a)工程は、前記染色画像を二値化して二値化画像を取得する工程を含み、
前記b)工程は、
b1)前記二値化画像に対してノイズ除去処理を行う工程と、
b2)前記二値化画像に対して前記評価領域を設定し、前記除外領域をマスクするマスク画像を形成する工程と、
b3)前記染色画像に前記マスク画像を重ね合わせることにより前記被処理画像を取得する工程と、
を備えるフォーカス状態評価方法。 - 請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法であって、
前記評価領域は、
前記染色領域と、
前記染色領域の境界から周囲に広がる所定幅の周辺領域と、
を含むフォーカス状態評価方法。 - 請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法であって、
前記c)工程において、前記染色画像を分割した複数の分割領域のそれぞれについて前記フォーカス評価値が取得され、
前記染色画像の前記複数の分割領域のうち、前記フォーカス評価値が所定の閾値未満である分割領域を非表示とした加工済み染色画像が生成されるフォーカス状態評価方法。 - 請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法であって、
フォーカス状態が異なる前記標本の複数の染色画像について、前記a)工程、前記b)工程および前記c)工程が行われて取得されたフォーカス評価値が比較され、前記複数の染色画像からフォーカス状態が最も良好な1つの染色画像が選出されるフォーカス状態評価方法。 - 請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法であって、
前記a)工程よりも前に、前記染色画像に対する色分解処理を行う工程をさらに備え、
前記a)工程では、前記色分解処理後の前記染色画像から前記染色領域が抽出されるフォーカス状態評価方法。 - 多重免疫染色法により取得された複数の染色画像を解析する染色画像解析方法であって、
d)多重免疫染色法により取得された複数の染色画像のそれぞれについて、請求項1ないし4のいずれか1つに記載のフォーカス状態評価方法によって前記フォーカス評価値を取得する工程と、
e)各染色画像における前記フォーカス評価値を考慮して前記複数の染色画像の解析を行う工程と、
を備える染色画像解析方法。 - 免疫染色法による染色画像のフォーカス状態の評価をコンピュータに実行させる、コンピュータ読み取り可能なプログラムであって、
前記プログラムがコンピュータによって実行されることにより、
a)免疫染色法による標本の染色画像から染色領域を抽出する工程と、
b)前記染色画像に対して前記染色領域を含む評価領域を設定し、前記評価領域以外の領域である除外領域を除外するマスク処理を行って被処理画像を取得する工程と、
c)前記被処理画像において前記評価領域に対するフォーカス状態の検討を行い、前記染色領域のフォーカス状態を示すフォーカス評価値を取得する工程と、
が行われるコンピュータ読み取り可能なプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024-017089 | 2024-02-07 | ||
| JP2024017089A JP2025121578A (ja) | 2024-02-07 | 2024-02-07 | フォーカス状態評価方法、染色画像解析方法、および、コンピュータ読み取り可能なプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025169549A1 true WO2025169549A1 (ja) | 2025-08-14 |
Family
ID=96699650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/038572 Pending WO2025169549A1 (ja) | 2024-02-07 | 2024-10-29 | フォーカス状態評価方法、染色画像解析方法、および、コンピュータ読み取り可能なプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2025121578A (ja) |
| WO (1) | WO2025169549A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006317406A (ja) * | 2005-05-16 | 2006-11-24 | Olympus Corp | 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置 |
| JP2013142859A (ja) * | 2012-01-12 | 2013-07-22 | Sony Corp | 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム |
| JP2013246187A (ja) * | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
| JP2014063041A (ja) * | 2012-09-21 | 2014-04-10 | Keyence Corp | 撮影解析装置、その制御方法及び撮影解析装置用のプログラム |
| WO2018143406A1 (ja) * | 2017-02-06 | 2018-08-09 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| WO2021256429A1 (ja) * | 2020-06-16 | 2021-12-23 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
-
2024
- 2024-02-07 JP JP2024017089A patent/JP2025121578A/ja active Pending
- 2024-10-29 WO PCT/JP2024/038572 patent/WO2025169549A1/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006317406A (ja) * | 2005-05-16 | 2006-11-24 | Olympus Corp | 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置 |
| JP2013142859A (ja) * | 2012-01-12 | 2013-07-22 | Sony Corp | 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム |
| JP2013246187A (ja) * | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
| JP2014063041A (ja) * | 2012-09-21 | 2014-04-10 | Keyence Corp | 撮影解析装置、その制御方法及び撮影解析装置用のプログラム |
| WO2018143406A1 (ja) * | 2017-02-06 | 2018-08-09 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| WO2021256429A1 (ja) * | 2020-06-16 | 2021-12-23 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025121578A (ja) | 2025-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU708935B2 (en) | Method for identifying objects using data processing techniques | |
| CN107451998B (zh) | 一种眼底图像质量控制方法 | |
| US7989209B2 (en) | Methods of chromogen separation-based image analysis | |
| JP2011188496A (ja) | 逆光検知装置及び逆光検知方法 | |
| US11068740B2 (en) | Particle boundary identification | |
| JP2004535099A (ja) | 画像を改善する画像処理装置及び方法、並びにこの画像処理装置を有する画像表示装置 | |
| US8064714B2 (en) | Method for binarizing a digital gray value image to generate a binarized gray value image and arrangement for carrying out said method | |
| WO2025169549A1 (ja) | フォーカス状態評価方法、染色画像解析方法、および、コンピュータ読み取り可能なプログラム | |
| TW202548356A (zh) | 對焦狀態評價方法、染色影像解析方法及電腦可讀取之程式 | |
| Dzulkifli et al. | An introduction to double stain normalization technique for brain tumour histopathological images | |
| CN118037739B (zh) | 数字病理图像的清晰度评价方法及其应用 | |
| JP3450144B2 (ja) | 画像ノイズ分析方法 | |
| WO2005109341A1 (en) | Method and apparatus for use in the image analysis of biological specimens | |
| JPH1185976A (ja) | 画像ノイズ分析方法および記録媒体 | |
| TW202524084A (zh) | 染色強度取得方法、電腦可讀取之程式及染色強度取得裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24923682 Country of ref document: EP Kind code of ref document: A1 |