[go: up one dir, main page]

WO2019225507A1 - 生物組織画像処理装置及び方法 - Google Patents

生物組織画像処理装置及び方法 Download PDF

Info

Publication number
WO2019225507A1
WO2019225507A1 PCT/JP2019/019742 JP2019019742W WO2019225507A1 WO 2019225507 A1 WO2019225507 A1 WO 2019225507A1 JP 2019019742 W JP2019019742 W JP 2019019742W WO 2019225507 A1 WO2019225507 A1 WO 2019225507A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
film
biological tissue
depth
haze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/019742
Other languages
English (en)
French (fr)
Inventor
功記 小西
吉田　隆彦
三雄 須賀
秀夫 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of WO2019225507A1 publication Critical patent/WO2019225507A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters

Definitions

  • the present disclosure relates to a biological tissue image processing apparatus and method.
  • 3D microscopy is known as a technique for analyzing or imaging the 3D structure of biological tissue.
  • an electron microscope is generally used.
  • three-dimensional microscopy using a scanning electron microscope includes Focused Ion Beam SEM (FIB-SEM) method, Serial Block-Face SEM (SBF-SEM) method, and serial section SEM (Serial Section (SEM) method (see Non-Patent Document 1) has been proposed.
  • the continuous section SEM method is also called an array tomography method.
  • a plurality of sample sections (ultra-thin pieces) continuous in the depth direction are cut out from a sample of a biological tissue, and they are arranged on a substrate.
  • Each sample section on the substrate is sequentially observed with a scanning electron microscope, whereby a plurality of images are acquired. Based on the acquired images, the three-dimensional structure of a specific organ (cell, mitochondria, nucleus, etc.) contained in the biological tissue is analyzed or imaged. According to the continuous section SEM method, it is possible to observe a sample section that has already been observed again.
  • the content of the electron microscope image generated by the observation of the biological tissue varies depending on the observation conditions such as the acceleration voltage. According to the experiments and researches of the present inventors, for example, it has been confirmed that a deep image of a cell membrane (for example, a nerve cell membrane) is likely to appear like a haze when observed with an increased acceleration voltage.
  • the deep image is considered to reflect the three-dimensional form or three-dimensional structure of the cell membrane.
  • a membrane for example, a mitochondrial membrane
  • the purpose of the present disclosure is to utilize a deep image included in an electron microscope image as a biological tissue image in a three-dimensional labeling process.
  • a biological tissue image processing apparatus includes a membrane image generation unit that generates a membrane image based on a first electron microscope image generated by observation of a biological tissue, and a second generated by observation of the biological tissue. Based on the electron microscope image, a moya image generating unit that generates a moya image including a moya region as a deep image of the film, and a labeling processing unit that uses the moya region in a three-dimensional labeling process based on the film image. It is characterized by including.
  • the biological tissue image processing method includes a step of generating a membrane image based on a first electron microscope image generated by observation of a biological tissue, and a second electron microscope image generated by observation of the biological tissue. And a step of generating a haze image including a haze area as a deep image of the film, and a step of using the haze area in a three-dimensional labeling process based on the film image.
  • the above method is realized as a hardware function or a software function.
  • a program for executing the function is installed in the information processing apparatus via a network or a portable storage medium.
  • the concept of the information processing apparatus includes a personal computer, an electron microscope system, and the like.
  • a biological tissue image processing system includes a membrane image generation unit, a moya image generation unit, and a labeling processing unit.
  • the membrane image generation unit generates a membrane image based on the first electron microscope image generated by observing the biological tissue.
  • the haze image generation unit generates a haze image including a haze region (Hazy Region) as a deep image of the film based on the second electron microscope image generated by observing the biological tissue.
  • the labeling processing unit uses a haze region in the three-dimensional labeling process based on the film image.
  • the haze area is special information reflecting the three-dimensional form or three-dimensional structure of the film. The above configuration uses such special information in the three-dimensional labeling process.
  • the membrane is a cell membrane in the embodiment, but may be other membranes.
  • the first electron microscope image and the second electron microscope image are generated by observing the same part in the biological tissue. Those images usually have the same magnification.
  • the first electron microscope image and the second electron microscope image are separate images, but the first electron microscope image and the second electron microscope image are the same as long as the haze area can be extracted and used.
  • a modified example is also conceivable.
  • a plurality of images are acquired by the continuous section SEM method (array tomography method), but a plurality of images may be acquired by the FIB-SEM method, the SBF-SEM method, and other methods.
  • the first observation condition is set for the electron microscope
  • the electron microscope is larger than the first observation condition.
  • a second observation condition that allows observation over a depth range is set. According to this configuration, a deep image of the film is likely to appear in the second electron microscope image.
  • the first observation condition is a condition for setting the first acceleration voltage for the electron microscope
  • the second observation condition is for setting the second acceleration voltage higher than the first acceleration voltage for the electron microscope. It is a condition.
  • the membrane image generation unit includes a machine learning type membrane estimator.
  • the film estimator is composed of CNN, for example. Other types of machine learning type film estimators may be used. It is also possible to use a film estimator other than the machine learning type. If the input image of the membrane estimator is a low voltage image, the burden on the user when correcting the temporary membrane image can be reduced. If the input image of the haze image generation unit is a high voltage image, the detection accuracy of the haze area can be increased.
  • the haze image generation unit generates a haze image by extracting a haze image component from the second electron microscope image.
  • a haze image component generally has a characteristic property, and it is possible to extract a haze image component using this property.
  • the haze image generation unit may be configured as a filter processor, a machine learning type haze estimator, or the like.
  • a single estimator (for example, CNN) may function as the film image generation unit and the haze image generation unit.
  • the film image generation unit generates a plurality of film images corresponding to a plurality of depths based on the plurality of first electron microscope images corresponding to the plurality of depths.
  • a plurality of haze images corresponding to a plurality of depths are generated based on a plurality of second electron microscope images corresponding to the depth, and a labeling processing unit executes a three-dimensional labeling process on the plurality of film images,
  • the labeling processing unit generates reference information for selecting a target region included in a film image having a second depth different from the first depth, based on a moire region included in the first depth of the moire image.
  • a reference information generation unit to be generated is included.
  • Standard information is used as judgment information in automatic labeling, or referred to as support information in manual labeling.
  • the second depth may be a depth adjacent to the first depth, or may be another depth.
  • the Reference information can be used as such a feature amount.
  • the target region is a region to be extracted. In the embodiment, the target region is the inside of the cell membrane, that is, the in-membrane region. A cell region (region including up to the cell membrane) that is a larger region or the like may be the target region.
  • the reference information generation unit includes a moire region included in the first depth moire image, and a first target region that is an area included in the first depth film image and includes the moire region.
  • a reference vector calculation unit that calculates a reference vector of a first depth as reference information
  • the labeling processing unit includes a film of a second depth based on the reference vector of the first depth.
  • a selection unit that selects a second target area having a connection relation with the first target area is provided.
  • a reference vector of the first depth is used as information indicating a three-dimensional structure or form such as a cytoplasm surrounded by a membrane.
  • the concept of a connection relationship includes a relationship in which the possibility of connection is recognized. In determining the connection relationship, a plurality of feature amounts including the reference vector may be comprehensively considered.
  • the reference vector calculation unit is based on the representative coordinates of the haze region included in the first depth of the moire image and the representative coordinates of the first target region included in the film image of the first depth.
  • the first depth reference vector is calculated.
  • Each representative coordinate represents each region, for example, the center of gravity, the center, and other coordinates.
  • the reference information generation unit includes a moire region included in the first depth moire image, and a first target region that is an area included in the first depth film image and includes the moire region. Based on the reference region, a reference region calculation unit that calculates a reference region of the first depth is used, and the labeling processing unit includes a film of the second depth based on the reference region of the first depth. As a target area included in the image, a selection unit that selects a second target area having a connection relation with the first target area is provided.
  • the reference area calculation unit includes, from the first target area included in the first depth film image, the haze area included in the first depth moya image or an area generated based on the same Is subtracted to calculate the reference area of the first depth.
  • the reference region of the first depth is a portion that is highly likely to be superposed on the second target region in the first target region as viewed from the depth direction.
  • the haze region is a portion of the first target region that is unlikely to be superposed on the second target region when viewed from the depth direction.
  • the above configuration excludes a portion that is unlikely to be polymerized and uses a portion that is highly likely to be polymerized for determination of a connection relationship.
  • FIG. 1 shows a biological tissue image processing system according to an embodiment.
  • the illustrated biological tissue image processing system 10 is a system for analyzing and imaging a three-dimensional structure of a biological tissue. Using this biological tissue image processing system, for example, an image that three-dimensionally represents nerve cells in the brain of a human body or an animal is generated. Any tissue, organ, etc. in the organism can be the subject of analysis.
  • the biological tissue image processing system 10 includes a sample pretreatment device 12, a continuous section creation device 14, a scanning electron microscope (SEM) 16, and a biological tissue image processing device 18. .
  • SEM scanning electron microscope
  • the sample pretreatment device 12 is a device that performs pretreatment on the tissue 20 extracted from a living body, or corresponds to various instruments for the pretreatment.
  • the pretreatment include fixing treatment, dyeing treatment, conductive treatment, resin embedding treatment, and shaping treatment. All or some of them are implemented as necessary.
  • the staining treatment osmium tetroxide, uranium acetate, lead citrate, or the like may be used. A staining process may be performed on each sample section described below. Some or all of the steps included in the pretreatment may be performed manually.
  • the continuous section preparation device 14 is provided outside the SEM 16 or inside the SEM 16.
  • a plurality of sample sections 24 arranged in the depth direction (Z direction) are cut out from the cubic sample after the pretreatment by the continuous section creating apparatus 14.
  • an apparatus such as an ultramicrotome may be used.
  • the work may be performed manually.
  • a plurality of sample sections 24 constitute a sample section group 22.
  • the plurality of sample sections 24 cut out are arranged on the substrate 28 in a predetermined arrangement.
  • the substrate 28 is, for example, a glass substrate or a silicone substrate.
  • the sample section array 22 ⁇ / b> A composed of two sample section rows is configured on the substrate 28, but this is merely an example.
  • a sample unit 26 is configured by the substrate 28 and the sample section array 22A.
  • each sample section 24 is, for example, on the order of nm or ⁇ m.
  • a sample section 24 having a larger size may be produced.
  • the thickness (size in the Z direction) of each sample section 24 is, for example, in the range of several nm to several hundred nm, and in the embodiment, the thickness is in the range of, for example, 30 to 70 nm. Any numerical value given in this specification is an example.
  • the SEM 16 includes an electron gun, a deflector (scanner), an objective lens, a sample chamber, a detector 34, a control unit 204, and the like.
  • a stage for holding the sample unit 26 and a moving mechanism for moving the stage are provided in the sample chamber.
  • the control unit 204 controls the operation of the moving mechanism, that is, the movement of the stage.
  • the electron beam 30 is irradiated to a specific sample section 24 selected from the sample section array 22A.
  • scanning the irradiation position for example, raster scanning
  • the reflected electrons 32 emitted from each irradiation position are detected by the detector 34. Thereby, an SEM image is formed. This is performed for each sample section 24.
  • the control unit 204 has a function of setting an acceleration voltage for forming an electron beam. In general, when the acceleration voltage is increased, information from a deeper position in the sample section 24 is easily obtained.
  • the X direction observation range and the Y direction observation range coincide with each other.
  • the observation range electron beam two-dimensional scanning range
  • secondary electrons or the like may be detected.
  • the first acceleration voltage (low voltage) as the first observation condition and the second acceleration voltage (second observation condition) as the second observation condition are controlled for each sample section 24.
  • High voltage is set sequentially. That is, the individual sample slices 24 cut out from the sample to be analyzed are observed by scanning with the electron beam 30L formed under the first acceleration voltage (low voltage observation), whereby a low voltage image (first original image). 38L is generated. Subsequently, the individual sample sections 24 are observed by scanning with the electron beam 30H formed under the second acceleration voltage, thereby generating a high voltage image (second original image) 38H (high voltage observation).
  • low-voltage observation and low-voltage observation are sequentially and sequentially executed for one sample section 24, and this is repeated for each sample section 24.
  • the low voltage image stack 36L is configured by the plurality of low voltage images 38L
  • the high voltage image stack 36H is configured by the plurality of high voltage images 38H.
  • the first acceleration voltage is, for example, 1 keV or 2 keV
  • the second acceleration voltage is, for example, 3 keV, 5 keV, or 7 keV. It is desirable to determine the first acceleration voltage and the second acceleration voltage in consideration of the sample, observation object, observation purpose, and other circumstances.
  • the first observation condition that is, the first acceleration voltage
  • the individual sample slices 24 cut out from the learning target sample are observed by scanning with the electron beam 30L formed under the first acceleration voltage (low voltage) (low voltage observation), and thereby the low voltage image (analysis). Original image) is generated.
  • a plurality of low voltage images constitute a low voltage image stack.
  • the learning process includes a primary learning (initial learning process) and a secondary learning process. In the learning process, a high voltage image may be used as a learning image in addition to the low voltage image.
  • the image stacks 36L and 36H acquired in the analysis process are configured by a plurality of images 38L and 38H corresponding to a plurality of depths in the Z direction (in other words, arranged in the Z direction in the data storage space).
  • Each of the images 38L and 38H is an original image or an input image when viewed from the biological tissue image processing apparatus 18 side.
  • the images 38L and 38H are electronic data, and the images 38L and 38H are transmitted from the SEM 16 to the biological tissue image processing apparatus 18 via a network or a portable storage medium.
  • the biological tissue image processing apparatus 18 is configured by a personal computer in the illustrated configuration example.
  • the biological tissue image processing apparatus 18 may be incorporated in the SEM 16, or the biological tissue image processing apparatus 18 may be incorporated in a system computer that controls the SEM 16 or the like.
  • the SEM 16 may be controlled by the biological tissue image processing apparatus 18.
  • the biological tissue image processing apparatus 18 has a main body 40, a display 46 and an input device 48.
  • the plurality of functions of the main body 40 will be described in detail later with reference to FIGS.
  • FIG. 1 three typical functions (film estimation function, haze detection function, and labeling processing function) exhibited by the main body 40 are represented as blocks.
  • the main body 40 includes a machine learning type film estimator 42 that constitutes a part of the film image generation unit, a haze detector 200 as a haze image generation unit, and a labeling process that executes a three-dimensional labeling process.
  • the display 46 is configured by an LCD, an organic EL display device, or the like.
  • the input device 48 includes a keyboard operated by a user, a pointing device, and the like.
  • FIG. 2 shows a configuration example of the main body 40.
  • the entity of each configuration shown in FIG. 2 is software, that is, a program executed by a general-purpose processor such as a CPU or GPU, except for a portion corresponding to a user's work or action.
  • a general-purpose processor such as a CPU or GPU
  • part or all of the configuration may be configured by a dedicated processor or other hardware. All or part of the functions of the biological tissue image processing apparatus may be executed by one or a plurality of information processing devices existing on the network.
  • the main body 40 includes a machine learning type film estimator 42, a binarizer (image generator) 50, a correction unit 52, a haze detector 200, a labeling processing unit 202, a volume data processing unit 56, and the like.
  • the membrane estimator 42 functions as membrane estimation means, and applies a membrane estimation process to the input image 206, thereby outputting a membrane likelihood map 60.
  • the input image 206 is an original image 38L as a low voltage image.
  • the original image 38H as a high-voltage image is input to the haze detector 200 provided in parallel with the membrane estimator 42.
  • the membrane estimator 42 is configured by a CNN (ConvolutionalConNeural Network) which is a machine learning type membrane estimator.
  • CNN ConvolutionalConNeural Network
  • a specific configuration example will be described later with reference to FIG.
  • the learning process is executed in advance prior to the actual operation of the CNN, that is, the analysis process so that the film is correctly estimated by the CNN.
  • the learning process includes a primary learning process and a secondary learning process as described above. Only the primary learning process may be performed.
  • each image pair is constituted by the original image 38L and the correct image 68 corresponding thereto.
  • the correct answer image 68 is created, for example, manually by the original image 38L.
  • the correct image 68 may be created from the original image 38L by an unsupervised machine learning device, a simple classifier (for example, SVM (Support Vector Vector)) or the like.
  • the output may be used as the correct image 68.
  • the correct answer image 68 may be created based on the output of the film estimator 42 that has undergone a certain primary learning process.
  • a plurality of image pairs are given as teacher data to the membrane estimator 42 as in the primary learning process.
  • the teacher data includes a plurality of image pairs used in the primary learning process and a plurality of image pairs added in the secondary learning process.
  • Each added image pair includes an original image 38L and a corresponding correct image 64A.
  • the correct image 64A is created by the biological image processing apparatus itself by the configuration from the membrane estimator 42 to the correction unit 52. Specifically, when the original image 38L is input to the membrane estimator 42, the membrane likelihood map 60 is output from the membrane estimator 42 as an estimation result image.
  • the correct image 64 ⁇ / b> A is created through generation of the mask image 62 based on the film likelihood map 60 and user (expert) correction of the mask image 62 using the correction unit 52. Each process will be described in detail later. It is also conceivable to use the mask image 62 as the correct image 62A.
  • the CNN parameter group in the film estimator 42 is further improved by the secondary learning process. That is, the machine learning result is further accumulated in the film estimator 42. For example, the secondary learning process ends when it is determined that the result of the estimation process for the original image 38L is sufficiently similar to the correct images 68 and 64A corresponding to the original image 38L. Thereafter, re-learning of the film estimator 42 is executed by the same method as described above as necessary.
  • the database 57 stores a plurality of original images 38L and 38H and a plurality of correct images 68 and 64A.
  • the film estimator 42 and the database 57 may be integrated.
  • U-net may be used, or SVM, random forest, or the like may be used.
  • the binarizer 50 functions as an image generator. Specifically, the binarizer 50 is a module that generates a temporary membrane image 62 by binarization processing on the membrane likelihood map 60, as will be exemplified later with reference to FIG.
  • the film likelihood map 60 includes a plurality of film likelihoods arranged two-dimensionally. Each film likelihood is a numerical value indicating the probability (probability) of being a film. The film likelihood is, for example, between 0 and 1.
  • the film likelihood map 60 can also be understood as a film likelihood image.
  • a threshold is set in the binarizer 50, and the binarizer 50 converts a film likelihood that is equal to or greater than the threshold to 1 and converts a film likelihood that is less than the threshold to 0.
  • the image generated as a result is a temporary membrane image 62.
  • the film image before correction is referred to as a temporary film image 62 in order to distinguish the film image before correction from the film image after correction.
  • the entire film estimator 42 and binarizer 50 may be configured by CNN or the like. Even in such a case, the stepwise generation of the membrane likelihood map and the temporary membrane image can be considered. It is also possible to use the temporary membrane image 62 as the correct image 62A. Prior to binarization processing, processing such as noise removal and edge enhancement may be applied to the film likelihood map 60. In the embodiment, the part from the membrane estimator 42 to the correction unit 52 functions as a membrane image generation unit or a membrane image generation unit.
  • the correction unit 52 displays, as a work target image, a mask image that is a work target for the user via a work window illustrated in FIG. 5 later, and accepts a user's correction instruction on the work target image. Is.
  • the correction contents are reflected in the mask image that is the work target image.
  • the work target image includes a discontinuous portion of the film
  • a film pixel group is added to the discontinuous portion.
  • the correction unit 52 is a module that supports the user's work or operation and manages each mask image. When the user is satisfied with the quality of the mask image, the processing by the correction unit 52 can be skipped.
  • an input image (original image) 206 and a generated membrane likelihood map 60 are input to the correction unit 52 in addition to the generated temporary membrane image 62.
  • the original image 206 or the membrane likelihood map 60 corresponding to the work target image can be displayed together with or instead of the temporary membrane image 62 as the work target image.
  • the labeling processing unit 202 functions as a labeling processing unit, and also functions as a reference information generation unit and a selection unit.
  • the labeling processing unit 202 is a module that performs labeling (painting and labeling) on individual regions (in-film regions) included in the corrected film image.
  • ⁇ Labeling includes manual labeling by the user and automatic labeling.
  • in order to form a burden on the user at the time of the labeling process or to increase the accuracy of the labeling process in the embodiment, as a feature quantity for determining the connection relation in the depth direction, or a plurality of feature quantities for that purpose.
  • reference information is used.
  • the reference information is a reference vector and a reference region that are selectively (or simultaneously) used as will be described in detail later.
  • the labeling processing unit 202 includes a reference vector calculation unit 210 and a reference region calculation unit 212. These will be described in detail later.
  • the labeling processing unit 202 has a selection unit, which is not shown.
  • three-dimensional labeling data 66 is constructed in which the cytoplasm surrounded by the membrane is distinguished from the others. This is sent to the volume data processing unit 56.
  • the volume data processing unit 56 includes an analysis unit 56A and a rendering unit 56B.
  • the volume data processing unit 56 is input with an original image stack 36L composed of a plurality of original images.
  • the original image stack 36L constitutes volume data.
  • the three-dimensional labeling data 66 is also input to the volume data processing unit 56. It is also a kind of volume data.
  • the analysis unit 56A analyzes a target organ (for example, a nerve cell) based on the three-dimensional labeling data 66, for example. For example, the form, volume, length, etc. may be analyzed.
  • the original image stack 36L is analyzed with reference to the three-dimensional labeling data.
  • the rendering unit 56B forms a three-dimensional image (stereoscopic expression image) based on the three-dimensional labeling data 66. For example, an imaging portion may be extracted from the original image stack 37L based on the three-dimensional labeling data 66, and a rendering process may be applied to the extracted image portion.
  • the haze detector 200 shown in the lower part of FIG. 2 functions as a haze image generator.
  • An original image 38H which is a high-voltage image, is input to the haze detector 200 as an input image 208.
  • the high voltage image the three-dimensional structure or form inside the cell is more likely to appear than in the low voltage image (this will be described in detail later with reference to FIG. 7).
  • more deep images of the cell membrane appear.
  • the deep image appears like a haze in the high voltage image.
  • a module that detects the haze, that is, a haze image component, is a haze detector 200.
  • the haze detector 200 has a filter for extracting a haze image component as will be described later.
  • a deep image, or haze also appears in the low voltage image, but the amount is relatively small. Therefore, in the embodiment, two images of a low voltage image and a high voltage image are acquired from the same sample section.
  • the input image 206 of the membrane estimator 42 can include a certain amount of haze
  • a modification in which the input image 206 is input to the haze detector 200 can be considered.
  • the haze detector 200 may be configured by a machine learning type film estimator such as CNN. It is also conceivable that the film estimator 42 and the haze detector 200 are constituted by a single machine learning type film estimator. In that case, both the membrane likelihood map and the Complicated likelihood map are output in parallel from the estimator.
  • the temporary membrane image 62 often contains non-membrane images. For this reason, the burden of the correction work in the correction part 52 will increase.
  • the haze area is set. It is possible to detect with high accuracy. The haze area is used in the calculation of the reference vector and the calculation of the reference area. This will be described later in detail with reference to FIGS.
  • FIG. 3 shows a configuration example of the membrane estimator 42 as a schematic diagram.
  • the membrane estimator 42 has a number of layers, which include an input layer 80, a convolution layer 82, a pooling layer 84, an output layer 86, and the like. These layers act according to the CNN parameter group 88.
  • the CNN parameter group 88 includes a number of weighting factors, a number of bias values, and the like.
  • the CNN parameter group 88 is initially configured by an initial value group 94. For example, the initial value group 94 is generated using random numbers or the like.
  • the evaluation unit 90 and the update unit 92 function.
  • the evaluation unit 90 calculates an evaluation value based on a plurality of image pairs (original image 38L (see FIG. 2) and correct images 68 and 64A corresponding thereto) constituting the teacher data.
  • the evaluation value is calculated by sequentially giving the result 60A of the estimation process for the original image 38L and the correct images 68 and 64A corresponding to the original image 38L to the error function.
  • the updating unit 92 updates the CNN parameter group 88 so that the evaluation value changes in a favorable direction. By repeating this, the CNN parameter group 88 is optimized as a whole.
  • the end of the learning process is determined when the evaluation value reaches a certain value.
  • the configuration shown in FIG. 3 is merely an example, and it is possible to use estimators having various structures as the film estimator 42.
  • FIG. 4 shows the operation of the binarizer.
  • a film likelihood map 60 is output from the film estimator.
  • the film likelihood map 60 is composed of a plurality of film likelihoods 60a corresponding to a plurality of pixels, and each film likelihood 60a is a numerical value indicating the probability of being a film.
  • the binarizer binarizes the membrane likelihood map 60, thereby generating a temporary membrane image 62 as a binarized image.
  • each film likelihood 60a is compared with a threshold value.
  • a membrane likelihood 60a that is equal to or greater than the threshold is converted into a pixel 62a having a value of 1, and a membrane likelihood 60a that is less than the threshold is converted into a pixel 62b having a value of 0.
  • the pixel 62a is handled as a pixel (film pixel) constituting the film.
  • the threshold value can be variably set by the user. The setting may be automated. For example, the threshold value may be changed while observing the temporary membrane image 62.
  • FIG. 5 illustrates a work window displayed by the machining tool unit (the correction unit 52 and the labeling processing unit 202).
  • the work window 100 includes a display image 102.
  • the display image 102 is a composite image (composite image) composed of a mask image (work target image) corresponding to the depth selected by the user and the original image.
  • An original image as a gray scale image constitutes a background image, and a temporary membrane image (work target image) as a color image (for example, a blue image) is superimposed and displayed on the background image.
  • the illustrated display image 102 shows brain tissue, in which cross sections of a plurality of cells appear. At the same time, a cross section of an organelle (such as mitochondria) in the cell also appears.
  • the display image 102 described above is displayed.
  • the tab 105 is selected, only the original image as a gray scale image is displayed.
  • the tab 106 is selected, only the film likelihood map (film likelihood image) as a gray scale image is displayed.
  • a tab for displaying only a mask image as a work target image may be added.
  • a membrane likelihood map may be used as a background image, and a temporary membrane image may be superimposed on the background image.
  • the depth selection tool 108 is a display element (operation element) for selecting a specific depth (display depth) in the Z direction. It consists of a Z-axis symbol 108b representing the Z-axis and a marker 108a as a slider that slides along the Z-axis symbol 108b. It is possible to select the desired depth by moving the marker 108a. According to such a depth selection tool 108, it is possible to obtain an advantage that it is easy to intuitively recognize the depth to be selected and the depth change amount.
  • the left end point of the Z-axis symbol 108b corresponds to zero depth, and the right end point of the Z-axis symbol 108b corresponds to the maximum depth. Depth selection tools having other forms may be employed.
  • the depth input field 114 is a field for directly specifying the depth as a numerical value. The depth currently selected according to the position of the marker 108a may be displayed as a numerical value in the depth input field 114.
  • the transparency adjustment tool 110 is a tool for adjusting the transparency (display weight) of the color temporary membrane image (work target image) displayed in a synthesized state in a state where the display image 102 is displayed. For example, when the marker 110a is moved to the left side, the display weight of the color mask image is reduced, the transparency is increased, and the original image is dominantly displayed. On the contrary, when the marker 110a is moved to the right side, the display weight of the color mask image increases, the transparency decreases, and the color mask image becomes more clearly expressed.
  • the superimposition display tool 112 is an image (synthesized image, original image or film likelihood map) adjacent to the currently displayed image (synthesized image, original image or film likelihood map) on the shallow side in the depth direction.
  • the operation is performed when an image (a composite image, an original image, or a film likelihood map) adjacent to the deep side in the depth direction is displayed in an overlapping manner.
  • the marker 112a is moved to the left side, the display weight for the image adjacent to the shallow side increases.
  • the marker 112a is moved to the right side, the display weight for the image adjacent to the deep side increases.
  • Three or more images may be superimposed and displayed. Of course, if too many images are superimposed, the image content becomes too complex, so it is desirable to overlay a small number of images. Such superposition display makes it easy to obtain depth information.
  • the button row 115 includes a plurality of virtual buttons 116, 118, 120, 121, 122, 126.
  • the button 116 is a display element operated when performing image zoom (enlargement or reduction).
  • the button 118 is a display element that is operated when the pen tool is used. When the button 118 is turned on, the shape of the cursor is changed to a pen shape, and a film pixel can be added using the cursor shape. It is also possible to change the pen size.
  • the button 120 is a display element that is operated when using an eraser. When the button 120 is turned on, the shape of the cursor is changed to an eraser shape, and the film pixel can be deleted using the cursor shape. It is also possible to change the size of the eraser.
  • the button 121 is a display element that is operated when painting manually. If any area is designated after the button 121 is turned on, the area is filled. It is also possible to select an arbitrary function from a plurality of functions prepared for painting (or labeling) by operating the button 121.
  • the color palette 124 is displayed. For example, a color selected from the color palette is given to the painted area. Thereby, the area is colored by the selected color.
  • Each color is associated with an object number. If the same color, that is, the same object number is given to a plurality of regions across the layers, a three-dimensional lumen region in a specific cell is defined by these regions.
  • the button 126 is a button for black and white reversal. When it is operated, a portion displayed in black in the displayed image is displayed in white, and conversely, a portion displayed in white is displayed in black.
  • the labeling process is executed manually or automatically.
  • one or more labeling candidates are automatically specified based on reference information described later (or based on a plurality of feature amounts including the reference information).
  • a labeling target is automatically specified based on reference information described later (or based on a plurality of feature amounts including the reference information). That is, in the embodiment, the reference information is calculated based on the film image and the haze image at a certain depth, and using the reference information, the labeling candidate or the labeling target is automatically detected in the film image at another depth. Specific.
  • FIG. 6 shows a temporary membrane image 180 before correction and a temporary membrane image 182 after correction.
  • the temporary film image 180 before correction includes film break portions 184 and 188.
  • the corrected temporary membrane image 182 as shown by reference numerals 186 and 190, the film interruption portion is repaired.
  • the temporary membrane image 180 before correction includes non-membrane portions 192 and 196.
  • those non-membrane portions have disappeared. According to the corrected mask image 182, it is possible to accurately perform labeling, and consequently, it is possible to improve the quality of the three-dimensional labeling data.
  • FIG. 7 schematically shows exaggerated changes in the observation depth range and changes in the SEM image caused by changes in the acceleration voltage.
  • Reference numerals 230, 232, and 234 indicate three different observation conditions.
  • the observation condition 230 is a condition for setting the acceleration voltage to a low voltage.
  • the observation condition 232 is a condition in which the acceleration voltage is a medium voltage.
  • the observation condition 234 is a condition for increasing the acceleration voltage.
  • the upper part (A) of FIG. 7 shows the relationship between the cross section of the sample piece 236 and the electron beams 244, 246, 248.
  • Each cross section includes a membrane portion 238 that runs parallel to the Z direction and a membrane portion 240 that runs in an oblique direction with respect to the Z direction.
  • Reference numeral 242 indicates a portion (lumen, cytoplasm) surrounded by the membrane.
  • the lower part (B) of FIG. 7 shows an SEM image.
  • the object to be observed by the electron beam 244 is exclusively the surface layer of the sample section 236. For this reason, images 238a and 240a representing the surface layers of the two film portions 238 and 240 appear on the SEM image.
  • the observation condition 232 is selected, the object to be observed by the electron beam 246 extends to the intermediate layer of the sample slice 236. Therefore, on the SEM image, an image (intermediate integrated image) 238b representing the intermediate layer of the film portion 238 appears, and a deep image 240c appears in the vicinity of the image 240b for the film portion 240.
  • the object to be observed by the electron beam 248 extends to the entire sample section 236 in the illustrated example. Therefore, on the SEM image, an image (entire integrated image) 238c representing the entire film portion 238 appears, and a wide depth image 240e appears in the vicinity of the image 240d for the film portion 240.
  • the low voltage image and the high voltage image are acquired from the individual sample sections as described above. After these are processed separately, reference information for determining the connection relationship between the in-film regions in the depth direction is generated from the processing results.
  • an upper image illustrates an original image 300L as a low-voltage image, and a film image 302 generated based on the original image 300L is illustrated.
  • an original image 300H as a high voltage image is illustrated in the lower part, and a haze image 304 generated based on the original image 300H is illustrated.
  • the original image 300H includes a clearer image component than the original image 300L.
  • the haze image 304 includes a haze area as a high luminance portion.
  • a superimposed image 306 is shown on the right side of FIG. 8 as an image for understanding the spatial relationship between the membrane image 302 and the haze image 304.
  • the superimposed image 306 includes a film image 302 as a background image, and a haze image 304 superimposed thereon.
  • the superimposed image 306 is not actually generated, and the film image 302 and the haze image 304 are processed separately.
  • FIG. 9 schematically shows the action of the haze detector.
  • the original image 330 is a high voltage image, on which the filter 332 is raster scanned.
  • the center of the filter 332 is the target pixel 334.
  • the enlarged filter 332A it is composed of 3 ⁇ 3 pixels, and it is determined whether or not the target pixel 334A is a haze pixel using the filter 332A.
  • the average luminance of the nine pixels included in the filter 332 is equal to or greater than a1 and the variance of the luminance of the nine pixels is equal to or less than a2.
  • 1 is written as the moy flag in the moy management table 342. Specifically, 1 is written in the cell 346 corresponding to the target pixel.
  • 0 is written in the moya management table 342 as a moya flag as indicated by reference numeral 340. Specifically, 0 is written in the cell 346 corresponding to the target pixel.
  • the above processing is executed at each movement position while moving the filter 332. As a result, values are written in all the cells of the moyah management table 342. At that time, the Complicated Image is completed.
  • the haze area is a relatively high brightness area, and the change in brightness is relatively small in the haze area.
  • a haze region is detected using such features.
  • An area condition may be added to the above conditions to extract a haze pixel group having a certain area or more.
  • the filter 332 described above is only one method for extracting a haze image component, and a haze image component may be extracted by another method.
  • FIG. 10 and 11 show a first example of the reference information calculation method. This method is executed in the reference vector calculation unit in the labeling processing unit shown in FIG. The process shown in FIG. 10 is executed for each n-th image set (film image and haze image) and for each haze area. n is a depth number.
  • a haze region M is specified.
  • a superimposed image 250 is shown for understanding the embodiment.
  • the center of gravity O1 is calculated as a representative point of the haze region M. Instead of the center of gravity O1, a center point or the like may be calculated.
  • the in-film region including the center of gravity O1 is specified.
  • the outer edge of the in-membrane region is indicated by the symbol U.
  • the center of gravity O2 is calculated as a representative point of the in-film region. A center point or the like may be calculated instead of the center of gravity O2.
  • S18 as shown in the center of FIG.
  • a straight line L passing through the two centroids O1 and O2 is defined.
  • the intersection A with the outer edge U is specified on the straight line L.
  • the intersection point A is specified as the intersection point on the side closer to the haze region M.
  • an ellipse Q0 that surrounds and circumscribes the haze region M is defined.
  • the center of the ellipse Q0 is the center of gravity O1 of the haze region M.
  • the generation of the ellipse Q0 makes it easier to handle the haze region M in calculation.
  • the ellipse Q0 is expanded until the ellipse Q0 touches the outer edge U.
  • An ellipse at the time of contact with the outer edge U is an ellipse Q1.
  • the ellipse Q0 and the ellipse Q1 are similar. That is, in the expansion process, the major axis length and the minor axis length of the ellipse Q0 are increased at the same ratio.
  • intersection farther from the intersection A is specified. That is intersection B.
  • a reference vector V is defined as a vector from the intersection A to the intersection B.
  • the same process as described above is executed for each haze area.
  • the above processing may be applied to the largest haze area.
  • the above processing is not applied to an in-film region that does not include a haze region.
  • the reference vector is added to one or a plurality of feature amounts for determining the connection relationship only in the in-film region having the haze.
  • the reference vector indicates the feature of the haze area, that is, the deep image of the film.
  • the base point of the reference vector indicates the end of the film, and the direction of the reference vector indicates the direction in which the film is traveling.
  • the magnitude of the reference vector indicates the magnitude of the film tilt angle. Therefore, it is possible to support the 3D labeling process using such a reference vector or to automate it.
  • connection relationship specifying method shows a first example of the connection relationship specifying method. This method is executed in the labeling processing unit.
  • one reference vector is calculated for the nth depth based on the film image and the haze image of the nth depth.
  • the connection relation is specified for each reference vector.
  • the following processing may be applied in parallel to a plurality of film images existing on the deep side and a plurality of film images existing on the deep side from the n-th depth film image (reference film image).
  • the n-th depth reference vector calculated based on the n-th depth film image (and the haze image) is projected onto the n + i (or ni) -th depth film image.
  • I is an integer of 1 or more.
  • FIG. 13 shows a film image 252 of the (n + i) th (or (n ⁇ i)) th depth.
  • the reference vector projected there is denoted by reference numeral V1.
  • n is a depth number and is an integer.
  • the film image 252 includes a plurality of in-film regions Ra, Rb, Rc, and Rd.
  • a dividing line P that is orthogonal to the projected reference vector V1 and passes through the base point of the reference vector V1 is defined.
  • the membrane image 252 is divided into two portions 252A and 252B by the dividing line P.
  • the in-film region where the center of gravity exists in the portion 252A on the side where the reference vector faces is the candidate region.
  • centroids Oa, Ob, Oc, and Od of the plurality of in-film regions Ra, Rb, Rc, and Rd those belonging to the portion 252A are the centroids Oa and Ob.
  • In-film regions Ra and Rb including the centroids Oa and Ob are set as candidate regions.
  • the in-film region specified on the n-th depth film image 252 is projected onto the n + i (or n ⁇ i) -th depth film image 252.
  • a label (100) is given to the in-film region of the projection source.
  • the in-film region Rb that generates the maximum overlap area has a connection relationship. Selected as an in-film region. That is, the same label (100) is given to it.
  • the above processing is executed at each depth and for each reference vector.
  • the distance between the center of gravity, the distance between the tip of the reference vector and the center of gravity, the closeness of the area size, the closeness of the form, etc. may be used, or a combination thereof is used. Also good.
  • the automatic labeling process is executed, the execution result is confirmed by the user.
  • a plurality of candidate areas specified by the above process are displayed. In that case, the most probable candidate area is displayed with a hue different from the others. You may make it express the magnitude of a connection possibility with the difference in a hue.
  • FIGS. 10 and 11 show a second example of the reference information calculation method.
  • the method is executed in the reference area calculation unit in the labeling processing unit shown in FIG.
  • the process shown in FIG. 14 is executed for each n-th image set (film image and haze image) and for each reference region.
  • the steps and elements shown in FIGS. 10 and 11 are denoted by the same step numbers or the same reference numerals, and description thereof is omitted.
  • a circumscribed circle Q2 that surrounds the haze region M and touches it is generated.
  • a circumscribed ellipse may be generated.
  • the center of the circumscribed circle Q2 coincides with the center of gravity of the haze region M.
  • S24A it is determined whether or not the circumscribed circle Q2 includes the intersection A. If included, the process proceeds to S28A. If not included, the process proceeds to S26A.
  • the circumscribed circle Q2 is expanded until the circumscribed circle Q2 includes the intersection A.
  • a circumscribed circle in a state where the intersection point A is located on the edge of the circumscribed circle Q2 is indicated by a symbol Q3.
  • the circumscribed circle Q3 is deleted from the in-film region surrounded by the outer edge U, and the reference region E shown on the left side of FIG. 15 is generated.
  • the reference area may be generated by simply subtracting the haze area from the in-film area.
  • the reference region E is assumed to be a portion extending in the depth direction in the in-film region, and is used as a representative region or a main region.
  • connection relationship specifying method shows a second example of the connection relationship specifying method. This method is also executed in the labeling processing unit.
  • one reference region is calculated for the nth depth based on the film image and the haze image of the nth depth.
  • the connection relation is specified for each reference area.
  • the following processing may be applied to a plurality of film images existing on the deeper side and a plurality of film images existing on the shallower side from the nth depth film image as a reference.
  • FIG. 17 the elements shown in FIG. 15 are denoted by the same reference numerals, and the description thereof is omitted.
  • the nth depth reference area calculated based on the nth depth film image (and the haze image) is projected onto the n + i (or ni) th depth film image.
  • the reference area projected there is indicated by E1.
  • the membrane image 256 includes a plurality of intramembrane regions Ra, Rb, Rc, Rd.
  • the overlapping area is calculated between the projected reference area E1 and each in-film area Ra, Rb, Rc, Rd.
  • the in-film region Rb having the maximum polymerization area is selected as the in-film region having a connection relationship. That is, the same label (100) is given there. In determining the connection relationship, one or more other feature amounts may be considered.
  • the above processing is executed at each depth and for each reference area.
  • the connection relationship between the in-film regions in the depth direction is determined based on one or more predetermined feature values.
  • a plurality of candidate areas and the most probable candidate areas may be displayed.
  • the reference vector and the reference region are calculated based on the in-film region and the haze region, but other reference information may be calculated. For example, the deviation amount of the haze area relative to the in-film area, the area ratio between the in-film area and the haze area, and the like may be calculated.
  • FIG. 18 schematically shows a three-dimensional image 258 generated based on the labeling processing result.
  • the three-dimensional image 258 is generated by, for example, a surface rendering method, a volume rendering method, or the like.
  • the individual cell images 262a, 262b, 262c are expressed with different hues, for example.
  • connection relationship may be determined based on three or more images having different observation conditions. Instead of changing the acceleration voltage, other conditions such as irradiation current may be changed. In determining the connection relationship, both the reference vector and the reference region may be used. In general, various feature quantities can be used for determining a connection relationship. Examples of such a feature amount include texture, Hu moment, shape similarity, perimeter, and the like in addition to those described above. The above treatment may be applied to membranes other than cell membranes.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

低電圧画像としての元画像（２０６）に基づいて膜画像（６４）が生成される。高電圧画像としての元画像（２０８）から細胞膜の深部像が抽出され、これによりモヤ画像（２０９）が生成される。ラベリング処理部（２０２）は、膜画像（６４）に含まれる膜内領域及びモヤ画像（２０９）に含まれるモヤ領域に基づいて、三次元ラベリング処理で利用される基準情報（基準ベクトル、基準領域）を生成する。

Description

生物組織画像処理装置及び方法
　本開示は生物組織画像処理装置及び方法に関する。
　生物組織の三次元構造を解析し又はそれをイメージングするための手法として、三次元顕微鏡法が知られている。三次元顕微鏡法においては、一般に、電子顕微鏡が用いられる。例えば、走査型電子顕微鏡（Scanning Electron Microscope）を用いた三次元顕微鏡法として、Focused Ion Beam SEM（FIB-SEM）法、Serial Block-Face SEM（SBF-SEM）法、及び、連続切片SEM（Serial Section SEM）法（非特許文献１を参照）が提案されている。連続切片SEM法は、アレイトモグラフィ（Array-tomography）法とも呼ばれている。
　連続切片SEM法では、生物組織の試料から、深さ方向に連なる複数の試料切片（極薄片）が切り出され、それらが基板上に配列される。基板上の各試料切片が走査型電子顕微鏡により順次観察され、これにより複数の画像が取得される。取得された複数の画像に基づいて、生物組織に含まれる特定の器官（細胞、ミトコンドリア、核等）の三次元構造が解析され、あるいは、それがイメージングされる。連続切片SEM法によれば、既に観察した試料切片を再び観察することが可能である。
甲賀ほか「連続切片SEM法とゴルジ装置の3D構造解析への応用」顕微鏡，49巻3号，2014．
　生物組織の観察により生成された電子顕微鏡画像の内容は、加速電圧等の観察条件によって変化する。本発明者らの実験、研究によれば、例えば、加速電圧を上げて観察を行った場合、細胞膜（例えば神経細胞膜）の深部像がモヤのように現れ易くなることが確認されている。その深部像は細胞膜の三次元形態又は三次元構造を反映したものであると考えられる。生物組織を構成する他の要素が有する膜（例えばミトコンドリア膜）を観察する場合にも、その膜の深部像が現れ得る。そこで、複数の膜画像に基づく三次元ラベリング処理において深部像を活用することが望まれる。
　本開示の目的は、生物組織画像としての電子顕微鏡画像に含まれる深部像を三次元ラベリング処理において活用することにある。
　本開示に係る生物組織画像処理装置は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する膜画像生成部と、前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成するモヤ画像生成部と、前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用するラベリング処理部と、を含むことを特徴とする。
　本開示に係る生物組織画像処理方法は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する工程と、前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成する工程と、前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用する工程と、を含むことを特徴とする。
　上記方法は、ハードウエアの機能又はソフトウエアの機能として実現され、後者の場合、その機能を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。情報処理装置の概念には、パーソナルコンピュータ、電子顕微鏡システム等が含まれる。
実施形態に係る生物組織画像処理システムを示す概念図である。 生物組織画像処理装置の本体の第１構成例を示すブロック図である。 機械学習型膜推定器の構成例を示すブロック図である。 膜尤度マップに基づく仮膜画像の生成を示す図である。 作業ウインドウの一例を示す図である。 修正前の膜画像と修正後の膜画像とを示す図である。 加速電圧の変化に伴う観察深さ範囲の変化を示す図である。 低電圧画像から生成される膜画像及び高電圧画像から生成されるモヤ画像を示す図である。 モヤ検出処理の一例を示す概念図である。 基準情報演算方法の第１例を示すフローチャートである。 基準情報演算方法の第１例を示す説明図である。 繋がり関係特定方法の第１例を示すフローチャートである。 繋がり関係特定方法の第１例を示す説明図である。 基準情報演算方法の第２例を示すフローチャートである。 基準情報演算方法の第２例を示す説明図である。 繋がり関係特定方法の第２例を示すフローチャートである。 繋がり関係特定方法の第２例を示す説明図である。 三次元表示の一例を示す図である。
　（Ａ）実施形態の概要
　実施形態に係る生物組織画像処理システムは、膜画像生成部、モヤ画像生成部、及び、ラベリング処理部を有する。膜画像生成部は、生物組織の観察により生成された第１電子顕微鏡画像に基づいて膜画像を生成するものである。モヤ画像生成部は、生物組織の観察により生成された第２電子顕微鏡画像に基づいて膜の深部像としてのモヤ領域（Hazy Region）を含むモヤ画像を生成するものである。ラベリング処理部は、膜画像に基づく三次元ラベリング処理においてモヤ領域を利用するものである。モヤ領域は膜の三次元形態又は三次元構造が反映された特別な情報である。上記構成は、三次元ラベリング処理において、そのような特別な情報を利用するものである。膜は、実施形態において細胞膜であるが、他の膜であってもよい。
　実施形態において、第１電子顕微鏡画像と第２電子顕微鏡画像は、生物組織中の同一部位の観察により生成される。それらの画像は通常、同一倍率を有する。実施形態において、第１電子顕微鏡画像と第２電子顕微鏡画像は別々の画像であるが、モヤ領域を抽出してそれを利用できる限りにおいて、第１電子顕微鏡画像と第２電子顕微鏡画像とを同一とする変形例も考えられる。実施形態においては、連続切片SEM法（アレイトモグラフィ法）により複数の画像が取得されているが、FIB-SEM法、SBF-SEM法、その他の手法により複数の画像が取得されてもよい。
　実施形態においては、第１電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件が設定され、第２電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件よりも大きな深さ範囲にわたって観察を行える第２観察条件が設定される。この構成によれば、第２電子顕微鏡画像において膜の深部像が現れ易くなる。観察条件の切り替えに際して、加速電圧、照射電流その他が変更され得る。実施形態において、第１観察条件は電子顕微鏡に対して第１加速電圧を設定する条件であり、第２観察条件は電子顕微鏡に対して前記第１加速電圧よりも高い第２加速電圧を設定する条件である。
　実施形態において、膜画像生成部は、機械学習型の膜推定器を含む。膜推定器は例えばＣＮＮで構成される。他のタイプの機械学習型の膜推定器が利用されてもよい。機械学習型以外の膜推定器を利用することも考えられる。膜推定器の入力画像を低電圧画像とすれば、仮膜画像の修正時におけるユーザーの負担を軽減できる。モヤ画像生成部の入力画像を高電圧画像とすれば、モヤ領域の検出精度を高められる。
　実施形態において、モヤ画像生成部は、第２電子顕微鏡画像からモヤ画像成分を抽出することによりモヤ画像を生成するものである。モヤ画像成分は、一般に、特徴的な性質を有しており、その性質を利用してモヤ画像成分を抽出することが可能である。モヤ画像生成部は、フィルタ処理器、機械学習型のモヤ推定器、その他として構成され得る。単一の推定器（例えばＣＮＮ）が膜画像生成部及びモヤ画像生成部として機能してもよい。
　実施形態において、膜画像生成部は、複数の深さに対応する複数の第１電子顕微鏡画像に基づいて複数の深さに対応する複数の膜画像を生成し、モヤ画像生成部は、複数の深さに対応する複数の第２電子顕微鏡画像に基づいて複数の深さに対応する複数のモヤ画像を生成し、ラベリング処理部は、複数の膜画像に対して三次元ラベリング処理を実行し、ラベリング処理部は、第１の深さのモヤ画像に含まれるモヤ領域に基づいて、第１の深さとは異なる第２の深さの膜画像に含まれる対象領域を選定するための基準情報を生成する基準情報生成部を含む。
　基準情報は、自動的なラベリングにおいて判定情報として利用され、あるいは、マニュアルでのラベリングにおいて支援情報として参照される。第２の深さは、第１の深さに隣接する深さであってもよいし、他の深さであってもよい。異なる２つの深さに存在する２つの対象領域が繋がっているのか否かを判断するに際しては、一般に、個々の対象領域が有するあるいは対象領域間で定義される１又は複数の特徴量が参照される。そのような特徴量として基準情報が利用され得る。対象領域は、抽出の対象となる領域であり、実施形態においては、細胞膜の内部つまり膜内領域である。それよりも大きな領域である細胞領域（細胞膜までを含む領域）等が対象領域とされてもよい。
　実施形態において、基準情報生成部は、第１の深さのモヤ画像に含まれるモヤ領域、及び、第１の深さの膜画像に含まれる領域であってモヤ領域を含む第１の対象領域に基づいて、基準情報として、第１の深さの基準ベクトルを演算する基準ベクトル演算部を含み、ラベリング処理部は、第１の深さの基準ベクトルに基づいて、第２の深さの膜画像に含まれる対象領域として、第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する。この構成においては、膜で囲まれた細胞質等の三次元の構造又は形態を示す情報として、第１の深さの基準ベクトルが利用される。繋がり関係の概念には、繋がっている可能性が認められる関係が含まれる。繋がり関係の判断に際しては、基準ベクトルを含む複数の特徴量が総合的に考慮されてもよい。
　実施形態において、基準ベクトル演算部は、第１の深さのモヤ画像に含まれるモヤ領域の代表座標、及び、第１の深さの膜画像に含まれる第１の対象領域の代表座標に基づいて、第１の深さの基準ベクトルを演算する。各代表座標は、それぞれの領域を代表するものであり、例えば、重心、中心、その他の座標である。
　実施形態において、基準情報生成部は、第１の深さのモヤ画像に含まれるモヤ領域、及び、第１の深さの膜画像に含まれる領域であってモヤ領域を含む第１の対象領域に基づいて、基準情報として、第１の深さの基準領域を演算する基準領域演算部を含み、ラベリング処理部は、第１の深さの基準領域に基づいて、第２の深さの膜画像に含まれる対象領域として、第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する。実施形態において、基準領域演算部は、第１の深さの膜画像に含まれる第１の対象領域から、第１の深さのモヤ画像に含まれるモヤ領域又はそれを基礎として生成された領域を減算することにより、第１の深さの基準領域を演算する。第１の深さの基準領域は、深さ方向から見て、第１の対象領域の中で、第２の対象領域に重合している可能性が高い部分である。逆に言えば、モヤ領域は、深さ方向から見て、第１の対象領域の中で、第２の対象領域に重合している可能性が低い部分である。上記構成は、重合している可能性の低い部分を除外して、重合している可能性の高い部分を、繋がり関係の判定に利用するものである。
　（Ｂ）実施形態の詳細
　図１には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム１０は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析の対象になり得る。
　図１に示す構成例において、生物組織画像処理システム１０は、試料前処理装置１２、連続切片作成装置１４、走査型電子顕微鏡（ＳＥＭ）１６、及び、生物組織画像処理装置１８によって構成されている。
　試料前処理装置１２は、生体から取り出された組織２０に対して前処理を行う装置であり、又は、その前処理のための各種の器具に相当する。前処理として、固定処理、染色処理、導電処理、樹脂包埋処理、整形処理等が挙げられる。それらの全部又は一部が、必要に応じて、実施される。染色処理においては四酸化オスミウム（osmium tetroxide）、酢酸ウラン（uranium acetate）、クエン酸鉛(lead citrate)等が用いられてもよい。染色処理が以下に説明する各試料切片に対して行われてもよい。前処理に含まれる一部又は全部の工程が手作業によって行われてもよい。
　連続切片作成装置１４は、ＳＥＭ１６の外部に設けられ、あるいは、ＳＥＭ１６の内部に設けられる。連続切片作成装置１４により、前処理後のキュービック状の試料から、深さ方向（Ｚ方向）に並ぶ複数の試料切片２４が切り出される。その際には、ウルトラミクロトーム（Ultramicrotome）等の装置が利用されてもよい。その作業が手作業で行われてもよい。複数の試料切片２４により、試料切片群２２が構成される。実際には、切り出された複数の試料切片２４は、基板２８上に所定の配列で配置される。基板２８は、例えば、ガラス基板、シリコーン基板である。図１においては、基板２８上に、２つの試料切片列からなる試料切片アレイ２２Ａが構成されているが、それは例示に過ぎない。基板２８及び試料切片アレイ２２Ａにより、試料ユニット２６が構成される。
　ちなみに、個々の試料切片２４における縦及び横のサイズは、例えば、ｎｍオーダー又はμｍオーダーである。それ以上のサイズ（例えばｍｍオーダーのサイズ）を有する試料切片２４が作製されてもよい。個々の試料切片２４の厚み（Ｚ方向のサイズ）は、例えば、数ｎｍ～数百ｎｍの範囲内にあり、実施形態においては、その厚みは例えば３０～7０ｎｍの範囲内にある。本願明細書において挙げる数値はいずれも例示である。
　ＳＥＭ１６は、電子銃、偏向器（走査器）、対物レンズ、試料室、検出器３４、制御部２０４等を有している。試料室内には、試料ユニット２６を保持するステージ、及び、そのステージを移動させる移動機構、が設けられている。制御部２０４により、移動機構の動作つまりステージの移動が制御される。具体的には、試料切片アレイ２２Ａの中から選択された特定の試料切片２４に対して電子ビーム３０が照射される。照射位置を走査（例えばラスタースキャン）させながら、各照射位置から放出される反射電子３２が検出器３４で検出される。これによりＳＥＭ画像が形成される。これが試料切片２４ごとに実行される。制御部２０４は、電子ビームを形成するための加速電圧を設定する機能を有する。一般に、加速電圧を上げると、試料切片２４の内部におけるより深い位置からの情報が得られ易くなる。
　なお、Ｚ方向に直交する方向をＸ方向と定義し、Ｚ方向及びＸ方向に直交する方向をＹ方向と定義した場合、望ましくは、Ｘ方向観察範囲及びＹ方向観察範囲が互いに一致するように、各試料切片２４における観察範囲（電子ビーム二次元走査範囲）が定められる。反射電子３２ではなく、二次電子等が検出されてもよい。
　実施形態においては、解析過程において、制御部２０４の制御により、試料切片２４ごとに、第１観察条件としての第１加速電圧（低電圧）、及び、第２観察条件としての第２加速電圧（高電圧）が順次設定される。すなわち、解析対象試料から切り出された個々の試料切片２４が第１加速電圧の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（第１元画像）３８Ｌが生成される。続いて、個々の試料切片２４が第２加速電圧の下で形成された電子ビーム３０Ｈの走査により観察され、これにより高電圧画像（第２元画像）３８Ｈが生成される（高電圧観察）。通常、１つの試料切片２４に対して低電圧観察及び低電圧観察が連続して順次実行され、これが試料切片２４ごとに繰り返される。その結果、複数の低電圧画像３８Ｌにより低電圧画像スタック３６Ｌが構成され、また、複数の高電圧画像３８Ｈにより高電圧画像スタック３６Ｈが構成される。
　第１加速電圧は、例えば、１ｋｅＶ又は２ｋｅＶであり、第２加速電圧は、例えば、３ｋｅＶ、５ｋｅＶ又は７ｋｅＶである。試料、観察対象、観察目的その他の事情を考慮して第１加速電圧及び第２加速電圧を定めるのが望ましい。
　後述する膜推定器４２の学習過程では、制御部２０４の制御により、第１観察条件つまり第１加速電圧だけが設定される。すなわち、学習対象試料から切り出された個々の試料切片２４が第１加速電圧（低電圧）の下で形成された電子ビーム３０Ｌの走査により観察され（低電圧観察）、これにより低電圧画像（解析用元画像）が生成される。複数の低電圧画像により低電圧画像スタックが構成される。学習過程には一次学習（初期学習過程）及び二次学習過程が含まれる。学習過程において、学習用画像として、低電圧画像に加えて高電圧画像が利用されてもよい。
　解析過程で取得される画像スタック３６Ｌ，３６Ｈは、Ｚ方向における複数の深さに対応する（換言すればデータ記憶空間内でＺ方向に並ぶ）複数の画像３８Ｌ，３８Ｈにより構成される。各画像３８Ｌ，３８Ｈは、生物組織画像処理装置１８側から見て、元画像又は入力画像である。各画像３８Ｌ，３８Ｈは電子データであり、各画像３８Ｌ，３８ＨがＳＥＭ１６から生物組織画像処理装置１８へ、ネットワーク又は可搬型記憶媒体を介して、伝送される。
　生物組織画像処理装置１８は、図示の構成例において、パーソナルコンピュータによって構成されている。生物組織画像処理装置１８がＳＥＭ１６内に組み込まれてもよく、生物組織画像処理装置１８がＳＥＭ１６等を制御するシステムコンピュータ内に組み込まれてもよい。生物組織画像処理装置１８によりＳＥＭ１６が制御されてもよい。
　生物組織画像処理装置１８は、本体４０、表示器４６及び入力器４８を有している。本体４０が有する複数の機能については、後に、図２以降の各図に基づいて詳しく説明する。図１においては、本体４０が発揮する代表的な３つの機能（膜推定機能、モヤ検出機能、及び、ラベリング処理機能）がそれぞれブロックとして表現されている。具体的には、本体４０は、膜画像生成部の一部を構成する機械学習型の膜推定器４２、モヤ画像生成部としてのモヤ検出器２００、及び、三次元ラベリング処理を実行するラベリング処理部２０２を有する。表示器４６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。入力器４８は、ユーザーによって操作されるキーボード、ポインティングデバイス等によって構成される。
　図２には、本体４０の構成例が示されている。図２に示される各構成の実体は、ユーザーの作業又は行為に相当する部分を除いて、ＣＰＵ、ＧＰＵ等の汎用プロセッサによって実行されるソフトウエアつまりプログラムである。もっとも、それらの構成の一部又は全部が専用プロセッサ又は他のハードウエアによって構成されてもよい。生物組織画像処理装置が有する機能の全部又は一部がネットワーク上に存在する１又は複数の情報処理デバイスにより実行されてもよい。
　本体４０は、機械学習型の膜推定器４２、二値化器（画像生成器）５０、修正部５２、モヤ検出器２００、ラベリング処理部２０２、ボリュームデータ処理部５６等を有する。
　膜推定器４２は、膜推定手段として機能するものであり、入力画像２０６に対して膜推定処理を適用し、これにより膜尤度マップ６０を出力する。入力画像２０６は、低電圧画像としての元画像３８Ｌである。なお、高電圧画像としての元画像３８Ｈは、膜推定器４２に対して並列に設けられたモヤ検出器２００へ入力される。
　図示の構成例において、膜推定器４２は、機械学習型膜推定器であるＣＮＮ（Convolutional Neural Network）により構成されている。その具体的な構成例については後に図３を用いて説明する。ＣＮＮによって膜が正しく推定されるように、ＣＮＮの実際の稼働つまり解析過程に先立って、学習過程が事前に実行される。その学習過程には、上記のように、一次学習過程と二次学習過程とが含まれる。一次学習過程だけが実行されてもよい。
　一次学習過程では、教師データを構成する複数の画像ペアが膜推定器４２に与えられ、これにより膜推定器４２内のＣＮＮパラメータ群が優良化（最適化）される。すなわち、膜推定器４２内に機械学習結果が蓄積される。ここで、個々の画像ペアは、元画像３８Ｌとそれに対応する正解画像６８とにより構成される。正解画像６８は、例えば、元画像３８Ｌに対する手作業により作成される。教師なし機械学習器、簡易な識別器（例えばＳＶＭ（Support Vector Machine））等によって、元画像３８Ｌから正解画像６８が作成されてもよい。この場合、かかる識別器に対して元画像３８Ｌを入力し、その出力に基づいてユーザーにおいて識別器がある程度働いていると判断できた場合に、その出力を正解画像６８として利用してもよい。一定の一次学習過程を経た膜推定器４２の出力に基づいて正解画像６８が作成されてもよい。
　続く二次学習過程では、一次学習過程を経て膜推定器４２がある程度働くことを前提として、膜推定器４２に対して、一次学習過程と同様に、教師データとして複数の画像ペアが与えられる。実施形態においては、その教師データは、一次学習過程で利用された複数の画像ペアと二次学習過程で追加された複数の画像ペアとにより構成される。追加される各画像ペアは、元画像３８Ｌとそれに対応する正解画像６４Ａとからなる。正解画像６４Ａは、膜推定器４２から修正部５２までの構成により、生物画像処理装置自身によって作成される。具体的には、元画像３８Ｌを膜推定器４２に入力すると、膜推定器４２から推定結果画像として膜尤度マップ６０が出力される。膜尤度マップ６０に基づく仮膜画像６２の生成、及び、修正部５２を利用した仮膜画像６２に対するユーザー（専門家）修正を経て、正解画像６４Ａが作成される。個々の処理については後に詳述する。仮膜画像６２を正解画像６２Ａとして利用することも考えられる。二次学習過程により、膜推定器４２内のＣＮＮパラメータ群が更に優良化される。つまり、膜推定器４２内に機械学習結果が更に蓄積される。二次学習過程は、例えば、元画像３８Ｌに対する推定処理の結果が、元画像３８Ｌに対応する正解画像６８，６４Ａに十分に類似したと判断された場合に終了する。その後、必要に応じて、上記同様の手法により、膜推定器４２の再学習が実行される。
　データベース５７には、複数の元画像３８Ｌ，３８Ｈ、及び、複数の正解画像６８，６４Ａが格納される。膜推定器４２とデータベース５７とが一体化されてもよい。機械学習型の膜推定器として、Ｕ－ｎｅｔが利用されてもよく、また、ＳＶＭ、ランダムフォレスト等が利用されてもよい。
　二値化器５０は、画像生成器として機能するものである。具体的には、二値化器５０は、後に図４を用いて例示するように、膜尤度マップ６０に対する二値化処理により、仮膜画像６２を生成するモジュールである。膜尤度マップ６０は、二次元配列された複数の膜尤度からなる。個々の膜尤度は、膜である確からしさ（確率）を示す数値である。膜尤度は例えば０から１の間をとる。膜尤度マップ６０を膜尤度画像として捉えることもできる。実施形態において、二値化器５０には閾値が設定されており、二値化器５０は閾値以上の膜尤度を１に変換し、閾値未満の膜尤度を０に変換する。その結果として生成される画像が仮膜画像６２である。実施形態においては、便宜上、修正前の膜画像を修正後の膜画像から区別するために、修正前の膜画像を仮膜画像６２と呼んでいる。
　なお、膜推定器４２及び二値化器５０の全体がＣＮＮ等により構成されてもよい。その場合でも、膜尤度マップ及び仮膜画像の段階的な生成を観念できる。仮膜画像６２を正解画像６２Ａとして用いることも可能である。二値化処理前に、膜尤度マップ６０に対して、ノイズ除去、エッジ強調等の処理が適用されてもよい。実施形態においては、膜推定器４２から修正部５２までの部分が膜画像生成部又は膜画像生成手段として機能している。
　修正部５２は、後に図５において例示する作業ウインドウを介して、ユーザーに対して作業対象となった仮膜画像を作業対象画像として表示し、また、作業対象画像上におけるユーザーの修正指示を受け付けるものである。修正内容は作業対象画像となった仮膜画像に反映される。作業対象画像内に例えば膜の途切れ部分が含まれる場合、その途切れ部分に対して膜画素群が追加される。作業対象画像内に例えば膜以外の部分が含まれ、その部分が膜として誤認されている場合、その部分を構成する膜画素群が削除される。そのような追加及び削除に際し、ユーザーの作業又は操作を支援し各仮膜画像を管理するモジュールが修正部５２である。ユーザーが仮膜画像の品質に満足する場合には修正部５２による処理をスキップさせることもできる。
　図示の構成例においては、修正部５２に対して、生成された仮膜画像６２の他に、入力画像（元画像）２０６、及び、生成された膜尤度マップ６０も入力されている。これにより、作業対象画像としての仮膜画像６２と共に、又はそれに代えて、作業対象画像に対応する元画像２０６又は膜尤度マップ６０を表示することが可能である。
　ラベリング処理部２０２は、ラベリング処理手段として機能し、また、基準情報生成部及び選定部としても機能する。ラベリング処理部２０２は、修正後の膜画像に含まれる個々の領域（膜内領域）に対して、ラベリング（ペイント及びラベル付け）を行うモジュールである。
　ラベリングには、ユーザーによるマニュアルでのラベリング処理、及び、自動的なラベリング処理がある。ラベリング処理時のユーザーの負担を形成し、又は、ラベリング処理の正確性を上げるために、実施形態においては、深さ方向の繋がり関係を判定するための特徴量として、又はそのための複数の特徴量の１つとして、基準情報が利用される。基準情報は、実施形態において、後に詳述するように、選択的に（又は同時に）利用される基準ベクトル及び基準領域である。ラベリング処理部２０２は、基準ベクトル演算部２１０及び基準領域演算部２１２を有している。それらについては後に詳述する。この他、ラベリング処理部２０２は選定部を有しているが、その図示は省略されている。ラベリング処理が完了した段階で、膜で囲まれた細胞質とそれ以外とが区別された三次元ラベリングデータ６６が構成される。それがボリュームデータ処理部５６へ送られる。
　ボリュームデータ処理部５６は、解析部５６Ａ及びレンダリング部５６Ｂを有している。ボリュームデータ処理部５６には、図示の構成例において、複数の元画像からなる元画像スタック３６Ｌが入力されている。元画像スタック３６Ｌはボリュームデータを構成するものである。ボリュームデータ処理部５６には、上記のように、三次元ラベリングデータ６６も入力されている。それもボリュームデータの一種である。
　解析部５６Ａは、例えば、三次元ラベリングデータ６６に基づいて、対象器官（例えば神経細胞）を解析する。例えば、形態、体積、長さ等が解析されてもよい。その際、三次元ラベリングデータを参照しながら、元画像スタック３６Ｌが解析される。レンダリング部５６Ｂは、三次元ラベリングデータ６６に基づいて、三次元画像（立体的表現画像）を形成するものである。例えば、三次元ラベリングデータ６６に基づいて、元画像スタック３７Ｌの中から画像化部分が抽出され、それに対してレンダリング処理が適用されてもよい。
　図２の下段に示されているモヤ検出器２００は、モヤ画像生成部として機能する。モヤ検出器２００には、入力画像２０８として、高電圧画像である元画像３８Ｈが入力されている。高電圧画像には、低電圧画像よりも、細胞内部の三次元構造又は形態が現れ易い（これについては後に図７を用いて具体的に説明する）。特に、高電圧画像には、細胞膜の深部像がより多く現れる。その深部像は、高電圧画像においてモヤのように現れる。そのモヤつまりモヤ画像成分を検出するモジュールがモヤ検出器２００である。モヤ検出器２００は後に説明するようにモヤ画像成分を抽出するフィルタを有している。低電圧画像にも深部像つまりモヤが現れるが、その量は比較的に少ない。そこで、実施形態においては、同じ試料切片から低電圧画像及び高電圧画像の２つの画像が取得されている。
　なお、膜推定器４２の入力画像２０６がある程度のモヤを含み得るものである場合、その入力画像２０６をモヤ検出器２００に入力する変形例が考えられる。モヤ検出器２００をＣＮＮ等の機械学習型膜推定器で構成してもよい。膜推定器４２とモヤ検出器２００とを単一の機械学習型膜推定器で構成することも考えられる。その場合、その推定器から膜尤度マップとモヤ尤度マップの両方が並列的に出力されることになる。
　もっとも、膜推定器４２に対して高電圧画像を入力した場合、仮膜画像６２内に膜でないものが多々含まれてしまう。このため修正部５２での修正作業の負担が増大してしまう。実施形態においては、膜推定器４２に低電圧画像を入力し、且つ、モヤ検出器２００に高電圧画像を入力したので、修正部５２での修正作業の増大を防止し、且つ、モヤ領域を高精度に検出することが可能である。モヤ領域は、基準ベクトルの演算及び基準領域の演算で利用される。これについては図８以降の各図を参照しながら後に詳述する。
　図３には、膜推定器４２の構成例が模式図として示されている。膜推定器４２は、多数の層を有しており、それらには、入力層８０、畳み込み層８２、プーリング層８４、出力層８６等が含まれる。それらの層はＣＮＮパラメータ群８８に従って作用する。ＣＮＮパラメータ群８８には、多数の重み係数、多数のバイアス値、その他が含まれる。ＣＮＮパラメータ群８８は最初に初期値群９４によって構成される。例えば、乱数等を利用して初期値群９４が生成される。
　学習過程では、評価部９０及び更新部９２が機能する。例えば、評価部９０は、教師データを構成する複数の画像ペア（元画像３８Ｌ（図２を参照）とそれに対応する正解画像６８，６４Ａ）に基づいて評価値を計算するものである。具体的には、元画像３８Ｌに対する推定処理の結果６０Ａと元画像３８Ｌに対応する正解画像６８，６４Ａとを誤差関数に順次与えることにより評価値が演算される。更新部９２は、その評価値が良い方向に変化するように、ＣＮＮパラメータ群８８を更新する。それを繰り返すことによって、ＣＮＮパラメータ群８８が全体的に最適化される。実際には、評価値が一定値に到達した時点で、学習過程の終了が判断される。図３に示した構成は単なる例示に過ぎず、膜推定器４２として、多様な構造を有する推定器を利用することが可能である。
　図４には、二値化器の作用が示されている。膜推定器から膜尤度マップ６０が出力される。膜尤度マップ６０は、複数の画素に相当する複数の膜尤度６０ａからなるものであり、個々の膜尤度６０ａは膜であることの確からしさを示す数値である。符号５０Ａで示すように、二値化器は膜尤度マップ６０を二値化し、これにより二値化画像としての仮膜画像６２を生成する。二値化に際しては、個々の膜尤度６０ａが閾値と比較される。例えば、閾値以上の膜尤度６０ａが値１を有する画素６２ａに変換され、閾値未満の膜尤度６０ａが値０を有する画素６２ｂに変換される。画素６２ａが膜を構成する画素（膜画素）として取り扱われる。閾値はユーザーにより可変設定し得る。その設定が自動化されてもよい。例えば、仮膜画像６２を観察しながら閾値が可変されてもよい。
　図５には、加工ツールユニット（修正部５２及びラベリング処理部２０２）により表示される作業ウインドウが例示されている。図示の例において、作業ウインドウ１００は、表示画像１０２を含んでいる。表示画像１０２は、ユーザーによって選択された深さに対応する仮膜画像（作業対象画像）及び元画像からなる合成画像（複合画像）である。グレイスケール画像としての元画像が背景画像を構成しており、それに対して、カラー画像（例えば青色画像）としての仮膜画像（作業対象画像）が重畳表示されている。なお、図示された表示画像１０２は脳組織を示しており、そこには、複数の細胞の断面が現れている。同時に、細胞内の小器官（ミトコンドリア等）の断面も現れている。
　タブ１０４が選択された場合、上記で説明した表示画像１０２が表示される。タブ１０５が選択された場合、グレイスケール画像としての元画像だけが表示される。タブ１０６が選択された場合、グレイスケール画像としての膜尤度マップ（膜尤度画像）だけが表示される。膜尤度マップの観察により、閾値が適切に設定されていること等を確認できる。また、元画像の単独表示によれば、膜の細部を詳細観察することが容易となる。作業対象画像としての仮膜画像だけを表示するタブを追加してもよい。膜尤度マップを背景画像とし、それに対して仮膜画像が重畳表示されてもよい。
　深さ選択ツール１０８は、Ｚ方向において、特定の深さ（表示深さ）を選択するための表示要素（操作要素）である。それは、Ｚ軸を表すＺ軸シンボル１０８ｂと、Ｚ軸シンボル１０８ｂに沿ってスライド運動するスライダとしてのマーカー１０８ａと、からなる。マーカー１０８ａを移動させて、所望の深さを選択することが可能である。このような深さ選択ツール１０８によれば、選択する深さや深さ変化量を直感的に認識し易いという利点を得られる。なお、Ｚ軸シンボル１０８ｂの左端点が深さゼロに相当し、Ｚ軸シンボル１０８ｂの右端点が最大深さに相当している。他の形態を有する深さ選択ツールを採用してもよい。深さ入力欄１１４は、深さを数値として直接的に指定するための欄である。深さ入力欄１１４に、マーカー１０８ａの位置によって現在選択されている深さが数値として表示されてもよい。
　透過度調整ツール１１０は、表示画像１０２が表示されている状態において、合成表示されているカラーの仮膜画像（作業対象画像）の透過度（表示重み）を調整するためのツールである。例えば、マーカー１１０ａを左側へ移動させると、カラーの仮膜画像の表示重みが小さくなり、その透明度が上がって、元画像が支配的に表示されるようになる。逆に、マーカー１１０ａを右側へ移動させると、カラーの仮膜画像の表示重みが大きくなり、その透明度が下がって、カラーの仮膜画像がよりはっきりと表現されるようになる。
　重合表示ツール１１２は、現在表示されている画像（合成画像、元画像又は膜尤度マップ）に対して、深さ方向に浅い側に隣接する画像（合成画像、元画像又は膜尤度マップ）又は深さ方向に深い側に隣接する画像（合成画像、元画像又は膜尤度マップ）を重ねて表示する場合において操作されるものである。マーカー１１２ａを左側へ移動させると、浅い側に隣接する画像に対する表示重みが大きくなり、逆に、マーカー１１２ａを右側へ移動させると、深い側に隣接する画像に対する表示重みが大きくなる。３つ以上の画像を重ね合わせて表示してもよい。もっとも、あまり多くの画像を重ね合わせると、画像内容が複雑になり過ぎてしまうので、少数の画像を重ね合わせるのが望ましい。このような重合表示によれば、奥行き情報を得られ易くなる。
　ボタン列１１５は、仮想的な複数のボタン１１６，１１８，１２０，１２１，１２２，１２６によって構成される。ボタン１１６は、画像ズーム（拡大又は縮小）を行う場合に操作される表示要素である。ボタン１１８は、ペンツールを利用する場合に操作される表示要素である。ボタン１１８をオンにすると、カーソルの形態がペン形に代わり、それを用いて膜画素の追加を行える。ペンのサイズを変更することも可能である。ボタン１２０は、消しゴムを利用する場合に操作される表示要素である。ボタン１２０をオンにすると、カーソルの形態が消しゴム形に代わり、それを用いて膜画素の削除を行える。消しゴムのサイズを変更することも可能である。
　ボタン１２１は、マニュアルでペイントを行う場合に操作される表示要素である。ボタン１２１をオンした上で、いずれかの領域を指定すれば、その領域が塗り潰される。また、ボタン１２１の操作によって、ペイント（又はラベリング）のために用意されている複数の機能の中から任意の機能を選択することも可能である。オブジェクト番号（ラベル）付けボタン１２２の操作により、カラーパレット１２４が表示される。例えば、ペイント処理済み領域に対して、カラーパレットの中から選択されたカラーが与えられる。これにより、その領域が、選択されたカラーによって着色される。個々の色がそれぞれオブジェクト番号に対応付けられている。レイヤ間にわたって複数の領域に対して同じカラーつまり同じオブジェクト番号を付与すれば、それらの領域によって特定細胞内の三次元内腔領域が画定される。
　ボタン１２６は、白黒反転用のボタンである。それを操作すると、表示された画像において、黒く表示されていた部分が白く表示され、逆に白く表示されていた部分が黒く表示される。
　上記の他、三次元像を表示させるためのボタンを設けるのが望ましい。図５に示した作業ウインドウ１００の内容は例示に過ぎず、ユーザー作業においてその作業性が良好になるように、その内容が適宜定められるのが望ましい。
　実施形態において、ラベリング処理はマニュアルで又は自動的に実行される。マニュアルでのラベリング処理の際には、後述する基準情報に基づいて（あるいはそれを含む複数の特徴量に基づいて）、１又は複数のラベリング候補が自動的に特定される。自動的なラベリング処理においては、後述する基準情報に基づいて（あるいはそれを含む複数の特徴量に基づいて）、ラベリング対象が自動的に特定される。すなわち、実施形態においては、ある深さの膜画像及びモヤ画像に基づいて基準情報が演算されており、その基準情報を利用して、別の深さの膜画像においてラベリング候補又はラベリング対象が自動的に特定される。
　図６には、修正前の仮膜画像１８０と修正後の仮膜画像１８２とが示されている。修正前の仮膜画像１８０には、膜途切れ部分１８４，１８８が含まれる。修正後の仮膜画像１８２においては、符号１８６及び符号１９０で示されているように、膜途切れ部分が補修されている。また、修正前の仮膜画像１８０には、非膜部分１９２，１９６が含まれている。修正後の仮膜画像１８２においては、符号１９４及び符号１９８で示されているように、それらの非膜部分が消失している。修正後の仮膜画像１８２によれば、ラベリングを的確に行うことが可能となり、ひいては、三次元ラベリングデータの品質を高めることが可能となる。
　図７には、加速電圧の変化に伴って生じる観察深さ範囲の変化及びＳＥＭ画像の変化が誇張して模式的に示されている。符号２３０，２３２，２３４は、互いに異なる３つの観察条件を示している。観察条件２３０は加速電圧を低い電圧とする条件である。観察条件２３２は加速電圧を中程度の電圧とする条件である。観察条件２３４は加速電圧を高い電圧とする条件である。図７の上段（Ａ）には、試料切片２３６の断面と電子ビーム２４４，２４６，２４８との関係が示されている。各断面には、Ｚ方向に平行に走行している膜部分２３８と、Ｚ方向に対して斜めの方向に走行している膜部分２４０と、が含まれる。符号２４２は、膜に囲まれた部分（内腔、細胞質）を示している。図７の下段（Ｂ）にはＳＥＭ画像が示されている。
　図示の例において、観察条件２３０が選択された場合、電子ビーム２４４による観察の対象は、もっぱら試料切片２３６の表層となる。このため、ＳＥＭ画像上においては、２つの膜部分２３８，２４０の表層を表す像２３８ａ，２４０ａが現れることになる。観察条件２３２が選択された場合、電子ビーム２４６による観察の対象は、試料切片２３６の中間層にまで及ぶ。このため、ＳＥＭ画像上においては、膜部分２３８の中間層までを表す像（中間積算像）２３８ｂが現れ、膜部分２４０については像２４０ｂの近傍に深部像２４０ｃが現れる。観察条件２３４が選択された場合、電子ビーム２４８による観察の対象は、図示の例では、試料切片２３６の全体に及んでいる。このため、ＳＥＭ画像上においては、膜部分２３８の全体を表す像（全体積算像）２３８ｃが現れ、膜部分２４０については像２４０ｄの近傍に幅の広い深部像２４０ｅが現れる。
　以上のように加速電圧の変更によって、取得できる深さ情報が異なることから、実施形態においては、上記のように個々の試料切片から低電圧画像及び高電圧画像が取得されている。それらが別々に処理された上で、それらの処理結果から、深さ方向における膜内領域の繋がり関係を判定するための基準情報が生成されている。
　以下、基準情報の生成について具体的に説明する。
　図８において、上段には、低電圧画像としての元画像３００Ｌが例示されており、また、元画像３００Ｌに基づいて生成された膜画像３０２が例示されている。図８において、下段には、高電圧画像としての元画像３００Ｈが例示されており、また、元画像３００Ｈに基づいて生成されたモヤ画像３０４が例示されている。元画像３００Ｈには元画像３００Ｌよりもはっきりとしたモヤ画像成分が含まれている。モヤ画像３０４には高輝度部分としてのモヤ領域が含まれる。図８の右側には、膜画像３０２とモヤ画像３０４との空間的関係を理解するための画像として、重合画像３０６が示されている。重合画像３０６は、背景画像としての膜画像３０２と、それに重ね合わされたモヤ画像３０４と、からなるものである。ラベリング処理部２０２においては、実際には、重合画像３０６は生成されておらず、膜画像３０２とモヤ画像３０４とが別々に処理される。
　図９には、モヤ検出器の作用が模式的に示されている。元画像３３０は高電圧画像であり、それに対してフィルタ３３２がラスタースキャンされる。フィルタ３３２の中心は注目画素３３４である。具体的には、拡大表現されたフィルタ３３２Ａにおいて、それは３×３の画素からなり、フィルタ３３２Ａを利用して注目画素３３４Ａがモヤ画素か否かが判定される。
　符号３３６で示されているように、フィルタ３３２内に含まれる９個の画素の平均輝度がａ１以上であり、且つ、９個の画素の輝度の分散がａ２以下であるか否かが判定される。その判定条件が満たされる場合、符号３３８で示すように、モヤフラグとして１がモヤ管理テーブル３４２に書き込まれる。具体的には注目画素に対応するセル３４６に１が書き込まれる。一方、上記判定条件が満たされない場合、符号３４０で示すように、モヤフラグとして０がモヤ管理テーブル３４２に書き込まれる。具体的には注目画素に対応するセル３４６に０が書き込まれる。符号３４８で示すように、フィルタ３３２を移動させながら、各移動位置において上記処理が実行される。これによりモヤ管理テーブル３４２が有するすべてのセルに値が書き込まれる。その時点でモヤ画像が完成する。
　モヤ領域は比較的に高輝度の領域であり、且つ、モヤ領域においては輝度の変化が比較的に少ない。そのような特徴を利用してモヤ領域が検出されている。上記条件に対して面積条件を追加し、一定以上の面積を有するモヤ画素集団を抽出するようにしてもよい。上記のフィルタ３３２はモヤ画像成分を抽出する方法の１つに過ぎず、他の方法によりモヤ画像成分が抽出されてもよい。
　図１０及び図１１には、基準情報演算方法の第１例が示されている。その方法は、図２に示したラベリング処理部の中の基準ベクトル演算部において実行される。図１０に示されている処理は、ｎ番目の画像セット（膜画像及びモヤ画像）ごとに実行され、且つ、モヤ領域ごとに実行される。ｎは深さ番号である。
　Ｓ１０では、図１１の左側に示されるように、モヤ領域Ｍが特定される。図１１においては、実施形態の理解のため、重合画像２５０が示されている。Ｓ１２では、モヤ領域Ｍの代表点として重心Ｏ１が演算される。重心Ｏ１に代えて中心点等が演算されてもよい。Ｓ１４では、重心Ｏ１を含む膜内領域が特定される。図１１においては、膜内領域の外縁が符号Ｕで示されている。Ｓ１６では、膜内領域の代表点として重心Ｏ２が演算される。重心Ｏ２に代えて中心点等が演算されてもよい。Ｓ１８では、図１１の中央に示されているように、２つの重心Ｏ１，Ｏ２を通過する直線Ｌが定義される。Ｓ２０では、直線Ｌ上において、外縁Ｕとの交点Ａが特定される。この場合、モヤ領域Ｍに近い側の交点として交点Ａが特定される。
　続いて、Ｓ２２では、モヤ領域Ｍを囲み、それに外接する楕円Ｑ０が定義される。その場合、楕円Ｑ０の中心はモヤ領域Ｍの重心Ｏ１である。楕円Ｑ０を利用しないことも考えられるが、楕円Ｑ０を発生させることにより、モヤ領域Ｍを演算上、取扱い易くなる。Ｓ２４では、楕円Ｑ０が既に外縁Ｕに接しており（又は外縁Ｕを超えており）、以下に説明する所定条件を満たす状況下で交点Ｂが既に発生しているか否かが判断される。交点Ｂが生じているならば、処理がＳ２８へ移行し、交点Ｂが生じていない場合には処理がＳ２６へ移行する。
　Ｓ２６では、楕円Ｑ０が外縁Ｕに接するまで、楕円Ｑ０が拡大される。外縁Ｕに接した時点の楕円が楕円Ｑ１である。楕円Ｑ０と楕円Ｑ１は相似関係にある。つまり、拡大過程では楕円Ｑ０の長軸長及び短軸長が同じ比率で増大される。Ｓ２８では、楕円Ｑ１（又は楕円Ｑ０）と直線Ｌの２つの交点の内で、交点Ａから遠い方の交点が特定される。それが交点Ｂである。図１１の右側に示されるように、交点Ａから交点Ｂに向かうベクトルとして基準ベクトルＶが定義される。
　モヤ画像中に複数のモヤ領域が含まれる場合、個々のモヤ領域ごとに上記同様の処理が実行される。１つの膜内領域に複数のモヤ領域が含まれる場合、最大のモヤ領域に対して上記処理が適用されるようにしてもよい。モヤ領域を含まない膜内領域については、上記処理は適用されない。実施形態においては、モヤを有する膜内領域に限り、繋がり関係を判定するための１又は複数の特徴量に対して基準ベクトルが加えられている。
　基準ベクトルはモヤ領域つまり膜の深部像の特徴を示すものである。基準ベクトルの基点は膜の端を示し、基準ベクトルの向きは膜が走行している方向を示す。基準ベクトルの大きさは膜の傾斜角度の大小を示す。よって、そのような基準ベクトルを利用して三次元ラベリング処理を支援し、又は、それを自動化することが可能となる。
　図１２及び図１３には繋がり関係特定方法の第１例が示されている。この方法は、ラベリング処理部において実行される。ここでは、説明の都合上、ｎ番目の深さの膜画像及びモヤ画像に基づいてｎ番目の深さについて１つの基準ベクトルが演算されることを前提とする。ｎ番目の深さにおいて、複数の基準ベクトルが演算されている場合、基準ベクトルごとに繋がり関係が特定される。ｎ番目の深さの膜画像（基準膜画像）から深い側に存在する複数の膜画像及び深い側の存在する複数の膜画像に対して、以下の処理が並列的に適用されてもよい。
　Ｓ３０では、ｎ番目の深さの膜画像（及びモヤ画像）に基づいて演算されたｎ番目の深さの基準ベクトルが、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像上に投影される（ｉは１以上の整数である）。図１３には、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５２が示されている。そこに投影された基準ベクトルが符号Ｖ１で示されている。上記のように、ｎは深さ番号であり、整数である。
　Ｓ３２では、基準ベクトルＶ１に基づいて、複数の候補領域の中から１又は複数の候補領域が絞り込まれる。具体的には、図１３において、膜画像２５２には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが含まれる。投影された基準ベクトルＶ１に直交する線であって、基準ベクトルＶ１の基点を通過する分割線Ｐが定義される。分割線Ｐによって膜画像２５２は２つの部分２５２Ａ，２５２Ｂに分割される。実施形態においては、基準ベクトルが向く側の部分２５２Ａ内に重心点が存在する膜内領域が候補領域とされる。具体的には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが有する重心Ｏａ，Ｏｂ，Ｏｃ，Ｏｄの内で、部分２５２Ａに属するものは重心Ｏａ，Ｏｂである。それらの重心Ｏａ，Ｏｂを含む膜内領域Ｒａ，Ｒｂが候補領域とされる。
　Ｓ３４では、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５２上に、ｎ番目の深さの膜画像上において特定された膜内領域が投影される。例えば、投影元の膜内領域に対してラベル（１００）が付与されているものとする。投影された膜内領域Ｕ１と、絞り込み後の各膜内領域（候補領域）Ｒａ，Ｒｂとの間で、重合面積が演算され、最大の重合面積を生じさせる膜内領域Ｒｂが繋がり関係を有する膜内領域として選定される。つまり、それに対しては同じラベル（１００）が付与される。
　以上の処理が個々の深さにおいて、且つ、個々の基準ベクトルごとに、実行される。重合面積に代えて、重心間の距離、基準ベクトルの先端と重心との間の距離、面積サイズの近さ、形態の近さ、等が利用されてもよいし、それらの組み合わせが利用されてもよい。自動的なラベリング処理を実行した場合、その実行結果がユーザーにより確認される。マニュアルでのラベリング処理においては、上記のようなプロセスにより特定された複数の候補領域が表示される。その場合に、最有力候補領域が他とは異なる色相で表示される。繋がり可能性の大小を色相の違いで表現するようにしてもよい。
　図１４及び図１５には、基準情報演算方法の第２例が示されている。その方法は、図２に示したラベリング処理部の中の基準領域演算部において実行される。図１４に示されている処理は、ｎ番目の画像セット（膜画像及びモヤ画像）ごとに且つ基準領域ごとに実行される。なお、図１４及び図１５において、図１０及び図１１に示した工程及び要素には同一の工程番号又は同一の符号を付し、その説明を省略する。
　Ｓ２２Ａでは、図１５の中央に示されているように、モヤ領域Ｍを取り囲みつつそれに接する外接円Ｑ２が生成される。外接楕円が生成されてもよい。外接円Ｑ２の中心はモヤ領域Ｍの重心に一致している。Ｓ２４Ａでは、外接円Ｑ２が交点Ａを内包しているか否かが判定される。内包していれば、処理がＳ２８Ａへ移行し、内包していなければ、処理がＳ２６Ａへ移行する。
　Ｓ２６Ａでは、外接円Ｑ２が交点Ａを含むまで外接円Ｑ２が拡大される。交点Ａが外接円Ｑ２の縁上に位置した状態での外接円が符号Ｑ３で示されている。Ｓ２８Ａでは、外縁Ｕで囲まれた膜内領域から、外接円Ｑ３が削除され、図１５の左側に示されている基準領域Ｅが生成される。膜内領域からモヤ領域を単純に減算することにより基準領域を生成してもよい。基準領域Ｅは、膜内領域において深さ方向に広がっている部分であると推認され、それが代表領域あるいは主たる領域として利用される。
　図１６及び図１７には、繋がり関係特定方法の第２例が示されている。この方法もラベリング処理部において実行される。ここでは、ｎ番目の深さの膜画像及びモヤ画像に基づいてｎ番目の深さについて１つの基準領域が演算されることを前提とする。ｎ番目の深さにおいて、複数の基準領域が演算されている場合、基準領域ごとに繋がり関係が特定される。ｎ番目の深さの膜画像を基準として、そこから深い側に存在する複数の膜画像及びそこから浅い側に存在する複数の膜画像に対して以下の処理が適用されてもよい。なお、図１７において、図１５に示した要素には同一の符号を付し、その説明を省略する。
　Ｓ４０では、ｎ番目の深さの膜画像（及びモヤ画像）に基づいて演算されたｎ番目の深さの基準領域が、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像上に投影される。その基準領域を含む膜内領域にはラベル（１００）が与えられているものとする。図１７には、ｎ＋ｉ（又はｎ－ｉ）番目の深さの膜画像２５６が示されている。そこに投影された基準領域が符号Ｅ１で示されている。図１７において、膜画像２５６には、複数の膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが含まれる。投影された基準領域Ｅ１と、各膜内領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄとの間で重合面積が演算される。最大の重合面積を有する膜内領域Ｒｂが繋がり関係を有する膜内領域として選定される。つまり、そこには、同じラベル（１００）が付与される。繋がり関係の判定に際して、他の１又は複数の特徴量が考慮されてもよい。
　以上の処理が個々の深さにおいて、且つ、個々の基準領域ごとに、実行される。モヤ領域を有しない膜内領域については、所定の１又は複数の特徴量に基づいて、深さ方向において膜内領域間の繋がり関係が判定される。自動的なラベリングに代えて、複数の候補領域及び最有力候補領域を表示してもよい。上記実施形態では、膜内領域及びモヤ領域に基づいて、基準ベクトル及び基準領域が演算されたが、他の基準情報が演算されてもよい。例えば、膜内領域に対するモヤ領域の偏倚量、膜内領域とモヤ領域の面積比、その他が演算されてもよい。
　図１８には、ラベリング処理結果に基づいて生成される三次元像２５８が模式的に示されている。三次元像２５８は例えばサーフェイスレンダリング法、ボリュームレンダリング法等によって生成される。個々の細胞像２６２ａ，２６２ｂ，２６２ｃは、例えば、それぞれ異なる色相で表現される。
　実施形態において、観察条件の異なる３つ以上の画像に基づいて繋がり関係が判定されてもよい。加速電圧の変更に代えて照射電流等の他の条件が変更されてもよい。繋がり関係の判定に際して、基準ベクトルと基準領域の両方が利用されてもよい。一般に、繋がり関係の判定に際しては、多様な特徴量を利用することができる。そのような特徴量として、上記であげたものの他、テクスチャ、Ｈｕモーメント、形状類似度、周囲長等があげられる。細胞膜以外の膜に上記処理が適用されてもよい。

Claims (12)

  1. 　生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する膜画像生成部と、
    　前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成するモヤ画像生成部と、
    　前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用するラベリング処理部と、
    　を含むことを特徴とする生物組織画像処理装置。
  2. 　請求項１記載の生物組織画像処理装置において、
    　前記第１電子顕微鏡画像の取得時において、電子顕微鏡に対して第１観察条件が設定され、
    　前記第２電子顕微鏡画像の取得時において、前記電子顕微鏡に対して前記第１観察条件よりも大きな深さ範囲にわたって観察を行える第２観察条件が設定される、
    　ことを特徴とする生物組織画像処理装置。
  3. 　請求項２記載の生物組織画像処理装置において、
    　前記第１観察条件は前記電子顕微鏡に対して第１加速電圧を設定する条件であり、
    　前記第２観察条件は前記電子顕微鏡に対して前記第１加速電圧よりも高い第２加速電圧を設定する条件である、
    　ことを特徴とする生物組織画像処理装置。
  4. 　請求項１記載の生物組織画像処理装置において、
    　前記膜画像生成部は、機械学習型の膜推定器を含む、
    　ことを特徴とする生物組織画像処理装置。
  5. 　請求項１記載の生物組織画像処理装置において、
    　前記モヤ画像生成部は、前記第２電子顕微鏡画像からモヤ画像成分を抽出することにより前記モヤ画像を生成する、
    　ことを特徴とする生物組織画像処理装置。
  6. 　請求項１記載の生物組織画像処理装置において、
    　前記膜画像生成部は、複数の深さに対応する複数の第１電子顕微鏡画像に基づいて、前記複数の深さに対応する複数の膜画像を生成し、
    　前記モヤ画像生成部は、前記複数の深さに対応する複数の第２電子顕微鏡画像に基づいて、前記複数の深さに対応する複数のモヤ画像を生成し、
    　前記ラベリング処理部は、前記複数の膜画像に対して前記三次元ラベリング処理を実行し、
    　前記ラベリング処理部は、第１の深さのモヤ画像に含まれるモヤ領域に基づいて、前記第１の深さとは異なる第２の深さの膜画像に含まれる対象領域を選定するための基準情報を生成する基準情報生成部を含む、
    　ことを特徴とする生物組織画像処理装置。
  7. 　請求項６記載の生物組織画像処理装置において、
    　前記基準情報生成部は、前記第１の深さのモヤ画像に含まれるモヤ領域、及び、前記第１の深さの膜画像に含まれる領域であって前記モヤ領域を含む第１の対象領域に基づいて、前記基準情報として、前記第１の深さの基準ベクトルを演算する基準ベクトル演算部を含み、
    　前記ラベリング処理部は、前記第１の深さの基準ベクトルに基づいて、前記第２の深さの膜画像に含まれる前記対象領域として、前記第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する、
    　ことを特徴とする生物組織画像処理装置。
  8. 　請求項７記載の生物組織画像処理装置において、
    　前記基準ベクトル演算部は、前記第１の深さのモヤ画像に含まれるモヤ領域の代表座標、及び、前記第１の深さの膜画像に含まれる第１の対象領域の代表座標に基づいて、前記第１の深さの基準ベクトルを演算する、
    　ことを特徴とする生物組織画像処理装置。
  9. 　請求項６記載の生物組織画像処理装置において、
    　前記基準情報生成部は、前記第１の深さのモヤ画像に含まれるモヤ領域、及び、前記第１の深さの膜画像に含まれる領域であって前記モヤ領域を含む第１の対象領域に基づいて、前記基準情報として、前記第１の深さの基準領域を演算する基準領域演算部を含み、
    　前記ラベリング処理部は、前記第１の深さの基準領域に基づいて、前記第２の深さの膜画像に含まれる前記対象領域として、前記第１の対象領域に対して繋がり関係を有する第２の対象領域を選定する選定部を有する、
    　ことを特徴とする生物組織画像処理装置。
  10. 　請求項９記載の生物組織画像処理装置において、
    　前記基準領域演算部は、前記第１の深さの膜画像に含まれる第１の対象領域から、前記第１の深さのモヤ画像に含まれるモヤ領域又はそれを基礎として生成された領域を減算することにより、前記第１の深さの基準領域を演算する、
    　ことを特徴とする生物組織画像処理装置。
  11. 　生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する工程と、
    　前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成する工程と、
    　前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用する工程と、
    　を含むことを特徴とする生物組織画像処理方法。
  12. 　情報処理装置において生物組織画像処理を実行するためのプログラムであって、
    　生物組織の観察により生成された第１電子顕微鏡画像に基づいて、膜画像を生成する機能と、
    　前記生物組織の観察により生成された第２電子顕微鏡画像に基づいて、膜の深部像としてのモヤ領域を含むモヤ画像を生成する機能と、
    　前記膜画像に基づく三次元ラベリング処理において前記モヤ領域を利用する機能と、
    　を有する、ことを特徴とするプログラム。
PCT/JP2019/019742 2018-05-24 2019-05-17 生物組織画像処理装置及び方法 Ceased WO2019225507A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-099389 2018-05-24
JP2018099389A JP7181003B2 (ja) 2018-05-24 2018-05-24 生物組織画像処理装置及び方法

Publications (1)

Publication Number Publication Date
WO2019225507A1 true WO2019225507A1 (ja) 2019-11-28

Family

ID=68616939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019742 Ceased WO2019225507A1 (ja) 2018-05-24 2019-05-17 生物組織画像処理装置及び方法

Country Status (2)

Country Link
JP (1) JP7181003B2 (ja)
WO (1) WO2019225507A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05290786A (ja) * 1992-04-10 1993-11-05 Hitachi Ltd 走査試料像表示方法および装置ならびにそれに供される試料
JP2004212355A (ja) * 2003-01-09 2004-07-29 Hitachi Ltd バイオ電子顕微鏡及び試料の観察方法
JP2007263932A (ja) * 2006-03-30 2007-10-11 Kose Corp 化粧料塗布膜内部の画像の取得方法
US20100183217A1 (en) * 2007-04-24 2010-07-22 Seung H Sebastian Method and apparatus for image processing
JP2015149169A (ja) * 2014-02-06 2015-08-20 株式会社日立ハイテクノロジーズ 荷電粒子線装置、画像生成方法、観察システム
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05290786A (ja) * 1992-04-10 1993-11-05 Hitachi Ltd 走査試料像表示方法および装置ならびにそれに供される試料
JP2004212355A (ja) * 2003-01-09 2004-07-29 Hitachi Ltd バイオ電子顕微鏡及び試料の観察方法
JP2007263932A (ja) * 2006-03-30 2007-10-11 Kose Corp 化粧料塗布膜内部の画像の取得方法
US20100183217A1 (en) * 2007-04-24 2010-07-22 Seung H Sebastian Method and apparatus for image processing
JP2015149169A (ja) * 2014-02-06 2015-08-20 株式会社日立ハイテクノロジーズ 荷電粒子線装置、画像生成方法、観察システム
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIGONG HAN ET AL.: "Learning Generative Models of Tissue Organization with Supervised GANs", 2018 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION, 12 March 2018 (2018-03-12), pages 682 - 690, XP033337732, DOI: 10.1109/WACV.2018.00080 *
UCHIHASHI KENSHI ET AL.: "Neuronal cell membrane segmentation from electron microscopy images using a hostile generation model", THE 31TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 4K1, no. 4in2, 2017, pages 1 - 4 *

Also Published As

Publication number Publication date
JP2019204695A (ja) 2019-11-28
JP7181003B2 (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
US11854201B2 (en) Biological tissue image processing system, and machine learning method
Klumpe et al. A modular platform for automated cryo-FIB workflows
KR102680501B1 (ko) 화상 평가 장치 및 방법
US20220130027A1 (en) Structure Estimation System and Structure Estimation Program
US9177378B2 (en) Updating landmarks to improve coregistration as regions of interest are corrected
Charpagne et al. Accurate reconstruction of EBSD datasets by a multimodal data approach using an evolutionary algorithm
US9664888B2 (en) Multi-surface optical 3D microscope
Bartesaghi et al. An energy-based three-dimensional segmentation approach for the quantitative interpretation of electron tomograms
JP2021184766A (ja) 細胞観察装置及び細胞観察方法
JP6345001B2 (ja) 画像処理方法および画像処理装置
CN113744195A (zh) 一种基于深度学习的hRPE细胞微管自动检测方法
TW202341025A (zh) 圖案匹配裝置、圖案測定系統、圖案匹配程式
US8837795B2 (en) Microscopy of several samples using optical microscopy and particle beam microscopy
JP7181003B2 (ja) 生物組織画像処理装置及び方法
JP7181002B2 (ja) 生物組織画像処理システム及び機械学習方法
JP7181000B2 (ja) 生物組織画像処理装置及び方法
Xu et al. HALCON application for shape-based matching
KR102690867B1 (ko) 패턴 매칭 장치, 패턴 측정 시스템 및 비일시적 컴퓨터 가독 매체
EP2383767A1 (en) Method of imaging an object
Pan Processing and feature analysis of atomic force microscopy images
KR20240031356A (ko) 하전 입자선 장치
US20230245360A1 (en) Microscopy System and Method for Editing Overview Images
JP7735582B2 (ja) 寸法計測システム、推定システム、および寸法計測方法
He et al. A vision inspection method for the parameter extraction of orthodontic archwire
WO2017030057A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807326

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19807326

Country of ref document: EP

Kind code of ref document: A1