[go: up one dir, main page]

WO2020059522A1 - 生殖医療支援システム - Google Patents

生殖医療支援システム Download PDF

Info

Publication number
WO2020059522A1
WO2020059522A1 PCT/JP2019/034980 JP2019034980W WO2020059522A1 WO 2020059522 A1 WO2020059522 A1 WO 2020059522A1 JP 2019034980 W JP2019034980 W JP 2019034980W WO 2020059522 A1 WO2020059522 A1 WO 2020059522A1
Authority
WO
WIPO (PCT)
Prior art keywords
sperm
display
displayed
analysis
support system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/034980
Other languages
English (en)
French (fr)
Inventor
寧 湯村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokohama City University
Original Assignee
Yokohama City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokohama City University filed Critical Yokohama City University
Priority to JP2020548310A priority Critical patent/JP7253273B2/ja
Publication of WO2020059522A1 publication Critical patent/WO2020059522A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers

Definitions

  • the present invention relates to a reproductive medicine support system.
  • Patent Document 1 discloses an image analysis process using a classifier trained by machine learning (artificial intelligence processing) for the purpose of classifying biological particles (including oocytes and sperm) in a liquid sample. A technique for performing the above is disclosed.
  • Patent Document 2 discloses an image analysis process using a classifier trained by machine learning for the purpose of ranking or categorizing embryos (including unfertilized secondary oocytes and sperm fusion). A technique for performing the above is disclosed.
  • the present invention has been made in view of the above problems, and provides a reproductive medicine support system for supporting persons engaged in reproductive medicine (particularly, embryo cultivators performing sperm collection work).
  • a reproductive medicine support system for supporting a test operation on a test object containing sperm, wherein a display means for displaying a work screen including a first image in which the test object is enlarged and displayed Analyzing means for acquiring video data in which an area wider than the area displayed on the work screen is photographed as the first video, and performing an image analysis process on the video data,
  • the analyzing process includes a discriminating process of discriminating the sperm photographed in the video data, and an analyzing process of analyzing the sperm discriminated by the discriminating process.
  • the first additional display based on the analysis processing relating to the sperm displayed in the display area of the first video and the analysis relating to all of the sperm determined by the determination processing
  • a second additional display based on the analysis processing relating to the sperm that is determined by the discrimination processing or the determination processing and is out of the display area of the first video. Is done.
  • the inspection operation can be performed based on more useful information.
  • a reproductive medicine support system for supporting persons engaged in reproductive medicine (especially, embryo cultivators performing sperm collection work).
  • 9 is a specific example of an image obtained by enlarging and photographing a sample set by a high-definition camera according to the sperm movement analyzer.
  • It is a lineblock diagram of a reproductive medicine support system. It is a figure showing the example of the work screen displayed on a display unit. It is a figure showing the example of the work screen displayed on a display unit. It is a figure showing the example of the work screen displayed on a display unit. It is a figure showing the example of the work screen displayed on a display unit. It is a figure showing the example of the work screen displayed on a monitor. It is a figure showing the example of the work screen displayed on a monitor. It is a figure showing the example of the work screen displayed on a monitor.
  • the inspection work to be supported by the reproductive medicine support system 100 is not particularly limited as long as it relates to a test object containing sperm (hereinafter, a sample set).
  • a test object containing sperm hereinafter, a sample set.
  • (i) work related to microinsemination (motor sperm collection method) and (ii) work related to testicular sperm collection operation are to be supported by the reproductive medicine support system 100.
  • Microinsemination refers to observing a sample set obtained by washing ejaculated semen under a microscope, selecting and recovering one healthy motor sperm from the sample set (motor sperm recovery method), and collecting the recovered motor sperm. Is a reproductive medicine in which fertilization is artificially promoted by directly injecting into a previously collected egg cell (intracytoplasmic sperm injection method). Microinsemination is a treatment generally performed in cases where insemination is not established even when in vitro fertilization is performed.
  • FIG. 1 is a specific example of an image obtained by enlarging and photographing a sample set at the time of microinsemination.
  • the image was taken at a magnification of 400 times, and the magnification is equal to a general magnification at the time of microinsemination.
  • the magnification of the sample set at the time of microinsemination may be lower than 400 times or higher than 400 times, and is not always constant.
  • Intra-testicular sperm collection is a procedure in which the scrotum is dissected by surgery, the seminiferous tubules in the testis are observed under a microscope, and seminiferous tubules that are relatively healthy are collected. Reproductive medicine. Intra-testicular sperm collection is generally a treatment method performed when sperm cannot be collected by the above-described motor sperm collection method. When collecting sperm from seminiferous tubules, the testicular sperm collection technique includes other cells (red blood cells and white blood cells) contained in blood and tissue cells constituting seminiferous tubules.
  • the number of spermatozoa contained in the sample set is large because the sample set contains a large number of suspended solids different from sperm, or in most cases, the patient to be treated has azoospermia. Is different from the motor sperm recovery method in that the
  • sperm motility analyzer captures the sample set with a high-definition camera, automatically analyzes the health of the sperm contained in the sample set (number of sperm, momentum, etc.) by image analysis processing, and displays the analysis results. Alternatively, by printing and outputting, it is possible to reduce the burden on the examination and measurement of the embryo cultivator.
  • FIG. 2 is a specific example of an image obtained by enlarging and photographing a sample set using a high-definition camera according to the sperm movement analyzer. The image was taken by a phase contrast microscope. In addition, the image is obtained by photographing a sample set different from the sample set according to the image in FIG. 1, and the number of spermatozoa contained therein is different.
  • the environment in which the images were taken is different, they cannot be simply compared. However, from the size of each sperm alone, the image of FIG. 2 was taken at a lower magnification than the image of FIG. Recognize.
  • the area within the visual field is relatively narrow.
  • the analysis target area (the area captured by the high-definition camera) is preferably relatively large because the purpose is to perform the analysis processing with high accuracy. Since the purposes are different from each other, the magnification in the sperm motility analyzer generally tends to be set lower than the magnification in the motor sperm recovery method.
  • the reproductive medicine support system 100 displays an analysis result of the sperm movement analysis device by applying augmented reality (Augmented Reality; AR) in a display area that fits in a field of view of a worker in a sperm collection operation.
  • augmented reality Augmented Reality
  • the purpose is to make As a result, the burden on the worker can be further reduced as compared with the conventional method.
  • the configuration of the reproductive medicine support system 100 will be specifically described.
  • FIG. 3 is a configuration diagram of the reproductive medicine support system 100.
  • the reproductive medicine support system 100 includes a microscope 10, an analyzer 20, and a monitor 30.
  • the microscope 10 an inverted microscope is employed as shown in FIG.
  • the microscope 10 does not necessarily need to be an inverted microscope, and may be another type of microscope.
  • the broken line superimposed on the microscope 10 in FIG. 3 schematically shows the optical path of the microscope 10 and is not confirmed externally.
  • the optical path of the microscope 10 is configured to be branched into a plurality of parts by a mirror or a lens (not shown), and a photographing unit 11 and a display unit 12 are incorporated in the optical path of the microscope 10. I have.
  • the imaging unit 11 is configured to magnify and image a sample set (test object containing sperm).
  • the display unit 12 displays the video data generated by the photographing unit 11 in the field of view of the eyepiece of the microscope 10, or converts the video data from an augmented reality image reflecting an analysis result of the analysis device 20 described later.
  • the work screen is displayed within the field of view of the eyepiece of the microscope 10, and realizes the display means according to the present invention. Since the microscope 10 has the above-described configuration, an operator looking at the microscope 10 from an eyepiece can check the analysis result of the analyzer 20 while observing the sample set under the microscope. The details of the work screen displayed on the display unit 12 will be described later.
  • the description of the microscope 10 in the present embodiment is based on the premise that the microscope 10 is a phase-contrast microscope.
  • the present invention is not limited to this, and other types of microscopes (such as a bright-field microscope) can be used. . Further, the positions at which the photographing unit 11 and the display unit 12 are provided can be appropriately changed within a range in which the above functions are realized.
  • the analysis device 20 is configured to acquire video data generated by the imaging unit 11 and perform an image analysis process on the acquired video data, and implements an analysis unit according to the present invention.
  • the image analysis processing by the analysis device 20 is performed at any time (in real time) in parallel with the acquisition of the video data, and the operator looking into the microscope 10 can check the work screen reflecting the latest analysis result.
  • the image analysis processing by the analysis device 20 includes, for example, the following.
  • (I) Processing for determining the sperm photographed in the video data (hereinafter, referred to as determination processing).
  • (Ii) A process of deriving a movement trajectory of a sperm (hereinafter, referred to as a movement analysis process).
  • (Iii) a process of counting the spermatozoa determined by the determination process (hereinafter, referred to as a count analysis process).
  • a process of classifying the spermatozoa determined by the determination process based on a plurality of ranks of health (hereinafter, referred to as a health analysis process).
  • a process of extracting a contour of the sperm determined by the determination process (hereinafter, referred to as a contour analysis process).
  • a contour analysis process A process of extracting a contour of the sperm determined by the determination process (hereinafter, referred to as a contour analysis process).
  • at least a part of each of the processes described here may be omitted, and other processes not listed here may be added as long as the object of the present invention is not violated.
  • It is preferable that at least a part of each of the processes (processes included in the image analysis process) described above is realized based on a learned model generated by machine learning (such as deep learning).
  • the discrimination processing and the soundness analysis processing are expected to obtain high-precision analysis results by being realized based on the learned model.
  • the analysis device 20 is provided with a keyboard 21 and a mouse 22 as operation input means for receiving an operation by an operator or the like.
  • the keyboard 21 and the mouse 22 are merely specific examples of the operation input unit according to the analysis device 20, and may be replaced with another configuration.
  • a touch panel in which a display device having a function equivalent to that of a monitor 30 described later and a position input device are integrally formed may be provided as an operation input unit of the analysis device 20.
  • the monitor 30 is configured to display a work screen including an augmented reality image in which the analysis result of the analysis device 20 is reflected on the video data generated by the photographing unit 11, similarly to the display unit 12 described above. Is realized. The details of the work screen displayed on the monitor 30 will be described later.
  • the monitor 30 is provided so that a person (work assistant or the like) different from the worker looking into the microscope 10 can visually recognize the state under the microscope. Alternatively, part of the displayed content may be changed.
  • FIGS. 4 to 6 are diagrams showing specific examples of the work screen displayed on the display unit 12.
  • FIG. 4 to 6 are schematic diagrams, and the sizes and ratios of the dimensions of the respective displays are not always strict.
  • the work screen displayed on the display unit 12 includes a main screen G1 and a sub-screen G2, as shown in FIGS.
  • the main screen G1 includes an image (hereinafter, referred to as a first image) in which a sample set (test object) is enlarged and displayed.
  • the first video is an enlargement of a part of the shooting area of the video data generated by the shooting unit 11.
  • an area wider than the area displayed on the work screen as the first video is captured.
  • three spermatozoa are displayed in the display area of the main screen G1 shown in FIG. These spermatozoa are respectively determined by the above-described determination processing, and the indications G11 to G13 are given to them based on the soundness analysis processing.
  • the display G11 displays an index “A” indicating that the sperm is classified into rank A, which has the best soundness.
  • the display G12 displays an index “B” indicating that the sperm is classified into rank B, which is the second highest rank after sperm A.
  • the display G13 displays an index "C” indicating that the sperm is classified into rank C, which is next to rank B.
  • the displays G11 to G13 are the displays based on the analysis processing relating to the spermatozoa determined by the determination processing and displayed in the display area of the first video, so that the display G11 to G13 is the first additional display according to the present invention. This is a corresponding display, and particularly indicates the health of sperm classified by the health analysis processing.
  • each sperm may be distinguished by color coding or the like to make the ranking related to soundness visible.
  • the index indicating the superiority or inferiority of sperm health is expressed as “rank”, but replacement with an expression (for example, level, grade, class) similar to “rank” is permitted.
  • alphabets (A to D) are used to indicate the rank (grade) of the index, the display is replaced with a meaningful display (a number, a graph, or the like) that allows a worker to recognize similar contents. To allow.
  • the sub-screen G2 is a screen that displays the state of the entire shooting area of the video data shot by the shooting unit 11.
  • the image displayed on the sub-screen G2 may be the content of the video data itself, or an image to which auxiliary lines such as grid lines are added so that the position coordinates of the video data in the shooting area can be easily visually recognized. It may be.
  • a display G21 indicating the position of the first image in the entire imaging area of the image data generated by the imaging unit 11, and a plurality of pieces related to the health of the sperm.
  • Indications G22 to G25 indicating the positions of spermatozoa classified into rank A among the ranks are displayed.
  • the display G22 indicates the position of the sperm displayed in the display area of the first video and classified into rank A (the sperm to which the display G11 is attached).
  • the displays G23 to G25 show the positions of the sperm displayed outside the display area of the first video and classified into rank A.
  • the displays G22 to G25 are displays based on the analysis processing (soundness analysis processing) relating to all of the sperm determined by the determination processing. Since the display is based on the analysis processing (soundness analysis processing) relating to the sperm that has been determined and is out of the display area of the first video, it can be said that these displays correspond to the second additional display according to the present invention.
  • the operator can obtain the main screen G1. It is possible to easily search for a healthy sperm located outside the display area of G1.
  • the display mode in which only the position of the sperm classified into rank A among the plurality of ranks related to the health of sperm is displayed on the sub-screen G2, but the sperm classified into another rank is shown. May be displayed on the sub-screen G2.
  • FIG. 5 illustrates the moment when the sperm indicated by G11 in FIG. 4 is collected by the operator (absorbed by the glass tube). At this time, naturally, the display G11 disappears from the main screen G1 and the display G22 disappears from the sub-screen G2.
  • FIG. 6 illustrates a state in which the result (movement trajectory) of the movement analysis processing on the sperm displayed on the work screen in FIG. 4 is displayed.
  • a display corresponding to the movement locus The sperm to which the display G11 is attached in FIG. 4 has moved outside the display area of the main screen G1 in the state shown in FIG. 6, and only the movement trajectory of the sperm remains in the display area of the main screen G1. Only. Even in such a case, the operator can check the movement direction of the sperm based on the movement trajectory of the sperm, and can also check the current position on the sub screen G2.
  • the movement trajectory of the sperm displayed on the main screen G1 (the sperm with the display G12 and the sperm with the display G13) is derived by the above-described movement analysis processing. Since it is the movement locus of the sperm displayed in the display area of one image, it can be said that it corresponds to the first additional display according to the present invention.
  • the movement trajectory of the sperm displayed over the main screen G1 and the sub-screen G2 (sperm to which the display G22 is attached) is derived by the above-described movement analysis processing. Since it is a movement locus of the sperm that has moved from the display area of the video to the outside of the display area, it can be said that it corresponds to the second additional display according to the invention.
  • the movement trajectories of the other sperm displayed on the sub-screen G2 are derived by the above-described movement analysis processing. Since it is the movement locus of the sperm displayed outside the display area of the first video, it can be said that it corresponds to the second additional display according to the present invention.
  • FIG. 7 is a diagram illustrating a specific example of a work screen displayed on the monitor 30. Note that FIG. 7 is a schematic diagram, and the size and ratio of the dimensions of each display illustrated are not necessarily strict. As shown in FIG. 7, the work screen displayed on the monitor 30 includes a main screen G3, a sub screen G4, a side display G5, a marking icon G61, and a marking release icon G62.
  • the first image is displayed in the display area of the main screen G3, similarly to the main screen G1. For example, in the display area of the main screen G3 illustrated in FIG. 7, the same image as the first image displayed on the main screen G1 illustrated in FIG. 4 is displayed. Indicates an index (corresponding to the first additional display) based on the soundness analysis processing.
  • a display by a marking icon G61 described later can be added.
  • a display by a marking icon G61 described later can be added in the display area of the sub-screen G4 shown in FIG. 7, in addition to the one displayed in the display area of the sub-screen G2 shown in FIG. A display G41 indicating the position of the performed sperm is displayed.
  • the number of spermatozoa counted by the above-described count analysis processing is displayed, and these correspond to the second additional display according to the present invention.
  • each numerical value displayed on the side display G5 changes according to the count analysis processing, and is not a fixed value.
  • the total number of spermatozoa determined by the above-described determination processing (the total number of spermatozoa included in video data captured by the imaging unit 11) and the number of spermatozoa classified by the above-described soundness analysis processing
  • the number of sperm counted for each rank related to the health that is, for each of rank A, rank B, rank C and rank D) is displayed.
  • the rank D is an index indicating that the soundness is the lowest in the classification by the soundness analysis processing. This allows the operator to perform a sperm collection operation while making a determination based on the number of sperm captured in the video data.
  • the above is a specific example of the second additional display based on the count analysis process, and some display contents may be deleted or changed in the embodiment of the present invention. For example, by multiplying the number of spermatozoa photographed in the video data by a predetermined coefficient, the total number of spermatozoa contained in the entire specimen set is derived and displayed as the second additional display on the side display G5. May be.
  • the marking icon G61 arbitrarily selects any of the sperm determined by the determination process based on the selection operation by the operator received by the operation input means (the keyboard 21 or the mouse 22) attached to the analysis device 20, This is an icon display for marking the sperm. That is, the marking icon G61 is an icon display for realizing the marking unit according to the present invention.
  • the marking release icon G62 is used to release any marking on the spermatozoon after arbitrarily selecting any of the already marked spermatozoa based on the selection operation by the operator received by the operation input means attached to the analysis device 20. This is an icon display for performing.
  • the display G41 indicating the position of the marked sperm may be displayed so as to be distinguishable from other displays (display indicating the position of the sperm classified into rank A) on the sub screen G2. preferable. This is to make it possible to distinguish the sperm automatically determined by the analyzer 20 from the sperm selected by the operator.
  • a display G41 indicating the position of the marked sperm and a display indicating the position of the sperm classified into rank A are displayed on a sub-screen G4 provided separately from the main screen G3.
  • the monitor 30 displays, in the second image area, a display indicating the position of the marked sperm and a second additional display indicating the position of the sperm classified into a specific rank.
  • the worker regardless of the result of the analysis processing automatically performed by the analysis device 20, the worker also confirms the position of the sperm selected by the worker to the outside of the display area of the main screen G3 (first video). can do.
  • FIG. 7 shows an example in which the position of the marked sperm is displayed only on the sub-screen G4, when the marked sperm is displayed on the main screen G3, the sperm and the other sperm are displayed. May be displayed so as to be distinguishable.
  • FIGS. 8 and 9 are diagrams showing specific examples of the work screen displayed on the monitor 30.
  • FIG. FIGS. 8 and 9 are schematic diagrams, and the size and ratio of the dimensions of each display shown in the drawings are not necessarily strict.
  • each numerical value displayed on the side display G5 in FIGS. 8 and 9 is equal to the side display G5 in FIG. 7, but each numerical value naturally fluctuates according to the count analysis processing. Not a fixed value.
  • the main screen G7 related to the work screen illustrated in FIG. 8 and the main screen G8 related to the work screen illustrated in FIG. 9 respectively display, in the display area, a first image of a specimen set in the testicular sperm collection operation. It is.
  • the first image displayed on the main screen G7 contains red blood cells, white blood cells, and pieces of tissue constituting the testis, in addition to sperm, and the outline of the sperm is smaller than that of the first image shown in FIG. (Shape) is difficult to identify.
  • the first image displayed on the main screen G8 is the one in which the outline of the sperm extracted by the above-described outline analysis processing is highlighted to make it easy to see.
  • the contour of the sperm is clarified by image processing for increasing the contrast ratio between the contour of the sperm extracted by the contour analysis processing and the background display.
  • the image processing for the display excluding the outline of the sperm extracted by the outline analysis processing the image processing for reducing the contrast ratio with the background display is performed so that the outline of the suspended matter other than the sperm is unclear. By doing so, sperm can be more clearly recognized.
  • the highlighting of the sperm outline on the main screen G8 is a display based on the outline analysis processing, and thus can be said to correspond to the first additional display according to the present invention.
  • the reproductive medicine support system 100 displays, on the display unit 12 or the monitor 30, a work screen to which augmented reality reflecting results of various analysis processes realized by the analysis device 20 is applied. Since the display is performed, the burden on the operation of collecting sperm can be reduced.
  • the reproductive medicine support system 100 includes the microscope 10, the analyzer 20, and the monitor 30, the present invention is not limited to this.
  • the configuration may be such that the microscope 10 is omitted.
  • the video data to be analyzed by the analysis device 20 may be obtained from another configuration, and the configuration may not be included in the reproductive medical support system 100.
  • the monitor 30 corresponds to the display unit according to the present invention
  • the analyzer 20 corresponds to the analyzing unit according to the present invention.
  • the configuration may be such that the monitor 30 is omitted.
  • the display unit 12 of the microscope 10 corresponds to the display unit according to the present invention
  • the analyzer 20 corresponds to the analysis unit according to the present invention.
  • the microscope 10 used in the above embodiment has been described as having the imaging unit 11 and the display unit 12, but may be replaced with a microscope that does not have at least one of them.
  • the microscope may have the display unit 12 and no imaging unit 11, and the imaging unit 11 may be provided as a camera device separate from the microscope.
  • the layouts of the work screens (work screens shown in FIGS. 4 to 9) described in the above embodiment can be changed as appropriate, and these layouts can be arbitrarily adjusted by an operator (a layout customizing function is required). Is more preferred.
  • the display contents of the display unit 12 (contents related to the work screens of FIGS. 4 to 6) and the display contents of the monitor 30 (contents of the work screens of FIGS. 7 to 9) are partially different.
  • one display content is allowed to be diverted to the other display content.
  • the rank relating to the soundness of sperm is classified into four levels (A to D).
  • the rank may be two or more levels. Is not particularly limited.
  • a reproductive medicine support system for supporting a test operation on a test object containing sperm wherein a display means for displaying a work screen including a first image in which the test object is enlarged and displayed, Analyzing means for acquiring image data in which an area larger than the area displayed on the work screen is captured as the first image, and performing image analysis processing on the image data, Includes a discriminating process of discriminating sperm photographed in the video data, and an analyzing process of analyzing the sperm discriminated by the discriminating process, wherein the display unit is discriminated by the discriminating process and The first additional display based on the analysis processing on sperm displayed in the display area of the first video, and the analysis processing or the analysis on all sperm determined by the determination processing
  • Reproductive medical support system for displaying a second addition display based on the analysis of the sperm is a display area outside of the discriminated and the first image by another process, the display area of the work screen.
  • the analysis process includes a process of deriving a movement trajectory of the sperm, and the display unit displays the movement trajectory of the sperm in the display area of the first image out of the movement trajectory of the sperm derived by the analysis process.
  • the movement trajectory of the spermatozoa that has been performed is displayed as the first additional display, and the movement trajectory of the sperm that has moved from within the display area of the first image to outside the display area is displayed as the second additional display (1).
  • the analysis process includes a process of counting sperm determined by the determination process, and the display unit displays the number of sperm counted by the analysis process as the second additional display ( The reproductive medicine support system according to 1) or 2).
  • the analysis process includes a process of classifying the spermatozoa determined by the determination process according to a plurality of ranked health levels, and the display unit displays the health of the sperm classified by the analysis process.
  • the reproductive medicine support system according to any one of (1) to (3), wherein the first additional display indicating sex is displayed.
  • the display means attaches an index indicating the health of the sperm classified by the analysis processing to each sperm displayed in the display area of the first video, and attaches the index to the first addition.
  • the reproductive medicine support system according to (4) which is displayed as a display.
  • the display means is dependent on (3) displaying the number of spermatozoa counted by rank relating to the health of spermatozoa classified by the analysis processing as the second additional display (4) or The reproductive medicine support system according to (5).
  • the display means determines a position of a sperm classified into a specific rank among a plurality of ranks related to sperm health among sperms determined by the determination processing and out of the display area of the first video.
  • the reproductive medicine support system according to any one of (4) to (6), wherein the second additional display is displayed in a second video area provided separately from a display area of the first video.
  • Marking means for arbitrarily marking the sperm discriminated by the discrimination processing by a selection operation by an operator, wherein the display means displays a position of the sperm marked by the marking means on a display area of the work screen.
  • the reproductive medicine support system according to any one of (1) to (7), which is displayed in the following.
  • the display means displays, in the second video area, a display indicating the position of the sperm marked by the marking means and the second additional display indicating the position of the sperm classified into the specific rank.
  • the reproductive medicine support system according to (8), wherein the system is subordinate to (7).
  • the analysis process includes a process of extracting an outline of the sperm determined by the determination process, and the display unit displays the sperm outline extracted by the analysis process in an emphasized manner.
  • the reproductive medicine support system according to any one of (1) to (9), which is displayed as an additional display.

Landscapes

  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Dispersion Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

生殖医療に従事する関係者を支援する生殖医療支援システムを提供する。解析手段によって行われる画像解析処理には、映像データに撮影されている精子を判別する判別処理と、判別処理によって判別された精子を解析する解析処理と、が含まれ、作業画面には、判別処理によって判別された精子のうちメイン画面Ｇ１の表示領域内に表示されている精子に係る解析処理に基づく第一付加表示（表示Ｇ１１～Ｇ１３）と、判別処理によって判別された精子の全部又は判別処理によって判別された精子のうちサブ画面Ｇ２の表示領域内に表示されている精子に係る解析処理に基づく第二付加表示（表示Ｇ２２～Ｇ２５）と、が表示される。

Description

生殖医療支援システム
　本発明は、生殖医療支援システムに関する。
　現在、先進国の生殖年齢にある夫婦（カップル）の６組に一組は不妊症であるとされる。さらに不妊カップルの４８％は男性側にも原因があるとされている。男性不妊の治療を目的に行われる生殖医療には顕微授精や精巣内精子回収術が挙げられるが、いずれの治療法においても精子の探索や選別は人力に依存しているのが現状である。
　また、生殖医療の現場で既に利用されている支援ツールとして精子運動解析装置（Computer assisted semen analyzer；CASA）が存在する。この支援ツールは、精子に関する種々のパラメータを測定可能であるものの、精子の探索作業や選別作業を直接的に支援するものではなく、その作業負担の軽減効果も限定的である。また、精子運動解析装置は、普及という観点から見ても、未だ十分とは言い難い状況である。
　ところで、既に文献に開示されている生殖補助医療に係る支援ツールとしては、下記の特許文献１および特許文献２に記載されているものを例示することができる。
　特許文献１には、液体サンプル中の生物学的粒子（卵母細胞や精子を含む）を分類することを目的として、機械学習（人工知能処理）によって訓練された分類器を用いて画像解析処理を行う技術が開示されている。
　特許文献２には、胚（未受精二次卵母細胞と精子が融合したものを含む）をランク付け又はカテゴリ化することを目的として、機械学習によって訓練された分類器を用いて画像解析処理を行う技術が開示されている。
特開２０１６－５０５８３６号公報 特開２０１６－５０９８４５号公報
　上記に例示したいずれの先行技術も開発途上のものであり、生殖医療の現場に実際に導入されるに至っておらず、生殖医療を支援するという点においては十分な成果を出しているものではない。
　本発明は、上記の課題に鑑みなされたものであり、生殖医療に従事する関係者（特に、精子回収作業を行う胚培養士）を支援する生殖医療支援システムを提供するものである。
　本発明によれば、精子を含有する検査対象物に関する検査作業を支援する生殖医療支援システムであって、前記検査対象物を拡大表示している第一映像を含む作業画面が表示される表示手段と、前記第一映像として前記作業画面に表示されている領域より広い領域が撮影されている映像データを取得し、前記映像データに対して画像解析処理を行う解析手段と、を備え、前記画像解析処理には、前記映像データに撮影されている精子を判別する判別処理と、前記判別処理によって判別された精子を解析する解析処理と、が含まれ、前記表示手段は、前記判別処理によって判別され且つ前記第一映像の表示領域内に表示されている精子に係る前記解析処理に基づく第一付加表示と、前記判別処理によって判別された精子の全部に係る前記解析処理又は前記判別処理によって判別され且つ前記第一映像の表示領域外である精子に係る前記解析処理に基づく第二付加表示と、を前記作業画面の表示領域内に表示する生殖医療支援システムが提供される。
　上記発明によれば、検査対象物を拡大表示している映像（第一映像）内に表示された精子に関する解析結果を示す表示（第一付加表示）の他に、当該映像に表される領域より広域の領域に表示された精子に関する解析結果を示す表示（第二付加表示）も表示されるので、より多くの有用な情報に基づいて検査作業を行うことができる。
　本発明によれば、生殖医療に従事する関係者（特に、精子回収作業を行う胚培養士）を支援する生殖医療支援システムが提供される。
顕微授精時における検体セットを拡大撮影した画像の一具体例である。 精子運動解析装置に係る高精細カメラによって検体セットを拡大撮影した画像の一具体例である。 生殖医療支援システムの構成図である。 表示ユニットに表示される作業画面の具体例を示す図である。 表示ユニットに表示される作業画面の具体例を示す図である。 表示ユニットに表示される作業画面の具体例を示す図である。 モニタに表示される作業画面の具体例を示す図である。 モニタに表示される作業画面の具体例を示す図である。 モニタに表示される作業画面の具体例を示す図である。
　以下、本発明の実施形態（生殖医療支援システム１００）について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
＜生殖医療支援システム１００の支援対象となる検査作業について＞
　本発明に係る生殖医療支援システム１００の支援対象となる検査作業は、精子を含有する検査対象物（以下、検体セット）に関するものであれば足り、特に制限されない。その具体例として、以下の説明においては（i）顕微授精（運動精子回収法）に係る作業及び（ii）精巣内精子回収術に係る作業が、生殖医療支援システム１００の支援対象とする。
　顕微授精とは、射精した精液を洗浄して得られる検体セットを顕微鏡下で観察し、当該検体セットから健全な運動精子を１つ選択して回収し（運動精子回収法）、回収した運動精子を予め採取していた卵細胞に対して直接注入すること（卵細胞質内精子注入法）によって、人工的に授精を促す生殖医療である。顕微授精は、一般的には、体外受精を行ったとしても授精が成立しないケースにおいて行われる治療法である。
　図１は、顕微授精時における検体セットを拡大撮影した画像の一具体例である。なお、当該画像は、４００倍に拡大して撮影されたものであり、その拡大率は顕微授精時における一般的な拡大率に等しい。なお、顕微授精時における検体セットの拡大倍率は、４００倍より低倍率とする場合や４００倍より高倍率とする場合もあり、必ずしも一定とは限らない。
　精巣内精子回収術とは、外科手術によって陰嚢を切開して精巣中の精細管を顕微鏡下で観察し、比較的健全と見られる精細管を採取した後に、採取した精細管から精子を回収する生殖医療である。精巣内精子回収術は、一般的には、上記の運動精子回収法によって精子を回収できない場合に行われる治療法である。
　精巣内精子回収術は、精細管から精子を回収する場合、血液に含まれる他の細胞（赤血球や白血球）及び精細管を構成する組織細胞等が含まれる。従って、精巣内精子回収術は、検体セットに精子とは異なる浮遊物が多数混在すること、或いは治療対象となる患者が無精子症であるケースがほとんどであるため検体セットに含まれる精子の数が少ないこと、という点において運動精子回収法と相違する。
＜精子運動解析装置について＞
　上述したように、生殖医療に関する検査作業を支援する装置として、精子運動解析装置（Computer assisted semen analyzer；CASA）がある。
　精子運動解析装置は、検体セットを高精細カメラによって撮影し、画像解析処理によって検体セットに含有される精子の健全性（精子の数や運動量等）を自動解析して、その解析結果を表示出力又は印字出力することによって、胚培養士の検査及び計測にかける負担を軽減することができる。
　図２は、精子運動解析装置に係る高精細カメラによって検体セットを拡大撮影した画像の一具体例である。なお、当該画像は、位相差顕微鏡によって撮影されたものである。また、当該画像は、図１の画像に係る検体セットとは別の検体セットを撮影されたものであり、含有されている精子の数は相違する。
　撮影された環境が相違するので単純比較できるものではないが、各精子単体で見たときの大きさから、図２の画像は図１の画像に比べて低い拡大率で撮影されていることがわかる。運動精子回収法においては１つの精子を回収することを目的とする為、その視野に収まる領域は比較的狭いことが好ましい。一方で、精子運動解析装置においては高精度に解析処理を行うことを目的とする為、解析対象となる領域（高精細カメラによる撮影領域）は比較的広いことが好ましい。このように相互に目的が異なるので、精子運動解析装置における拡大率は、運動精子回収法における拡大率に比べて、一般的に低く設定する傾向がある。
＜生殖医療支援システム１００の構成について＞
　上述したような従来行われている検査において、精子の回収作業における作業者（胚培養士）の視野と、精子運動解析装置の解析結果を示す表示とは、必ずしも一致するものではない。
　本実施形態における生殖医療支援システム１００は、精子の回収作業における作業者の視野に収まる表示領域内に、拡張現実（Augmented Reality；AR）を適用することによって、精子運動解析装置の解析結果を表示させることを目的とするものである。これにより、当該作業者の負担を従来の手法に比べてより軽減することができる。
　以下、生殖医療支援システム１００の構成について具体的に説明する。
　図３は、生殖医療支援システム１００の構成図である。
　生殖医療支援システム１００は、顕微鏡１０と、解析装置２０と、モニタ３０と、を備える。
　顕微鏡１０には、図３に図示するとおり、倒立型顕微鏡を採用する。但し、本発明の実施において、顕微鏡１０は必ずしも倒立型顕微鏡である必要はなく、他の種別の顕微鏡であってもよい。なお、図３において顕微鏡１０に重畳して図示されている破線は、顕微鏡１０の光学経路を模式的に示すものであり、外形的に確認されるものではない。
　顕微鏡１０の光学経路は、不図示のミラーやレンズによって複数に分岐されるように構成されており、顕微鏡１０の光学経路の途中には、撮影ユニット１１と、表示ユニット１２と、が組み込まれている。
　撮影ユニット１１は、検体セット（精子を含有する検査対象物）を拡大して撮影する構成である。
　表示ユニット１２は、撮影ユニット１１によって生成された映像データを顕微鏡１０の接眼レンズの視野内に表示する、或いは当該映像データに対して、後述する解析装置２０の解析結果を反映した拡張現実画像からなる作業画面を顕微鏡１０の接眼レンズの視野内に表示する構成であり、本発明に係る表示手段を実現するものである。
　顕微鏡１０が上記のような構成を有している為、顕微鏡１０を接眼レンズから覗いている作業者は検体セットを顕微鏡下で観察しながら、解析装置２０の解析結果を確認することができる。なお、表示ユニット１２に表示される作業画面の詳細については、後述する。
　なお、本実施形態における顕微鏡１０は、位相差顕微鏡であることを前提として説明するが、本発明の実施はこれに限られず、他の形式の顕微鏡（明視野顕微鏡等）を用いることを許容する。
　また、撮影ユニット１１や表示ユニット１２が設けられる位置は、上記の機能を実現する範囲において、適宜変更可能である。
　解析装置２０は、撮影ユニット１１によって生成された映像データを取得し、取得した映像データに対して画像解析処理を行う構成であり、本発明に係る解析手段を実現するものである。
　解析装置２０による画像解析処理は、映像データの取得と並行して随時（リアルタイムに）行われ、顕微鏡１０を覗いている作業者は最新の解析結果を反映した作業画面を確認することができる。
　解析装置２０による画像解析処理には、例えば、以下のものが含まれる。
（i）映像データに撮影されている精子を判別する処理（以下、判別処理と称する）。
（ii）精子の移動軌跡を導出する処理（以下、移動解析処理と称する）。
（iii）判別処理によって判別された精子を計数する処理（以下、計数解析処理と称する）。
（iv）判別処理によって判別された精子を、複数にランク分けされた健全性によって分類する処理（以下、健全性解析処理と称する）。
（v）判別処理によって判別された精子の輪郭を抽出する処理（以下、輪郭解析処理と称する）。
　なお、本発明の実施においては、本発明の目的に反しない限りにおいて、ここで挙げた各処理の少なくとも一部が省かれてもよく、ここで挙げていない他の処理が追加されてもよい。
　また、ここで挙げた各処理（画像解析処理に含まれる処理）のうち少なくとも一部については、機械学習（ディープラーニング等）によって生成される学習済みモデルに基づいて実現されることが好ましい。特に、判別処理及び健全性解析処理については、上記の学習済みモデルに基づいて実現することによって高精度の解析結果を得ることが期待される。
　解析装置２０には、作業者等による操作を受け付ける操作入力手段として、キーボード２１やマウス２２が付設されている。なお、キーボード２１やマウス２２は、解析装置２０に係る操作入力手段の具体例に過ぎず、他の構成に代えてもよい。例えば、解析装置２０に係る操作入力手段として、後述のモニタ３０と同等の機能を有する表示装置と位置入力装置とが一体に構成されたタッチパネルを設けてもよい。
　モニタ３０は、上述した表示ユニット１２と同様に、撮影ユニット１１によって生成された映像データに対して解析装置２０の解析結果を反映した拡張現実画像からなる作業画面を表示する構成であり、本発明に係る表示手段を実現するものである。なお、モニタ３０に表示される作業画面の詳細については、後述する。
　モニタ３０は、顕微鏡１０を覗いている作業者とは別の者（作業補助者等）が顕微鏡下の様子を視認する為に設けられるものであり、表示ユニット１２と同じ内容が表示されてもよいし、表示される内容の一部が変更されてもよい。
＜表示ユニット１２に表示される作業画面について＞
　図４～図６は、表示ユニット１２に表示される作業画面の具体例を示す図である。なお、図４～図６は模式図であり、図示した各表示の寸法の大きさや比率は必ずしも厳密なものではない。
　表示ユニット１２に表示される作業画面は、図４～図６に図示されるとおり、メイン画面Ｇ１と、サブ画面Ｇ２と、を含んでいる。
　メイン画面Ｇ１は、検体セット（検査対象物）を拡大表示している映像（以下、第一映像と称する）を含んでいる。第一映像は、撮影ユニット１１によって生成された映像データの撮影領域の一部を拡大したものである。言い換えれば、撮影ユニット１１によって生成された映像データには、第一映像として作業画面に表示されている領域より広い領域が撮影されている。
　例えば、図４に図示するメイン画面Ｇ１の表示領域内には、３つの精子が表示されている。これらの精子は、それぞれ上記の判別処理によって判別されたものであり、且つ、健全性解析処理に基づいて表示Ｇ１１～Ｇ１３がそれぞれに対して付されている。
　具体的には、表示Ｇ１１は、最も健全性に優れているランクＡに分類された精子であることを示す指標「Ａ」を表示するものである。表示Ｇ１２は、ランクＡに次いで優れているランクＢに分類された精子であることを示す指標「Ｂ」を表示するものである。表示Ｇ１３は、ランクＢに次いで優れているランクＣに分類された精子であることを示す指標「Ｃ」を表示するものである。
　上述したように、表示Ｇ１１～Ｇ１３は、判別処理によって判別され且つ第一映像の表示領域内に表示されている精子に係る解析処理に基づく表示である為、本発明に係る第一付加表示に相当する表示であり、特に健全性解析処理によって分類された精子の健全性を示すものである。図４では、これらの精子の健全性を示す指標を、第一映像の表示領域内に表示されている精子ごとに付して第一付加表示とする表示態様を図示したが、本発明の実施はこれに限られず、例えば、それぞれの精子を色分けする等して区別することによって、健全性に係るランク分けを視認可能にしてもよい。
　なお、本実施形態では精子の健全性の優劣を示す指標について「ランク」と表現しているが、「ランク」に類似する表現（例えば、レベル、グレード、クラス）に置換することを許容する。また、当該指標の順位（等級）を示すものとして英字（Ａ～Ｄ）を使用しているが、作業者に対して同様の内容を認識させうる有意な表示（数字やグラフ等）に置換することを許容する。
　サブ画面Ｇ２は、撮影ユニット１１によって撮影された映像データの撮影領域全体の様子を表示する画面である。サブ画面Ｇ２に表示される画像は、当該映像データの内容そのものであってもよいし、当該映像データの撮影領域における位置座標を容易に視認できるようにグリッド線等による補助線が加えられたものであってもよい。
　例えば、図４に図示するサブ画面Ｇ２の表示領域内には、撮影ユニット１１によって生成された映像データの撮影領域全体における第一映像の位置を示す表示Ｇ２１と、精子の健全性に係る複数のランクのうちランクＡに分類された精子の位置を示す表示Ｇ２２～Ｇ２５と、が表示されている。
　具体的には、表示Ｇ２２は、第一映像の表示領域内に表示されている精子のうちランクＡに分類されているもの（表示Ｇ１１が付されている精子）の位置を示している。また、表示Ｇ２３～Ｇ２５は、第一映像の表示領域外に表示されている精子のうちランクＡに分類されているものの位置を示している。
　上述したように、表示Ｇ２２～Ｇ２５は、判別処理によって判別された精子の全部に係る解析処理（健全性解析処理）に基づく表示であり、特に表示Ｇ２３～Ｇ２５に限って言えば、判別処理によって判別され且つ第一映像の表示領域外である精子に係る解析処理（健全性解析処理）に基づく表示である為、これらの表示は本発明に係る第二付加表示に相当するものと言える。このようにメイン画面Ｇ１（第一映像の表示領域）とは別に設けられたサブ画面Ｇ２（第二映像領域）に、ランクＡに分類された精子の位置を示すことによって、作業者はメイン画面Ｇ１の表示領域外に位置する健全性に優れた精子を容易に探索することができるようになる。
　なお、本実施形態では、精子の健全性に係る複数のランクのうちランクＡに分類される精子の位置のみをサブ画面Ｇ２に表示する表示態様を図示したが、他のランクに分類される精子の位置をサブ画面Ｇ２に表示してもよい。
　図５は、図４において表示Ｇ１１が付されていた精子が、作業者によって回収される（ガラス管で吸い取られる）瞬間を図示している。
　このとき、当然ながら、メイン画面Ｇ１から表示Ｇ１１が消失すると共に、サブ画面Ｇ２から表示Ｇ２２が消失する。
　図６は、図４において作業画面に表示されていた精子に関する移動解析処理の結果（移動軌跡）が表示されている状態を図示している。なお、図６において破線で示すものが移動軌跡に相当する表示である。
　図４において表示Ｇ１１が付されていた精子は、図６に示す状態においてはメイン画面Ｇ１の表示領域外に移動しており、メイン画面Ｇ１の表示領域内には当該精子の移動軌跡のみが残るのみである。このような場合であっても、作業者は当該精子の移動軌跡に基づいて当該精子の移動方向を確認することができると共に、サブ画面Ｇ２で現在の位置も確認することができる。
　ここでメイン画面Ｇ１に表示されている精子（表示Ｇ１２が付されている精子と表示Ｇ１３が付されている精子）の移動軌跡は、上記の移動解析処理によって導出されるものであって、第一映像の表示領域内に表示されている精子に係る移動軌跡である為、本発明に係る第一付加表示に相当するものと言える。また、メイン画面Ｇ１及びサブ画面Ｇ２に跨がって表示されている精子（表示Ｇ２２が付されている精子）の移動軌跡は、上記の移動解析処理によって導出されるものであって、第一映像の表示領域内から当該表示領域外に移動した精子に係る移動軌跡である為、本発明に係る第二付加表示に相当するものと言える。更に、サブ画面Ｇ２に表示されている他の精子（表示Ｇ２３が付されている精子と表示Ｇ２４が付されている精子）の移動軌跡は、上記の移動解析処理によって導出されるものであって、第一映像の表示領域外に表示された精子に係る移動軌跡である為、本発明に係る第二付加表示に相当するものと言える。
＜モニタ３０に表示される作業画面について＞
　図７は、モニタ３０に表示される作業画面の具体例を示す図である。なお、図７は模式図であり、図示した各表示の寸法の大きさや比率は必ずしも厳密なものではない。
　モニタ３０に表示される作業画面は、図７に図示されるとおり、メイン画面Ｇ３と、サブ画面Ｇ４と、サイド表示Ｇ５と、マーキングアイコンＧ６１と、マーキング解除アイコンＧ６２と、を含んでいる。
　メイン画面Ｇ３の表示領域内には、メイン画面Ｇ１と同様に、第一映像が表示されている。例えば、図７に図示するメイン画面Ｇ３の表示領域内には、図４に図示したメイン画面Ｇ１に表示されている第一映像と同じものが表示されており、表示されている３つの精子には健全性解析処理に基づく指標（第一付加表示に相当するもの）がそれぞれ付されている。
　サブ画面Ｇ４の表示領域内には、サブ画面Ｇ２に表示されているものの他に、後述するマーキングアイコンＧ６１による表示が追加されうる。例えば、図７に図示するサブ画面Ｇ４の表示領域内には、図４に図示するサブ画面Ｇ２の表示領域内に表示されているものに加えて、後述するマーキングアイコンＧ６１の操作に応じてマーキングされた精子の位置を示す表示Ｇ４１が表示されている。
　サイド表示Ｇ５の表示領域内には、上記の計数解析処理によって計数された精子の数が表示され、これらは本発明に係る第二付加表示に相当する。当然ながら、サイド表示Ｇ５に表示されている各数値は計数解析処理に応じて変動するものであり、固定値ではない。
　具体的には、上記の判別処理によって判別された精子の全部の数（撮影ユニット１１によって撮影された映像データ内に含まれる精子の全数）と、上記の健全性解析処理によって分類された精子の健全性に係るランク別（即ち、ランクＡ、ランクＢ、ランクＣ及びランクＤごと）に計数された精子の数を表示する。ここでランクＤとは、健全性解析処理による分類において最も健全性が劣っていることを示す指標である。
　これにより、作業者は、映像データ内に撮影されている精子の数に基づく判断をしながら、精子の回収作業を行うことができる。
　なお、ここで挙げたものは、計数解析処理に基づく第二付加表示の具体例であり、本発明の実施において一部の表示内容が削除又は変更されてもよい。例えば、映像データ内に撮影されている精子の数に、所定の係数を乗算することによって、検体セット全体に含有されている精子の総数を導出して、サイド表示Ｇ５に第二付加表示として表示してもよい。
　マーキングアイコンＧ６１は、解析装置２０に付設された操作入力手段（キーボード２１やマウス２２）が受け付けた作業者による選択操作に基づいて判別処理によって判別された精子のいずれかを任意に選択した後に、当該精子にマーキングする為のアイコン表示である。即ち、マーキングアイコンＧ６１は、本発明に係るマーキング手段を実現する為のアイコン表示である。
　マーキング解除アイコンＧ６２は、解析装置２０に付設された操作入力手段が受け付けた作業者による選択操作に基づいて既にマーキングされた精子のいずれかを任意に選択した後に、当該精子にされたマーキングを解除する為のアイコン表示である。
　図７に図示するとおり、マーキングされた精子の位置を示す表示Ｇ４１は、サブ画面Ｇ２における他の表示（ランクＡに分類された精子の位置を示す表示）とは区別可能に表示されることが好ましい。
　解析装置２０によって自動的に判別された精子と、作業者の意思で選択した精子と、を区別可能にする為である。
　また、図７に図示するとおり、マーキングされた精子の位置を示す表示Ｇ４１と、ランクＡに分類された精子の位置を示す表示と、がメイン画面Ｇ３と別に設けられたサブ画面Ｇ４に表示される。言い換えれば、モニタ３０は、マーキングされた精子の位置を示す表示と、特定のランクに分類された精子の位置を示す第二付加表示と、を第二映像領域に表示するものと言える。
　これにより、解析装置２０によって自動的に行われる解析処理の結果に関わらず、作業者の意思で選択した精子の位置についても、作業者はメイン画面Ｇ３（第一映像）の表示領域外まで確認することができる。
　なお、図７においては、サブ画面Ｇ４にのみマーキングされた精子の位置が表示されている例を図示したが、マーキングされた精子がメイン画面Ｇ３に表示されている場合、当該精子と他の精子が区別可能であるように表示してもよい。
＜精巣内精子回収術における作業画面について＞
　精巣内精子回収術における作業画面についても、上述した運動精子回収法における作業画面（図４～図７に図示した作業画面）と同様の表示がなされてよい。
　しかしながら、上述したように、精巣内精子回収術では、検体セットに精子とは異なる浮遊物が多数混在すること、又は検体セットに含まれる精子の数が少ないケースが多い、という点において運動精子回収法と相違し、必ずしも運動精子回収法における作業画面と同様の表示内容では適切ではないケースも想定される。
　図８及び図９は、モニタ３０に表示される作業画面の具体例を示す図である。なお、図８及び図９は模式図であり、図示した各表示の寸法の大きさや比率は必ずしも厳密なものではない。また、図８及び図９におけるサイド表示Ｇ５に表示されている各数値は、図７におけるサイド表示Ｇ５と等しくなっているが、当然ながら各数値は計数解析処理に応じて変動するものであり、固定値ではない。
　図８に図示する作業画面に係るメイン画面Ｇ７及び図９に図示する作業画面に係るメイン画面Ｇ８は、それぞれ精巣内精子回収術における検体セットを撮影した第一映像を表示領域内に表示するものである。
　メイン画面Ｇ７に表示される第一映像については、精子の他に、赤血球や白血球、精巣を構成する組織片などが含有しており、図７に図示した第一映像に比べて、精子の輪郭（形状）を識別しがたい。
　これを視認容易にする為に、上記の輪郭解析処理によって抽出された精子の輪郭を強調表示したものがメイン画面Ｇ８に表示される第一映像である。具体的には、輪郭解析処理によって抽出された精子の輪郭と背景表示のコントラスト比を大きくする画像処理によって精子の輪郭を明瞭にしたものである。また、当該画像処理に加えて、輪郭解析処理によって抽出された精子の輪郭を除く表示については、背景表示とのコントラスト比を小さくする画像処理を行って、精子以外の浮遊物の輪郭を不明瞭にすることによって、より精子を明瞭に視認することができるようになる。
　なお、メイン画面Ｇ８における精子の輪郭の強調表示は、輪郭解析処理に基づく表示である為、本発明に係る第一付加表示に相当するものと言える。
　以上説明したように、本実施形態に係る生殖医療支援システム１００は、解析装置２０によって実現される種々の解析処理の結果を反映する拡張現実を適用した作業画面を、表示ユニット１２又はモニタ３０に表示するので、精子を回収する作業に係る負担を軽減することができる。
＜本発明の変形例について＞
　ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
　上記の実施形態における生殖医療支援システム１００では、顕微鏡１０、解析装置２０及びモニタ３０を備える構成としたが、本発明の実施はこれに限られない。
　例えば、顕微鏡１０を省いた構成としてもよい。この変形例において解析装置２０の解析対象となる映像データは別の構成から取得してもよく、当該構成は生殖医療支援システム１００に含まれなくてもよい。また、この変形例においてモニタ３０が本発明に係る表示手段に相当し、解析装置２０が本発明に係る解析手段に相当する。
　或いは、モニタ３０を省いた構成としてもよい。この変形例において顕微鏡１０の表示ユニット１２が本発明に係る表示手段に相当し、解析装置２０が本発明に係る解析手段に相当する。
　上記の実施形態において用いられる顕微鏡１０は、撮影ユニット１１と表示ユニット１２とを有するものとして説明したが、少なくとも一方を備えない顕微鏡に代えてもよい。例えば顕微鏡は表示ユニット１２を有して撮影ユニット１１を有さないものとし、撮影ユニット１１は顕微鏡とは別のカメラ装置として提供されてもよい。
　上記の実施形態において説明した作業画面（図４～図９に図示した作業画面）のレイアウトは適宜変更可能であり、これらのレイアウトは作業者によって任意に調整可能であること（レイアウトのカスタマイズ機能を有すること）がより好ましい。
　上記の実施形態では表示ユニット１２の表示内容（図４～図６の作業画面に関する内容）と、モニタ３０の表示内容（図７～図９の作業画面に関する内容）と、が一部相違する実施例を説明したが、本発明の実施においては一方の表示内容が他方の表示内容に転用されることを許容する。
　上記の実施形態における健全性解析処理では、精子の健全性に係るランクを４段階（Ａ～Ｄ）に分類する処理として説明したが、当該ランクは２段階以上であればよく、本発明の実施においてその段階数は特に制限されない。
　本実施形態は以下の技術思想を包含する。
（１）精子を含有する検査対象物に関する検査作業を支援する生殖医療支援システムであって、前記検査対象物を拡大表示している第一映像を含む作業画面が表示される表示手段と、前記第一映像として前記作業画面に表示されている領域より広い領域が撮影されている映像データを取得し、前記映像データに対して画像解析処理を行う解析手段と、を備え、前記画像解析処理には、前記映像データに撮影されている精子を判別する判別処理と、前記判別処理によって判別された精子を解析する解析処理と、が含まれ、前記表示手段は、前記判別処理によって判別され且つ前記第一映像の表示領域内に表示されている精子に係る前記解析処理に基づく第一付加表示と、前記判別処理によって判別された精子の全部に係る前記解析処理又は前記判別処理によって判別され且つ前記第一映像の表示領域外である精子に係る前記解析処理に基づく第二付加表示と、を前記作業画面の表示領域内に表示する生殖医療支援システム。
（２）前記解析処理には、精子の移動軌跡を導出する処理が含まれ、前記表示手段は、前記解析処理によって導出された精子の移動軌跡のうち、前記第一映像の表示領域内に表示されている精子に係る移動軌跡を前記第一付加表示として表示し、前記第一映像の表示領域内から当該表示領域外に移動した精子に係る移動軌跡を前記第二付加表示として表示する（１）に記載の生殖医療支援システム。
（３）前記解析処理には、前記判別処理によって判別された精子を計数する処理が含まれ、前記表示手段は、前記解析処理によって計数された精子の数を前記第二付加表示として表示する（１）又は（２）に記載の生殖医療支援システム。
（４）前記解析処理には、前記判別処理によって判別された精子を、複数にランク分けされた健全性によって分類する処理が含まれ、前記表示手段は、前記解析処理によって分類された精子の健全性を示す前記第一付加表示を表示する（１）から（３）のいずれか一つに記載の生殖医療支援システム。
（５）前記表示手段は、前記解析処理によって分類された精子の健全性を示す指標を、前記第一映像の表示領域内に表示されている精子ごとに付し、当該指標を前記第一付加表示として表示する（４）に記載の生殖医療支援システム。
（６）前記表示手段は、前記解析処理によって分類された精子の健全性に係るランク別に計数された精子の数を前記第二付加表示として表示する（３）に従属している（４）又は（５）に記載の生殖医療支援システム。
（７）前記表示手段は、前記判別処理によって判別され且つ前記第一映像の表示領域外である精子のうち、精子の健全性に係る複数のランクにおける特定のランクに分類された精子の位置を示す前記第二付加表示を、前記第一映像の表示領域とは別に設けられた第二映像領域に表示する（４）から（６）のいずれか一つに記載の生殖医療支援システム。
（８）前記判別処理によって判別された精子を、作業者による選択操作によって任意にマーキングするマーキング手段を備え、前記表示手段は、前記マーキング手段によってマーキングされた精子の位置を前記作業画面の表示領域内に表示する（１）から（７）のいずれか一つに記載の生殖医療支援システム。
（９）前記表示手段は、前記マーキング手段によってマーキングされた精子の位置を示す表示と、前記特定のランクに分類された精子の位置を示す前記第二付加表示と、を前記第二映像領域に表示する（７）に従属している（８）に記載の生殖医療支援システム。
（１０）前記解析処理には、前記判別処理によって判別された精子の輪郭を抽出する処理が含まれ、前記表示手段は、前記解析処理によって抽出された精子の輪郭の強調表示を、前記第一付加表示として表示する（１）から（９）のいずれか一つに記載の生殖医療支援システム。
（１１）前記画像解析処理に含まれる処理のうち少なくとも一部が、機械学習によって生成される学習済みモデルに基づいて実現される（１）から（１０）のいずれか一つに記載の生殖医療支援システム。
　この出願は、２０１８年９月２１日に出願された日本出願特願２０１８－１７７６７２を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
１００　生殖医療支援システム
１０　顕微鏡
１１　撮影ユニット
１２　表示ユニット
２０　解析装置
２１　キーボード
２２　マウス
３０　モニタ

Claims (11)

  1. 　精子を含有する検査対象物に関する検査作業を支援する生殖医療支援システムであって、
    　前記検査対象物を拡大表示している第一映像を含む作業画面が表示される表示手段と、
    　前記第一映像として前記作業画面に表示されている領域より広い領域が撮影されている映像データを取得し、前記映像データに対して画像解析処理を行う解析手段と、
    を備え、
    　前記画像解析処理には、
    　前記映像データに撮影されている精子を判別する判別処理と、
    　前記判別処理によって判別された精子を解析する解析処理と、
    が含まれ、
    　前記表示手段は、前記判別処理によって判別され且つ前記第一映像の表示領域内に表示されている精子に係る前記解析処理に基づく第一付加表示と、前記判別処理によって判別された精子の全部に係る前記解析処理又は前記判別処理によって判別され且つ前記第一映像の表示領域外である精子に係る前記解析処理に基づく第二付加表示と、を前記作業画面の表示領域内に表示する生殖医療支援システム。
  2. 　前記解析処理には、精子の移動軌跡を導出する処理が含まれ、
    　前記表示手段は、前記解析処理によって導出された精子の移動軌跡のうち、前記第一映像の表示領域内に表示されている精子に係る移動軌跡を前記第一付加表示として表示し、前記第一映像の表示領域内から当該表示領域外に移動した精子に係る移動軌跡を前記第二付加表示として表示する請求項１に記載の生殖医療支援システム。
  3. 　前記解析処理には、前記判別処理によって判別された精子を計数する処理が含まれ、
    　前記表示手段は、前記解析処理によって計数された精子の数を前記第二付加表示として表示する請求項１又は２に記載の生殖医療支援システム。
  4. 　前記解析処理には、前記判別処理によって判別された精子を、複数にランク分けされた健全性によって分類する処理が含まれ、
    　前記表示手段は、前記解析処理によって分類された精子の健全性を示す前記第一付加表示を表示する請求項１から３のいずれか一項に記載の生殖医療支援システム。
  5. 　前記表示手段は、前記解析処理によって分類された精子の健全性を示す指標を、前記第一映像の表示領域内に表示されている精子ごとに付し、当該指標を前記第一付加表示として表示する請求項４に記載の生殖医療支援システム。
  6. 　前記表示手段は、前記解析処理によって分類された精子の健全性に係るランク別に計数された精子の数を前記第二付加表示として表示する請求項３に従属している請求項４又は５に記載の生殖医療支援システム。
  7. 　前記表示手段は、前記判別処理によって判別され且つ前記第一映像の表示領域外である精子のうち、精子の健全性に係る複数のランクにおける特定のランクに分類された精子の位置を示す前記第二付加表示を、前記第一映像の表示領域とは別に設けられた第二映像領域に表示する請求項４から６のいずれか一項に記載の生殖医療支援システム。
  8. 　前記判別処理によって判別された精子を、作業者による選択操作によって任意にマーキングするマーキング手段を備え、
    　前記表示手段は、前記マーキング手段によってマーキングされた精子の位置を前記作業画面の表示領域内に表示する請求項１から７のいずれか一項に記載の生殖医療支援システム。
  9. 　前記表示手段は、前記マーキング手段によってマーキングされた精子の位置を示す表示と、前記特定のランクに分類された精子の位置を示す前記第二付加表示と、を前記第二映像領域に表示する請求項７に従属している請求項８に記載の生殖医療支援システム。
  10. 　前記解析処理には、前記判別処理によって判別された精子の輪郭を抽出する処理が含まれ、
    　前記表示手段は、前記解析処理によって抽出された精子の輪郭の強調表示を、前記第一付加表示として表示する請求項１から９のいずれか一項に記載の生殖医療支援システム。
  11. 　前記画像解析処理に含まれる処理のうち少なくとも一部が、機械学習によって生成される学習済みモデルに基づいて実現される請求項１から１０のいずれか一項に記載の生殖医療支援システム。
PCT/JP2019/034980 2018-09-21 2019-09-05 生殖医療支援システム Ceased WO2020059522A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020548310A JP7253273B2 (ja) 2018-09-21 2019-09-05 生殖医療支援システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-177672 2018-09-21
JP2018177672 2018-09-21

Publications (1)

Publication Number Publication Date
WO2020059522A1 true WO2020059522A1 (ja) 2020-03-26

Family

ID=69887421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034980 Ceased WO2020059522A1 (ja) 2018-09-21 2019-09-05 生殖医療支援システム

Country Status (2)

Country Link
JP (1) JP7253273B2 (ja)
WO (1) WO2020059522A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、精子選別支援方法
US20210319208A1 (en) * 2018-12-28 2021-10-14 Olympus Corporation Microscope system
WO2023127001A1 (ja) * 2021-12-27 2023-07-06 株式会社エビデント 顕微鏡システム、投影ユニット、及び、選別支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118083A (ja) * 2012-01-11 2012-06-21 M E S Medical Electronic Systems Ltd 精液分析
JP2012198249A (ja) * 2012-07-27 2012-10-18 Chiba Univ 精子機能の検査方法
JP2016505836A (ja) * 2012-12-19 2016-02-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 流体サンプル中の粒子の分類のためのシステム及び方法
WO2017183190A1 (ja) * 2016-04-22 2017-10-26 佐藤　忠男 試料観察用キット、及び試料観察用キットを用いた精液試料の観察方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118083A (ja) * 2012-01-11 2012-06-21 M E S Medical Electronic Systems Ltd 精液分析
JP2012198249A (ja) * 2012-07-27 2012-10-18 Chiba Univ 精子機能の検査方法
JP2016505836A (ja) * 2012-12-19 2016-02-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 流体サンプル中の粒子の分類のためのシステム及び方法
WO2017183190A1 (ja) * 2016-04-22 2017-10-26 佐藤　忠男 試料観察用キット、及び試料観察用キットを用いた精液試料の観察方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319208A1 (en) * 2018-12-28 2021-10-14 Olympus Corporation Microscope system
US11861921B2 (en) * 2018-12-28 2024-01-02 Evident Corporation Microscope system
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、精子選別支援方法
JPWO2021200003A1 (ja) * 2020-03-31 2021-10-07
CN115485602A (zh) * 2020-03-31 2022-12-16 仪景通株式会社 显微镜系统、投影单元以及精子筛选辅助方法
WO2023127001A1 (ja) * 2021-12-27 2023-07-06 株式会社エビデント 顕微鏡システム、投影ユニット、及び、選別支援方法
JPWO2023127001A1 (ja) * 2021-12-27 2023-07-06

Also Published As

Publication number Publication date
JP7253273B2 (ja) 2023-04-06
JPWO2020059522A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US11636627B2 (en) System for histological examination of tissue specimens
EP4130843A1 (en) Microscope system, projection unit, and sperm sorting assistance method
JP2021515240A (ja) 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
US8350904B2 (en) Microscope for virtual-slide creating system
JP6310671B2 (ja) レーザー顕微解剖領域の画定方法及び関連するレーザー顕微解剖システム
JP2020521946A (ja) 病理学用の拡張現実顕微鏡
JP7253273B2 (ja) 生殖医療支援システム
CN207600940U (zh) 用于生物病理切片辅助分析的显微成像光谱系统
US20240153088A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis system
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
ES2500916T3 (es) Procedimiento de análisis celular de una muestra por medio de una placa de análisis virtual
JP7156361B2 (ja) 画像処理方法、画像処理装置及びプログラム
CN208888473U (zh) 一种增强现实显微镜
CN211979318U (zh) 一种用于显微镜的增强现实模块及包含该模块的显微镜
JP7793293B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
RU2330265C1 (ru) Способ автоматизированного микроскопического исследования образца
JP6721046B2 (ja) 画像処理装置、画像処理方法及びプログラム
Kelsey et al. Proliferating cell nuclear antigen (PCNA) allows the automatic identification of follicles in microscopic images of human ovarian tissue
JP7693533B2 (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
JP7751345B1 (ja) 精子選別補助装置、投影装置、及び顕微鏡システム
EP4549910A1 (en) Particle detection method, particle detection apparatus, and program
Ersoy et al. Eye gaze pattern analysis of whole slide image viewing behavior in pathedex platform
JP2025158211A (ja) 顕微鏡システム
JP2024059329A (ja) 顕微鏡システム
WO2023127001A1 (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548310

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862502

Country of ref document: EP

Kind code of ref document: A1