[go: up one dir, main page]

WO2019039252A1 - 医療画像処理装置及び医療画像処理方法 - Google Patents

医療画像処理装置及び医療画像処理方法 Download PDF

Info

Publication number
WO2019039252A1
WO2019039252A1 PCT/JP2018/029384 JP2018029384W WO2019039252A1 WO 2019039252 A1 WO2019039252 A1 WO 2019039252A1 JP 2018029384 W JP2018029384 W JP 2018029384W WO 2019039252 A1 WO2019039252 A1 WO 2019039252A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving image
reproduction
medical
reproductions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/029384
Other languages
English (en)
French (fr)
Inventor
千尋 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201880054511.8A priority Critical patent/CN111031889B/zh
Priority to JP2019538044A priority patent/JP6975241B2/ja
Publication of WO2019039252A1 publication Critical patent/WO2019039252A1/ja
Priority to US16/790,659 priority patent/US20200184644A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method for reproducing a moving image of a medical image.
  • endoscopic examination using an electronic endoscope is performed in the medical field.
  • the illumination light is irradiated to the observation site in the subject, and the reflected light image of the illumination light reflected to the observation site is captured and acquired based on the reflected light image, Observation of the site is performed. Further, in this case, a moving image of a region to be observed is taken by the endoscope, and a moving image of the region to be observed is obtained.
  • the moving image is used as a doctor's more accurate diagnosis, determination of the presence or absence of a lesion or the like by image analysis (moving image analysis), and data of a medical report.
  • Patent Document 1 and Patent Document 2 disclose that the number of times of reproduction of each moving image is stored as a history. Further, Patent Document 3 discloses that when the whole movie is reproduced, the number of times of reproduction of the moving image is counted up.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a medical image processing apparatus and a medical image processing method capable of accurately grasping a reproduction condition of a moving image of a medical image by a user such as a doctor. .
  • a medical image processing apparatus for achieving the object of the present invention includes a moving image reproduction control unit for controlling reproduction of a moving image of a medical image on a display device, and a reproduction number for counting the number of reproductions of moving image by the moving image reproduction control unit
  • a playback number control unit that counts up the number of playbacks of the moving image when the moving image is reproduced to a specific frame image among a plurality of frame images that constitute the moving image, and is a control unit;
  • an information display control unit that causes the display device to display the number of reproductions of the moving image counted by the display unit.
  • the number of times of reproduction of the moving image can be counted up when the content confirmation of the moving image by the user is substantially completed without reproducing the full movie of the moving image. it can.
  • a frame image including an attention area is determined as a specific frame image by analyzing whether or not the attention area which is the attention area is included in each frame image.
  • the medical image analysis processing unit is provided. Thereby, it is possible to determine a frame image which is highly necessary for accurate diagnosis and confirmation by the user (doctor) as the specific frame image.
  • the medical image analysis processing unit analyzes whether or not the attention area is included in the frame image by image analysis processing using deep learning. Thereby, it is possible to determine a frame image which is highly necessary for diagnosis and confirmation by the user (doctor) as the specific frame image.
  • the moving image is acquired by the medical device having a function of capturing a moving image and capturing a still image during capturing of the moving image.
  • a timing information storage unit that stores timing information indicating timing when shooting of a still image is performed during shooting of a moving image, and timing information stored in the timing information storage unit
  • an image specifying unit configured to determine a frame image captured at a timing at which the still image is captured as a specific frame image.
  • a medical image processing apparatus includes a reproduction number storage unit that stores the number of reproductions of a moving image counted by the reproduction number control unit. By storing the number of times of reproduction of the moving image, it is possible to display and confirm the number of times of reproduction of the moving image at any time.
  • the medical image processing apparatus includes a user identification unit that identifies a user who is to execute reproduction of a moving image in the moving image reproduction control unit, and the reproduction number control unit counts the number of reproductions of the moving image.
  • the reproduction count storage unit stores the reproduction count of the moving image separately for each user. As a result, it is possible to accurately grasp the reproduction status of the moving image for each user.
  • the information display control unit causes the display device to display reproduction presence / absence information indicating presence / absence of reproduction of a moving image. This makes it possible to easily determine the presence or absence of reproduction of a moving image by the user.
  • the information display control unit causes the display device to display at least one of a number and a graph indicating the number of reproductions of the moving image as the number of reproductions of the moving image. This makes it possible to easily grasp the number of reproductions of the moving image.
  • the information display control unit causes the display device to display the number of reproductions of the moving image for each moving image, when there are a plurality of moving images. This makes it possible to easily grasp the reproduction status of each moving image.
  • a medical image processing method for achieving the object of the present invention includes a moving image reproduction control step of controlling reproduction of a moving image of a medical image on a display device, and counting the number of reproductions of moving images reproduced in the moving image reproduction control step. And the number-of-reproductions control step of counting up the number of reproductions of the moving image when the moving image is reproduced up to a specific frame image among a plurality of frame images constituting the moving image; And a display control step of displaying the number of reproductions of the moving image counted in the number control step on the display device.
  • the medical image processing apparatus and the medical image processing method of the present invention can accurately grasp the reproduction status of moving images of medical images by a user such as a doctor.
  • FIG. 6 is an explanatory view showing an example of a reproduction image selection screen.
  • FIG. 6 is an explanatory diagram for describing reproduction control of a moving image by a reproduction control unit. It is the schematic of the reproduction frequency memory
  • FIG. 8 is an explanatory diagram for describing count-up of the number of times of reproduction of a moving image by the number-of-reproductions control unit when identification of a specific frame image is performed by the medical image analysis processing unit.
  • FIG. 8 is an explanatory diagram for describing count-up of the number of times of reproduction of a moving image by the number-of-reproductions control unit when specification of a specific frame image is performed by the image specification unit. It is an explanatory view for explaining updating of the number-of-reproductions display by the information display control unit.
  • 5 is a flowchart showing a flow of playback of a moving image and counting of the number of playbacks of the moving image in the endoscope system.
  • FIG. 1 is a schematic view showing an entire configuration of an endoscope system 9.
  • the endoscope system 9 includes an endoscope 10 which is an electronic endoscope, a light source device 11, a processor 12, a display device 13, a medical image processing device 14, and an operation unit 15. And the display device 16.
  • the endoscope 10 corresponds to the medical device of the present invention, and is, for example, a flexible endoscope.
  • the endoscope 10 is an insertion unit 20 which is inserted into a subject and has a distal end and a proximal end, and an operation unit which is continuously provided on the proximal end side of the insertion unit 20 and held by the operator for various operations. 21 and a universal cord 22 connected to the operation unit 21.
  • the insertion part 20 is formed in a long and narrow shape as a whole.
  • the insertion portion 20 has a flexible portion 25 having flexibility in order from the base end side to the tip end side, a bending portion 26 that can be bent by the operation of the operation portion 21, a photographing optical system and an imaging device 28 (not shown). And the like, and is configured to be connected in series with the distal end portion 27 in which the and the like are incorporated.
  • the imaging device 28 is a complementary metal oxide semiconductor (CMOS) type or charge coupled device (CCD) type imaging device.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image pickup surface of the image pickup device 28 includes an observation window (not shown) opened at the tip end surface of the tip end portion 27 and a photographing optical system (not shown) disposed behind the observation window. Image light is incident.
  • the imaging device 28 captures (converts into electrical signals) the image light of the region to be observed that has entered the imaging surface, and outputs an imaging signal.
  • the operation unit 21 is provided with various operation members operated by the operator. Specifically, the operation unit 21 includes two kinds of bending operation knobs 29 used for bending operation of the bending unit 26, an air / water supply button 30 for air / water operation, and a suction button 31 for suction operation, Is provided. In addition, in the operation unit 21, a still image photographing instruction unit 32 for instructing to photograph the still image 39 of the region to be observed, and treatment in a treatment tool insertion path (not shown) inserted through the insertion unit 20. A treatment tool inlet 33 for inserting a tool (not shown) is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) which are inserted through the insertion portion 20.
  • a connector 37A connected to the light source device 11 and a connector 37B branched from the connector 37A and connected to the processor 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 through the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from the illumination window (not shown) on the tip surface of the tip 27 toward the region to be observed.
  • gas or water is jetted from an air / water nozzle (not shown) on the tip surface of the tip 27 toward an observation window (not shown) on the tip surface.
  • the signal cable 36 and the processor 12 are electrically connected.
  • an imaging signal of the region to be observed is output from the imaging element 28 of the endoscope 10 to the processor 12 through the signal cable 36, and a control signal is output from the processor 12 to the endoscope 10.
  • the flexible endoscope has been described as an example of the endoscope 10, but various types of electronic endoscopes capable of shooting moving images of a region to be observed such as a rigid endoscope are exemplified. You may use.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37A.
  • the illumination light may be white light (light of white wavelength band or light of plural wavelength bands), light of one or more specific wavelength bands, or light of various wavelength bands according to the observation purpose such as a combination thereof. It is selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • the first example of the specific wavelength band is, for example, a blue band or a green band in the visible range.
  • the wavelength band of this first example includes the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and the light of the first example has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less .
  • the second example of the specific wavelength band is, for example, a red band in the visible range.
  • the wavelength band of this second example includes a wavelength band of 585 nm to 615 nm or less or 610 nm to 730 nm, and the light of the second example has a peak wavelength within the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. .
  • the third example of the specific wavelength band includes wavelength bands in which the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin, and the light of the third example has peak wavelengths in wavelength bands where the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin.
  • the wavelength band of this third example includes the wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and the light of the third example has the above 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 It has a peak wavelength in a wavelength band of ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • a fourth example of the specific wavelength band is a wavelength band (390 nm to 470 nm) of excitation light which is used for observation of fluorescence emitted by a fluorescent substance in the living body (fluorescent observation) and which excites the fluorescent substance.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the fifth example has a peak wavelength in the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the processor 12 controls the operation of the endoscope 10 via the connector 37 B and the signal cable 36.
  • the processor 12 also generates a moving image 38 of the region to be observed based on the imaging signal acquired from the imaging device 28 of the endoscope 10 via the connector 37 B and the signal cable 36.
  • the processor 12 observes the subject based on the imaging signal acquired from the imaging device 28 in parallel with the generation of the moving image 38.
  • a still image 39 of the site is generated.
  • the still image 39 may be generated at a higher resolution than the moving image 38.
  • the moving image 38 and the still image 39 are in-vivo images of the inside of a subject, that is, the inside of a living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by the light (special light) of the above-mentioned specific wavelength band, both are special light images. Then, the processor 12 outputs the generated moving image 38 and still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the processor 12 may generate (acquire) a special light image having information of the above-mentioned specific wavelength band based on the above-mentioned normal light image obtained by the white light.
  • the processor 12 functions as a special light image acquisition unit. Then, the processor 12 detects the signals of the specific wavelength band as red, green and blue [RGB (Red, Green, Blue)] or cyan, magenta and yellow [CMY (Cyan, Magenta, Yellow)] is obtained by performing an operation based on the color information.
  • RGB Red, Green, Blue
  • CMY Cyan, Magenta, Yellow
  • the processor 12 is known based on, for example, at least one of the normal light image obtained by the above-mentioned white light and the special light image obtained by the light (special light) of the above-mentioned specific wavelength band.
  • a feature amount image such as an oxygen saturation image may be generated.
  • the processor 12 functions as a feature quantity image generation unit.
  • the display device 13 is connected to the processor 12 and displays the moving image 38 and the still image 39 input from the processor 12.
  • the user performs an operation such as advancing and retracting the insertion unit 20 while checking the moving image 38 displayed on the display device 13 and finds the still image photographing instruction unit 32 when a lesion etc. is found in the observed region.
  • the operation is performed to perform still image shooting of the observed region.
  • a personal computer is used as the medical image processing apparatus 14.
  • the operation unit 15 uses a keyboard, a mouse or the like connected by wire or wireless to a personal computer, and the display device 16 uses various monitors connectable to the personal computer.
  • a diagnosis support device such as a workstation (server) may be used as the medical image processing device 14.
  • the operation unit 15 and the display device 16 are provided for each of a plurality of terminals connected to the workstation.
  • a medical care operation support apparatus that supports creation of a medical report or the like may be used.
  • the medical image processing apparatus 14 acquires and stores the moving image 38 and the still image 39, controls reproduction of the moving image 38 and the still image 39, counts the number of times of reproduction of the moving image 38, and displays the count result. Do.
  • the operation unit 15 is used to input an operation instruction to the medical image processing apparatus 14.
  • the display device 16 displays the moving image 38 and the still image 39 under the control of the medical image processing apparatus 14 and displays the number of times of reproduction of the moving image 38 or the like.
  • FIG. 2 is a functional block diagram showing the function of the medical image processing apparatus 14.
  • a control unit that executes various controls of the medical image processing apparatus 14 including reproduction control of the moving image 38, counting of the number of reproductions of the moving image 38, and displaying the count result of the number of reproductions.
  • the hardware structure of is the various processors as shown below. It is possible to change the circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA) that is a general-purpose processor that executes software (programs) and functions as various control units for various processors.
  • Logic circuits Programmable Logic Devices: PLDs
  • ASICs Application Specific Integrated Circuits
  • etc. including dedicated electric circuits that are processors with a circuit configuration specifically designed to execute specific processing. Be
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) May be Also, the plurality of control units may be configured by one processor.
  • a plurality of control units are configured by one processor
  • one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers.
  • a processor functions as a plurality of control units.
  • SoC system on chip
  • IC integrated circuit
  • a processor (not shown) of the medical image processing apparatus 14 performs an image acquisition unit 41, a user identification unit 42, a medical image analysis processing unit 43A, an image identification unit 43B, a display control unit 44, and a reproduction number control unit Act as 45
  • the medical image processing apparatus 14 is provided with a storage unit 47 that stores information related to various controls of the medical image processing apparatus 14.
  • the storage unit 47 stores the user information 50 and the program 51, and is provided with an image storage unit 53 and a reproduction number storage unit 54.
  • the user information 50 is information in which a user ID (identification) unique to a user such as a doctor who uses the medical image processing apparatus 14 is associated with a password defined for each user ID.
  • the program 51 is an application program for causing the medical image processing apparatus 14 to execute reproduction control of the moving image 38 described above, counting of the number of reproductions of the moving image 38, and displaying the count result.
  • the image storage unit 53 stores a moving image 38 and a still image 39 acquired by the medical image processing apparatus 14, which will be described in detail later.
  • the number-of-reproductions storage unit 54 stores the number of reproductions of the moving image 38 for each user, which will be described in detail later.
  • the storage unit 47 is provided in the medical image processing apparatus 14.
  • the storage unit 47 may be provided in a server or a database on the Internet.
  • the medical image processing apparatus of the present invention also includes a medical image processing system configured of a plurality of apparatuses.
  • the image acquisition unit 41 acquires a moving image 38 from the processor 12 using an image input / output interface (not shown) connected by wire or wirelessly to the processor 12.
  • the image acquiring unit 41 acquires the moving image 38 and the still image 39 from the processor 12.
  • the image acquisition unit 41 stores the acquired moving image 38 and still image 39 in the image storage unit 53 in the storage unit 47.
  • Reference numeral 38 a in the drawing is a plurality of frame images constituting the moving image 38.
  • the image acquisition unit 41 may acquire the moving image 38 and the still image 39 via various information storage media such as a memory card instead of directly acquiring the moving image 38 and the still image 39 from the processor 12. Further, the image acquisition unit 41 may acquire the moving image 38 and the still image 39 uploaded to a server, a database, or the like on the Internet via the Internet.
  • the image acquisition unit 41 functions as a special light image acquisition unit when acquiring a special light image having information of the specific wavelength band described above as the moving image 38 and the still image 39.
  • the image acquisition unit 41 does not have to store all of the moving image 38 input from the processor 12 or the like in the image storage unit 53.
  • the moving image 38 of one minute may be stored in the image storage unit 53.
  • FIG. 3 is a schematic view of the image storage unit 53.
  • the image acquisition unit 41 individually stores moving images 38 acquired from the processor 12 and the like for each folder (folder A, folder B, folder C,...) In the image storage unit 53. Further, when the still image 39 described above is taken during photographing of the moving image 38 by the endoscope 10, the image acquiring unit 41 acquires the still image 39 acquired together with the moving image 38 from the processor 12. It is stored in the same folder as the moving image 38.
  • the header information 39 a of the still image 39 time information indicating the shooting timing at which the still image 39 was shot during shooting of the moving image 38 is recorded by the processor 12. For this reason, the above-mentioned photographing timing can be determined by referring to the header information 39a. Therefore, the header information 39a corresponds to the timing information of the present invention, and the image storage unit 53 functions as the timing information storage unit of the present invention.
  • specific frame information 56 which is an analysis result of a medical image analysis processing unit 43A and an image specifying unit 43B described later is stored.
  • the specific frame information 56 indicates a specific frame image 60 (see FIG. 4) included in a plurality of frame images 38a constituting the moving image 38 stored in the same folder, which will be described in detail later. It is information.
  • the medical image analysis processing unit 43A and the image specifying unit 43B specify a predetermined specific frame image 60 (see FIG. 4) from among the plurality of frame images 38a constituting the moving image 38.
  • the specific frame image 60 is an image that has a high need for confirmation in order to make an accurate diagnosis by the user (doctor).
  • the medical image analysis processing unit 43A analyzes whether each frame image 38a includes a notable area 61 (see FIG. 4), which is an area to which attention should be given, and identifies a frame image 38a including this notable area 61 as a specific frame. It is determined as an image 60 (see FIG. 4).
  • FIG. 4 is an explanatory diagram for explaining an example of the specific frame image 60.
  • the attention area 61 is, for example, a lesion area occurring in the observation site.
  • the attention area 61 also includes marks (treatment marks and inspection marks) left on the body wall of the observation site in the past by treatment with a treatment tool or the like or inspection.
  • the attention area 61 also includes an area where treatment or inspection is performed with a treatment tool or the like, that is, an area where an object of interest such as the treatment tool is displayed.
  • the medical image analysis processing unit 43A uses deep learning (deep learning) based on the deep learning algorithm 65 each time a new moving image 38 is stored in the image storage unit 53.
  • deep learning deep learning
  • the deep learning algorithm 65 is a known convolutional neural network (convolutional neural network) method, that is, the attention area 61 is included in the frame image 38a through repetition of the convolutional layer and the pooling layer, the entire combination layer, and the output layer. It is an algorithm that recognizes whether or not
  • the image analysis process using deep learning is a well-known technique, specific description is abbreviate
  • the medical image analysis processing unit 43A determines the frame image 38a including the attention area 61 as the specific frame image 60, and information (frame number etc.) that can identify the specific frame image 60 in the moving image 38 has already been described.
  • the specific frame information 56 is stored in the same folder as the moving image 38.
  • the image specifying unit 43B is a frame of the moving image 38 photographed at the photographing timing when the photographing of the still image 39 is performed.
  • the image 38a is determined as the specific frame image 60.
  • the frame region 38a of the moving image 38 photographed at the photographing timing described above includes the attention region 61 described above.
  • the image specifying unit 43B confirms whether or not the still image 39 is stored in the same folder as the moving image 38.
  • the image specifying unit 43B has already described in each frame image 38a of the moving image 38 based on the header information 39a of the still image 39.
  • the frame image 38 a photographed at the photographing timing of is determined as the specific frame image 60.
  • the image specifying unit 43B uses the moving image 38 as information that can identify the specific frame image 60 in the moving image 38 as the specific frame information 56 described above. Store in the same folder.
  • the medical image processing apparatus 14 of this embodiment is equipped with both the medical image analysis processing part 43A and the image specific part 43B, you may make it provide only any one.
  • the display control unit 44 controls image display by the display device 16.
  • the display control unit 44 functions as a reproduction control unit 44A and an information display control unit 44B.
  • FIG. 5 is an explanatory view showing an example of the reproduction image selection screen 69. As shown in FIG. In FIG. 5, it is assumed that the moving image reproduction by the user (user 1) is not performed even once. As shown in FIG. 5, the reproduction image selection screen 69 is provided with a user section 71 and an image list display section 72. Further, on the reproduction image selection screen 69, a cursor 73 for moving in the screen according to the operation of the operation unit 15 is displayed.
  • the user column 71 displays the user name (or the user ID) of the user who is using the medical image processing apparatus 14.
  • the reproduction control unit 44A displays the user name in the user column 71 based on the user identification result input from the user identification unit 42 described above.
  • a thumbnail image 38S of the moving image 38 stored for each folder in the image storage unit 53, a moving image reproduction button 75, and a reproduction number display 77 described later are displayed.
  • the reproduction control unit 44A When displaying the reproduction image selection screen 69, the reproduction control unit 44A generates a thumbnail image 38S of each moving image 38 in the image storage unit 53.
  • the reproduction control unit 44A When the still image 39 is stored in the same folder as the moving image 38, the reproduction control unit 44A generates the thumbnail image 38S based on the still image 39, and conversely, when the still image 39 is not stored, A thumbnail image 38S is generated based on an arbitrary frame image 38a of the moving image 38.
  • the reproduction control unit 44A causes the thumbnail image 38S of each moving image 38 to be displayed in the image list display field 72.
  • the reproduction control unit 44A selects the display switching button 72a of the image list display field 72 with the cursor 73 via the operation unit 15. Every time the selection operation is performed, the thumbnail image 38S to be displayed in the image list display field 72 is switched.
  • reproduction control unit 44A in the image list display column 72, for each thumbnail image 38S, a folder name of the moving image 38 corresponding to each (may be a file name of the moving image 38), a moving image reproduction button 75, Is displayed.
  • the information display control unit 44B refers to the number-of-reproductions storage unit 54 described later in the storage unit 47, and displays the number-of-reproductions display 77 indicating the number of reproductions of each moving image 38 by the user. Display every 38S. As a result, when there are a plurality of thumbnail images 38S in the image list display field 72, it is possible to display the number-of-replays display 77 of the moving image 38 corresponding to each thumbnail image 38S.
  • FIG. 6 is an explanatory diagram for describing reproduction control of the moving image 38 by the reproduction control unit 44A.
  • the reproduction control unit 44A responds to this selection operation.
  • the moving image 38 to be played is acquired from the image storage unit 53, and the display device 16 is made to execute moving image reproduction based on the moving image 38.
  • the moving image reproduction screen 80 is displayed on the display device 16 in a window different from the reproduction image selection screen 69, and the reproduction of the moving image 38 is started in the moving image reproduction screen 80.
  • the still image 39 is taken, the moving image 38 from one minute before the photographing of the still image 39 to one minute after the photographing may be reproduced.
  • the reproduction mode of the moving image 38 is not particularly limited.
  • the display device 16 may perform full screen display of the moving image reproduction screen 80 or the like.
  • the reproduction control unit 44A closes the moving image reproduction screen 80 when a closing operation for selecting the close button 80a in the moving image reproduction screen 80 is performed by the cursor 73 via the operation unit 15.
  • the reproduction of the moving image 38 can be ended at an arbitrary timing such as during reproduction of the moving image 38 or after full reproduction.
  • the number-of-reproductions control unit 45 operates when reproduction of the moving image 38 is started by the reproduction control unit 44A, and counts the number of reproductions of each moving image 38 individually for each user.
  • the reproduction number control unit 45 based on the user identification result input from the user identification unit 42 described above and the type (folder name) of the moving image 38 whose reproduction is started by the reproduction control unit 44A, the reproduction number control unit 45 The number of times of reproduction of the user with respect to the moving image 38 is acquired with reference to the number storage unit 54. Next, based on the specific frame information 56 in the image storage unit 53 corresponding to the moving image 38 for which reproduction has been started, the reproduction number control unit 45 selects a specific frame among the plurality of frame images 38a constituting the moving image 38. When the moving image 38 is reproduced up to the image 60, the number of reproductions of the moving image 38 is counted up.
  • FIG. 8 is an explanatory diagram for describing count-up of the number of times of reproduction of the moving image 38 by the number-of-reproductions control unit 45 when the medical image analysis processing unit 43A identifies the specific frame image 60. It is assumed that the reproduction time of the moving image 38 elapses from the left side to the right side in the drawing.
  • FIG. 9 is an explanatory diagram for explaining the count-up of the number of times of reproduction of the moving image 38 by the number-of-reproductions control unit 45 when the specific frame image 60 is specified by the image specifying unit 43B.
  • the reproduction control unit 44A described above preferably displays the seek bar 85, the movement indicator 86, and the fixed indicator 87 in the moving image reproduction screen 80.
  • the seek bar 85 and the movement index 86 indicate which part of the total reproduction time (each frame image 38 a) of the moving image 38 is being reproduced.
  • the fixed index 87 is an index indicating the reproduction timing of the specific frame image 60 in the entire reproduction time (frame image 38 a) of the moving image 38.
  • the position of the fixed index 87 on the seek bar 85 is determined based on the specific frame information 56 corresponding to the moving image 38. The same display may be performed in the moving image reproduction screen 80 shown in FIG. 8 described above.
  • the reproduction number control unit 45 determines the moving image based on the specific frame information 56 corresponding to the moving image 38. The number of times of reproduction of the moving image 38 is not counted up until the specific frame image 60 is reproduced in each of the frame images 38 a constituting the image 38. Then, as shown by the arrow SP in the figure, when the reproduction of the moving image 38 continues to the specific frame image 60, the number-of-reproductions control unit 45 counts up (+1) the number of reproductions of the moving image 38. That is, if the moving image 38 is reproduced up to the specific frame image 60, the number of reproductions of the moving image 38 is counted up regardless of the timing of the moving image reproduction thereafter.
  • the number-of-reproductions control unit 45 when a plurality of specific frame images 60 are included in one moving image 38, the number-of-reproductions control unit 45, for example, reproduces the last specific frame image 60, that is, all the specific frame images When 60 is reproduced, the number of reproductions of the moving image 38 is counted up.
  • the first specific frame image 60 is reproduced, or when the specific frame image 60 of a fixed ratio or more is reproduced among all the specific frame images 60, the number of times of reproduction of the moving image 38 is counted up. May be Furthermore, when all the specific frame images 60 specified by one of the medical image analysis processing unit 43A and the image specifying unit 43B are reproduced, the number of reproductions of the moving image 38 may be counted up. .
  • FIG. 10 is an explanatory diagram for describing updating of the number-of-reproductions display 77 by the information display control unit 44B.
  • the information display control unit 44B displays the reproductions in the image list display field 72 based on the updated number-of-reproductions information 82.
  • the number display 77 is updated.
  • the information display control unit 44B displays the number-of-reproductions display 77 corresponding to the moving image 38 (thumbnail image 38S) having the number of reproductions of "0" as “number", and the moving image 38 (thumbnails of more than "1"
  • the number-of-reproductions display 77 corresponding to the image 38S is displayed as “number” and "graph”.
  • the number-of-reproductions display 77 may be displayed by at least one of "number” and "graph”.
  • the information display control unit 44B performs frame display 89 in the image list display field 72 so as to surround the thumbnail image 38S for the thumbnail image 38S whose number of times of reproduction is "1" or more.
  • the presence or absence of the frame display 89 indicates the presence or absence of reproduction of the moving image 38 corresponding to the thumbnail image 38S displayed in the image list display field 72.
  • the frame display 89 corresponds to the reproduction presence / absence information of the present invention. Note that the presence or absence of reproduction of the moving image 38 may be determined by other display modes or display methods other than the frame display 89.
  • FIG. 11 is a flowchart showing the flow of reproduction of the moving image 38 and counting of the number of reproductions of the moving image 38 (medical image processing method) in the endoscope system 9.
  • the image acquiring unit 41 acquires the moving image 38 from the processor 12 or the like, and the acquired moving image 38 is stored in the image storage unit 53. Are stored separately for each folder (step S1).
  • the medical image analysis processing unit 43A and the image specifying unit 43B operate.
  • the medical image analysis processing unit 43A analyzes whether or not the attention area 61 is included in each frame image 38a of the moving image 38 by the image analysis processing using the deep learning described above, and a frame image including the attention area 61 38a is determined as the specific frame image 60 (step S2).
  • the frame image 38a including the attention area 61 which has a high necessity of confirmation for accurate diagnosis by the user (doctor) as the specific frame image 60.
  • the image specifying unit 43B confirms whether the still image 39 is stored in the same folder as the newly stored moving image 38. Then, when the still image 39 is stored in the same folder, the image specifying unit 43B determines, based on the header information 39a of the still image 39, the frame image 38a photographed at the photographing timing of the still image 39 as a specific frame image. It is determined as 60 (step S2). Thereby, it is possible to determine the frame image 38 a having a high possibility of including the above-described attention area 61 as the specific frame image 60.
  • the medical image analysis processing unit 43A and the image specifying unit 43B store the specific frame information 56 on the determined specific frame image 60 in the folder corresponding to the new moving image 38 in the image storage unit 53.
  • the user identification unit 42 controls the display control unit 44 to display a login screen on the display device 16.
  • user identification unit 42 collates the entered user ID and password with user information 50 in storage unit 47. By doing this, the user is identified (step S3). Then, the user identification unit 42 outputs the user identification result to the display control unit 44 and the number-of-reproductions control unit 45, respectively.
  • the reproduction control unit 44A selects the reproduction image selection screen 69 based on the program 51 and the image storage unit 53 in the storage unit 47. Are displayed on the display unit 16 (step S5).
  • the information display control unit 44B refers to the reproduction frequency storage unit 54 based on the user identification result by the user identification unit 42, and displays the reproduction frequency display 77 for each moving image 38 corresponding to the user in the image list.
  • the thumbnail images 38S in the display column 72 are displayed in association with each other (step S5). This makes it possible to easily grasp the reproduction situation of each moving image 38 of the user.
  • the reproduction control unit 44A acquires the moving image 38 corresponding to the selection operation from the image storage unit 53 (see FIG. Step S6). Then, the reproduction control unit 44A causes the display device 16 to execute the moving image reproduction on the moving image reproduction screen 80 based on the moving image 38 acquired from the image storage unit 53 (step S7, corresponding to the moving image reproduction control step of the present invention). . Thereby, reproduction of the moving image 38 is started.
  • the reproduction number control unit 45 selects the user identification result input from the user specification unit 42 and the type of moving image 38 whose reproduction is started by the reproduction control unit 44A. Based on the reproduction count storage unit 54, the number of reproductions of the user for the moving image 38 is acquired. Next, when the moving image 38 is reproduced up to the specific frame image 60 based on the specific frame information 56 corresponding to the moving image 38 whose reproduction has been started, the reproduction number control unit 45 counts the number of reproductions of the moving image 38 UP (YES in step S8, step S9 corresponds to the reproduction frequency control step of the present invention).
  • the number-of-reproductions control unit 45 stores the number of reproductions of the moving image 38 after the count-up in the number-of-reproductions information 82 in the number-of-reproductions storage unit 54 corresponding to both the user and the type of moving image 38 (step S10). Thereby, the reproduction number information 82 in the reproduction number storage unit 54 is updated.
  • the number of times of reproduction of the moving image 38 is individually counted for each user, and the number of times of reproduction of the moving image 38 is individually stored for each user. It is possible to accurately grasp the reproduction situation.
  • the information display control unit 44B displays an image list display field based on the updated reproduction number information 82.
  • the number-of-reproductions display 77 in 72 is updated (step S11, corresponding to the display control step of the present invention). As a result, the number of times of reproduction of the latest moving image 38 by the user is displayed on the display device 16.
  • the information display control unit 44B performs the above-described frame display 89 on the thumbnail image 38S corresponding to the moving image 38.
  • the presence or absence of reproduction of each moving image 38 corresponding to each thumbnail image 38S in the image list display field 72 can be easily determined.
  • the number-of-reproductions control unit 45 does not count up the number of reproductions of the moving image 38 (NO in step S8).
  • step S12 Thereafter, when the user reproduces another moving image 38, the above-described processes from step S6 to step S11 are repeatedly executed (step S12).
  • the endoscope system 9 counts up the number of times of reproduction of the moving image 38 when the moving image 38 is reproduced to the specific frame image 60 in each frame image 38a constituting the moving image 38. ing. Therefore, even if the whole movie of the moving image 38 is not reproduced, when the content confirmation of the moving image 38 by the user is substantially completed, the number of reproductions of the moving image 38 can be counted up. As a result, the reproduction situation of each moving image 38 by the user can be accurately grasped.
  • the medical image analysis processing unit 43A of the above embodiment determines whether or not the attention area 61 is included in each frame image 38a by image analysis processing using deep learning, but determination using another method.
  • the frame image 38a is divided into a plurality of rectangular areas, and each divided rectangular area is set as a local area. Then, for each local region of the frame image 38a, feature amounts (for example, hue) of pixels in the local region are calculated. Next, a local region having a specific hue is determined as a region of interest 61 among the local regions.
  • each process described above is repeatedly performed on all frame images 38a.
  • the medical image analysis processing unit 43A can detect the attention area 61 in the frame image 38a based on the feature amount of the pixels in the frame image 38a.
  • the medical image analysis processing unit 43A of the medical image processing apparatus 14 analyzes whether or not the attention area 61 is included for each frame image 38a, the frame image 38a performed by another apparatus is used. You may acquire the image analysis result for every.
  • the medical image analysis processing unit 43A acquires an image analysis result (specific frame information 56 or the like) from a recording device (storage device) that records the image analysis result for each frame image 38a.
  • the medical image analysis processing unit 43A functions as a medical image analysis result acquisition unit that acquires an image analysis result.
  • processor 12 and the medical image processing apparatus 14 are separately provided in the above embodiment, the processor 12 and the medical image processing apparatus 14 may be integrated. That is, the processor 12 may be provided with a function as the medical image processing apparatus 14.
  • the reproduction of the moving image 38 captured by the endoscope 10 has been described, but, for example, an ultrasonic diagnostic apparatus, an X-ray diagnostic imaging system, digital mammography, a CT (Computed Tomography) inspection apparatus, and an MRI (Magnetic)
  • the present invention can also be applied to various medical image processing apparatuses for reproducing moving images 38 photographed by various medical apparatuses for photographing moving images of a region to be observed, such as a Resonance Imaging) inspection apparatus.
  • the present invention also relates to an image diagnostic (analysis) apparatus used for analysis and diagnosis of a moving image 38 which is a medical image, and various moving images for reproducing the moving image 38 such as a medical service support apparatus used for medical report creation. It is applicable to a playback device.
  • the medical image processing apparatus further includes a medical image analysis processing unit, and the medical image analysis processing unit detects a notable area which is a notable area based on the feature amount of pixels of the medical image.
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires an analysis result of the medical image analysis processing unit.
  • the medical image processing apparatus further includes a medical image analysis processing unit, and the medical image analysis processing unit detects the presence or absence of an object to be noticed based on the feature amount of the pixel of the medical image.
  • the image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis result acquisition unit acquires from the recording apparatus that records the analysis result of the medical image, and the analysis result is a notable area included in the medical image A medical image processing apparatus that is a region of interest and / or the presence or absence of an object of interest.
  • the medical image is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band. Certain medical imaging equipment.
  • the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is a band narrower than the white wavelength band.
  • Medical imaging device In the medical image processing apparatus according to appendix B1, the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is a band narrower than the white wavelength band. Medical imaging device.
  • the specific wavelength band includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and light of the specific wavelength band is 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less Medical imaging apparatus having a peak wavelength within the wavelength band of
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and light of the specific wavelength band is 585 nm to 615 nm or 610 nm to 730 nm Medical imaging apparatus having a peak wavelength within the wavelength band of
  • the specific wavelength band includes wavelength bands in which the absorption coefficient is different between oxyhemoglobin and reduced hemoglobin, and light of the specific wavelength band is absorbed by oxyhemoglobin and reduced hemoglobin A medical image processing apparatus having peak wavelengths in wavelength bands having different coefficients.
  • the specific wavelength band includes wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and light of the specific wavelength band is A medical imaging apparatus having a peak wavelength in a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and light of the specific wavelength band is 790 nm to 820 nm or 905 nm to 970 nm.
  • the medical image acquisition unit is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • a medical image processing apparatus comprising: a special light image acquisition unit for acquiring a special light image having information of a specific wavelength band on the basis of, and the medical image is a special light image.
  • a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band, and a specific wavelength band A medical image processing apparatus comprising: a feature amount image generation unit configured to generate a feature amount image by performing an operation based on at least one of the special light image obtained by irradiating the light; and the medical image is a feature amount image.
  • Appendix C1 An endoscope configured to emit an image by irradiating at least one of light in a white wavelength band and light in a specific wavelength band, and the medical image processing apparatus according to any one of the above-mentioned appendices; Endoscope apparatus provided.
  • a diagnosis support apparatus comprising the medical image processing apparatus according to any one of the above-mentioned appendices.
  • Appendix C3 A medical service support device comprising the medical image processing device according to any one of the above-mentioned appendices.
  • endoscope system 10 endoscope 11 light source device 12 processor 13 display device 14 medical image processing device 16 display device 20 insertion portion 21 operation portion 22 universal cord 25 flexible portion 26 bending portion 27 tip portion 28 imaging element 29 bending operation knob Reference Signs List 30 air / water supply button 31 suction button 32 still image photographing instruction unit 33 treatment tool introduction port 35 light guide 36 signal cable 37A connector 37B connector 38 moving image 38S thumbnail image 38a frame image 39 still image 39a header information 41 image acquisition unit 42 user Identification unit 43A Medical image analysis processing unit 43B Image identification unit 44 Display control unit 44A Reproduction control unit 44B Information display control unit 45 Reproduction count control unit 47 Storage unit 50 User information 51 Program 53 Image storage unit 54 Reproduction count storage unit 56 Specific frame Information 60 identification Frame image 61 Attention area 65 Deep learning algorithm 69 Reproduction image selection screen 71 User section 72 Image list display section 72a Display switching button 73 Cursor 75 Movie playback button 77 Playback count display 80 Movie playback screen 80a Close button 82 Playback count information 85 Seek bar 86 Movement index 87 Fixed index 89 Frame display

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)

Abstract

医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる医療画像処理装置及び医療画像処理方法を提供する。 表示装置での医療画像の動画像の再生を制御する動画再生制御部と、動画再生制御部による動画像の再生回数をカウントする再生回数制御部であって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御部と、再生回数制御部によりカウントされた動画像の再生回数を、表示装置に表示させる情報表示制御部と、を備える。

Description

医療画像処理装置及び医療画像処理方法
　本発明は、医療画像の動画像を再生する医療画像処理装置及び医療画像処理方法に関する。
　従来から、医療分野において電子内視鏡（以下、単に内視鏡と略す）を利用した内視鏡検査が行われている。この内視鏡検査では、例えば被検体内の被観察部位に対して照明光を照射し、被観察部位に反射された照明光の反射光を撮像して取得した反射光画像に基づき、被観察部位の観察が行われる。また、この場合、内視鏡により被観察部位の動画撮影が行われ、被観察部位の動画像が得られる。この動画像は、医師のより的確な診断、画像解析（動画解析）による病変等の有無の判定、及び医療レポートの資料等として用いられる。
　内視鏡検査は頻繁に行われ、これに応じて内視鏡検査で得られる動画像の数も多数になるので、医師が各動画像の再生状況を一目で確認できるようにすることが好ましい。例えば、特許文献１及び特許文献２には、各動画の再生回数を履歴として保存することが開示されている。また、特許文献３には、動画の全編を再生した場合に、その動画の再生回数をカウントアップすることが開示されている。
特開２０１０－２８３４７７号公報 特開２０００－３５０１６５号公報 特開２０１６－１１９５９０号公報
　ところで、内視鏡検査で得られる医療画像の動画像において、病変等の注目領域を含むフレーム画像が診断等に特に重要である。このため、医師は、動画像の全編を再生しなくとも、注目領域を含むフレーム画像の確認が済んでいれば、動画の内容を実質的には確認したと言える。従って、上記特許文献３に記載のように、動画の全編再生を条件として再生回数のカウントアップを行う場合、医師が動画の内容を実質的に確認していたとしてもその動画の再生回数には反映されないため、医師による各動画像の再生状況を正確に把握するのは困難であった。
　本発明はこのような事情に鑑みてなされ、医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる医療画像処理装置及び医療画像処理方法を提供することを目的とする。
　本発明の目的を達成するための医療画像処理装置は、表示装置での医療画像の動画像の再生を制御する動画再生制御部と、動画再生制御部による動画像の再生回数をカウントする再生回数制御部であって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御部と、再生回数制御部によりカウントされた動画像の再生回数を、表示装置に表示させる情報表示制御部と、を備える。
　この医療画像処理装置によれば、動画像の全編を再生しなくとも、ユーザによる動画像の内容確認が実質的に完了している場合には、この動画像の再生回数をカウントアップさせることができる。
　本発明の他の態様に係る医療画像処理装置において、フレーム画像ごとに注目すべき領域である注目領域が含まれるか否かを解析して、注目領域を含むフレーム画像を特定フレーム画像として決定する医療画像解析処理部を備える。これにより、ユーザ（医師）による的確な診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
　本発明の他の態様に係る医療画像処理装置において、医療画像解析処理部は、深層学習を用いた画像解析処理によりフレーム画像内に注目領域が含まれるか否かを解析する。これにより、ユーザ（医師）による診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
　本発明の他の態様に係る医療画像処理装置において、動画像は、動画像の撮影と、動画像の撮影中に静止画像の撮影とを行う機能を有する医療装置により取得された、医療装置により静止画像の撮影が実行された場合、動画像の撮影中において静止画像の撮影が実行されたタイミングを示すタイミング情報を記憶するタイミング情報記憶部と、タイミング情報記憶部に記憶されているタイミング情報に基づき、静止画像の撮影が実行されたタイミングで撮影されたフレーム画像を特定フレーム画像として決定する画像特定部と、を備える。これにより、ユーザ（医師）による診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
　本発明の他の態様に係る医療画像処理装置において、再生回数制御部によりカウントされた動画像の再生回数を記憶する再生回数記憶部を備える。動画像の再生回数を記憶しておくことにより、動画像の再生回数の表示及び確認をいつでも行うことができる。
　本発明の他の態様に係る医療画像処理装置において、動画再生制御部における動画像の再生を実行させるユーザを特定するユーザ特定部を備え、再生回数制御部は、動画像の再生回数のカウントをユーザごとに個別に行い、再生回数記憶部は、動画像の再生回数をユーザごとに個別に記憶する。これにより、ユーザごとの動画像の再生状況を正確に把握することができる。
　本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像の再生の有無を示す再生有無情報を表示装置に表示させる。これにより、ユーザによる動画像の再生の有無を容易に判別することができる。
　本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像の再生回数として、動画像の再生回数を示す数字及びグラフの少なくとも一方を表示装置に表示させる。これにより、動画像の再生回数を容易に把握することができる。
　本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像が複数存在する場合、動画像の再生回数を動画像ごとに表示装置に表示させる。これにより、動画像ごとの再生状況を容易に把握することができる。
　本発明の目的を達成するための医療画像処理方法は、表示装置での医療画像の動画像の再生を制御する動画再生制御ステップと、動画再生制御ステップで再生される動画像の再生回数をカウントする再生回数制御ステップであって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御ステップと、再生回数制御ステップでカウントされた動画像の再生回数を、表示装置に表示させる表示制御ステップと、を有する。
　本発明の医療画像処理装置及び医療画像処理方法は、医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる。
内視鏡システムの全体構成を示す概略図である。 医療画像処理装置の機能を示す機能ブロック図である。 画像記憶部の概略図である。 特定フレーム画像の一例を説明するための説明図である。 再生画像選択画面の一例を示した説明図である。 再生制御部による動画像の再生制御を説明するための説明図である。 記憶部内の再生回数記憶部の概略図である。 医療画像解析処理部により特定フレーム画像の特定が行われた場合の再生回数制御部による動画像の再生回数のカウントアップを説明するための説明図である。 画像特定部により特定フレーム画像の特定が行われた場合の再生回数制御部による動画像の再生回数のカウントアップを説明するための説明図である。 情報表示制御部による再生回数表示の更新について説明するための説明図である。 内視鏡システムにおける動画像の再生及び動画像の再生回数のカウントの流れを示すフローチャートである。
　［内視鏡システムの全体構成］
　図１は、内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡１０と、光源装置１１と、プロセッサ１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示装置１６と、を備える。
　内視鏡１０は、本発明の医療装置に相当し、例えば軟性内視鏡である。この内視鏡１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う操作部２１と、操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮影光学系及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の撮影光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、操作部２１には、被観察部位の静止画像３９の撮影指示を行うための静止画像撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７Ａと、このコネクタ３７Ａから分岐され且つプロセッサ１２に接続されるコネクタ３７Ｂと、が設けられている。
　コネクタ３７Ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７Ｂをプロセッサ１２に接続することで、信号ケーブル３６とプロセッサ１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ１２へ被観察部位の撮像信号が出力されると共に、プロセッサ１２から内視鏡１０へ制御信号が出力される。
　なお、本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、例えば硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。
　光源装置１１は、コネクタ３７Ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　プロセッサ１２は、コネクタ３７Ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ１２は、コネクタ３７Ｂ及び信号ケーブル３６を介して内視鏡１０の撮像素子２８から取得した撮像信号に基づき、被観察部位の動画像３８を生成する。さらに、プロセッサ１２は、内視鏡１０の操作部２１にて静止画像撮影指示部３２が操作された場合、動画像３８の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。この静止画像３９は、動画像３８よりも高解像度に生成されていてもよい。
　動画像３８及び静止画像３９は、被検体内、すなわち生体内を撮影した生体内画像である。さらに動画像３８及び静止画像３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、プロセッサ１２は、生成した動画像３８及び静止画像３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
　なお、プロセッサ１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、プロセッサ１２は、特殊光画像取得部として機能する。そして、プロセッサ１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red、Green、Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
　また、プロセッサ１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、プロセッサ１２は、特徴量画像生成部として機能する。
　表示装置１３は、プロセッサ１２に接続されており、このプロセッサ１２から入力された動画像３８及び静止画像３９を表示する。ユーザ（医師）は、表示装置１３に表示される動画像３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画像撮影指示部３２を操作して被観察部位の静止画撮影を実行する。
　医療画像処理装置１４は、本実施形態では例えばパーソナルコンピュータが用いられる。また、操作部１５はパーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示装置１６はパーソナルコンピュータに接続可能な各種モニタが用いられる。
　また、医療画像処理装置１４として、ワークステーション（サーバ）等の診断支援装置を用いてよく、この場合、操作部１５及び表示装置１６はそれぞれワークステーションに接続した複数の端末ごとに設けられる。さらに、医療画像処理装置１４として、例えば医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
　医療画像処理装置１４は、動画像３８及び静止画像３９の取得及び記憶と、動画像３８及び静止画像３９の再生制御と、動画像３８の再生回数のカウントと、そのカウント結果の表示と、を行う。操作部１５は、医療画像処理装置１４に対する操作指示の入力に用いられる。表示装置１６は、医療画像処理装置１４の制御の下、動画像３８及び静止画像３９の表示を行ったり、動画像３８の再生回数等の表示を行ったりする。
　［医療画像処理装置の機能］
　図２は、医療画像処理装置１４の機能を示す機能ブロック図である。図２に示すように、動画像３８の再生制御と、動画像３８の再生回数のカウントと、この再生回数のカウント結果の表示と、を含む医療画像処理装置１４の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　医療画像処理装置１４のプロセッサ（不図示）は、プログラム５１に基づき、画像取得部４１、ユーザ特定部４２、医療画像解析処理部４３Ａ、画像特定部４３Ｂ、表示制御部４４、及び再生回数制御部４５として機能する。また、医療画像処理装置１４には、医療画像処理装置１４の各種制御に係る情報を記憶する記憶部４７が設けられている。
　記憶部４７には、ユーザ情報５０及びプログラム５１が格納され、且つ画像記憶部５３及び再生回数記憶部５４が設けられている。ユーザ情報５０は、医療画像処理装置１４を使用する医師等のユーザに固有のユーザＩＤ（identification）と、ユーザＩＤごとに定められたパスワードとを対応付けた情報である。プログラム５１は、既述の動画像３８の再生制御、動画像３８の再生回数のカウント、及びそのカウント結果の表示等を医療画像処理装置１４に実行させるためのアプリケーションプログラムである。
　画像記憶部５３は、詳しくは後述するが、医療画像処理装置１４が取得した動画像３８及び静止画像３９を記憶する。また、再生回数記憶部５４は、詳しくは後述するが、動画像３８の再生回数をユーザごとに記憶する。
　なお、本実施形態では、記憶部４７が医療画像処理装置１４内に設けられているが、記憶部４７はインターネット上のサーバ或いはデータベース内に設けられていてもよい。このため、本発明の医療画像処理装置には、複数の装置で構成される医療画像処理システムも含まれる。
　画像取得部４１は、プロセッサ１２に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、プロセッサ１２から動画像３８を取得する。また、内視鏡１０にて動画像３８の撮影途中に既述の静止画像３９の撮影が行われた場合、画像取得部４１は、プロセッサ１２から動画像３８及び静止画像３９を取得する。そして、画像取得部４１は、取得した動画像３８及び静止画像３９を記憶部４７内の画像記憶部５３に記憶させる。図中の符号３８ａは、動画像３８を構成する複数のフレーム画像である。
　なお、画像取得部４１は、プロセッサ１２から動画像３８及び静止画像３９を直接取得する代わりに、メモリーカード等の各種情報記憶媒体を介して動画像３８及び静止画像３９を取得してもよい。また、画像取得部４１は、インターネット上のサーバ或いはデータベース等にアップロードされた動画像３８及び静止画像３９をインターネット経由で取得してもよい。
　また、画像取得部４１は、動画像３８及び静止画像３９として、既述の特定の波長帯域の情報を有する特殊光画像を取得する場合には、特殊光画像取得部として機能する。
　さらにまた、画像取得部４１は、プロセッサ１２等から入力される動画像３８の全てを画像記憶部５３に記憶させる必要はなく、例えば、静止画像撮影指示部３２の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の一分間（撮影前一分間から撮影後一分間）の動画像３８を画像記憶部５３に記憶させてもよい。
　図３は、画像記憶部５３の概略図である。図３に示すように、画像取得部４１は、プロセッサ１２等から取得した動画像３８を、画像記憶部５３内のフォルダごと（フォルダＡ、フォルダＢ、フォルダＣ、…）に個別に記憶させる。また、内視鏡１０にて動画像３８の撮影途中に既述の静止画像３９の撮影が行われた場合、画像取得部４１は、プロセッサ１２から動画像３８と共に取得した静止画像３９を、この動画像３８と同じフォルダ内に記憶させる。
　動画像３８は、図中では１ファイルで示されているが、動画像３８の撮影時間が長い場合には複数ファイルに分割されていてもよい。
　静止画像３９のヘッダ情報３９ａには、プロセッサ１２により、動画像３８の撮影中に静止画像３９の撮影が行われた撮影タイミングを示す時間情報が記録されている。このため、ヘッダ情報３９ａを参照することで、前述の撮影タイミングを判別することができる。従って、ヘッダ情報３９ａは本発明のタイミング情報に相当し、且つ画像記憶部５３は本発明のタイミング情報記憶部として機能する。
　なお、本実施形態では静止画像３９のヘッダ情報３９ａを本発明のタイミング情報として用いているが、前述の撮影タイミングを判別可能であればヘッダ情報３９ａに特に限定されず、例えば動画像３８のヘッダに記憶したり、或いは動画像３８及び静止画像３９とは別に記憶したりしてもよい。
　画像記憶部５３内の各フォルダには、後述の医療画像解析処理部４３Ａ及び画像特定部４３Ｂの解析結果である特定フレーム情報５６が記憶されている。この特定フレーム情報５６は、詳しくは後述するが、同じフォルダ内に記憶されている動画像３８を構成する複数のフレーム画像３８ａの中に含まれている特定フレーム画像６０（図４参照）を示す情報である。
　図２に戻って、ユーザ特定部４２は、ユーザによる医療画像処理装置１４の利用開始時にこのユーザの特定を行う。例えばユーザ特定部４２は、後述の表示制御部４４を制御して表示装置１６にログイン画面を表示させ、ユーザに対してユーザＩＤ及びパスワードの入力を促す。次いで、ユーザ特定部４２は、ログイン画面上でユーザＩＤ及びパスワードが入力された場合、入力されたユーザＩＤ及びパスワードと、既述の記憶部４７内のユーザ情報５０とを照合することにより、医療画像処理装置１４を利用しているユーザを特定する。そして、ユーザ特定部４２は、ユーザの特定結果を表示制御部４４及び再生回数制御部４５へそれぞれ出力する。
　なお、ユーザＩＤ及びパスワード基づきユーザの特定を行う代わりに、ユーザが保有しているＩＤカードを利用したり、或いは公知の生体認証技術を用いたりしてもよい。
　医療画像解析処理部４３Ａ及び画像特定部４３Ｂは、動画像３８を構成する複数のフレーム画像３８ａの中から、予め定めた特定フレーム画像６０（図４参照）を特定する。この特定フレーム画像６０は、ユーザ（医師）による的確な診断を行うために確認の必要性が高い画像である。
　医療画像解析処理部４３Ａは、フレーム画像３８ａごとに注目すべき領域である注目領域６１（図４参照）が含まれるか否かを解析し、この注目領域６１が含まれるフレーム画像３８ａを特定フレーム画像６０（図４参照）として決定する。
　図４は、特定フレーム画像６０の一例を説明するための説明図である。図４に示すように、注目領域６１は、例えば被観察部位内で発生している病変領域である。また、注目領域６１には、病変領域以外に、過去に処置具等での処置又は検査によって被観察部位の体壁に残された痕（治療痕及び検査痕）も含まれる。さらに、注目領域６１としては、処置具等で処置又は検査が行われている領域、すなわち処置具等の注目すべき対象が映っている領域も含まれる。
　図２に戻って、本実施形態の医療画像解析処理部４３Ａは、新たな動画像３８が画像記憶部５３に記憶されるごとに、深層学習アルゴリズム６５に基づき、深層学習（ディープラーニング）を用いた画像解析処理を行うことにより、フレーム画像３８ａごとに注目領域６１が含まれるか否かを解析する。深層学習アルゴリズム６５は、公知のコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、フレーム画像３８ａに注目領域６１が含まれている否かを認識するアルゴリズムである。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。
　医療画像解析処理部４３Ａは、注目領域６１を含むフレーム画像３８ａを特定フレーム画像６０として決定し、この特定フレーム画像６０を動画像３８内で識別可能な情報（フレーム番号等）を、既述の特定フレーム情報５６として、動画像３８と同じフォルダ内に記憶させる。
　画像特定部４３Ｂは、内視鏡１０において動画像３８の撮影途中で静止画像３９の撮影が行われた場合、この静止画像３９の撮影が実行された撮影タイミングで撮影された動画像３８のフレーム画像３８ａを、特定フレーム画像６０として決定する。ここで、静止画像３９の撮影は、被観察部位に病変領域が発生している場合、被観察部位に治療痕又は検査痕が存在している場合、及び被観察部位に対して処置具等で処置又は検査を行っている場合等に良く行われる。このため、既述の撮影タイミングで撮影された動画像３８のフレーム画像３８ａには、既述の注目領域６１が含まれている可能性が高い。
　画像特定部４３Ｂは、画像記憶部５３に新たな動画像３８が記憶されるごとに、この動画像３８と同じフォルダ内に静止画像３９が記憶されているか否かを確認する。次いで、画像特定部４３Ｂは、動画像３８と同じフォルダ内に静止画像３９が記憶されている場合、静止画像３９のヘッダ情報３９ａに基づき、動画像３８の各フレーム画像３８ａの中で、既述の撮影タイミングで撮影されたフレーム画像３８ａを、特定フレーム画像６０として決定する。そして、画像特定部４３Ｂは、既述の医療画像解析処理部４３Ａと同様に、特定フレーム画像６０を動画像３８内で識別可能な情報を、既述の特定フレーム情報５６として、動画像３８と同じフォルダ内に記憶させる。
　このように、本実施形態の特定フレーム情報５６には、医療画像解析処理部４３Ａにより特定された特定フレーム画像６０を示す情報と、画像特定部４３Ｂにより特定された特定フレーム画像６０を示す情報との双方が含まれる。
　なお、本実施形態の医療画像処理装置１４は、医療画像解析処理部４３Ａ及び画像特定部４３Ｂの双方を備えているが、いずれか一方だけを備えるようにしてもよい。
　表示制御部４４は、表示装置１６による画像表示を制御する。この表示制御部４４は、再生制御部４４Ａ及び情報表示制御部４４Ｂとして機能する。
　再生制御部４４Ａは、本発明の動画再生制御部に相当し、画像記憶部５３内のフォルダごとに記憶された動画像３８（静止画像３９も可）を表示装置１６で再生させる再生制御を行う。再生制御部４４Ａは、操作部１５において再生画像選択画面表示操作がなされると、記憶部４７内のプログラム５１及び画像記憶部５３等に基づき、再生画像選択画面６９（図５参照）を表示装置１６に表示させる。
　図５は、再生画像選択画面６９の一例を示した説明図である。なお、図５では、ユーザ（ユーザ１）による動画再生は１回も行われていないとして説明を行う。図５に示すように、再生画像選択画面６９には、ユーザ欄７１と画像一覧表示欄７２とが設けられている。また、再生画像選択画面６９には、操作部１５の操作に応じて画面内を移動するカーソル７３が表示される。
　ユーザ欄７１には、医療画像処理装置１４を利用しているユーザのユーザ名（ユーザＩＤでも可）が表示される。再生制御部４４Ａは、既述のユーザ特定部４２から入力されるユーザ特定結果に基づき、ユーザ欄７１内にユーザ名を表示させる。
　画像一覧表示欄７２には、画像記憶部５３内のフォルダごとに記憶された動画像３８のサムネイル画像３８Ｓと、動画再生ボタン７５と、後述の再生回数表示７７とが表示される。再生制御部４４Ａは、再生画像選択画面６９の表示を行う場合、画像記憶部５３内の各動画像３８のサムネイル画像３８Ｓを生成する。例えば再生制御部４４Ａは、動画像３８と同じフォルダ内に静止画像３９が記憶されている場合、この静止画像３９に基づきサムネイル画像３８Ｓを生成し、逆に静止画像３９が記憶されていない場合、動画像３８の任意のフレーム画像３８ａに基づき、サムネイル画像３８Ｓを生成する。
　次いで、再生制御部４４Ａは、画像一覧表示欄７２内に各動画像３８のサムネイル画像３８Ｓを表示させる。なお、画像一覧表示欄７２内に全ての動画像３８のサムネイル画像３８Ｓを表示できない場合、再生制御部４４Ａは、操作部１５を介してカーソル７３により画像一覧表示欄７２の表示切替ボタン７２ａを選択する選択操作がなされるごとに、画像一覧表示欄７２内に表示するサムネイル画像３８Ｓを切り替える。
　また、再生制御部４４Ａは、画像一覧表示欄７２内において、サムネイル画像３８Ｓごとに、各々に対応する動画像３８のフォルダ名（動画像３８のファイル名でも可）と、動画再生ボタン７５と、を表示させる。
　情報表示制御部４４Ｂは、記憶部４７内の後述の再生回数記憶部５４を参照して、ユーザによる各動画像３８の再生回数を示す再生回数表示７７を、画像一覧表示欄７２内のサムネイル画像３８Ｓごとに表示させる。これにより、画像一覧表示欄７２内にサムネイル画像３８Ｓが複数存在する場合、サムネイル画像３８Ｓごとに、各々に対応する動画像３８の再生回数表示７７を対応付けて表示させることができる。
　図６は、再生制御部４４Ａによる動画像３８の再生制御を説明するための説明図である。図６に示すように、操作部１５を介してカーソル７３により画像一覧表示欄７２内の任意の動画再生ボタン７５を選択する選択操作がなされると、再生制御部４４Ａは、この選択操作に対応する動画像３８を画像記憶部５３から取得し、この動画像３８に基づく動画再生を表示装置１６に実行させる。これにより、本実施形態では、再生画像選択画面６９とは別ウィンドウで動画再生画面８０が表示装置１６に表示され、この動画再生画面８０内で動画像３８の再生が開始される。なお、静止画像３９の撮影を行っている場合、この静止画像３９の撮影一分前から撮影一分後までの動画像３８を再生してもよい。
　ここで、動画像３８の再生態様は特に限定されず、例えば表示装置１６において動画再生画面８０の全画面表示等を行ってもよい。
　再生制御部４４Ａは、操作部１５を介してカーソル７３により動画再生画面８０内のクローズボタン８０ａを選択する閉じ操作がなされると、動画再生画面８０を閉じる。これにより、動画像３８の再生途中或いは全編再生後等の任意のタイミングで動画像３８の再生を終了させることができる。
　図７は、記憶部４７内の再生回数記憶部５４の概略図である。図７に示すように、再生回数記憶部５４は、後述の再生回数制御部４５による動画像３８の再生回数のカウントと、この再生回数のカウント結果の記憶とに用いられる。再生回数記憶部５４は、画像記憶部５３内の各フォルダの動画像３８の各々の再生回数を示す再生回数情報８２を、ユーザ（ユーザ１、ユーザ２、ユーザ３、…）ごとに個別に記憶している。これにより、再生回数記憶部５４を参照することで、ユーザごとの各動画像３８の再生回数を判別することができる。そして、各再生回数情報８２は、後述の再生回数制御部４５により更新される。
　図２に戻って、再生回数制御部４５は、再生制御部４４Ａによる動画像３８の再生が開始された場合に作動し、各動画像３８の再生回数をユーザごとに個別にカウントする。
　最初に、再生回数制御部４５は、既述のユーザ特定部４２から入力されるユーザ特定結果と、再生制御部４４Ａにより再生が開始された動画像３８の種類（フォルダ名）とに基づき、再生回数記憶部５４を参照して、この動画像３８に対するユーザの再生回数を取得する。次いで、再生回数制御部４５は、再生が開始された動画像３８に対応する画像記憶部５３内の特定フレーム情報５６に基づき、この動画像３８を構成する複数のフレーム画像３８ａの中で特定フレーム画像６０まで動画像３８が再生された場合、この動画像３８の再生回数をカウントアップする。
　図８は、医療画像解析処理部４３Ａにより特定フレーム画像６０の特定が行われた場合の再生回数制御部４５による動画像３８の再生回数のカウントアップを説明するための説明図である。なお、図中左側から右側に向かって動画像３８の再生時間が経過していくものとする。
　図９は、画像特定部４３Ｂにより特定フレーム画像６０の特定が行われた場合の再生回数制御部４５による動画像３８の再生回数のカウントアップを説明するための説明図である。この場合、既述の再生制御部４４Ａは、動画再生画面８０内にシークバー８５及び移動指標８６と、固定指標８７とを表示することが好ましい。
　シークバー８５及び移動指標８６は、動画像３８の全体の再生時間（各フレーム画像３８ａ）のうち今どの部分が再生されているのかを示す。固定指標８７は、動画像３８の全体の再生時間（フレーム画像３８ａ）のうち特定フレーム画像６０の再生タイミングを示す指標である。この固定指標８７は、動画像３８に対応する特定フレーム情報５６に基づき、シークバー８５上での位置が決定される。なお、既述の図８に示した動画再生画面８０内にも同様の表示を行ってもよい。
　図８及び図９に示すように、再生回数制御部４５は、再生制御部４４Ａによる動画像３８の再生が開始された場合、この動画像３８に対応する特定フレーム情報５６に基づき、この動画像３８を構成する各フレーム画像３８ａの中で特定フレーム画像６０が再生されるまでは、この動画像３８の再生回数をカウントアップしない。そして、再生回数制御部４５は、図中の矢印ＳＰに示すように、特定フレーム画像６０まで動画像３８の再生が継続すると、この動画像３８の再生回数をカウントアップ（＋１）する。すなわち、特定フレーム画像６０まで動画像３８が再生されていれば、それ以降のどのタイミングで動画再生が終了しても動画像３８の再生回数はカウントアップされる。
　ここで、１つの動画像３８の中に複数の特定フレーム画像６０が含まれている場合、再生回数制御部４５は、例えば最後の特定フレーム画像６０が再生された場合、すなわち全ての特定フレーム画像６０が再生された場合に、動画像３８の再生回数をカウントアップする。なお、最初の特定フレーム画像６０が再生された場合、或いは全ての特定フレーム画像６０の中で一定割合以上の特定フレーム画像６０が再生された場合等に、動画像３８の再生回数をカウントアップしてもよい。さらに、医療画像解析処理部４３Ａ及び画像特定部４３Ｂのうちの予め定めた一方により特定された全ての特定フレーム画像６０が再生された場合に、動画像３８の再生回数をカウントアップしてもよい。
　再生回数制御部４５は、動画像３８の再生が終了し、且つこの動画像３８の再生回数をカウントアップした場合、このカウントアップ後の再生回数を、ユーザと動画像３８の種類との双方に対応した再生回数記憶部５４内の再生回数情報８２に記憶させる。これにより、再生回数記憶部５４内において、再生回数情報８２がユーザごと且つ動画像３８の種類ごとに個別に記憶及び更新される。
　図１０は、情報表示制御部４４Ｂによる再生回数表示７７の更新について説明するための説明図である。図１０に示すように、再生回数制御部４５により再生回数情報８２の更新がなされると、この更新後の再生回数情報８２に基づき、情報表示制御部４４Ｂは、画像一覧表示欄７２内の再生回数表示７７を更新する。
　情報表示制御部４４Ｂは、再生回数が「０」の動画像３８（サムネイル画像３８Ｓ）に対応する再生回数表示７７は「数字」で表示し、再生回数が「１」以上の動画像３８（サムネイル画像３８Ｓ）に対応する再生回数表示７７は「数字」及び「グラフ」の双方で表示する。なお、動画像３８の再生回数に関わらず、再生回数表示７７を「数字」及び「グラフ」の少なくとも一方で表示してもよい。
　また、情報表示制御部４４Ｂは、画像一覧表示欄７２内において、再生回数が「１」以上のサムネイル画像３８Ｓについては、サムネイル画像３８Ｓを囲むように枠表示８９を行う。この枠表示８９の有無は、画像一覧表示欄７２内に表示されるサムネイル画像３８Ｓに対応する動画像３８の再生の有無を示す。このため、枠表示８９は、本発明の再生有無情報に相当する。なお、枠表示８９以外の他の表示態様又は表示方法により、動画像３８の再生の有無を判別可能にしてもよい。
　［内視鏡システムの作用］
　図１１は、内視鏡システム９における動画像３８の再生及び動画像３８の再生回数のカウント（医療画像処理方法）の流れを示すフローチャートである。図１１に示すように、医療画像処理装置１４による動画像３８の再生に先立って、画像取得部４１は、プロセッサ１２等から動画像３８を取得し、取得した動画像３８を画像記憶部５３内のフォルダごとに個別に記憶させる（ステップＳ１）。
　そして、画像取得部４１により新たな動画像３８が画像記憶部５３に記憶されるごとに、医療画像解析処理部４３Ａ及び画像特定部４３Ｂが作動する。医療画像解析処理部４３Ａは、既述の深層学習を用いた画像解析処理により、動画像３８のフレーム画像３８ａごとに注目領域６１が含まれるか否かを解析し、注目領域６１を含むフレーム画像３８ａを特定フレーム画像６０として決定する（ステップＳ２）。これにより、ユーザ（医師）による的確な診断のために確認の必要性が高い注目領域６１を含むフレーム画像３８ａを特定フレーム画像６０として決定することができる。
　一方、画像特定部４３Ｂは、新たに記憶された動画像３８と同じフォルダ内に静止画像３９が記憶されているか否かを確認する。そして、画像特定部４３Ｂは、同じフォルダ内に静止画像３９が記憶されている場合、この静止画像３９のヘッダ情報３９ａに基づき、静止画像３９の撮影タイミングで撮影されたフレーム画像３８ａを特定フレーム画像６０として決定する（ステップＳ２）。これにより、上述の注目領域６１が含まれている可能性が高いフレーム画像３８ａを特定フレーム画像６０として決定することができる。
　そして、医療画像解析処理部４３Ａ及び画像特定部４３Ｂは、決定した特定フレーム画像６０に関する特定フレーム情報５６を、画像記憶部５３内の新たな動画像３８に対応するフォルダ内に記憶させる。
　ユーザが、操作部１５により医療画像処理装置１４の利用開始操作（ログイン操作）を行うと、ユーザ特定部４２は、表示制御部４４を制御して表示装置１６にログイン画面を表示させる。この表示を受けてユーザが操作部１５にてユーザＩＤ及びパスワードを入力するログイン操作を行うと、ユーザ特定部４２は、入力されたユーザＩＤ及びパスワードと記憶部４７内のユーザ情報５０とを照合することで、ユーザの特定を行う（ステップＳ３）。そして、ユーザ特定部４２は、ユーザ特定結果を表示制御部４４及び再生回数制御部４５へそれぞれ出力する。
　次いで、ユーザが操作部１５を介して再生画像選択画面表示操作を行うと（ステップＳ４）、再生制御部４４Ａは、記憶部４７内のプログラム５１及び画像記憶部５３に基づき、再生画像選択画面６９を表示装置１６に表示させる（ステップＳ５）。この際に、情報表示制御部４４Ｂは、ユーザ特定部４２によるユーザ特定結果に基づき、再生回数記憶部５４を参照して、このユーザに対応する動画像３８ごとの再生回数表示７７を、画像一覧表示欄７２内の各サムネイル画像３８Ｓにそれぞれ対応付けて表示させる（ステップＳ５）。これにより、ユーザの動画像３８ごとの再生状況を容易に把握することができる。
　ユーザが操作部１５を介してカーソル７３により任意の動画再生ボタン７５を選択する選択操作を行うと、再生制御部４４Ａは、この選択操作に対応する動画像３８を画像記憶部５３から取得する（ステップＳ６）。そして、再生制御部４４Ａは、画像記憶部５３から取得した動画像３８に基づき、動画再生画面８０での動画再生を表示装置１６に実行させる（ステップＳ７、本発明の動画再生制御ステップに相当）。これにより、動画像３８の再生が開始される。
　再生制御部４４Ａによる動画再生が開始されると、再生回数制御部４５は、ユーザ特定部４２から入力されるユーザ特定結果と、再生制御部４４Ａにより再生が開始された動画像３８の種類とに基づき、再生回数記憶部５４を参照して、この動画像３８に対するユーザの再生回数を取得する。次いで、再生回数制御部４５は、再生が開始された動画像３８に対応する特定フレーム情報５６に基づき、特定フレーム画像６０まで動画像３８が再生された場合、この動画像３８の再生回数をカウントアップする（ステップＳ８でＹＥＳ、ステップＳ９、本発明の再生回数制御ステップに相当）。
　そして、再生回数制御部４５は、カウントアップ後の動画像３８の再生回数を、ユーザと動画像３８の種類との双方に対応した再生回数記憶部５４内の再生回数情報８２に記憶させる（ステップＳ１０）。これにより、再生回数記憶部５４内の再生回数情報８２が更新される。このように本実施形態では、ユーザごとに動画像３８の再生回数を個別にカウントし、且つ動画像３８の再生回数をユーザごとに個別に記憶するようにしたので、ユーザごとの動画像３８の再生状況を正確に把握することができる。
　動画再生画面８０での動画再生の終了後、情報表示制御部４４Ｂは、再生回数制御部４５により再生回数情報８２が更新された場合、この更新後の再生回数情報８２に基づき、画像一覧表示欄７２内の再生回数表示７７を更新する（ステップＳ１１、本発明の表示制御ステップに相当）。これにより、ユーザによる最新の動画像３８の再生回数が表示装置１６に表示される。
　また、情報表示制御部４４Ｂは、動画像３８の再生回数が０から１にカウントアップされた場合、この動画像３８に対応するサムネイル画像３８Ｓに対して既述の枠表示８９を行う。これにより、画像一覧表示欄７２内の各サムネイル画像３８Ｓにそれぞれ対応する各動画像３８の再生の有無を容易に判別することができる。
　一方、再生回数制御部４５は、特定フレーム画像６０まで動画像３８が再生されなかった場合、動画像３８の再生回数のカウントアップは行わない（ステップＳ８でＮＯ）。
　以下、ユーザが他の動画像３８の再生を行う場合、上述のステップＳ６からステップＳ１１までの処理が繰り返し実行される（ステップＳ１２）。
　［本実施形態の効果］
　本実施形態の内視鏡システム９は、動画像３８を構成する各フレーム画像３８ａの中で特定フレーム画像６０まで動画像３８が再生された場合に、この動画像３８の再生回数をカウントアップしている。このため、動画像３８の全編を再生しなくとも、ユーザによる動画像３８の内容確認が実質的に完了している場合に、この動画像３８の再生回数をカウントアップさせることができる。その結果、ユーザによる各動画像３８の再生状況を正確に把握することができる。
　［その他］
　上記実施形態の医療画像解析処理部４３Ａは、深層学習を用いた画像解析処理により、フレーム画像３８ａごとに注目領域６１が含まれるか否かを判定しているが、他の方法を用いて判定を行ってもよい。例えばフレーム画像３８ａを複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。そして、フレーム画像３８ａの局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出する。次いで、各局所領域の中から特定の色相を有する局所領域を注目領域６１として決定する。以下、全てのフレーム画像３８ａに対して上述の各処理を繰り返し実行する。
　このように医療画像解析処理部４３Ａは、フレーム画像３８ａ内の画素の特徴量に基づいてフレーム画像３８ａ内の注目領域６１を検出することができる。
　上記実施形態では、医療画像処理装置１４の医療画像解析処理部４３Ａによりフレーム画像３８ａごとに注目領域６１が含まれているか否かを解析しているが、他の装置で行われたフレーム画像３８ａごとの画像解析結果を取得してもよい。例えば、医療画像解析処理部４３Ａは、フレーム画像３８ａごとの画像解析結果を記録した記録装置（記憶装置）から画像解析結果（特定フレーム情報５６等）を取得する。この場合、医療画像解析処理部４３Ａは、画像解析結果を取得する医療画像解析結果取得部として機能する。
　上記実施形態では、プロセッサ１２と医療画像処理装置１４とが別体に設けられているが、プロセッサ１２と医療画像処理装置１４とが一体化されていてもよい。すなわち、プロセッサ１２に、医療画像処理装置１４としての機能を設けてもよい。
　上記実施形態では、内視鏡１０により撮影された動画像３８の再生について説明したが、例えば超音波診断装置、Ｘ線画像診断システム、デジタルマンモグラフィ、ＣＴ（Computed Tomography）検査装置、及びＭＲＩ（Magnetic Resonance Imaging）検査装置等の被観察部位の動画撮影を行う各種の医療装置により撮影された動画像３８の再生を行う各種医療画像処理装置にも本発明を適用できる。また、本発明は、医療画像である動画像３８の解析及び診断に用いられる画像診断（解析）装置、及び医療レポート作成等に用いられる診療業務支援装置等の動画像３８の再生を行う各種動画再生装置に適用可能である。
　［付記］
　本明細書では以下に示す発明を含む多様な技術思想の開示を含んでいる。
　［付記Ａ１］
　本発明に係る医療画像処理装置において、さらに、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　［付記Ａ２］
　本発明に係る医療画像処理装置において、さらに、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　［付記Ａ３］
　付記Ａ１又は付記Ａ２に係る医療画像処理装置において、医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　［付記Ｂ１］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　［付記Ｂ２］
　付記Ｂ１に係る医療画像処理装置において、医療画像は、特定の波長帯域の光を照射して得た画像であることを特徴とし、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　［付記Ｂ３］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　［付記Ｂ４］
　付記Ｂ３に係る医療画像処理装置において、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　［付記Ｂ５］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　［付記Ｂ６］
　付記Ｂ５に係る医療画像処理装置において、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　［付記Ｂ７］
　付記Ｂ２に係る医療画像処理装置において、特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ８］
　付記Ｂ７に係る医療画像処理装置において、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ９］
　付記Ｂ２に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　［付記Ｂ１０］
　付記Ｂ９に係る医療画像処理装置において、蛍光は、ピークが３９０ｎｍから４７０ｎｍである励起光を生体内に照射して得る医療画像処理装置。
　［付記Ｂ１１］
　付記Ｂ２に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　［付記Ｂ１２］
　付記Ｂ１１に係る医療画像処理装置において、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　［付記Ｂ１３］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
　［付記Ｂ１４］
　付記Ｂ１３に係る医療画像処理装置において、特定の波長帯域の信号は、通常光画像に含まれる赤、緑、及び青あるいはシアン、マゼンタ、及びイエローの色情報に基づく演算により得る医療画像処理装置。
　［付記Ｂ１５］
　付記Ａ１から付記Ａ３のいずれか１つに記載の医療画像処理装置において、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
　［付記Ｃ１］
　上記各付記のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
　［付記Ｃ２］
　上記各付記のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　［付記Ｃ３］
　上記各付記のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
９　内視鏡システム
１０　内視鏡
１１　光源装置
１２　プロセッサ
１３　表示装置
１４　医療画像処理装置
１６　表示装置
２０　挿入部
２１　操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画像撮影指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７Ａ　コネクタ
３７Ｂ　コネクタ
３８　動画像
３８Ｓ　サムネイル画像
３８ａ　フレーム画像
３９　静止画像
３９ａ　ヘッダ情報
４１　画像取得部
４２　ユーザ特定部
４３Ａ　医療画像解析処理部
４３Ｂ　画像特定部
４４　表示制御部
４４Ａ　再生制御部
４４Ｂ　情報表示制御部
４５　再生回数制御部
４７　記憶部
５０　ユーザ情報
５１　プログラム
５３　画像記憶部
５４　再生回数記憶部
５６　特定フレーム情報
６０　特定フレーム画像
６１　注目領域
６５　深層学習アルゴリズム
６９　再生画像選択画面
７１　ユーザ欄
７２　画像一覧表示欄
７２ａ　表示切替ボタン
７３　カーソル
７５　動画再生ボタン
７７　再生回数表示
８０　動画再生画面
８０ａ　クローズボタン
８２　再生回数情報
８５　シークバー
８６　移動指標
８７　固定指標
８９　枠表示
Ｓ１～Ｓ１２　ステップ（医療画像処理方法）
ＳＰ　矢印

Claims (10)

  1. 　表示装置での医療画像の動画像の再生を制御する動画再生制御部と、
    　前記動画再生制御部による前記動画像の再生回数をカウントする再生回数制御部であって、且つ前記動画像を構成する複数のフレーム画像の中で特定フレーム画像まで前記動画像が再生された場合、前記動画像の再生回数をカウントアップする再生回数制御部と、
    　前記再生回数制御部によりカウントされた前記動画像の再生回数を、前記表示装置に表示させる情報表示制御部と、
    　を備える医療画像処理装置。
  2. 　前記フレーム画像ごとに注目すべき領域である注目領域が含まれるか否かを解析して、前記注目領域を含む前記フレーム画像を前記特定フレーム画像として決定する医療画像解析処理部を備える請求項１に記載の医療画像処理装置。
  3. 　前記医療画像解析処理部は、深層学習を用いた画像解析処理により前記フレーム画像内に前記注目領域が含まれるか否かを解析する請求項２に記載の医療画像処理装置。
  4. 　前記動画像は、前記動画像の撮影と、前記動画像の撮影中に静止画像の撮影とを行う機能を有する医療装置により取得され、
    　前記医療装置により前記静止画像の撮影が実行された場合、前記動画像の撮影中において前記静止画像の撮影が実行されたタイミングを示すタイミング情報を記憶するタイミング情報記憶部と、
    　前記タイミング情報記憶部に記憶されている前記タイミング情報に基づき、前記静止画像の撮影が実行されたタイミングで撮影された前記フレーム画像を前記特定フレーム画像として決定する画像特定部と、
    　を備える請求項１に記載の医療画像処理装置。
  5. 　前記再生回数制御部によりカウントされた前記動画像の再生回数を記憶する再生回数記憶部を備える請求項１から４のいずれか１項に記載の医療画像処理装置。
  6. 　前記動画再生制御部における前記動画像の再生を実行させるユーザを特定するユーザ特定部を備え、
    　前記再生回数制御部は、前記動画像の再生回数のカウントを前記ユーザごとに個別に行い、
    　前記再生回数記憶部は、前記動画像の再生回数を前記ユーザごとに個別に記憶する請求項５に記載の医療画像処理装置。
  7. 　前記情報表示制御部は、前記動画像の再生の有無を示す再生有無情報を前記表示装置に表示させる請求項１から６のいずれか１項に記載の医療画像処理装置。
  8. 　前記情報表示制御部は、前記動画像の再生回数として、前記動画像の再生回数を示す数字及びグラフの少なくとも一方を前記表示装置に表示させる請求項１から７のいずれか１項に記載の医療画像処理装置。
  9. 　前記情報表示制御部は、前記動画像が複数存在する場合、前記動画像の再生回数を動画像ごとに前記表示装置に表示させる請求項１から８のいずれか１項に記載の医療画像処理装置。
  10. 　表示装置での医療画像の動画像の再生を制御する動画再生制御ステップと、
    　前記動画再生制御ステップで再生される前記動画像の再生回数をカウントする再生回数制御ステップであって、且つ前記動画像を構成する複数のフレーム画像の中で特定フレーム画像まで前記動画像が再生された場合、前記動画像の再生回数をカウントアップする再生回数制御ステップと、
    　前記再生回数制御ステップでカウントされた前記動画像の再生回数を、前記表示装置に表示させる表示制御ステップと、
    　を有する医療画像処理方法。
PCT/JP2018/029384 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理方法 Ceased WO2019039252A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880054511.8A CN111031889B (zh) 2017-08-24 2018-08-06 医疗图像处理装置及医疗图像处理方法
JP2019538044A JP6975241B2 (ja) 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理装置の作動方法
US16/790,659 US20200184644A1 (en) 2017-08-24 2020-02-13 Medical image processing device and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017160986 2017-08-24
JP2017-160986 2017-08-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/790,659 Continuation US20200184644A1 (en) 2017-08-24 2020-02-13 Medical image processing device and medical image processing method

Publications (1)

Publication Number Publication Date
WO2019039252A1 true WO2019039252A1 (ja) 2019-02-28

Family

ID=65438697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029384 Ceased WO2019039252A1 (ja) 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理方法

Country Status (4)

Country Link
US (1) US20200184644A1 (ja)
JP (1) JP6975241B2 (ja)
CN (1) CN111031889B (ja)
WO (1) WO2019039252A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210391046A1 (en) * 2018-10-16 2021-12-16 Koninklijke Philips N.V. A system and method for medical visit documentation automation and billing code suggestion in controlled environments
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム
JP2023183966A (ja) * 2022-06-17 2023-12-28 シスメックス株式会社 手術用ロボットを用いた手術画像の提供方法および情報処理システム
EP4411749A3 (en) * 2020-02-21 2024-11-20 Ambu A/S Capturing and browsing images in a medical visualisation system
US12167829B2 (en) 2019-12-19 2024-12-17 Ambu A/S Image capture selection
US12484761B2 (en) 2020-02-21 2025-12-02 Ambu A/S User interface for a medical visualization system
JP7817890B2 (ja) 2022-06-17 2026-02-19 シスメックス株式会社 手術用ロボットを用いた手術画像の提供方法および情報処理システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质
WO2022074992A1 (ja) 2020-10-09 2022-04-14 富士フイルム株式会社 医療画像処理装置およびその作動方法
CN116471993A (zh) * 2020-11-25 2023-07-21 松下控股株式会社 医疗用图像显示系统、医疗用图像显示方法、以及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267273A (ja) * 2003-03-05 2004-09-30 Sangaku Renkei Kiko Kyushu:Kk 医用システム
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380458B2 (ja) * 1998-01-30 2003-02-24 富士写真光機株式会社 電子内視鏡装置
JP4183819B2 (ja) * 1999-01-26 2008-11-19 オリンパス株式会社 医療用画像ファイリングシステム
CN101449274B (zh) * 2006-05-18 2010-10-06 松下电器产业株式会社 用于内容再现控制的电子设备、方法和集成电路
WO2008142831A1 (ja) * 2007-05-17 2008-11-27 Olympus Medical Systems Corp. 画像情報の表示処理装置及び表示処理方法
EP2347695A4 (en) * 2009-07-29 2012-03-28 Olympus Medical Systems Corp PICTURE DISPLAY DEVICE, SYSTEM FOR SUPPORTING RADIOGRAPHIC INTERPRETATIONS AND PROGRAM FOR SUPPORTING RADIOGRAPHIC INTERPRETATIONS
KR100931931B1 (ko) * 2009-08-31 2009-12-15 주식회사 인트로메딕 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
JPWO2012042966A1 (ja) * 2010-09-28 2014-02-06 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN103491851B (zh) * 2011-05-30 2016-04-27 奥林巴斯株式会社 医疗信息记录装置
JP5242866B1 (ja) * 2011-08-12 2013-07-24 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及び読影用プログラム
JP5987357B2 (ja) * 2012-02-29 2016-09-07 株式会社ニコン サーバ、電子機器システムおよびプログラム
JP5980604B2 (ja) * 2012-07-18 2016-08-31 オリンパス株式会社 内視鏡システム
EP3100668A4 (en) * 2014-01-30 2017-11-15 Olympus Corporation Medical video recording and playback system and medical video recording and playback device
CN106464827B (zh) * 2014-11-27 2019-10-01 奥林巴斯株式会社 图像再现装置和图像再现方法
JP2016119590A (ja) * 2014-12-22 2016-06-30 ブラザー工業株式会社 動画サーバ装置及びシーン抽出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267273A (ja) * 2003-03-05 2004-09-30 Sangaku Renkei Kiko Kyushu:Kk 医用システム
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAZAKI, YUTA: "Detection of location of small intestine lesion in capsule endoscopy image using convolutional neural network", RESEARCH REPORT OF INFORMATION PROCESSING SOCIETY OF JAPAN, 2016 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210391046A1 (en) * 2018-10-16 2021-12-16 Koninklijke Philips N.V. A system and method for medical visit documentation automation and billing code suggestion in controlled environments
US12167829B2 (en) 2019-12-19 2024-12-17 Ambu A/S Image capture selection
EP4411749A3 (en) * 2020-02-21 2024-11-20 Ambu A/S Capturing and browsing images in a medical visualisation system
US12484761B2 (en) 2020-02-21 2025-12-02 Ambu A/S User interface for a medical visualization system
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム
JP2023183966A (ja) * 2022-06-17 2023-12-28 シスメックス株式会社 手術用ロボットを用いた手術画像の提供方法および情報処理システム
JP7817890B2 (ja) 2022-06-17 2026-02-19 シスメックス株式会社 手術用ロボットを用いた手術画像の提供方法および情報処理システム

Also Published As

Publication number Publication date
CN111031889A (zh) 2020-04-17
CN111031889B (zh) 2022-04-05
JP6975241B2 (ja) 2021-12-01
JPWO2019039252A1 (ja) 2020-07-30
US20200184644A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP6975241B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
JP7346693B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
CN112367896A (zh) 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
CN112105286B (zh) 内窥镜装置、内窥镜操作方法及计算机可读取记录介质
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN113453607B (zh) 医用图像处理装置及方法
US12390110B2 (en) Medical imaging systems and methods
JP2021101900A (ja) 学習データ作成装置、方法及びプログラム並びに医療画像認識装置
JP7493285B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2019039259A1 (ja) 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
JP7148534B2 (ja) 画像処理装置、プログラム、及び内視鏡システム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
CN115279249B (zh) 图像选择辅助装置、图像选择辅助方法及记录介质
CN118647300A (zh) 信息输出方法以及信息输出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18848239

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019538044

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18848239

Country of ref document: EP

Kind code of ref document: A1