[go: up one dir, main page]

WO2013129590A1 - 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム - Google Patents

超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム Download PDF

Info

Publication number
WO2013129590A1
WO2013129590A1 PCT/JP2013/055460 JP2013055460W WO2013129590A1 WO 2013129590 A1 WO2013129590 A1 WO 2013129590A1 JP 2013055460 W JP2013055460 W JP 2013055460W WO 2013129590 A1 WO2013129590 A1 WO 2013129590A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnostic apparatus
operator
contact input
ultrasonic
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/055460
Other languages
English (en)
French (fr)
Inventor
ゾラン バンジャニン
レイモンド エフ ウッズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to CN201380003711.8A priority Critical patent/CN104023645A/zh
Priority to EP13755432.5A priority patent/EP2821012A1/en
Publication of WO2013129590A1 publication Critical patent/WO2013129590A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G01S7/52084—Constructional features related to particular user interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/582—Remote testing of the device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • This relates to an ultrasonic diagnostic apparatus having a user interface based on an operator's gesture.
  • an operator of an ultrasonic scanner holds a probe with one hand so that the probe is positioned on a patient within a target range to be scanned.
  • the operator observes the image on the display to check the accuracy and quality of the image during the examination.
  • the operator must adjust the imaging parameters from time to time by extending the other hand to the control panel to maintain the accuracy and quality of the image.
  • prior art ultrasound diagnostic devices do not provide an easy-to-use interface for the operator. Since the display and control panel are typically part of a relatively large scanning device, an image scanning device cannot be placed between the patient and the operator. For the same reason, the operator must reach out to the control panel, so the control panel cannot be placed on the other side of the patient as seen by the operator. For these reasons, the control panel and display are usually located within reach of the operator. Therefore, during use of the ultrasonic diagnostic apparatus, the operator must extend one hand sideways to hold the probe with the other hand in order to control the knobs and switches on the control panel. On the other hand, you must turn your neck to observe the image under examination. Due to the above-mentioned physical requirements, the technician of the ultrasonic image diagnosis is forced to take a physical burden on the operation of the apparatus.
  • a hand-held remote control device is provided in place of the control panel in order to improve the ultrasonic diagnostic device interface.
  • the remote control alleviated some obstacles, but required the operator to hold additional equipment in addition to the probe. In other words, both hands of the operator were always blocked during the ultrasound diagnostic imaging session. To adjust any settings that are not accessible by the remote control, the operator had to take down the remote control and later pick it up and resume during the scan. Thus, remote control devices often do not allow an operator to easily perform other essential tasks that require at least one hand during an examination.
  • a voice control device is provided instead of the control panel in order to improve the ultrasonic diagnostic device interface.
  • the voice command does not require the operator to hold any additional equipment other than the probe, but the voice command interface has failed under certain circumstances.
  • the consultation room is not necessarily quiet enough, so environmental noise has prevented the voice control device from accurately interpreting voice commands.
  • Another example of an obstacle is the accuracy in interpreting voice commands due to various factors such as accents. Although accuracy may be improved to some extent by training, the system required initial investment and improvements were generally limited.
  • ultrasound diagnostic devices still require an improved operating interface for an operator to control imaging parameters as well as operations during an examination session.
  • An ultrasonic diagnostic apparatus acquires ultrasonic data by ultrasonically scanning a subject via an ultrasonic probe, and generates and displays an ultrasonic image using the ultrasonic data.
  • a diagnostic device a detection unit for detecting a non-contact input instruction from an operator, a command generation unit for generating an input command in accordance with the detected non-contact input instruction, and responding to the generated command And a control unit for controlling the operation of the ultrasonic diagnostic apparatus.
  • FIG. 1 is a schematic diagram showing an embodiment of an ultrasonic diagnostic apparatus according to the present invention.
  • the figure which shows 1st Embodiment of the non-contact input device mounted on the display part in the ultrasonic diagnosing device by this invention.
  • FIG. 4 is a flow diagram illustrating steps or actions involved in one method of processing an input command according to the present invention.
  • FIG. 5 is a flow diagram illustrating steps or actions involved in one method of processing a gesture according to the present invention.
  • FIG. 1 a schematic diagram shows a first embodiment of an ultrasonic diagnostic apparatus according to this embodiment.
  • the first embodiment includes an ultrasonic probe 100, a monitor 120, a contact input device 130, a non-contact input device 200, and an apparatus main body 1000.
  • One embodiment of the ultrasonic probe 100 includes a plurality of piezoelectric vibrators, and the piezoelectric vibrators generate ultrasonic waves based on a drive signal supplied from the transmission unit 111 accommodated in the apparatus main body 1000.
  • the ultrasonic probe 100 also receives a reflected wave from the subject Pt and converts it into an electrical signal.
  • the ultrasonic probe 100 includes a matching layer provided to the piezoelectric vibrator, and a backing material that prevents ultrasonic waves from propagating backward from the piezoelectric vibrator.
  • the transmitted ultrasonic wave is continuously reflected by the discontinuous surface of the acoustic impedance in the body tissue of the subject Pt, and the ultrasonic wave A reflected wave signal is received by the piezoelectric vibrator of the probe 100.
  • the amplitude of the received reflected wave signal depends on the difference in acoustic impedance of the discontinuous surface that reflects the ultrasonic wave. For example, if a transmitted ultrasound pulse is reflected by a moving blood flow or a heart wall surface, the reflected wave signal is affected by the frequency shift. That is, due to the Doppler effect, the reflected wave signal depends on the velocity component in the ultrasonic transmission direction of the moving object.
  • the apparatus main body 1000 finally generates a signal representing an ultrasonic image.
  • the apparatus main body 1000 controls transmission of ultrasonic waves from the probe 100 toward the target region in the patient's body and reception of reflected waves at the ultrasonic probe 100.
  • the apparatus main body 1000 includes a transmission unit 111, a reception unit 112, a B-mode processing unit 113, a Doppler processing unit 114, an image processing unit 115, an image memory 116, a control unit 117, and an internal storage device 118. All of which are connected via an internal bus.
  • the transmission unit 111 includes a trigger generation circuit, a delay circuit, a pulsar circuit, and the like, and supplies a drive signal to the ultrasonic probe 100.
  • the pulsar circuit repeatedly generates velocity pulses that form the transmitted ultrasound at a specific velocity frequency.
  • the delay circuit controls the delay time of the velocity pulse from the pulsar circuit using each piezoelectric vibrator in order to converge the ultrasonic wave from the ultrasonic probe 100 into the beam and determine the directivity of transmission.
  • the trigger generation circuit applies a drive signal (drive pulse) to the ultrasonic probe 100 based on the velocity pulse.
  • the receiving unit 112 includes an amplifier circuit, an analog / digital (A / D) converter, an adder, and the like, and creates reflected wave data by performing various processes on the reflected wave signal received by the ultrasonic probe 100.
  • the amplifier circuit performs gain correction by amplifying the reflected wave signal.
  • the A / D converter converts the gain-corrected reflected wave signal from an analog format to a digital format, and provides a delay time necessary to determine reception directivity.
  • the adder creates reflected wave data by adding the digitally converted reflected wave signals from the A / D converter. By the additional processing, the adder emphasizes the reflected component from a certain direction according to the directivity of reception of the reflected wave signal.
  • the transmission unit 111 and the reception unit 112 control the directivity of transmission during ultrasonic transmission and the directivity of reception during ultrasonic reception, respectively.
  • the apparatus main body 1000 further includes a B-mode processing unit 113 and a Doppler processing unit 114.
  • the B mode processing unit 113 receives the reflected wave data from the receiving unit 112 and performs logarithmic amplification, envelope detection processing, and the like in order to create data (B mode data) whose signal intensity is expressed by brightness.
  • the Doppler processing unit 114 performs frequency analysis on velocity information from the reflected wave data received from the reception unit 112.
  • the Doppler processing unit 114 extracts blood flow, tissue, and contrast agent echo components due to the Doppler effect.
  • the Doppler processing unit 114 generates Doppler data for moving object information such as average speed, distribution, and output for a plurality of points.
  • the apparatus main body 1000 further includes an additional unit related to image processing of ultrasonic image data.
  • the image processing unit 115 generates an ultrasonic image from the B mode data from the B mode processing unit 113 or the Doppler data from the Doppler processing unit 114. Specifically, the image processing unit 115 generates a B-mode image from the B-mode data and a Doppler image from the Doppler data. Further, the image processing unit 115 converts or scan-converts the scanning line signal sequence of the ultrasonic scanning into a predetermined video format such as a television format. The image processing unit 115 finally generates an ultrasonic display image such as a B-mode image or a Doppler image for a display device.
  • the image memory 116 stores the ultrasonic image data generated by the image processing unit 115.
  • the control unit 117 controls all processes in the ultrasonic diagnostic apparatus. Specifically, the control unit 117 is based on various setting requests input by the operator via the input device, control programs, and setting information read from the internal storage device 118, the transmission unit 111, the reception unit 112, Controls processing in the B-mode processing unit 113, the Doppler processing unit 114, and the image processing unit 115.
  • the control program executes a specific programmed sequence of instructions for transmitting and receiving ultrasound, processing image data, and displaying image data.
  • the configuration information includes diagnostic information such as patient ID and physician opinion, diagnostic protocol, and other information.
  • the internal storage device 118 is optionally used to store images stored in the image memory 116.
  • the specific data stored in the internal storage device 118 is optionally transferred to the external peripheral device via the interface circuit.
  • the control unit 117 also controls the monitor 120 that displays the ultrasound image stored in the image memory 116.
  • the monitor or display unit 120 generally displays an ultrasound image as described above, but certain embodiments of the display unit 120 are in addition to the system user interface of the first embodiment of the ultrasound diagnostic apparatus. In this case, it functions as an input device such as a touch panel alone or in combination with other input devices.
  • the display unit 120 provides a graphical user interface (GUI) for the operator of the ultrasonic diagnostic apparatus.
  • GUI graphical user interface
  • the input device 130 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, and the like.
  • the combination of the display unit 120 and the input device 130 arbitrarily receives a predetermined setting request and an operation command from the operator of the ultrasonic diagnostic apparatus.
  • the combination of the display unit 120 and the input device 130 then generates a signal or command for each received setting request and / or command to be sent to the apparatus body 1000.
  • a request is made using a mouse and monitor to set the region of interest during the next scan session.
  • the operator designates the start and end of image processing to be performed on an image by the image processing unit 115 via the process execution switch.
  • the input mode described above generally requires the operator to touch a specific device such as a switch or touch panel to generate an input signal. Any of the touch input modes requires that the operator reach out to the corresponding input device with at least one hand and that the operator holds the probe with the other hand, so that certain It is difficult under circumstances.
  • the plurality of input devices in the first embodiment of the ultrasonic diagnostic apparatus further include a non-contact input device 200.
  • a non-contact input device 200 receives a non-contact input such as a command and data for operating the ultrasonic diagnostic apparatus according to the present embodiment, so that the apparatus main body 1000 is connected via a predetermined wired or wireless connection.
  • the contactless input receives at least one predetermined gesture.
  • the gesture includes either an operation of maintaining a hand in a predetermined state with respect to the non-contact input device or an operation of moving the hand with respect to the non-contact input device.
  • gesture is not limited to a single action, and a series of gestures may be recognized as a series of gestures.
  • Gesture A predetermined hand gesture.
  • gestures are not limited to hand gestures and optionally include any non-contacting posture and / or movement.
  • An example of an action is a nod, which is optionally included as a predetermined gesture that is recognized by the contactless input device 200.
  • the non-contact input device 200 further recognizes a non-contact input that is not necessarily based on the user's gesture or posture.
  • the non-contact input recognized by the non-contact input device 200 optionally includes the relative position and type of the ultrasound probe 100. For example, when the probe 100 leaves the patient, the non-contact input device 200 generates an input signal for the apparatus main body 1000 in order to freeze the currently available image. For the same reason, when the non-contact input device 200 detects the probe 100, the non-contact input device 200 sends an input signal to the apparatus body 1000 in order to set certain predetermined scanning parameters desired for the type of probe 100 detected. Generate. Further, the contactless input recognized by the contactless input device 200 optionally includes an acoustic or voice command.
  • the non-contact input device 200 is not necessarily limited to performing the above function in an exclusive manner.
  • the non-contact input device 200 functions with other devices such as the input device 130, the image processing unit 115, and the control unit 117 in order to perform the above-described functions. .
  • contact input using the input device 130 is performed, while in other times, non-contact input using the non-contact input device 200 is performed. It doesn't matter.
  • the drawing shows an embodiment of the non-contact input device 200 in the ultrasonic diagnostic apparatus according to the present embodiment.
  • the non-contact input device 200 generally includes an infrared (IR) light source and a specific sensor such as an IR light sensor.
  • the non-contact input device 200 may optionally include any combination of image light sensors, 3D cameras, ultrasonic transmitters, ultrasonic receivers, and accelerometers.
  • the above-mentioned sensors of the non-contact input device 200 are used alone or in combination with other sensors to determine when a predetermined gesture is input, the shape of the object, distance, sound, voice, and / or Detect human movement.
  • the contactless input device 200 is a specific series of sensors or sensing modes for detecting gestures or contactless hands-free signals from a person, operator, or user. It is not limited to.
  • other sensing elements include ultrasonic transmitters and ultrasonic receivers for detecting gestures or contactless hands-free signals from the user.
  • the user may optionally wear a brightly colored glove so that the hand gesture is visually enhanced.
  • One exemplary embodiment of the contactless input device 200 includes IR light 210 and a depth image detector 220 that detect a predetermined gesture to generate a corresponding input command according to this embodiment.
  • each gesture performed by the operator and which of the input commands instructing the operation of the ultrasonic diagnostic apparatus are associated with each other in addition to the correspondence relationship initially set in the apparatus. can do.
  • the registration is realized by inputting a correspondence relationship via the contact input device 130 or the non-contact input device 200 or obtaining correspondence relationship data acquired via a network.
  • Such correspondence between each gesture and each input command is stored and managed in a storage unit not shown in FIG. 1 as a table, for example.
  • one embodiment of the contactless input device 200 optionally includes at least one microphone that senses voice commands from the user in addition to the gesture detector described above.
  • the non-contact input device 200 optionally detects a voice command in combination with the above gesture.
  • a voice command supplements a gesture under certain circumstances, while a voice command substitutes for a gesture under other circumstances.
  • a gesture such as “scan depth change”, a parameter relating to which depth is required.
  • the user optionally presents certain additional hand gestures for a particular depth as a parameter to the “Change Scan Depth” command, but if the operating environment is sufficiently quiet, the user will instead “scan Following the “change depth” gesture, a voice command for the desired depth is entered. Repeated scan depth changes can be easily accomplished with voice commands as a supplement to the initial depth change gesture.
  • one embodiment of the contactless input device 200 optionally includes a microphone and associated circuitry that selectively processes the voice commands. For example, one embodiment of contactless input device 200 selectively filters voice commands for a given person. In another example, contactless input device 200 selectively minimizes certain noise in voice commands. Noise cancellation is achieved by using multiple microphones and spatially selective filtering of room noise and system noise. That is, by synthesizing audio signals obtained from a plurality of microphones, the audio signal obtained from a specific direction is emphasized, and room noise and system noise are reduced. Further, the contactless input device 200 optionally associates a specific voice command with the selected gesture or associates a specific gesture with the selected voice command. The above-described additional features of the non-contact input device 200 require certain parameters that are typically input during a voice command training session prior to testing.
  • the drawing shows an embodiment of the non-contact input device 200 for projecting the virtual control panel 130-A in the ultrasonic diagnostic apparatus according to the present embodiment.
  • the contactless input device 200 includes a hologram projector for projecting the virtual control panel 130-A in the vicinity of the user.
  • One implementation of the virtual control panel 130-A is similar in appearance to the touch input device 130 and includes virtual switches and knobs 130-1 to 130-N corresponding to the manual control mechanism of the touch input device 130.
  • One embodiment of the contactless input device 200 controls the position of the user's hand relative to the projected virtual control panel 130-A and any of the virtual switches and knobs 130-1 through 130-N as indicated by the dotted lines. A specific predetermined hand movement is continuously detected.
  • the contactless input device 200 Upon detecting a predetermined hand movement, such as turning a knob or flicking a switch, within a certain relative distance from one of the projected image portions 130-1 to 130-N, the contactless input device 200 is A corresponding input command according to the embodiment is generated.
  • the projected virtual control panel 130-A is not limited to a specific series of control switches and / or knobs in the actual control panel of the touch input device 130.
  • the non-contact input device 200 is not necessarily limited to performing the above function in an exclusive manner. In another embodiment of the ultrasonic diagnostic apparatus according to this embodiment, the non-contact input device 200 functions with other devices such as the image processing unit 115 and the control unit 117 in order to perform the above-described functions.
  • FIG. 3A shows a first embodiment of a non-contact input device 200-1 mounted on the display unit 120-1.
  • the mounting is not limited to the display unit 120-1, but includes the display unit 120-1 or any other surface of the other unit or device of the ultrasonic diagnostic apparatus according to the present embodiment.
  • the non-contact input device 200-1 is optionally mounted on the display unit 120-1 in a form that modifies the existing ultrasonic diagnostic apparatus system.
  • One embodiment of the non-contact input device 200-1 includes the IR light 210 and the depth image detector 220 according to this embodiment.
  • FIG. 3B shows a second embodiment of a non-contact input device 200-2 that is integrated into the top of the display 120-2 as shown by the dotted lines.
  • the integration is not limited to the top of the display unit 120-2, but includes the display unit 120-2 or even any other unit or device of the ultrasonic diagnostic apparatus according to the present embodiment.
  • One embodiment of the non-contact input device 200-2 includes the IR light 210 and the depth image detector 220 according to this embodiment.
  • FIG. 3C shows a third embodiment of the non-contact input device 200-3, which is a separate unit installed next to the display unit 120-3.
  • the installation is not limited to the side of the display unit 120-3, and includes any other place of the display unit 120-3 or even another unit or device of the ultrasonic diagnostic apparatus according to the present embodiment.
  • the non-contact input device 200-3 is optionally installed near the display unit 120-3 or other device in a manner that modifies the existing ultrasonic diagnostic apparatus system.
  • One embodiment of the non-contact input device 200-3 includes the IR light 210 and the depth image detector 220 according to this embodiment.
  • the drawing shows an exemplary operating environment of one embodiment of the ultrasound diagnostic apparatus according to this embodiment.
  • the patient PT lies on the examination table ET, and the operator OP holds the probe 100 with one hand and places it on the patient PT to scan the ultrasound image.
  • the probe 100 is connected to a main body 1000 installed on the other side of the patient PT as viewed from the operator OP by wire or wirelessly.
  • the operator usually stands in front of the examination table ET and faces the patient PT and the display unit 120 installed on the other side of the patient PT so as to be easily seen.
  • the non-contact input device 200 is mounted on the display unit 120 and moves with the display unit 120 because the display unit 120 is adjustably positioned with respect to the operator OP.
  • the operator OP faces the display 120 because the operator OP holds the probe 100 with the right hand RH and thereby scans the patient PT.
  • the operator OP inputs a predetermined gesture to the non-contact input device 200 with the left hand LH according to one exemplary operation of the present embodiment.
  • the non-contact input device 200 receives the gesture and generates a corresponding input signal for the main body 1000 in order to perform an operation as specified by the gesture.
  • the operator OP substantially rotates his / her body and does not reach the knobs and switches of the prior art panel normally located beside the operator OP.
  • the operator OP maintains an essentially forward posture for monitoring the display unit 120 and inputting commands during the scanning session. Furthermore, since no equipment is located between the operator OP and the examination table ET, it is not substantially prevented that the operator moves around the examination table ET during the scanning session.
  • one embodiment of the non-contact input device 200 processes various types of input, and the operator OP examines the patient using the ultrasonic diagnostic apparatus according to the present embodiment.
  • Input commands are not necessarily related to direct operation of the ultrasound imaging apparatus, but include any commands for annotation, measurement, and calculation related to ultrasound images acquired during an examination session.
  • the annotation includes information regarding the region of interest, patient information, scanning parameters, and scanning conditions.
  • Exemplary measurements include sizing a specific tissue area such as a malignant tumor in an ultrasound image acquired during an examination session. Exemplary measurements result in specific values, such as heart rate and blood flow velocity, based on acquired ultrasound data acquired during the test session.
  • FIG. 4 is merely illustrative and is not limited to the specific features described above in the exemplary embodiment.
  • any combination of wired or wireless connection is applicable between the probe 100, the display unit 120, the non-contact input device 200, and the main body 1000.
  • the positions of the display unit 120 and the non-contact input device 200 are not limited to the position immediately before the operator OP and the other side of the patient PT. For the same reason, during an inspection session, the operator does not need to hold the probe 100 with either specific hand when carrying out the present embodiment, but can arbitrarily change hands or use both hands to probe 100. Hold.
  • the non-contact input device 200 stores both a left hand gesture pattern and a right hand gesture pattern in advance so that the gesture can be correctly recognized even when the hand performing the gesture is changed.
  • the gesture recognition pattern of either hand may be reversed so that the gesture can be recognized even when the hand performing the gesture is changed.
  • the exemplary embodiment described above is optionally combined with the input device 130 to receive predetermined setting requests and operation commands from the operator of the ultrasound diagnostic apparatus.
  • the input device 130 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, and the like.
  • the contactless input device 200 optionally receives acoustic or voice commands.
  • the recognition start of the non-contact input by the non-contact input device 200 may be performed in response to the input with the input device 130. That is, the contactless input device 200 may start recognizing a gesture or a voice command when the input device 130 (for example, a foot switch) is input. Such a configuration for recognizing non-contact input at an arbitrary timing of the operator can prevent malfunction of the ultrasonic diagnostic apparatus when the operator unintentionally performs an operation similar to a gesture. .
  • FIG. 5 is a diagram showing various inputs to the non-contact input device 200 according to the present embodiment.
  • the non-contact input device 200 is mounted on the display monitor 120 and includes at least a pair of IR light 210 and a depth image detector 220.
  • the non-contact input device 200 detects a predetermined gesture GC that is clearly expressed by the operator so as to generate a corresponding input signal to the main body 1000 for performing a corresponding operation.
  • contactless input device 200 also detects a predetermined voice command VC that is clearly expressed by the same operator.
  • the contactless input device 200 optionally includes a voice command portion and / or a virtual control panel portion not shown in the drawing.
  • the voice command portion and / or virtual control panel portion is provided as a separate unit from contactless input device 200.
  • the non-contact input device 200 allows the operator to change the input mode and input source in a flexible manner. For example, during a predetermined series of gestures, the operator can switch hands between the left hand LH 'and the right hand RH' as indicated by the double arrows. For the same reason, the non-contact input device 200 receives a combination of a predetermined gesture GC and a predetermined voice command VC as shown by the vertical double arrows from the operator. Input commands such as voice and gesture may be changed according to the operation mode of the ultrasonic diagnostic apparatus even if they are a single non-contact input.
  • the non-contact input device 200 automatically generates a specific input signal for the main body 1000 without any voice or gesture from the user.
  • Certain embodiments of the non-contact input device 200 continuously detect the relative position of the probe 100 with respect to the patient, so that when the probe 100 is no longer on the patient's body surface, the non-contact input device 200 may be An input signal corresponding to the “freeze image” command is generated so that a possible image is maintained on the monitor 120.
  • the input source is arbitrarily changed from an operator to a probe.
  • the use of virtual control panel 130-A is optionally combined with any other input mode or input source. Regarding the use of virtual control panel 130-A, detection of hand position and hand movement is described in connection with FIG. 2B.
  • the drawing is merely illustrative and is not limited to the specific features described above illustrating an exemplary environment in which one embodiment of an ultrasound diagnostic apparatus is operated in accordance with this embodiment.
  • the ultrasonic diagnostic apparatus includes a plurality of non-contact input devices 200 and a plurality of sets of contact input devices 130 and a display unit 120.
  • only a plurality of sets of display units 120 are present in the ultrasound diagnostic apparatus.
  • the combination of the contactless input device 200 and the display unit 120 may be located at multiple locations, such as another room in the same building and / or a geographically separated location somewhere in the world. Includes examples.
  • the drawing shows an example of the patient PT lying on the examination table ET in the room 1.
  • the operator OP holds the probe 100 with one hand and places it on the patient PT in order to scan the ultrasound image.
  • the probe 100 is connected to a main body 1000 installed on the other side of the patient PT as viewed from the operator OP by wire or wirelessly.
  • the operator usually stands in front of the examination table ET and faces the patient PT and the display unit 120A that is also installed on the other side of the patient PT for comfortable observation.
  • the non-contact input device 200A is mounted on the display unit 120A, and moves with the display unit 120A because the display unit 120A is positioned to be adjustable with respect to the operator OP.
  • a set of another non-contact input device 200B and a display unit 120B is also placed in the room 1 for another person not shown in the drawing.
  • Another person in room 1 either passively observes display 120B or operates on non-contact input device 200B during the same scanning session as operator OP scans patient PT through probe 100. Participate actively in the scanning session by expressing the command clearly.
  • a doctor may observe an operation command such as a predetermined gesture to the non-contact input device 200B in order to acquire an additional image that is not recorded by the operator OP while observing a scanning session via the display monitor 120B. It is something that the doctor expresses clearly.
  • rules are established in advance and stored in the body 1000 to resolve conflicting commands or prioritize multiple commands.
  • the drawing also shows yet another non-contact input device 200 ⁇ / b> C and display 120 ⁇ / b> C set in room 2 for another person not shown in the drawing.
  • room 2 is located in the same building as room 1.
  • room 1 is an operating room and room 2 is an adjacent observation room.
  • room 2 is somewhere in the world outside the building and is located in a different location than room 1.
  • room 1 is an examination room in one city and room 2 is a clinic in another city.
  • additional personnel in room 2 can either passively observe display 120C or contactless during the same scanning session as operator OP scans the patient through probe 100 in room 1.
  • the operation commands For example, to learn the operation of the ultrasound diagnostic apparatus, several students simply observe a scanning session via the display monitor 120C.
  • a doctor may observe a scanning session via the display monitor 120C and send an operation command such as a predetermined gesture to the non-contact input device 200C in order to acquire an additional image that is not recorded by the operator OP. It is something that the doctor expresses clearly.
  • the patient is in an operating room in one city, and a doctor in another city uses the ultrasonic diagnostic apparatus according to the present embodiment remotely so that his / her professional advice is presented. To observe the surgery.
  • people in multiple locations can interactively control the scanned image to share and learn expertise.
  • rules are established in advance and stored in the body 1000 to resolve conflicting commands or prioritize multiple commands.
  • FIG. 6 is merely illustrative and is not limited to the features described above in an exemplary embodiment for implementing this embodiment.
  • any combination of wired or wireless connection is applicable between the probe 100, the display units 120A to 120C, the non-contact input devices 200A to 200C, and the main body 1000.
  • the positions of the display unit 120A and the non-contact input device 200A are not limited to the position immediately before the operator OP and the other side of the patient PT. For the same reason, during an inspection session, the operator does not need to hold the probe 100 with either specific hand when performing this embodiment, but can arbitrarily swap hands or use both hands to probe. Hold 100.
  • the exemplary embodiment described above is optionally combined with the input device 130 to receive predetermined setting requests and operation commands from the operator of the ultrasound diagnostic apparatus.
  • the input device 130 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, and the like.
  • any one of the contactless input devices 200A-C optionally receives an acoustic or voice command.
  • the ultrasonic diagnostic apparatus is not limited to the above-described examples. For example, even when there are a plurality of persons in one room such as an operating room, an operator who performs a gesture for inputting instructions is selected. It is also possible to realize a non-contact input instruction by specifying or switching appropriately. For example, a person (that is, an operator) holding the ultrasonic probe 100 may be specified, and only a gesture by the specified operator may be detected as a non-contact input instruction. Further, for example, a person who has performed a predetermined operation such as waving a palm may be specified, and only a gesture by the specified person may be detected as a non-contact input instruction. The switching of the person to be detected of the gesture can be realized by causing the switching target person to respecify the person by performing a similar operation such as waving the palm.
  • FIG. 7 a flow diagram illustrates the steps or operations involved in one method of processing input commands according to this embodiment.
  • the exemplary method first identifies non-contact input commands and contact input commands and later processes both.
  • contactless input commands include gestures and voice commands that do not touch any physical input device.
  • touch input commands are mechanically or electronically activated signals that are triggered by an operator via input devices such as mice, keyboards, buttons, panel switches, touch command screens, foot switches, trackballs, etc.
  • input devices such as mice, keyboards, buttons, panel switches, touch command screens, foot switches, trackballs, etc.
  • one exemplary method of a hands-free user interface for an ultrasound diagnostic apparatus performs a series of determination steps as shown in the flow diagram.
  • gesture determination step S10 the exemplary method determines whether the input is a gesture. If the input is from a device or unit that processes any movements and / or images of the operator, it is determined in step S10 that the input is a potential gesture and the exemplary method is gesture processing step S100. Move on. On the other hand, if the input is not from an operator movement and / or device or unit that processes the image, it is determined in step S10 that the input is not a potential gesture, and the exemplary method is a voice determination step. Move on to S20.
  • step S20 If the input is from a device or unit that processes the operator's voice and ambient noise, in step S20, the input is determined to be a potential voice command, and the exemplary method moves to voice processing step S200. . On the other hand, if the input is not from a device or unit that processes voice and / or ambient noise, it is determined in step S20 that the input is not a potential voice command, and the exemplary method includes a panel input determination step. Move on to S30. If the input is from a tactile input by an operator or a device or unit that processes an electrical signal caused by a mechanical input device, in step S30 the input is a potential from a control panel or other tactile input device. And the exemplary method moves to panel processing step S300.
  • step S30 determines whether the input is not from a device or unit that processes haptic input. If the input is not from a device or unit that processes haptic input, it is determined in step S30 that the input is not a potential haptic input command, and the exemplary method moves to an end determination step S40. In the end step, it is determined whether or not there are more inputs. If there is no input, the exemplary method ends. On the other hand, if there are additional inputs, the exemplary method returns to step S10.
  • the method of FIG. 7 is merely illustrative and is not limited to the above steps of an exemplary process for implementing this embodiment.
  • the exemplary method shows processing steps for gesture, voice, and tactile inputs
  • other processes according to this embodiment optionally include additional steps to process other input types such as probe relative position data.
  • the processes are optionally parallel or parallel-serial combinations in the processing of commands.
  • a flow diagram illustrates the steps or actions involved in one method for processing gestures according to this embodiment.
  • the exemplary flow diagram for processing gestures is merely illustrative of one embodiment in a hands-free user interface for an ultrasound diagnostic apparatus according to this embodiment.
  • Gesture processing is not limited to any particular step in the flow diagram and optionally includes additional or alternative steps for implementing this embodiment.
  • the exemplary gesture processing ultimately determines an output command signal for the ultrasound diagnostic device so that user-specified tasks are performed according to the gesture.
  • step S102 a potential gesture is analyzed if the potential gesture includes more than one gesture element. After the analysis in step S102, it is generally assumed that the first detected gesture element in time among the plurality of gesture elements is the main command part of the potential gesture.
  • gesture step S104 it is determined whether the first or first gesture element is one of the predetermined gestures. If the predetermined gesture determination step S104 determines that the first or first gesture element is one of the predetermined gestures, the exemplary gesture processing moves to step S114 where the first or first gesture. It is determined whether a parameter is required for the element.
  • the exemplary gesture processing moves to alternative gesture processing step S106, where the first time In order to indicate that, the alternative gesture flag is initialized to a predetermined NO value. If the alternative gesture flag is NO, the exemplary gesture processing then proceeds to monitor at step S108 so that the user can try repeating a gesture that was not previously recognized or gesture another gesture. Direct "retry" feedback to the user via the above audio and / or visual indication.
  • the substitute gesture processing step S106 sets the substitute gesture flag to a predetermined YES value. In this way, the exemplary gesture processing returns to step S104 after prompt step S108 to process another potential gesture.
  • step S106 the exemplary gesture process then selects one of the predetermined gestures for the gesture that was not previously recognized, or another In step S110, a series of predetermined gestures are instructed to the user via audio and / or visual instructions on the monitor.
  • step S110 the alternative gesture selection step S112 sets the alternative gesture flag to a predetermined NO value when the selection is received in step S112, and the exemplary gesture processing moves to step S114.
  • the alternative gesture selection step S112 leaves the alternative gesture flag at a predetermined YES value if no selection is received in step S112, the exemplary gesture process returns to step S108, and then returns to step S104.
  • exemplary gesture processing is performed for an input command defined by the first or first gesture element in step S114.
  • the exemplary gesture process requires the user to start the gesture from the beginning in this implementation.
  • the exemplary gesture processing moves to step S118, where a corresponding command signal is generated and output. If it is determined in step S114 that no parameters are required for the first or first gesture element according to the predetermined gesture list, the exemplary gesture processing again moves to step S118. In end step S120, it is determined whether there are any more potential gestures. If there are no more potential gestures, the example gesture process ends. On the other hand, if there are additional potential gestures, the exemplary gesture processing returns to step S102.
  • the method of FIG. 8 is merely illustrative and is not limited to the above-described steps of an exemplary process for implementing this embodiment.
  • the exemplary gesture processing in this implementation requires the user to start the gesture from the beginning if it does not fit the necessary parameters of the potential gesture, but other processes in this embodiment are optional Includes an additional step of indicating only partial gestures for the required parameters.
  • the left column of Table 1 lists tasks performed by the ultrasonic diagnostic apparatus according to the present embodiment.
  • the center column of Table 1 describes a prior art user interface for inputting a corresponding command for each task performed by the ultrasonic diagnostic apparatus according to the present embodiment.
  • the right column of Table 1 describes predetermined gestures for each task performed by the ultrasonic diagnostic apparatus according to the present embodiment.
  • the list is not limited by the examples for implementing this embodiment.
  • the list is merely illustrative and not a comprehensive list of commands.
  • the list also simply shows exemplary gestures for each of the listed commands, and the same gesture is optionally implemented with various gestures preferred by the user. In this regard, the gestures are optionally custom made for each gesture or selected from a predetermined gesture.
  • the gesture is used by any combination of an operator of the ultrasonic diagnostic apparatus according to the present embodiment and a person other than the operator.
  • the non-contact input function according to the present embodiment has been described using the ultrasonic diagnostic apparatus as an example.
  • the present invention is not limited to this example, and can be applied to input instructions of various medical image diagnostic apparatuses such as an X-ray diagnostic apparatus, an X-ray computed tomography apparatus, a magnetic resonance imaging apparatus, and a nuclear medicine diagnostic apparatus.
  • a medical image display device that reads prestored medical images, displays them side-by-side, displays them, performs measurement operations using the medical images, edits the medical images, inputs findings to the medical images, and so on, an input instruction to a so-called workstation It can also be applied.
  • the operator can easily and quickly input a desired command by performing a predetermined gesture without moving to reach the contact input device or changing the posture. . Therefore, the physical burden on the operator can be reduced, and it is possible to contribute to the realization of quick imaging processing. This is particularly advantageous when the photographer who operates the ultrasonic probe or the like and the operator who inputs a desired command to the apparatus are the same person, such as an ultrasonic diagnostic apparatus.
  • the non-contact input device can be placed anywhere, so that the division of labor between the photographer who operates the ultrasound probe and the operator and the operator who operates the apparatus can be easily realized. Burden can be reduced.
  • an ultrasonic diagnostic apparatus may be used for monitoring an affected area during surgery.
  • the area of the ultrasonic diagnostic apparatus that contacts the operator or the patient during the operation is a minimum necessary area that can be strictly satellite-controlled.
  • a desired command can be input by contact
  • an area that contacts the operator or the patient during the operation can be limited to the ultrasonic probe.
  • hygiene management can be improved as compared with the conventional case.
  • Another embodiment for implementing this embodiment includes computer software loaded into a computer from a recording medium on which it is stored, such as a program for hands-free operation of an ultrasound system.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

　一実施形態に係る超音波診断装置は、超音波プローブを介して被検体を超音波走査することで超音波データを取得し、当該超音波データを用いて超音波画像を生成し表示するものであって、検出ユニット、コマンド生成ユニット、制御ユニットを具備する。検出ユニットは、操作者からの非接触入力指示を検出する。コマンド生成ユニットは、検出された非接触入力指示に応じた入力コマンドを生成する。制御ユニットは、生成されたコマンドに応答して、当該超音波診断装置の動作を制御する。

Description

超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム
　操作者等のジェスチャーに基づくユーザインターフェースを有する超音波診断装置等に関する。
　超音波検診の分野において、超音波診断装置と操作者との間のユーザインターフェースを改善するいくつかの試みがなされてきた。一般に、超音波スキャナーの操作者は、画像をスキャンする対象範囲内でプローブが患者の上に位置するようにして、プローブを片手で保持する。操作者は、検査中に画像の精度および質を確認するため、ディスプレイ上の画像を観察する。同時に、操作者は、画像の精度および質を維持するため、他方の手をコントロールパネルに伸ばすことによって、撮像パラメータを時々調節しなければならない。
　上述の困難なタスクにもかかわらず、先行技術の超音波診断装置は、操作者が使いやすいインターフェースを提供しない。ディスプレイおよびコントロールパネルは一般に比較的大きな走査デバイスの一部なので、画像走査デバイスを患者と操作者との間に設置することができない。同じ理由で、操作者がコントロールパネルに手を伸ばせなければならないので、コントロールパネルを操作者から見て患者の向こう側に設置することもできない。これらの理由で、コントロールパネルおよびディスプレイは、通常、操作者の横で手が届く範囲に位置する。したがって、超音波診断装置の使用中、操作者は、コントロールパネル上のノブ（ツマミ）およびスイッチを制御するため、一方の手を横に伸ばさなければならず、他方の手でプローブを保持しなければならない一方で、検査中の画像を観察するために首を回さなければならない。上述の物理的要件のため、超音波画像診断の技術者は、装置操作に身体的負担を強いられることになる。
　１つの先行技術として、超音波診断装置インターフェースを改善するため、コントロールパネルの代わりに手持ち式の遠隔制御装置を提供が提供されている。遠隔制御装置はいくつかの障害を緩和したが、操作者がプローブに加えて追加の機器を保持することが必要であった。換言すれば、超音波画像診断セッションの間、操作者の両手が常にふさがれていた。遠隔制御装置でアクセスできない任意の設定を調節するため、走査中、操作者は遠隔制御装置を下ろし、また後でそれを取り上げて再開しなければならなかった。したがって、遠隔制御装置では、多くの場合、操作者は、検査中に少なくとも片手を必要とする他の必須のタスクを簡単に行うことができなかった。
　別の先行技術として、超音波診断装置インターフェースを改善するため、コントロールパネルの代わりに音声制御装置を提供されている。音声コマンドにより、操作者はプローブ以外の任意の追加の機器を保持しなくてすむが、音声コマンドインターフェースには特定の状況下で障害があった。例えば、診察室は必ずしも十分に静かだとは限らないので、環境ノイズは音声制御装置が正確に音声コマンドを解釈する妨げになった。障害の別の例は、アクセントなどの様々な要因による、音声コマンドを解釈する際の精度である。精度は訓練によってある程度まで改善されるかも知れないが、システムには初期投資が必要であり、改善は一般的に限定された。
　上述の例示的な先行技術の試みを鑑みて、超音波診断装置は、操作者が撮像パラメータならびに検査セッション中の操作を制御するための改善された操作インターフェースを依然として必要としている。
　一実施形態に係る超音波診断装置は、超音波プローブを介して被検体を超音波走査することで超音波データを取得し、当該超音波データを用いて超音波画像を生成し表示する超音波診断装置であって、操作者からの非接触入力指示を検出する検出ユニットと、前記検出された非接触入力指示に応じた入力コマンドを生成するコマンド生成ユニットと、前記生成されたコマンドに応答して、当該超音波診断装置の動作を制御する制御ユニットと、を具備することを特徴とするものである。
本発明による超音波診断装置の一実施形態を示す模式図。 本発明による超音波診断装置における非接触入力デバイスの一実施形態を示す図。 本発明による超音波診断装置におけるコマンドを入力する仮想制御パネルを投影するための非接触入力デバイスの一実施形態を示す図。 本発明による超音波診断装置における表示部の上に搭載される非接触入力デバイスの第１の実施形態を示す図。 本発明による超音波診断装置における表示部の頂部に統合される、非接触入力デバイスの第２の実施形態を示す図。 本発明による超音波診断装置における表示部の隣に設置される別個のユニットである、非接触入力デバイスの第３の実施形態を示す図。 本発明による超音波診断装置の一実施形態の例示的な操作環境を示す図。 本発明による非接触入力デバイスに対する非接触入力の様々な組み合わせを示す図。 本発明による超音波診断装置の一実施形態の別の例示的な操作環境を示す図。 本発明による入力コマンドを処理する１つの方法に関与するステップまたは動作を示すフロー図。 本発明によるジェスチャーを処理する１つの方法に関与するステップまたは動作を示すフロー図。
　超音波診断装置の例示的な実施形態を、添付図面を参照して以下に詳細に説明する。ここで図１を参照すると、模式図は、本実施形態による超音波診断装置の第１の実施形態を示す。第１の実施形態は、超音波プローブ１００と、モニタ１２０と、接触入力デバイス１３０と、非接触入力デバイス２００と、装置本体１０００とを含む。超音波プローブ１００の一実施形態は複数の圧電振動子を含み、圧電振動子は、装置本体１０００に収容された送信部１１１から供給される駆動信号に基づいて超音波を生成する。超音波プローブ１００はまた、さらに被検者Ｐｔから反射波を受信し、それを電気信号に変換する。さらに、超音波プローブ１００は、圧電振動子に提供される整合層と、圧電振動子から後方に超音波が伝播するのを防ぐバッキング材とを含む。
　超音波が超音波プローブ１００から被検者Ｐｔに送信されると、送信された超音波は、被検者Ｐｔの体内組織における音響インピーダンスの不連続面によって連続的に反射されるとともに、超音波プローブ１００の圧電振動子によって反射波信号として受信される。受信される反射波信号の振幅は、超音波を反射する不連続面の音響インピーダンスの差に依存する。例えば、送信された超音波パルスが、動いている血流または心臓壁の表面によって反射された場合、反射波信号は周波数偏移によって影響される。すなわち、ドップラー効果により、反射波信号は動いている物体の超音波送信方向における速度成分に依存する。
　装置本体１０００は、最終的に、超音波画像を表す信号を生成する。装置本体１０００は、患者の体内の対象領域に向かうプローブ１００からの超音波の送信、ならびに超音波プローブ１００における反射波の受信を制御する。装置本体１０００は、送信部１１１と、受信部１１２と、Ｂモード処理部１１３と、ドップラー処理部１１４と、画像処理部１１５と、画像メモリ１１６と、制御部１１７と、内部記憶装置１１８とを含み、これらはすべて内部バスを介して接続される。
　送信部１１１は、トリガー発生回路、遅延回路、パルサー回路などを含み、超音波プローブ１００に駆動信号を供給する。パルサー回路は、特定の速度の周波数で送信超音波を形成する速度パルスを繰返し生成する。遅延回路は、超音波プローブ１００からの超音波をビームに収束させ、送信の指向性を判定するため、圧電振動子それぞれを利用するパルサー回路からの速度パルスの遅延時間を制御する。トリガー発生回路は、速度パルスに基づいて超音波プローブ１００に駆動信号（駆動パルス）を適用する。
　受信部１１２は、増幅器回路、アナログデジタル（Ａ／Ｄ）変換器、加算器などを含み、超音波プローブ１００で受信した反射波信号に対する様々な処理を行うことによって反射波データを作成する。増幅器回路は、反射波信号を増幅することによって利得補正を行う。Ａ／Ｄ変換器は、利得補正された反射波信号をアナログ形式からデジタル形式に変換し、受信の指向性を判定するのに必要な遅延時間を提供する。加算器は、Ａ／Ｄ変換器からのデジタル変換された反射波信号を加算することによって反射波データを作成する。追加処理によって、加算器は、反射波信号の受信の指向性に従って、ある方向からの反射成分を強調する。上述の方法では、送信部１１１および受信部１１２はそれぞれ、超音波送信中の送信の指向性および超音波受信中の受信の指向性を制御する。
　装置本体１０００はさらに、Ｂモード処理部１１３とドップラー処理部１１４とを含む。Ｂモード処理部１１３は、受信部１１２から反射波データを受信し、信号強度が明るさによって表現されるデータ（Ｂモードデータ）を作成するため、対数増幅および包絡線検波処理などを行う。ドップラー処理部１１４は、受信部１１２から受信した反射波データからの速度情報に対する周波数分析を行う。ドップラー処理部１１４は、ドップラー効果による血流、組織、および造影剤のエコーの成分を抽出する。ドップラー処理部１１４は、複数のポイントに対する平均速度、分布、出力など、移動物体情報に対するドップラーデータを生成する。
　装置本体１０００はさらに、超音波画像データの画像処理に関係する追加のユニットを含む。画像処理部１１５は、Ｂモード処理部１１３からのＢモードデータまたはドップラー処理部１１４からのドップラーデータから超音波画像を生成する。具体的には、画像処理部１１５は、ＢモードデータからＢモード画像を、ドップラーデータからドップラー画像をそれぞれ生成する。さらに、画像処理部１１５は、超音波走査の走査線信号列をテレビ形式などの所定の映像形式に変換または走査変換する。画像処理部１１５は、最終的に、表示デバイス用のＢモード画像またはドップラー画像などの超音波表示画像を生成する。画像メモリ１１６は、画像処理部１１５によって生成された超音波画像データを格納する。
　制御部１１７は、超音波診断装置における全プロセスを制御する。具体的には、制御部１１７は、入力デバイスを介して操作者が入力する様々な設定要求、制御プログラム、および内部記憶装置１１８から読み取られる設定情報に基づいて、送信部１１１、受信部１１２、Ｂモード処理部１１３、ドップラー処理部１１４、および画像処理部１１５における処理を制御する。例えば、制御プログラムは、超音波を送受信し、画像データを処理し、画像データを表示するための、特定のプログラムされた一連の命令を実行する。設定情報は、患者のＩＤおよび医師の見解などの診断情報、診断プロトコル、ならびに他の情報を含む。さらに、内部記憶装置１１８は、任意に、画像メモリ１１６に格納された画像を格納するのに使用される。内部記憶装置１１８に格納された特定のデータは、任意に、インターフェース回路を介して外部周辺デバイスに転送される。最後に、制御部１１７はまた、画像メモリ１１６に格納されている超音波画像を表示するモニタ１２０を制御する。
　本実施形態による超音波診断装置の第１の実施形態には、複数の入力デバイスが存在する。モニタまたは表示部１２０は、一般に、上述のような超音波画像を表示するが、表示部１２０の特定の実施形態は、それに加えて、超音波診断装置の第１の実施形態のシステムユーザインターフェースの場合、単独でまたは他の入力デバイスと組み合わせてタッチパネルなどの入力デバイスとして機能する。表示部１２０は、入力デバイス１３０と組み合わせて様々な設定要求を入力するため、超音波診断装置の操作者向けにグラフィカルユーザインターフェース（ＧＵＩ）を提供する。入力デバイス１３０は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどを含む。表示部１２０と入力デバイス１３０との組み合わせは、任意に、超音波診断装置の操作者から所定の設定要求および操作コマンドを受信する。表示部１２０と入力デバイス１３０との組み合わせは、次いで、装置本体１０００に送られるべき受信した設定要求および／またはコマンドそれぞれに対して信号または命令を生成する。例えば、次回の走査セッション中に対象領域を設定するため、マウスおよびモニタを使用して要求が作られる。別の例は、画像処理部１１５によって画像に対して行うべき画像処理の開始および終了を、処理実行スイッチを介して操作者が指定するというものである。
　上述の入力モードは、一般に、入力信号を生成するため、操作者がスイッチまたはタッチパネルなどの特定のデバイスに触れることを要求する。接触入力モードはいずれも、操作者が少なくとも一方の手で対応する入力デバイスに手を伸ばすとともに操作者が他方の手でプローブを保持していることを必要とするので、走査セッション中の特定の状況下では困難である。
　引き続き図１を参照すると、本実施形態による超音波診断装置の第１の実施形態における複数の入力デバイスはさらに、非接触入力デバイス２００を含む。非接触入力デバイス２００の一実施形態は、本実施形態による超音波診断装置を操作するためのコマンドおよびデータなどの非接触入力を受信するため、所定の有線または無線接続を介して装置本体１０００に接続される。例えば、非接触入力は少なくとも１つの所定のジェスチャーを受信する。ジェスチャーとは、非接触入力デバイスに対して手をあらかじめ決まった状態に維持する動作か、あるいは非接触入力デバイスに対して動かす動作のいずれかを含む。また、ジェスチャーは１つの動作だけに限らず、複数の動作を続けたものを一連のジェスチャーとして認識しても構わない。ジェスチャー所定のハンドジェスチャーである。しかし、ジェスチャーはハンドジェスチャーに限定されず、任意に、あらゆる非接触の体位および／または動きを含む。動作の一例はうなずきであり、これは任意に、非接触入力デバイス２００によって認識される所定のジェスチャーとして含まれる。
　非接触入力デバイス２００はさらに、ユーザのジェスチャーまたは体位に必ずしも基づかない非接触入力を認識する。非接触入力デバイス２００によって認識される非接触入力は、任意に、超音波プローブ１００の相対位置およびタイプを含む。例えば、プローブ１００が患者から離れると、非接触入力デバイス２００は、現在利用可能な画像をフリーズさせるため、装置本体１０００に対する入力信号を生成する。同じ理由で、非接触入力デバイス２００がプローブ１００を検出すると、非接触入力デバイス２００は、検出されたプローブ１００のタイプにとって望ましい特定の所定の走査パラメータを設定するため、装置本体１０００に対する入力信号を生成する。さらに、非接触入力デバイス２００によって認識される非接触入力は、任意に、音響または音声コマンドを含む。上記の理由で、先に述べた患者からの距離の変化やプローブの認識、音響または音声コマンドも、ユーザが所定の入力デバイスに手を伸ばして触れないという意味で、ハンドフリーユーザインターフェースデバイス、非接触入力として同義的に呼ばれる。
　本実施形態による超音波診断装置の第１の実施形態では、非接触入力デバイス２００は、排他的なやり方で上述の機能を行うことに必ずしも限定されない。本実施形態による超音波診断装置の他の実施形態では、非接触入力デバイス２００は、上述の機能を遂行するため、入力デバイス１３０、画像処理部１１５および制御部１１７などの他のデバイスとともに機能する。つまり、ある時は入力デバイス１３０を用いた接触入力を行う一方で、別のある時には非接触入力デバイス２００を用いた非接触入力を行うなどして、両者を使い分けて超音波診断装置を操作しても構わない。
　次に図２Ａを参照すると、図面は、本実施形態による超音波診断装置における非接触入力デバイス２００の一実施形態を示す。非接触入力デバイス２００は、一般に、赤外線（ＩＲ）光源と、ＩＲ光センサなどの特定のセンサとを含む。非接触入力デバイス２００は、任意に、画像光センサ、３Ｄカメラ、超音波送信機、超音波受信機、および加速度計の任意の組み合わせを含んでも構わない。非接触入力デバイス２００の上述のセンサは、所定のジェスチャーが入力された場合にそれを判定するため、単独でまたは他のセンサと組み合わせて、対象物の形状、距離、音響、音声、および／または人の動きを検出する。上述のセンサは単なる例証であり、本実施形態による非接触入力デバイス２００は、人、操作者、もしくはユーザからのジェスチャーまたは非接触ハンドフリー信号を検出するための、特定の一連のセンサあるいは感知モードに限定されない。例えば、他の感知要素は、ユーザからのジェスチャーまたは非接触ハンドフリー信号を検出するための超音波送信機および超音波受信機を含む。検出を促進するため、ハンドジェスチャーが視覚的に引き立てられるように、ユーザは任意に鮮明な色の手袋を着用するようにしても良い。非接触入力デバイス２００の例示的な一実施形態は、本実施形態による対応する入力コマンドを生成するため、所定のジェスチャーを検出するＩＲ光２１０および深さ画像検出器２２０を含む。
　なお、操作者によって行われる各ジェスチャーと、当該超音波診断装置の動作を指示する入力コマンドのいずれとを対応付けるかは、当該装置において初期設定されている対応関係に加えて、任意に設定し登録することができる。例えば、当該登録は、接触入力デバイス１３０、非接触入力デバイス２００を介した対応関係の入力、或いはネットワークを介して取得された対応関係データの取得によって実現される。この様な各ジェスチャーと各入力コマンドとの対応関係は、例えばテーブルとして図１に図示していない記憶ユニットにおいて記憶、管理される。
　引き続き図２Ａを参照すると、非接触入力デバイス２００の一実施形態は、任意に、上述のジェスチャー検出器に加えてユーザからの音声コマンドを感知する少なくとも１つのマイクロフォンを含む。非接触入力デバイス２００は、任意に、上述のジェスチャーと組み合わせて音声コマンドを検出する。音声コマンドは特定の状況下ではジェスチャーを補足するものであり、一方、音声コマンドは他の状況下ではジェスチャーの代わりになる。例えば、ユーザが「走査深さ変更」などのジェスチャーを入力した後、どの深さかに関するパラメータが必要になる。ユーザは、任意に、「走査深さ変更」コマンドに対するパラメータとして、特定の深さについての所定の追加のハンドジェスチャーを示すが、操作環境が十分に静かな場合、ユーザはその代わりに、「走査深さ変更」のジェスチャーに続いて所望の深さについての音声コマンドを入力する。走査深さの繰返しの変更は、最初の深さ変更のジェスチャーに対する補足として音声コマンドによって簡単に遂行することができる。
　音声コマンドに関して、非接触入力デバイス２００の一実施形態は、任意に、マイクロフォンと、音声コマンドを選択的に処理する関連回路とを含む。例えば、非接触入力デバイス２００の一実施形態は、所定の人に対する音声コマンドを選択的にフィルタ処理する。別の例では、非接触入力デバイス２００は、音声コマンドの特定のノイズを選択的に最小化する。ノイズ消去は、複数のマイクロフォンと、室内ノイズおよびシステムノイズの空間選択的フィルタ処置とを使用することによって達成される。すなわち、複数のマイクロフォンから得られた音声信号を合成することによって、特定の方向から得られた音声信号を強調し、且つ室内ノイズおよびシステムノイズを低減することにより行われる。さらに、非接触入力デバイス２００は、任意に、特定の音声コマンドを選択されたジェスチャーと関連付けるか、または特定のジェスチャーを選択された音声コマンドと関連付ける。非接触入力デバイス２００の上述の付加的機能は、検査に先立つ音声コマンド訓練セッション中に一般的に入力される所定のパラメータを要求する。
　図２Ｂを参照すると、図面は、本実施形態による超音波診断装置における仮想制御パネル１３０－Ａを投影するための非接触入力デバイス２００の一実施形態を示す。一実施形態では、非接触入力デバイス２００は、ユーザの近傍で仮想制御パネル１３０－Ａを投影するためのホログラム投影器を含む。仮想制御パネル１３０－Ａの一実現例は、接触入力デバイス１３０と外観が良く似ており、接触入力デバイス１３０の手動制御メカニズムに対応する仮想スイッチおよびノブ１３０－１～１３０－Ｎを含む。非接触入力デバイス２００の一実施形態は、投影された仮想制御パネル１３０－Ａに対するユーザの手の位置と、点線によって示されるような仮想スイッチおよびノブ１３０－１～１３０－Ｎのいずれかを制御する特定の所定の手の動きとを連続的に検出する。投影された画像部分１３０－１～１３０－Ｎのうち１つからある相対距離内で、ノブを回すかまたはスイッチをはじくなどの所定の手の動きを検出すると、非接触入力デバイス２００は、本実施形態による対応する入力コマンドを生成する。本実施形態によれば、投影された仮想制御パネル１３０－Ａは、接触入力デバイス１３０の実際の制御パネルにおける特定の一連の制御スイッチおよび／またはノブに限定されない。
　本実施形態による超音波診断装置の実施形態では、非接触入力デバイス２００は、排他的なやり方で上述の機能を行うことに必ずしも限定されない。本実施形態による超音波診断装置の他の実施形態では、非接触入力デバイス２００は、上述の機能を遂行するため、画像処理部１１５および制御部１１７などの他のデバイスとともに機能する。
　次に図３Ａ、３Ｂ、および３Ｃを参照すると、非接触入力デバイス２００は、本実施形態による超音波診断装置に様々な形で実装される。図３Ａは、表示部１２０－１の上に搭載される非接触入力デバイス２００－１の第１の実施形態を示す。搭載は表示部１２０－１の上に限定されず、表示部１２０－１またはさらには本実施形態による超音波診断装置の他のユニットもしくはデバイスの他の任意の表面を含む。実装形態によっては、非接触入力デバイス２００－１は、任意に、既存の超音波診断装置システムに改造を加える形で表示部１２０－１上に搭載される。非接触入力デバイス２００－１の一実施形態は、本実施形態によるＩＲ光２１０および深さ画像検出器２２０を含む。
　図３Ｂは、点線によって示されるような表示部１２０－２の頂部に統合される、非接触入力デバイス２００－２の第２の実施形態を示す。統合は表示部１２０－２の頂部に限定されず、表示部１２０－２またはさらには本実施形態による超音波診断装置の他のユニットもしくはデバイスの他の任意の部分を含む。非接触入力デバイス２００－２の一実施形態は、本実施形態によるＩＲ光２１０および深さ画像検出器２２０を含む。
　図３Ｃは、表示部１２０－３の隣に設置される別個のユニットである、非接触入力デバイス２００－３の第３の実施形態を示す。設置は表示部１２０－３の横に限定されず、表示部１２０－３またはさらには本実施形態による超音波診断装置の他のユニットもしくはデバイスの任意の他の場所を含む。実装形態によっては、非接触入力デバイス２００－３は、任意に、既存の超音波診断装置システムに改造を加える形で表示部１２０－３または他のデバイスの近くに設置される。非接触入力デバイス２００－３の一実施形態は、本実施形態によるＩＲ光２１０および深さ画像検出器２２０を含む。
　次に図４を参照すると、図面は、本実施形態による超音波診断装置の一実施形態の例示的な操作環境を示す。例示的な環境では、患者ＰＴは診察台ＥＴ上に横たわり、操作者ＯＰは超音波画像を走査するため、片手でプローブ１００を保持し、それを患者ＰＴの上に置く。プローブ１００は、操作者ＯＰから見て患者ＰＴの向こう側に設置される本体１０００に有線または無線で接続される。操作者は、通常、診察台ＥＴの前に立ち、患者ＰＴと、やはり見やすいように患者ＰＴの向こう側に設置される表示部１２０とに直面する。例示的な実施形態では、非接触入力デバイス２００は表示部１２０の上に搭載され、表示部１２０が操作者ＯＰに対して調節可能に位置付けられるので、表示部１２０とともに動く。
　引き続き図４を参照すると、同じ例示的な環境では、操作者ＯＰが右手ＲＨでプローブ１００を保持し、それで患者ＰＴを走査するので、操作者ＯＰは表示部１２０に直面する。この前向きの姿勢では、操作者ＯＰは、本実施形態の１つの例示的な操作に従って、左手ＬＨで所定のジェスチャーを非接触入力デバイス２００に入力する。次いで、非接触入力デバイス２００は、ジェスチャーを受け取り、ジェスチャーによって指定されるような操作を行うため、本体１０００に対して対応する入力信号を生成する。したがって、図示される操作環境では、操作者ＯＰは実質的に、自分の体を回転させ、通常は操作者ＯＰの横に位置する先行技術のパネルのノブおよびスイッチに手を伸ばすことがない。換言すれば、操作者ＯＰは、走査セッション中、表示部１２０をモニタしコマンドを入力するために本質的に前向きの姿勢を維持する。さらに、操作者ＯＰと診察台ＥＴとの間に機器が位置しないので、操作者が走査セッション中に診察台ＥＴの周りを動き回ることが実質的に妨げられない。
　上述の例示的な環境では、非接触入力デバイス２００の一実施形態は様々なタイプの入力を処理し、操作者ＯＰは本実施形態による超音波診断装置を使用して患者を検査する。入力コマンドは、必ずしも超音波画像診断装置の直接操作に関係するものではなく、検査セッション中に獲得された超音波画像に関係する注釈、測定、および計算のための任意のコマンドを含む。例えば、注釈は、対象領域、患者情報、走査パラメータ、および走査条件に関する情報を含む。例示的な測定は、検査セッション中に獲得された超音波画像における悪性腫瘍などの特定の組織範囲のサイズ計測を含む。例示的な測定の結果、検査セッション中に獲得された獲得超音波データに基づいて、心拍数および血流速度などの特定の値が得られる。
　図４の実施形態は単なる例証であり、例示的な本実施形態における上述の特定の特徴に限定されない。例えば、本実施形態を実施する際、プローブ１００、表示部１２０、非接触入力デバイス２００、および本体１０００の間で、有線または無線接続の任意の組み合わせが適用可能である。さらに本実施形態を実施する際、表示部１２０および非接触入力デバイス２００の位置は、操作者ＯＰの直ぐ前および患者ＰＴの向こう側に限定されない。同じ理由で、検査セッション中、操作者は、本実施形態を実施する際にどちらか特定の手でプローブ１００を保持する必要がなく、任意に手を入れ替えるか、または両手を使用してプローブ１００を保持する。例えばジェスチャーを行う手が入れ替わった場合でもジェスチャーを正しく認識できるよう、非接触入力デバイス２００は左手用のジェスチャーのパターンと右手用のジェスチャーのパターンの両方を予め記憶しておくことが望ましい。あるいは、どちらか一方の手のジェスチャーの認識パターンを左右反転させることで、ジェスチャーを行う手が入れ替わった場合でもジェスチャーを認識できるようにしても構わない。さらに、上述の例示的な実施形態は、任意に、超音波診断装置の操作者から所定の設定要求および操作コマンドを受信するため、入力デバイス１３０と組み合わされる。入力デバイス１３０は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどを含む。最後に、非接触入力デバイス２００は、任意に音響または音声コマンドを受信する。更に、非接触入力デバイス２００による非接触入力の認識開始を、入力デバイス１３０との入力を契機に行っても構わない。すなわち、入力デバイス１３０（例えばフットスイッチ）が入力されたことを契機に、非接触入力デバイス２００がジェスチャーや音声コマンドの認識を開始するようにしても構わない。このような、非接触入力の認識を操作者の任意タイミングで行う構成により、操作者が意図せずにジェスチャーと似た動作を行ってしまった場合の超音波診断装置の誤動作を防ぐことができる。
　図５は、本実施形態による非接触入力デバイス２００に対する様々な入力を示す図である。非接触入力デバイス２００の一実施形態は、表示モニタ１２０に搭載され、少なくとも一対のＩＲ光２１０および深さ画像検出器２２０を含む。例えば、非接触入力デバイス２００は、対応する操作を行うための本体１０００への対応する入力信号を生成するように、操作者によって明瞭に表現されるような所定のジェスチャーＧＣを検出する。別の例では、非接触入力デバイス２００はまた、同じ操作者によって明瞭に表現されるような所定の音声コマンドＶＣを検出する。非接触入力デバイス２００は、任意に、音声コマンド部および／または図面には示されない仮想制御パネル部を含む。非接触入力デバイス２００の代替実施形態では、音声コマンド部および／または仮想制御パネル部は、非接触入力デバイス２００とは別個のユニットとして提供される。
　引き続き図５を参照すると、非接触入力デバイス２００によって、操作者が入力モードおよび入力源を柔軟な方法で変更することができる。例えば、所定の一連のジェスチャー中に、操作者は、両矢印によって示されるように左手ＬＨ’と右手ＲＨ’との間で手を入れ替えることができる。同じ理由で、非接触入力デバイス２００は、縦の両矢印によって示されるような所定のジェスチャーＧＣと所定の音声コマンドＶＣとの組み合わせを操作者から受信する。音声およびジェスチャーなどの入力コマンドは、単一の非接触入力であっても超音波診断装置の動作モードによって変更されて構わない。すなわち、非接触入力デバイス２００が認識したジェスチャー同一のジェスチャーであったとしても、超音波診断装置の動作モードが計測モードであるか、画像撮影モードであるかに応じて出力する入力コマンドを変更しても構わない。さらに、非接触入力デバイス２００は、ユーザからの音声またはジェスチャーなしに、本体１０００に対する特定の入力信号を自動的に生成する。非接触入力デバイス２００の特定の実施形態は、患者に対するプローブ１００の相対位置を連続的に検出するので、プローブ１００が患者の体表面上にはなくなると、非接触入力デバイス２００は、最新の利用可能な画像がモニタ１２０上で維持されるように、「画像をフリーズ」コマンドに対応する入力信号を生成する。上述の例では、入力源は任意に操作者からプローブに変更される。さらに、仮想制御パネル１３０－Ａの使用は任意に他のいずれかの入力モードまたは入力源と組み合わされる。仮想制御パネル１３０－Ａの使用に関して、手の位置および手の動きの検出については図２Ｂに関連して説明している。
　次に図６を参照すると、図面は単なる例証であり、超音波診断装置の一実施形態が本実施形態に従って操作される、例示的な環境を示す上述の特定の特徴に限定されない。例示的な一実施形態では、超音波診断装置には、複数の非接触入力デバイス２００ならびに複数組の接触入力デバイス１３０および表示部１２０が存在する。別の実施形態では、複数組の表示部１２０のみが超音波診断装置に存在する。いずれの実施形態でも、非接触入力デバイス２００および表示部１２０の組み合わせは、同じ建物の別の部屋および／または世界のどこかにある地理的に離れた場所など、複数の場所に位置するような例も含む。
　引き続き図６を参照すると、図面は、患者ＰＴが部屋１の診察台ＥＴに横たわる一例を示す。操作者ＯＰは、超音波画像を走査するため、片手でプローブ１００を保持し、それを患者ＰＴの上に置く。プローブ１００は、操作者ＯＰから見て患者ＰＴの向こう側に設置される本体１０００に有線または無線で接続される。操作者は、通常、診察台ＥＴの前に立ち、患者ＰＴと、やはり快適な観察のために患者ＰＴの向こう側に設置される表示部１２０Ａとに直面する。例示的な実施形態では、非接触入力デバイス２００Ａは表示部１２０Ａの上に搭載され、表示部１２０Ａが操作者ＯＰに対して調節可能に位置付けられるので、表示部１２０Ａとともに動く。
　この例では、図面には示されない別の人員のため、別の非接触入力デバイス２００Ｂおよび表示部１２０Ｂの組も部屋１に置かれる。部屋１の別の人員は、表示部１２０Ｂを受動的に観察するか、あるいは操作者ＯＰがプローブ１００を介して患者ＰＴを走査するのと同じ走査セッション中に非接触入力デバイス２００Ｂに対して操作コマンドを明瞭に表現することによって、走査セッションに能動的に参加する。例えば、超音波診断装置の操作を学習するため、数人の学生が表示モニタ１２０Ｂを通して単に走査セッションを観察する。別の例は、医師が表示モニタ１２０Ｂを介して走査セッションを観察しながら、操作者ＯＰによって記録されない追加の画像を獲得するため、非接触入力デバイス２００Ｂに対して所定のジェスチャーなどの操作コマンドを医師が明瞭に表現するものである。様々な入力デバイスからの複数の操作コマンドが予期される場合、矛盾するコマンドを解決するかまたは複数のコマンドに優先順位をつけるため、規則が前もって確立され、本体１０００に格納される。
　引き続き図６を参照すると、図面はまた、図面には示されない別の人員のために部屋２に位置する、さらに別の非接触入力デバイス２００Ｃおよび表示部１２０Ｃの組を示す。一実現例では、部屋２は部屋１と同じ建物内に位置する。例えば、部屋１は手術室であり、部屋２は隣接した観察室である。あるいは、別の実現例では、部屋２は、建物の外部で世界のどこかにあり、部屋１とは異なる場所に位置する。例えば、部屋１はある都市の診察室であり、部屋２は別の都市の診療所である。いずれの場合も、部屋２の追加の人員は、表示部１２０Ｃを受動的に観察するか、あるいは操作者ＯＰが部屋１でプローブ１００を介して患者を走査するのと同じ走査セッション中に非接触入力デバイス２００Ｃに対して操作コマンドを明瞭に表現することによって、走査セッションに能動的に参加する。例えば、超音波診断装置の操作を学習するため、数人の学生が表示モニタ１２０Ｃを介して単に走査セッションを観察する。別の例は、医師が表示モニタ１２０Ｃを介して走査セッションを観察しながら、操作者ＯＰによって記録されない追加の画像を獲得するため、非接触入力デバイス２００Ｃに対して所定のジェスチャーなどの操作コマンドを医師が明瞭に表現するものである。さらに別の例は、患者がある都市の手術室に居て、別の都市に居る医師が、手術に対する自身の専門的助言を提示するように、本実施形態による超音波診断装置を遠隔使用することによって手術を観察するものである。ジェスチャーの複数の入力源を提供することによって、専門知識を共有し学習するために複数の場所に居る人々が相互作用的に走査画像を制御することができる。様々な入力デバイスからの複数の操作コマンドが予期される場合、矛盾するコマンドを解決するかまたは複数のコマンドに優先順位をつけるため、規則が前もって確立され、本体１０００に格納される。
　図６の実施形態は単なる例証であり、本実施形態を実施するための例示的な実施形態における上述の特徴に限定されない。例えば、本実施形態を実施する際、プローブ１００、表示部１２０Ａ～Ｃ、非接触入力デバイス２００Ａ～Ｃ、および本体１０００の間で、有線または無線接続の任意の組み合わせが適用可能である。さらに本実施形態を実施する際、表示部１２０Ａおよび非接触入力デバイス２００Ａの位置は、操作者ＯＰの直ぐ前および患者ＰＴの向こう側に限定されない。同じ理由で、検査セッション中、操作者は、本実施形態を実施する際にどちらかの特定の手でプローブ１００を保持する必要がなく、任意に手を入れ替えるか、または両手を使用してプローブ１００を保持する。さらに、上述の例示的な実施形態は、任意に、超音波診断装置の操作者から所定の設定要求および操作コマンドを受信するため、入力デバイス１３０と組み合わされる。入力デバイス１３０は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどを含む。最後に、非接触入力デバイス２００Ａ～Ｃのいずれか１つは、任意に音響または音声コマンドを受信する。
　また、本実施形態に係る超音波診断装置は、上記各例に拘泥されず、例えば手術室等の一つの部屋に複数人が存在する場合においても、入力指示のためのジェスチャーを行う操作者を特定して、或いは適宜切り替えて、非接触による入力指示を実現することも可能である。例えば、超音波プローブ１００を保持する人物（すなわち操作者）を特定し、当該特定された操作者によるジェスチャーのみを、非接触による入力指示として検出するようにしてもよい。また、例えば手のひらを振る等の所定の動作を行った人物を特定し、当該特定された人物によるジェスチャーのみを、非接触による入力指示として検出するようにしてもよい。ジェスチャーの被検出者の切り替えは、さらに切り替え先の人物が例えば手のひらを振る等の同様の動作を行うことで人物を再特定させることで、実現することが可能となる。
　次に図７を参照すると、フロー図は、本実施形態による入力コマンドを処理する１つの方法に関与するステップまたは動作を示す。例示的な方法は、最初に、非接触入力コマンドおよび接触入力コマンドを識別し、後でそれら両方を処理する。一般に、非接触入力コマンドは、いずれの物理的な入力デバイスにも触れないジェスチャーおよび音声コマンドを含む。他方では、接触入力コマンドは、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどの入力デバイスを介して操作者によって引き起こされる、機械的または電子的に作動される信号を伴う。
　引き続き図７を参照すると、一種の操作者入力を識別するため、超音波診断装置用のハンドフリーユーザインターフェースの１つの例示的な方法は、フロー図に示されるような一連の判定ステップを行う。ジェスチャー判定ステップＳ１０では、例示的な方法は、入力がジェスチャーであるか否かを判定する。入力が、操作者の何らかの動きおよび／または画像を処理するデバイスもしくはユニットからのものである場合、ステップＳ１０で、入力は潜在的なジェスチャーであると判定され、例示的な方法はジェスチャー処理ステップＳ１００に移る。他方では、入力が操作者の動きおよび／または画像を処理するデバイスもしくはユニットからのものではない場合、ステップＳ１０で、入力は潜在的なジェスチャーではないと判定され、例示的な方法は音声判定ステップＳ２０に移る。入力が操作者の音声および周囲ノイズを処理するデバイスもしくはユニットからのものである場合、ステップＳ２０で、入力は潜在的な音声コマンドであると判定され、例示的な方法は音声処理ステップＳ２００に移る。他方では、入力が音声および／または周囲ノイズを処理するデバイスもしくはユニットからのものではない場合、ステップＳ２０で、入力は潜在的な音声コマンドではないと判定され、例示的な方法はパネル入力判定ステップＳ３０に移る。入力が、操作者による触覚入力、または機械的入力デバイスによって引き起こされる電気信号を処理するデバイスもしくはユニットからのものである場合、ステップＳ３０で、入力はコントロールパネルまたは他の触覚入力デバイスからの潜在的なコマンドであると判定され、例示的な方法はパネル処理ステップＳ３００に移る。他方では、入力が触覚入力を処理するデバイスもしくはユニットからのものではない場合、ステップＳ３０で、入力は潜在的な触覚入力コマンドではないと判定され、例示的な方法は終了判定ステップＳ４０に移る。終了ステップでは、それ以上の入力があるか否かが判定される。入力がない場合、例示的な方法は終了する。他方では、追加の入力がある場合、例示的な方法はステップＳ１０に戻る。
　図７の方法は単なる例証であり、本実施形態を実施するための例示的なプロセスの上述のステップに限定されない。例示的な方法は、ジェスチャー、音声、および触覚入力に対する処理ステップを示すが、本実施形態による他のプロセスは、任意に、プローブ相対位置データなどの他の入力タイプを処理する追加のステップを含む。さらに、プロセスは、任意に、コマンドの処理において並列または並直列組み合わせである。
　次に図８を参照すると、フロー図は、本実施形態によるジェスチャーを処理する１つの方法に関与するステップまたは動作を示す。ジェスチャーを処理するための例示的なフロー図は、単に、本実施形態による超音波診断装置のためのハンドフリーユーザインターフェースにおける一実施形態の例証である。ジェスチャー処理は、フロー図の任意の特定のステップに限定されず、任意に、本実施形態を実施するための追加または代替のステップを含む。一般に、ユーザ指定のタスクがジェスチャーに従って行われるように、例示的なジェスチャー処理は、最終的に、超音波診断装置に対する出力コマンド信号を判定する。
　引き続き図８を参照すると、フロー図は、潜在的なジェスチャーの整合性を確認するステップを示し、最終的に、本実施形態による超音波診断装置に対する対応する出力コマンド信号を生成する。ステップＳ１０２では、潜在的なジェスチャーが１つを超えるジェスチャー要素を含む場合、潜在的なジェスチャーが解析される。ステップＳ１０２の解析後、一般に、複数のジェスチャー要素の中で、時間的に最初に検出されたジェスチャー要素が潜在的なジェスチャーの主要コマンド部分であると仮定される。ジェスチャーステップＳ１０４では、第１のまたは最初のジェスチャー要素が所定のジェスチャーの１つであるか否かが判定される。所定ジェスチャー判定ステップＳ１０４で、第１のまたは最初のジェスチャー要素が所定のジェスチャーの１つであると判定された場合、例示的なジェスチャー処理はステップＳ１１４に移り、そこで、第１のまたは最初のジェスチャー要素に対してパラメータが必要であるか否かが判定される。
　他方では、所定ジェスチャー判定ステップＳ１０４で、第１のまたは最初のジェスチャー要素が所定のジェスチャーの１つではないと判定された場合、例示的なジェスチャー処理は代替ジェスチャー処理ステップＳ１０６に移り、そこで、初回であることを示すため、代替ジェスチャーフラグが所定のＮＯ値に初期化される。代替ジェスチャーフラグがＮＯである場合、例示的なジェスチャー処理は次に、ユーザが前回認識されなかったジェスチャーの繰返しを試すか、または別のジェスチャーをジェスチャーすることができるように、ステップＳ１０８で、モニタ上の音声および／または視覚的指示を介してユーザに「再試行」フィードバックを指示する。指示の後、代替ジェスチャー処理ステップＳ１０６は、代替ジェスチャーフラグを所定のＹＥＳ値に設定する。このようにして、例示的なジェスチャー処理は、プロンプトステップＳ１０８の後にステップＳ１０４に戻って別の潜在的なジェスチャーを処理する。
　対照的に、ステップＳ１０６で代替ジェスチャーフラグがＹＥＳの場合、例示的なジェスチャー処理は次に、ユーザが今度は前回認識されなかったジェスチャーに対して所定のジェスチャーの１つを選択するか、または別のジェスチャーを選択するように、ステップＳ１１０へ移り、モニタ上の音声および／または視覚指示を介してユーザに一連の所定のジェスチャーを指示する。ステップＳ１１０の指示の後、代替ジェスチャー選択ステップＳ１１２は、ステップＳ１１２で選択を受信した場合は代替ジェスチャーフラグを所定のＮＯ値に設定し、例示的なジェスチャー処理はステップＳ１１４に移る。あるいは、代替ジェスチャー選択ステップＳ１１２は、ステップＳ１１２で選択が受信されなかった場合は代替ジェスチャーフラグを所定のＹＥＳ値のままにし、例示的なジェスチャー処理はステップＳ１０８に戻り、次にステップＳ１０４に戻る。
　第１のまたは最初のジェスチャー要素がステップＳ１０４またはＳ１１２のどちらかで判定された後、例示的なジェスチャー処理は、ステップＳ１１４で、第１のまたは最初のジェスチャー要素によって定められた入力コマンドに対してパラメータが必要かを確認する。例えば超音波画像の計測深さ（デプス）を変更するという入力コマンドの場合、計測深さを何cmまで深くするかというパラメータを追加して入力する必要がある。ステップＳ１１４で、所定のジェスチャーリストに従って第１のまたは最初のジェスチャー要素に対してパラメータが必要であると判定された場合、例示的なジェスチャー処理は、ステップＳ１１６で、パラメータがユーザから受信されたか否かを判定する。ステップＳ１１６で必要なパラメータが受信されていない場合、例示的なジェスチャー処理はステップＳ１０８に戻り、次にステップＳ１０４に戻る。換言すれば、例示的なジェスチャー処理は、この実現例では、ユーザが最初からジェスチャーを始めることを必要とする。他方では、ステップＳ１１６で必要なパラメータが受信されている場合、例示的なジェスチャー処理はステップＳ１１８に移り、そこで対応するコマンド信号が生成され出力される。ステップＳ１１４で、所定のジェスチャーリストに従って第１のまたは最初のジェスチャー要素に対してパラメータが不要であると判定された場合、例示的なジェスチャー処理はやはりステップＳ１１８に移る。終了ステップＳ１２０では、それ以上の潜在的なジェスチャーがあるか否かが判定される。潜在的なジェスチャーがそれ以上ない場合、例示的なジェスチャー処理は終了する。他方では、追加の潜在的なジェスチャーがある場合、例示的なジェスチャー処理はステップＳ１０２に戻る。
　図８の方法は単なる例証であり、本実施形態を実施するための例示的なプロセスの上述のステップに限定されない。例示的なジェスチャー処理は、この実現例では、潜在的なジェスチャーの必要なパラメータに適合しない場合に、ユーザが最初からジェスチャーを始めることを必要とするが、本実施形態の他のプロセスは、任意に、必要なパラメータに対する部分的なジェスチャーについてのみ指示する追加のステップを含む。
　次に表１を参照すると、例示的な一連のジェスチャーが、本実施形態による超音波診断装置における実現例について示される。ジェスチャーによって表されるような「走査深さ変更」などのタスクの一部は超音波画像診断に関連し、「患者データ選択」などの他のものは他のモダリティについて総称的である。表１の左欄は、本実施形態による超音波診断装置によって行われるタスクを列挙している。表１の中央欄は、本実施形態による超音波診断装置によって行われるタスクそれぞれに関して、対応するコマンドを入力する先行技術のユーザインターフェースについて説明している。表１の右欄は、本実施形態による超音波診断装置によって行われるタスクそれぞれに関して、所定のジェスチャーについて説明している。
Figure JPOXMLDOC01-appb-T000001
　引き続き表１を参照すると、リストは、本実施形態を実施するための例によって限定されない。リストは単なる例証であり、コマンドの包括的なリストではない。リストはまた、単に、列挙したコマンドそれぞれに対する例示的なジェスチャーを示し、同じジェスチャーが、ユーザが好む様々なジェスチャーによって任意に実現される。これに関して、ジェスチャーは任意に、ジェスチャーそれぞれに対して特注されるか、または所定のジェスチャーから選択される。最後に、図６に関して上述したように、ジェスチャーは、本実施形態による超音波診断装置の操作者と操作者以外との任意の組み合わせによって使用される。
　なお、上記実施形態においては、超音波診断装置を例として本実施形態に係る非接触入力機能を説明した。しかしながら、当該例に拘泥されず、例えば、Ｘ線診断装置、Ｘ線コンピュータ断層撮像装置、磁気共鳴イメージング装置、核医学診断装置等の各種医用画像診断装置の入力指示においても、適用することができる。またあるいは、予め保存された医用画像を読み出して並べて表示させ、医用画像を用いた計測作業や医用画像の画像編集、医用画像への所見入力等を行う医用画像表示装置、所謂ワークステーションに対する入力指示においても適用することができる。
　以上述べた構成によれば、操作者は、接触入力デバイスに届くように移動したり、姿勢を変えずに、所定のジェスチャーを行うことで、所望のコマンドを簡単かつ迅速に入力することができる。従って、操作者の身体的負担を軽減することができ、且つ迅速な撮像処理の実現に寄与することができる。これは、例えば超音波診断装置のように、超音波プローブ等を操作する撮影者と装置に所望のコマンドを入力する操作者とが同一人物である場合に、特に実益がある。また、これに限らず、非接触入力デバイスはどこでも配置できることから、超音波プローブ等を操作する撮影者と装置の操作を行う操作者との分業を簡易に実現することができ、操作者の身体的負担を軽減することができる。
　例えば、超音波診断装置は、手術中の患部モニタリングに用いられることがある。係る場合、衛生上の観点から、術中に術者或いは被術者に接触する超音波診断装置の領域は、厳しく衛星管理可能な必要最低限の領域であることが好ましい。本実施形態によれば、被接触による所望のコマンド入力が可能であるため、術中に術者或いは被術者に接触する領域を超音波プローブのみとすることができる。その結果、従来に比して、衛生管理を向上させることができる。
　特定の実施形態について説明してきたが、これらの実施形態は単に一例として提示したものであり、実施形態の範囲を限定しようとするものではない。実際に、本明細書で説明した新規な方法およびシステムは、様々な他の形態で具体化されてもよく、さらに、実施形態の趣旨から逸脱することなく、本明細書で説明した方法およびシステムの形態における様々な省略、置換、および変更がなされてもよい。添付の請求項およびその等価物は、実施形態の範囲内にあるものとして、かかる形態または修正を包含するものとする。
　さらに、上述の実施形態は、デバイス、装置、および方法などの例に関して説明されている。本実施形態を実施する別の実施形態は、超音波システムのハンドフリー操作用のプログラムなど、それが格納された記録媒体からコンピュータにロードされるコンピュータソフトウェアを含む。

Claims (14)

  1. 　超音波プローブを介して被検体を超音波走査することで超音波データを取得し、当該超音波データを用いて超音波画像を生成し表示する超音波診断装置であって、
    　操作者からの非接触入力指示を検出する検出ユニットと、
    　前記検出された非接触入力指示に応じた入力コマンドを生成するコマンド生成ユニットと、
    　前記生成されたコマンドに応答して、当該超音波診断装置の動作を制御する制御ユニットと、
    　を具備することを特徴とする超音波診断装置。
  2. 　前記操作者に向けて所定の指示を入力するための入力画像を所定の位置に投影する投影ユニットをさらに具備し、
    　前記検出ユニットは、前記投影された入力画像へ向けて行われた前記非接触入力指示を検出すること、
    　を特徴とする請求項１記載の超音波診断装置。
  3. 　操作者の所定のジェスチャーと前記超音波診断装置の所定の動作とを対応付けて登録する登録ユニットをさらに具備し、
    　前記検出ユニットは、前記操作者の所定のジェスチャーを前記非接触入力として検出し、
    　前記コマンド生成ユニットは、前記検出された非接触入力と対応づけて登録された前記前記超音波診断装置の所定の動作を実行するための入力コマンドを生成すること、
    　を特徴とする請求項１又は２記載の超音波診断装置。
  4. 　前記検出ユニットは、前記非接触入力指示に加えて、前記操作者からの音声入力指示を検出し、
    　前記コマンド生成ユニットは、前記検出された音声入力指示に応じた入力コマンドを生成すること、
    　を特徴とする請求項１乃至３のうちいずれか一項記載の超音波診断装置。
  5. 　前記操作者を判別する判別ユニットをさらに具備し、
    　前記検出ユニットは、前記判別ユニットによって判別された前記操作者からの非接触入力指示を検出すること、
    　を特徴とする請求項１乃至４のうちいずれか一項記載の超音波診断装置。
  6. 　前記判別ユニットは、前記超音波プローブの空間的位置に基づいて、前記操作者を判別することを特徴とする請求項５記載の超音波診断装置。
  7. 　前記判別ユニットは、複数の前記操作者のうち１人によって行われる所定のジェスチャーの検出に基づいて、以降の前記非接触入力指示の検出対象とする前記操作者を判別することを特徴とする請求項５記載の超音波診断装置。
  8. 　前記操作者とは異なる他の少なくとも一人の操作者からの非接触入力指示を検出する少なくとも一つの他の検出ユニットをさらに具備し、
    　前記コマンド生成ユニットは、前記少なくとも一つの他の検出ユニットによって前記検出された非接触入力指示に応じた入力コマンドを生成すること、
    　を特徴とする請求項１乃至７のうちいずれか一項記載の超音波診断装置。
  9. 　前記検出ユニットは、前記操作者が前記超音波プローブを前記被検体表面から離したジェスチャーを検出し、
    　前記コマンド生成ユニットは、前記検出された非接触入力指示に応じて、表示ユニットに表示された超音波画像をフリーズする前記入力コマンドを生成すること、
    　を特徴とする請求項１乃至８のうちいずれか一項記載の超音波診断装置。
  10. 　前記検出ユニットは、前記超音波診断装置本体に接続された前記超音波プローブのタイプを検出し、
    　前記コマンド生成ユニットは、前記検出されたタイプに基づいて、前記超音波走査に用いる少なくとも一つのパラメータを自動的に設定する前記入力コマンドを生成すること、
    　を特徴とする請求項１乃至９のうちいずれか一項記載の超音波診断装置。
  11. 　接触入力により入力操作を検出する接触入力検出ユニットとを更に備え、
    　前記検出ユニットは、前記接触入力検出ユニットによって入力操作が行われたことを契機に前記非接触入力指示の検出を行うこと、
    　を特徴とする請求項１乃至１０のうちいずれか一項記載の超音波診断装置。
  12. 　被検体を撮像することで前記被検体に関する撮像データを取得し、当該撮像波データを用いて医用画像を生成し表示する医用画像診断装置であって、
    　操作者からの非接触入力指示を検出する検出ユニットと、
    　前記検出された非接触入力指示に応じた入力コマンドを生成するコマンド生成ユニットと、
    　前記生成されたコマンドに応答して、当該医用画像診断装置の動作を制御する制御ユニットと、
    　を具備することを特徴とする医用画像診断装置。
  13. 　超音波プローブを介して被検体を超音波走査することで超音波データを取得し、当該超音波データを用いて超音波画像を生成し表示する超音波診断装置の制御プログラムであって、コンピュータに、
    　操作者からの非接触入力指示を検出させる検出機能と、
    　前記検出された非接触入力指示に応じた入力コマンドを生成させるコマンド生成機能と、
    　前記生成されたコマンドに応答して、当該超音波診断装置の動作を制御させる制御機能と、
    　を実現させることを特徴とする超音波診断装置制御プログラム。
  14. 　医用画像を表示する医用画像表示装置であって、
    　操作者からの非接触入力指示を検出する検出ユニットと、
    　前記検出された非接触入力指示に応じた入力コマンドを生成するコマンド生成ユニットと、
    　前記生成されたコマンドに応答して、当該医用画像表示装置の動作を制御する制御ユニットと、
    　を具備することを特徴とする医用画像表示装置。
PCT/JP2013/055460 2012-02-29 2013-02-28 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム Ceased WO2013129590A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380003711.8A CN104023645A (zh) 2012-02-29 2013-02-28 超声波诊断装置、医用图像诊断装置及超声波诊断装置控制程序
EP13755432.5A EP2821012A1 (en) 2012-02-29 2013-02-28 Ultrasound diagnostic equipment, medical diagnostic imaging equipment, and ultrasound diagnostic equipment control program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/408,217 US20130225999A1 (en) 2012-02-29 2012-02-29 Gesture commands user interface for ultrasound imaging systems
US13/408,217 2012-02-29
JP2013-038496 2013-02-28
JP2013038496A JP2013180207A (ja) 2012-02-29 2013-02-28 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム

Publications (1)

Publication Number Publication Date
WO2013129590A1 true WO2013129590A1 (ja) 2013-09-06

Family

ID=49003728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/055460 Ceased WO2013129590A1 (ja) 2012-02-29 2013-02-28 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム

Country Status (5)

Country Link
US (1) US20130225999A1 (ja)
EP (1) EP2821012A1 (ja)
JP (1) JP2013180207A (ja)
CN (1) CN104023645A (ja)
WO (1) WO2013129590A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024116145A (ja) * 2018-11-30 2024-08-27 フジフイルム ソノサイト インコーポレイテッド タッチレス入力超音波制御法

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US12260023B2 (en) 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
CN104081411B (zh) 2012-01-20 2017-12-05 美涤威公司 用以防止污染的人机输入识别的使用
KR101925058B1 (ko) 2012-04-26 2018-12-04 삼성전자주식회사 초음파 장치의 버튼의 기능을 버튼에 디스플레이하는 방법 및 장치
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
AU2013389714A1 (en) * 2013-05-16 2015-10-15 Wavelight Gmbh Touchless user interface for ophthalmic devices
KR20150003560A (ko) 2013-07-01 2015-01-09 삼성전자주식회사 사용자의 모션 정보에 기초하여 사용자 인터페이스(ｕｉ)를 변경시키는 방법 및 장치
US9557905B2 (en) * 2013-12-18 2017-01-31 General Electric Company System and method for user input
US10423226B2 (en) 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
KR20150102589A (ko) * 2014-02-28 2015-09-07 삼성메디슨 주식회사 의료 영상 처리 장치, 의료 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
WO2015174422A1 (ja) * 2014-05-12 2015-11-19 株式会社 東芝 超音波診断装置とそのプログラム
US11977998B2 (en) 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
US20170031586A1 (en) * 2014-05-15 2017-02-02 Sony Corporation Terminal device, system, method of information presentation, and program
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
CN204274404U (zh) * 2014-09-12 2015-04-22 无锡海斯凯尔医学技术有限公司 一种弹性检测探头
WO2016047173A1 (ja) * 2014-09-24 2016-03-31 オリンパス株式会社 医療システム
EP3228253B1 (en) * 2014-12-02 2021-12-22 Olympus Corporation Medical observation device, method for operating medical observation device, and program for operating medical observation device
WO2016087984A1 (en) * 2014-12-04 2016-06-09 Koninklijke Philips N.V. Ultrasound system control by motion actuation of ultrasound probe
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US20160317122A1 (en) * 2015-04-28 2016-11-03 Qualcomm Incorporated In-device fusion of optical and inertial positional tracking of ultrasound probes
JP6017746B1 (ja) * 2015-04-30 2016-11-02 オリンパス株式会社 医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラム
US9847093B2 (en) * 2015-06-19 2017-12-19 Samsung Electronics Co., Ltd. Method and apparatus for processing speech signal
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
JP6791617B2 (ja) * 2015-06-26 2020-11-25 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波画像表示装置及びプログラム
KR101602455B1 (ko) * 2015-10-14 2016-03-10 알피니언메디칼시스템 주식회사 동작인식 입력 기반 초음파 진단 장치
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US20180042578A1 (en) * 2016-08-12 2018-02-15 Carestream Health, Inc. Automated ultrasound image measurement system and method
CN106725591A (zh) * 2016-11-01 2017-05-31 河池学院 一种基于机器人的b超检测方法
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
JP7040071B2 (ja) * 2018-02-02 2022-03-23 コニカミノルタ株式会社 医用画像表示装置及び非接触入力方法
WO2021069336A1 (en) * 2019-10-08 2021-04-15 Koninklijke Philips N.V. Augmented reality based untethered x-ray imaging system control
EP4176820B1 (en) 2020-07-01 2025-02-26 FUJIFILM Corporation Ultrasonic diagnostic device, ultrasonic diagnostic device control method, and processor for ultrasonic diagnostic device
JP7634860B2 (ja) * 2020-11-17 2025-02-25 株式会社モリタ東京製作所 診療用装置および情報処理システム
CN114601493A (zh) * 2020-12-09 2022-06-10 财团法人工业技术研究院 超声波扫描操作引导系统与超声波扫描操作引导方法
CN112932455A (zh) * 2021-01-28 2021-06-11 上海联影医疗科技股份有限公司 磁共振成像设备及磁共振扫描方法
US12011237B2 (en) 2021-05-26 2024-06-18 Mazor Robotics Ltd. System and method of gesture detection and device positioning
DE102022204919A1 (de) 2022-05-18 2023-11-23 Zimmer Medizinsysteme Gmbh Medizinisches Gerät und Verfahren zum Betreiben des medizinischen Geräts
EP4318487A1 (en) * 2022-08-05 2024-02-07 Carl Zeiss Meditec AG Remote control of radiation therapy medical device
US12340627B2 (en) 2022-09-26 2025-06-24 Pison Technology, Inc. System and methods for gesture inference using computer vision
US12366920B2 (en) 2022-09-26 2025-07-22 Pison Technology, Inc. Systems and methods for gesture inference using transformations
US12366923B2 (en) 2022-09-26 2025-07-22 Pison Technology, Inc. Systems and methods for gesture inference using ML model selection
US12499713B2 (en) 2023-06-08 2025-12-16 KUB Technologies, Inc. System and method for hand gesture control of cabinet x-ray systems
US12502110B2 (en) 2023-10-24 2025-12-23 Pison Technology, Inc. Systems and methods for determining physiological state based on surface biopotentials

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029139A (ja) * 1983-07-28 1985-02-14 富士通株式会社 超音波診断装置
JPH09238944A (ja) * 1996-03-13 1997-09-16 Fujitsu Ltd 超音波診断装置
JPH11313801A (ja) * 1998-02-11 1999-11-16 Siemens Ag 医学技術的システム
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および／または治療装置の操作方法
JP2011232894A (ja) * 2010-04-26 2011-11-17 Renesas Electronics Corp インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020173721A1 (en) * 1999-08-20 2002-11-21 Novasonics, Inc. User interface for handheld imaging devices
US9750425B2 (en) * 2004-03-23 2017-09-05 Dune Medical Devices Ltd. Graphical user interfaces (GUI), methods and apparatus for data presentation
US20080097176A1 (en) * 2006-09-29 2008-04-24 Doug Music User interface and identification in a medical device systems and methods
US8795172B2 (en) * 2007-12-07 2014-08-05 Sonitus Medical, Inc. Systems and methods to provide two-way communications
US8554307B2 (en) * 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029139A (ja) * 1983-07-28 1985-02-14 富士通株式会社 超音波診断装置
JPH09238944A (ja) * 1996-03-13 1997-09-16 Fujitsu Ltd 超音波診断装置
JPH11313801A (ja) * 1998-02-11 1999-11-16 Siemens Ag 医学技術的システム
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および／または治療装置の操作方法
JP2011232894A (ja) * 2010-04-26 2011-11-17 Renesas Electronics Corp インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024116145A (ja) * 2018-11-30 2024-08-27 フジフイルム ソノサイト インコーポレイテッド タッチレス入力超音波制御法
US12364461B2 (en) 2018-11-30 2025-07-22 Fujifilm Sonosite, Inc. Touchless input ultrasound control

Also Published As

Publication number Publication date
JP2013180207A (ja) 2013-09-12
CN104023645A (zh) 2014-09-03
EP2821012A1 (en) 2015-01-07
US20130225999A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
WO2013129590A1 (ja) 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム
KR101705120B1 (ko) 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
US11690602B2 (en) Methods and apparatus for tele-medicine
KR101566198B1 (ko) 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치
JP6598508B2 (ja) 超音波診断装置とそのプログラム
US9962143B2 (en) Medical diagnosis apparatus, ultrasound observation system, method for operating medical diagnosis apparatus, and computer-readable recording medium
US9192356B2 (en) Ultrasound diagnosis apparatus
JP6968576B2 (ja) 超音波診断装置及び超音波診断支援装置
EP3040030B1 (en) Ultrasound image providing apparatus and method
JP7321836B2 (ja) 情報処理装置、検査システム及び情報処理方法
WO2014129425A1 (ja) 超音波診断装置及び医用画像処理装置
JP6720001B2 (ja) 超音波診断装置、及び医用画像処理装置
US10856853B2 (en) Ultrasound diagnosis apparatus, method of controlling ultrasound diagnosis apparatus, and storage medium having the method recorded thereon
JP2013116138A (ja) 画像処理装置及び方法
CN102144234A (zh) 超声成像
JP6206155B2 (ja) 超音波診断装置
JP6744443B2 (ja) 超音波画像診断装置及びプログラム
JP6538130B2 (ja) 画像処理装置及びプログラム
JP2006192030A (ja) 超音波画像診断装置
US20210251606A1 (en) Ultrasonic diagnostic apparatus, operating method of ultrasonic diagnostic apparatus, and storage medium
KR101630764B1 (ko) 초음파 진단 장치, 초음파 진단 장치의 제어 방법 및 그를 기록한 기록 매체
JP7422101B2 (ja) 超音波診断システム
CN119279557A (zh) 医学成像系统及其控制方法
JP2024002653A (ja) 超音波診断装置、超音波診断方法、超音波診断プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013755432

Country of ref document: EP