JP6661110B2

JP6661110B2 - Auscultation system

Info

Publication number: JP6661110B2
Application number: JP2016020021A
Authority: JP
Inventors: 村田　嘉利; 嘉利村田; 奈都子小山; 良仁遠藤
Original assignee: Iwate Prefectural University
Current assignee: Iwate Prefectural University
Priority date: 2016-02-04
Filing date: 2016-02-04
Publication date: 2020-03-11
Anticipated expiration: 2036-02-04
Also published as: JP2017136248A

Description

本発明は、例えば聴診のトレーニングの際に利用される聴診システムに関する。 The present invention relates to an auscultation system used for auscultation training, for example.

医師を目指す医学生、看護師を目指す看護学生などの実習生は、聴診のスキルを修得しなければならない。そのための技術として、マネキン、教育用聴診システムなどが開発されている（例えば特許文献１乃至５）。 Apprentices, such as medical students who become doctors and nursing students who become nurses, must acquire auscultation skills. Mannequins, educational auscultation systems, and the like have been developed as techniques for that purpose (for example, Patent Documents 1 to 5).

特許文献１は聴診教育用装置を開示ており、その聴診教育用装置では、人体の上半身を模して形成された人体モデルと、人体モデルに対して模擬的に聴診動作を行うための模擬聴診器と、模擬聴診器による聴診動作を検知する聴診検知センサと、模擬聴診器及び聴診検知センサとそれぞれ接続された制御部とを備えており、制御部が聴診動作を検知した聴診検知センサから送出される検知シグナルを受け付け、模擬聴診器の耳管部に設けられた生体音再生部から、検知シグナルに対応する聴診位置の心音及び呼吸音などの生体音を再生させている。 Patent Document 1 discloses an auscultation education device. In the auscultation education device, a simulated auscultation for performing a simulated auscultation operation on a human body model formed by imitating the upper body of a human body and a human body model. A stethoscope, a stethoscope detecting sensor for detecting auscultation operation by the simulated stethoscope, and a control unit connected to the simulated stethoscope and the auscultation detection sensor, respectively. The detection signal received is received, and the body sound such as the heart sound and the respiratory sound at the auscultation position corresponding to the detection signal is reproduced from the body sound reproduction unit provided in the ear canal part of the simulated stethoscope.

特許文献２では、ウェットスーツタイプの装着具本体３の全面に面接触型圧力センサを埋設しておき、各面接触型圧力センサが接触位置及び接触圧力を検出することで、センサ信号を出力し、聴診動作を認識及び把握を可能にしている。 In Patent Literature 2, a surface contact type pressure sensor is embedded in the entire surface of a wet suit type wearing tool main body 3, and each surface contact type pressure sensor detects a contact position and a contact pressure to output a sensor signal. This makes it possible to recognize and grasp the auscultation operation.

特許文献３は聴診訓練装置を開示しており、その聴診訓練装置では、マネキンに対して聴診装置の位置を検出するための手段を含む医療用訓練マネキンと、相対的な位置を検出するための手段と電子的な通信状態にある制御器と、制御器と電子的な通信状態にある聴診訓練音データベースと、そのデータベースから伝えられる音ファイルを音波信号に変換する音発生装置と、その音発生装置からの音波信号を人間の耳に送信するように適合された耳ピースを有する聴診装置と、を備えている。医療用訓練マネキンにおいて聴診装置の位置を検出するための手段としては、マネキンに近接した聴診装置の相対的な位置を求めるように適合された近接スイッチを少なくとも一つ配列した形態、聴診装置に配列された少なくとも一つの送信器ビーコンとマネキン上に配置された少なくとも二つ以上の受信器を含む三角測量システムを用いる形態が開示されている。 Patent Document 3 discloses an auscultation training device, in which a medical training mannequin including means for detecting the position of the auscultation device with respect to the mannequin, and a device for detecting a relative position. A controller in electronic communication with the means, an auscultation training sound database in electronic communication with the controller, a sound generator for converting a sound file transmitted from the database to a sound signal, and the sound generation An auscultation device having an earpiece adapted to transmit sound wave signals from the device to a human ear. Means for detecting the position of the auscultation device in a medical training manikin include a configuration in which at least one proximity switch adapted to determine the relative position of the auscultation device proximate to the manikin is arranged; An embodiment is disclosed using a triangulation system that includes at least one transmitter beacon configured and at least two or more receivers located on a mannequin.

特許文献４は聴覚トレーニングシステムを開示しており、そのシステムでは、実習生が模擬的に聴診動作を行うために使用する模擬聴診器と、模擬聴診器の採音部の位置を検出する位置検知手段と、模擬患者に対して呼吸タイミングを提示する呼吸タイミング提示手段と、生体音データベースを内蔵し、模擬聴診器の位置に応じて適切な生体音を生成する制御手段と、制御手段で生成した生体音を無線通信により送信する送信部を備えて構成されている。ここで、採音部は、機械的スイッチを配した当接検知手段と、採音部の上面である聴診面の裏面に取着され採音部が体表に当接した時に赤外線光を発する位置表示手段と有して構成する。一方、位置検知手段は、位置表示手段の位置を検知するために、赤外線記録が可能な二次元ＣＣＤカメラが利用される。このような構成により、当接検知手段は、採音部の模擬患者体表に対する当接状態を検知し、採音部が模擬患者の体表へ当接している状態でのみ発光するので、位置検知手段がその発光を検知する。 Patent Literature 4 discloses an auditory training system. In this system, a simulated stethoscope used by a trainee to perform a simulated auscultation operation, and position detection for detecting a position of a sound collecting unit of the simulated stethoscope are disclosed. Means, a respiratory timing presenting means for presenting respiratory timing to the simulated patient, a control means for incorporating a body sound database, and generating an appropriate body sound according to the position of the simulated stethoscope, and a control means It is configured to include a transmission unit that transmits body sounds by wireless communication. Here, the sound pickup unit emits infrared light when the sound pickup unit is attached to the back surface of the auscultation surface, which is the upper surface of the sound pickup unit, and is in contact with the body surface, and a contact detection unit provided with a mechanical switch. It comprises a position display means. On the other hand, as the position detecting means, a two-dimensional CCD camera capable of infrared recording is used to detect the position of the position displaying means. With such a configuration, the contact detection unit detects the contact state of the sound pickup unit with the simulated patient body surface, and emits light only when the sound pickup unit is in contact with the simulated patient body surface. The detecting means detects the light emission.

特許文献５では、医学的容態をシミュレートして医学トレーニングを容易に実現するシステムについて開示されており、そのシステムでは、移動式であるように形成されたローミングデバイスと、ローミングデバイスの位置情報を決定するように構成されたポジショニングデバイスと、位置情報を受け取り位置情報の領域の既定セットと比較しかつ位置情報が領域の既定セットと一致する場合に医学的様態を示す情報を送信するように構成されたコンピューティングデバイスを備えている。ローミングデバイスの位置はポジショニングデバイスにより決定され、そのために磁気追跡システム、光学的追跡システム、センサデバイスの何れかが使用される。 Patent Literature 5 discloses a system that simulates a medical condition and facilitates medical training. In the system, a roaming device that is formed to be mobile and position information of the roaming device are disclosed. A positioning device configured to determine and configured to receive the location information, compare the location information with a predefined set of regions of location information, and transmit information indicative of a medical condition when the location information matches the predefined set of regions. Computing device. The position of the roaming device is determined by the positioning device, for which a magnetic tracking system, an optical tracking system or a sensor device is used.

特開２００５−０７７５２１号公報（フロント頁）JP 2005-077521 A (front page) 特開２００５−２２７５３４号公報（フロント頁）JP 2005-227534 A (front page) 特表２０１１-５０２６４０号公報（請求項１、請求項６、請求項７）Japanese Unexamined Patent Application Publication No. 2011-502640 (Claims 1, 6, and 7) 特開２０１２‐２４７５１３号公報（段落００３０）JP 2012-247513 A (paragraph 0030) 特表２００８-５１８２７７号公報（段落０００９、段落００１０、００３３、００３４）JP-T-2008-518277 (paragraph 0009, paragraph 0010, 0033, 0034)

特許文献１乃至４のように、聴診スキルを修得するために利用されるマネキンや疑似聴診器はセンサを装着しており、実習生がそのセンサに接触して、その場所を特定しているので、正確な接触位置を求めることができる。しかしながら、そのようなマネキンや疑似聴診器の類は高価であるのみならず、体型の違いによる聴診器を当てる位置の変更に対応できない。特許文献５では、ローミングデバイスの位置を三次元的に取得し、デバイスと被験者の接触を位置情報から判定するように設計されているが、接触の判定を位置情報から判定することが極めて精度が求められ誤判定が多発するという課題があると、特許文献４では述べている。また、特許文献１乃至５のいずれも、呼吸に伴う体動の変化に応じて呼気音と排気音を発生することは出来ない。 As in Patent Documents 1 to 4, mannequins and pseudo stethoscopes used to acquire auscultation skills are equipped with sensors, and trainees contact the sensors to identify the location. , An accurate contact position can be obtained. However, such mannequins and simulated stethoscopes are not only expensive but also cannot cope with a change in the position where the stethoscope is applied due to differences in body shape. In Patent Document 5, it is designed to acquire the position of the roaming device three-dimensionally and determine the contact between the device and the subject from the position information. However, it is extremely accurate to determine the contact from the position information. Patent Literature 4 states that there is a problem that the number of erroneous determinations that are required is frequent. In addition, none of Patent Documents 1 to 5 cannot generate an expiration sound and an exhaust sound in accordance with a change in body motion caused by breathing.

そこで、本発明は、出来るだけ安価で聴診スキルを取得できるような聴診システムを提供することを目的とする。 Therefore, an object of the present invention is to provide an auscultation system capable of acquiring auscultation skills at as low a cost as possible.

本発明のコンセプトは以下のとおりである。
［１］聴診器を用いて聴診される人物に向けて配置されるカメラと、
前記カメラにより作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、当該聴診器が当てられるべき位置を推定すると共に、前記カメラにより作成された聴診器を含む像に関する画像データから前記聴診器の位置を追跡し、該聴診器が身体の表面に当てられたか否かを判断する処理部と、
を備える、聴診システム。
［２］前記処理部は、前記聴診器の位置を追跡し、前記カメラの位置を原点として、前記骨格フレームのうちの両肩及び両腰の座標データと前記聴診器の座標データとを求め、前記聴診器が両肩及び両腰の位置から一定の範囲内にあるか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］に記載の聴診システム。
［３］前記処理部は、前記聴診器の位置を追跡し、前記骨格フレームのうちの両肩及び両腰の前記カメラの位置からの距離データと前記聴診器の前記カメラの位置からの距離データとの差が一定の範囲内に入っているか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］又は［２］に記載の聴診システム。
［４］前記処理部は、前記聴診器の位置を追跡し、前記聴診器周りの一又は複数のポイントの前記カメラからの距離データと前記聴診器の前記カメラからの距離データとを求め、その求めた距離データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］乃至［３］の何れかに記載の聴診システム。
［５］前記処理部は、前記聴診器の位置を追跡し、前記カメラを原点として、前記聴診器周りの一又は複数のポイントの座標データと前記聴診器の座標データとを求め、その求めた座標データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］乃至［４］の何れかに記載の聴診システム。
［６］前記処理部は、前記聴診器が身体の表面に当てられた時間を測定する、前記［１］乃至［５］の何れかに記載の聴診システム。
［７］前記処理部は、前記骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の前記計測ポイントの前記カメラを原点とする座標データ、若しくは各々の前記計測ポイントの前記カメラからの距離データの時間経過に伴う変化、前記骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化又は前記変化の組合せに基づき、空気を吸っているか又は空気を吐いているかを判断する、前記［１］乃至［６］の何れかに記載の聴診システム。
［８］前記処理部は、吸気と呼気の繰り返しを１サイクル以上にわたって前記聴診器が身体に当てられたか否か判断する、前記［７］に記載の聴診システム。
［９］呼吸音、心音、腹部音の少なくとも何れかの音を記憶した記憶部をさらに備え、
前記処理部は、骨格フレームに対する聴診器の位置に応じて前記記憶部中の音を選択して出力する、前記［１］乃至［８］の何れかに記載の聴診システム。
［１０］前記処理部は、前記記憶部に記憶した呼吸音から、空気を吸っている期間は吸気音を、空気を吐いている期間は呼気音を再生する、前記［９］に記載の聴診システム。
［１１］前記カメラが作成した画像データと前記記憶部から選択した音とを関連付けて、聴診の状況を記憶するトレーニー状況記憶部を、さらに備える、前記［９］又は［１０］に記載の聴診システム。
［１２］前記処理部は、前記カメラが撮影した人物の像の上に聴診する位置を表示する、前記［１］乃至［１１］の何れかに記載の聴診システム。
［１３］前記処理部は、前記聴診器が当てられるべき位置を、前記カメラの位置を原点とする骨格フレームのうちの両肩及び両腰の座標データから決定する、前記［１］乃至［１２］の何れかに記載の聴診システム。
［１４］基準となる人物の両肩の位置データと両腰の位置データと当該人物に対する聴診位置に関するデータとを、聴診の順番の情報を特定して格納する参照データ部を備えた、前記［１］乃至［１３］の何れかに記載の聴診システム。
［１５］前記処理部は、骨格フレームに対して聴診器の位置が一定時間上下左右に変化しないと判断すると、前記参照データ部と照合し、聴診の位置及び順番が正しいか否かを判断する、前記［１４］に記載の聴診システム。
［１６］前記処理部は、前記参照データ部に格納された両肩の位置データ及び両腰の位置データと、人物の両肩の位置データ及び両腰の位置データとを比較して、前記参照データ部に格納された聴診位置に関するデータを校正する、前記［１４］又は［１５］に記載の聴診システム。 The concept of the present invention is as follows.
[1] a camera arranged toward a person to be auscultated using a stethoscope;
From the image data on the image of the person created by the camera, estimate the skeleton frame of the person, estimate the position to which the stethoscope should be applied , and image data on the image including the stethoscope created by the camera A processing unit that tracks the position of the stethoscope from and determines whether the stethoscope has been applied to the surface of the body,
A stethoscope system comprising:
[2] The processing unit tracks the position of the stethoscope, obtains coordinate data of both shoulders and both hips of the skeletal frame and coordinate data of the stethoscope, using the position of the camera as an origin, The stethoscope according to [1], wherein it is determined whether or not the stethoscope has been applied to the surface of the body based on whether or not the stethoscope is within a certain range from the positions of both shoulders and both hips.
[3] The processing unit tracks the position of the stethoscope, and distance data from the camera position of both shoulders and both hips of the skeletal frame and distance data of the stethoscope from the camera position. The auscultation system according to [1] or [2], wherein it is determined whether or not the stethoscope has been applied to the surface of the body based on whether or not the difference between the stethoscope and the stethoscope falls within a predetermined range.
[4] The processing unit tracks the position of the stethoscope, obtains distance data from the camera of one or more points around the stethoscope and distance data from the camera of the stethoscope, The auscultation system according to any of [1] to [3], wherein it is determined whether or not the stethoscope has been applied to the surface of the body by comparing the obtained distance data.
[5] The processing unit tracks the position of the stethoscope, obtains coordinate data of one or more points around the stethoscope and coordinate data of the stethoscope using the camera as the origin, and obtains the coordinate data. The auscultation system according to any of [1] to [4], wherein it is determined whether the stethoscope has been applied to the surface of the body by comparing coordinate data.
[6] The auscultation system according to any one of [1] to [5], wherein the processing unit measures a time when the stethoscope is applied to a surface of a body.
[7] The processing unit sets one or a plurality of measurement points on the body surface from the coordinate data of an arbitrary joint of the skeletal frame, and sets coordinate data of each of the measurement points with the camera as an origin, or The change over time of the distance data from the camera of the measurement point, the change over time in the vertical direction of both shoulders from the coordinate data of both shoulders of the skeletal frame, or a combination of the changes, The auscultation system according to any one of [1] to [6], wherein it is determined whether the person is inhaling or exhaling air.
[8] The stethoscope system according to [7], wherein the processing unit determines whether or not the stethoscope has been applied to the body for at least one cycle of repetition of inhalation and expiration.
[9] a storage unit that stores at least one of breath sounds, heart sounds, and abdominal sounds;
The stethoscope system according to any one of [1] to [8], wherein the processing unit selects and outputs a sound in the storage unit according to a position of the stethoscope with respect to a skeleton frame.
[10] The auscultation according to [9], wherein the processing unit reproduces, from the breath sounds stored in the storage unit, an inhalation sound during a period of inhaling air and an expiration sound during a period of exhaling air. system.
[11] The auscultation according to [9] or [10], further comprising a trainee status storage unit that stores the status of the auscultation by associating the image data created by the camera with a sound selected from the storage unit. system.
[12] The auscultation system according to any of [1] to [11], wherein the processing unit displays an auscultation position on an image of a person photographed by the camera.
[13] The processing unit determines the position to which the stethoscope should be applied from coordinate data of both shoulders and both hips of a skeleton frame whose origin is the position of the camera. ] The auscultation system according to any one of the above.
[14] The reference data section, wherein the reference data section that specifies information on the order of auscultation and stores the data on the positions of the shoulders and both hips of the reference person and the data on the auscultation position with respect to the person is stored. The auscultation system according to any one of [1] to [13].
[15] When the processing unit determines that the position of the stethoscope does not change vertically and horizontally with respect to the skeleton frame for a certain period of time, the processing unit compares the stethoscope with the reference data unit and determines whether the position and order of the auscultation are correct. Auscultation system according to [14].
[16] The processing section compares the position data of both shoulders and both hips stored in the reference data section with the position data of both shoulders and both hips of the person, The auscultation system according to [14] or [15], wherein the data relating to the auscultation position stored in the data unit is calibrated.

本発明によれば、処理部が、カメラにより作成された人物を含む像に関する画像データに基いて、当該人物の任意の部位、例えば肩、腰などを推定し、聴診器が当てられるべき位置を推定する。よって、聴診器の位置を、別途、認識又は追跡し、聴診器が当てられるべき位置と聴診器の位置とを比較し、当該人物に聴診器が適切な位置に当たっているか否かを判断することができる。従って、専用のマネキンを使用しないで、例えば学生同士、先輩後輩同士で訓練をすることができ、出来るだけ安価で聴診スキルを修得可能な聴診システムを提供することができる。 According to the present invention, the processing unit estimates an arbitrary part of the person, for example, a shoulder, a waist, etc., based on the image data on the image including the person created by the camera, and determines a position to which a stethoscope should be applied. presume. Therefore, it is possible to separately recognize or track the position of the stethoscope, compare the position where the stethoscope should be applied with the position of the stethoscope, and determine whether or not the stethoscope has hit the appropriate position for the person. it can. Therefore, without using a dedicated mannequin, for example, it is possible to train between students and seniors and juniors, and it is possible to provide an auscultation system in which auscultation skills can be acquired as inexpensively as possible.

本発明の実施形態に係る聴診システムの構成図である。FIG. 1 is a configuration diagram of an auscultation system according to an embodiment of the present invention. 図１に示す聴診システムの具体的な構成を示す図である。It is a figure which shows the specific structure of the auscultation system shown in FIG. 骨格フレームについて説明するための図である。It is a figure for explaining a skeleton frame. 図１に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、カメラ側からみた図である。FIG. 2 is a diagram for explaining a method of determining whether or not a stethoscope is in contact with a body surface of a simulated patient using the auscultation system shown in FIG. 1, and is a diagram viewed from a camera side. 図１に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、疑似患者の側面側からみた図である。FIG. 2 is a diagram for explaining a method of determining whether or not a stethoscope is in contact with a body surface of a simulated patient by using the auscultation system illustrated in FIG. 1, and is a diagram viewed from a side of the simulated patient. 図１に示す聴診システムを用いて、疑似患者の呼吸に合わせて聴診トレーニングをサポートする方法を説明するための図である。FIG. 2 is a diagram for explaining a method of supporting auscultation training according to breathing of a simulated patient using the auscultation system shown in FIG. 1. 聴診のトレーニング状況を説明するための説明図である。It is explanatory drawing for demonstrating the training situation of auscultation.

以下、本発明を実施するための形態について詳細に説明するが、本発明の実施形態に係る聴診システムは、図面を参照して説明するものに限られることなく、ＩＣＴ（Information Communication Technology）に関する技術進歩や、適用される社会や制度に応じて適宜変更されるものも含まれる。 Hereinafter, embodiments for carrying out the present invention will be described in detail. However, the auscultation system according to the embodiments of the present invention is not limited to the one described with reference to the drawings, and may be a technology relating to ICT (Information Communication Technology). It also includes those that change as appropriate depending on progress and applicable societies and institutions.

（聴診システムの構成）
図１は本発明の実施形態に係る聴診システムの構成図である。聴診システム１０は、カメラ１１と、処理部１２と、記憶部１３とを含んで構成される。 (Configuration of auscultation system)
FIG. 1 is a configuration diagram of an auscultation system according to an embodiment of the present invention. The auscultation system 10 includes a camera 11, a processing unit 12, and a storage unit 13.

図２は、図１に示す聴診システムの具体的な構成を示す図である。カメラ１１は、疑似患者１に対して向けられて配置される。カメラ１１は、一つでも複数設けても構わない。 FIG. 2 is a diagram showing a specific configuration of the auscultation system shown in FIG. The camera 11 is arranged to face the dummy patient 1. One or more cameras 11 may be provided.

カメラ１１は、カメラセンサとも呼ばれ、位置距離センサ１４とカラーセンサ１８を備えている。カラーセンサ１８は、例えばＲＧＢカラーカメラであり、通常のビデオカメラに相当し、動画像信号を画像データとして出力する。位置距離センサ１４は、３Ｄ深度カメラなどの位置計測センサに相当し、画像データの指定したポイントに対する位置距離センサ１４からの位置情報を出力する。位置距離センサ１４は、対象に光を照射する照射部１５と、対象からの反射光を受ける受光部１６と、照射部１５及び受光部１６に接続され、照射、受光及び外部へのデータ出力に関する制御を行う制御部１７と、を含んで構成される。照射部１５は、赤外線レーザから発振した光を単一の照射パターンに変換し、対象物に照射する。照射パターンとしては、ランダムなドットが散りばめられた四角形などのパターンなどがある。照射パターンは対象物体に当たると歪んで、照射部からの距離が長くなると歪みが大きく広がる。受光部１６は、照射部１５から異なる距離の複数の照射パターンを複眼で検出する。検出した信号が制御部１７に入力されて統計処理されることにより、対象物との距離、つまり深度を検出することができる。 The camera 11 is also called a camera sensor, and includes a position distance sensor 14 and a color sensor 18. The color sensor 18 is, for example, an RGB color camera and corresponds to a normal video camera, and outputs a moving image signal as image data. The position distance sensor 14 corresponds to a position measurement sensor such as a 3D depth camera, and outputs position information from the position distance sensor 14 with respect to a designated point of image data. The position distance sensor 14 is an irradiation unit 15 that irradiates the object with light, a light receiving unit 16 that receives reflected light from the object, and is connected to the irradiation unit 15 and the light receiving unit 16, and performs irradiation, light reception, and data output to the outside. And a control unit 17 for performing control. The irradiation unit 15 converts the light oscillated from the infrared laser into a single irradiation pattern and irradiates the object. As the irradiation pattern, there is a pattern such as a square in which random dots are scattered. The irradiation pattern is distorted when it hits the target object, and the distortion is greatly spread when the distance from the irradiation part is long. The light receiving unit 16 detects a plurality of irradiation patterns at different distances from the irradiation unit 15 with a compound eye. The detected signal is input to the control unit 17 and subjected to statistical processing, whereby the distance to the target, that is, the depth can be detected.

位置距離センサ１４は、受光部１６におけるビデオの画像領域を例えば６４０ドット×４８０ドットに分解し、ドット毎に深度カメラからそのドットに対応した画像までの距離を出力する。ビデオカメラにおける画素としてのドットと位置計測センサのドットの位置関係を対応付けることによって、疑似患者１の各部位と聴診器２に対し、それぞれの位置と深度カメラからの距離とが求まる。 The position distance sensor 14 decomposes the video image area in the light receiving unit 16 into, for example, 640 dots × 480 dots, and outputs the distance from the depth camera to the image corresponding to the dot for each dot. By associating the positional relationship between the dots as pixels in the video camera and the dots of the position measurement sensor, the respective positions and the distance from the depth camera are obtained for each part of the pseudo patient 1 and the stethoscope 2.

本発明の実施形態において、位置計測の手法はこれらに限定されることなく、次のような手法でもよい。すなわち、赤外線を発射し、戻ってくるまでの遅延時間から位置計測センサと任意の部位との間の距離や位置計測センサを起点とする指定位置の座標を求める方法であってもよい。 In the embodiment of the present invention, the position measurement method is not limited to these, and the following method may be used. That is, a method may be used in which the distance between the position measurement sensor and an arbitrary part or the coordinates of the designated position starting from the position measurement sensor is obtained from the delay time from when the infrared light is emitted and when the infrared light returns.

処理部１２は、カメラ１１により作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、聴診器２が当てられるべき位置を推定する。聴診器２が当てられるべき位置、すなわち聴診されるべき位置として、一又は複数の位置を推定する。カメラ１１により作成された像は、距離データを含む画像データであることから、カメラ１１の基準位置（原点）に対する疑似患者１の位置座標データと、基準位置からの距離データを有する。 The processing unit 12 estimates a skeleton frame of the person from the image data on the image of the person created by the camera 11, and estimates a position where the stethoscope 2 should be applied. One or more positions are estimated as the position to which the stethoscope 2 is to be applied, that is, the position to be auscultated. Since the image created by the camera 11 is image data including distance data, it has position coordinate data of the pseudo patient 1 with respect to the reference position (origin) of the camera 11 and distance data from the reference position.

ここで、画像データからどのように聴診器２が当てられるべき位置を推定するかについて、詳細に説明する。処理部１２は、図３に示すような骨格フレームに関するデータを有している。図３は、骨格フレームについて説明するための図である。聴診は、主に人物の胸に聴診器を当てることでなされることから、骨格フレームは両肩、両腰を含むように構成される。骨格フレームの各部については、個人差があることから、少なくとも両肩と両腰の位置を特定し、両肩同士の距離、両腰同士の距離、肩と腰と距離を規定することで、当該疑似患者の骨格フレームを定めることができる。このように、個人差を吸収して正規化することができる。そのため、処理部１２は、個人毎に、骨格フレームをデータとして保有する必要がなく、汎用性に富む。 Here, how to estimate the position where the stethoscope 2 should be applied from the image data will be described in detail. The processing unit 12 has data on a skeleton frame as shown in FIG. FIG. 3 is a diagram for explaining a skeleton frame. Since auscultation is performed mainly by applying a stethoscope to a person's chest, the skeletal frame is configured to include both shoulders and both hips. For each part of the skeletal frame, since there are individual differences, at least the positions of both shoulders and both hips are specified, and the distance between both shoulders, the distance between both hips, and the distance between shoulders and hips are defined. A skeletal frame of the simulated patient can be defined. In this way, individual differences can be absorbed and normalized. For this reason, the processing unit 12 does not need to hold the skeleton frame as data for each individual, and is highly versatile.

聴診器２が当てられるべき位置を推定する手法としては次のようにしてもよい。処理部１２は、先ず、カメラ１１からの画像データから疑似患者の体形のアウトラインを求め、関節の位置を統計的に特定する。関節の位置を統計的に特定するために、多数の人物の各姿勢パターンについての実写及び／又はコンピュータグラフィックス（ＣＧ）のデータから、距離画像群を入力して学習したRandom Decision Forestsを用い、入力される画像データの各フレームにおいて、各画素がどのパーツに属するかを識別する。その結果、パーツのうち関節のパーツに属する画素を抽出し、関節の位置を特定する。これにより、聴診器２を当てるべき位置を骨格フレーム上で推定することができる。このように推定した位置であって、聴診器２が当てられるべき位置は、カメラ１１の位置を原点とし、骨格フレームのうち両肩及び両腰の座標データから定める。 A method for estimating the position where the stethoscope 2 should be applied may be as follows. The processing unit 12 first obtains the outline of the body shape of the simulated patient from the image data from the camera 11, and specifies the position of the joint statistically. In order to statistically identify the positions of the joints, Random Decision Forests learned by inputting a range image group and learning from data of real images and / or computer graphics (CG) for each posture pattern of a large number of people, In each frame of the input image data, a part to which each pixel belongs is identified. As a result, pixels belonging to the joint part are extracted from the parts, and the position of the joint is specified. Thereby, the position where the stethoscope 2 is to be applied can be estimated on the skeleton frame. The position estimated in this way and to which the stethoscope 2 is to be applied is determined from the coordinate data of both shoulders and both hips in the skeletal frame with the position of the camera 11 as the origin.

聴診の実習生は聴診器を疑似患者１の胸部などの各部位に当てる。処理部１２は、疑似患者１と聴診器２を含む像に関する画像データから、聴診器２の位置を推定する。聴診器２の輪郭に対応した形状を含む画素群や聴診器２の色に対応した色を含む画素群を判定し、色や形状の追跡により、聴診器２の位置を推定する。当該位置は、カメラ１１の位置を原点とした座標データ、その原点からの距離として求めることができる。聴診器２の位置推定には、聴診器２に付されている色に基いて色追跡の手法により、特定することができる。カラーセンサ１８による像による画素で聴診器２の色や輪郭を特定しておき、聴診器２の色に適合するピクセルを選択する等の手法を用いればよい。 An auscultation trainee applies a stethoscope to each part such as the chest of the simulated patient 1. The processing unit 12 estimates the position of the stethoscope 2 from the image data on the image including the pseudo patient 1 and the stethoscope 2. A pixel group including a shape corresponding to the outline of the stethoscope 2 and a pixel group including a color corresponding to the color of the stethoscope 2 are determined, and the position of the stethoscope 2 is estimated by tracking the color and the shape. The position can be obtained as coordinate data with the position of the camera 11 as the origin and a distance from the origin. The position of the stethoscope 2 can be estimated by a color tracking method based on the color of the stethoscope 2. The color or outline of the stethoscope 2 may be specified by the pixel based on the image of the color sensor 18, and a method of selecting a pixel matching the color of the stethoscope 2 may be used.

このようにして、カメラ１１で作成された画像データから骨格フレームを特定し、聴診器２が当てられるべき位置を推定し、その位置の座標データ、カメラ１１からの距離データが求められる。また、カメラ１１で作成された画像データから聴診器２を推定し、その位置の座標データ、カメラ１１からの距離データがそれぞれ求められる。処理部１２は所定の時間間隔で推定を繰り返し行い、聴診器２を追跡し、認識する。 In this way, the skeleton frame is specified from the image data created by the camera 11, the position to which the stethoscope 2 should be applied is estimated, and the coordinate data of the position and the distance data from the camera 11 are obtained. Further, the stethoscope 2 is estimated from image data created by the camera 11, and coordinate data of the position and distance data from the camera 11 are obtained. The processing unit 12 repeatedly performs the estimation at predetermined time intervals, tracks and recognizes the stethoscope 2.

その後、処理部１２は、骨格フレームと聴診器２の相対的な位置及び相対的な距離を求める。これにより、処理部１２は、聴診器２が一定の範囲にあるか否かを判定することができる。その一定の範囲は、聴診器２が疑似患者１に接している状態において、疑似患者１又は骨格フレームと聴診器２との相対的な位置及び距離を求め、それらの値に基いて定めておけばよい。 Thereafter, the processing unit 12 obtains a relative position and a relative distance between the skeleton frame and the stethoscope 2. Thereby, the processing unit 12 can determine whether or not the stethoscope 2 is within a certain range. The predetermined range is determined based on the relative position and distance between the simulated patient 1 or the skeletal frame and the stethoscope 2 when the stethoscope 2 is in contact with the simulated patient 1. I just need.

なお、処理部１２は、聴診器２を追跡し、骨格フレームのうち、例えば両肩及び両腰の座標データと、聴診器２の座標データとを求め、聴診器が両肩及び両腰の位置から一定範囲にあるか否かにより聴診器２が身体の表面に当てられたか否かを判断してもよい。 Note that the processing unit 12 tracks the stethoscope 2 and obtains, for example, coordinate data of both shoulders and both hips and coordinate data of the stethoscope 2 in the skeleton frame. It may be determined whether or not the stethoscope 2 has been applied to the surface of the body based on whether or not the stethoscope 2 is within a certain range.

処理部１２は、骨格フレームと聴診器２との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器２の位置データと距離データを用いても良い。聴診器２の原点からの距離データが両肩及び両腰の原点からの距離データに対して一定の範囲（以下、「判定基準範囲」と呼ぶ。）内に入っていれば、聴診器２が身体の表面に当てられたか否か、おおよそ判断できる。ここで、判定基準範囲は多くの疑似患者に対する実験データを基に決定される。 When calculating the relative position and relative distance data between the skeletal frame and the stethoscope 2, the processing unit 12, for example, the position coordinate data and distance data of the two shoulders and both hips of the skeletal frame and the stethoscope 2 May be used. If the distance data from the origin of the stethoscope 2 is within a certain range (hereinafter, referred to as a “judgment reference range”) with respect to the distance data from the origin of both shoulders and both hips, the stethoscope 2 is moved. You can roughly judge whether or not it was hit on the surface of the body. Here, the criterion range is determined based on experimental data for many simulated patients.

このように、処理部１２は、聴診器２を追跡し、カメラ１１の位置を原点として、骨格フレームのうちの両肩及び両腰の座標データと聴診器２の座標データとを求め、聴診器２が両肩及び両腰の位置から一定の範囲内にあるか否かにより聴診器２が身体の表面に当てられたか否かを判断する。または、処理部１２は、聴診器２を追跡し、骨格フレームのうちの両肩及び両腰のカメラ１１の位置からの距離データと聴診器２のカメラ１１の位置からの距離データとの差が一定の範囲内に入っているか否かにより、聴診器２が身体の表面に当てられたか否かを判断する。 As described above, the processing unit 12 tracks the stethoscope 2 and obtains the coordinate data of both shoulders and both hips of the skeleton frame and the coordinate data of the stethoscope 2 with the position of the camera 11 as the origin. It is determined whether the stethoscope 2 has been applied to the surface of the body based on whether or not the stethoscope 2 is within a certain range from the positions of both shoulders and both hips. Alternatively, the processing unit 12 tracks the stethoscope 2 and calculates the difference between the distance data from the position of the camera 11 on both shoulders and both hips of the skeleton frame and the distance data from the position of the camera 11 on the stethoscope 2. Whether or not the stethoscope 2 has been applied to the surface of the body is determined based on whether or not the stethoscope 2 is within a certain range.

これらの方法では、両肩及び両腰の深度に対して聴診ポイントや深度は人によって異なることから、聴診器２が当たったことの判定が甘くなる。更に聴診器２が身体に当たったことをより厳密に判定する方法として、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器２の原点からの距離データに加えて、図４及び図５に示すように、聴診器２が存在している周りに、骨格フレーム上の点を含め、測定ポイントＰ_{ｍｅａｓｕｒｅ}を設定する。聴診器２と測定ポイントの原点からの各距離データを比較する。聴診器２の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内にあり、図４及び図５における各測定ポイントＰ_{ｍｅａｓｕｒｅ}の原点からの距離データＬ１から聴診器２の距離データＬ２を減算した値が、一定の範囲、つまり聴診器２の厚みと許容値との合計の範囲内にあれば、身体に当たっていると判断する。この方法では、聴診器２の厚みに加えたマージンが判定誤差になるだけであることから、より厳密に聴診器が身体に当たっているか否かを判断することができる。 In these methods, since the auscultation point and the depth differ for each shoulder with respect to the depth of both shoulders and both hips, the judgment that the stethoscope 2 has hit is weak. Further, as a method for more strictly determining that the stethoscope 2 has hit the body, in addition to the distance data from the origins of both shoulders and both hips of the skeletal frame and the distance data from the origin of the stethoscope 2, FIG. As shown in FIG. 4 and FIG. 5, a measurement point _Pmeasure is set around the existence of the stethoscope 2, including points on the skeletal frame. The stethoscope 2 and each distance data from the origin of the measurement point are compared. The distance data of the stethoscope 2 is within the above-described determination reference range with respect to the distance data of both shoulders and both hips, and the stethoscope 2 is obtained from the distance data L1 from the origin of each measurement point P _measure in FIGS. 4 and 5. If the value obtained by subtracting the distance data L2 is within a certain range, that is, within the range of the sum of the thickness of the stethoscope 2 and the allowable value, it is determined that the body hits. In this method, since the margin added to the thickness of the stethoscope 2 only becomes a determination error, it is possible to determine more strictly whether the stethoscope is in contact with the body.

このように、処理部１２は、聴診器２を追跡し、聴診器２の周りの一又は複数のポイントのカメラ１１からの距離データと、聴診器２のカメラ１１からの距離データとを求め、その求めた距離データを比較することにより、聴診器２が身体の表面に当てられたか否かを判定する。 As described above, the processing unit 12 tracks the stethoscope 2 and obtains distance data from the camera 11 at one or a plurality of points around the stethoscope 2 and distance data from the camera 11 of the stethoscope 2. By comparing the obtained distance data, it is determined whether or not the stethoscope 2 has been applied to the surface of the body.

以上の説明では、距離データを比較したが、カメラ１１を原点として設定した座標で、疑似患者側にＺ座標の正の方向を向けて三次元座標を設定し、そのＺ座標同士を比較しても良い。具体的に説明すると、先ず、聴診器２が存在している周りに、骨格フレーム上の点を含め、測定ポイントＰ_{ｍｅａｓｕｒｅ}を設定する。そして、測定ポイントＰ_{ｍｅａｓｕｒｅ}の座標データと聴診器２の座標データを求める。次に、聴診器２周りのそれらのポイントの座標データと聴診器２の座標データとを比べる。その座標データのうち特にＺ座標同士を比較し、ポイントのＺ座標と聴診器のＺ座標との差分が、聴診器の厚みとマージンとの和よりも小さければ、聴診器２が当たっていると判断する。座標データ同士を比較する際には、聴診器２周りのポイントのうち、手や腕で覆われたポイントの座標データを除いた測定ポイントの座標データと、聴診器２の座標データとを比べても良い。 In the above description, the distance data was compared. However, three-dimensional coordinates were set with the coordinates set with the camera 11 as the origin, with the positive direction of the Z coordinates facing the pseudo patient, and the Z coordinates were compared with each other. Is also good. More specifically, first, a measurement point P _measure is set around a position where the stethoscope 2 is present, including points on the skeleton frame. Then, the coordinate data of the measurement point _{Pmeasure and} the coordinate data of the stethoscope 2 are obtained. Next, the coordinate data of those points around the stethoscope 2 and the coordinate data of the stethoscope 2 are compared. Among the coordinate data, especially the Z coordinates are compared, and if the difference between the Z coordinate of the point and the Z coordinate of the stethoscope is smaller than the sum of the thickness and the margin of the stethoscope, it is determined that the stethoscope 2 has hit. to decide. When comparing the coordinate data with each other, the coordinate data of the measurement point excluding the coordinate data of the point covered with the hand or the arm among the points around the stethoscope 2 is compared with the coordinate data of the stethoscope 2. Is also good.

このように、処理部１２は、聴診器２を追跡し、カメラ１１を原点として、聴診器２周りの一又は複数のポイントの座標データと、聴診器２の座標データとを求め、その求めた座標データを比較することにより、聴診器２が身体の表面に当てられたか否かを判断する。 As described above, the processing unit 12 tracks the stethoscope 2 and obtains coordinate data of one or a plurality of points around the stethoscope 2 and coordinate data of the stethoscope 2 with the camera 11 as an origin, and obtains the coordinate data. By comparing the coordinate data, it is determined whether the stethoscope 2 has been applied to the surface of the body.

聴診器２が身体の表面に当たっているか否かを判定する方法は、上述した一つに限らず、複数を兼用してもよい。また、この判定を非常に短い所定の間隔で繰り返すことにより、聴診器３が身体の表面に当たっている時点が分かるので、当たっている時点が連続している場合には、処理部１２は、聴診器２が身体の表面に当てられた時間を測定することができる。 The method of determining whether or not the stethoscope 2 is in contact with the surface of the body is not limited to one described above, and a plurality of methods may be used. Also, by repeating this determination at a very short predetermined interval, the time at which the stethoscope 3 is in contact with the surface of the body can be known. The time at which 2 was applied to the body surface can be measured.

このように、距離データを生成できるカメラ１１と処理部１２とを用いて、疑似患者１の骨格フレームを推定し、聴診器２と骨格フレームとの相対的な位置及び深さ（距離）を求めることで、どのような聴診器２であっても、疑似患者１に聴診器２を当てているか否かを求めることができ、汎用性の高い聴診システム１０を提供することができる。 As described above, the skeleton frame of the pseudo patient 1 is estimated using the camera 11 and the processing unit 12 that can generate the distance data, and the relative position and depth (distance) between the stethoscope 2 and the skeleton frame are obtained. Thus, regardless of the stethoscope 2, it can be determined whether or not the stethoscope 2 is applied to the pseudo patient 1, and the stethoscope 10 with high versatility can be provided.

処理部１２は、図５に示すように、両肩に加えて胸部及び腹部に一又は複数の計測ポイント（「測定ポイント」と呼んでもよい。）を設定し、それぞれについて位置データ及び距離データを測定し、両肩の上下方向への変化及び新たに設定した計測ポイントの距離データ（「深度データ」と呼んでもよい。）の変化から空気を吸っている状態（吸気）か吐いているか状態（呼気）を判定する。 As shown in FIG. 5, the processing unit 12 sets one or a plurality of measurement points (may be referred to as “measurement points”) on the chest and abdomen in addition to both shoulders, and stores position data and distance data for each. The air is sucked (inhaled) or exhaled (measured) based on the change in the vertical direction of the shoulders and the change in the distance data (may be referred to as “depth data”) of the newly set measurement point. Expiration).

具体的には、処理部１２は、骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の計測ポイントのカメラ１１を原点とする座標データの時間経過に伴う変化、各々の計測ポイントのカメラ１１からの距離データの時間経過に伴う変化、骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化、の何れか一つ以上を求める。空気を吸っている場合と、空気を吐いている場合には、体表のポイントの動きは逆になるので、これらの何れかの変化又はこれらの変化の組合せに基いて、吸気の状態か呼気の何れの状態であるかを判断することができる。 Specifically, the processing unit 12 sets one or a plurality of measurement points on the body surface from the coordinate data of an arbitrary joint of the skeletal frame, and elapses the coordinate data of each measurement point with the camera 11 as the origin. At least one of: a change with time of distance data from the camera 11 at each measurement point, a change with time from the coordinate data of both shoulders of the skeletal frame in the vertical direction of both shoulders Ask for. The movement of points on the body surface is reversed when inhaling air and when exhaling air.Therefore, based on any of these changes or a combination of these changes, the state of inspiration or expiration is determined. Can be determined.

図７は、聴診のトレーニング状況を説明するための説明図である。図７に示すように、疑似患者１が着座していることで、処理部１２はカメラ１１からの画像データを処理することによって、左肩Ｌ１、右肩Ｒ１、左腰Ｌ２、右腰Ｒ２の位置を推定し、図３に示す骨格フレームを推定することができる。そして、図５に示すように、疑似患者１と聴診器２との位置関係を深さ方向に推定することができ、聴診器２が疑似患者１に当接しているか否かを判断することができる。 FIG. 7 is an explanatory diagram for explaining the training status of auscultation. As shown in FIG. 7, when the simulated patient 1 is seated, the processing unit 12 processes the image data from the camera 11 to determine the positions of the left shoulder L1, the right shoulder R1, the left waist L2, and the right waist R2. And the skeleton frame shown in FIG. 3 can be estimated. Then, as shown in FIG. 5, the positional relationship between the pseudo patient 1 and the stethoscope 2 can be estimated in the depth direction, and it can be determined whether or not the stethoscope 2 is in contact with the pseudo patient 1. it can.

聴診器２が疑似患者１に当接しているか否かの判断は、次のようにしてもよい。骨格フレームと聴診器２との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器２の位置データと距離データを用いても良い。聴診器２の原点からの距離データが、両肩及び両腰の原点からの距離データに対して、判定基準範囲内に入っていれば、聴診器２が身体の表面に当てられたか否か、おおよそ判断できる。 The determination as to whether the stethoscope 2 is in contact with the simulated patient 1 may be made as follows. When calculating the relative position and relative distance data between the skeletal frame and the stethoscope 2, for example, the position coordinate data and distance data of both shoulders and both hips of the skeletal frame, the position data of the stethoscope 2, and the distance Data may be used. If the distance data from the origin of the stethoscope 2 is within the determination reference range with respect to the distance data from the origins of both shoulders and both hips, whether the stethoscope 2 has been applied to the surface of the body, I can roughly judge.

また、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器２の原点からの距離データと、骨格フレームのち聴診器２が存在している周りに設定した測定ポイントの距離データと、を比較する。つまり、聴診器２と測定ポイントの各距離データを比較する。聴診器２の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内であって、かつ図５に示す各測定ポイントの原点からの距離データから聴診器２の距離データを減算した値が、聴診器２の厚みと許容との合計の範囲内にあれば、身体に当たっていると判断する。 In addition, distance data from the origin of both shoulders and both hips of the skeletal frame, distance data from the origin of the stethoscope 2, and distance data of measurement points set around the stethoscope 2 after the skeletal frame. And. That is, the distance data between the stethoscope 2 and the measurement point is compared. The distance data of the stethoscope 2 is within the above-described determination reference range with respect to the distance data of both shoulders and both hips, and the distance data of the stethoscope 2 is obtained from the distance data from the origin of each measurement point shown in FIG. If the value obtained by subtracting is within the range of the sum of the thickness of the stethoscope 2 and the tolerance, it is determined that the body has hit the body.

このような聴診システム１０は、更に、付加価値を持たせるために、次の手段を設けておいても良い。 Such auscultation system 10 may further include the following means in order to provide added value.

処理部１２は、疑似患者１に聴診器２が当たっているか否かを判定する際、一定の時間聴診器２がその位置に留まっているか否かを判断するようにしてもよい。これは、聴診器２が疑似患者１に当たっている際には、疑似患者１の呼吸によって胸のふくらみが変化しても、聴診器２は上下左右に変化し難いからである。 When determining whether or not the stethoscope 2 is in contact with the simulated patient 1, the processing unit 12 may determine whether or not the stethoscope 2 remains at the position for a certain period of time. This is because when the stethoscope 2 hits the simulated patient 1, even if the swelling of the chest changes due to the breathing of the simulated patient 1, the stethoscope 2 is unlikely to change up, down, left, and right.

聴診システム１０は、呼吸音、心音、腹部音の少なくとも何れか又は複数の音を記憶した記憶部１３を備える。記憶部１３は、聴診器２が骨格フレームに対してどの位置にあれば、聴診器２によって採音することができるのかについて関係付けて記憶しておく。これに対応し、処理部１２は、聴診器２が疑似患者１のどの部位に接触しているかに応じて、疑似音を出力することができる。 The auscultation system 10 includes a storage unit 13 that stores at least one or a plurality of sounds of respiratory sounds, heart sounds, and abdominal sounds. The storage unit 13 associates and stores the position of the stethoscope 2 with respect to the skeletal frame so that sound can be collected by the stethoscope 2. In response to this, the processing unit 12 can output a pseudo sound in accordance with which part of the pseudo patient 1 the stethoscope 2 is in contact with.

聴診システム１０では、処理部１２が、両肩、胸部及び腹部に、一又は複数の計測ポイントを設定しておき、各計測ポイントについての原点からの位置データ及び距離データを測定し、両肩の上下方向への変化および新たに設定した測定ポイントの距離データの変化から空気を吸っている状態（吸気）か吐いているか状態（呼気）を判定する。すると、処理部１２は、聴診システム１０の記憶部１３から選択した呼吸音を用いて、検出した吸気タイミングで吸気音を、呼気タイミングで呼気音を出力する。これにより、疑似患者１の呼吸の状態に応じて吸気音と排気音を再生でき、よりリアリティある実習が可能となる。その際、吸気と呼気の繰り返しを１サイクル以上にわたって聴診器２が身体に当てられたか否か判断すると好適である。 In the auscultation system 10, the processing unit 12 sets one or more measurement points on both shoulders, chest and abdomen, measures position data and distance data from the origin for each measurement point, and A state of inhaling air (inhalation) or a state of exhaling (exhalation) is determined from a change in the vertical direction and a change in distance data of a newly set measurement point. Then, using the breathing sound selected from the storage unit 13 of the auscultation system 10, the processing unit 12 outputs an inhalation sound at the detected inspiration timing and an expiration sound at the expiration timing. Thereby, the intake sound and the exhaust sound can be reproduced according to the state of breathing of the pseudo patient 1, and more realistic training can be performed. At this time, it is preferable to determine whether the stethoscope 2 has been applied to the body for at least one cycle of repetition of inhalation and expiration.

聴診システム１０は、実習生にトレーニング状況を知らせるために、スピーカー１９と、モニターなどの表示部２０とを備える。処理部１２は、カメラ１１のカラーセンサ１８からの画像データを表示部２０に出力表示する。処理部１２は、カメラ１１が撮影した人物の像の上に、聴診する位置を表示しながら、疑似患者１に対して聴診器２が当たっていて、採音されるべき音を記憶部１３から選択してスピーカー１９により音声出力することができる。これにより、よりリアルな聴診トレーニングを提供することができる。 The auscultation system 10 includes a speaker 19 and a display unit 20 such as a monitor to notify the trainee of the training situation. The processing unit 12 outputs and displays the image data from the color sensor 18 of the camera 11 on the display unit 20. The processing unit 12 displays, from the storage unit 13, the sound to be picked up by the stethoscope 2 hitting the pseudo patient 1 while displaying the auscultation position on the image of the person captured by the camera 11. The voice can be selected and output through the speaker 19. Thereby, more realistic auscultation training can be provided.

聴診システム１０はトレーニー状況記憶部２１を備えており、トレーニー状況記憶部２１は、カメラ１１が作成した画像データと記憶部１３から選択した音とを関連付けて、聴診のトレーニング状況を記憶する。これにより、実習生がどの程度のトレーニングを行って、スキルを取得したかの履歴データを記録することができる。この記録は、他の実習生のトレーニングプログラムを立てる際にも役立てることができる。 The auscultation system 10 includes a trainee status storage unit 21. The trainee status storage unit 21 associates the image data created by the camera 11 with the sound selected from the storage unit 13 and stores the training status of auscultation. As a result, it is possible to record the history data indicating how much training the apprentice has performed and acquired the skills. This record can also be helpful in developing other apprentice training programs.

聴診システム１０は参照データ部２２を備えており、参照データ部２２が、基準となる人物の両肩の位置データと、両腰の位置データと、当該人物に対する適切な聴診位置に関するデータと、聴診の順番に関する情報を格納している。よって、処理部１２は、骨格フレームに対して聴診器が一定時間上下左右に変化しないと判断すると、参照データ部２２のデータと照合し、聴診の位置及び順番が正しいか否かを判断する。判断結果は表示部２０に表示される。これにより、より適切なトレーニングをすることができる。 The auscultation system 10 includes a reference data unit 22. The reference data unit 22 includes position data on both shoulders and both hips of a reference person, data on an appropriate auscultation position for the person, and auscultation data. The information about the order of the is stored. Therefore, when the processing unit 12 determines that the stethoscope does not move up, down, left, or right with respect to the skeleton frame for a certain period of time, it checks with the data of the reference data unit 22 to determine whether the position and order of the auscultation are correct. The judgment result is displayed on the display unit 20. Thereby, more appropriate training can be performed.

聴診システム１０において、処理部１２が、疑似患者の画像上に、参照データ部２２から基準となる人物の両肩及び両腰の位置データを取り出し、疑似患者の両肩及び両腰の位置データを比較することで、基準となる人物に対して設計した標準聴診ポイントの位置データを校正し、疑似患者の画像上に表示する。表示された各点に聴診器を当てることで、患者の体格に関係なく適切なポイントにおける疾患別の音を聞くことができる。 In the auscultation system 10, the processing unit 12 extracts the reference shoulder and both hips position data of the reference person from the reference data unit 22 on the image of the pseudo patient, and obtains the position data of both shoulders and both hips of the pseudo patient. By comparison, the position data of the standard auscultation point designed for the reference person is calibrated and displayed on the image of the pseudo patient. By applying a stethoscope to each of the displayed points, it is possible to hear a disease-specific sound at an appropriate point regardless of the patient's physique.

聴診システム１０は、処理部１２において、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する。このことについて、図１に示す聴診システム１０の使用方法を説明しながら説明する。 In the auscultation system 10, the processing unit 12 processes, as learning data, individual authentication data input at the time of receiving access and data that determines whether the position and order of the auscultation are correct as learning data. This will be described while explaining how to use the auscultation system 10 shown in FIG.

事前準備として、基準となる人物を男女別に選択し、それぞれについて、図７に示すように、両肩Ｌ１，Ｒ１の位置データと両腰Ｌ２，Ｒ２の位置データと適切な聴診ポイントの位置を参照データ部２２に記憶させる。また、記憶部１３に聴診ポイント別に疾患音を記憶させる。 As advance preparation, a reference person is selected for each man and woman, and for each, as shown in FIG. 7, reference is made to the position data of both shoulders L1 and R1, the position data of both hips L2 and R2, and the appropriate auscultation point position. The data is stored in the data section 22. In addition, the storage unit 13 stores a disease sound for each auscultation point.

（聴診システムを利用した学習その１：学習）
聴診システム１０を利用して、疾患別に各聴診ポイントの音を学習する態様について説明する。 (Learning using auscultation system Part 1: Learning)
An aspect in which the sound of each auscultation point is learned for each disease using the auscultation system 10 will be described.

先ず、実習生は、図示しない入力部から、ＩＤとパスワードを入力するなどして聴診システム１０にログインする（Ｓｔｅｐ１）。 First, the trainee logs in to the auscultation system 10 by inputting an ID and a password from an input unit (not shown) (Step 1).

次に、聴診システム１０において、図示しない入力部から、学習モードの選択をし、正常を含めた疾患の中から学習したい疾患を選択する（Ｓｔｅｐ２）。疑似患者１の横に配置された図示しないディスプレイ上に、処理部１２からの制御で表示された疑似患者上の聴診ポイントを１から順に聴診器２を当てていく（Ｓｔｅｐ３）。すると、処理部１２はカメラ１１からの画像データを処理し、聴診器２が疑似患者１の体表に当たっているか否かを判別し、当たっていると判断すると、処理部１２は記憶部１３に記録されている音を疾患別かつポイント別に再生する（Ｓｔｅｐ４）。 Next, in the auscultation system 10, a learning mode is selected from an input unit (not shown), and a disease to be learned is selected from diseases including normals (Step 2). The stethoscope 2 is applied to the auscultation points on the simulated patient displayed by the control of the processing unit 12 in order from 1 on a display (not shown) arranged beside the simulated patient 1 (Step 3). Then, the processing unit 12 processes the image data from the camera 11, determines whether the stethoscope 2 is hitting the body surface of the simulated patient 1, and if it determines that the stethoscope 2 is hitting, the processing unit 12 records it in the storage unit 13. The played sound is reproduced for each disease and each point (Step 4).

呼吸に関する疾患の場合、聴診システム１０は疑似患者１の吸気状態と呼気状態を判断し、各状態に対して吸気音又は呼気音を再生する。 In the case of a disease relating to respiration, the auscultation system 10 determines the inspiratory state and the expiratory state of the simulated patient 1, and reproduces an inspiratory sound or an expiratory sound for each state.

次に、実習生は、学習したい別の疾患を選択し、Ｓｔｅｐ３以降を繰り返す。
実習生は、実習が終了すると、ログアウトする。 Next, the trainee selects another disease to be learned, and repeats Step 3 and subsequent steps.
The apprentice logs out after the apprenticeship is completed.

（聴診システムを利用した学習その２：テスト）
実習生は上記学習その１で学習した後に、実習生が聴診スキルを修得したか否かを確認することができる。
先ず、実習生は、図示しない入力部から、ＩＤとパスワードを入力するなどして聴診システム１０にログインする（Ｓｔｅｐ１１）。
次に、実習生は、テストモードを選択する（Ｓｔｅｐ１２）。それに伴い、聴診システム１０は、ランダムに疾患を選択し、聴診器２が当てられたポイントに近い適正ポイントの音を再生する（Ｓｔｅｐ１３）。
実習生は、学習モードで学習したポイントに聴診器２を順次当てていく（Ｓｔｅｐ１４）。全て当て終えたら、聴診システム１０の入力部に対して完了の指示を入力し、回答の指示を入力する（Ｓｔｅｐ１５）。すると、プルダウン形式で表示された疾患の中から正しいと思われる疾患を選択する（Ｓｔｅｐ１６）。
その後、聴診システム１０はＳｔｅｐ１３に戻り、疾患を変更して、テストを繰り返す。
実習生は、テストを終了するときは入力部の学習終了ボタンを押す。 (Learning using auscultation system part 2: test)
After learning in the first learning, the trainee can confirm whether the trainee has acquired auscultation skills.
First, the trainee logs in to the auscultation system 10 by inputting an ID and a password from an input unit (not shown) (Step 11).
Next, the trainee selects a test mode (Step 12). Accordingly, the auscultation system 10 randomly selects a disease and reproduces a sound at an appropriate point close to the point on which the stethoscope 2 is applied (Step 13).
The trainee sequentially applies the stethoscope 2 to the points learned in the learning mode (Step 14). When all of them have been applied, a completion instruction is input to the input unit of the auscultation system 10 and a response instruction is input (Step 15). Then, a disease considered to be correct is selected from the diseases displayed in the pull-down format (Step 16).
Thereafter, the auscultation system 10 returns to Step 13, changes the disease, and repeats the test.
The trainee presses the learning end button on the input unit to end the test.

（聴診システムを利用した学習その３：学習ログの返却）
学習終了ボタンが押されたら、聴診システム１０は、疾患に関する回答と正解、聴診の順序の正誤を、表形式に編集し、例えば紙媒体に印刷するなどして渡す。表形式に編集する際には、呼吸器系疾患を想定している場合には吸気と呼気の１周期以上に渡って聴診器２を当てていたか否かの結果が分かるようにする。その後、実習生は聴診システム１０からログアウトする。 (Study using auscultation system 3: Return of study log)
When the learning end button is pressed, the auscultation system 10 edits the answer and the correct answer regarding the disease, and the correctness of the order of the auscultation in a tabular form, and transfers it by, for example, printing it on a paper medium. When editing in tabular form, if a respiratory disease is assumed, the result of whether or not the stethoscope 2 has been applied over one or more cycles of inhalation and expiration is understood. Thereafter, the trainee logs out of the auscultation system 10.

（教員へのレポート）
教員は、聴診システム１０にログインし、聴診システム１０は、教員が選択した実習生別に、学習完了した疾患、正誤ログを、表示する。その際、表形式で実習生の一覧で表示してもよい。 (Report to faculty members)
The instructor logs in to the auscultation system 10, and the auscultation system 10 displays, for each trainee selected by the instructor, a disease for which learning has been completed and a correct / incorrect log. At that time, a list of the trainees may be displayed in a table format.

聴診システム１０はこのように使用されることにより、実習生は、同僚、学生同士、先輩後輩同士で、聴診のトレーニングをすることができる。また、教員も指導可能となる。 By using the auscultation system 10 in this way, the apprentice can train auscultation between colleagues, students, and seniors and juniors. Teachers can also teach.

１：疑似患者
２：聴診器
１０：聴診システム
１１：カメラ
１２：処理部
１３：記憶部
１４：位置距離センサ
１５：照射部
１６：受光部
１７：制御部
１８：カラーセンサ
１９：スピーカー
２０：表示部
２１：トレーニー状況記憶部
２２：参照データ部 1: pseudo patient 2: stethoscope 10: auscultation system 11: camera 12: processing unit 13: storage unit 14: position distance sensor 15: irradiation unit 16: light receiving unit 17: control unit 18: color sensor 19: speaker 20: display Unit 21: trainee status storage unit 22: reference data unit

Claims

A camera placed toward the person to be auscultated using a stethoscope,
From the image data on the image of the person created by the camera, estimate the skeletal frame of the person, estimate the position to which the stethoscope should be applied , and an image on the image including the stethoscope created by the camera A processing unit that tracks the position of the stethoscope from data and determines whether the stethoscope has been applied to the surface of the body;
A stethoscope system comprising:

The processing unit tracks the position of the stethoscope, obtains coordinate data of both shoulders and both hips of the skeletal frame and coordinate data of the stethoscope with the position of the camera as an origin, the stethoscope The auscultation system according to claim 1, wherein it is determined whether or not the stethoscope has been applied to the surface of the body based on whether or not the stethoscope is within a certain range from the positions of both shoulders and both hips.

The processing unit tracks the position of the stethoscope, the difference between the distance data from the camera position of both shoulders and both hips of the skeletal frame and the distance data from the camera position of the stethoscope. The auscultation system according to claim 1, wherein it is determined whether or not the stethoscope has been applied to the surface of the body based on whether or not the stethoscope falls within a certain range.

The processing unit tracks the position of the stethoscope, obtains distance data from the camera of one or more points around the stethoscope and distance data from the camera of the stethoscope, and obtains the obtained distance. The auscultation system according to any one of claims 1 to 3, wherein it is determined whether the stethoscope has been applied to the surface of the body by comparing data.

The processing unit tracks the position of the stethoscope, obtains the coordinate data of one or more points around the stethoscope and the coordinate data of the stethoscope, using the camera as the origin, and obtains the obtained coordinate data. The auscultation system according to any one of claims 1 to 4, wherein it is determined whether or not the stethoscope has been applied to the surface of the body by comparison.

The auscultation system according to any one of claims 1 to 5, wherein the processing unit measures a time when the stethoscope is applied to a surface of a body.

The processing unit sets one or a plurality of measurement points on the body surface from the coordinate data of any joint of the skeletal frame, and sets the coordinate data of each of the measurement points with the camera as an origin, or each of the measurement points Whether the air is inhaled based on a change in the distance data of the point from the camera over time, a change in the coordinate data of both shoulders of the skeletal frame over time in the vertical direction of both shoulders, or a combination of the changes. 7. The auscultation system according to claim 1, wherein it is determined whether or not air is being exhaled.

The stethoscope according to claim 7, wherein the processing unit determines whether the stethoscope has been applied to the body for at least one cycle of repetition of inhalation and expiration.

A breathing sound, a heart sound, a storage unit that stores at least one of abdominal sounds,
The stethoscope system according to claim 1, wherein the processing unit selects and outputs a sound in the storage unit according to a position of the stethoscope with respect to a skeleton frame.

The processing unit, from the breathing sound stored in the storage unit, the inhalation sound during the period of inhaling air,
The auscultation system according to claim 9, wherein a breath sound is reproduced during a period in which the air is exhaled.

The auscultation system according to claim 9 or 10, further comprising a trainee status storage unit that stores the status of auscultation by associating the image data created by the camera with a sound selected from the storage unit.

The auscultation system according to claim 1, wherein the processing unit displays an auscultation position on an image of a person photographed by the camera.

13. The processing unit according to claim 1, wherein the processing unit determines a position to which the stethoscope is to be applied from coordinate data of both shoulders and both hips in a skeleton frame whose origin is the position of the camera. Auscultation system.

14. A reference data unit for identifying and storing information on the order of auscultation in position data of both shoulders and both hips of a reference person and data on auscultation positions for the person. The auscultation system according to any one of the above.

The processing unit, when judging that the position of the stethoscope does not change vertically and horizontally with respect to the skeleton frame for a certain period of time, checks with the reference data unit, and judges whether the position and order of the auscultation are correct. 15. The auscultation system according to 14.

The processing unit compares the position data of both shoulders and the position data of both hips stored in the reference data unit with the position data of both shoulders and the position of both hips of a person. 16. The auscultation system according to claim 14 or 15, wherein the data relating to the stored auscultation position is calibrated.