JP2022022129A - Guidance support equipment, guidance support systems, and programs - Google Patents
Guidance support equipment, guidance support systems, and programs Download PDFInfo
- Publication number
- JP2022022129A JP2022022129A JP2021116742A JP2021116742A JP2022022129A JP 2022022129 A JP2022022129 A JP 2022022129A JP 2021116742 A JP2021116742 A JP 2021116742A JP 2021116742 A JP2021116742 A JP 2021116742A JP 2022022129 A JP2022022129 A JP 2022022129A
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- video call
- voice recognition
- patient
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】医療に関する指導をより適切に支援する、指導支援装置、指導支援システム及びプログラムを提供する。
【解決手段】医療に関する指導支援システムにおいて、指導支援サーバ３０は、ビデオ通話制御部３５２と、音声認識処理部３５３と、推奨情報生成部３５４と、を備える。ビデオ通話制御部３５２は、患者に対して行われる医療に関する指導を遠隔で実現するために、指導者が使用する端末と患者が使用する端末との間のビデオ通話を制御する。音声認識処理部３５３は、ビデオ通話において送受信される音声に対して音声認識処理を行う。推奨情報生成部３５４は、薬学的な指導において推奨される指導内容を示す情報である推奨情報を生成する。さらに、ビデオ通話制御部３５２は、ビデオ通話の進行と並行して、音声認識処理部３５３による音声認識の結果と、推奨情報生成部３５４が生成した推奨情報とに基づいた指導支援情報を出力させる。
【選択図】図４
PROBLEM TO BE SOLVED: To provide a guidance support device, a guidance support system and a program to more appropriately support medical guidance.
In a medical guidance support system, a guidance support server 30 includes a video call control unit 352, a voice recognition processing unit 353, and a recommended information generation unit 354. The video call control unit 352 controls a video call between the terminal used by the instructor and the terminal used by the patient in order to remotely realize the medical guidance given to the patient. The voice recognition processing unit 353 performs voice recognition processing on the voice transmitted and received in the video call. The recommendation information generation unit 354 generates recommended information which is information indicating the instruction content recommended in the pharmaceutical instruction. Further, the video call control unit 352 outputs guidance support information based on the result of voice recognition by the voice recognition processing unit 353 and the recommended information generated by the recommended information generation unit 354 in parallel with the progress of the video call. ..
[Selection diagram] FIG. 4
Description
本発明は、指導支援装置、指導支援システム、及びプログラムに関する。 The present invention relates to a guidance support device, a guidance support system, and a program.
従来、医学的な指導や薬学的な指導といった、医療に関する指導を支援する情報処理技術が知られている。
例えば、特許文献１に、患者の薬歴のデータをデータベースによって管理する技術が開示されている。この特許文献１に開示の技術によれば、薬剤師が患者に対する調剤業務を行う際に、このデータベースを参照して、薬歴等に基づいた服薬指導を行うことができる。
Conventionally, information processing technology that supports medical guidance such as medical guidance and pharmaceutical guidance has been known.
For example,
特許文献１に開示されているような一般的な技術では、医療に関する指導を行う際に、指導を行う指導者と指導を受ける患者とが直接対面する状況を想定している。すなわち、一般的な技術では、例えば、ウイルスや細菌の接触感染等を考慮して、指導者と患者とが直接対面しない（あるいは、直接対面できない）状況については考慮されていない。しかしながら、このような指導者と患者とが直接対面しない（あるいは、直接対面できない）状況であっても、医療に関する指導を、より適切に支援することが望まれる。
In a general technique as disclosed in
本発明の課題は、医療に関する指導を、より適切に支援することである。 An object of the present invention is to support medical guidance more appropriately.
上記課題を解決するため、本発明の一態様の指導支援装置は、
患者に対して行われる医療に関する指導を遠隔で実現するために、前記医療に関する指導を行う指導者が使用する端末と前記患者が使用する端末との間のビデオ通話を制御するビデオ通話制御手段と、
前記ビデオ通話において送受信される音声に対して音声認識処理を行う音声認識処理手段と、
前記医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する推奨情報生成手段と、
を備え、
前記ビデオ通話制御手段は、前記ビデオ通話の進行と並行して、前記音声認識処理手段による音声認識の結果と、前記推奨情報生成手段が生成した推奨情報とに基づいた指導支援情報を、前記指導者が使用する端末から出力させる。
In order to solve the above problems, the guidance support device of one aspect of the present invention is
A video call control means for controlling a video call between a terminal used by the instructor who provides medical guidance and a terminal used by the patient in order to remotely realize medical guidance given to the patient. ,
A voice recognition processing means that performs voice recognition processing on the voice transmitted and received in the video call, and
Recommended information generation means for generating recommended information, which is information indicating the content of guidance recommended in the medical guidance.
Equipped with
In parallel with the progress of the video call, the video call control means provides guidance support information based on the result of voice recognition by the voice recognition processing means and the recommended information generated by the recommended information generation means. Output from the terminal used by the person.
本発明によれば、医療に関する指導を、より適切に支援することが可能となる。 According to the present invention, it becomes possible to more appropriately support medical guidance.
以下、本発明の実施形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［システム構成］
図１は、本発明の一実施形態に係る指導支援システム１のシステム構成を示す図である。
本実施形態における指導支援システム１は、医療に関する指導を支援するシステムである。例えば、指導支援システム１は、指導者である医療従事者と指導を受ける患者とが直接対面することなく、ビデオ通話により遠隔で行われる、医療に関する指導を支援するために用いられる。以下では、説明のための一例として、指導者である医療従事者が、保険薬局で業務に従事する薬剤師である場合を想定する。また、これも説明のための一例として、医療に関する指導が、調剤時に行われる服薬指導である場合を想定する。ただし、これらは説明のための一例に過ぎず、本実施形態の適用範囲を限定する趣旨ではない。本実施形態は、保険薬局や病院や診療所といった様々な医療施設において、薬剤師や医師や看護師といった様々な医療従事者によって行われる、医学的な指導や薬学的な指導といった様々な医療に関する指導を支援することが可能である。
[System configuration]
FIG. 1 is a diagram showing a system configuration of a
The
図１に示すように、指導支援システム１は、指導者側端末１０と、患者側端末２０と、指導支援サーバ３０と、を含んで構成される。また、指導者側端末１０、患者側端末２０、及び指導支援サーバ３０、並びに、薬局用コンピュータ、及び外部サーバは、ネットワーク４０を介して相互に通信可能に構成されている。このネットワーク４０は、例えば、インターネットや、保険薬局等に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）によって実現される。
As shown in FIG. 1, the
薬局用コンピュータは、保険薬局の業務に関する処理を実行するサーバコンピュータ等の情報処理装置であり、診療報酬明細書を作成するレセプトコンピュータとしての機能（レセコン機能）や、患者の薬歴を管理する機能（薬歴管理機能）を備える。また、外部サーバは、薬局用コンピュータと連携するサーバコンピュータ等の情報処理装置であり、電子お薬手帳を記憶しているデータベースサーバの機能や、薬剤情報を記憶しているデータベースサーバ等の機能を備える。 A pharmacy computer is an information processing device such as a server computer that executes processing related to the business of an insurance pharmacy, and has a function as a receipt computer for creating a medical fee statement (receipt function) and a function for managing the patient's drug history. Equipped with (medicine history management function). The external server is an information processing device such as a server computer that works with a computer for a pharmacy, and has a function of a database server that stores an electronic medicine notebook and a function of a database server that stores drug information. Be prepared.
なお、図中には、各装置及び各端末をそれぞれ一台ずつ図示するが、これに限られない。例えば、指導支援サーバ３０や薬局用コンピュータは、複数の保険薬局それぞれに対応して複数存在してもよい。他にも、例えば、指導者側端末１０は、これを利用して医療に関する指導を行う医療従事者それぞれに対応して複数存在してもよい。同様に、例えば、患者側端末２０は、これを利用して医療に関する指導を受ける患者それぞれに対応して複数存在してもよい。
In the figure, each device and each terminal are shown one by one, but the present invention is not limited to this. For example, a plurality of
指導者側端末１０は、医療に関する指導を行う医療従事者（ここでは、薬剤師）によって利用されるものであり、タブレット端末あるいはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置によって構成される。指導者側端末１０は、薬剤師が患者に対する服薬指導等を行う際に、医療に関する指導を支援するために各種の情報を表示したり、薬剤師による各種の情報の入力を受け付けたりする。例えば、指導者側端末１０は、後述する指導支援処理において、薬剤師と患者との間での服薬指導をビデオ通話で実現するために、指導支援サーバ３０を介して、薬剤師や患者の動画を表示したり、薬剤師や患者の音声を出力したりする。この場合に、指導者側端末１０は、さらに服薬指導の進行状況を示す薬剤師及び患者の発声した音声の認識結果や、推奨される指導内容、といった情報に基づいた指導支援情報を表示する。
The instructor-
患者側端末２０は、医療に関する指導を受ける患者によって利用されるものであり、指導者側端末１０と同様にタブレット端末あるいはＰＣ、あるいは患者の所持するスマートフォン等の情報処理装置によって構成される。患者側端末２０は、薬剤師が患者に対する服薬指導等を行う際に、医療に関する指導を支援するために各種の情報を表示したり、患者による各種の情報の入力を受け付けたりする。例えば、患者側端末２０は、後述する指導支援処理において、薬剤師と患者との間での服薬指導をビデオ通話で実現するために、指導支援サーバ３０を介して、薬剤師や患者の動画を表示したり、薬剤師や患者の音声を出力したりする。
なお、本実施形態において、指導支援情報は、薬剤師に対して提供されることを想定しているが、さらに患者に対して指導支援情報が提供されてもよい。この場合には、指導者側端末１０と同様に、患者側端末２０も、指導支援情報を表示する。
The patient-
In the present embodiment, the guidance support information is assumed to be provided to the pharmacist, but the guidance support information may be further provided to the patient. In this case, the patient-
指導支援サーバ３０は、指導者側端末１０及び患者側端末２０と連携して、医療に関する指導を支援するものであり、サーバコンピュータ等の情報処理装置によって構成される。指導支援サーバ３０は、医療に関する指導を支援するために、保険薬局に備えられた薬局用コンピュータ（複数存在する場合はそれぞれの薬局用コンピュータ）が管理している各種データを受信する。また、指導支援サーバ３０は、これら受信した各種のデータを薬局用コンピュータと同様のデータベース群（薬歴データベースを含む）によって管理する。すなわち、指導支援サーバ３０は、保険薬局に備えられた薬局用コンピュータ（複数存在する場合はそれぞれの薬局用コンピュータ）が管理する情報の一部又は全部を取得し、業務支援機能を実現する。
The
また、指導支援サーバ３０は、この業務支援機能によって「指導支援処理」を実行する。この指導支援処理において、指導支援サーバ３０は、患者に対して行われる医療に関する指導を遠隔で実現するために、薬剤師が使用する指導者側端末１０と患者が使用する患者側端末２０との間のビデオ通話を制御する。また、指導支援サーバ３０は、ビデオ通話において送受信される音声に対して音声認識処理を行う。さらに、指導支援サーバ３０は、薬学的な指導において推奨される指導内容を示す情報である推奨情報を生成する。
さらに、指導支援サーバ３０は、ビデオ通話の進行と並行して、音声認識の結果と、生成した推奨情報とに基づいた指導支援情報を、薬剤師が使用する指導者側端末１０から出力させる。
このように、指導支援サーバ３０は、ビデオ通話によって薬学的な指導を遠隔で実現する。これにより、例えば、ウイルスや細菌の接触感染等を考慮して、指導者と患者とが直接対面しない（あるいは、直接対面できない）状況であっても医療に関する指導を実現することができる。この場合に、指導支援サーバ３０は、単に医療に関する指導を実現するのみならず、指導の進行状況を示す薬剤師及び患者の発声した音声の認識結果や、推奨される指導内容、といった情報に基づいた指導支援情報を薬剤師に提供することができる。
従って、指導支援サーバ３０によれば、医療に関する指導を、より適切に支援することが可能となる。
Further, the
Further, the
In this way, the
Therefore, according to the
［ハードウェア構成］
次に、指導支援システム１に含まれる各装置及び各端末のハードウェア構成を説明する。
指導支援システム１に含まれる各装置及び各端末は、上述したようにＰＣ、サーバコンピュータ、タブレット端末あるいはスマートフォン等の情報処理装置によって構成され、その基本的構成はそれぞれ同様である。
[Hardware configuration]
Next, the hardware configuration of each device and each terminal included in the
As described above, each device and each terminal included in the
図２は、各装置及び各端末を構成する情報処理装置８００のハードウェア構成を示す図である。
図２に示すように、各装置を構成する情報処理装置８００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８１３と、バス８１４と、入力部８１５と、出力部８１６と、記憶部８１７と、通信部８１８と、ドライブ８１９と、撮像部８２０と、を備えている。
FIG. 2 is a diagram showing a hardware configuration of an
As shown in FIG. 2, the
ＣＰＵ８１１は、ＲＯＭ８１２に記録されているプログラム、又は、記憶部８１７からＲＡＭ８１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ８１３には、ＣＰＵ８１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
ＣＰＵ８１１、ＲＯＭ８１２及びＲＡＭ８１３は、バス８１４を介して相互に接続されている。バス８１４には、入力部８１５、出力部８１６、記憶部８１７、通信部８１８、ドライブ８１９及び撮像部８２０が接続されている。
The
入力部８１５は、各種ボタン等で構成され、指示操作に応じて各種情報を入力する。また、入力部８１５は、マイクをさらに含んでおり、音声を集音する。
出力部８１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部８１７は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各サーバで管理される各種データを記憶する。
通信部８１８は、ネットワーク４０を介して他の装置との間で行う通信を制御する。
The
The
The
The
ドライブ８１９には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア８３１が適宜装着される。ドライブ８１９によってリムーバブルメディア８３１から読み出されたプログラムは、必要に応じて記憶部８１７にインストールされる。
A
撮像部８２０は、レンズ及び撮像素子等を備えた撮像装置によって構成され、被写体のデジタル画像を撮像する。
The
なお、情報処理装置８００が指導支援サーバ３０として構成される場合には、撮像部８２０を省略した構成とすることも可能である。また、情報処理装置８００がタブレット端末として構成される場合には、入力部８１５をタッチセンサによって構成し、出力部８１６のディスプレイに重ねて配置することにより、タッチパネルを備える構成とすることも可能である。
When the
［機能的構成］
次に、指導支援システム１における各装置及び各端末の機能的構成について説明する。
[Functional configuration]
Next, the functional configuration of each device and each terminal in the
［指導者側端末１０の機能的構成］
図３（Ａ）は、指導者側端末１０の機能的構成を示すブロック図である。また、図３（Ｂ）は、後述する患者側端末２０の機能的構成を示すブロック図である。
図３（Ａ）に示すように、指導者側端末１０のＣＰＵ８１１においては、ユーザインターフェース表示制御部（ＵＩ表示制御部）１５１と、ビデオ通話制御部１５２と、推奨情報取得部１５３と、が機能する。
[Functional configuration of the leader terminal 10]
FIG. 3A is a block diagram showing a functional configuration of the
As shown in FIG. 3A, in the
ＵＩ表示制御部１５１は、指導支援サーバ３０から受信したユーザインターフェース画面を表示するための情報（以下、「ＵＩ情報」と称する。）に基づいて、後述する各種処理における各種入出力画面（以下、「ＵＩ画面」と称する。）の表示を制御する。例えば、ＵＩ表示制御部１５１は、指導支援処理において、遠隔での服薬指導を実現するためにビデオ通話の動画を表示する表示領域や、薬剤師を支援するための指導支援情報を表示する表示領域が含まれた画面等を出力部８１０に含まれるディスプレイに出力して表示する。また、ＵＩ表示制御部１５１は、これら表示と共に、動画に含まれる音声を出力部８１０に含まれるスピーカから出力する。
また、ＵＩ表示制御部１５１は、ＵＩ画面において入力された各種情報や、入力された操作指示の内容を指導支援サーバ３０に送信する。
The UI
Further, the UI
ビデオ通話制御部１５２は、他の装置におけるビデオ通話制御部（ここでは、患者側端末２０が備えるビデオ通話制御部２５２、及び指導支援サーバ３０が備えるビデオ通話制御部３５２）と協働することにより、指導者側端末１０と患者側端末２０との間でのビデオ通話（すなわち、薬剤師と患者側との間でのビデオ通話）を実現する。
The video
そのために、ビデオ通話制御部１５２は、入力部８１５に含まれるマイクにて薬剤師の音声を集音すると共に、撮像部８２０にて薬剤師の画像を撮像する。また、ビデオ通話制御部１５２は、この薬剤師の音声及び画像を所定のデータ形式に準拠した音声付きの動画（以下、「薬剤師の動画」と称する。）に変換する。そして、ビデオ通話制御部１５２は、この薬剤師の動画を指導支援サーバ３０に対して送信する。一方で、患者側端末２０が備えるビデオ通話制御部２５２は、患者を対象として同様の処理を行うことにより、患者の音声及び画像を所定のデータ形式に準拠した動画（以下、「患者の動画」と称する。）に変換する。そして、ビデオ通話制御部２５２は、この患者の動画を指導支援サーバ３０に対して送信する。
Therefore, the video
そして、指導支援サーバ３０が備えるビデオ通話制御部３５２は、この薬剤師の動画及び患者の動画に基づいて、ビデオ通話を実現するための音声付きの動画（以下、「ビデオ通話動画」と称する。）を生成し、指導者側端末１０及び患者側端末２０のそれぞれに対して送信する。ビデオ通話動画は、例えば、ビデオ通話動画を表示する場合の表示領域の一部に薬剤師及び患者の一方の画像を表示すると共に、表示領域の他の一部に他方の画像を表示し、且つ、薬剤師及び患者の音声を出力するための動画である。
指導者側端末１０のＵＩ表示制御部１５１、及び患者側端末２０が備えるＵＩ表示制御部２５１は、このビデオ通話動画を受信し、それぞれ自端末が備える出力部８１６からビデオ通話動画を出力（すなわち、ビデオ通話動画に含まれる画像の表示及び音声の出力等）を行う。
Then, the video
The UI
このような制御によりビデオ通話は実現されるが、このビデオ通話の進行と並行して、指導支援サーバ３０は、薬剤師の音声及び患者の音声を対象として、音声認識処理を行い、その音声認識結果を、指導者側端末１０に対して送信する。また、指導支援サーバ３０は、さらに、このビデオ通話の進行と並行して、服薬指導において、推奨される指導内容を示す情報である推奨情報を生成し、この推奨情報を指導者側端末１０に対して送信する。ＵＩ表示制御部１５１は、この音声認識結果や推奨情報をそれぞれ受信し、ビデオ通話動画と同様に、出力部８１６から出力（すなわち、音声認識結果や推奨情報の表示等）を行う。この出力された音声認識結果や推奨情報は、薬剤師の指導を支援するための情報である指導支援情報として、薬剤師に利用される。
A video call is realized by such control, but in parallel with the progress of the video call, the
推奨情報取得部１５３は、指導支援サーバ３０から推奨情報を受信したか否かを判定する。指導支援サーバ３０が送信するビデオ通話における動画や、その音声認識結果については、経時的に変化する。一方で、指導支援サーバ３０が送信する推奨情報は、所定のタイミングで更新されて周期的に送信される。そこで、推奨情報取得部１５３は、指導支援サーバ３０から推奨情報を受信したか否かを判定し、更新された推奨情報を新たに受信したと判定した場合には、その推奨情報を新たに出力するように、ＵＩ表示制御部１５１を制御する。
The recommended
［患者側端末２０の機能的構成］
図３（Ｂ）は、患者側端末２０の機能的構成を示すブロック図である。
図３（Ｂ）に示すように、患者側端末２０のＣＰＵ８１１においては、ユーザインターフェース表示制御部（ＵＩ表示制御部）２５１と、ビデオ通話制御部２５２と、が機能する。
ここで、ＵＩ表示制御部２５１は、上述した指導者側端末１０のＵＩ表示制御部１５１と同等の機能を備える。また、ビデオ通話制御部２５２は、上述した指導者側端末１０のビデオ通話制御部１５２と同等の機能を備える。また、各ビデオ通話制御部（ここでは、ビデオ通話制御部１５２、ビデオ通話制御部２５２、及びビデオ通話制御部３５２）が協働する方法については、ビデオ通話制御部１５２の説明において上述した通りである。したがって、ここでは重複する再度の説明を省略する。
[Functional configuration of patient terminal 20]
FIG. 3B is a block diagram showing a functional configuration of the patient-
As shown in FIG. 3B, in the
Here, the UI
［指導支援サーバ３０の機能的構成］
図４は、指導支援サーバ３０の機能的構成を示すブロック図である。
図４に示すように、指導支援サーバ３０のＣＰＵ８１１においては、ユーザインターフェース情報生成部（ＵＩ情報生成部）３５１と、ビデオ通話制御部３５２と、音声認識処理部３５３と、推奨情報生成部３５４と、薬歴管理部３５５と、データベース管理部（ＤＢ管理部）３５６と、が機能する。
[Functional configuration of guidance support server 30]
FIG. 4 is a block diagram showing a functional configuration of the
As shown in FIG. 4, in the
また、図４に示すように、指導支援サーバ３０の記憶部８１７においては、患者属性データベース（患者属性ＤＢ）３７１と、処方箋データベース（処方箋ＤＢ）３７２と、薬歴データベース（薬歴ＤＢ）３７３と、音声認識辞書データベース（音声認識辞書ＤＢ）３７４と、音声認識結果データベース（音声認識結果ＤＢ）３７５と、服薬指導データベース（服薬指導ＤＢ）３７６と、が形成される。
Further, as shown in FIG. 4, in the
患者属性ＤＢ３７１には、患者の、住所、氏名、生年月日、年齢、性別、被保険者証の記号番号、及び緊急時連絡先等の患者属性のデータが、各患者を識別する情報と対応付けて記憶されている。この患者属性は、薬剤師が患者との対話において取得した情報や、患者がアンケート等に回答して提供した情報等によって構成され、例えば、患者の趣味、仕事内容、家族構成、好きな食べ物等も含まれる。
In the
処方箋ＤＢ３７２には、患者に対して発行された処方箋のデータ（処方した保険医療機関名並びに保険医氏名、処方日、及び処方内容等）が、各患者を識別する情報や処方箋の持参日と対応付けて記憶されている。
In the
薬歴ＤＢ３７３には、患者に対して処方された薬剤の履歴（薬歴）のデータ（処方履歴、合併症を含む既往歴に関する情報、他科受診の有無等）が、各患者を識別する情報や処方を行った各薬剤師を識別する情報と対応付けて記憶されている。また、薬歴には、薬剤師が患者に対して行った服薬指導内容の履歴のデータ（服薬指導文等）が併せて記憶される。
In the
音声認識辞書ＤＢ３７４には、薬剤師の動画に含まれる薬剤師の音声や、患者の動画に含まれる患者の音声に対して音声認識処理を行うために用いられる各種の辞書が記憶されている。この辞書は、例えば、音声の特徴を抽出するための音響モデルや、発声された単語を特定するための発音辞書及び言語モデル等を含んで構成される。この辞書は、汎用的なものであってもよいし、本実施形態の用途に適合した、医療分野等に特化した辞書であってもよい。また、辞書は、統計情報等に基づいて人手によって作成されたものでもよいし、ディープラーニング等の手法を用いて機械学習により作成されたものでもよい。 The voice recognition dictionary DB 374 stores various dictionaries used for performing voice recognition processing on the voice of the pharmacist included in the video of the pharmacist and the voice of the patient included in the video of the patient. This dictionary includes, for example, an acoustic model for extracting speech features, a pronunciation dictionary for identifying spoken words, a language model, and the like. This dictionary may be a general-purpose dictionary, or may be a dictionary specialized in the medical field or the like suitable for the use of the present embodiment. Further, the dictionary may be manually created based on statistical information or the like, or may be created by machine learning using a method such as deep learning.
音声認識結果ＤＢ３７５には、音声認識処理部３５３による音声認識結果が、各患者を識別する情報や処方を行った各薬剤師を識別する情報と対応付けて記憶されている。
In the voice recognition result DB 375, the voice recognition result by the voice
服薬指導ＤＢ３７６には、一般に薬剤師が服薬指導を行う際の服薬指導内容が、処方される薬剤や処方される患者の特性（例えば、患者の年齢や性別や持病や既住歴等）と対応付けて記憶されている。服薬指導内容は、例えば、薬剤師（特にベテランの薬剤師）が服薬指導を行う患者に対して説明すべき調剤された薬剤の作用や副作用並びに飲み合わせ（併用禁忌）、服薬指導の一環として患者に対して聞き取りを行うべきヒアリング内容（聞き取り項目）等である。これらの服薬指導内容は、薬剤師が理解可能な専門的用語を用いた服薬指導文等の形式で表現されていてもよいし、患者にとってより理解しやすい形式（例えば、専門的な用語を用いず平易な表現とした服薬指導文や、口語を用いた質問文）で表現されていてもよい。また、服薬指導内容は、音声認識辞書ＤＢ３７４に記憶されている辞書と同様に、統計情報等に基づいて人手によって作成されたものでもよいし、ディープラーニング等の手法を用いて機械学習により作成されたものでもよい。
In the
ＵＩ情報生成部３５１は、指導者側端末１０や患者側端末２０がＵＩ画面を表示するためのＵＩ情報を生成し、生成したＵＩ情報を指導者側端末１０や患者側端末２０に対して送信する。この場合、ＵＩ情報生成部３５１は、ＵＩ画面を表示するためのフレームのフォーマット及びフォーマットに挿入する実体的な内容をＵＩ情報として生成する。本実施形態において、フォーマットに挿入する実体的な内容としては、例えば、指導支援処理において、遠隔での服薬指導を実現するためのビデオ通話動画や、薬剤師を支援するための音声認識結果や推奨情報といった指導支援情報が含まれる。
The UI
また、ＵＩ情報生成部３５１は、ＵＩ情報を指導者側端末１０や患者側端末２０に送信することに対応して、指導者側端末１０や患者側端末２０から送信される各種情報や、入力された操作指示の内容を受信する。
Further, the UI
ビデオ通話制御部３５２は、他の装置におけるビデオ通話制御部（ここでは、指導者側端末１０が備えるビデオ通話制御部１５２、及び患者側端末２０が備えるビデオ通話制御部２５２）と協働することにより、指導者側端末１０と患者側端末２０との間でのビデオ通話（すなわち、薬剤師と患者側との間でのビデオ通話）を実現する。具体的に、ビデオ通話制御部３５２は、ビデオ通話制御部１５２の説明において上述したように、指導者側端末１０から受信した薬剤師の動画、及び患者側端末２０から受信した患者の動画に基づいて、ビデオ通話動画を生成し、生成したビデオ通話動画を指導者側端末１０及び患者側端末２０のそれぞれに対して送信する。
The video
音声認識処理部３５３は、指導者側端末１０から受信した薬剤師の動画に含まれる薬剤師の音声、及び患者側端末２０から受信した患者の動画に含まれる患者の音声のそれぞれを対象として音声認識処理を行う。この場合に、音声認識処理部３５３は、例えば、音声認識辞書ＤＢ３７４が記憶する各種の辞書を参照し、薬剤師及び患者の音声をテキスト化する。そして、音声認識処理部３５３は、音声認識結果（ここでは、テキスト化された薬剤師及び患者の音声）を音声認識結果ＤＢ３７５に記憶させる。また、この音声認識結果は、ＵＩ情報生成部３５１により、指導者側端末１０に対して送信される。
The voice
推奨情報生成部３５４は、ビデオ通話制御部３５２が実現するビデオ通話の進行と並行して、服薬指導において推奨される指導内容を示す情報である推奨情報を、所定の生成タイミングで生成する。ここで、所定の生成タイミングとは、ビデオ通話が開始したタイミング、及びビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングの双方を含む。
The recommended
まずビデオ通話開始したタイミングで推奨情報を生成する場合、推奨情報生成部３５４は、患者側端末２０から受信したビデオ通話の開始要求に含まれる各患者を識別するための情報に基づいて、今回ビデオ通話を行う患者を特定する。次に、推奨情報生成部３５４は、患者属性ＤＢ３７１、処方箋ＤＢ３７２、及び薬歴ＤＢ３７３等の各データベースを参照することにより、この特定した患者に対して処方された処方箋、この患者の薬歴、及びこの患者の属性等を特定する。さらに、推奨情報生成部３５４は、これら特定された各種情報に対応する服薬指導内容（例えば、服薬指導文）を、服薬指導ＤＢ３７６から抽出する。そして、推奨情報生成部３５４は、この抽出した服薬指導内容を、服薬指導において推奨される指導内容として推奨情報に含ませることにより、推奨情報を生成する。ここで服薬指導内容は、服薬指導ＤＢ３７６の説明において上述したように、例えば、薬剤師（特にベテランの薬剤師）が服薬指導を行う患者に対して説明すべき調剤された薬剤の作用や副作用並びに飲み合わせ（併用禁忌）、患者に対して聞き取りを行うべきヒアリング内容（聞き取り項目）等である。
First, when the recommended information is generated at the timing when the video call is started, the recommended
また、推奨情報生成部３５４は、ビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングで、推奨情報の内容を変更して生成する。すなわち、推奨情報生成部３５４は、ビデオ通話の進行と並行して、推奨情報を更新する。これにより、推奨情報生成部３５４は、ビデオ通話の進行状況に対応した推奨情報を、適宜生成することができる。そのために、推奨情報生成部３５４は、音声認識処理部３５３の音声認識結果と、生成した推奨情報に含まれる服薬指導内容とを比較することにより、何れかの服薬指導内容に対応した服薬指導が薬剤師により行われたか否かを判定する。例えば、推奨情報生成部３５４は、音声認識結果と服薬指導内容のテキストとしての類似度や、音声認識結果において服薬指導内容に関連する単語が含まれている否か等の基準に基づいて、この判定をする。
Further, the recommended
そして、推奨情報生成部３５４は、この判定により、何れかの服薬指導内容に対応した服薬指導が薬剤師により行われたことを検出したタイミングで、推奨情報の内容を変更して生成する。この場合、推奨情報生成部３５４は、例えば、この服薬指導が指導済みとなったことを示す情報を推奨情報に追加する。他にも、推奨情報生成部３５４は、例えば、この服薬指導内容を推奨情報から削除する。他にも、推奨情報生成部３５４は、例えば、新たな服薬指導内容を推奨情報に追加する。あるいは、推奨情報生成部３５４は、これらの削除や追加等の変更を組み合わせたり、段階的に変更したりする。なお、これらの変更の具体例については、図５及び図６を参照して後述する。
このようにして生成された推奨情報は、生成される都度、ＵＩ情報生成部３５１により指導者側端末１０に対して送信される。そして、送信された推奨情報は、指導者側端末１０において、ビデオ通話動画や音声認識結果と共に出力（例えば、表示）される。
Then, the recommended
The recommended information generated in this way is transmitted to the instructor-
このような指導者側端末１０における表示及びその遷移の具体例について、図５及び図６を参照して説明をする。ここで、図５は、指導支援処理時に指導者側端末１０において表示される、ビデオ通話を伴う指導支援画面の一例を示す模式図である。また、図６は、ビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングで更新される、指導支援画面の遷移の一例を示す模式図である。
A specific example of such a display on the
図５に示すように、指導支援画面５０は、薬剤師画像表示領域５１、患者画像表示領域５２、患者属性表示領域５３、推奨情報表示領域５４、及び音声認識結果表示領域５５を、表示領域として含む。
As shown in FIG. 5, the
薬剤師画像表示領域５１には、ビデオ通話制御部３５２が生成したビデオ通話動画に含まれる薬剤師の画像（すなわち、動画）が表示される。また、患者画像表示領域５２には、ビデオ通話制御部３５２が生成したビデオ通話動画に含まれる患者の画像（すなわち、動画）が表示される。なお、指導支援処理時に患者側端末２０においても、薬剤師画像表示領域５１、及び患者画像表示領域５２と同様の表示領域が設けられて表示が行われる。なお、患者側端末２０では、例えば、薬剤師の表情等が分かりやすいように、薬剤師画像表示領域５１を大きくする一方で、患者画像表示領域５２を小さくして表示するようにしてもよい。また、指導者側端末１０及び患者側端末２０は、このような表示と共に、ビデオ通話動画に含まれる薬剤師及び患者の音声を出力する。これにより、薬剤師及び患者は、直接対面しない（あるいは、直接対面できない）状況であっても、遠隔での服薬指導を実現することができる。
In the pharmacist
患者属性表示領域５３には、患者属性ＤＢ３７１に記憶されている患者の属性を示す情報が表示される。
推奨情報表示領域５４には、推奨情報生成部３５４が生成した推奨情報が表示される。
音声認識結果表示領域５５には、音声認識処理部３５３による音声認識結果が表示される。
In the patient
In the recommended
The voice recognition result by the voice
このように表示された、患者の属性を示す情報や、推奨情報や、音声認識結果は、薬剤師の指導を支援するための情報である指導支援情報として、薬剤師に利用される。これにより、遠隔での服薬指導を実現すると共に、医療に関する指導を、より適切に支援することが可能となる。 The information indicating the attributes of the patient, the recommended information, and the voice recognition result displayed in this way are used by the pharmacist as guidance support information which is information for supporting the guidance of the pharmacist. As a result, it becomes possible to realize remote medication instruction and more appropriately support medical instruction.
また、図６に示すように、推奨情報や音声認識結果は、ビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングで更新される。図６では、指導支援画面５０における、推奨情報表示領域５４及び音声認識結果表示領域５５を特に図示する。
Further, as shown in FIG. 6, the recommended information and the voice recognition result are updated at the timing according to the progress of the video call (that is, the progress of the medication instruction). In FIG. 6, the recommended
一例として、ビデオ通話開始したタイミングにおいて、図６（Ａ）に示すように、「（１）前回処方されたＡ薬を全て服用したか確認して下さい」といった服薬指導内容５４－１や、「（２）今回処方されるＢ薬の効果について説明して下さい」といった服薬指導内容が推奨情報として表示されたとする。そして、音声認識結果５５－１として示すように、推奨情報を参照した薬剤師が、これを参考にして「前回処方されたＡ薬は全て服用されましたか？」という服薬指導を行ったとする。この場合、推奨情報生成部３５４は、服薬指導内容５４－１と、音声認識結果５５－１とを比較した判定により、服薬指導内容５４－１に対応した服薬指導が薬剤師により行われたことを検出する。すると推奨情報生成部３５４は、この検出をしたタイミングで、推奨情報の内容を変更して生成する。
As an example, at the timing when the video call is started, as shown in FIG. 6 (A), the medication instruction content 54-1 such as "(1) Please confirm whether all the previously prescribed A medicines have been taken" or " (2) Please explain the effect of the B drug prescribed this time. ”Suppose that the medication instruction content is displayed as recommended information. Then, as shown in the voice recognition result 55-1, it is assumed that the pharmacist who referred to the recommended information gave a medication instruction asking "Did you take all the medicine A prescribed last time?" With reference to this. In this case, the recommendation
すると、図６（Ｂ）に示すように、服薬指導内容５４－１にこの服薬指導が指導済みとなったことを示す情報として、「指導済み」というテキストが追加されたり、服薬指導内容５４－１に下線が付加されたりする。この場合に、他にも、音声認識処理部３５３が音声認識結果の表示の態様を異ならせてもよい。例えば、音声認識結果５５－１の表示の態様が変更され異なる色で表示されたり、ハッチング等が付加されたりする。薬剤師は、このような推奨情報等の変更に基づいて、自身が、推奨される服薬指導内容について指導を行えたことを確認することができる。また、このような表示を行った後に、推奨情報生成部３５４は、さらに、推奨情報の内容を変更して生成する。
Then, as shown in FIG. 6B, the text "instructed" is added to the medication instruction content 54-1 as information indicating that the medication instruction has been instructed, or the medication instruction content 54- An underline is added to 1. In this case, the voice
すると、図６（Ｃ）に示すように、服薬指導内容５４－１が削除され、これに代わって、「（３）Ａ薬の副作用が発生していないか確認して下さい」という新たな服薬指導内容５４－２が推奨情報に追加される。そして、音声認識結果５５－２として示すように、推奨情報を参照した薬剤師が、これを参考にして「Ａ薬を服用したあとに、眠気を感じたり、倦怠感を覚えたりすることはありませんでしたか？」という指導を行ったとする。この場合、推奨情報生成部３５４は、服薬指導内容５４－２と、音声認識結果５５－２とを比較した判定により、服薬指導内容５４－２に対応した服薬指導が薬剤師により行われたことを検出する。すると推奨情報生成部３５４は、この検出をしたタイミングで、推奨情報の内容を変更して生成する。例えば、服薬指導内容５４－２と音声認識結果５５－２に対して、図６（Ｂ）の服薬指導内容５４－１と音声認識結果５５－１に対して行ったのと同様の変更を行う。
Then, as shown in FIG. 6 (C), the medication instruction content 54-1 is deleted, and instead of this, a new medication "(3) Check if any side effects of drug A have occurred" is taken. Guidance content 54-2 is added to the recommended information. Then, as shown in the voice recognition result 55-2, the pharmacist who referred to the recommended information said, "I did not feel drowsy or tired after taking drug A. Did you do it? " In this case, the recommendation
このようにして、全ての服薬指導内容について、指導が行われるまで、ビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングで推奨情報等の内容を変更することにより、医療に関する指導を、より適切に支援することが可能となる。 In this way, regarding all medication instruction contents, by changing the content of recommended information etc. at the timing according to the progress of the video call (that is, the progress of medication instruction) until the instruction is given, it is related to medical treatment. It will be possible to support the guidance more appropriately.
図４に戻り、薬歴管理部３５５は、音声認識処理部３５３による音声認識結果に基づいて、服薬指導が行われた患者の薬歴に登録する服薬指導文の案を作成する。上述したように、服薬指導における薬剤師及び患者の音声の音声認識結果は、音声認識結果ＤＢ３７５に記憶されている。そこで、薬歴管理部３５５は、この記憶されている音声認識結果に基づいて、ビデオ通話を伴う服薬指導で実際に行われた服薬指導内容を特定する。そして、例えば、薬歴管理部３５５は、特定した服薬指導内容に対応する服薬指導文を服薬指導ＤＢ３７６から抽出し、この抽出した服薬指導文を、服薬指導文の案として作成する。そして、薬歴管理部３５５は、作成した服薬指導文の案を薬歴ＤＢ３７３に登録する。これにより、薬剤師による煩雑な文字入力操作等を要することなく、服薬指導文の案を作成することができる。
Returning to FIG. 4, the medication
ＤＢ管理部３５６は、薬局用コンピュータや外部サーバが管理している各種データベースのデータと、指導支援サーバ３０に備えられた各種データベースのデータとを同期させるための管理を行う。例えば、ＤＢ管理部３５６は、予め設定された時刻（例えば、各サーバの使用頻度が低い午前３時等の時刻）や各種データベースが更新されたタイミングで、指導支援サーバ３０が管理している各種データベースにおいて更新されたデータを薬局用コンピュータや外部サーバに送信すると共に、薬局用コンピュータや外部サーバにおいて更新された各種データベースのデータを薬局用コンピュータや外部サーバから受信し、指導支援サーバ３０が備える各種データベースを更新する。これにより、指導支援サーバ３０に備えられた各種データベースのデータの内容は、適宜最新の内容に更新される。
The
［動作］
次に、指導支援システム１に含まれる各装置及び各端末それぞれにおける、指導支援処理時の動作を説明する。
[motion]
Next, the operation during the guidance support processing in each device and each terminal included in the
［指導者側端末１０の動作］
図７は、指導者側端末１０が実行する指導支援処理の流れを示すフローチャートである。
指導者側端末１０における指導支援処理は、指導者側端末１０において、ビデオ通話の開始指示操作を受け付けたことに対応して開始される。
[Operation of leader terminal 10]
FIG. 7 is a flowchart showing the flow of the instruction support process executed by the
The instruction support process on the instructor-
ステップＳ１１において、ビデオ通話制御部１５２は、患者側端末２０との間でのビデオ通話の開始要求を、指導支援サーバ３０に対して送信する。この通話の開始要求には、指導者側端末１０を利用している薬剤師を識別する情報を含ませる。また、ビデオ通話制御部１５２は、併せて、指導支援サーバ３０に対して、薬剤師の動画の送信を開始する。
In step S11, the video
ステップＳ１２において、ビデオ通話制御部１５２は、ビデオ通話が開始されたか否かの判定を行う。
ビデオ通話が開始されていない場合、ステップＳ１２においてＮＯと判定されて、処理はステップＳ１２の判定を繰り返す。
一方、ビデオ通話が開始された場合、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に移行する。
In step S12, the video
If the video call has not been started, it is determined as NO in step S12, and the process repeats the determination in step S12.
On the other hand, when the video call is started, it is determined as YES in step S12, and the process proceeds to step S13.
ステップＳ１３において、ビデオ通話制御部１５２は、指導支援サーバ３０からビデオ通話動画を受信する。
In step S13, the video
ステップＳ１４において、ＵＩ表示制御部１５１は、ステップＳ１３にて受信した動画を表示する。
In step S14, the UI
ステップＳ１５において、ビデオ通話制御部１５２は、指導支援サーバ３０から音声認識結果を受信する。
ステップＳ１６において、ＵＩ表示制御部１５１は、ステップＳ１５にて受信した音声認識結果を表示する。
In step S15, the video
In step S16, the UI
ステップＳ１７において、推奨情報取得部１５３は、推奨情報を受信したか否かの判定を行う。
推奨情報を受信していない場合、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１６に移行する。
一方、推奨情報を受信した場合、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に移行する。
In step S17, the recommended
If the recommended information is not received, NO is determined in step S17, and the process proceeds to step S16.
On the other hand, when the recommended information is received, it is determined as YES in step S17, and the process proceeds to step S18.
ステップＳ１８において、ＵＩ表示制御部１５１は、ステップＳ１７にて受信を確認した推奨情報を表示する。
In step S18, the UI
ステップＳ１９において、ビデオ通話制御部１５２は、ビデオ通話が終了したか否かの判定を行う。ここで、ビデオ通話は、例えば、指導者側端末１０又は患者側端末２０において、ビデオ通話の終了指示操作を受け付けた場合に終了する。なお、このビデオ通話の終了指示操作を受け付けた端末は、ビデオ通話の終了要求を、指導支援サーバ３０に対して送信する。
ビデオ通話が終了していない場合、ステップＳ１９においてＮＯと判定されて、処理はステップＳ１３に戻り繰り返される。
一方、ビデオ通話が終了した場合、ステップＳ１９においてＹＥＳと判定されて、指導者側端末１０における指導支援処理は終了する。
In step S19, the video
If the video call is not terminated, NO is determined in step S19, and the process returns to step S13 and is repeated.
On the other hand, when the video call ends, it is determined as YES in step S19, and the instruction support process in the
［患者側端末２０の動作］
図８は、患者側端末２０が実行する指導支援処理の流れを示すフローチャートである。
患者側端末２０における指導支援処理は、患者側端末２０において、ビデオ通話の開始指示操作を受け付けたことに対応して開始される。
[Operation of patient terminal 20]
FIG. 8 is a flowchart showing the flow of the guidance support process executed by the patient-
The guidance support process on the patient-
ステップＳ２１において、ビデオ通話制御部２５２は、指導者側端末１０との間でのビデオ通話の開始要求を、指導支援サーバ３０に対して送信する。この通話の開始要求には、患者側端末２０を利用している患者を識別する情報を含ませる。また、ビデオ通話制御部２５２は、併せて、指導支援サーバ３０に対して、患者の動画の送信を開始する。
In step S21, the video
ステップＳ２２において、ビデオ通話制御部２５２は、ビデオ通話が開始されたか否かの判定を行う。
ビデオ通話が開始されていない場合、ステップＳ２２においてＮＯと判定されて、処理はステップＳ２２の判定を繰り返す。
一方、ビデオ通話が開始された場合、ステップＳ２２においてＹＥＳと判定されて、処理はステップＳ２３に移行する。
In step S22, the video
If the video call has not been started, NO is determined in step S22, and the process repeats the determination in step S22.
On the other hand, when the video call is started, it is determined as YES in step S22, and the process proceeds to step S23.
ステップＳ２３において、ビデオ通話制御部２５２は、指導支援サーバ３０からビデオ通話動画を受信する。
ステップＳ２４において、ＵＩ表示制御部２５１は、ステップＳ２３にて受信した動画を表示する。
In step S23, the video
In step S24, the UI
ステップＳ２５において、ビデオ通話制御部２５２は、ビデオ通話が終了したか否かの判定を行う。ここで、ビデオ通話は、例えば、指導者側端末１０又は患者側端末２０において、ビデオ通話の終了指示操作を受け付けた場合に終了する。なお、このビデオ通話の終了指示操作を受け付けた端末は、ビデオ通話の終了要求を、指導支援サーバ３０に対して送信する。
ビデオ通話が終了していない場合、ステップＳ２５においてＮＯと判定されて、処理はステップＳ２３に戻り繰り返される。
一方、ビデオ通話が終了した場合、ステップＳ２５においてＹＥＳと判定されて、患者側端末２０における指導支援処理は終了する。
In step S25, the video
If the video call is not terminated, NO is determined in step S25, and the process returns to step S23 and is repeated.
On the other hand, when the video call ends, YES is determined in step S25, and the guidance support process on the patient-
［指導支援サーバ３０の動作］
図９は、指導支援サーバ３０が実行する指導支援処理の流れを示すフローチャートである。
指導支援サーバ３０における指導支援処理は、指導支援サーバ３０の電源が投入されると共に開始される。
[Operation of guidance support server 30]
FIG. 9 is a flowchart showing the flow of the guidance support process executed by the
The guidance support process in the
ステップＳ３１において、ビデオ通話制御部３５２は、ビデオ通話が開始されたか否かの判定を行う。ここで、ビデオ通話は、例えば、指導者側端末１０及び患者側端末２０のそれぞれから、ビデオ通話の開始要求を受け付けた場合に開始される。なお、これらビデオ通話の開始要求には、薬剤師を識別する情報や患者を識別する情報が含まれている。そのため、指導支援サーバ３０は、これら識別する情報に基づいて薬剤師や患者を特定した上で、以後の処理を実施することができる。
ビデオ通話が開始されていない場合、ステップＳ３１においてＮＯと判定されて、処理はステップＳ３１に移行する。
一方、ビデオ通話が開始された場合、ステップＳ３１においてＹＥＳと判定されて、処理はステップＳ３２に移行する。
In step S31, the video
If the video call has not been started, NO is determined in step S31, and the process proceeds to step S31.
On the other hand, when the video call is started, it is determined as YES in step S31, and the process proceeds to step S32.
ステップＳ３２において、ビデオ通話制御部３５２は、指導者側端末１０から薬剤師の動画を受信すると共に、患者側端末２０から患者の動画を受信する。そして、ビデオ通話制御部３５２は、受信した薬剤師及び患者の動画に基づいて、ビデオ通話動画を生成する。
In step S32, the video
ステップＳ３３において、ＵＩ情報生成部３５１は、ステップＳ３２にて生成されたビデオ通話動画を、指導者側端末１０及び患者側端末２０のそれぞれに対して送信する。
In step S33, the UI
ステップＳ３４において、音声認識処理部３５３は、ステップＳ３２にて受信した薬剤師及び患者の音声を音声認識処理する。
ステップＳ３５において、ビデオ通話制御部３５２は、ステップＳ３２にて音声認識された音声認識結果を、指導者側端末１０に対して送信する。
In step S34, the voice
In step S35, the video
ステップＳ３６において、推奨情報生成部３５４は、推奨情報の生成タイミング（上述したように、ビデオ通話が開始したタイミング、及びビデオ通話の進行状況（すなわち、服薬指導の進行状況）に応じたタイミングの双方を含む。）であるか否かの判定を行う。
推奨情報の生成タイミングでない場合、ステップＳ３６においてＮＯと判定されて、処理はステップＳ３９に移行する。
一方、推奨情報の生成タイミングである場合、ステップＳ３６においてＹＥＳと判定されて、処理はステップＳ３７に移行する。
ステップＳ３７において、推奨情報生成部３５４は、推奨情報を生成する。
In step S36, the recommended
If it is not the timing to generate the recommended information, NO is determined in step S36, and the process proceeds to step S39.
On the other hand, when it is the timing to generate the recommended information, YES is determined in step S36, and the process proceeds to step S37.
In step S37, the recommended
ステップＳ３８において、推奨情報生成部３５４は、ステップＳ３７にて生成された推奨情報を、指導者側端末１０に対して送信する。
ステップＳ３９において、薬歴管理部３５５は、ステップＳ３２にて音声認識された音声認識結果に基づいて、服薬指導文の案を作成する。
In step S38, the recommended
In step S39, the medication
ステップＳ４０において、ビデオ通話制御部３５２は、ビデオ通話が終了したか否かの判定を行う。ここで、ビデオ通話は、例えば、指導者側端末１０及び患者側端末２０の何れかから、ビデオ通話の終了要求を受信した場合に終了する。
ビデオ通話が終了していない場合、ステップＳ４０においてＮＯと判定されて、処理はステップＳ３２に戻り、繰り返される。
一方、ビデオ通話が終了した場合、ステップＳ４０においてＹＥＳと判定されて、処理はステップＳ４１に移行する。
In step S40, the video
If the video call is not terminated, NO is determined in step S40, the process returns to step S32, and the process is repeated.
On the other hand, when the video call is terminated, YES is determined in step S40, and the process proceeds to step S41.
ステップＳ４１において、薬歴管理部３５５は、服薬指導文の案を薬歴に登録する。これにより、指導支援サーバ３０における指導支援処理は終了する。
In step S41, the medication
以上説明した指導支援処理によれば、ビデオ通話によって薬学的な指導を遠隔で実現する。これにより、例えば、ウイルスや細菌の接触感染等を考慮して、指導者と患者とが直接対面しない（あるいは、直接対面できない）状況であっても医療に関する指導を実現することができる。この場合に、指導支援処理によれば、単に医療に関する指導を実現するのみならず、指導の進行状況を示す薬剤師及び患者の発声した音声の認識結果や、推奨される指導内容、といった情報に基づいた指導支援情報を薬剤師に提供することができる。
従って、指導支援処理によれば、医療に関する指導を、より適切に支援することが可能となる。
According to the instruction support process described above, pharmaceutical instruction can be realized remotely by video call. Thereby, for example, in consideration of contact infection of a virus or a bacterium, it is possible to realize medical guidance even in a situation where the instructor and the patient do not directly meet (or cannot directly meet). In this case, according to the guidance support process, not only the guidance related to medical treatment is realized, but also the recognition result of the voice uttered by the pharmacist and the patient indicating the progress of the guidance, the recommended guidance content, and the like. Guidance support information can be provided to pharmacists.
Therefore, according to the guidance support process, it is possible to more appropriately support medical guidance.
［変形例］
以上、本発明の実施形態について説明したが、この実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、本発明の要旨を逸脱しない範囲で、その他の様々な実施形態を取ることが可能である共に、省略及び置換等種々の変形を行うことができる。この場合に、これら実施形態及びその変形は、本明細書等に記載された発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
一例として、以上説明した本発明の実施形態を、以下のようにして変形してもよい。また、以下のような変形を組み合わせるようにしてもよい。
［変形例１］
上述の実施形態では、説明のための一例として、指導支援システム１において、指導者側端末１０を薬剤師が利用し、患者側端末２０を利用する患者に対して、調剤時の服薬指導等を行うことを想定した。これに限らず、指導支援システム１は、保険薬局や病院や診療所といった様々な医療施設において、薬剤師や医師や看護師といった様々な医療従事者によって行われる、医学的な指導や薬学的な指導といった様々な医療に関する指導を支援することが可能である。すなわち、指導支援システム１において、指導者側端末１０を用いて、医療に関する指導を行う指導者は薬剤師に限らず、他の医療従事者であってもよい。
[Modification example]
Although the embodiment of the present invention has been described above, this embodiment is merely an example and does not limit the technical scope of the present invention. The present invention can take various other embodiments without departing from the gist of the present invention, and can be modified in various ways such as omission and substitution. In this case, these embodiments and variations thereof are included in the scope and gist of the invention described in the present specification and the like, and are included in the scope of the invention described in the claims and the equivalent scope thereof.
As an example, the embodiment of the present invention described above may be modified as follows. Further, the following modifications may be combined.
[Modification 1]
In the above-described embodiment, as an example for explanation, the pharmacist uses the instructor-
例えば、病院において業務に従事する医師がオンライン診療を行う場合に、指導者側端末１０を用いて、医学的な指導を行うようにしてもよい。この場合、服薬指導ＤＢ３７６に代えて医師用の指導データベースが設けられる。そして、この医師用の指導データベースには、一般に医師がオンライン診療を行う際の医学的な指導内容や、この医学的な指導の一環として患者から聞き取りを行うべき内容（ヒアリング内容）が、指導者となる医師が担当する診療科や、指導を受ける患者の特性（例えば、患者の年齢や性別や持病や既住歴等）と対応付けて記憶されている。また、初診は対面診療でなされており、再診がオンライン診療でなされるような場合には、初診の対面診療での診療結果が、さらに対応付けて記憶されていてもよい。
For example, when a doctor engaged in business in a hospital performs online medical treatment, the instructor-
この医学的な指導内容は、例えば、医師（特にその診療科を担当しているベテランの医師）が、医学的な指導を行う患者に対して聞き取りを行うべき内容（例えば、患者の自覚している症状や、患者の持病といった診断に必要な情報）や、患者に対して説明すべき内容（例えば、罹患が疑われる病気の治療法や、複数の治療法それぞれ長所および短所）等である。これらの医学的な指導内容は、医師が理解可能な専門的用語を用いた形式で表現されていてもよいし、患者にとってより理解しやすい形式（例えば、専門的な用語を用いず平易な表現とした形式や、口語を用いた質問文）で表現されていてもよい。また、医学的な指導内容は、服薬指導ＤＢ３７６と同様に、統計情報等に基づいて人手によって作成されたものでもよいし、ディープラーニング等の手法を用いて機械学習により作成されたものでもよい。
This medical instruction content is, for example, a content that a doctor (especially a veteran doctor in charge of the medical department) should interview a patient who provides medical instruction (for example, the patient's awareness). Information necessary for diagnosing the patient's illness and the patient's illness), and the content to be explained to the patient (for example, the treatment method for the suspected illness and the advantages and disadvantages of each of the multiple treatment methods). These medical instructional contents may be expressed in a form that is understandable by a doctor using technical terms, or may be expressed in a form that is easier for the patient to understand (for example, a plain expression without using technical terms). It may be expressed in the form of a question or a question sentence using spoken language). Further, the medical instruction content may be manually created based on statistical information or the like, or may be created by machine learning using a method such as deep learning, as in the
そして、推奨情報生成部３５４は、ビデオ通話が開始されると、上述した実施形態における服薬指導ＤＢ３７６から服薬指導内容を抽出する方法と同様の方法で、医師用の指導データベースから医学的な指導内容を抽出する。そして、推奨情報生成部３５４は、この抽出した医学的な指導内容を、医学的な指導において推奨される指導内容として推奨情報に含ませることにより、推奨情報を生成する。この推奨情報は、上述の実施形態と同様にして、医師に対して支援情報として表示される等の方法で活用される。
Then, when the video call is started, the recommended
この場合、薬歴管理部３５５は、音声認識処理部３５３による音声認識結果に基づいて、上述した実施形態における服薬指導文の案を薬歴に登録する方法と同様の方法で、医学的な指導内容文の案を薬歴（又は、薬歴に代わる電子カルテや電子問診票等）に登録する。これにより、医師による煩雑な文字入力操作等を要することなく、医学的な服薬内容文の案を作成することができる。
In this case, the drug
このように、指導者となる医療従事者に応じて、適宜、指導データベースを作成することにより、上述した薬剤師に対する服薬指導の支援と同様に、他の医療従事者に対する医療に関する指導の支援を実現することができる。例えば、医師によるオンライン診療のみならず、看護師が理学療法士といった他の医療従事者が、患者に対して、何らかの医療に関する指導を遠隔で行う状況において、これら他の医療従事者を支援することができる。
すなわち、指導支援システム１は、指導者となる医療従事者を問うことなく、薬剤師や医師や看護師といった様々な医療従事者によって行われる、医学的な指導や薬学的な指導といった様々な医療に関する指導を支援することが可能である。
In this way, by creating a guidance database as appropriate according to the medical staff who will be the instructor, it is possible to support medical guidance for other medical staff in the same way as the above-mentioned support for medication guidance for pharmacists. can do. For example, assisting other healthcare professionals, such as nurses and physiotherapists, not only in online medical care by doctors, but also in situations where nurses provide some medical guidance to patients remotely. Can be done.
That is, the
［変形例２］
上述の実施形態において、薬歴管理部３５５は、服薬指導文の案を作成していた。このようにコンピュータによって自動作成された服薬指導文の案は、あくまで案であり、これをそのまま正式な服薬指導文として患者の薬歴に登録するのは望ましくない場合がありえる。そこで、服薬指導終了後に、薬歴管理部３５５が作成した服薬指導文の案を薬剤師が確認し、確認の結果薬剤師の承認が得られたもののみを正式な服薬指導文として患者の薬歴に登録する処理を追加することとしてもよい。
[Modification 2]
In the above-described embodiment, the medication
この場合、例えば、指導支援サーバ３０において承認受付画面を生成し、指導者側端末１０において表示させる。図１０は、承認受付画面の一例を示す模式図である。
図１０に示すように、承認受付画面６０は、書誌事項表示領域６１、服薬指導文の案表示領域６２、音声結果表示領域６３、及び承認ボタン表示領域６４を、表示領域として含む。
In this case, for example, the
As shown in FIG. 10, the
書誌事項表示領域６１には、薬歴を登録する対象とする服薬指導に関する書誌事項が表示される。例えば、患者氏名、服薬指導の実施日時、処方箋の番号、及び薬剤師の氏名等が表示される。
In the bibliographic
服薬指導文の案表示領域６２には、薬剤師が服薬指導を行う際の服薬指導内容を示す服薬指導文の一覧と、承認対象とする服薬指導文を薬剤師が選択するためのチェックボックスが表示される。この一覧に含まれる服薬指導文は、上述した指導支援処理において薬歴管理部３５５が作成した、服薬指導文の案の一覧に相当する。
In the draft medication instruction
音声結果表示領域６３には、服薬指導における薬剤師及び患者の音声の音声認識結果が表示される。
承認ボタン表示領域６４には、服薬指導文の案表示領域６２に表示されるチェックボックスで選択した服薬指導文の案を、すべて承認するための操作ボタンが表示される。
In the voice
In the approval
薬剤師は、服薬指導文の案表示領域６２に表示される服薬指導文の案の中から、正式な服薬指導文として患者の薬歴に登録するものを選択し、承認ボタン表示領域６４に表示される登録を承認するための操作ボタンを押下する。また、薬剤師は、服薬指導文の案を選択する際に参考とするために、適宜音声結果表示領域６３に表示される、服薬指導における薬剤師及び患者の音声の音声認識結果を参照する。このように、音声認識結果等を参照できるようにすることによって、薬剤師が適切な服薬指導文の案を承認することを支援することができる。
The pharmacist selects a draft of the medication instruction text displayed in the draft medication guidance
そして、薬歴管理部３５５は、指導者側端末１０において薬剤師の承認操作を受け付けた服薬指導文の案のみを、正式な服薬指導文として薬歴ＤＢ３７３に登録する。一方で、薬歴管理部３５５は、指導者側端末１０において薬剤師の承認操作を受け付けなかった服薬指導文の案については、正式な服薬指導文として薬歴ＤＢ３７３に登録することはしない。これにより、薬剤師によって問題がないことが確認された、適正な服薬指導文のみを、薬歴に登録することができる。
Then, the drug
［変形例３］
上述の実施形態において、複数のクライアントである指導者側端末１０及び患者側端末２０と、サーバである指導支援サーバ３０により、指導支援システム１を構築し、指導支援サーバ３０を介して、指導者側端末１０及び患者側端末２０の間でビデオ通話を伴う服薬指導を行うものとした。
[Modification 3]
In the above-described embodiment, the
これに限らず、例えば、指導支援サーバ３０に備えられた機能をより多くのサーバ（例えば、クラウドサーバ）に分散して実装したり、指導支援サーバ３０と、薬局用コンピュータの機能を１つの情報処理装置８００にまとめて実装したりすることとしてもよい。
Not limited to this, for example, the functions provided in the
また、他にも、例えば、指導者側端末１０によるビデオ通話等の機能と、指導支援サーバ３０による服薬指導の支援機能を単体の情報処理装置８００にまとめて実装することとしてもよい。また、この場合に、さらに患者側端末２０によるビデオ通話等の機能と、指導支援サーバ３０による服薬指導の支援機能を他の単体の情報処理装置８００で実現し、これら情報処理装置８００間で、ピア・ツー・ピア（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で通信を行うようにしてもよい。
In addition, for example, a function such as a video call by the
［変形例４］
上述の実施形態において、指導支援サーバ３０は、指導者側端末１０及び患者側端末２０と協働して、ビデオ通話を伴う指導支援を対象として指導支援処理を行っていた。これに限らず、ビデオ通話を伴う指導支援に関連性の高い機能とさらに連携して指導支援処理を行うこととしてもよい。
[Modification 4]
In the above-described embodiment, the
例えば、薬歴を管理する機能や、薬歴と連携して服薬指導を支援する機能等といった一般的な薬局用コンピュータ等が備える機能と連携して指導支援処理を行うこととしてもよい。この場合、薬歴を管理する機能とは、例えば、服薬指導文のみならず、処方箋、患者に対するアンケート結果、患者からのヒアリング内容、患者に対する問診結果、患者に対する薬剤師の印象、調剤した薬剤、診療報酬明細書、及びお薬手帳といった各種の情報を薬剤師や薬局のスタッフ等のために管理したり、そのためのユーザインターフェースを提供したりする機能である。また、薬歴と連携して服薬指導を支援する機能とは、例えば、ヒアリングや問診すべき内容や服薬指導内容を薬剤師に対して提案したり、服薬の履歴を患者が理解しやすいように出力したり、これらのためのユーザインターフェースを提供したりする機能である。 For example, the instruction support process may be performed in cooperation with a function provided in a general pharmacy computer or the like, such as a function for managing the drug history or a function for supporting the medication instruction in cooperation with the drug history. In this case, the function of managing the drug history is, for example, not only the medication instruction sentence, but also the prescription, the questionnaire result for the patient, the content of the hearing from the patient, the interview result for the patient, the impression of the pharmacist for the patient, the dispensed drug, and the medical treatment. It is a function to manage various information such as remuneration statement and medicine notebook for pharmacists and pharmacy staff, and to provide a user interface for that purpose. In addition, the function that supports medication guidance in cooperation with the medication history is, for example, suggesting the content to be interviewed or interviewed to the pharmacist, and outputting the medication history so that the patient can easily understand it. It is a function that provides a user interface for these.
そして、これらの機能と連携する場合、ビデオ通話制御部３５２は、例えば、これらの機能の何れか又は双方に関連する表示画面において薬剤師からの操作を受け付けたことを契機としてビデオ通話を開始する。
Then, when linking with these functions, the video
これにより、指導支援サーバ３０は、指導支援の対象としている薬学的な指導に関連性の高い機能（すなわち、薬歴を管理する機能や、薬歴と連携して服薬指導を支援する機能）と連携して処理を行うことができる。
As a result, the
［変形例５］
上述の実施形態において、指導支援サーバ３０は、ＤＢ管理部３５６により、薬局用コンピュータや外部サーバが管理している各種データベースのデータと、指導支援サーバ３０に備えられた各種データベースのデータとを同期させるという管理を行っていた。
[Modification 5]
In the above-described embodiment, the
これに限らず、指導支援サーバ３０は、さらに他の方法でも、各種データベースのデータを管理するようにしてもよい。例えば、音声認識処理部３５３による音声認識の結果を示すデータ（ここでは、ビデオ通話における薬剤師や患者の音声をテキスト化したテキストデータ）を分類すると共に、該分類結果に対応する出力先に対して音声認識の結果を示すテキストデータを出力するようにしてもよい。このような分類を伴う音声認識の結果を示すテキストデータの管理処理について図１１を参照して説明をする
Not limited to this, the
［変形例５における指導支援サーバ３０の動作］
図１１は、指導支援サーバ３０が実行するデータ管理処理の流れを示すフローチャートである。
指導支援サーバ３０におけるデータ管理処理は、指導支援サーバ３０において、データ管理処理の開始指示操作を受け付けたことに対応して開始される。なお、他にも、例えば、予め設定された時刻（例えば、各サーバの使用頻度が低い午前３時等の時刻）等にバッチ処理としてデータ管理処理が開始されるようにしてもよい。このようにビデオ通話と同時にデータ管理処理を行うのではなく、バッチ処理として予め設定された時刻にデータ管理処理を行って処理を行う時間帯を分散することにより、指導支援サーバ３０において同時に発生する演算処理の負荷を低減することができる。
[Operation of
FIG. 11 is a flowchart showing the flow of data management processing executed by the
The data management process in the
ステップＳ７１において、ＤＢ管理部３５６は、音声認識結果ＤＢ３７５から、音声認識処理部３５３による音声認識の結果を示すテキストデータを取得する。このテキストデータは、未だ本処理の対象とされていない未分類のテキストデータである。
In step S71, the
ステップＳ７２において、音声認識処理部３５３は、ステップＳ７１において取得したテキストデータからキーワードを抽出する。このキーワードは、例えば、患者又は薬剤師が発話した「息苦しい」、「咳が出る」等の服薬指導において重要と考えられるキーワードである。このようなキーワードの抽出は、キーワードとする文言を、音声認識辞書ＤＢ３７４に登録しておくことにより実現できる。
In step S72, the voice
ステップＳ７３において、音声認識処理部３５３は、ステップＳ７２において抽出したキーワードそれぞれに対して、そのキーワードに応じたカテゴリーに分類をする。例えば、第１のキーワードが抽出された場合には、この第１のキーワードを「服薬状況」、「副作用」、「効能・効果」、「注意事項」、「医師への連絡事項」等のカテゴリーの何れかに分類する。この分類は、キーワードと分類されるカテゴリーとを対応付けて音声認識辞書ＤＢ３７４に登録しておくことにより実現できる。
In step S73, the voice
ステップＳ７４において、ＤＢ管理部３５６は、ステップＳ７３において分類された各キーワードを、分類結果に対応する出力先に対して出力する。例えば、分類されたカテゴリーが、患者の特記事項等の患者の属性に関連するカテゴリーであれば、そのキーワードを、患者属性ＤＢ３７１に対して出力して、患者属性ＤＢ３７１に記憶させる。同様に、例えば、分類されたカテゴリーが、服薬状況等の薬歴に関連するカテゴリーであれば、そのキーワードを、薬歴ＤＢ３７３に対して出力して、薬歴ＤＢ３７３に記憶させる。
In step S74, the
この場合に、出力先は、指導支援サーバ３０に形成される各データベースに限られない。例えば、出力先を他のサーバコンピュータ等としてもよい。この場合、例えば、分類されたカテゴリーが、副作用等の治療・診断に関連するカテゴリーであれば、そのキーワードを、電子カルテを記憶する外部サーバに対して送信することにより出力して、外部サーバに記憶させる。
他にも、例えば、出力先を印刷装置やファクシミリとしてもよい。この場合、例えば、分類されたカテゴリーが、他の薬剤師や医師への連絡事項に関連するカテゴリーであれば、そのキーワードを文書として印刷するようにしてもよい。
In this case, the output destination is not limited to each database formed in the
Alternatively, for example, the output destination may be a printing device or a facsimile. In this case, for example, if the classified category is a category related to contact information with other pharmacists or doctors, the keyword may be printed as a document.
ステップＳ７５において、ＤＢ管理部３５６は、音声認識結果ＤＢ３７５に、未だ本処理の対象とされていない未分類のテキストデータが存在するか否かを判定する。
未分類のテキストデータが存在する場合、ステップＳ７５においてＹＥＳと判定され、データ管理処理は終了する。
ビデオ通話が終了していない場合、ステップＳ７５においてＮＯと判定されて、処理はステップＳ７１に戻り繰り返される。
In step S75, the
If there is unclassified text data, YES is determined in step S75, and the data management process ends.
If the video call is not terminated, NO is determined in step S75, and the process returns to step S71 and is repeated.
以上説明したデータ管理処理によれば、音声認識結果を示すテキストデータを分類して、分類結果に対応するデータベースに記憶させること等ができる。すなわち、指導支援サーバ３０は、音声認識結果を示すテキストデータを適切に管理することができる。
According to the data management process described above, the text data indicating the voice recognition result can be classified and stored in the database corresponding to the classification result. That is, the
なお、以上説明したデータ管理処理では、抽出したキーワードを単位として分類し、このキーワードを単位としてデータベースに出力して記憶させる等していた。これに限らず、抽出したキーワードを含む前後の文を単位として分類をし、この文を単位としてデータベースに出力して記憶させる等するようにしてもよい。 In the data management process described above, the extracted keywords are classified as a unit, and the keywords are output to the database as a unit and stored. Not limited to this, sentences before and after the extracted keyword may be classified as a unit, and this sentence may be output to a database as a unit and stored.
［変形例６］
上述した変形例５において、指導支援サーバ３０は、音声認識結果を示すテキストデータ（ここでは、キーワード単位又はキーワードを含む前後の文単位のテキストデータ）を分類して、分類結果に対応するデータベースに記憶させる等していた。
[Modification 6]
In the above-mentioned modification 5, the
これに限らず、分類したテキストデータを、さらに他の用途に利用するようにしてもよい。例えば、音声合成の技術を利用して、分類したテキストデータを音声データに変換する。そして、この変換により得られた音声データを、薬剤師又は患者に対して再生する。すなわち、分類したテキストデータを、薬剤師又は患者に対して読み上げる。 Not limited to this, the classified text data may be used for other purposes. For example, the classified text data is converted into voice data by using a voice synthesis technique. Then, the voice data obtained by this conversion is reproduced for the pharmacist or the patient. That is, the classified text data is read aloud to the pharmacist or the patient.
ここで、変形例５において分類したテキストデータは、抽出したキーワードが含まれると共に、適切なカテゴリーに分類されたテキストデータであり、ビデオ通話で薬剤師と患者が送受した会話の内容から、服薬指導に関連する特に重要な内容を抜き出したものに相当する。
したがって、このテキストデータを、薬剤師や患者に対して読み上げることにより、薬剤師や患者はビデオ通話の内容を効率よく振り返ることができる。例えば、単純にビデオ通話で送受された音声を全て録音しておき、これを再生するような場合に比べて、より効率よく振り返ることができる。
Here, the text data classified in the modified example 5 includes the extracted keywords and is classified into an appropriate category, and is used for medication instruction from the contents of the conversation sent and received by the pharmacist and the patient in the video call. It corresponds to an excerpt of the relevant and particularly important content.
Therefore, by reading this text data to the pharmacist or the patient, the pharmacist or the patient can efficiently look back on the contents of the video call. For example, it is possible to look back more efficiently than in the case of simply recording all the voices transmitted and received in a video call and playing them back.
この分類したテキストデータの音声データへの変換は、例えば、音声認識処理部３５３に、音声認識エンジンとしての機能に加えて、音声合成エンジンとしての機能を追加すると共に、音声認識辞書ＤＢ３７４に音声合成用のライブラリを記憶させておくことにより実現できる。また、変換により得られた音声データの再生（すなわち、読み上げ）は、例えば、指導者側端末１０や患者側端末２０の、出力部８１６に含まれるスピーカから音声データを再生した音声を出力することにより実現できる
The conversion of the classified text data into voice data includes, for example, adding a function as a voice synthesis engine to the voice
読み上げは、任意のタイミングで行うことができるが、例えば、新たな服薬指導を行う場合に、前回の服薬指導におけるテキストデータを予め読み上げることで、薬剤師や患者は、前回の服薬指導でやり取りした内容を振り返った上で新たな服薬指導を行うことができる。これは、特に、前回の服薬指導から時間が経過している場合に有益である。また、前回服薬指導を行った薬剤師と、今回新たに服薬指導を行う薬剤師とが、異なる人物である場合にも、前回の服薬指導の内容を適切に引き継げるという点で有益である。 The reading can be performed at any time, but for example, when a new medication instruction is given, the text data in the previous medication instruction is read aloud in advance, so that the pharmacist and the patient exchanged the contents in the previous medication instruction. After looking back on, new medication guidance can be given. This is especially useful if time has passed since the last medication instruction. In addition, even if the pharmacist who gave the previous medication instruction and the pharmacist who newly gives the medication instruction are different persons, it is beneficial in that the content of the previous medication instruction can be appropriately taken over.
この場合、指導者側端末１０のＵＩ表示制御部１５１は、新たな服薬指導を行う対象の患者（例えば、今回処方箋を持参した患者）を選択するためのユーザインターフェースを表示する。そして、薬剤師がこのユーザインターフェースにより患者を選択すると、ＵＩ表示制御部１５１は、この患者に対して過去に行われた服薬指導（例えば、前回やそれ以前に行われた服薬指導を含む）を選択するためのユーザインターフェースをさらに表示する。そして、薬剤師が過去に行われた何れかの服薬指導を選択すると、患者を識別するための情報と共に、この服薬指導に対応する音声データの取得依頼を指導支援サーバ３０に対して送信する。指導支援サーバ３０は、この取得依頼に応じて、対応する音声データを指導者側端末１０に対して送信する。これにより、ＵＩ表示制御部１５１は、指導支援サーバ３０から、薬剤師が読み上げを希望する音声データを取得して、薬剤師に対する読み上げを実現することができる。
In this case, the UI
他にも、例えば、患者が自宅で前回の服薬指導の内容を振り返るような場合に、読み上げを行うようにしてもよい。
この場合、患者側端末２０のＵＩ表示制御部２５１は、この患者側端末２０を利用する患者に対して過去に行われた服薬指導（例えば、前回やそれ以前に行われた服薬指導を含む）を選択するためのユーザインターフェースを表示する。そして、患者が過去に行われた何れかの服薬指導を選択すると、患者を識別するための情報と共に、この服薬指導に対応する音声データの取得依頼を指導支援サーバ３０に対して送信する。指導支援サーバ３０は、この取得依頼に応じて、対応する音声データを指導者側端末１０に対して送信する。これにより、ＵＩ表示制御部２５１は、指導支援サーバ３０から、患者が読み上げを希望する音声データを取得して、患者に対する読み上げを実現することができる。
In addition, for example, when the patient looks back on the contents of the previous medication instruction at home, the reading may be performed.
In this case, the UI
なお、この指導支援サーバ３０からの音声データの送信は、取得依頼に対応する音声データをメール等の通信手段により、指導者側端末１０や患者側端末２０に送信する方法であってもよい。あるいは、指導支援サーバ３０が所定のＵＲＬを発行し、このＵＲＬにアクセスした指導者側端末１０や患者側端末２０に、取得依頼に対応する音声データをダウンロードさせるようにしてもよい。
次に、このような読み上げを実現するための読み上げ処理の動作について説明をする。
The voice data transmitted from the
Next, the operation of the reading process for realizing such reading will be described.
［変形例６における指導者側端末１０及び指導支援サーバ３０の動作］
図１２は、読み上げ処理の流れを示すフローチャートである。なお、以下では、指導者側端末１０と、指導支援サーバ３０とにより読み上げ処理を実行する場合を例にとって説明する。
指導者側端末１０及び指導支援サーバ３０における読み上げ処理は、指導者側端末１０において、読み上げ処理の開始指示操作を受け付けたことに対応して開始される。
[Operation of the
FIG. 12 is a flowchart showing the flow of the reading process. In the following, a case where the reading process is executed by the
The reading process in the
ステップＳ８１において、指導者側端末１０のＵＩ表示制御部１５１は、音声データの取得依頼を指導支援サーバ３０に対して送信する。この取得依頼には、薬剤師を識別する情報や患者を識別する情報や依頼する音声データに対応する服薬指導を識別する情報が含まれている。
In step S81, the UI
ステップＳ８２において、指導者側端末１０のＵＩ表示制御部１５１は、ステップＳ８１において送信した取得依頼の応答として、指導支援サーバ３０から音声データを受信したか否かを判定する。
音声データを受信した場合、ステップＳ８２においてＹＥＳと判定され、処理はステップＳ８３に進む。
一方、音声データを受信していない場合、ステップＳ８２においてＮＯと判定され、処理はステップＳ８２の判定を繰り返す。
In step S82, the UI
When the voice data is received, it is determined as YES in step S82, and the process proceeds to step S83.
On the other hand, when the voice data is not received, it is determined as NO in step S82, and the process repeats the determination in step S82.
ステップＳ８３において、指導者側端末１０のＵＩ表示制御部１５１は、指導支援サーバ３０から受信した音声データを再生した音声を、出力部８１６に含まれるスピーカから出力する。すなわち、音声データを読み上げる。これにより、指導者側端末１０における読み上げ処理は終了する。
In step S83, the UI
ステップＳ９１において、指導支援サーバ３０の音声認識処理部３５３は、指導者側端末１０から音声データの取得依頼を受信したか否かを判定する。
音声データの取得依頼を受信した場合、ステップＳ９１においてＹＥＳと判定され、処理はステップＳ９２に進む。なお、この音声データの取得依頼には、薬剤師を識別する情報や患者を識別する情報や音声データに対応する服薬指導を識別する情報が含まれている。そのため、指導支援サーバ３０は、これら識別する情報に基づいて音声データに対応する薬剤師や患者や服薬指導を特定した上で、以後の処理を実施することができる。
一方、音声データの取得依頼を受信していない場合、ステップＳ９２においてＮＯと判定され、処理はステップＳ９１の判定を繰り返す。
In step S91, the voice
When the voice data acquisition request is received, it is determined as YES in step S91, and the process proceeds to step S92. The voice data acquisition request includes information for identifying the pharmacist, information for identifying the patient, and information for identifying the medication instruction corresponding to the voice data. Therefore, the
On the other hand, when the voice data acquisition request is not received, it is determined as NO in step S92, and the process repeats the determination in step S91.
ステップＳ９２において、指導支援サーバ３０の音声認識処理部３５３は、受信した取得依頼に対応する服薬指導についての、分類されたテキストデータを取得する。
In step S92, the voice
ステップＳ９３において、指導支援サーバ３０の音声認識処理部３５３は、ステップＳ９２において取得したテキストデータを、音声データに変換する。
In step S93, the voice
ステップＳ９４において、指導支援サーバ３０のＵＩ情報生成部３５１は、ステップＳ９３において変換した音声データを指導者側端末１０に対して送信する。これにより、指導支援サーバ３０における読み上げ処理は終了する。
In step S94, the UI
なお、以上説明した読み上げ処理では、指導者側端末１０と、指導支援サーバ３０とにより読み上げ処理を実行する場合を例にとって説明した。これを、患者側端末２０と、指導支援サーバ３０とにより読み上げ処理を実行する場合の説明とするためには、以上の説明における「指導者側端末１０」を「患者側端末２０」と読み替え、「ＵＩ表示制御部１５１」を「ＵＩ表示制御部２５１」と読み替えればよい。
In the reading process described above, a case where the reading process is executed by the instructor-
以上説明した読み上げ処理によれば、抽出したキーワードを含むテキストデータを、薬剤師や患者に対して読み上げることにより、薬剤師や患者はビデオ通話の内容を効率よく振り返ることができる。 According to the reading process described above, the pharmacist or the patient can efficiently look back on the content of the video call by reading the text data including the extracted keyword to the pharmacist or the patient.
［構成例］
以上のように、本実施形態に係る指導支援サーバ３０は、ビデオ通話制御部３５２と、音声認識処理部３５３と、推奨情報生成部３５４と、を備える。
ビデオ通話制御部３５２は、患者に対して行われる医療に関する指導を遠隔で実現するために、医療に関する指導を行う指導者が使用する指導者側端末１０と患者が使用する患者側端末２０との間のビデオ通話を制御する。
音声認識処理部３５３は、ビデオ通話において送受信される音声に対して音声認識処理を行う。
推奨情報生成部３５４は、医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する。
さらに、ビデオ通話制御部３５２は、ビデオ通話の進行と並行して、音声認識処理部３５３による音声認識の結果と、推奨情報生成部３５４が生成した推奨情報とに基づいた指導支援情報を、指導者が使用する指導者側端末１０から出力させる。
このように、指導支援サーバ３０は、ビデオ通話によって医療に関する指導を遠隔で実現するのみならず、指導の進行状況を示す指導者及び患者の発声した音声の認識結果や、推奨される指導内容、といった情報に基づいた指導支援情報を指導者に提供することができる。
従って、本発明の実施形態に係る指導支援サーバ３０によれば、患者に対して行われる医療に関する指導を、より適切に支援することが可能となる。
[Configuration example]
As described above, the
The video
The voice
The recommended
Further, the video
In this way, the
Therefore, according to the
推奨情報生成部３５４は、少なくとも患者に関する情報に基づいて推奨情報を生成すると共に、音声認識処理部３５３による音声認識の結果に基づいて推奨情報の内容を変更する。
これにより、指導支援サーバ３０は、指導の進行状況を示す指導者及び患者の発声した音声の認識結果に基づいて、推奨情報をより適切な内容（例えば、指導の進行状況に応じた内容）に変更することができる。
The recommendation
As a result, the
推奨情報生成部３５４は、音声認識処理部３５３による音声認識の結果に基づいて決定したタイミングで、推奨情報を変更する。
これにより、指導支援サーバ３０は、指導の進行状況を示す指導者及び患者の発声した音声の認識結果に基づいて、推奨情報をより適切なタイミング（例えば、指導の進行状況に応じたタイミング）で変更することができる。
The recommended
As a result, the
指導支援サーバ３０は、薬歴管理部３５５をさらに備える。
薬歴管理部３５５は、音声認識処理部３５３による音声認識の結果に基づいて、患医療に関する指導に対応する指導文の案を作成する。
これにより、指導支援サーバ３０は、指導者による煩雑な文字入力操作等を要することなく、指導文の案を作成することができる。
The
Based on the result of voice recognition by the voice
As a result, the
薬歴管理部３５５は、指導者が登録の承認をしたことを条件に、服薬指導文の案を医療に関する指導に対応する指導文として患者の薬歴に登録する。
これにより、指導支援サーバ３０は、指導者によって問題がないことが確認された、適正な指導文のみを、薬歴に登録することができる。
The medication
As a result, the
指導支援サーバ３０は、薬歴を管理する機能及び薬歴と連携して医療に関する指導を支援する機能の何れか又は双方の機能と連携し、
ビデオ通話制御部３５２は、薬歴を管理する機能及び薬歴と連携して医療に関する指導を支援する機能の何れか又は双方に関連する表示画面において指導者からの操作を受け付けたことを契機としてビデオ通話を開始する。
これにより、指導支援サーバ３０は、指導支援の対象としている医療に関する指導に関連性の高い機能（すなわち、薬歴を管理する機能や、薬歴と連携して医療に関する指導を支援する機能）と連携して処理を行うことができる。
The
The video
As a result, the
指導支援サーバ３０は、ＤＢ管理部３５６をさらに備える。
ＤＢ管理部３５６は、音声認識処理部３５３による音声認識の結果を示すデータを該音声認識された内容に基づいて分類すると共に、該分類結果に対応する出力先に対して音声認識の結果を示すデータを出力する。
これにより、指導支援サーバ３０は、音声認識結果を示すデータ（例えば、テキストデータ）を分類して、分類結果に対応するデータベースに記憶させること等ができる。すなわち、指導支援サーバ３０は、音声認識結果を示すデータ（例えば、テキストデータ）を適切に管理することができる。
The
The
As a result, the
音声認識処理部３５３は、ＤＢ管理部３５６が出力する音声認識の結果を示すデータを、薬剤師又は患者に対して音声を再生するための音声データに変換する。
これにより、抽出したキーワードを含むテキストデータを音声データとして、薬剤師や患者に対して読み上げることにより、薬剤師や患者はビデオ通話の内容を効率よく振り返ることができる。
The voice
As a result, the text data including the extracted keywords is read aloud to the pharmacist and the patient as voice data, so that the pharmacist and the patient can efficiently look back on the contents of the video call.
以上のように、本実施形態に係る指導支援システム１は、ネットワークを介して通信可能に構成された指導者側端末１０と患者側端末２０と指導支援サーバ３０とを含む。
指導者側端末１０は、ビデオ通話制御部１５２と、出力部８１６と、を備える。
ビデオ通話制御部１５２は、患者に対して行われる医療に関する指導を遠隔で実現するために、医療に関する指導を行う指導者が使用する指導者側端末１０と患者が使用する患者側端末２０との間のビデオ通話を制御する。
出力部８１６は、指導支援情報を出力する。
患者側端末２０は、ビデオ通話制御部２５２を備える。
ビデオ通話制御部２５２は、ビデオ通話を制御する。
指導支援サーバ３０は、ビデオ通話制御部３５２と、音声認識処理部３５３と、推奨情報生成部３５４と、を備える。
ビデオ通話制御部３５２は、ビデオ通話を制御する。
音声認識処理部３５３は、ビデオ通話において送受信される音声に対して音声認識処理を行う。
推奨情報生成部３５４は、医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する。
さらに、ビデオ通話制御部３５２は、ビデオ通話の進行と並行して、音声認識処理部３５３による音声認識の結果と、推奨情報生成部３５４が生成した推奨情報とに基づいた指導支援情報を、患者側端末２０が備える出力部８１６から出力させる。
これにより、指導支援システム１は、複数の端末とサーバ装置という構成で、ビデオ通話によって医療に関する指導を遠隔で実現するのみならず、指導の進行状況を示す指導者及び患者の発声した音声の認識結果や、推奨される指導内容、といった情報に基づいた指導支援情報を指導者に提供することができる。
従って、本発明の実施形態に係る指導支援システム１によれば、医療に関する指導を、より適切に支援することが可能となる。
As described above, the
The instructor-
The video
The
The patient-
The video
The
The video
The voice
The recommended
Further, the video
As a result, the
Therefore, according to the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態においては、薬剤師による服薬指導を対象とする支援する場合を例に挙げて説明したが、これに限られない。すなわち、本発明において支援する対象には、各種医療情報が含まれる。
The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like to the extent that the object of the present invention can be achieved are included in the present invention.
For example, in the above-described embodiment, the case of supporting the target of medication instruction by a pharmacist has been described as an example, but the present invention is not limited to this. That is, the target to be supported in the present invention includes various medical information.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態における機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が指導支援システム１を構成するいずれかのコンピュータに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に示した例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or software.
In other words, the functional configuration in the above-described embodiment is merely an example and is not particularly limited. That is, it suffices if any of the computers constituting the
Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
また、上述した一連の処理を実行するためのプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 Further, the recording medium including the program for executing the above-mentioned series of processes is not only composed of the removable media distributed separately from the device main body in order to provide the program to the user, but also incorporated in the device main body in advance. It is composed of a recording medium or the like provided to the user in this state.
また、上述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。 Moreover, the effects described in the above-described embodiments are merely a list of the most suitable effects resulting from the present invention, and the effects according to the present invention are not limited to those described in the present embodiment.
１ 指導支援システム、１０ 指導者側端末、２０ 患者側端末、３０ 指導支援サーバ、４０ ネットワーク、１５１，２５１ ユーザインターフェース表示制御部（ＵＩ表示制御部）、１５２，２５２，３５２ ビデオ通話制御部、１５３ 推奨情報取得部、３５１ ユーザインターフェース情報生成部（ＵＩ情報生成部）、３５３ 音声認識処理部、３５４ 推奨情報生成部、３５５ 薬歴管理部、３５６ データベース管理部（ＤＢ管理部）、３７１ 患者属性データベース（患者属性ＤＢ）、３７２ 処方箋データベース（処方箋ＤＢ）、３７３ 薬歴データベース（薬歴ＤＢ）、３７４ 音声認識辞書データベース（音声認識辞書ＤＢ）、３７５ 音声認識結果データベース（音声認識結果ＤＢ）、３７６ 服薬指導データベース（服薬指導ＤＢ）、８００ 情報処理装置、８１１ ＣＰＵ、８１２ ＲＯＭ、８１３ ＲＡＭ、８１４ バス、８１５ 入力部、８１６ 出力部、８１７ 記憶部、８１８ 通信部、８１９ ドライブ、８２０ 撮像部、８３１ リムーバブルメディア 1 Guidance support system, 10 Instructor side terminal, 20 Patient side terminal, 30 Guidance support server, 40 network, 151,251 User interface display control unit (UI display control unit), 152,252,352 Video call control unit, 153 Recommended information acquisition unit, 351 User interface information generation unit (UI information generation unit), 353 Voice recognition processing unit, 354 Recommended information generation unit, 355 Drug history management department, 356 Database management department (DB management department), 371 Patient attribute database (Patient attribute DB), 372 prescription database (prescription DB), 373 medication history database (medicine history DB), 374 voice recognition dictionary database (voice recognition dictionary DB), 375 voice recognition result database (voice recognition result DB), 376 medications. Guidance database (medication guidance DB), 800 information processing device, 811 CPU, 812 ROM, 813 RAM, 814 bus, 815 input section, 816 output section, 817 storage section, 818 communication section, 819 drive, 820 image pickup section, 831 removable media
Claims (10)
前記ビデオ通話において送受信される音声に対して音声認識処理を行う音声認識処理手段と、
前記医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する推奨情報生成手段と、
を備え、
前記ビデオ通話制御手段は、前記ビデオ通話の進行と並行して、前記音声認識処理手段による音声認識の結果と、前記推奨情報生成手段が生成した推奨情報とに基づいた指導支援情報を、前記指導者が使用する端末から出力させることを特徴とする指導支援装置。 A video call control means for controlling a video call between a terminal used by the instructor who provides medical guidance and a terminal used by the patient in order to remotely realize medical guidance given to the patient. ,
A voice recognition processing means that performs voice recognition processing on the voice transmitted and received in the video call, and
Recommended information generation means for generating recommended information, which is information indicating the content of guidance recommended in the medical guidance.
Equipped with
In parallel with the progress of the video call, the video call control means provides guidance support information based on the result of voice recognition by the voice recognition processing means and the recommended information generated by the recommended information generation means. A guidance support device characterized by outputting from a terminal used by a person.
ことを特徴とする請求項１に記載の指導支援装置。 The recommended information generation means generates the recommended information based on at least the information about the patient, and changes the content of the recommended information based on the result of voice recognition by the voice recognition processing means.
The guidance support device according to claim 1, wherein the instruction support device is characterized by the above.
ことを特徴とする請求項１又は２に記載の指導支援装置。 The recommended information generation means changes the recommended information at a timing determined based on the result of voice recognition by the voice recognition processing means.
The guidance support device according to claim 1 or 2, characterized in that.
ことを特徴とする請求項１から３までの何れか１項に記載の指導支援装置。 Further provided with drug history management means for creating a draft of a guidance sentence corresponding to the medical guidance based on the result of voice recognition by the voice recognition processing means.
The guidance support device according to any one of claims 1 to 3, wherein the instruction support device is characterized by the above.
ことを特徴とする請求項４に記載の指導支援装置。 The drug history management means registers the draft of the guidance sentence in the drug history of the patient as a guidance sentence corresponding to the guidance regarding the medical treatment, provided that the instructor approves the registration.
The guidance support device according to claim 4, wherein the instruction support device is characterized by the above.
前記ビデオ通話制御手段は、前記薬歴を管理する機能及び薬歴と連携して前記医療に関する指導を支援する機能の何れか又は双方に関連する表示画面において前記指導者からの操作を受け付けたことを契機として前記ビデオ通話を開始する、
ことを特徴とする請求項１から５までの何れか１項に記載の指導支援装置。 The guidance support device cooperates with either or both of the function of managing the drug history and the function of supporting the medical guidance in cooperation with the drug history.
The video call control means has received an operation from the instructor on a display screen related to either or both of the function of managing the drug history and the function of supporting the medical guidance in cooperation with the drug history. The video call is started with the opportunity of
The guidance support device according to any one of claims 1 to 5, wherein the guidance support device is characterized.
ことを特徴とする請求項１から６までの何れか１項に記載の指導支援装置。 Data showing the result of voice recognition by the voice recognition processing means is classified based on the content recognized by the voice, and data showing the result of the voice recognition is output to the output destination corresponding to the classification result. Further control measures,
The guidance support device according to any one of claims 1 to 6, characterized in that.
ことを特徴とする請求項７に記載の指導支援装置。 The voice recognition processing means converts the data indicating the result of the voice recognition output by the data management means into voice data for reproducing the voice to the instructor or the patient.
The guidance support device according to claim 7, wherein the instruction support device is characterized by the above.
前記第１の端末は、
患者に対して行われる医療に関する指導を遠隔で実現するために、前記医療に関する指導を行う指導者が使用する第１の端末と前記患者が使用する第２の端末との間のビデオ通話を制御する第１のビデオ通話制御手段と、
指導支援情報を出力する出力手段と、を備え、
前記第２の端末は、
前記ビデオ通話を制御する第２のビデオ通話制御手段を備え、
前記サーバは、
前記ビデオ通話を制御する第３のビデオ通話制御手段と、
前記ビデオ通話において送受信される音声に対して音声認識処理を行う音声認識処理手段と、
前記医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する推奨情報生成手段と、
を備え、
前記第３のビデオ通話制御手段は、前記ビデオ通話の進行と並行して、前記音声認識処理手段による音声認識の結果と、前記推奨情報生成手段が生成した推奨情報とに基づいた指導支援情報を、前記第２の端末が備える前記出力手段から出力させることを特徴とする指導支援システム。 It is a guidance support system including a first terminal, a second terminal, and a server configured to be able to communicate via a network.
The first terminal is
Controlling a video call between a first terminal used by the medical guidance instructor and a second terminal used by the patient in order to remotely realize medical guidance given to the patient. The first video call control means to
Equipped with an output means to output guidance support information,
The second terminal is
A second video call control means for controlling the video call is provided.
The server
A third video call control means for controlling the video call,
A voice recognition processing means that performs voice recognition processing on the voice transmitted and received in the video call, and
Recommended information generation means for generating recommended information, which is information indicating the content of guidance recommended in the medical guidance.
Equipped with
The third video call control means, in parallel with the progress of the video call, provides guidance support information based on the result of voice recognition by the voice recognition processing means and the recommended information generated by the recommended information generation means. , A guidance support system characterized in that output is performed from the output means included in the second terminal.
患者に対して行われる医療に関する指導を遠隔で実現するために、前記医療に関する指導を行う指導者が使用する端末と前記患者が使用する端末との間のビデオ通話を制御するビデオ通話制御機能と、
前記ビデオ通話において送受信される音声に対して音声認識処理を行う音声認識処理機能と、
前記医療に関する指導において推奨される指導内容を示す情報である推奨情報を生成する推奨情報生成機能と、
を実現させると共に、
前記ビデオ通話制御機能は、前記ビデオ通話の進行と並行して、前記音声認識処理機能による音声認識の結果と、前記推奨情報生成機能が生成した推奨情報とに基づいた指導支援情報を、前記指導者が使用する端末から出力させることを特徴とするプログラム。 On the computer
A video call control function that controls a video call between the terminal used by the instructor who provides medical guidance and the terminal used by the patient in order to remotely realize medical guidance given to the patient. ,
A voice recognition processing function that performs voice recognition processing on the voice transmitted and received in the video call, and
A recommended information generation function that generates recommended information, which is information indicating the content of guidance recommended in the medical guidance, and
Along with realizing
The video call control function provides guidance support information based on the result of voice recognition by the voice recognition processing function and the recommended information generated by the recommended information generation function in parallel with the progress of the video call. A program characterized by outputting from a terminal used by a person.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024076847A JP7653562B2 (en) | 2020-07-23 | 2024-05-09 | Training support system, training support method, and program |
| JP2025042366A JP7728497B2 (en) | 2020-07-23 | 2025-03-17 | Teaching support device, teaching support system, and program |
| JP2025120829A JP7783459B2 (en) | 2020-07-23 | 2025-07-17 | Teaching support device, teaching support system, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020125910 | 2020-07-23 | ||
| JP2020125910 | 2020-07-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024076847A Division JP7653562B2 (en) | 2020-07-23 | 2024-05-09 | Training support system, training support method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022022129A true JP2022022129A (en) | 2022-02-03 |
| JP7488225B2 JP7488225B2 (en) | 2024-05-21 |
Family
ID=80220775
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021116742A Active JP7488225B2 (en) | 2020-07-23 | 2021-07-14 | Teaching support device, teaching support system, and program |
| JP2024076847A Active JP7653562B2 (en) | 2020-07-23 | 2024-05-09 | Training support system, training support method, and program |
| JP2025042366A Active JP7728497B2 (en) | 2020-07-23 | 2025-03-17 | Teaching support device, teaching support system, and program |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024076847A Active JP7653562B2 (en) | 2020-07-23 | 2024-05-09 | Training support system, training support method, and program |
| JP2025042366A Active JP7728497B2 (en) | 2020-07-23 | 2025-03-17 | Teaching support device, teaching support system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7488225B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024008706A (en) * | 2022-07-08 | 2024-01-19 | 株式会社ハッピースマイル | Programs, information processing systems and information processing devices |
| JP2025008856A (en) * | 2023-07-06 | 2025-01-20 | Ｐｈｃホールディングス株式会社 | Server device, display control method and program |
| USD1083674S1 (en) | 2022-04-13 | 2025-07-15 | Huawei Technologies Co., Ltd. | Automobile |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316882A (en) * | 2002-04-19 | 2003-11-07 | Kansai Syst Prod Kk | Network consulting system and virtual integrated office constituting the system |
| JP2017138981A (en) * | 2016-01-29 | 2017-08-10 | 東日本メディコム株式会社 | Guidance support system, guidance support method, and program |
| JP2018206055A (en) * | 2017-06-05 | 2018-12-27 | コニカミノルタ株式会社 | Conversation recording system, conversation recording method, and care support system |
| JP2019133271A (en) * | 2018-01-29 | 2019-08-08 | 大日本印刷株式会社 | Telemedicine terminal device, computer program, and server |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267358A (en) * | 2004-03-19 | 2005-09-29 | Hitachi Medical Corp | Electronic medical charge formation/management system for local health care, and operation method thereof |
| JP2014164722A (en) | 2013-02-27 | 2014-09-08 | Toshiba Corp | Medical examination guidance support system and medical examination guidance support method |
| JP6361249B2 (en) | 2014-04-10 | 2018-07-25 | 株式会社湯山製作所 | Medication guidance support system, medication guidance support method |
| WO2016079807A1 (en) | 2014-11-18 | 2016-05-26 | 楽天株式会社 | Prescription medicine selling system, prescription medicine selling method, program and information storage medium |
| JP2016126587A (en) * | 2015-01-06 | 2016-07-11 | 株式会社リコー | Interview system, server system, server device, information terminal, interview method, information processing method and program |
| JP6888620B2 (en) * | 2016-04-28 | 2021-06-16 | ソニーグループ株式会社 | Control device, control method, program and sound output system |
| JP6953270B2 (en) | 2017-10-19 | 2021-10-27 | キヤノンメディカルシステムズ株式会社 | Hospital information system and drug proposal selection program |
| JP6402345B1 (en) | 2017-12-20 | 2018-10-10 | メドケア株式会社 | Instruction support system, instruction support method and instruction support program |
| JP7260315B2 (en) | 2018-09-06 | 2023-04-18 | Ｐｈｃホールディングス株式会社 | Medication guidance support device and medication guidance support system |
| JP6664524B1 (en) | 2019-01-28 | 2020-03-13 | 三菱電機インフォメーションシステムズ株式会社 | Medication guidance support device, medication guidance support method, and medication guidance support program |
-
2021
- 2021-07-14 JP JP2021116742A patent/JP7488225B2/en active Active
-
2024
- 2024-05-09 JP JP2024076847A patent/JP7653562B2/en active Active
-
2025
- 2025-03-17 JP JP2025042366A patent/JP7728497B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316882A (en) * | 2002-04-19 | 2003-11-07 | Kansai Syst Prod Kk | Network consulting system and virtual integrated office constituting the system |
| JP2017138981A (en) * | 2016-01-29 | 2017-08-10 | 東日本メディコム株式会社 | Guidance support system, guidance support method, and program |
| JP2018206055A (en) * | 2017-06-05 | 2018-12-27 | コニカミノルタ株式会社 | Conversation recording system, conversation recording method, and care support system |
| JP2019133271A (en) * | 2018-01-29 | 2019-08-08 | 大日本印刷株式会社 | Telemedicine terminal device, computer program, and server |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD1083674S1 (en) | 2022-04-13 | 2025-07-15 | Huawei Technologies Co., Ltd. | Automobile |
| JP2024008706A (en) * | 2022-07-08 | 2024-01-19 | 株式会社ハッピースマイル | Programs, information processing systems and information processing devices |
| JP7730160B2 (en) | 2022-07-08 | 2025-08-27 | 株式会社ハッピースマイル | Program, information processing system and information processing device |
| JP2025008856A (en) * | 2023-07-06 | 2025-01-20 | Ｐｈｃホールディングス株式会社 | Server device, display control method and program |
| JP7757351B2 (en) | 2023-07-06 | 2025-10-21 | Ｐｈｃホールディングス株式会社 | Server device, display control method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024096419A (en) | 2024-07-12 |
| JP7653562B2 (en) | 2025-03-28 |
| JP7728497B2 (en) | 2025-08-25 |
| JP2025085753A (en) | 2025-06-05 |
| JP2025142097A (en) | 2025-09-29 |
| JP7488225B2 (en) | 2024-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230047253A1 (en) | System and Method for Dynamic Goal Management in Care Plans | |
| Semel | Listening like a computer: Attentional tensions and mechanized care in psychiatric digital phenotyping | |
| US20230052573A1 (en) | System and method for autonomously generating personalized care plans | |
| Modic et al. | Enhancing your webside manner: optimizing opportunities for relationship-centered care in virtual visits | |
| JP7728497B2 (en) | Teaching support device, teaching support system, and program | |
| US20180018966A1 (en) | System for understanding health-related communications between patients and providers | |
| JP2020113004A (en) | Information processor, electronic medical chart creation method, and electronic medical chart creation program | |
| JP7388450B2 (en) | Conversation support device, conversation support system, conversation support method, and recording medium | |
| JP7742440B2 (en) | Support information providing system, support information providing device, support information providing method and program | |
| US20240428958A1 (en) | Methods and systems for implementing generative ai in multi-channel service platforms | |
| JP7592839B2 (en) | Support device, support system, support method and program | |
| JP7759066B2 (en) | Support information providing system, support information providing device, support information providing method and program | |
| Ambegaonkar et al. | The use of mobile applications as communication aids for people with dementia: opportunities and limitations | |
| Menichetti et al. | How do physicians frame medical information in talks with their patients? An inductive microanalysis | |
| Darlington | Designing for explanation in health care applications of expert systems | |
| JP7483995B1 (en) | Method, program, and server for supporting provision of services via a communication network | |
| Hamiduzzaman et al. | Virtual healthcare for older adults with preventable chronic conditions: A meta-synthesis of quality aspects | |
| JP7783459B2 (en) | Teaching support device, teaching support system, and program | |
| KR20240028814A (en) | Non-face-to-face treatment system | |
| Jin et al. | Playback: An investigation of the discursive implications and the pragmatic functions of repetition in traditional Chinese medical consultations | |
| Pellecchia | Leveraging AI via speech-to-text and LLM integration for improved healthcare decision-making in primary care | |
| JP7672595B1 (en) | Method, information processing device, and program | |
| JP2025084090A (en) | Information processing system, information processing method, information processing device, and program | |
| JP2025120958A (en) | Medical support system and medical support program | |
| WO2025253903A1 (en) | Program, information processing method, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230726 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240509 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7488225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |