JP2022017098A

JP2022017098A - Data generation device, detection device, and program

Info

Publication number: JP2022017098A
Application number: JP2020120188A
Authority: JP
Inventors: 繁塩澤; Shigeru Shiozawa
Original assignee: Medihome Inc
Current assignee: Medihome Inc
Priority date: 2020-07-13
Filing date: 2020-07-13
Publication date: 2022-01-25
Anticipated expiration: 2040-07-13
Also published as: JP7491755B2

Abstract

To provide a data generation device and a detection device capable of improving accuracy in a learning model.SOLUTION: A data generation device 1 includes: a learning image acquisition unit 11 that acquires a captured image as a learning image; a detailed information acquisition unit 12 that acquires information on a relative position and a label of a detection target related to a human body as detailed information; and a teacher data generation unit 13 that generates, based on the acquired learning image and the detailed information, teacher data. The teacher data generation unit 13 includes: a position identification unit 131 that identifies, based on the detailed information, a position of the detection target in the learning image; an image processing unit 132 that crops a plurality of areas in which a part of an area is superimposed on another area, including the identified position; an extraction unit 133 that extracts the detection target contained in the cropped area; and an execution unit 134 that executes generation of teacher data for the extracted detection target.SELECTED DRAWING: Figure 2

Description

本発明は、データ生成装置、検出装置、及びプログラムに関する。 The present invention relates to a data generator, a detection device, and a program.

従来より、生物（身体）を撮像した撮像画像を用いた身体状態の状態を検査することが実施されている。例えば、ＣＴ画像、ＭＲＩ画像、又はＸ線画像等で身体を撮像した撮像画像を用いることにより、身体状態を検査することが実施されている。このように、画像を用いて検査を実施するシステムとして、画像を用いて歯肉炎を検査するシステムが提案されている（例えば、特許文献１参照）。 Conventionally, it has been practiced to inspect the state of a physical condition using an image taken by capturing an organism (body). For example, the physical condition is inspected by using an image of the body imaged by a CT image, an MRI image, an X-ray image, or the like. As described above, as a system for performing an inspection using an image, a system for inspecting gingival inflammation using an image has been proposed (see, for example, Patent Document 1).

特開２０１９－３０５８５７号公報Japanese Unexamined Patent Publication No. 2019-305857

特許文献１では、歯肉の領域の画像データに対して、ピクセルごとに歯肉炎計数に応じた色を付して表示することによって、歯肉炎の状態を表示することができる。このように画像データに基づいて機械的に状態を検査することができれば、検査を容易にすることができる点で好適である。 In Patent Document 1, the state of gingiva can be displayed by displaying the image data of the gingival region with a color corresponding to the gingival inflammation count for each pixel. If the state can be mechanically inspected based on the image data in this way, it is preferable in that the inspection can be facilitated.

昨今では、検査の精度を向上すべく、学習モデルを用いて検査することも実施され始めている。そこで、学習モデルにおいて、さらに検査の精度を向上させることができれば好適である。
本発明は、このような点に鑑みてなされたものであり、学習モデルにおいて、精度を向上させることが可能なデータ生成装置、検出装置、及びプログラムを提供することを目的とする。 Nowadays, in order to improve the accuracy of the test, the test using a learning model has begun to be carried out. Therefore, it is preferable that the accuracy of the inspection can be further improved in the learning model.
The present invention has been made in view of these points, and an object of the present invention is to provide a data generation device, a detection device, and a program capable of improving the accuracy in a learning model.

本発明は、検出対象を含む生物の所定範囲を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置であって、前記撮像画像を学習用画像として取得する学習用画像取得部と、人体に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部と、取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部と、を備え、前記教師データ生成部は、前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部と、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部と、クロップされた領域に含まれる前記検出対象を抽出する抽出部と、抽出された前記検出対象に対する前記教師データの生成を実行する実行部と、を有するデータ生成装置に関する。 The present invention is a data generation device that generates teacher data of a learning model related to a detection target from an image captured by capturing a predetermined range of an organism including a detection target, and is for learning to acquire the captured image as a learning image. The teacher data is generated based on the image acquisition unit, the detailed information acquisition unit that acquires information on the relative position and label of the detection target with respect to the human body as detailed information, and the acquired learning image and the detailed information. The teacher data generation unit includes a position specifying unit that specifies the position of the detection target in the learning image based on the detailed information, and a part of the area is divided into other areas. An image processing unit that crops including a specified position in a plurality of regions superimposed on the image, an extraction unit that extracts the detection target included in the cropped region, and the teacher data for the extracted detection target. The present invention relates to a data generator having an execution unit that executes generation of.

また、データ生成装置は、前記教師データを用いて学習データを作成する学習モデル作成部をさらに備え、前記実行部は、異なる種類の前記検出対象ごとに前記教師データを生成し、前記学習モデル作成部は、異なる種類の前記検出対象ごとに学習モデルを作成するのが好ましい。 Further, the data generation device further includes a learning model creation unit that creates learning data using the teacher data, and the execution unit generates the teacher data for each of the different types of detection targets and creates the learning model. It is preferable that the unit creates a learning model for each of the different types of detection targets.

また、前記学習用画像取得部は、前記検出対象について弧状の枠線を用いて囲んだ前記学習用画像を取得し、前記抽出部は、前記枠線によって囲まれる前記検出対象を抽出するのが好ましい。 Further, the learning image acquisition unit acquires the learning image in which the detection target is surrounded by an arc-shaped frame line, and the extraction unit extracts the detection target surrounded by the frame line. preferable.

また、前記学習用画像は、歯部を撮像した画像であるのが好ましい。 Further, the learning image is preferably an image obtained by capturing an image of the tooth portion.

また、本発明は、学習モデルを用いて、診断用画像から検出対象を検出する検出装置であって、前記診断用画像を取得する診断用画像取得部と、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部と、前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部と、前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部と、を備える検出装置に関する。 Further, the present invention is a detection device that detects a detection target from a diagnostic image using a learning model, and has a diagnostic image acquisition unit that acquires the diagnostic image and a part of the region as another region. The acquired diagnostic image is cropped in a plurality of superimposed regions, and the acquired diagnostic image is compared with the learning model to determine the presence or absence of the detection target included in the diagnostic image. The existence determination unit, the shape specifying unit that specifies the contour of the detection target when the detection target exists, and the diagnostic image are superimposed and output with a marking indicating the detection target of the specified contour. The present invention relates to a detection device including an output unit.

また、前記存在判断部は、前記学習モデルを作成するための教師データと対応する大きさ及び位置で前記診断用画像をクロップするのが好ましい。 Further, it is preferable that the existence determination unit crops the diagnostic image at a size and position corresponding to the teacher data for creating the learning model.

また、検出装置は、前記検出対象の位置及び形状に基づいて、前記検出対象の種類を判断する種類特定部と、判断された前記検出対象の種類に対応する治療内容を特定する治療内容特定部と、をさらに備え、前記出力部は、特定された治療内容を前記輪郭とともに表示するのが好ましい。 Further, the detection device is a type identification unit that determines the type of the detection target based on the position and shape of the detection target, and a treatment content identification unit that specifies the treatment content corresponding to the determined type of the detection target. And, it is preferable that the output unit displays the specified treatment content together with the contour.

また、前記種類特定部は、複数の前記検出対象を関連する種類と判断し、前記治療内容特定部は、判断された複数の前記検出対象の関連性から治療内容を特定するのが好ましい。 Further, it is preferable that the type specifying unit determines that the plurality of detection targets are related types, and the treatment content specifying unit specifies the treatment content from the determined relationships between the plurality of detection targets.

また、本発明は、検出対象を含む人体の所定範囲を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、前記撮像画像を学習用画像として取得する学習用画像取得部、前記人体に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部、取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部、として機能させ、前記教師データ生成部は、前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部、クロップされた領域に含まれる前記検出対象を抽出する抽出部、として機能させるプログラムに関する。 Further, the present invention is a program that causes a computer to function as a data generation device that generates teacher data of a learning model relating to the detection target from an image captured by capturing a predetermined range of the human body including the detection target. A learning image acquisition unit that acquires the captured image as a learning image, a detailed information acquisition unit that acquires information on the relative position and label of the detection target with respect to the human body as detailed information, the acquired learning image and the details. It functions as a teacher data generation unit that generates the teacher data based on the information, and the teacher data generation unit specifies a position that specifies the position of the detection target in the learning image based on the detailed information. Functions as an image processing unit that crops a part, a part of the area superimposed on another area, including a specified position, and an extraction unit that extracts the detection target included in the cropped area. Regarding the program to be made.

また、本発明は、学習モデルを用いて、診断用画像から7検出対象を検出する検出装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、前記診断用画像を取得する診断用画像取得部、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部、前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部、前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部、として機能させるプログラムに関する。 Further, the present invention is a program that causes a computer to function as a detection device that detects 7 detection targets from a diagnostic image using a learning model, and is a diagnostic image acquisition unit that acquires the diagnostic image from the computer. , The acquired diagnostic image is cropped into a plurality of regions in which a part of the region is superimposed on another region, and the acquired diagnostic image is compared with the learning model to obtain the diagnostic image. An existence determination unit that determines the presence or absence of the detection target included, a shape identification unit that specifies the contour of the detection target when the detection target exists, and the detection target of the specified contour in the diagnostic image. It relates to a program that functions as an output unit that superimposes and outputs the indicated markings.

本発明は、このような点に鑑みてなされたものであり、学習モデルにおいて、精度を向上させることが可能なデータ生成装置、検出装置、及びプログラムを提供することができる。 The present invention has been made in view of these points, and can provide a data generation device, a detection device, and a program capable of improving the accuracy in a learning model.

本発明の第１実施形態に係るデータ生成装置によって作成される教師データを用いて検出装置によって検知される病変位置及び種類の一例を示す画面図である。It is a screen view which shows an example of the lesion position and the type detected by the detection apparatus using the teacher data created by the data generation apparatus which concerns on 1st Embodiment of this invention. 第１実施形態のデータ生成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the data generation apparatus of 1st Embodiment. 第１実施形態のデータ生成装置の画像加工部によるクロップ位置を示す概略図である。It is a schematic diagram which shows the crop position by the image processing part of the data generation apparatus of 1st Embodiment. 第１実施形態のデータ生成装置によって教師データ生成の対象となる病変及び治療痕の一例を示す概略図である。It is a schematic diagram which shows an example of the lesion and the treatment scar which is the object of teacher data generation by the data generation apparatus of 1st Embodiment. 第１実施形態のデータ生成装置によって生成される教師データを用いて学習モデルを形成する例を示す概略図である。It is a schematic diagram which shows the example which forms the learning model using the teacher data generated by the data generation apparatus of 1st Embodiment. 本発明の第２実施形態の検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the detection apparatus of 2nd Embodiment of this invention. 第２実施形態の検出装置の存在判断部の検出対象による検出動作を示すイメージ図である。It is an image diagram which shows the detection operation by the detection target of the existence determination part of the detection apparatus of 2nd Embodiment. 第２実施形態の検出装置の種類判断部によって判断される検出対象の種類を示すイメージ図である。It is an image diagram which shows the kind of a detection target determined by the type determination part of the detection apparatus of 2nd Embodiment. 第２実施形態の検出装置の動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation of the detection apparatus of 2nd Embodiment. 本発明の第３実施形態に係るデータ生成装置に係る学習用画像取得部が取得する撮像画像を示す概略図である。It is a schematic diagram which shows the captured image acquired by the learning image acquisition part which concerns on the data generation apparatus which concerns on 3rd Embodiment of this invention. 第３実施形態の検出装置によって示される画面図に含まれる検出対象について、複数の点を用いて囲繞した画面を示す拡大図である。It is an enlarged view which shows the screen which surrounded the detection target included in the screen view shown by the detection apparatus of 3rd Embodiment using a plurality of points.

以下、本発明の各実施形態に係るデータ生成装置１、検出装置２、及びプログラムについて、図１から図１１を参照して説明する。
まず、データ生成装置１及び検出装置２の概要について説明する。 Hereinafter, the data generation device 1, the detection device 2, and the program according to each embodiment of the present invention will be described with reference to FIGS. 1 to 11.
First, an outline of the data generation device 1 and the detection device 2 will be described.

データ生成装置１は、例えば、検出対象を含む生物の所定範囲を撮像した撮像画像から、検出対象に関する学習モデルの教師データを生成する装置である。具体的には、データ生成装置１は、所定範囲を撮像した撮像画像から有所見部（病変及び治療痕）を検出するために、病変及び治療痕の教師データを生成する装置である。すなわち、データ生成装置１は、教師あり学習のための教師データを生成する装置である。ここで、データ生成装置１は、取得した撮像画像を学習用画像（以下、学習データともいう）として用いる。 The data generation device 1 is, for example, a device that generates teacher data of a learning model regarding a detection target from an captured image obtained by capturing a predetermined range of an organism including a detection target. Specifically, the data generation device 1 is a device that generates teacher data of lesions and treatment scars in order to detect findings (lesions and treatment scars) from an image captured in a predetermined range. That is, the data generation device 1 is a device that generates teacher data for supervised learning. Here, the data generation device 1 uses the acquired captured image as a learning image (hereinafter, also referred to as learning data).

以下の実施形態において、データ生成装置１は、人体の歯部に対する教師データを生成する装置を例に説明される。人体の歯部において、病変及び治療痕は、その種類によって、歯本体及び歯茎に対してある程度限定された位置に発生する。そこで、以下の実施形態に係るデータ生成装置１は、例えば、病変及び治療痕ごとに生成される複数の学習モデルに対して、それぞれの教師データを生成する。なお、以下の実施形態において、「歯部」とは、歯本体及び歯茎等の顔面頭蓋領域をいう。なお、以下の実施形態において、データ生成装置１は、一例として、学習データについて、一定の大きさの複数の領域に１つの学習データをクロップすることで、教師データを生成するものである。 In the following embodiment, the data generation device 1 will be described by exemplifying a device that generates teacher data for a tooth portion of a human body. In the tooth part of the human body, lesions and treatment scars occur in some limited positions with respect to the tooth body and gums depending on the type. Therefore, the data generation device 1 according to the following embodiment generates teacher data for each of a plurality of learning models generated for each lesion and treatment scar, for example. In the following embodiments, the “tooth portion” refers to a facial skeleton region such as a tooth body and gums. In the following embodiment, as an example, the data generation device 1 generates teacher data by cropping one learning data into a plurality of regions having a certain size.

検出装置２は、上記の教師データから作成された学習モデルを用いて、診断用画像から検出対象（病変及び治療痕）を検出する装置である。検出装置２は、例えば、図１に示すように、診断用画像に対して検出された病変及び治療痕を重畳して表示する。これにより、検出装置２は、病変及び治療痕の形状を直感的に表示するものである。また、検出装置２は、検出対象に対する治療方法について、検出対象の程度に応じて提示可能な装置である。なお、以下の実施形態において、検出装置２は、一例として、教師データを生成する際と対応する大きさ及び位置の複数の領域に１つの診断用画像をクロップすることで、検出対象を検出するものである。このように、データ生成装置１及び検出装置２は、対応する大きさ及び位置で画像をクロップすることにより、検出対象を検出する精度を向上する。また、データ生成装置１及び検出装置２は、クロップによる検出対象の分断を抑制することにより、検出対象を検出する精度をさらに向上するものである。なお、「対応する」とは、同じ大きさ及び位置に限定されることが意味されるものではない。例えば、「対応する」とは、検出精度を向上できることが可能であれば、同様の大きさ及び位置であってもよく、同様の方式でクロップ等の加工をするものであってもよい。また、分割数等についても対応する数であってよい。 The detection device 2 is a device that detects a detection target (lesion and treatment scar) from a diagnostic image using a learning model created from the above teacher data. For example, as shown in FIG. 1, the detection device 2 superimposes and displays the detected lesions and treatment scars on the diagnostic image. As a result, the detection device 2 intuitively displays the shapes of lesions and treatment scars. Further, the detection device 2 is a device capable of presenting a treatment method for a detection target according to the degree of the detection target. In the following embodiment, as an example, the detection device 2 detects a detection target by cropping one diagnostic image into a plurality of regions of a size and a position corresponding to the generation of teacher data. It is a thing. In this way, the data generation device 1 and the detection device 2 improve the accuracy of detecting the detection target by cropping the image at the corresponding size and position. Further, the data generation device 1 and the detection device 2 further improve the accuracy of detecting the detection target by suppressing the division of the detection target by the crop. In addition, "corresponding" does not mean that it is limited to the same size and position. For example, “corresponding” may be of the same size and position as long as it is possible to improve the detection accuracy, or may be processed by the same method such as cropping. Further, the number of divisions and the like may be the corresponding numbers.

［第１実施形態］
次に、本発明の第１実施形態に係るデータ生成装置１について、図１から図５を参照して説明する。
本実施形態に係るデータ生成装置１は、例えば、人体の歯部を撮像された画像と、検出対象の位置と、検出対象の種類とに応じて、検出対象を検出するための教師データを生成するものである。データ生成装置１は、図２に示すように、学習用画像取得部１１と、詳細情報取得部１２と、教師データ生成部１３と、学習モデル作成部１４と、を備える。 [First Embodiment]
Next, the data generation device 1 according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
The data generation device 1 according to the present embodiment generates, for example, an image of a tooth portion of a human body, a position of a detection target, and teacher data for detecting the detection target according to the type of the detection target. It is something to do. As shown in FIG. 2, the data generation device 1 includes a learning image acquisition unit 11, a detailed information acquisition unit 12, a teacher data generation unit 13, and a learning model creation unit 14.

学習用画像取得部１１は、例えば、ＣＰＵが動作することにより実現される。学習用画像取得部１１は、教師データの元となる学習用画像である撮像画像を取得する。学習用画像取得部１１は、例えば、検出対象を含む生物の所定を撮像した撮像画像を取得する。本実施形態において、学習用画像取得部１１は、例えば、人体の歯部をパノラマ撮像した撮像画像を取得する。また、本実施形態において、学習用画像取得部１１は、歯部全体をレントゲン撮像したパノラマ画像を撮像画像として取得する。また、学習用画像取得部１１は、歯部全体を撮像した可視光画像を撮像画像として取得してもよい。また、学習用画像取得部１１は、検出対象を疑似的（模式的）に作成した疑似画像を撮像画像として取得してもよい。 The learning image acquisition unit 11 is realized, for example, by operating the CPU. The learning image acquisition unit 11 acquires a captured image which is a learning image which is a source of teacher data. The learning image acquisition unit 11 acquires, for example, a captured image of a predetermined organism including a detection target. In the present embodiment, the learning image acquisition unit 11 acquires, for example, a panoramic image of a tooth portion of a human body. Further, in the present embodiment, the learning image acquisition unit 11 acquires a panoramic image obtained by X-raying the entire tooth portion as an image. Further, the learning image acquisition unit 11 may acquire a visible light image obtained by capturing the entire tooth portion as an captured image. Further, the learning image acquisition unit 11 may acquire a pseudo image in which the detection target is pseudo (schematically) created as an captured image.

詳細情報取得部１２は、例えば、ＣＰＵが動作することにより実現される。詳細情報取得部１２は、人体に対する検出対象の相対位置及びラベルに関する情報を詳細情報として取得する。詳細情報取得部１２は、例えば、歯部に対する病変及び治療痕の位置を相対位置として取得する。具体的には、詳細情報取得部１２は、歯本体を識別する情報と、識別された歯本体に対する病変又は治療痕の位置とを相対位置として取得する。また、詳細情報取得部１２は、例えば、病変又は治療痕の種類、大きさ、及び形状等をラベルとして取得する。 The detailed information acquisition unit 12 is realized, for example, by operating the CPU. The detailed information acquisition unit 12 acquires information on the relative position and label of the detection target with respect to the human body as detailed information. The detailed information acquisition unit 12 acquires, for example, the positions of lesions and treatment scars with respect to the tooth portion as relative positions. Specifically, the detailed information acquisition unit 12 acquires the information for identifying the tooth body and the position of the lesion or the treatment scar with respect to the identified tooth body as a relative position. Further, the detailed information acquisition unit 12 acquires, for example, the type, size, shape, etc. of the lesion or treatment scar as a label.

教師データ生成部１３は、例えば、ＣＰＵが動作することにより実現される。教師データ生成部１３は、取得された撮像画像と詳細情報とに基づいて、教師データを生成する。教師データ生成部１３は、検出対象ごとに教師データを生成する。教師データ生成部１３は、例えば、う蝕、根尖病巣、及び嚢胞等の病変及び治療痕ごとに教師データを生成する。また、教師データ生成部１３は、例えば、対応する歯本体の位置に応じて教師データを生成する。教師データ生成部１３は、位置特定部１３１と、画像加工部１３２と、抽出部１３３と、実行部１３４と、を備える。 The teacher data generation unit 13 is realized, for example, by operating the CPU. The teacher data generation unit 13 generates teacher data based on the acquired captured image and detailed information. The teacher data generation unit 13 generates teacher data for each detection target. The teacher data generation unit 13 generates teacher data for each lesion and treatment scar such as caries, apical lesion, and cyst. Further, the teacher data generation unit 13 generates teacher data according to, for example, the position of the corresponding tooth body. The teacher data generation unit 13 includes a position specifying unit 131, an image processing unit 132, an extraction unit 133, and an execution unit 134.

位置特定部１３１は、詳細情報に基づいて、撮像画像に含まれる検出対象の位置を特定する。位置特定部１３１は、例えば、取得された撮像画像に含まれる歯本体のそれぞれの位置と、撮像画像における検出対象の位置とを特定する。位置特定部１３１は、撮像画像に含まれるそれぞれの歯本体の領域を抽出することにより、歯本体の位置を特定する。位置特定部１３１は、特定された歯本体の位置に対して、詳細情報に含まれる検出対象の相対位置から、撮像画像における検出対象の位置を特定する。 The position specifying unit 131 identifies the position of the detection target included in the captured image based on the detailed information. The position specifying unit 131 specifies, for example, the respective positions of the tooth body included in the acquired captured image and the positions of the detection target in the captured image. The position specifying unit 131 identifies the position of the tooth body by extracting the region of each tooth body included in the captured image. The position specifying unit 131 identifies the position of the detection target in the captured image from the relative position of the detection target included in the detailed information with respect to the position of the specified tooth body.

画像加工部１３２は、撮像画像を加工して加工画像を生成する。画像加工部１３２は、例えば、撮像画像に対して、リサイズ、クロップ、色補正、明るさ補正、回転、ノイズ付与、歪み合成等の加工を実施する。これにより、画像加工部１３２は、教師データを生成するのに適した画像を生成する。画像加工部１３２は、画像を加工することにより、病変のサイズの違いへの対応、検出対象の位置の限定等の検出対象のモデルの多様化を実施する。本実施形態において、画像加工部１３２は、位置特定部１３１によって特定される検出対象の位置に基づいて撮像画像をクロップする。画像加工部１３２は、例えば、撮像画像を複数の領域にクロップする。具体的には、画像加工部１３２は、例えば図３に示すように、一部の領域を他の領域重畳させた複数の領域に、特定された位置を含めてクロップする。画像加工部１３２は、例えば、歯並びに沿う方向に沿って３つの領域（領域Ａ、領域Ｂ、領域Ｃ）を順にクロップする場合に、領域Ａ及び領域Ｂ、並びに領域Ｂ及び領域Ｃの一部を重ねてクロップする。画像加工部１３２は、領域Ａに領域Ｂの一部が含まれるようにクロップする。画像加工部１３２は、領域Ｂに領域Ａ及び領域Ｃの一部が含まれるようにクロップする。画像加工部１３２は、領域Ｃに領域Ｂの一部が含まれるようにクロップする。 The image processing unit 132 processes the captured image to generate a processed image. The image processing unit 132 performs processing such as resizing, cropping, color correction, brightness correction, rotation, noise addition, and distortion composition on the captured image, for example. As a result, the image processing unit 132 generates an image suitable for generating teacher data. By processing the image, the image processing unit 132 diversifies the model of the detection target such as dealing with the difference in the size of the lesion and limiting the position of the detection target. In the present embodiment, the image processing unit 132 crops the captured image based on the position of the detection target specified by the position specifying unit 131. The image processing unit 132 crops the captured image into a plurality of regions, for example. Specifically, as shown in FIG. 3, for example, the image processing unit 132 crops a plurality of regions in which a part of the regions are superimposed on another region, including the specified position. For example, when the image processing unit 132 crops three regions (region A, region B, and region C) in order along the teeth and the direction along the teeth, the region A and the region B, and a part of the region B and the region C. Crop in layers. The image processing unit 132 crops the area A so that a part of the area B is included. The image processing unit 132 crops the area B so that the area A and a part of the area C are included. The image processing unit 132 crops the area C so that a part of the area B is included.

抽出部１３３は、画像加工部１３２によって加工された加工画像から検出対象を抽出する。検出部は、例えば、詳細情報に含まれる検出対象の位置、形状、及び大きさ等の情報に基づいて、加工画像に含まれる実際の検出対象の位置及び形状等を抽出する。本実施形態において、抽出部１３３は、クロップされた領域に含まれる検出対象を抽出する。具体的には、抽出部１３３は、複数の領域にクロップされた撮像画像から検出対象を抽出する。 The extraction unit 133 extracts the detection target from the processed image processed by the image processing unit 132. The detection unit extracts, for example, the position and shape of the actual detection target included in the processed image based on the information such as the position, shape, and size of the detection target included in the detailed information. In the present embodiment, the extraction unit 133 extracts the detection target included in the cropped region. Specifically, the extraction unit 133 extracts the detection target from the captured images cropped in a plurality of regions.

実行部１３４は、抽出された検出対象に対する教師データの生成を実行する。実行部１３４は、例えば、抽出された検出対象と、詳細情報とに基づいて教師データを生成する。すなわち、実行部１３４は、撮像画像における実際の検出対象を特定する像と、歯本体に対する位置及び種類を含む詳細情報とに基づいて教師データを生成する。また、実行部１３４は、異なる種類の検出対象ごとに教師データを生成する。 Execution unit 134 executes generation of teacher data for the extracted detection target. The execution unit 134 generates teacher data based on, for example, the extracted detection target and detailed information. That is, the execution unit 134 generates teacher data based on an image that identifies an actual detection target in the captured image and detailed information including the position and type with respect to the tooth body. Further, the execution unit 134 generates teacher data for each of different types of detection targets.

学習モデル作成部１４は、生成された教師データから学習モデルを作成する。学習モデル作成部１４は、例えば、図４に示すような病変及び治療痕を検出対象とする学習モデルを作成する。また、学習モデル作成部１４は、例えば、異なる種類の検出対象の教師データごとに学習モデルを作成する。具体的には、学習モデル作成部１４は、病変及び治療痕の種類ごとに複数の学習モデルを作成する。また、学習モデル作成部１４は、検出対象の位置ごとに複数の学習モデルを作成する。また、学習モデル作成部１４は、学習モデル作成のアルゴリズムの違いごとに複数の学習モデルを作成する。学習モデル作成部１４は、例えば、図５に示すように、物体検出及びセグメンテーションの複数のアルゴリズムによって構成される学習プログラムによって、教師データから複数の学習モデルを作成する。 The learning model creation unit 14 creates a learning model from the generated teacher data. The learning model creation unit 14 creates, for example, a learning model for detecting lesions and treatment scars as shown in FIG. Further, the learning model creation unit 14 creates a learning model for each teacher data of different types of detection targets, for example. Specifically, the learning model creation unit 14 creates a plurality of learning models for each type of lesion and treatment scar. Further, the learning model creation unit 14 creates a plurality of learning models for each position of the detection target. Further, the learning model creation unit 14 creates a plurality of learning models for each difference in the learning model creation algorithm. As shown in FIG. 5, the learning model creation unit 14 creates a plurality of learning models from the teacher data by a learning program composed of a plurality of algorithms for object detection and segmentation, for example.

次に、データ生成装置１の動作の流れを説明する。
まず、学習用画像取得部１１は、撮像画像を取得する。次いで、詳細情報取得部１２は、詳細情報を取得する。 Next, the flow of operation of the data generation device 1 will be described.
First, the learning image acquisition unit 11 acquires an captured image. Next, the detailed information acquisition unit 12 acquires detailed information.

次いで、位置特定部１３１は、撮像画像における歯本体の位置を特定する。また、位置特定部１３１は、特定された歯本体に対する相対位置から、撮像画像上の検出対象の位置を特定する。 Next, the position specifying unit 131 specifies the position of the tooth body in the captured image. Further, the position specifying unit 131 identifies the position of the detection target on the captured image from the relative position with respect to the specified tooth body.

次いで、画像加工部１３２は、撮像画像を加工する。本実施形態において、画像加工部１３２は、検出対象を含む位置を複数の領域にクロップする。次いで、抽出部１３３は、加工後の加工画像から検出対象の実際の位置及び形状を抽出する。次いで、実行部１３４は、抽出された検出対象の形状及び位置、並びに検出対象の種類を用いて教師データを生成する。次いで、学習モデル作成部１４は、生成された教師データを用いて複数の学習モデルを作成する。 Next, the image processing unit 132 processes the captured image. In the present embodiment, the image processing unit 132 crops the position including the detection target into a plurality of regions. Next, the extraction unit 133 extracts the actual position and shape of the detection target from the processed image after processing. Next, the execution unit 134 generates teacher data using the extracted shape and position of the detection target and the type of the detection target. Next, the learning model creation unit 14 creates a plurality of learning models using the generated teacher data.

次に、プログラムについて説明する。
データ生成装置１に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 Next, the program will be described.
Each configuration included in the data generation device 1 can be realized by hardware, software, or a combination thereof. Here, what is realized by software means that it is realized by a computer reading and executing a program.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Programs can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-. Includes R, CD-R / W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). The display program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

以上の第１実施形態に係るデータ生成装置１及びプログラムによれば、以下の効果を奏する。
（１）検出対象を含む生物の所定範囲を撮像した撮像画像から、検出対象に関する学習モデルの教師データを生成するデータ生成装置１であって、撮像画像を学習用画像として取得する学習用画像取得部１１と、人体に対する検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部１２と、取得された撮像画像と詳細情報とに基づいて、教師データを生成する教師データ生成部１３と、を備え、教師データ生成部１３は、詳細情報に基づいて、撮像画像における検出対象の位置を特定する位置特定部１３１と、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部１３２と、クロップされた領域に含まれる検出対象を抽出する抽出部１３３と、抽出された検出対象に対する教師データの生成を実行する実行部１３４と、を有する。これにより、画像加工部１３２は、歯本体との相対位置で示される検出対象の位置について、検出対象を含むと思われる領域をクロップする。画像加工部１３２は、複数の領域をクロップするので、単に１つの領域をクロップする場合に比べ、検出対象を限定する領域をより細かくクロップすることができる。特に、画像加工部１３２は、一部の領域を重ねて複数の領域をクロップするので、１つの領域の境界位置に検出対象が位置したとしても、他の重なる領域で検出対象全体をクロップすることができる。したがって、精度のよい教師データを生成することができるので、学習モデルにおける精度を向上することができる。 According to the data generation device 1 and the program according to the first embodiment described above, the following effects are obtained.
(1) A data generation device 1 that generates teacher data of a learning model related to a detection target from an image captured by capturing a predetermined range of an organism including a detection target, and acquires a learning image to acquire the captured image as a learning image. A teacher data generation unit that generates teacher data based on the acquired image and the detailed information, and the detailed information acquisition unit 12 that acquires information on the relative position and label of the detection target with respect to the human body as detailed information. The teacher data generation unit 13 includes a position specifying unit 131 that specifies a position of a detection target in a captured image based on detailed information, and a plurality of regions in which a part of the region is superimposed on another region. In addition, an image processing unit 132 that crops including the specified position, an extraction unit 133 that extracts the detection target included in the cropped area, and an execution unit 134 that generates teacher data for the extracted detection target. And have. As a result, the image processing unit 132 crops a region that is considered to include the detection target with respect to the position of the detection target indicated by the relative position with respect to the tooth body. Since the image processing unit 132 crops a plurality of regions, it is possible to crop the region that limits the detection target more finely than in the case of simply cropping one region. In particular, since the image processing unit 132 crops a plurality of regions by overlapping some regions, even if the detection target is located at the boundary position of one region, the entire detection target is cropped in the other overlapping regions. Can be done. Therefore, since it is possible to generate highly accurate teacher data, it is possible to improve the accuracy in the learning model.

（２）データ生成装置１は、教師データを用いて学習データを作成する学習モデル作成部１４をさらに備え、実行部１３４は、異なる種類の検出対象ごとに教師データを生成し、学習モデル作成部１４は、異なる種類の検出対象ごとに学習モデルを作成する。これにより、原因及び形状の異なる病変又は治療痕について、それぞれの教師データを生成することができる。また、検出対象に応じて、複数の学習モデルを生成することができる。したがって、全てを１つの学習モデルで判断する場合に比べ、学習モデルの精度をより向上することができる。 (2) The data generation device 1 further includes a learning model creation unit 14 that creates learning data using the teacher data, and the execution unit 134 generates teacher data for each different type of detection target and creates a learning model unit. 14 creates a learning model for each of different types of detection targets. This makes it possible to generate teacher data for lesions or treatment scars having different causes and shapes. In addition, a plurality of learning models can be generated according to the detection target. Therefore, the accuracy of the learning model can be further improved as compared with the case where all are judged by one learning model.

［第２実施形態］
次に、本発明の第２実施形態に係る検出装置２及びプログラムについて、図６から図９を参照して説明する。第２実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
第２実施形態に係る検出装置２は、第１実施形態のデータ生成装置１によって作成される学習モデルを用いて、診断用画像から検出対象を検出する装置である。検出装置２は、上記の教師データを用いて学習した学習モデルを用いることで、検出対象を精度よく検出することを課題とする。また、検出装置２は、検出された検出対象の種類に応じて治療方針を容易に提供することを課題とする。 [Second Embodiment]
Next, the detection device 2 and the program according to the second embodiment of the present invention will be described with reference to FIGS. 6 to 9. In the description of the second embodiment, the same components as those of the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified.
The detection device 2 according to the second embodiment is a device that detects a detection target from a diagnostic image using a learning model created by the data generation device 1 of the first embodiment. The problem is that the detection device 2 accurately detects the detection target by using the learning model learned by using the above teacher data. Another object of the detection device 2 is to easily provide a treatment policy according to the type of detected detection target.

第２実施形態の検出装置２は、例えば、データ生成装置１とは別のサーバ等として構成される。第２実施形態の検出装置２は、図６に示すように、学習モデル格納部２１と、診断用画像取得部２２と、存在判断部２３と、形状特定部２４と、種類特定部２５と、治療内容格納部２６と、治療内容特定部２７と、出力部２８と、を備える。 The detection device 2 of the second embodiment is configured as, for example, a server different from the data generation device 1. As shown in FIG. 6, the detection device 2 of the second embodiment includes a learning model storage unit 21, a diagnostic image acquisition unit 22, an existence determination unit 23, a shape identification unit 24, and a type identification unit 25. It includes a treatment content storage unit 26, a treatment content identification unit 27, and an output unit 28.

学習モデル格納部２１は、例えば、ハードディスク等の記録装置である。学習モデル格納部２１は、第１実施形態において作成された学習モデルを格納する。本実施形態において、学習モデル格納部２１は、検出対象の種類に応じて複数の学習モデルを格納する。具体的には、学習モデル格納部２１は、検出対象（病変及び治療痕）の種類に応じて複数の学習モデルを格納する。 The learning model storage unit 21 is, for example, a recording device such as a hard disk. The learning model storage unit 21 stores the learning model created in the first embodiment. In the present embodiment, the learning model storage unit 21 stores a plurality of learning models according to the type of the detection target. Specifically, the learning model storage unit 21 stores a plurality of learning models according to the type of detection target (lesion and treatment scar).

診断用画像取得部２２は、例えば、ＣＰＵが動作することにより実現される。診断用画像取得部２２は、診断用画像を取得する。診断用画像取得部２２は、例えば、所定の患者の歯部を撮像した画像を診断用画像として取得する。本実施形態において、診断用画像取得部２２は、患者の歯部をレントゲン撮像したパノラマ画像を診断用画像として取得する。 The diagnostic image acquisition unit 22 is realized, for example, by operating the CPU. The diagnostic image acquisition unit 22 acquires a diagnostic image. The diagnostic image acquisition unit 22 acquires, for example, an image of a predetermined patient's tooth as a diagnostic image. In the present embodiment, the diagnostic image acquisition unit 22 acquires a panoramic image of the patient's tooth portion as a diagnostic image.

存在判断部２３は、例えば、ＣＰＵが動作することにより実現される。存在判断部２３は、取得した診断用画像と学習モデルとを比較して、診断用画像に含まれる検出対象の有無を判断する。存在判断部２３は、例えば、診断用画像と、複数の学習モデルとを比較して、検出対象の有無を判断する。存在判断部２３は、例えば、図７に示すように、診断用画像に対して複数の学習モデルによる画像評価を実行する。そして、存在判断部２３は、診断用画像に対して複数の学習モデルによって検出される検出対象について、検出対象有りと判断する。また、存在判断部２３は、複数の学習モデルによって、検出対象の位置を判断する。存在判断部２３は、検出対象の有無の判断にあたり、予め診断用画像に含まれる歯本体の位置を特定する。また、存在判断部２３は、検出対象を抽出するにあたり、診断用画像について、学習データにおけるクロップと同様の大きさ及び位置で複数の領域にクロップする。 The existence determination unit 23 is realized, for example, by operating the CPU. The existence determination unit 23 compares the acquired diagnostic image with the learning model, and determines the presence or absence of the detection target included in the diagnostic image. The existence determination unit 23 compares, for example, a diagnostic image with a plurality of learning models, and determines the presence or absence of a detection target. For example, as shown in FIG. 7, the existence determination unit 23 executes image evaluation by a plurality of learning models on the diagnostic image. Then, the existence determination unit 23 determines that there is a detection target for the detection target detected by the plurality of learning models for the diagnostic image. Further, the existence determination unit 23 determines the position of the detection target by the plurality of learning models. The existence determination unit 23 specifies in advance the position of the tooth body included in the diagnostic image in determining the presence or absence of the detection target. Further, when extracting the detection target, the existence determination unit 23 crops the diagnostic image into a plurality of regions with the same size and position as the crop in the learning data.

形状特定部２４は、例えば、ＣＰＵが動作することにより実現される。形状特定部２４は、検出対象が存在する場合に、検出対象の輪郭を特定する。形状特定部２４は、検出対象の位置（領域）に含まれる検出対象について、学習モデルを用いて輪郭を特定する。 The shape specifying unit 24 is realized, for example, by operating the CPU. The shape specifying unit 24 specifies the contour of the detection target when the detection target exists. The shape specifying unit 24 specifies the contour of the detection target included in the position (region) of the detection target by using the learning model.

種類特定部２５は、例えば、ＣＰＵが動作することにより実現される。種類特定部２５は、検出対象の位置及び形状に基づいて、検出対象の種類を判断する。種類特定部２５は、例えば、検出対象について、図８に示すように、病変の種類について特定する。また、種類特定部２５は、複数の検出対象を関連する種類と判断する。種類特定部２５は、例えば、複数の検出対象が存在する場合に、複数の検出対象の関連性を判断する。具体的には、種類特定部２５は、治療痕と、治療痕と同じ歯本体の歯茎に存在する嚢胞について、関連性有りと判断する。また、種類特定部２５は、例えば、図８に示すように、治療痕（歯根内部の薬剤）と、歯根外周に存在する空間の存在とを認識することで、根尖病巣であると判断する。種類特定部２５は、例えば、学習モデルにおける検出対象及びラベルと、診断用画像に含まれる検出対象との類似性を判断することで、診断用画像に含まれる検出対象の種類を判断する。 The type specifying unit 25 is realized, for example, by operating the CPU. The type specifying unit 25 determines the type of the detection target based on the position and shape of the detection target. The type identification unit 25 specifies, for example, the type of lesion for the detection target, as shown in FIG. Further, the type specifying unit 25 determines that a plurality of detection targets are related types. For example, when a plurality of detection targets exist, the type specifying unit 25 determines the relationship between the plurality of detection targets. Specifically, the type identification unit 25 determines that the treatment scar and the cyst existing in the gum of the same tooth body as the treatment scar are related. Further, the type specifying unit 25 determines that the lesion is an apical lesion by recognizing, for example, a treatment scar (drug inside the tooth root) and the existence of a space existing on the outer periphery of the tooth root, as shown in FIG. .. The type specifying unit 25 determines the type of the detection target included in the diagnostic image by, for example, determining the similarity between the detection target and the label in the learning model and the detection target included in the diagnostic image.

治療内容格納部２６は、例えば、ハードディスク等の記録媒体である。治療内容格納部２６は、検出対象の種類に対応する治療内容を格納する。治療内容格納部２６は、例えば、過去の実際の治療データや、一般的な治療方針のデータを格納する。 The treatment content storage unit 26 is a recording medium such as a hard disk. The treatment content storage unit 26 stores the treatment content corresponding to the type of detection target. The treatment content storage unit 26 stores, for example, past actual treatment data and general treatment policy data.

治療内容特定部２７は、例えば、ＣＰＵが動作することにより実現される。治療内容特定部２７は、判断された検出対象の種類に対応する治療内容を特定する。また、治療内容特定部２７は、判断された複数の検出対象の関連性から治療内容を特定する。治療内容特定部２７は、例えば図８に示す病変について、う蝕の治療と、根尖病巣の治療とを治療内容として特定する。また、治療内容特定部２７は、他の選択肢として、抜歯及び根尖病巣治療後にインプラントにすることを治療内容として特定する。治療内容特定部２７は、例えば、検出対象の種類と、治療内容格納部２６に格納されている治療データ又は治療方針のデータとに基づいて、複数種類の治療内容を特定する。 The treatment content specifying unit 27 is realized, for example, by operating the CPU. The treatment content specifying unit 27 specifies the treatment content corresponding to the determined type of detection target. In addition, the treatment content specifying unit 27 identifies the treatment content from the relationship between the determined detection targets. The treatment content specifying unit 27 specifies, for example, the treatment of caries and the treatment of apical lesions as the treatment content for the lesion shown in FIG. In addition, the treatment content specifying unit 27 specifies, as another option, to make an implant after tooth extraction and apical lesion treatment as the treatment content. The treatment content specifying unit 27 specifies a plurality of types of treatment content based on, for example, the type of detection target and the treatment data or treatment policy data stored in the treatment content storage unit 26.

出力部２８は、例えば、ＣＰＵが動作することにより実現される。出力部２８は、診断用画像に、特定された輪郭の検出対象を示す標示を重畳して出力する。出力部２８は、例えば、図１に示すように、検出対象の種類ごとに、異なる色の標示を検出対象として重畳する。また、出力部２８は、検出対象の進行度、緊急性、及び治療優先度に応じて、色の濃さを変更して出力（表示）する。また、出力部２８は、特定された治療内容を出力する。出力部２８は、外部からの検出対象の選択入力に応じて、治療内容を出力する。 The output unit 28 is realized, for example, by operating the CPU. The output unit 28 superimposes and outputs a sign indicating the detection target of the specified contour on the diagnostic image. For example, as shown in FIG. 1, the output unit 28 superimposes markings of different colors as detection targets for each type of detection target. Further, the output unit 28 changes and outputs (displays) the color depth according to the progress, urgency, and treatment priority of the detection target. In addition, the output unit 28 outputs the specified treatment content. The output unit 28 outputs the treatment content according to the selection input of the detection target from the outside.

次に、検出装置２の動作の流れについて、図９を参照して説明する。
まず、診断用画像取得部２２は、診断用画像を取得する（ステップＳ１）。次いで、存在判断部２３は、検出対象の存在の有無を判断する（ステップＳ２）。検出対象が存在する場合（ステップＳ３：ＹＥＳ）、存在判断部２３は、検出対象の位置を特定する。そして、処理は、ステップＳ４に進む。一方、検出対象が存在しない場合（ステップＳ３：ＮＯ）、本フローによる処理は、終了する。 Next, the operation flow of the detection device 2 will be described with reference to FIG.
First, the diagnostic image acquisition unit 22 acquires a diagnostic image (step S1). Next, the existence determination unit 23 determines the presence / absence of the detection target (step S2). When the detection target exists (step S3: YES), the existence determination unit 23 specifies the position of the detection target. Then, the process proceeds to step S4. On the other hand, when the detection target does not exist (step S3: NO), the processing by this flow ends.

ステップＳ４において、形状特定部２４は、検出対象の形状を特定する。次いで、種類特定部２５は、検出対象の種類を特定する（ステップＳ５）。治療内容特定部２７は、検出対象に対する治療方針を特定する（ステップＳ６）。 In step S4, the shape specifying unit 24 specifies the shape to be detected. Next, the type specifying unit 25 specifies the type to be detected (step S5). The treatment content specifying unit 27 specifies a treatment policy for the detection target (step S6).

次いで、他の検出対象があるか否かが判断される（ステップＳ７）。検出対象が無い場合（ステップＳ７：ＹＥＳ）、本フローの処理は終了する。一方、検出対象が他に存在する場合（ステップＳ８：ＮＯ）、処理は、ステップＳ４に戻る。 Next, it is determined whether or not there is another detection target (step S7). If there is no detection target (step S7: YES), the processing of this flow ends. On the other hand, if there is another detection target (step S8: NO), the process returns to step S4.

次に、プログラムについて説明する。
検出装置２に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 Next, the program will be described.
Each configuration included in the detection device 2 can be realized by hardware, software, or a combination thereof. Here, what is realized by software means that it is realized by a computer reading and executing a program.

以上の第２実施形態に係る検出装置２及びプログラムによれば、以下の効果を奏する。
（３）学習モデルを用いて、診断用画像から検出対象を検出する検出装置２であって、診断用画像を取得する診断用画像取得部２２と、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した診断用画像と学習モデルとを比較して、診断用画像に含まれる検出対象の有無を判断する存在判断部２３と、検出対象が存在する場合に、検出対象の輪郭を特定する形状特定部２４と、診断用画像に、特定された輪郭の検出対象を示す標示を重畳して出力する出力部２８と、を備える。これにより、診断用画像に対して検出対象の位置及び形状をより分かりやすく出力することができる。 According to the detection device 2 and the program according to the second embodiment described above, the following effects are obtained.
(3) A detection device 2 that detects a detection target from a diagnostic image using a learning model, in which a diagnostic image acquisition unit 22 that acquires a diagnostic image and a part of the region are superimposed on another region. With the existence determination unit 23 that crops the acquired diagnostic image into a plurality of regions and compares the acquired diagnostic image with the learning model to determine the presence or absence of a detection target included in the diagnostic image. , A shape specifying unit 24 that specifies the contour of the detection target when a detection target exists, and an output unit 28 that superimposes and outputs a sign indicating the detection target of the specified contour on the diagnostic image. .. As a result, the position and shape of the detection target can be output in an easy-to-understand manner with respect to the diagnostic image.

（４）検出装置２は、検出対象の位置及び形状に基づいて、検出対象の種類を判断する種類特定部２５と、判断された検出対象の種類に対応する治療内容を特定する治療内容特定部２７と、をさらに備え、出力部２８は、特定された治療内容を輪郭とともに出力する。これにより、検出対象とともに治療内容を示すことができるので、検出対象の状況に沿ってより分かりやすく出力することができる。 (4) The detection device 2 has a type specifying unit 25 that determines the type of the detection target based on the position and shape of the detection target, and a treatment content specifying unit that specifies the treatment content corresponding to the determined type of the detection target. 27, and the output unit 28 outputs the specified treatment content together with the contour. As a result, the treatment content can be shown together with the detection target, so that the output can be made more easily understood according to the situation of the detection target.

（５）種類特定部２５は、複数の検出対象を関連する種類と判断し、治療内容特定部２７は、判断された複数の検出対象の関連性から治療内容を特定する。これにより、複数の検出対象の関連性を判断した上で、関連性に応じて治療内容を提案することができる。したがって、より精度の高い治療内容を提案することができる。 (5) The type specifying unit 25 determines that a plurality of detection targets are related types, and the treatment content specifying unit 27 specifies the treatment content from the relationship between the determined detection targets. This makes it possible to determine the relevance of a plurality of detection targets and then propose treatment contents according to the relevance. Therefore, it is possible to propose more accurate treatment contents.

（６）存在判断部２３は、学習モデルを作成するための教師データと同様の大きさ及び位置で前記診断用画像をクロップする。これにより、教師データと同様の大きさ及び位置をクロップした診断用画像について、検出対象の存在を判断することができる。したがって、検出精度を向上することができる。 (6) The existence determination unit 23 crops the diagnostic image at the same size and position as the teacher data for creating the learning model. This makes it possible to determine the existence of a detection target for a diagnostic image cropped in the same size and position as the teacher data. Therefore, the detection accuracy can be improved.

［第３実施形態］
次に本発明の第３実施形態に係るデータ生成装置１及びプログラムについて、図１０及び図１１を参照して説明する。第３実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
第３実施形態に係るデータ生成装置１は、検出装置２の出力部２８によって出力された診断用画像に検出されなかった検出対象が含まれる場合に、検出対象を示す学習データとして、出力された画像を用いる点で、第１及び第２実施形態と異なる。具体的には、第３実施形態に係るデータ生成装置１は、新たな検出対象の位置を枠線で示した撮像画像（診断用画像）と、詳細情報とを新たに取得することで、学習データに反映するものである。また、第３実施形態に係るデータ生成装置１は、検出装置２によって特定された検出対象の種類について、診断用画像とともに、異なる種類として登録することが可能となっている点で、第１及び第２実施形態と異なる。すなわち、第３実施形態に係るデータ生成装置１は、新たな学習データとして、特定された内容を修正するデータを取得可能な点で第１及び第２実施形態と異なる。また、第３実施形態に係るデータ生成装置１は、例えば、う蝕の程度について、Ｃ２をＣ３とする訂正を登録することが可能となっている点で、第１及び第２実施形態と異なる。 [Third Embodiment]
Next, the data generation device 1 and the program according to the third embodiment of the present invention will be described with reference to FIGS. 10 and 11. In the description of the third embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified.
The data generation device 1 according to the third embodiment is output as learning data indicating the detection target when the detection target not detected is included in the diagnostic image output by the output unit 28 of the detection device 2. It differs from the first and second embodiments in that an image is used. Specifically, the data generation device 1 according to the third embodiment learns by newly acquiring an image (diagnosis image) showing the position of a new detection target with a frame line and detailed information. It is reflected in the data. Further, the data generation device 1 according to the third embodiment can register the type of the detection target specified by the detection device 2 as a different type together with the diagnostic image. It is different from the second embodiment. That is, the data generation device 1 according to the third embodiment is different from the first and second embodiments in that it can acquire data for modifying the specified contents as new learning data. Further, the data generation device 1 according to the third embodiment is different from the first and second embodiments in that, for example, it is possible to register a correction in which C2 is C3 with respect to the degree of caries. ..

第３実施形態に係るデータ生成装置１は、学習用画像取得部１１がさらに、図１０及び図１１に示すように、検出対象について、弧状の枠線を用いて囲まれた撮像画像を取得する点で、第１実施形態と異なる。また、第３実施形態に係るデータ生成装置１は、抽出部１３３がさらに、枠線によって囲まれる検出対象を抽出する点で第１実施形態と異なる。なお、本実施形態において、弧状は、図１０及び図１１に示すように、複数の点（プロット）と、点を結んだ線とによって構成される形状を含む。弧状は、例えば、三角形又は五角形以上の多角形を含む。また、第３実施形態に係るデータ生成装置１は、詳細情報取得部１２がさらに、検出装置２によって特定された検出対象の種類を修正した内容をラベルとして取得する点で、第１及び第２実施形態と異なる。 In the data generation device 1 according to the third embodiment, the learning image acquisition unit 11 further acquires an image captured by the detection target using an arc-shaped frame line, as shown in FIGS. 10 and 11. In that respect, it differs from the first embodiment. Further, the data generation device 1 according to the third embodiment is different from the first embodiment in that the extraction unit 133 further extracts the detection target surrounded by the frame line. In this embodiment, the arc shape includes a shape composed of a plurality of points (plots) and a line connecting the points, as shown in FIGS. 10 and 11. Arcs include, for example, triangles or polygons greater than or equal to pentagons. Further, the data generation device 1 according to the third embodiment is the first and the second in that the detailed information acquisition unit 12 further acquires the content obtained by modifying the type of the detection target specified by the detection device 2 as a label. Different from the embodiment.

以上の第３実施形態に係るデータ生成装置１によれば、以下の効果を奏する。
（７）学習用画像取得部１１は、検出対象について、弧状の枠線を用いて囲まれた撮像画像を取得し、抽出部１３３は、枠線によって囲まれる検出対象を抽出する。これにより、検出装置２によって検出されなかった検出対象について、学習するための学習データとしてデータ生成装置１に提供することができる。したがって、より検出精度を向上可能な学習データを提供することができる。 According to the data generation device 1 according to the third embodiment described above, the following effects are obtained.
(7) The learning image acquisition unit 11 acquires a captured image surrounded by an arc-shaped frame line for the detection target, and the extraction unit 133 extracts the detection target surrounded by the frame line. As a result, the detection target not detected by the detection device 2 can be provided to the data generation device 1 as learning data for learning. Therefore, it is possible to provide learning data whose detection accuracy can be further improved.

以上、本発明のデータ生成装置、検出装置、及びプログラムの好ましい各実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記第１実施形態において、存在判断部２３は、調整可能な確度に応じて検出対象を検出するようにしてもよい。存在判断部２３は、例えば、確度を高く設定することにより、病変の可能性のより高い検出対象について存在を判断してもよい。存在判断部２３は、例えば、複数の学習モデルのそれぞれによって検出対象と判断された割合に応じて確度に応じた判断を実施してもよい。 Although the preferred embodiments of the data generation device, the detection device, and the program of the present invention have been described above, the present invention is not limited to the above-described embodiment and can be appropriately modified.
For example, in the first embodiment, the existence determination unit 23 may detect the detection target according to the adjustable accuracy. The existence determination unit 23 may determine the existence of a detection target having a higher possibility of a lesion, for example, by setting a high accuracy. For example, the existence determination unit 23 may make a determination according to the accuracy according to the ratio determined to be the detection target by each of the plurality of learning models.

また、上記第２実施形態において、出力部２８は、検出対象の位置、形状、及び種類について、表示可能に表示するだけでなく、カルテのようにデータとして外部に出力するようにしてもよい。例えば、出力部２８は、カルテのように印刷物として外部に出力するようにしてもよい。 Further, in the second embodiment, the output unit 28 may not only display the position, shape, and type of the detection target in a displayable manner, but may also output the position, shape, and type of the detection target to the outside as data like a medical record. For example, the output unit 28 may output to the outside as a printed matter like a medical record.

また、上記各実施形態において、学習用画像は、レントゲン画像に限定されず、ＭＲＩ画像、ＣＴ画像、可視光画像、及び機械生成画像等であってもよい。また、データ生成装置及び検出装置の対象は、歯部に限定されず、人体の各部の他、哺乳類、鳥類、及び植物等の生体全体に適用可能である。 Further, in each of the above embodiments, the learning image is not limited to the X-ray image, and may be an MRI image, a CT image, a visible light image, a machine-generated image, or the like. Further, the target of the data generation device and the detection device is not limited to the tooth part, and can be applied not only to each part of the human body but also to the whole living body such as mammals, birds, and plants.

また、上記第３実施形態において、詳細情報取得部１２は、修正されたラベルについて、所定の閾値以上修正された場合にラベルとして採用してもよい。詳細情報取得部１２は、類似する検出対象について、種類を特定した結果に対する修正が一定数以上ある場合に、修正されたラベルを教師データの生成に採用するように取得してもよい。 Further, in the third embodiment, the detailed information acquisition unit 12 may adopt the modified label as a label when it is modified by a predetermined threshold value or more. The detailed information acquisition unit 12 may acquire a similar detection target so that the modified label is adopted for the generation of teacher data when there are a certain number or more of modifications to the result of specifying the type.

また、上記第２実施形態において、学習モデル格納部２１は、検出対象の種類に応じて複数の学習モデルを格納するとしたが、これに制限されない。学習モデル格納部２１は、検出対象の位置に応じて複数の学習モデルを格納するようにしてもよい。学習モデル格納部２１は、例えば、認識される歯本体の種類及び歯茎の位置等に応じて学習モデルを格納するようにしてもよい。 Further, in the second embodiment, the learning model storage unit 21 stores a plurality of learning models according to the type of the detection target, but the present invention is not limited to this. The learning model storage unit 21 may store a plurality of learning models according to the position of the detection target. The learning model storage unit 21 may store the learning model according to, for example, the type of the recognized tooth body, the position of the gums, and the like.

１データ生成装置
２検出装置
１１学習用画像取得部
１２詳細情報取得部
１３教師データ生成部
１４学習モデル作成部
２２診断用画像取得部
２３存在判断部
２４形状特定部
２５種類特定部
２７治療内容特定部
２８出力部
１３１位置特定部
１３２画像加工部
１３３抽出部
１３４実行部

1 Data generation device 2 Detection device 11 Learning image acquisition unit 12 Detailed information acquisition unit 13 Teacher data generation unit 14 Learning model creation unit 22 Diagnostic image acquisition unit 23 Presence determination unit 24 Shape identification unit 25 Type identification unit 27 Treatment content identification Part 28 Output part 131 Positioning part 132 Image processing part 133 Extraction part 134 Execution part

Claims

A data generation device that generates teacher data of a learning model related to a detection target from an image captured by capturing a predetermined range of an organism including a detection target.
A learning image acquisition unit that acquires the captured image as a learning image,
A detailed information acquisition unit that acquires information on the relative position and label of the detection target with respect to the human body as detailed information.
A teacher data generation unit that generates the teacher data based on the acquired learning image and the detailed information.
Equipped with
The teacher data generation unit
Based on the detailed information, a position specifying unit that specifies the position of the detection target in the learning image, and
An image processing unit that crops including the specified position in multiple areas where some areas are superimposed on other areas,
An extraction unit that extracts the detection target contained in the cropped area,
An execution unit that executes the generation of the teacher data for the extracted detection target, and
Data generator with.

It also has a learning model creation unit that creates learning data using the teacher data.
The execution unit generates the teacher data for each of the different types of detection targets.
The data generation device according to claim 1, wherein the learning model creating unit creates a learning model for each of the different types of detection targets.

The learning image acquisition unit acquires the learning image in which the detection target is surrounded by an arc-shaped frame line.
The data generation device according to claim 1 or 2, wherein the extraction unit extracts the detection target surrounded by the frame line.

The data generation device according to claim 1 or 2, wherein the learning image is an image obtained by capturing an image of a tooth portion.

A detection device that detects a detection target from a diagnostic image using a learning model.
A diagnostic image acquisition unit that acquires the diagnostic image,
The acquired diagnostic image is cropped into a plurality of regions in which a part of the region is superimposed on another region, and the acquired diagnostic image is compared with the learning model and included in the diagnostic image. The existence determination unit that determines the presence or absence of the detection target,
When the detection target exists, the shape specifying portion that specifies the contour of the detection target and
An output unit that superimposes and outputs a sign indicating the detection target of the specified contour on the diagnostic image, and an output unit.
A detection device.

The detection device according to claim 5, wherein the existence determination unit crops the diagnostic image at a size and position corresponding to the teacher data for creating the learning model.

A type identification unit that determines the type of the detection target based on the position and shape of the detection target, and
The treatment content identification unit that specifies the treatment content corresponding to the determined type of detection target, and
Further prepare
The detection device according to claim 5, wherein the output unit displays the specified treatment content together with the contour.

The type identification unit determines that the plurality of detection targets are related types, and determines that the detection target is a related type.
The detection device according to claim 7, wherein the treatment content specifying unit identifies the treatment content from the relationship between the plurality of determined detection targets.

It is a program that makes a computer function as a data generation device that generates teacher data of a learning model related to the detection target from an image captured by capturing a predetermined range of the human body including the detection target.
The computer
A learning image acquisition unit that acquires the captured image as a learning image,
Detailed information acquisition unit that acquires information on the relative position and label of the detection target with respect to the human body as detailed information.
A teacher data generation unit that generates the teacher data based on the acquired learning image and the detailed information.
To function as
The teacher data generation unit
A position specifying unit that specifies the position of the detection target in the learning image based on the detailed information.
An image processing unit that crops a specified position into multiple areas in which a part of the area is superimposed on another area.
An extraction unit that extracts the detection target contained in the cropped area,
A program that functions as.

A program that makes a computer function as a detection device that detects 7 detection targets from diagnostic images using a learning model.
The computer
A diagnostic image acquisition unit that acquires the diagnostic image,
The acquired diagnostic image is cropped into a plurality of regions in which a part of the region is superimposed on another region, and the acquired diagnostic image is compared with the learning model and included in the diagnostic image. Existence determination unit that determines the presence or absence of the detection target,
A shape specifying portion that specifies the contour of the detection target when the detection target exists,
An output unit that superimposes and outputs a sign indicating the detection target of the specified contour on the diagnostic image.
A program that functions as.