JP6930418B2 - Image cropping device and method - Google Patents
Image cropping device and method Download PDFInfo
- Publication number
- JP6930418B2 JP6930418B2 JP2017249139A JP2017249139A JP6930418B2 JP 6930418 B2 JP6930418 B2 JP 6930418B2 JP 2017249139 A JP2017249139 A JP 2017249139A JP 2017249139 A JP2017249139 A JP 2017249139A JP 6930418 B2 JP6930418 B2 JP 6930418B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical
- unit
- medical images
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Description
本発明は、モニタに表示された医用画像を含む画像から医用画像の領域を切り出す画像切り出し装置及び方法に関する。 The present invention relates to an image cutting device and a method for cutting out an area of a medical image from an image including a medical image displayed on a monitor.
医師は、コンピュータ断層撮影装置(CT)または磁気共鳴診断装置(MRI)等の撮影装置によって人体を撮影した撮影画像を見て、患者を診断することがある。医師が診断のために用いる撮影画像を医用画像と総称する。医用画像はPACS(Picture Archiving and Communication System)サーバに記憶されていて、ワークステーションがPACSサーバより医用画像を読み出してモニタに表示する。 A doctor may diagnose a patient by looking at a photographed image of the human body taken by an imaging device such as a computed tomography (CT) or magnetic resonance imaging (MRI). Images taken by doctors for diagnosis are collectively referred to as medical images. The medical image is stored in the PACS (Picture Archiving and Communication System) server, and the workstation reads the medical image from the PACS server and displays it on the monitor.
医用画像を患者または他の医療機関に渡す必要があるときがある。通常、医用画像はDICOM(Digital Imaging and Communications in Medicine)規格に準拠しており、DICOMビューワと称されるソフトウェアによってモニタに表示される。従って、医用画像そのものを患者に渡しても患者は医用画像を見ることができない。 Sometimes it is necessary to give the medical image to the patient or other medical institution. Medical images are usually compliant with the DICOM (Digital Imaging and Communications in Medicine) standard and are displayed on a monitor by software called a DICOM viewer. Therefore, even if the medical image itself is given to the patient, the patient cannot see the medical image.
医用画像のファイルには、撮影画像の他に患者の個人情報または診療情報が含まれていることがあり、個人情報保護の観点から、医用画像のファイルそのものを第三者に渡すことができないことがある。個人情報または診療情報が含まれていないとしても、医療機関に設置されているワークステーションは、セキュリティ保護の観点から、医用画像のファイルを、インターネットを介して外部へと送信できないことがある。また、USB(Universal Serial Bus)端子を介して外部メモリ(いわゆるUSBメモリ)に医用画像のファイルを書き込めないことがある。 The medical image file may contain patient's personal information or medical information in addition to the photographed image, and from the viewpoint of personal information protection, the medical image file itself cannot be passed to a third party. There is. Even if personal information or medical information is not included, workstations installed in medical institutions may not be able to send medical image files to the outside via the Internet from the viewpoint of security protection. In addition, it may not be possible to write a medical image file to an external memory (so-called USB memory) via a USB (Universal Serial Bus) terminal.
そこで、モニタに表示されている画像をキャプチャした画像ファイルを患者または他の医療機関に渡すことが考えられる。しかしながら、モニタには、医用画像の他に、PACSサーバのディレクトリ構造またはDICOMビューワの機能を選択するための機能選択メニューが表示されている。よって、モニタに表示されている画像をそのままキャプチャした画像ファイルを患者または他の医療機関に渡すことは好ましくない。 Therefore, it is conceivable to pass an image file that captures the image displayed on the monitor to the patient or another medical institution. However, in addition to the medical image, the monitor displays a function selection menu for selecting the directory structure of the PACS server or the function of the DICOM viewer. Therefore, it is not preferable to pass the image file that captures the image displayed on the monitor as it is to the patient or other medical institutions.
本発明は、モニタに表示されている画像のうち必要な医用画像の領域のみを切り出すことができる画像切り出し装置及び方法を提供することを目的とする。 An object of the present invention is to provide an image cropping device and a method capable of cropping only a necessary medical image region from an image displayed on a monitor.
本発明は、表示パネルに表示される、複数の医用画像を含む入力画像を二値化する二値化部と、前記二値化部によって二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出する角部検出部と、前記角部検出部によって検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出する領域検出部と、前記複数の医用画像のうちの最大の大きさを有する医用画像の矩形領域よりなる1つの医用画像を単位として切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とを選択して、選択された切り出し方法で前記入力画像から医用画像を切り出す切り出し領域設定部とを備える画像切り出し装置を提供する。
また、本発明は、表示パネルに表示される、複数の医用画像を含む入力画像を二値化する二値化部と、前記二値化部によって二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出する角部検出部と、前記角部検出部によって検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出する領域検出部と、前記複数の医用画像のうちの少なくとも1つの医用画像を前記医用画像の矩形領域を単位として個別に切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とを選択して、選択された切り出し方法で前記入力画像から医用画像を切り出す切り出し領域設定部とを備え、前記切り出し領域設定部は、操作ボタンが操作されるたびに、前記第1の切り出し方法によって切り出す医用画像と第2の切り出し方法によって切り出す医用画像とを順に切り替える画像切り出し装置を提供する。
The present invention is based on a binarization unit that binarizes an input image including a plurality of medical images displayed on a display panel and a binarization unit that is binarized by the binarization unit, and is black. A corner detection unit that detects the position of the pixel at the corner of each of the plurality of medical images by estimating the region with the background as a medical image, and the position of the pixel at the corner detected by the corner detection unit. Based on the above, one medical image consisting of a region detection unit that detects a rectangular region of each of the plurality of medical images and a rectangular region of the medical image having the largest size among the plurality of medical images is cut out as a unit. A first cropping method and a second cropping method that crops a composite image including two or more of the plurality of medical images as a unit are selected, and the medical image is extracted from the input image by the selected cropping method. providing images cutout device Ru and a cutout region setting unit that cuts out.
Further, the present invention is based on a binarization unit that binarizes an input image including a plurality of medical images displayed on a display panel and a binarization unit that is binarized by the binarization unit. , A corner detection unit that estimates the region with a black background as a medical image and detects the positions of the pixels of the corners of each of the plurality of medical images, and the corner pixels detected by the corner detection unit. A region detection unit that detects a rectangular region of each of the plurality of medical images based on the position of, and a first that individually cuts out at least one medical image of the plurality of medical images in units of the rectangular region of the medical image. A medical image is cut out from the input image by the selected cutting method by selecting the cutting method of 1 and the second cutting method of cutting out a composite image including two or more of the plurality of medical images as a unit. The cutout area setting unit includes a cutout area setting unit, and each time the operation button is operated, the cutout area setting unit switches between a medical image cut out by the first cutting method and a medical image cut out by the second cutting method in order. Provide the device.
本発明は、表示パネルに表示される、複数の医用画像を含む入力画像を二値化し、二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出し、検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出し、入力された操作に応じて、前記複数の医用画像のうちの最大の大きさを有する医用画像の矩形領域よりなる1つの医用画像を単位として切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とのいずれか一方を選択し、選択された切り出し方法で前記入力画像から医用画像を切り出す画像切り出し方法を提供する。
また、本発明は、表示パネルに表示される、複数の医用画像を含む入力画像を二値化し、二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出し、検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出し、操作ボタンが操作されるたびに、前記複数の医用画像のうちの少なくとも1つの医用画像を前記医用画像の矩形領域を単位として個別に切り出す第1の切り出し方法によって切り出された医用画像と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法によって切り出された医用画像とを順に切り替える画像切り出し方法を提供する。
The present invention binarizes an input image including a plurality of medical images displayed on a display panel, and estimates a region with a black background as a medical image based on the binarized binarized image. , The positions of the pixels at the corners of the plurality of medical images are detected, the rectangular areas of the plurality of medical images are detected based on the detected positions of the pixels at the corners, and the input operation is performed. A first cutting method for cutting out one medical image consisting of a rectangular area of the medical image having the maximum size among the plurality of medical images as a unit, and two or more of the plurality of medical images. including composite images to select one of the second cut-out method for cutting out as a unit, and provides the images cut method to cut out the medical image from the input image at a selected cut method.
Further, the present invention binarizes an input image including a plurality of medical images displayed on a display panel, and estimates a region with a black background as a medical image based on the binarized binarized image. Then, the positions of the pixels at the corners of the plurality of medical images are detected, the rectangular areas of the plurality of medical images are detected based on the detected positions of the pixels at the corners, and the operation buttons are operated. Each time, at least one of the plurality of medical images is cut out individually in units of rectangular regions of the medical image. The medical image cut out by the first cutting method, and the plurality of medical images. Provided is an image cutting method for sequentially switching between a medical image cut out by a second cutting method for cutting out a composite image including two or more of them as a unit.
本発明の画像切り出し装置及び方法によれば、モニタに表示されている画像のうち必要な医用画像の領域のみを切り出すことができる。 According to the image cropping device and method of the present invention, only the necessary medical image region can be cropped from the image displayed on the monitor.
以下、一実施形態の画像切り出し装置及び方法について、添付図面を参照して説明する。図1において、サーバ1には医用画像が記憶されており、ワークステーション2はサーバ1より医用画像を読み出してモニタ3に表示する。サーバ1はPACSサーバであってもよく、医用画像はDICOM規格に準拠した画像であってもよい。医用画像がDICOM規格に準拠した画像であるとき、ワークステーション2はDICOMビューワによって医用画像をモニタ3に表示する。
Hereinafter, the image cropping apparatus and method of one embodiment will be described with reference to the accompanying drawings. In FIG. 1, a medical image is stored in the
前述のように、モニタ3に表示される画像(入力画像)は、医用画像の他に、サーバ1のディレクトリ構造または機能選択メニューを含むことがある。
As described above, the image (input image) displayed on the monitor 3 may include the directory structure of the
モニタ3は、オンスクリーンディスプレイ(OSD)重畳部301、パネル駆動部302、表示パネル303、操作部309を備える。これらは、モニタ3が通常備える構成である。
The monitor 3 includes an on-screen display (OSD)
また、モニタ3は、画像メモリ304、二値化部305、角部検出部306、領域検出部307、切り出し領域設定部308、画像メモリ310、画像書き込み制御部311、記憶媒体接続ポート312を備える。これらは、モニタ3に表示されている画像のうち必要な医用画像の領域を切り出して外部メモリである記憶媒体4に書き込むために本実施形態において設けた構成である。
Further, the monitor 3 includes an
OSD重畳部301は、操作部309によって所定の操作がなされたときに、モニタ3に表示されている画像に文字、記号等のOSD情報(付加情報)を重畳する。パネル駆動部302は、表示パネル303を駆動して表示パネル303に医用画像を含む画像を表示する。
The
画像メモリ304は、表示パネル303に表示されている医用画像を含む画像を記憶する。二値化部305は、画像メモリ304より読み出された画像の各画素値を二値化する。具体的には、二値化部305は、所定の閾値以下の画素値を0、閾値を超える画素値を1とする。閾値は0であってもよいし、黒レベルのオフセットまたはノイズを考慮して、0よりもわずかに大きい値としてもよい。閾値を調整可能としてもよい。
The
図2は、モニタ3への入力画像であって、表示パネル303に表示され、画像メモリ304に記憶されている医用画像51を含む画像50の一例を示している。図2に示す画像50は、身体の一部を撮影した医用画像51の他に、ディレクトリ構造が表示されているディレクトリ構造表示領域52と、機能選択メニューが表示されている機能選択メニュー表示領域53等の医用画像51以外の画像を含む。
FIG. 2 shows an example of an
医用画像51は、黒の背景に、身体が白またはグレーで表現されている。従って、二値化部305によって図2に示す画像50を二値化すると、背景の部分の画素値が0となり、身体の部分は画素値が1となる。ディレクトリ構造表示領域52と、機能選択メニュー表示領域53等の医用画像51以外の部分は、黒で表示された文字を除き、大方、画素値が1となる。
In the
角部検出部306は、二値化部305から供給された二値化画像に基づいて、黒を背景とする領域を医用画像51と推定して、医用画像51の矩形領域の4つの角部の画素位置を検出する。角部検出部306は、画像50を二値化した二値化画像のうち、一例として図3に示すパターンの41画素を単位として読み出す。図3において、黒丸は注目画素、白丸は注目画素の周辺に位置する周辺画素である。
Based on the binarized image supplied from the
角部検出部306は、読み出した41画素が特定のパターンと一致するか否かを判定することによって、黒を背景とする矩形領域の角部を検出する。
The
図4Aは、矩形領域の左上角部の画素位置を検出するパターンTLである。図4Bは、矩形領域の右上角部の画素位置を検出するパターンTRである。図4Cは、矩形領域の左下角部の画素位置を検出するパターンBLである。図4Dは、矩形領域の右下角部の画素位置を検出するパターンBRである。図4A〜図4Dにおいて、*はパターンマッチングをしない画素であることを示す。即ち、*で示す位置の画素は0であっても1であってもよい。 FIG. 4A is a pattern TL for detecting the pixel position in the upper left corner of the rectangular region. FIG. 4B is a pattern TR for detecting the pixel position in the upper right corner of the rectangular region. FIG. 4C is a pattern BL for detecting the pixel position in the lower left corner of the rectangular region. FIG. 4D is a pattern BR for detecting the pixel position in the lower right corner of the rectangular region. In FIGS. 4A to 4D, * indicates a pixel that does not perform pattern matching. That is, the pixel at the position indicated by * may be 0 or 1.
角部検出部306が図4A〜図4Dに示すパターンTL、TR、BL、BRを用いてパターンマッチングするときに、画像50の角部近傍の画素を注目画素とするときには、図3に示す41画素の一部が存在しないことがある。このような場合、角部検出部306は、図5に示すように、画像50の外側の画素位置の画素を補間する。一例として、角部検出部306は、画像50の外側の画素位置の画素を、画像50の上下または左右の端部の画素で補間する。
When the
図5に示す画像50の左上角部を例とすると、外側の画素位置の画素が、最上位ラインまたは左端に位置する画素P11〜P13及びP21、P31、P41、P51で補間されている。外側の画素位置の画素の補間方法は種々あり、図5に示す補間方法に限定されない。
Taking the upper left corner of the
角部検出部306は、画像50の左から右、上から下へと注目画素を1画素ずつずらしながら、パターンTL、TR、BL、BRのいずれかに所定の割合以上で一致する画素を探索する。角部検出部306は、所定の割合以上で一致する画素があったとき、その画素の位置情報を内蔵するレジスタに格納する。所定の割合を調整可能としてもよい。
The
以上の処理によって、図6に示すように、角部検出部306は、医用画像51における左上角部の画素Pc1の位置と、右上角部の画素Pc2の位置と、左下角部の画素Pc3の位置と、右下角部の画素Pc4の位置とを検出する。
By the above processing, as shown in FIG. 6, the
領域検出部307は、角部検出部306によって検出された4つの角部の画素位置に基づいて、医用画像51のような黒を背景とする矩形領域を検出する。領域検出部307は、次の条件を満たすとき矩形領域を検出したと決定する。
The
第1に、パターンTLを用いて検出した水平画素位置と、パターンBLを用いて検出した水平画素位置とが所定の誤差の範囲内で一致する。第2に、パターンTRを用いて検出した水平画素位置と、パターンBRを用いて検出した水平画素位置とが所定の誤差の範囲内で一致する。第3に、パターンTLを用いて検出した垂直画素位置と、パターンTRを用いて検出した垂直画素位置とが所定の誤差の範囲内で一致する。第4に、パターンBLを用いて検出した垂直画素位置と、パターンBRを用いて検出した垂直画素位置とが所定の誤差の範囲内で一致する。 First, the horizontal pixel position detected by using the pattern TL and the horizontal pixel position detected by using the pattern BL match within a predetermined error range. Secondly, the horizontal pixel position detected by using the pattern TR and the horizontal pixel position detected by using the pattern BR match within a predetermined error range. Thirdly, the vertical pixel position detected by using the pattern TL and the vertical pixel position detected by using the pattern TR match within a predetermined error range. Fourth, the vertical pixel position detected by using the pattern BL and the vertical pixel position detected by using the pattern BR match within a predetermined error range.
角部検出部306のレジスタに格納したパターンTL、TR、BL、BRを用いて検出した水平画素位置(x)と垂直画素位置(y)とが、それぞれ、(x,y)=(100,100)、(300,100)、(100,200)、(300,200)であるとする。このとき、領域検出部307は、(x,y)=(100,100)を左上角部、(x,y)=(300,200)を右下角部とする領域を矩形領域と検出する。
The horizontal pixel position (x) and the vertical pixel position (y) detected by using the patterns TL, TR, BL, and BR stored in the register of the
角部検出部306において、図7の(a)に示すように4つの角部のうちの1つ角部が検出できない場合、図7の(b)に示すように対角方向の2つの角部が検出できない場合が発生することがある。図7の(a)及び(b)において、ハッチングを付した丸は検出された角部の画素、二点鎖線にて示す丸は検出できなかった角部の画素を示す。
When one of the four corners cannot be detected by the
領域検出部307は、図7の(a)または(b)の場合に、矩形領域を検出したとみなしてもよい。このとき、領域検出部307は、検出できなかった角部の画素の位置情報を検出された角部の画素の位置情報で代用すればよい。
The
仮に、画像50のうち医用画像51以外の領域において、医用画像でないにもかかわらず黒または黒に近いグレーで表現されている非医用画像の矩形領域が存在したとする。このとき、角部検出部306が非医用画像の矩形領域の角部を検出し、領域検出部307が非医用画像の矩形領域を医用画像の矩形領域と誤検出するおそれがある。
It is assumed that in the region of the
通常、医用画像の矩形領域は所定の範囲のアスペクト比を有し、過度に横長または縦長の矩形領域は医用画像の矩形領域ではない可能性が高い。そこで、領域検出部307は、所定の範囲から外れたアスペクト比を有する矩形領域を医用画像の矩形領域ではないとみなして除外することが好ましい。
Generally, a rectangular area of a medical image has an aspect ratio in a predetermined range, and an excessively horizontally long or vertically long rectangular area is likely not a rectangular area of a medical image. Therefore, it is preferable that the
以上のようにして、モニタ3に図2に示す画像50が入力されたとき、領域検出部307は、画像50内の医用画像51を、画像を切り出すべき矩形領域であると検出する。操作部309によって医用画像51を切り出す指示がなされたとき、切り出し領域設定部308は、画像メモリ304に記憶された画像50のうち、医用画像51の領域を切り出し、切り出された画像を画像メモリ310に供給する。画像メモリ310は切り出された画像を記憶する。
As described above, when the
操作部309によって、切り出された画像を記憶媒体4に書き込む指示がなされたとき、画像書き込み制御部311は、画像メモリ310から、切り出された画像を読み出して、記憶媒体接続ポート312を介して記憶媒体4に書き込む。これによって、記憶媒体4には、図2に示す医用画像51の領域のみを切り出した画像が記憶される。
When the
記憶媒体4は例えばUSBメモリであり、この場合、記憶媒体接続ポート312はUSB接続ポートである。記憶媒体4はメモリカードであってもよく、この場合、記憶媒体接続ポート312はメモリカードの接続ポートである。
The
図8は、モニタ3への入力画像の他の例を示している。図8に示す画像50は、4つの医用画像501〜504と、機能選択メニュー表示領域53とを含む。モニタ3に図2に示す画像50が入力された場合と同様に、表示パネル303は図8に示す画像50を表示し、画像メモリ304は図8に示す画像50を記憶する。
FIG. 8 shows another example of the input image to the monitor 3. The
二値化部305は図8に示す画像50を二値化し、角部検出部306はパターンTL、TR、BL、BRを用いて画像50に含まれる黒を背景とする矩形領域の角部の画素位置を検出する。
The
図8に示す画像50は4つの医用画像501〜504を含む。よって、角部検出部306は、医用画像501における4つの角部の画素Pc11〜Pc14の位置を検出し、医用画像502における4つの角部の画素Pc21〜Pc24の位置を検出する。角部検出部306は、医用画像503における4つの角部の画素Pc31〜Pc34の位置を検出し、医用画像504における4つの角部の画素Pc41〜Pc44の位置を検出する。
このように、角部検出部306において複数の矩形領域の角部の画素位置が検出されたとき、領域検出部307は、それぞれの矩形領域において、上述した条件を満たすか否かを判定して矩形領域を検出する。さらに、領域検出部307は、複数の矩形領域のうちの2またはそれ以上を組み合わせた複合領域(複合画像)を矩形領域と検出する。
In this way, when the corner
図8に示すように4つの医用画像501〜504が存在するとき、領域検出部307は図9の(a)〜(f)に示すように矩形領域を検出する。
When four
具体的には、図9の(a)に示すように、領域検出部307は、医用画像501〜504を個別に矩形領域と検出する。
Specifically, as shown in FIG. 9A, the
図9の(b)に示すように、領域検出部307は、画素Pc11、Pc12、Pc33、Pc34で囲まれた医用画像501及び503を含む複合画像5013を矩形領域と検出する。図9の(c)に示すように、領域検出部307は、画素Pc21、Pc22、Pc43、Pc44で囲まれた医用画像502及び504を含む複合画像5024を矩形領域と検出する。
As shown in FIG. 9B, the
図9の(d)に示すように、領域検出部307は、画素Pc11、Pc22、Pc13、Pc24で囲まれた医用画像501及び502を含む複合画像5012を矩形領域と検出する。図9の(e)に示すように、領域検出部307は、画素Pc31、Pc42、Pc33、Pc44で囲まれた医用画像503及び504を含む複合画像5034を矩形領域と検出する。
As shown in FIG. 9D, the
さらに、図9の(f)に示すように、領域検出部307は、画素Pc11、Pc22、Pc33、Pc44で囲まれた医用画像501〜504の全体を含む複合画像500を矩形領域と検出する。
Further, as shown in FIG. 9 (f), the
モニタ3の操作者は、操作部309を操作することによって、図9の(a)〜(f)のうちから、切り出し領域設定部308が画像50より切り出す矩形領域を選択する。図9に矢印で示すように、切り出し領域設定部308は、操作者が操作部309における1つの操作ボタンを押すたびに、図9の(a)〜(f)の矩形領域を順に切り替える。
By operating the
このようにすれば、操作者が、操作部309が通常備える操作ボタンを押すだけで、図9の(a)〜(f)のうちのいずれかの矩形領域を簡単に選択することができる。モニタ3を、画像50より医用画像の領域を切り出して記憶媒体4に書き込むモードに設定したときに、操作ボタンに矩形領域を切り替える機能を割り当てればよい。
In this way, the operator can easily select any of the rectangular regions (a) to (f) of FIG. 9 simply by pressing the operation button normally provided on the
切り出し領域設定部308は、図9の(a)が選択されたとき、画像メモリ304に記憶された画像50のうち、医用画像501〜504の各領域を個別に切り出した画像を画像メモリ310に供給する。画像メモリ310は4つの画像を記憶する。
When (a) of FIG. 9 is selected, the cutout
操作部309によって、切り出した画像を記憶媒体4に書き込む指示がなされたとき、画像書き込み制御部311は、画像メモリ310から、切り出した4つの画像を読み出して、記憶媒体接続ポート312を介して記憶媒体4に書き込む。これによって、記憶媒体4には、図8に示す医用画像501〜504の各領域を個別に切り出した画像が記憶される。
When the
図9の(b)が選択されたときには、記憶媒体4には、医用画像501及び503を含む1つの複合画像5013が記憶され、図9の(c)が選択されたときには、記憶媒体4には、医用画像502及び504を含む1つの複合画像5024が記憶される。
When (b) of FIG. 9 is selected, one
図9の(d)が選択されたときには、記憶媒体4には、医用画像501及び502を含む1つの複合画像5012が記憶され、図9の(e)が選択されたときには、記憶媒体4には、医用画像503及び504を含む1つの複合画像5034が記憶される。
When (d) of FIG. 9 is selected, one
図9の(f)が選択されたときには、記憶媒体4には、医用画像501〜504の全体を含む1つの複合画像500が記憶される。
When (f) of FIG. 9 is selected, the
さらに、図10に示すように、切り出し領域設定部308は、操作部309の操作に応じて、医用画像501〜504のうちの1つの医用画像のみを選択的に切り出した画像を画像メモリ310に供給するようにしてもよい。このようにすれば、記憶媒体4に医用画像501〜504のうちの選択した1つの医用画像のみを記憶させることができる。
Further, as shown in FIG. 10, the cutout
図9または図10のように切り出す医用画像が選択されるときに、OSD重畳部301は、選択された医用画像の周囲に所定の色の枠を重畳することが好ましい。
When the medical image to be cut out is selected as shown in FIG. 9 or 10, it is preferable that the
以上のように、切り出し領域設定部308は、医用画像501〜504のうちの少なくとも1つの医用画像の矩形領域を単位として個別に切り出す第1の切り出し方法を選択することができる。切り出し領域設定部308は、医用画像501〜504のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法を選択することができる。切り出し領域設定部308は、入力された操作に応じて、いずれか一方の切り出し方法を選択して、選択された切り出し方法で画像50から医用画像を切り出す。
As described above, the cutout
切り出し領域設定部308は、さらに多くの切り出し方法からいずれか1つの切り出し方法を選択して、選択された切り出し方法で画像50から医用画像を切り出すこともできる。
The cutout
操作者は、モニタ3に表示されている画像50のうち必要な医用画像の領域のみを簡単な操作で切り出して記憶媒体4に記憶させることができる。
The operator can cut out only the necessary medical image area of the
画像50のうち切り出す医用画像を順に切り替える代わりに、切り出し方を選択するように構成してもよい。図11に示すように、OSD重畳部301は、操作部309によって所定の操作がなされたときに、表示パネル303に切り出し方を選択するメニューを表示させる。OSD重畳部301は、画像50の代わりにメニューを表示パネル303に表示してもよいし、画像50にメニューを重畳してもよい。OSD重畳部301は、メニュー表示部として機能する。
Instead of switching the medical images to be cut out in order among the
図11に示す例では、表示パネル303に、「各医用画像を個々に切り出して保存する」なる第1の選択肢、「医用画像の全体を切り出して保存する」なる第2の選択肢、「手動で医用画像を選択して保存する」なる第3の選択肢の3つの選択肢がメニューとして表示されている。第3の選択肢を省略して第1及び第2の選択肢のみとしてもよい。
In the example shown in FIG. 11, the
第1の選択肢は、図9の(a)に示すように、医用画像501〜504の各領域を個別に切り出した4つの画像を記憶媒体4に記憶させる選択肢である。第2の選択肢は、図9の(f)に示すように、医用画像501〜504の全体を含む1つの複合画像500を切り出して記憶媒体4に記憶させる選択肢である。第3の選択肢は、図9または図10のように記憶媒体4に記憶させる医用画像を直接選択する選択肢である。
As shown in FIG. 9A, the first option is an option to store four images obtained by individually cutting out each region of the
第3の選択肢を選択したとき、第1の選択肢または2で選択される医用画像を除いた医用画像を順に切り替えるようにしてもよい。 When the third option is selected, the medical images excluding the medical image selected in the first option or the second option may be switched in order.
図12は、画像50内に医用画像511〜513が存在し、医用画像513の大きさが最も大きい場合を概念的に示している。この場合、図13に示すように、図11に示す第1〜第3の選択肢に加えて、「最大サイズの医用画像を切り出して保存する」なる第4の選択肢を追加することができる。
FIG. 12 conceptually shows a case where the
第1の選択肢は、図14の(a)に示すように、医用画像511〜513の各領域を個別に切り出した3つの画像を記憶媒体4に記憶させる選択肢である。第4の選択肢は、図14の(b)に示すように、最大サイズの医用画像513を切り出して記憶媒体4に記憶させる選択肢である。第2の選択肢は、医用画像511〜513の全体を含む1つの複合画像510を切り出して記憶媒体4に記憶させる選択肢である。
As shown in FIG. 14A, the first option is an option to store in the
ところで、モニタ3に表示される医用画像は、モノクロ画像である場合と、カラー画像である場合とがある。図8のようにモニタ3に複数の医用画像を表示しているとき、一部の医用画像がモノクロ画像であって他の一部の医用画像がカラー画像である場合がある。モニタ3は、モノクロ画像及びカラー画像それぞれに適切な画像処理を施して表示パネル303に表示することが必要である。
By the way, the medical image displayed on the monitor 3 may be a monochrome image or a color image. When a plurality of medical images are displayed on the monitor 3 as shown in FIG. 8, some medical images may be monochrome images and some other medical images may be color images. The monitor 3 needs to perform appropriate image processing on each of the monochrome image and the color image and display them on the
図15は、モノクロ画像とカラー画像とが混在した画像を表示する場合に好適なモニタ3の構成を示している。図15においては、図1との共通部分の図示を省略して、異なる部分を中心とした部分的な構成を示している。 FIG. 15 shows a configuration of a monitor 3 suitable for displaying an image in which a monochrome image and a color image are mixed. In FIG. 15, the illustration of the common portion with that of FIG. 1 is omitted, and a partial configuration centered on a different portion is shown.
図15において、カラー/モノクロ判定部321は、入力された画像50における領域検出部307で検出された医用画像の矩形領域ごとに、カラー画像であるかモノクロ画像であるかを判定する。ガンマテーブル生成部322は、カラー画像の矩形領域においては、DICOM GSDFと称されているガンマテーブルを生成し、モノクロ画像の矩形領域においては、ガンマ2.2のガンマテーブルを生成する。
In FIG. 15, the color /
画像データを8ビットとすると、DICOM GSDF及びガンマ2.2のガンマテーブルは図16に示すような入出力特性を有する。ガンマテーブル生成部322は、計算式を用いた計算によってDICOM GSDF及びガンマ2.2のガンマテーブルを生成することができる。
Assuming that the image data is 8 bits, the DICOM GSDF and the gamma table of gamma 2.2 have the input / output characteristics as shown in FIG. The gamma
ガンマテーブルを計算によって生成する代わりに、ガンマテーブルを示すルックアップテーブルを記憶部に記憶させておき、ルックアップテーブルを参照して画像データの出力値を決定してもよい。この場合、ガンマテーブル生成部322は、ガンマテーブル保持部である。
Instead of generating the gamma table by calculation, a lookup table indicating the gamma table may be stored in the storage unit, and the output value of the image data may be determined by referring to the lookup table. In this case, the gamma
ガンマ補正部323は、ガンマテーブル生成部322で生成されたガンマテーブルに従って入力された画像50をガンマ補正して、OSD重畳部301に供給する。医用画像の矩形領域ごとにガンマテーブルが選択されるから、ガンマ補正部323はカラー画像の矩形領域とモノクロ画像の矩形領域とをそれぞれ適切にガンマ補正することができる。
The
カラー/モノクロ判定部321は、画像データを構成するRGB信号のR信号とG信号との差、R信号とB信号との差、G信号とB信号との差が所定の閾値以下で差が小さいときには、モノクロ画像であると判定する。カラー/モノクロ判定部321は、R信号とG信号との差、R信号とB信号との差、G信号とB信号との差のうちのいずれかが、閾値を超えて差が大きいときには、カラー画像であると判定する。差の閾値を調整可能としてもよい。
In the color /
医用画像は、完全なグレーの画像ではなく、薄い青色または薄い緑色の画像である場合もある。そこで、カラー/モノクロ判定部321は、領域検出部307で検出された医用画像の矩形領域内の全ての画素においてR信号とG信号とB信号の比率が等しい、または、比率が所定の閾値以下で差が小さい所定の単一色の画像であるとき、モノクロ画像であると判定してもよい。比率の閾値を調整可能としてもよい。
The medical image may be a light blue or light green image rather than a full gray image. Therefore, the color /
カラー/モノクロ判定部321は、ディレクトリ構造表示領域52及び機能選択メニュー表示領域53においても同様に、カラー画像であるかモノクロ画像であるかを判定する。ガンマ補正部323は、ディレクトリ構造表示領域52及び機能選択メニュー表示領域53においても同様に、ガンマテーブル生成部322で生成されたガンマテーブルに従って画像をガンマ補正する。
The color /
以上説明した本実施形態の画像切り出し装置及び方法によれば、モニタに表示されている画像のうち必要な医用画像の領域のみを切り出すことができる。しかも、本実施形態の画像切り出し装置及び方法によれば、操作者が複雑な操作をする必要なく、簡単な操作で必要な医用画像の領域のみを切り出すことができる。 According to the image cropping device and method of the present embodiment described above, only the necessary medical image region can be cropped from the image displayed on the monitor. Moreover, according to the image cutting device and method of the present embodiment, it is possible to cut out only the necessary medical image area by a simple operation without the need for the operator to perform complicated operations.
本実施形態の画像切り出し装置をモニタ3に設けることにより、ワークステーション2から医用画像のファイルを介して外部へと送信できない場合、または外部メモリに医用画像のファイルを書き込めない場合であっても、医用画像を外部メモリに書き込んで持ち出すことができる。
By providing the image cropping device of the present embodiment on the monitor 3, even if the medical image file cannot be transmitted from the
本実施形態の画像切り出し装置及び方法によれば、モニタ3に表示されている画像をそのままキャプチャした画像ではなく、必要な医用画像の領域のみを切り出すことができる。よって、本実施形態の画像切り出し装置及び方法によれば、PACSサーバのディレクトリ構造または機能選択メニューのような不必要な領域を除外して切り出すことができる。 According to the image cutting device and method of the present embodiment, it is possible to cut out only a necessary medical image area, not an image obtained by capturing the image displayed on the monitor 3 as it is. Therefore, according to the image cropping device and method of the present embodiment, it is possible to exclude unnecessary areas such as the directory structure of the PACS server or the function selection menu.
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図1におけるモニタ3の内部構成を、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ハードウェアとソフトウェアとの使い分けは任意であって、両者が混在していてもよい。 The present invention is not limited to the present embodiment described above, and various modifications can be made without departing from the gist of the present invention. The internal configuration of the monitor 3 in FIG. 1 may be configured by hardware or software. The proper use of hardware and software is arbitrary, and both may be mixed.
モニタ3の内部構成の一部をマイクロコンピュータまたはマイクロコンピュータのマイクロプロセッサで構成してもよい。二値化部305〜切り出し領域設定部308及び画像書き込み制御部311をマイクロプロセッサによって構成してもよい。画像メモリ304及び310を、マイクロコンピュータが備えるメモリで構成してもよい。
A part of the internal configuration of the monitor 3 may be configured by a microcomputer or a microprocessor of a microcomputer. The
3 モニタ
4 記憶媒体
301 OSD重畳部
302 パネル駆動部
303 表示パネル
304,310 画像メモリ
305 二値化部
306 角部検出部
307 領域検出部
308 切り出し領域設定部
309 操作部
311 画像書き込み制御部
312 記憶媒体接続ポート
3
Claims (8)
前記二値化部によって二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出する角部検出部と、
前記角部検出部によって検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出する領域検出部と、
前記複数の医用画像のうちの最大の大きさを有する医用画像の矩形領域よりなる1つの医用画像を単位として切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とを選択して、選択された切り出し方法で前記入力画像から医用画像を切り出す切り出し領域設定部と、
を備える画像切り出し装置。 A binarization unit that binarizes an input image containing multiple medical images displayed on the display panel,
Based on the binarized image binarized by the binarized unit, the region with a black background is estimated as a medical image, and the corners of each of the plurality of medical images are detected. Department detector and
A region detection unit that detects a rectangular region of each of the plurality of medical images based on the positions of the pixels of the corner portion detected by the corner detection unit.
A first cutting method for cutting out one medical image as a unit consisting of a rectangular area of the medical image having the maximum size among the plurality of medical images, and a composite including two or more of the plurality of medical images. A second cropping method for cropping an image as a unit is selected, and a cropping area setting unit for cropping a medical image from the input image by the selected cropping method, and
Images cut device provided with a.
前記二値化部によって二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出する角部検出部と、
前記角部検出部によって検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出する領域検出部と、
前記複数の医用画像のうちの少なくとも1つの医用画像を前記医用画像の矩形領域を単位として個別に切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とを選択して、選択された切り出し方法で前記入力画像から医用画像を切り出す切り出し領域設定部と、
を備え、
前記切り出し領域設定部は、操作ボタンが操作されるたびに、前記第1の切り出し方法によって切り出す医用画像と第2の切り出し方法によって切り出す医用画像とを順に切り替える
画像切り出し装置。 A binarization unit that binarizes an input image containing multiple medical images displayed on the display panel,
Based on the binarized image binarized by the binarized unit, the region with a black background is estimated as a medical image, and the corners of each of the plurality of medical images are detected. Department detector and
A region detection unit that detects a rectangular region of each of the plurality of medical images based on the positions of the pixels of the corner portion detected by the corner detection unit.
A first cutting method for individually cutting out at least one of the plurality of medical images in units of rectangular regions of the medical images, and a composite image including two or more of the plurality of medical images as a unit. Select the second cutting method to cut out as, and use the selected cutting method to cut out the medical image from the input image, and the cutout area setting unit.
Equipped with a,
Each time the operation button is operated, the cutout area setting unit switches between the medical image cut out by the first cutting method and the medical image cut out by the second cutting method in order.
Images cut-out device.
前記切り出し領域設定部は、選択された前記第1または第2の選択肢に応じて、前記第1の切り出し方法と前記第2の切り出し方法とのいずれか一方を選択する請求項1に記載の画像切り出し装置。 The display panel further includes a menu display unit that displays a menu including a first option for selecting the first cutting method and a second option for selecting the second cutting method. ,
The cutout region setting unit, in response to the first or second option selected, according to 請Motomeko 1 you select one of said first cut-out method and the second cut-out process Image cropping device.
前記モニタは、前記記憶媒体として外部メモリを接続する記憶媒体接続ポートをさらに備え、
前記画像書き込み制御部は、前記記憶媒体接続ポートを介して、前記第1または第2の切り出し方法で切り出された画像を前記記憶媒体に書き込む
請求項5に記載の画像切り出し装置。 The binarization unit, the corner detection unit, the area detection unit, the cutout area setting unit, and the image writing control unit are provided on a monitor provided with the display panel.
The monitor further includes a storage medium connection port for connecting an external memory as the storage medium.
The image cutting device according to claim 5 , wherein the image writing control unit writes an image cut out by the first or second cutting method to the storage medium via the storage medium connection port.
二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出し、
検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出し、
入力された操作に応じて、前記複数の医用画像のうちの最大の大きさを有する医用画像の矩形領域よりなる1つの医用画像を単位として切り出す第1の切り出し方法と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法とのいずれか一方を選択し、
選択された切り出し方法で前記入力画像から医用画像を切り出す
画像切り出し方法。 Binarize the input image containing multiple medical images displayed on the display panel,
Based on the binarized binarized image, the region with a black background is estimated as a medical image, and the positions of the pixels at the corners of each of the plurality of medical images are detected.
Based on the detected pixel positions at the corners, a rectangular area of each of the plurality of medical images is detected.
A first cutting method for cutting out one medical image as a unit consisting of a rectangular area of the medical image having the largest size among the plurality of medical images according to an input operation, and the plurality of medical images. Select one of the second cropping methods for cropping a composite image containing two or more of them as a unit.
A medical image is cut out from the input image by the selected cutting method.
Images cut-out method.
二値化された二値化画像に基づいて、黒を背景とする領域を医用画像と推定して、前記複数の医用画像それぞれの角部の画素の位置を検出し、
検出された角部の画素の位置に基づいて、前記複数の医用画像それぞれの矩形領域を検出し、
操作ボタンが操作されるたびに、前記複数の医用画像のうちの少なくとも1つの医用画像を前記医用画像の矩形領域を単位として個別に切り出す第1の切り出し方法によって切り出された医用画像と、前記複数の医用画像のうちの2つ以上を含む複合画像を単位として切り出す第2の切り出し方法によって切り出された医用画像とを順に切り替える
画像切り出し方法。 Binarize the input image containing multiple medical images displayed on the display panel,
Based on the binarized binarized image, the region with a black background is estimated as a medical image, and the positions of the pixels at the corners of each of the plurality of medical images are detected.
Based on the detected pixel positions at the corners, a rectangular area of each of the plurality of medical images is detected.
Each time the operation button is operated , at least one of the plurality of medical images is cut out individually in units of rectangular areas of the medical image. The medical image cut out by the first cutting method and the plurality of medical images. A composite image containing two or more of the medical images of the above is cut out as a unit, and the medical image cut out by the second cutting method is switched in order.
Images cut-out method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249139A JP6930418B2 (en) | 2017-12-26 | 2017-12-26 | Image cropping device and method |
| JP2021129973A JP7248062B2 (en) | 2017-12-26 | 2021-08-06 | Image clipping device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249139A JP6930418B2 (en) | 2017-12-26 | 2017-12-26 | Image cropping device and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021129973A Division JP7248062B2 (en) | 2017-12-26 | 2021-08-06 | Image clipping device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019111275A JP2019111275A (en) | 2019-07-11 |
| JP6930418B2 true JP6930418B2 (en) | 2021-09-01 |
Family
ID=67223396
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017249139A Active JP6930418B2 (en) | 2017-12-26 | 2017-12-26 | Image cropping device and method |
| JP2021129973A Active JP7248062B2 (en) | 2017-12-26 | 2021-08-06 | Image clipping device and method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021129973A Active JP7248062B2 (en) | 2017-12-26 | 2021-08-06 | Image clipping device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6930418B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6930418B2 (en) * | 2017-12-26 | 2021-09-01 | 株式会社Jvcケンウッド | Image cropping device and method |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5978443A (en) * | 1997-11-10 | 1999-11-02 | General Electric Company | Automated removal of background regions from radiographic images |
| JP4236759B2 (en) | 1999-03-29 | 2009-03-11 | 大日本印刷株式会社 | Graphic object allocation device |
| JP4494553B2 (en) * | 1999-06-04 | 2010-06-30 | アレイ株式会社 | Image processing apparatus and method |
| JP4182465B2 (en) * | 2001-10-18 | 2008-11-19 | 株式会社東芝 | X-ray CT system |
| US7400680B2 (en) | 2003-09-30 | 2008-07-15 | Intel Corporation | Rectangular-shape motion search |
| JP2007282771A (en) * | 2006-04-14 | 2007-11-01 | Konica Minolta Medical & Graphic Inc | Medical information processor, and program |
| WO2008035401A1 (en) | 2006-09-19 | 2008-03-27 | Fujitsu Limited | Electronic watermark embedding device and detection device |
| JP5343190B2 (en) * | 2008-02-04 | 2013-11-13 | 株式会社日立情報通信エンジニアリング | Image processing apparatus and image processing program |
| JP2013009293A (en) | 2011-05-20 | 2013-01-10 | Sony Corp | Image processing apparatus, image processing method, program, recording medium, and learning apparatus |
| KR102173109B1 (en) | 2014-09-05 | 2020-11-02 | 삼성전자주식회사 | Method of processing a digital image, Computer readable storage medium of recording the method and digital photographing apparatus |
| JP6930418B2 (en) | 2017-12-26 | 2021-09-01 | 株式会社Jvcケンウッド | Image cropping device and method |
-
2017
- 2017-12-26 JP JP2017249139A patent/JP6930418B2/en active Active
-
2021
- 2021-08-06 JP JP2021129973A patent/JP7248062B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019111275A (en) | 2019-07-11 |
| JP7248062B2 (en) | 2023-03-29 |
| JP2021169051A (en) | 2021-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI467495B (en) | Edge mapping using panchromatic pixels | |
| KR102103410B1 (en) | Control apparatus, control method, and storage medium | |
| JP5123212B2 (en) | Interpolation of panchromatic and color pixels | |
| JP4163370B2 (en) | Abnormal shadow candidate detection system | |
| US20120050309A1 (en) | Display control apparatus and display control method | |
| JP5509173B2 (en) | Display device and display method | |
| JP2006079220A (en) | Image retrieval device and method | |
| US7652717B2 (en) | White balance correction in digital camera images | |
| US10528792B2 (en) | Display apparatus and display control method for simultaneously displaying a plurality of images | |
| CN108734750B (en) | Information processing apparatus, system, method, and storage medium | |
| JP7248062B2 (en) | Image clipping device and method | |
| KR20160140194A (en) | Method and apparatus for detecting abnormality based on personalized analysis of PACS image | |
| JP5181894B2 (en) | Image processing apparatus and electronic camera | |
| JP2020069326A (en) | Radiographic system, radiographic method, control apparatus, and program | |
| US6631499B1 (en) | Laser image connectable to medical modality of a workstation | |
| US10499859B2 (en) | Image display apparatus, image display method, and storage medium | |
| JP2007282771A (en) | Medical information processor, and program | |
| CN108735283B (en) | Information processing apparatus, system, method, and storage medium | |
| JP2013114189A (en) | Image display device and control method thereof | |
| US7472994B2 (en) | Ophthalmologic image pickup system | |
| JP2006271800A (en) | Image processing apparatus, method and program | |
| JP2019033388A (en) | Signal processor and signal processing method | |
| JP4717287B2 (en) | Display device | |
| JP2015200695A (en) | Image processor and control method thereof | |
| KR100846798B1 (en) | Method and system for displaying pixilated input image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6930418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |