[go: up one dir, main page]

WO2020031380A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
WO2020031380A1
WO2020031380A1 PCT/JP2018/030119 JP2018030119W WO2020031380A1 WO 2020031380 A1 WO2020031380 A1 WO 2020031380A1 JP 2018030119 W JP2018030119 W JP 2018030119W WO 2020031380 A1 WO2020031380 A1 WO 2020031380A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
feature map
image
candidate area
tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/030119
Other languages
English (en)
French (fr)
Inventor
淳 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2018/030119 priority Critical patent/WO2020031380A1/ja
Priority to CN201880096219.2A priority patent/CN112513935B/zh
Priority to JP2020535471A priority patent/JP6986160B2/ja
Publication of WO2020031380A1 publication Critical patent/WO2020031380A1/ja
Priority to US17/151,719 priority patent/US20210142512A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to an image processing method and an image processing device.
  • Patent Literature 1 proposes a technique in which deep learning is applied to detection processing.
  • the direction may be important in the detection processing of the tip of the object.
  • the direction cannot be considered in the conventional technology described in Patent Document 1.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a technique capable of considering not only the position but also the direction in the detection processing of the tip of an object.
  • an image processing apparatus for detecting a tip of an object from an image
  • the image processing apparatus comprising: an image input unit that receives an input of an image; , A feature map generation unit that generates a feature map by applying a first transformation, a first conversion unit that generates a first output by applying a first transformation to the feature map, and a second transformation to the feature map. And a third conversion unit that generates a third output by applying a third conversion to the feature map.
  • the first output indicates information on a predetermined number of candidate areas on the image
  • the second output indicates the likelihood of whether or not the tip of the object exists in the candidate area
  • the third output Indicates information on the direction of the tip of the object existing in the candidate area.
  • This device is an image processing device for detecting a tip of an object from an image, an image input unit that receives an input of an image, and a feature map generation unit that generates a feature map by applying a convolution operation to the image.
  • a first conversion unit that generates a first output by applying a first transformation to the feature map
  • a second conversion unit that generates a second output by applying a second transformation to the feature map.
  • a third conversion unit that generates a third output by applying a third conversion to the feature map.
  • the first output indicates information on a predetermined number of candidate points on the image
  • the second output indicates the likelihood of whether or not the tip of the object exists near the candidate points
  • the third output indicates the likelihood.
  • Output indicates information on the direction of the tip of the object existing near the candidate point.
  • the method is an image processing method for detecting a tip of an object from an image, and includes an image input step of receiving an input of an image, and a feature map generation step of generating a feature map by applying a convolution operation to the image.
  • the first output indicates information on a predetermined number of candidate areas on the image
  • the second output indicates the likelihood of whether or not the tip of the object exists in the candidate area
  • the third output Indicates information on the direction of the tip of the object existing in the candidate area.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus according to the embodiment.
  • FIG. 5 is a diagram for explaining an effect of considering reliability of the direction of the distal end of the treatment tool in determining whether or not the candidate region includes the distal end of the treatment tool by the candidate region determination unit in FIG. 1.
  • FIG. 11 is a diagram for explaining an effect of considering the direction of the distal end of the treatment tool in determining a candidate region to be deleted.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus 100 according to the embodiment.
  • Each block shown here can be realized by hardware or other elements or mechanical devices such as a CPU (central processing unit) or GPU (Graphics Processing Unit) of the computer, and can be realized by a computer program or the like in software
  • the functional blocks realized by their cooperation are depicted. Therefore, it will be understood by those skilled in the art referred to in this specification that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the image processing apparatus 100 may be used for detecting the distal end of a treatment tool of an endoscope.
  • the image processing apparatus 100 may be used to detect the distal end of another object, specifically, Obviously, the present invention can also be applied to the detection of the tip of another object such as a robot arm, a needle under a microscope, and a bar-shaped tool used in sports.
  • the image processing apparatus 100 is an apparatus for detecting the distal end of a treatment tool of an endoscope from an endoscope image.
  • the image processing apparatus 100 includes an image input unit 110, a correct answer input unit 111, a feature map generation unit 112, an area setting unit 113, a first conversion unit 114, a second conversion unit 116, and a third conversion unit 118.
  • the image input unit 110 receives an input of an endoscope image from, for example, a video processor or another device connected to the endoscope.
  • the feature map generation unit 112 generates a feature map by applying a convolution operation using a predetermined weighting factor to the endoscopic image received by the image input unit 110.
  • the weight coefficient is obtained in a learning process described later, and is stored in the weight coefficient storage unit 134.
  • a convolutional neural network (CNN: Convolutional Neural Network) based on VGG-16 is used as the convolution operation, but the present invention is not limited to this, and another CNN may be used.
  • IM Identity Mapping
  • the area setting unit 113 sets a predetermined number of areas (hereinafter, referred to as “initial areas”) at equal intervals, for example, on the endoscopic image received by the image input unit 110.
  • the first conversion unit 114 generates information (first output) on a plurality of candidate regions corresponding to each of the plurality of initial regions by applying the first conversion to the feature map.
  • the information on the candidate area is information including a positional change amount for the reference point (for example, the center point) of the initial area to be closer to the tip.
  • the information on the candidate area is not limited to this, and may be, for example, information including the position and size of the area after the initial area has been moved so as to fit the distal end of the treatment tool.
  • a convolution operation using a predetermined weight coefficient is used. The weight coefficient is obtained in a learning process described later, and is stored in the weight coefficient storage unit 134.
  • the second conversion unit 116 generates a likelihood (second output) as to whether or not the distal end of the treatment tool exists in each of the plurality of initial regions by applying the second conversion to the feature map.
  • the second conversion unit 116 may generate the likelihood of whether or not the tip of the treatment tool exists in each of the plurality of candidate regions.
  • a convolution operation using a predetermined weight coefficient is used for the second conversion. The weight coefficient is obtained in a learning process described later, and is stored in the weight coefficient storage unit 134.
  • the third conversion unit 118 generates information (third output) on the direction of the distal end of the treatment tool existing in each of the plurality of initial regions by applying the third conversion to the feature map.
  • the third conversion unit 118 may generate information regarding the direction of the distal end of the treatment tool present in each of the plurality of candidate regions.
  • the information on the direction of the distal end of the treatment instrument is a direction vector (v x , v y ) starting from the distal end of the treatment instrument and extending along an extension of the extension direction of the distal end.
  • a convolution operation using a predetermined weight coefficient is used for the third conversion. The weight coefficient is obtained in a learning process described later, and is stored in the weight coefficient storage unit 134.
  • the integrated score calculation unit 120 determines each of the plurality of initial regions. Alternatively, an integrated score of each of the plurality of candidate regions is calculated.
  • the “reliability” of the information on the direction is the magnitude of the direction vector at the tip.
  • the integrated score calculation unit 120 calculates an integrated score (Score total ) by the weighted sum of the likelihood and the reliability of the direction, specifically, by the following equation (1).
  • Score 2 is a likelihood
  • w 3 is a weighting factor applied to the magnitude of the direction vector.
  • the candidate area determination unit 122 determines whether or not each of the plurality of candidate areas includes the distal end of the treatment tool based on the integrated score, and as a result, it is estimated that the distal end of the treatment tool is present. ) Specify a candidate area. Specifically, the candidate area determination unit 122 determines that the distal end of the treatment tool is present for a candidate area having an integrated score equal to or greater than a predetermined threshold.
  • FIG. 2 shows the effect of using the integrated score in determining whether or not the candidate region includes the tip of the treatment tool by the candidate region determination unit 122, that is, not only the likelihood in the determination of the candidate region but also the tip of the treatment tool.
  • FIG. 7 is a diagram for explaining an effect of considering the magnitude of the direction vector of FIG.
  • the treatment tool 10 has a bifurcated shape, and has a projection 12 at a branch portion that branches into two. Since the projection 12 has a shape partially similar to the distal end of the treatment tool, the likelihood of the candidate area 20 including the projection 12 may be output with high likelihood.
  • the candidate area 20 is determined as a candidate area where the tip 14 of the treatment tool 10 is present. That is, the protrusion 12 of the branch portion may be erroneously detected as the distal end of the treatment tool.
  • whether or not the distal end 14 of the treatment tool 10 is a candidate area in which the distal end is present is determined in consideration of the magnitude of the direction vector of the distal end in addition to the likelihood. I do. Since the size of the direction vector of the projection 12 of the branch portion other than the distal end 14 of the treatment tool 10 tends to be small, it is possible to improve the detection accuracy by considering the size of the direction vector in addition to the likelihood. it can.
  • the candidate area deleting unit 124 calculates the similarity between the plurality of candidate areas. Then, when the similarity is equal to or greater than a predetermined threshold and the directions of the distal ends of the treatment tools corresponding to the plurality of candidate regions substantially match, it is considered that they have detected the same distal end. Therefore, the candidate region deletion unit 124 deletes the candidate region with the lower integrated score while leaving the candidate region with the higher integrated score.
  • the candidate area deletion unit 124 leaves none of the candidate areas without deleting.
  • the case where the directions of the distal ends of the treatment tools substantially coincide with each other refers to the case where the directions of the distal ends are parallel to each other and the acute angle formed by the directions of the distal ends is equal to or less than a predetermined threshold value.
  • the degree of overlap between candidate regions is used as the similarity. That is, the similarity increases as the candidate regions overlap.
  • the similarity is not limited to this, and for example, the reciprocal of the distance between the candidate regions may be used.
  • FIG. 3 is a diagram for explaining the effect of considering the direction of the tip in determining the candidate region to be deleted.
  • the first candidate area 40 detects the tip of the first treatment instrument 30, and the second candidate area 42 detects the tip of the second treatment instrument 32.
  • the deletion is performed only by their similarity.
  • it is determined whether or not the first candidate area 40 and the second candidate area 42 are candidate areas for detecting the distal ends of different treatment tools one of the candidate areas is determined to be deleted. There is a risk of doing so.
  • the candidate region deletion unit 124 determines whether or not to delete the candidate region in consideration of the direction of the tip in addition to the degree of similarity. Even if the candidate area 42 is close to and has a high degree of similarity, the direction D1 of the distal end of the first treatment tool 30 and the direction D2 of the distal end of the second treatment tool 32 detected by the candidate area 42 are different. Therefore, none of the candidate regions is deleted, and therefore, the leading end of the first treatment tool 30 and the leading end of the second treatment tool 32 that are close to each other can be detected.
  • the result presenting unit 133 presents the detection result of the distal end of the treatment instrument on, for example, a display.
  • the result presenting unit 133 detects the distal end of the treatment instrument, which is the candidate area determined by the candidate area determining unit 122 to have the distal end of the treatment tool and which remains without being deleted by the candidate area deleting unit 124. Is presented as a candidate area.
  • the weight initialization unit 126 is a weighting coefficient to be learned, and is a weight used in each processing by the feature map generation unit 112, the first conversion unit 114, the second conversion unit 116, and the third conversion unit 118. Initialize coefficients. Specifically, the weight initialization unit 126 uses normal random numbers having an average of 0 and a standard deviation wscale / ⁇ (c i ⁇ k ⁇ k) for initialization. wscale is a scale parameter, c i is the number of input channels of the convolution layer, and k is the convolution kernel size. Further, as an initial value of the weight coefficient, a weight coefficient learned by a large-scale image DB different from the endoscope image DB used for the main learning may be used. Thereby, even when the number of endoscope images used for learning is small, the weight coefficient can be learned.
  • the image input unit 110 receives an input of a learning endoscope image from, for example, a user terminal or another device.
  • the correct answer input unit 111 receives correct answer data corresponding to a learning endoscope image from a user terminal or another device.
  • the correct answer corresponding to the output by the processing of the first conversion unit 114 includes a reference point (center point) of each of the plurality of initial regions set on the learning endoscope image by the region setting unit 113, Is used to match the tip of the processing tool, that is, the amount of position variation indicating how to move each of the plurality of initial regions to approach the tip of the processing tool more.
  • a binary value indicating whether or not the tip of the treatment tool exists in the initial area is used.
  • a unit direction vector indicating the direction of the distal end of the treatment tool existing in the initial area is used.
  • the processing in the learning process by the feature map generation unit 112, the first conversion unit 114, the second conversion unit 116, and the third conversion unit 118 is the same as the processing in the application process.
  • the overall error calculation unit 128 calculates an error of the entire process based on each output of the first conversion unit 114, the second conversion unit 116, and the third conversion unit 118 and each piece of correct data corresponding thereto.
  • the error propagation unit 130 calculates an error in each process of the feature map generation unit 112, the first conversion unit 114, the second conversion unit 116, and the third conversion unit 118 based on the entire error.
  • the weight updating unit 132 calculates the weight used in each convolution operation of the feature map generation unit 112, the first conversion unit 114, the second conversion unit 116, and the third conversion unit 118 based on the error calculated by the error propagation unit 130. Update coefficients. As a method of updating the weight coefficient based on the error, for example, a stochastic gradient descent method may be used.
  • the image processing apparatus 100 first sets a plurality of initial areas in the received endoscope image. Subsequently, the image processing apparatus 100 generates a feature map by applying a convolution operation to the endoscope image, generates information about a plurality of candidate regions by applying a first operation to the feature map, and generates 2 is applied to generate a likelihood that the distal end of the treatment tool is present in each of the plurality of initial regions, and the third calculation is applied to the feature map to determine the likelihood of the treatment tool present in each of the plurality of initial regions Generates information about the direction of the tip.
  • the image processing apparatus 100 calculates the integrated score of each candidate area, and determines that the candidate area having the integrated score equal to or larger than the predetermined threshold is the candidate area for detecting the distal end of the treatment tool. Further, the image processing apparatus 100 calculates the similarity between the determined candidate regions, and deletes the candidate region having a low likelihood from the candidate regions detecting the same tip based on the similarity. Finally, the image processing apparatus 100 presents the remaining candidate area without being deleted as a candidate area where the tip of the processing tool is detected.
  • the information on the direction of the distal end is considered in the determination of the candidate region where the distal end of the treatment instrument is present, that is, in the detection of the distal end of the treatment instrument.
  • the tip of the treatment tool can be detected with higher accuracy.
  • the image processing apparatus 100 sets a predetermined number of points (hereinafter, referred to as “initial points”) at equal intervals, for example, on the endoscope image, and performs the first conversion on the feature map.
  • Information (third output) on the direction of the distal end of the treatment tool existing in the vicinity of each or a plurality of candidate points may be generated.
  • the image processing device may include a processor and a storage such as a memory.
  • the function of each unit may be realized by individual hardware, or the function of each unit may be realized by integrated hardware.
  • a processor includes hardware, and the hardware can include at least one of a circuit that processes digital signals and a circuit that processes analog signals.
  • the processor can be configured with one or a plurality of circuit devices (for example, an IC, etc.) mounted on a circuit board, and one or a plurality of circuit elements (for example, a resistor, a capacitor, or the like).
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be a hardware circuit based on ASIC (Application Specific Integrated Circuit) or FPGA (Field-programmable Gate Array).
  • the processor may include an amplifier circuit and a filter circuit for processing an analog signal.
  • the memory may be a semiconductor memory such as an SRAM or a DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. You may.
  • the memory stores instructions that can be read by a computer, and the instructions are executed by the processor, thereby realizing the functions of each unit of the image processing apparatus.
  • the instruction here may be an instruction of an instruction set constituting a program or an instruction for instructing a hardware circuit of a processor to operate.
  • the processing units of the image processing apparatus may be connected by any type or medium of digital data communication such as a communication network.
  • communication networks include, for example, a LAN, a WAN, and the computers and networks forming the Internet.
  • ⁇ 100 ⁇ image processing device ⁇ 110 ⁇ image input unit, ⁇ 112 ⁇ feature map generation unit, ⁇ 114 ⁇ first conversion unit, ⁇ 116 ⁇ second conversion unit, ⁇ 118 ⁇ third conversion unit.
  • the present invention relates to an image processing method and an image processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置１００は、画像から物体の先端を検出する。画像処理装置１００は、画像の入力を受け付ける画像入力部１１０と、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部１１２と、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部１１４と、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部１１６と、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部１１８と、を備える。第１の出力は、画像上にあらかじめ決められた数の候補領域に関する情報を示し、第２の出力は、候補領域に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補領域に存在する物体の先端の方向に関する情報を示す。

Description

画像処理方法および画像処理装置
　本発明は、画像処理方法および画像処理装置に関する。
　近年、深いネットワーク層をもつニューラルネットワークであるディープラーニングが注目を集めている。例えば特許文献１には、ディープラーニングを検出処理に応用した技術が提案されている。
　特許文献１に記載される技術では、画像上に等間隔に配置された複数の領域のそれぞれが検出対象を含んでいるかどうか、含んでいるならば領域をどのように移動、変形させれば検出対象とよりフィットするかを学習することで、検出処理を実現している。
Shaoqing Ren、Kaiming He、Ross Girshick and Jian Sun「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、Conference on Neural Information Processing Systems (NIPS)、2015
　物体の先端の検出処理には、その位置に加えて方向も重要となる場合があるが、特許文献１に記載されるような従来の技術では、方向を考慮できていない。
　本発明はこうした状況に鑑みなされたものであり、その目的は、物体の先端の検出処理において、その位置に加えて方向も考慮できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像処理装置は、画像から物体の先端を検出するための画像処理装置であって、画像の入力を受け付ける画像入力部と、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、を備える。第１の出力は、画像上にあらかじめ決められた数の候補領域に関する情報を示し、第２の出力は、候補領域に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補領域に存在する物体の先端の方向に関する情報を示す。
　本発明の別の態様もまた、画像処理装置である。この装置は、画像から物体の先端を検出するための画像処理装置であって、画像の入力を受け付ける画像入力部と、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、を備える。第１の出力は、画像上にあらかじめ決められた数の候補点に関する情報を示し、第２の出力は、候補点の近傍に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補点の近傍に存在する物体の先端の方向に関する情報を示す。
　本発明のさらに別の態様は、画像処理方法である。この方法は、画像から物体の先端を検出するための画像処理方法であって、画像の入力を受け付ける画像入力ステップと、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成ステップと、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換ステップと、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換ステップと、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換ステップと、を含む。第１の出力は、画像上にあらかじめ決められた数の候補領域に関する情報を示し、第２の出力は、候補領域に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補領域に存在する物体の先端の方向に関する情報を示す。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、物体の先端の検出処理において、位置に加えて方向も考慮できる技術を提供できる。
実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図１の候補領域判別部による、候補領域が処置具の先端を含むか否かの判別において、処置具の先端の方向の信頼度を考慮することの効果を説明するための図である。 削除する候補領域の決定において処置具の先端の方向を考慮することの効果を説明するための図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
　図１は、実施の形態に係る画像処理装置１００の機能構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）やＧＰＵ（Graphics Processing Unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
　以下では、画像処理装置１００を内視鏡の処置具の先端の検出に用いる場合を例に説明するが、当業者によれば、画像処理装置１００をそれ以外の物体の先端、具体的には例えばロボットアーム、顕微鏡下の針、スポーツで用いる棒状の道具等の他の物体の先端の検出にも適用できることは明らかである。
　画像処理装置１００は、内視鏡画像から内視鏡の処置具の先端を検出するための装置である。画像処理装置１００は、画像入力部１１０と、正解入力部１１１と、特徴マップ生成部１１２と、領域設定部１１３と、第１変換部１１４と、第２変換部１１６と、第３変換部１１８と、統合スコア算出部１２０と、候補領域判別部１２２と、候補領域削除部１２４と、重み初期化部１２６と、全体誤差算出部１２８と、誤差伝播部１３０と、重み更新部１３２と、結果提示部１３３と、重み係数記憶部１３４と、を備える。
　まず、学習済みの画像処理装置１００により、内視鏡画像から処置具の先端を検出する適用過程について説明する。
　画像入力部１１０は、例えば内視鏡に接続されたビデオプロセッサまたは他の装置から、内視鏡画像の入力を受け付ける。特徴マップ生成部１１２は、画像入力部１１０が受け付けた内視鏡画像に対して、所定の重み係数を用いた畳み込み演算を適用することで特徴マップを生成する。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。本実施の形態では、畳み込み演算として、ＶＧＧ－１６をベースにした畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）を用いるが、これに限定されず、他のCNNを用いることもできる。例えば、畳み込み演算として、Identity Mapping(IM)を導入したResidual Networkを用いることもできる。
　領域設定部１１３は、画像入力部１１０が受け付けた内視鏡画像上に、例えば等間隔に、あらかじめ決められた数の複数の領域（以下、「初期領域」と呼ぶ）を設定する。
　第１変換部１１４は、特徴マップに第１の変換を適用することで、複数の初期領域のそれぞれに対応する複数の候補領域に関する情報（第１の出力）を生成する。本実施の形態では、候補領域に関する情報は、初期領域の基準点（例えば中心点）が先端により近づくための位置変動量を含む情報である。なお、候補領域に関する情報は、これには限定されず、例えば処置具の先端によりフィットするように初期領域を移動させた後の領域の位置およびサイズを含む情報であってもよい。第１の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。
　第２変換部１１６は、特徴マップに第２の変換を適用することで、複数の初期領域のそれぞれに処置具の先端が存在するか否かの尤度（第２の出力）を生成する。なお、第２変換部１１６は複数の候補領域のそれぞれに処置具の先端が存在するか否かの尤度を生成してもよい。第２の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。
　第３変換部１１８は、特徴マップに第３の変換を適用することで、複数の初期領域のそれぞれに存在する処置具の先端の方向に関する情報（第３の出力）を生成する。なお、第３変換部１１８は複数の候補領域のそれぞれに存在する処置具の先端の方向に関する情報を生成してもよい。本実施の形態では、処置具の先端の方向に関する情報は、処置具の先端を始点する、先端部の延在方向の延長線に沿って延びる方向ベクトル（ｖｘ，ｖｙ）である。第３の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。
　統合スコア算出部１２０は、第２変換部１１６により生成された尤度と、第３変換部１１８により生成された処置具の先端の方向に関する情報の信頼度に基づいて、複数の初期領域のそれぞれ又は複数の候補領域のそれぞれの統合スコアを算出する。方向に関する情報の「信頼度」とは、本実施の形態では、先端の方向ベクトルの大きさである。統合スコア算出部１２０は特に、尤度と方向の信頼度との重み付け和により、具体的には以下の式（１）により、統合スコア（Scoretotal）算出する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Score2は尤度であり、w3は方向ベクトルの大きさに掛けられる重み係数である。
　候補領域判別部１２２は、統合スコアに基づいて、複数の候補領域のそれぞれについて処置具の先端を含むか否かを判別し、その結果、処置具の先端が存在している（と推測される）候補領域を特定する。具体的には候補領域判別部１２２は、統合スコアが所定の閾値以上である候補領域について、処置具の先端が存在していると判別する。
　図２は、候補領域判別部１２２による、候補領域が処置具の先端を含むか否かの判別において、統合スコアを用いることの効果、すなわち候補領域の判別に尤度のみならず処置具の先端の方向ベクトルの大きさを考慮することの効果を説明するための図である。この例では、処置具１０は二股状であり、二股に分岐する分岐部に突起１２を有している。突起１２は処置具の先端と一部類似した形状をもつことから突起１２を含む候補領域２０の尤度が高く出力される場合もある。この場合、処置具１０の先端１４が存在している候補領域であるか否かを尤度のみを用いて判別すると、候補領域２０を処置具１０の先端１４が存在している候補領域として判別しうる、つまり分岐部の突起１２を処置具の先端と誤検出しうる。これに対し本実施の形態では、上述したように、処置具１０の先端１４が存在している候補領域であるか否かを尤度に加えて先端の方向ベクトルの大きさを考慮して判別する。処置具１０の先端１４ではない分岐部の突起１２の方向ベクトルの大きさは小さくなる傾向にあるため、尤度に加えて方向ベクトルの大きさを考慮することで、検出精度を向上させることができる。
　図１に戻り、候補領域削除部１２４は、候補領域判別部１２２により複数の候補領域に処置具の先端が存在すると判別された場合、それら複数の候補領域間の類似度を算出する。そして、類似度が所定の閾値以上であり、かつ、それら複数の候補領域に対応する処置具の先端の方向が実質的に一致している場合、それらは同じ先端を検出していると考えられるため、候補領域削除部１２４は対応する統合スコアが高い方の候補領域を残して低い方の候補領域を削除する。一方、類似度が所定の閾値未満である場合、あるいはそれら複数の候補領域に対応する処置具の先端の方向が互いに異なる場合、それらは別の先端を検出している候補領域と考えられるため、候補領域削除部１２４はいずれの候補領域も削除せずに残す。なお、処置具の先端の方向が実質的に一致している場合とは、互いの先端の方向が平行である場合に加えて、互いの先端の方向がなす鋭角が所定のしきい値以下である場合をいう。また、本実施の形態では、類似度には候補領域間の重複度（Intersection over Union）を用いる。つまり、候補領域同士が重なっているほど類似度は高くなる。なお、類似度は、これには限定されず、例えば候補領域間の距離の逆数を用いてもよい。
　図３は、削除する候補領域の決定において先端の方向を考慮することの効果を説明するための図である。この例では、第１の候補領域４０が第１の処置具３０の先端を検出し、第２の候補領域４２が第２の処置具３２の先端を検出している。第１の処置具３０の先端と第２の処置具３２の先端が近接し、ひいては第１の候補領域４０と第２の候補領域４２が近接している場合、それらの類似度だけで削除するか否かを決定すると、第１の候補領域４０と第２の候補領域４２は別々の処置具の先端を検出している候補領域であるにもかかわらず、その一方の候補領域を削除すると決定する虞がある。つまり、第１の候補領域４０と第２の候補領域４２が同じ先端を検出しているものとして、その一方の候補領域を削除してしまうことになる。これに対し、本実施の形態の候補領域削除部１２４は類似度に加えて先端の方向を考慮して候補領域を削除するか否かを決定するため、第１の候補領域４０と第２の候補領域４２とが近接していて類似度が高くても、それらが検出している第１の処置具３０の先端の方向Ｄ１と第２の処置具３２の先端の方向Ｄ２とが異なっているため、いずれの候補領域も削除されず、したがって近接している第１の処置具３０の先端と第２の処置具３２の先端を検出できる。
　図１に戻り、結果提示部１３３は、処置具の先端の検出結果を、例えばディスプレイに提示する。結果提示部１３３は、候補領域判別部１２２により処置具の先端が存在すると判別された候補領域であって候補領域削除部１２４に削除されずに残った候補領域を、処置具の先端を検出している候補領域として提示する。
　続いて、画像処理装置１００による各畳み込み演算で用いられる各重み係数を学習（最適化）する学習過程について説明する。
　重み初期化部１２６は、学習の対象となる各重み係数であって、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８による各処理で用いられる各重み係数を初期化する。具体的には重み初期化部１２６は、初期化には平均０、標準偏差wscale／√(ci×k×k)の正規乱数を用いる。wscaleはスケールパラメータであり、ciは畳み込み層の入力チャンネル数であり、kは畳み込みカーネルサイズである。また、重み係数の初期値として、本学習に用いる内視鏡画像ＤＢとは別の大規模画像ＤＢによって学習済みの重み係数を用いてもよい。これにより、学習に用いる内視鏡画像の数が少ない場合でも、重み係数を学習できる。
　画像入力部１１０は、例えばユーザ端末または他の装置から、学習用の内視鏡画像の入力を受け付ける。正解入力部１１１は、ユーザ端末または他の装置から、学習用の内視鏡画像に対応する正解データを受け付ける。第１変換部１１４の処理による出力に対応する正解には、領域設定部１１３によって学習用の内視鏡画像上に設定される複数の初期領域のそれぞれの基準点（中心点）を、処置具の先端に一致させるための位置変動量、すなわち複数の初期領域のそれぞれをどのように動かせばより処理具の先端に近づくかを示す位置変動量を用いる。第２変換部１１６の処理による出力に対応する正解には、初期領域に処置具の先端が存在するか否かを示す２値を用いる。第３の変換に対応する正解には、初期領域に存在する処置具の先端の方向を示す単位方向ベクトルを用いる。
　特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８による学習過程での処理は、適用過程での処理と同様である。
　全体誤差算出部１２８は、第１変換部１１４、第２変換部１１６、第３変換部１１８の各出力と、それらに対応する各正解データに基づいて、処理全体の誤差を算出する。誤差伝播部１３０は、全体誤差に基づいて、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８の各処理における誤差を算出する。
　重み更新部１３２は、誤差伝播部１３０により算出された誤差に基づいて、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８の各畳み込み演算において用いられる重み係数を更新する。なお、誤差に基づいて重み係数を更新する手法には、例えば確率的勾配降下法を用いてもよい。
　続いて、以上のように構成された画像処理装置１００の適用過程での動作を説明する。
　画像処理装置１００は、まず、受け付けた内視鏡画像に複数の初期領域を設定する。続いて画像処理装置１００は、内視鏡画像に畳み込み演算を適用して特徴マップを生成し、特徴マップに第１の演算を適用して複数の候補領域に関する情報を生成し、特徴マップに第２の演算を適用して複数の初期領域のそれぞれに処置具の先端が存在する尤度を生成し、特徴マップに第３の演算を適用して複数の初期領域のそれぞれに存在する処置具の先端の方向に関する情報を生成する。そして、画像処理装置１００は、各候補領域の統合スコアを算出し、統合スコアが所定の閾値以上である候補領域を、処置具の先端を検出している候補領域であると判別する。さらに、画像処理装置１００は、判別された候補領域間の類似度を算出し、当該類似度に基づいて、同じ先端を検出している候補領域のうち尤度の低い候補領域を削除する。最後に画像処理装置１００は、削除されずに残った候補領域を、処理具の先端を検出している候補領域として提示する。
　以上説明した画像処理装置１００によると、処置具の先端が存在している候補領域の判別、すなわち処置具の先端の検出に、先端の方向に関する情報が考慮される。これにより、処置具の先端をより高精度に検出できる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　変形例として、画像処理装置１００は、内視鏡画像上に例えば等間隔にあらかじめ決められた数の複数の点（以下、「初期点」と呼ぶ）を設定し、特徴マップに第１の変換を適用することで複数の初期点のそれぞれに対応する複数の候補点に関する情報（第１の出力）を生成し、第２の変換を適用することで初期点のそれぞれ又は複数の候補点のそれぞれの近傍（例えば各点から所定の範囲内）に処置具の先端が存在するか否かの尤度（第２の出力）を生成し、第３の変換を適用することで複数の初期点のそれぞれ又は複数の候補点のそれぞれの近傍に存在する処置具の先端の方向に関する情報（第３の出力）を生成してもよい。
　実施の形態および変形例において、画像処理装置は、プロセッサーと、メモリー等のストレージを含んでもよい。ここでのプロセッサーは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサーはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサーは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、あるいはＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。またプロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-programmable Gate Array）によるハードウェア回路でもよい。またプロセッサーは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリーは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、画像処理装置の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。
　また、実施の形態および変形例において、画像処理装置の各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮと、ＷＡＮと、インターネットを形成するコンピュータおよびネットワークとを含む。
　１００　画像処理装置、　１１０　画像入力部、　１１２　特徴マップ生成部、　１１４　第１変換部、　１１６　第２変換部、　１１８　第３変換部。
　本発明は、画像処理方法および画像処理装置に関する。

Claims (15)

  1. 　画像から物体の先端を検出するための画像処理装置であって、
    　画像の入力を受け付ける画像入力部と、
    　前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
    　前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、
    　前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、
    　前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、
    　を備え、
    　前記第１の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
    　前記第２の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
    　前記第３の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。
  2. 　画像から物体の先端を検出するための画像処理装置であって、
    　画像の入力を受け付ける画像入力部と、
    　前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
    　前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、
    　前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、
    　前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、
    　を備え、
    　前記第１の出力は、前記画像上にあらかじめ決められた数の候補点に関する情報を示し、
    　前記第２の出力は、前記候補点の近傍に前記物体の先端が存在するか否かの尤度を示し、
    　前記第３の出力は、前記候補点の近傍に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。
  3. 　前記物体は内視鏡の処置具であることを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記物体はロボットアームであることを特徴とする請求項１または２に記載の画像処理装置。
  5. 　前記方向に関する情報には、前記物体の先端の方向と、当該方向の信頼度に関する情報が含まれることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
  6. 　前記第２の出力が示す尤度と前記方向の信頼度に基づいて、前記候補領域の統合スコアを算出する統合スコア算出部をさらに備えることを特徴とする請求項５に記載の画像処理装置。
  7. 　前記方向に関する情報に含まれる方向の信頼度に関する情報は、前記物体の先端の方向を示す方向ベクトルの大きさであり、
    　前記統合スコアは、前記尤度と前記方向ベクトルとの重み付け和であることを特徴とする請求項６に記載の画像処理装置。
  8. 　前記統合スコアに基づいて、前記物体の先端が存在する候補領域を判別する候補領域判別部をさらに備えることを特徴とする請求項６または７に記載の画像処理装置。
  9. 　前記候補領域に関する情報には、対応する初期領域の基準点を前記物体の先端に近づけるための位置変動量が含まれることを特徴とする請求項１に記載の画像処理装置。
  10. 　前記候補領域のうちの第１の候補領域と第２の候補領域の類似度を算出し、当該類似度と前記第１の候補領域と前記第２の候補領域に対応する前記方向に関する情報に基づいて、前記第１の候補領域および前記第２の候補領域のいずれか一方を削除するか否かを決定する候補領域削除部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
  11. 　前記類似度は、前記第１の候補領域と前記第２の候補領域との距離の逆数であることを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記類似度は、前記第１の候補領域と前記第２の候補領域との重複度であることを特徴とする請求項１０に記載の画像処理装置。
  13. 　前記第１変換部、第２変換部および第３変換部はそれぞれ、前記特徴マップに畳み込み演算を適用することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
  14. 　前記第１変換部、第２変換部および第３変換部の出力とあらかじめ用意した正解とから処理全体の誤差を算出する全体誤差算出部と、
    　前記処理全体の誤差に基づいて、前記特徴マップ生成部、前記第１変換部、前記第２変換部および前記第３変換部の各処理における誤差を算出する誤差伝播ステップと、
    　前記各処理における誤差に基づいて、前記各処理における畳み込み演算で用いる重み係数を更新する重み更新部と、をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
  15. 　画像から物体の先端を検出するための画像処理方法であって、
    　画像の入力を受け付ける画像入力ステップと、
    　前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成ステップと、
    　前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換ステップと、
    　前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換ステップと、
    　前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換ステップと、
    　を含み、
    　前記第１の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
    　前記第２の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
    　前記第３の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理方法。
PCT/JP2018/030119 2018-08-10 2018-08-10 画像処理方法および画像処理装置 Ceased WO2020031380A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/030119 WO2020031380A1 (ja) 2018-08-10 2018-08-10 画像処理方法および画像処理装置
CN201880096219.2A CN112513935B (zh) 2018-08-10 2018-08-10 图像处理方法、图像处理装置及记录介质
JP2020535471A JP6986160B2 (ja) 2018-08-10 2018-08-10 画像処理方法および画像処理装置
US17/151,719 US20210142512A1 (en) 2018-08-10 2021-01-19 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030119 WO2020031380A1 (ja) 2018-08-10 2018-08-10 画像処理方法および画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/151,719 Continuation US20210142512A1 (en) 2018-08-10 2021-01-19 Image processing method and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2020031380A1 true WO2020031380A1 (ja) 2020-02-13

Family

ID=69413435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030119 Ceased WO2020031380A1 (ja) 2018-08-10 2018-08-10 画像処理方法および画像処理装置

Country Status (4)

Country Link
US (1) US20210142512A1 (ja)
JP (1) JP6986160B2 (ja)
CN (1) CN112513935B (ja)
WO (1) WO2020031380A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123544A1 (ja) 2017-12-19 2019-06-27 オリンパス株式会社 データ処理方法およびデータ処理装置
CN114365180A (zh) 2019-11-29 2022-04-15 奥林巴斯株式会社 图像处理方法、学习装置以及图像处理装置
JP7490359B2 (ja) * 2019-12-24 2024-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04158482A (ja) * 1990-10-23 1992-06-01 Ricoh Co Ltd 矢印方向検出装置
JPH05280948A (ja) * 1992-03-31 1993-10-29 Omron Corp 画像処理装置
JP2017164007A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038530A (ja) * 2002-07-03 2004-02-05 Ricoh Co Ltd 画像処理方法、同方法の実行に用いるプログラム及び画像処理装置
JP4077716B2 (ja) * 2002-11-20 2008-04-23 オリンパス株式会社 内視鏡挿入方向検出装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
EP2377457B1 (en) * 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
EP2823754A4 (en) * 2012-03-07 2015-12-30 Olympus Corp Image processing device, program and image processing method
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN104239852B (zh) * 2014-08-25 2017-08-22 中国人民解放军第二炮兵工程大学 一种基于运动平台的红外行人检测方法
JP6509025B2 (ja) * 2015-05-11 2019-05-08 株式会社日立製作所 画像処理装置、及びその方法
CN106709498A (zh) * 2016-11-15 2017-05-24 成都赫尔墨斯科技有限公司 一种无人机拦截系统
CN108121986B (zh) * 2017-12-29 2019-12-17 深圳云天励飞技术有限公司 目标检测方法及装置、计算机装置和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04158482A (ja) * 1990-10-23 1992-06-01 Ricoh Co Ltd 矢印方向検出装置
JPH05280948A (ja) * 1992-03-31 1993-10-29 Omron Corp 画像処理装置
JP2017164007A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Also Published As

Publication number Publication date
CN112513935A (zh) 2021-03-16
US20210142512A1 (en) 2021-05-13
CN112513935B (zh) 2025-02-11
JP6986160B2 (ja) 2021-12-22
JPWO2020031380A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN113095129B (zh) 姿态估计模型训练方法、姿态估计方法、装置和电子设备
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
US11379519B2 (en) Query response device and method
CN110148157B (zh) 画面目标跟踪方法、装置、存储介质及电子设备
CN108648201A (zh) 瞳孔定位方法及装置、存储介质、电子设备
US20210374543A1 (en) System, training device, training method, and predicting device
JP6986160B2 (ja) 画像処理方法および画像処理装置
WO2020202734A1 (ja) ペン状態検出回路、システム及び方法
WO2018153128A1 (zh) 卷积神经网络和用于其的处理方法、装置、系统、介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
WO2022190301A1 (ja) 学習装置、学習方法、及びコンピュータ可読媒体
CN111126101B (zh) 关键点位置的确定方法、装置、电子设备和存储介质
JP6962450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110334716A (zh) 特征图处理方法、图像处理方法及装置
CN110070479B (zh) 图像变形拖拽点定位方法和装置
JP7635823B2 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びプログラム
CN115222901B (zh) 点云处理方法、高精地图更新方法、装置及计算机设备
CN117953582A (zh) 一种姿态估计方法、设备及存储介质
JP7452094B2 (ja) 移動物体抽出装置、移動物体抽出方法およびプログラム
JP7687382B2 (ja) 関節点検出装置、関節点検出方法、及びプログラム
CN112991179A (zh) 用于输出信息的方法、装置、设备以及存储介质
JP2022151502A (ja) プログラム、情報処理装置、及び方法
JP7635822B2 (ja) 関節点検出装置、関節点検出方法、及びプログラム
CN113741682A (zh) 注视点的映射方法、装置、设备及存储介质
CN104182971A (zh) 一种高精度图像矩定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929321

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18929321

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201880096219.2

Country of ref document: CN