[go: up one dir, main page]

JP2018185598A - 画像処理装置およびイメージング装置 - Google Patents

画像処理装置およびイメージング装置 Download PDF

Info

Publication number
JP2018185598A
JP2018185598A JP2017085808A JP2017085808A JP2018185598A JP 2018185598 A JP2018185598 A JP 2018185598A JP 2017085808 A JP2017085808 A JP 2017085808A JP 2017085808 A JP2017085808 A JP 2017085808A JP 2018185598 A JP2018185598 A JP 2018185598A
Authority
JP
Japan
Prior art keywords
image processing
pixel value
image
pixel values
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017085808A
Other languages
English (en)
Inventor
紘之 妻鳥
Hiroyuki Tsumadori
紘之 妻鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2017085808A priority Critical patent/JP2018185598A/ja
Priority to US15/955,032 priority patent/US20180309907A1/en
Publication of JP2018185598A publication Critical patent/JP2018185598A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient; User input means
    • A61B5/742Details of notification to user or communication with user or patient; User input means using visual displays
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Toxicology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 高解像度の画像に対して画像処理を実行する場合においても、処理を迅速に実行することが可能な画像処理装置およびイメージング装置を提供する。【解決手段】 制御部40は、各種の画像処理を実行する画像処理部44を備える。この画像処理部44は、複数の画素値を連続するビットで表したIDとし、全ての画素値の組み合わせによる演算結果を、予め前記IDと関連付けて記憶する記憶部45と、入力された複数の画素値を連続するビットで表したIDを利用して、記憶部45に記憶された演算結果を読み出す読出部46とを備える。【選択図】 図4

Description

この発明は、複数の画素値または画素値に関連付けられた複数の指標を利用して演算を行う画像処理装置、および、被検者に投与された蛍光色素を励起させるための励起光を被検者に向けて照射する励起用光源と、励起光が照射されることにより蛍光色素から発生した蛍光を撮影することにより蛍光画像を取得するカメラと、このカメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、を備えるイメージング装置に関する。
近赤外蛍光イメージングと呼称される手法が、外科手術における血管やリンパ管の造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン(ICG)をインジェクタ等により被検者の体内に注入することで患部に投与する。そして、このインドシアニングリーンにその波長が600〜850nm(ナノメータ)程度の近赤外光を励起光として照射すると、インドシアニングリーンは750〜900nm程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から20mm程度までの深さに存在する血管やリンパ管等の観察が可能となる。
また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、5−アミノレブリン酸(5−ALA/5−Aminolevulinic Acid)が使用される。この5−アミノレブリン酸(以下、これを略称するときは「5−ALA」という)を被検者に投与した場合、5−ALAは蛍光色素であるPpIX(protoporphyrinIX/プロトポルフィリンナイン)に代謝される。なお、このPpIXは癌細胞に特異的に蓄積する。そして、5−ALAの代謝物であるPpIXに向けて410nm程度の波長の可視光を照射すると、PpIXからおよそ630nm程度の波長の赤色の可視光が蛍光として発光される。このPpIXからの蛍光を撮像素子で撮影して観察することにより、癌細胞を確認することが可能となる。
このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、蛍光色素からの微弱な蛍光をカメラにより撮像することから、カメラの感度を高いものとする必要が生ずる。このように、カメラの感度を高いものとしたときには、蛍光画像におけるノイズも大きなものとなり、蛍光画像の画質が劣化することになる。
特許文献1および特許文献2においては、時間フィルタとしてのリカーシブフィルタ(Recursive Filter)を使用したノイズ除去技術が開示されている。すなわち、特許文献1においては、X線透視画像におけるN枚目のフレームと、このN枚目のフレームの1枚前のN−1枚目のフレームとに対して、重みづけ加算を行うリカーシブフィルタを適用する画像処理方法および画像処理装置並びにX線透視装置が開示されている。また、特許文献2においては、現フレームの画像データと前フレームの画像データとを比較することにより画像のノイズ成分と動き成分とを画素ごとに求め、これらノイズ成分及び動き成分に応じてリカーシブフィルタ係数を画素ごとに制御する画像処理装置が開示されている。
さらに、特許文献3においては、空間フィルタとしてのバイラテラルフィルタを使用したノイズ除去技術が開示されている。
特開平8−255238号公報 特開平6−47035号公報 特開2014−27630号公報
リカーシブフィルタのような時間フィルタを使用した場合においても、バイラテラルフィルタのような空間フィルタを使用した場合においても、ノイズ除去を行うためには、各画素毎に演算を実行する必要があることから、演算を行うために所定の時間が必要となる。
例えば、上述したリカーシブフィルタを用いてノイズ除去を実行するときには、カメラにより撮影した画像の画素値を入力画素値Iとし、N−1番目のフレームの画素値を参照画素値FN-1とし、kを重み係数としたときに、下記の式により出力フレームの画素値Fを演算している。
Figure 2018185598
このときには、各画素毎に、上記の式に入力画素値Iと参照画素値FN-1とを代入して、入力画素値と重み係数との積と、1と重み係数との差と、差と参照画素値との積と、積と積との和と、の合計4回の演算を画面解像度の全ての画素で行う必要がある。
また、上述したバイラテラルフィルタを用いてノイズ除去を実行するときには、fを入力画素値とし、i,jをXY座標とし、w、 m、nを移動量とし、σを標準偏差、exp同士の積を重み係数としたときに、出力画素値gを以下の式で演算している。
Figure 2018185598
このときには、各画素毎に、上記の式に入力画素値f(i,j)と参照画素値f(i+m,j+n)とを代入して、重み係数を算出するために14回の演算と、分子を算出するために17回の演算と、分母を算出するために8回の演算と、分子と分母の割り算の1回と、の合計40回の演算を画面解像度の全ての画素で行う必要がある。
このような演算は、現在、通常採用されている解像度においては、リアルタイムでの処理が可能であるとしても、近年採用されつつある4Kあるいは8Kのように画素数が増加した場合においては、リアルタイムでの演算処理が困難となる。特に、被検者の画像をリアルタイムで表示する必要がある医用画像等においては、画像処理に時間を要した場合には、施術に支障をきたすことになる。
このような問題は、ノイズ除去のみではなく、複数の画素値となる入力画素値と参照画素値とを利用して演算を行う各種の画像処理装置において同様に生ずる問題である。
この発明は上記課題を解決するためになされたものであり、高解像度の画像に対して画像処理を実行する場合においても、処理を迅速に実行することが可能な画像処理装置およびイメージング装置を提供することを目的とする。
請求項1に記載の発明は、複数の画素値または画素値に関連付けられた複数の指標を利用して演算を行う画像処理装置において、利用する画素値を連続するビットで表したIDとし、利用する画素値の組み合わせによる演算結果を、予め前記IDと関連付けて記憶する記憶部と、利用する画素値を連続するビットで表したIDを利用して、前記記憶部に記憶された演算結果を読み出す読出部と、を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明において、前記画像処理は、入力画素値と参照画素値とを利用して演算を行うノイズ除去フィルタを使用してカメラにより撮影した画像に対してノイズ除去を行うためのものであり、前記読み出し部は、ノイズ除去処理時に入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して前記記憶部に記憶された演算巻架を読み出す。
請求項3に記載の発明は、請求項1に記載の発明において、入力画素値と参照画素値に続いて参照情報を連続するビットで表したIDを使用する。
請求項4に記載の発明は、被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得するカメラと、前記カメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、を備えるイメージング装置において、前記画像処理部は、入力画素値と参照画素値とを利用して演算を行うノイズ除去フィルタを使用して、前記カメラにより撮影した画像に対してノイズ除去行うものであり、入力画素値と参照画素値とを連続するビットで表したIDとし、全ての入力画素値と全ての参照画素値との組み合わせによる演算結果を、予め前記IDと関連付けて記憶する記憶部と、ノイズ除去処理時に入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して、前記記憶部に記憶された演算結果を読み出す読出部と、を備えることを特徴とする。
請求項1から請求項4に記載の発明によれば、予めIDと関連付けて記憶した演算結果を、IDを利用して読み出すことから、高解像度の画像に対して画像処理を実行する場合においても、処理を迅速に実行することが可能となる。
請求項2に記載の発明によれば、高解像度の画像に対してノイズ除去処理を実行する場合においても、処理を迅速に実行することが可能となる。
請求項3に記載の発明によれば、参照情報を、演算結果とともに読み出すことが可能となる。
請求項4に記載の発明によれば、蛍光色素からの微弱な蛍光をカメラにより撮像するためにカメラの感度を高いものとしたときに生ずるノイズを除去する場合においても、ノイズ除去処理を迅速に実行することができ、蛍光画像のリアルタイムで表示することが可能となる。
この発明に係るイメージング装置1を、表示装置2とともに示す斜視図である。 照明・撮影部12の概要図である。 照明・撮影部12におけるカメラ21の概要図である。 この発明に係るイメージング装置1の主要な制御系を、表示装置2とともに示すブロック図である。
以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係るイメージング装置1を、表示装置2とともに示す斜視図である。
表示装置2は、大型の液晶表示装置等から構成される表示部52を、支持機構51により支持する構成を有する。
イメージング装置1は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置2に表示するためのものである。そして、このイメージング装置1は、特に、上述した蛍光画像およびカラー画像の表示とともに、被検者の関心領域における蛍光の強度を経時的に測定することにより、被検者の関心領域における蛍光の時間強度曲線(Time Intensity Curve:TIC)を得るためのものである。
このイメージング装置1は、4個の車輪13を備えた台車11と、この台車11の上面における台車11の進行方向の前方付近に配設されたアーム機構30と、このアーム機構30にサブアーム41を介して配設された照明・撮影部12と、モニター15とを備える。台車11の進行方向の後方には、台車11を移動するときに使用されるハンドル14が付設されている。また、台車11の上面には、このイメージング装置1の遠隔操作に使用される図示しない操作部を装着するための凹部16が形成されている。
上述したアーム機構30は、台車11の進行方向の前方側に配設されている。このアーム機構30は、台車11の進行方向の前方側に立設された支柱36上に配設された支持部37に対して、ヒンジ部33により連結された第1アーム部材31を備える。この第1アーム部材31は、ヒンジ部33の作用により、支柱36および支持部37を介して、台車11に対して揺動可能となっている。なお、上述したモニター15は、支柱36に付設されている。
この第1アーム部材31の上端には、第2アーム部材32がヒンジ部34により連結されている。この第2アーム部材32は、ヒンジ部34の作用により、第1アーム部材31に対して揺動可能となっている。このため、第1アーム部材31と第2アーム部材32とは、図1に示す第1アーム部材31と第2アーム部材32とが第1アーム部材31と第2アーム部材32との連結部であるヒンジ部34を中心として所定の角度開いた撮影姿勢と、第1アーム部材31と第2アーム部材32とが近接する待機姿勢とをとることが可能となっている。
第2アーム部材32の下端には、支持部43がヒンジ部35により連結されている。この支持部43は、ヒンジ部35の作用により、第2アーム部材32に対して揺動可能となっている。この支持部43には、回転軸42が支持されている。そして、照明・撮影部12を支持したサブアーム41は、第2アーム部材32の先端に配設された回転軸42を中心に回動する。このため、照明・撮影部12は、このサブアーム41の回動により、図1に示す撮影姿勢または待機姿勢をとるためのアーム機構30に対して台車11の進行方向の前方側の位置と、台車11を移動させる時の姿勢であるアーム機構30に対して台車11の進行方向の後方側の位置との間を移動する。
図2は、照明・撮影部12の概要図である。
この照明・撮影部12は、後述する近赤外線および可視光を検出可能な複数の撮像素子を備えたカメラ21と、このカメラ21の外周部に配設された6個のLEDよりなる可視光源22と、6個のLEDよりなる励起用光源23と、1個のLEDよりなる確認用光源24とを備える。可視光源22は、可視光を照射する。励起用光源23は、インドシアニングリーンを励起させるための励起光であるその波長が760nmの近赤外光を照射する。また、確認用光源24は、インドシアニングリーンから発生する蛍光の波長と近似するその波長が810nmの近赤外光を照射する。なお、励起用光源23の波長は、760nmに限定されず、インドシアニングリーンを励起できる波長であればよい。確認用光源24の波長は、810nmに限定されず、インドシアニングリーンが発する波長以上であってもよい。
図3は、照明・撮影部12におけるカメラ21の概要図である。
このカメラ21は、焦点合わせのために往復移動する可動レンズ54と、波長選択フィルタ53と、可視光用撮像素子55と、蛍光用撮像素子56とを備える。可視光用撮像素子55と蛍光用撮像素子56とは、CMOSやCCDから構成される。なお、可視光用撮像素子55は、可視光の画像をカラー画像として撮影することが可能なものが使用される。
カメラ21に対して、その光軸Lに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ54を通過した後、波長選択フィルタ53に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルタ53により反射され、可視光用撮像素子55に入射する。また、同軸状に入射した可視光および蛍光のうち、蛍光は、波長選択フィルタ53を通過して蛍光用撮像素子56に入射する。このとき、可動レンズ54を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子55に対して焦点合わせされ、蛍光は蛍光用撮像素子56に対して焦点合わせされる。可視光用撮像素子55は、可視画像を、カラー画像として、所定のフレームレートで撮影する。また、蛍光用撮像素子56は、近赤外画像である蛍光画像を所定のフレームレートで撮影する。
図4は、この発明に係るイメージング装置1の主要な制御系を、表示装置2とともに示すブロック図である。
このイメージング装置1は、論理演算を実行するプロセッサーとしてのCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等から構成され、装置全体を制御する制御部40を備える。この制御部40は、上述した表示装置2と接続されている。また、この制御部40は、カメラ21、可視光源22、励起用光源23および確認用光源24を備えた照明・撮影部12と接続されている。
この制御部40は、各種の画像処理を実行する画像処理部44を備える。この画像処理部44は、入力画素値と参照画素値とを連続するビットで表したIDとし、全ての入力画素値と全ての参照画素値との組み合わせによる演算結果を、予めIDと関連付けて記憶する記憶部45と、入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して、記憶部45に記憶された演算結果を読み出す読出部46とを備える。
以上のような構成を有するイメージング装置1を使用して被検者に対する手術を行う場合には、最初に、照明・撮影部12における確認用光源24を点灯するとともに、その照射領域の画像をカメラ21により撮影する。確認用光源24からは、インドシアニングリーンから発生する蛍光の波長と近似する、その波長が810nmの近赤外光が照射される。この近赤外光は、人の目では確認することができない。一方、確認用光源24から波長が810nmの近赤外光を照射するとともに、この照射領域の画像をカメラ21により撮影した場合、カメラ21が正常に動作していた場合においては、近赤外光が照射された領域の画像がカメラ21により撮影され、その画像が表示装置2における表示部52に表示される。これにより、カメラ21の動作確認を容易に実行することが可能となる。
しかる後、被検者にインドシアニングリーンを注射により注入する。そして、被検者の臓器における患部に向けて、照明・撮影部12における励起用光源23から近赤外線を照射するとともに可視光源22から可視光を照射する。なお、励起用光源23から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する760nmの近赤外光が採用される。これにより、被検者の体内に注入されたインドシアニングリーンは、約800nmをピークとする近赤外領域の蛍光を発生させる。
そして、被検者の臓器における患部付近を照明・撮影部12におけるカメラ21により、所定のフレームレートで撮影する。このカメラ21は、上述したように、近赤外光と可視光とを検出することが可能となっている。カメラ21により所定のフレームレートで撮影された近赤外画像およびカラー画像は、画像処理部44により、近赤外画像およびカラー画像を表示装置2における表示部52に表示可能な画像データに変換され、表示部52に表示される。また、必要に応じ、画像処理部44は、近赤外画像データとカラー画像データとを利用して、カラー画像と近赤外画像とを融合させた合成画像を作成する。
このようなイメージング装置1において被検者の体内に注入されたインドシアニングリーンからの蛍光をカメラ21における蛍光用撮像素子56により撮影するときには、インドシアニングリーンからの微弱な蛍光を撮像する必要があることから、蛍光用撮像素子56の感度を高いものとする必要が生ずる。このように、蛍光用撮像素子56の感度を高いものとしたときには、蛍光画像における時間方向のノイズも大きなものとなり、蛍光画像の画質が劣化することになる。このため、この発明に係るイメージング装置1においては、画像処理部44においてノイズ除去を実行する構成を採用している。
そして、この画像処理部44においては、記憶部45において、入力画素値と参照画素値とを連続するビットで表したIDとし、全ての入力画素値と全ての参照画素値との組み合わせによる演算結果を、予め前記IDと関連付けて記憶するとともに、読出部46において、入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して、記憶部45に記憶された演算結果を読み出す構成を採用している。
以下、この動作について詳細に説明する。以下の説明においては、例えば、上述した時間フィルタとしてのリカーシブフィルタを使用する場合に、Iが32でありFが30であったときに、上述したリカーシブフィルタの一般式に基づいてFを演算する場合を例にとって説明する。
このような場合に、扱う画素値が8ビット(bits)であり、計算の処理の種類が2種類であった場合、入力画素値としてのIを2進数で表した桁をI、参照画素値としてのFを2進数で表した桁をF、処理の種類を2進数で表した桁をPとして記載したときに、IとFとを上述した演算式に入力して得た演算結果を以下の連続するビットとして表すこととする。
演算結果=IIIIIIIIFFFFFFFFPP
上述したように、Iが32(8ビットの二進法で00100000)でありFが30(8ビットの2進法で00011110)であるとともに、計算の処理番号が1(2ビットの2進法で01)であったときに、演算結果が31であった場合には、これは以下の式となる。
001000000001111001=31
なお、上述した例においては、時間フィルタとしてのリカーシブフィルタを使用する場合に、Iが32でありFが30であったときに、上述したリカーシブフィルタの一般式に基づいてFを演算する場合について説明したが、空間フィルタとしてのバイラテラルフィルタを使用する場合に、入力画素値としてのf(i,j)が32であり参照画素値としてのf(i+m,j+n)が30であった場合に、上述したバイラテラルフィルタの一般式に基づいて演算結果としてのg(i+m,j+n)を演算するときもこれと全く同様である。
そして、IとFとを連続する18ビットで表したIDとし、8ビットのIの全ての値と、8ビットのFの全ての値と、IとFとを演算式に代入して演算したときの全ての演算結果との関係を、画像処理部44における記憶部45に記憶しておく。
このIDの個数は18ビット(262144個)となる。このため、記憶部45の容量は、この262144個の情報を記憶し得るだけの容量であることが必要となる。但し、多くの場合、IとFとを利用した演算結果が同一となる場合や、IとFとの組み合わせにより演算結果が最大値あるいは最小値に達する場合があるため、実際には、記憶容量はさほど大きくはならない。
画像処理部44においてノイズ除去処理を実行する場合には、画像処理部44における読出部46により、ノイズ除去処理時に入力されたIおよびFを表すビットと、計算の処理番号を表すビットとを、IDとして利用することにより、記憶部45に記憶された演算結果を読み出す。これにより、演算式にIとFと入れて演算を実行する場合と同様の結果を得ることができる。このため、どのように複雑な演算であっても、IとFと計算の処理番号とを表すビットをIDとして演算結果を読み出すだけで、演算処理と同様の結果を得ることができる。このため、ノイズ除去処理をリアルタイムで実行することが可能となる。
従って、演算処理の複雑さにかかわらず、計算コストを最小とすることができ、高解像度の画像に対しても、遅延を生ずることなくノイズ除去処理を実行することができる。このとき、事前に演算した結果を記憶しておく構成であることから、演算を実行するハードウエアによる丸め込み誤差が生ずることを防止することができる。
なお、上述した18ビットのIDのうちの最後の2ビットは、処理の種類を表している。これは、例えば、リカーシブフィルタを利用するのかバイラテラルフィルタを使用するのかの情報である。また、リカーシブフィルタを使用する場合の重み係数kの情報や、バイラテラルフィルタを使用する場合の移動量m,nの情報等を、この最後の2ビットに記録するようにしてもよい。また、常に同一の処理を実行する場合等においては、最後の2ビットを省略し、16ビットのIDを使用するようにしてもよい。さらに、処理の種類が4種類を超える場合には、3ビット以上の桁を使用すればよい。
なお、上述した実施形態においては、IとFと計算の処理番号とをこの順に並べてビットで表現しているが、これらの順序は任意の順序とすることができる。
また、上述した実施形態においては、IとFと計算の処理番号とをこの順に並べてビットで表現しているが、3個以上の画素値を並べてビットで表現してもよい。例えば、上述したバイラテラルフィルタにおいては、(2n+1)個の変数が必要となることから、バイラテラルフィルタを使用するときには、最低でも9個の変数を順に並べてビットで表現することになる。
また、上述した実施形態においては、複数の画素値を順に並べてビットで表現しているが、複数の画素値に代えて、画素値に関連付けられた複数の指標を利用してもよい。すなわち、演算の結果の近似式となる数学的関数を作り、この近似式で使われる変数をIDとして、近似式の演算結果と紐付けて記憶するようにしてもよい。例えば、入力画素値Iおよび参照画素値Fを変数とした関数G(I,F)=x、H(I,F)=yを指標(Index)とし、これらの画素値に関連付けられた指標を連続するビットで表したIDとして使用してもよい。
また、上述した実施形態においては、2進法を利用して下記の式を作成して記憶している。
001000000001111001=31
これに対して、10進法や16進法を利用して下記の式を作成して記憶するようにしてもよい。なお、下記の式においては、進数の基数を右下の添字で表記した。
32889(10)=8079(16)=31
また、上述した実施形態においては、この発明を、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置2に表示するイメージング装置1に適用した場合について説明したが、この発明をその他の画像処理装置に対して適用してもよい。
さらに、上述した実施形態においては、この発明を、入力画素値と参照画素値とを利用して演算を行うノイズ除去フィルタを使用してカメラにより撮影した画像に対してノイズ除去を行う画像処理装置に適用した場合について説明したが、この発明は、入力画素値と参照画素値とを利用して演算を行うその他の各種の画像処理装置に適用することが可能である。例えば、入力画素値と参照画素値とを利用して2つの画像を合成する画像処理装置にこの発明を適用してもよく、また、入力画素値と参照画素値とを利用して入力画素値に何らかのエフェクトをかける画像処理装置にこの発明を適用してもよい。
1 イメージング装置
2 表示装置
12 照明・撮影部
21 カメラ
22 可視光源
23 励起用光源
24 確認用光源
30 アーム機構
40 制御部
44 画像処理部
45 記憶部
46 読出部
55 可視光用撮像素子
56 蛍光用撮像素子

Claims (4)

  1. 複数の画素値または画素値に関連付けられた複数の指標を利用して演算を行う画像処理装置において、
    複数の画素値または画素値に関連付けられた複数の指標を連続するビットで表したIDとし、全ての画素値または全ての指標の組み合わせによる演算結果を、予め前記IDと関連付けて記憶する記憶部と、
    複数の画素値または画素値に関連付けられた複数の指標を連続するビットで表したIDを利用して、前記記憶部に記憶された演算結果を読み出す読出部と、
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像処理は、入力画素値と参照画素値とを利用して演算を行うノイズ除去フィルタを使用してカメラにより撮影した画像に対してノイズ除去を行うためのものであり、
    前記読み出し部は、ノイズ除去処理時に入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して前記記憶部に記憶された演算巻架を読み出す画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    入力画素値と参照画素値に続いて参照情報を連続するビットで表したIDを使用する画像処理装置。
  4. 被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、
    励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得するカメラと、
    前記カメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、
    を備えるイメージング装置において、
    前記画像処理部は、入力画素値と参照画素値とを利用して演算を行うノイズ除去フィルタを使用して、前記カメラにより撮影した画像に対してノイズ除去行うものであり、
    入力画素値と参照画素値とを連続するビットで表したIDとし、全ての入力画素値と全ての参照画素値との組み合わせによる演算結果を、予め前記IDと関連付けて記憶する記憶部と、
    ノイズ除去処理時に入力された入力画素値と参照画素値とを連続するビットで表したIDを利用して、前記記憶部に記憶された演算結果を読み出す読出部と、
    を備えることを特徴とするイメージング装置。
JP2017085808A 2017-04-25 2017-04-25 画像処理装置およびイメージング装置 Pending JP2018185598A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017085808A JP2018185598A (ja) 2017-04-25 2017-04-25 画像処理装置およびイメージング装置
US15/955,032 US20180309907A1 (en) 2017-04-25 2018-04-17 Image processing apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085808A JP2018185598A (ja) 2017-04-25 2017-04-25 画像処理装置およびイメージング装置

Publications (1)

Publication Number Publication Date
JP2018185598A true JP2018185598A (ja) 2018-11-22

Family

ID=63854302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085808A Pending JP2018185598A (ja) 2017-04-25 2017-04-25 画像処理装置およびイメージング装置

Country Status (2)

Country Link
US (1) US20180309907A1 (ja)
JP (1) JP2018185598A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63280379A (ja) * 1987-05-13 1988-11-17 Nippon Denso Co Ltd 穴状欠陥画像の処理装置
JPH02501099A (ja) * 1987-07-24 1990-04-12 イーストマン・コダック・カンパニー ビデオ走査ライン中のエッジ並びにドキュメント境界部の位置を決定するための装置及び方法
JPH1070654A (ja) * 1996-08-28 1998-03-10 Fuji Xerox Co Ltd 画像処理装置
JPH11191826A (ja) * 1997-12-25 1999-07-13 Canon Inc リニアイメージセンサーとその駆動方法及び画像読み取り装置
JP2002528851A (ja) * 1998-10-19 2002-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照射量制御を備えたx線検査装置
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
WO2016035450A1 (ja) * 2014-09-01 2016-03-10 株式会社島津製作所 イメージング装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63280379A (ja) * 1987-05-13 1988-11-17 Nippon Denso Co Ltd 穴状欠陥画像の処理装置
JPH02501099A (ja) * 1987-07-24 1990-04-12 イーストマン・コダック・カンパニー ビデオ走査ライン中のエッジ並びにドキュメント境界部の位置を決定するための装置及び方法
JPH1070654A (ja) * 1996-08-28 1998-03-10 Fuji Xerox Co Ltd 画像処理装置
JPH11191826A (ja) * 1997-12-25 1999-07-13 Canon Inc リニアイメージセンサーとその駆動方法及び画像読み取り装置
JP2002528851A (ja) * 1998-10-19 2002-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照射量制御を備えたx線検査装置
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
WO2016035450A1 (ja) * 2014-09-01 2016-03-10 株式会社島津製作所 イメージング装置

Also Published As

Publication number Publication date
US20180309907A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
JP5388472B2 (ja) 制御装置、x線撮影システム、制御方法、及び当該制御方法をコンピュータに実行させるためのプログラム。
JP2018128294A (ja) 関心領域追跡装置
EP3641622B1 (en) System for endoscopic imaging and method for processing images
US11931008B2 (en) Treatment support device and method of setting region of interest
JP2021101900A (ja) 学習データ作成装置、方法及びプログラム並びに医療画像認識装置
US20190239749A1 (en) Imaging apparatus
CN118574562A (zh) Ai图像诊断装置及牙科用oct图像诊断装置
JP6485275B2 (ja) イメージング装置
KR20180054020A (ko) 의료 영상 장치 및 의료 영상 처리 방법
WO2016035450A1 (ja) イメージング装置
Gioux et al. Improved optical sub-systems for intraoperative near-infrared fluorescence imaging
JP6747576B2 (ja) イメージング装置
JP2019066398A (ja) イメージング装置
JP2018185598A (ja) 画像処理装置およびイメージング装置
JP6708143B2 (ja) 時間強度曲線測定装置
JP6432533B2 (ja) イメージング装置
JP7576906B2 (ja) イメージング装置およびイメージング装置の作動方法
US11116454B2 (en) Imaging device and method
JP2019048111A (ja) イメージング方法
JP7200755B2 (ja) イメージング装置およびイメージング装置の作動方法
KR102301422B1 (ko) 치과용 파노라마 촬영 장치 및 방법
JP6569539B2 (ja) イメージング装置
JP6613903B2 (ja) イメージング装置
JP2018195247A (ja) 画像処理装置およびイメージング装置
WO2016039002A1 (ja) イメージング装置およびイメージング方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190722

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210216