[go: up one dir, main page]

JP2015080679A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2015080679A
JP2015080679A JP2013221090A JP2013221090A JP2015080679A JP 2015080679 A JP2015080679 A JP 2015080679A JP 2013221090 A JP2013221090 A JP 2013221090A JP 2013221090 A JP2013221090 A JP 2013221090A JP 2015080679 A JP2015080679 A JP 2015080679A
Authority
JP
Japan
Prior art keywords
tomographic image
image
similarity
image processing
tomographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013221090A
Other languages
English (en)
Inventor
和田 学
Manabu Wada
学 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013221090A priority Critical patent/JP2015080679A/ja
Priority to US14/518,991 priority patent/US9662005B2/en
Publication of JP2015080679A publication Critical patent/JP2015080679A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 被検眼の断層画像間の位置ずれを高精度に検出し、ノイズ低減された断層画像を得ることが可能な光干渉断層撮影装置を提供する。
【解決手段】 被検眼の断層画像間の位置ずれを検知するパターンマッチングにおいて位置ずれが無くとも類似度の低下を起こす被検眼中の対象物を選択的に除外することにより行われる。
【選択図】 図6

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
現在、多波長光波干渉を利用した光コヒーレンストモグラフィ(OCT:Optical Coherence Tomography)による光干渉断層撮影装置が眼科において適用されている。この光干渉断層撮影装置は低コヒーレント光である測定光を被検眼に照射し、その被検眼からの反射散乱光を、干渉系を用いることで測定を行う装置である。測定光を被検眼上で走査することで被検眼の断層画像を高解像度に撮影することが可能となっている。
このような光干渉断層撮影装置で撮影した被検眼の断層画像には様々なノイズが発生する。その為同一領域で撮影された複数枚の断層画像を平均処理することによりノイズ低減が図られている。加えて被検眼の固視微動の影響により完全に同一領域を撮影することは出来ないことから、複数枚の断層画像を平均処理する為の前処理として、複数枚の断層画像間の位置ずれの検出と断層画像全体を並進、回転処理させることによる位置ずれ補正が処理される。ここで位置ずれの検出について詳細に述べると、パターンマッチングを用いて複数枚の断層画像間の類似度(或いは相違度)を算出し、この類似度(或いは相違度)が最大(或いは最小)となる断層画像間の位置関係を取得することが位置ずれ検出の一般的な手法である。
更に位置ずれ検出及び位置ずれ補正を高精度に行うことで高精細な断層画像を提供する眼科撮影装置が提案されている。特許文献1では断層画像を複数領域へ分割し、分割領域毎にパターンマッチングを行う。これにより分割領域毎に位置ずれ検出及び位置ずれ補正を行うことができ、一枚の断層画像の中の局所的な位置ずれに対応した良好な断層画像を取得することが可能となる。
一方、光干渉断層撮影装置の被写体である被検眼に着目すると、被検眼には黄斑部、視神経乳頭辺縁部が存在している。このような被検眼を光干渉断層撮影装置で撮影すると、断層画像内の血管部は血管の収縮・拡張の拍動によって画像輝度の変化が起こる。更に視神経乳頭辺縁部は、光干渉断層撮影装置から照射される測定光の対象への入射角が大きくなる部位である為、被検眼から光干渉断層撮影装置へ向かう反射散乱光が弱くなる。これにより視神経乳頭辺縁部の断層画像は画像輝度が小さくなってしまい、ノイズの影響を受けやすくなる。
特許5199031号
このような血管部や視神経乳頭辺縁部を含む、同一領域で撮影された複数枚の断層画像に対しノイズ低減のための平均処理を行う場合を考える。
断層画像中の血管部や視神経乳頭辺縁部以外の部位については、断層画像間の位置がずれている場合にはパターンマッチングにて算出される類似度は低くなり、断層画像間の位置がずれていない場合にはパターンマッチングにて算出される類似度は高くなる。
一方血管部や視神経乳頭辺縁部については輝度変化やノイズの影響を受けやすい部位である為、断層画像間の位置ずれが無くとも類似度の低下を起こし位置ずれがある場合との判別が困難となる。
テンプレートに血管部や視神経乳頭辺縁部のみが存在している場合はないにしても、それらの部位が含まれている場合は多くある為、そのような場合にパターンマッチングにて算出される類似度は血管部や視神経乳頭辺縁部によって起こる類似度の低下の影響を少なからずうけてしまう。類似度の低下の影響はテンプレートの領域の大きさに占める血管部や視神経乳頭辺縁部の割合による。
結果として平均処理が行われる断層画像の枚数が増加しない、或いは断層画像間の位置ずれが正しく検出できていない状態で平均処理をしてしまい断層画像がぼけてしまう、ということが起きる。
なお特許文献1のようにテンプレートを複数領域に分割して位置ずれ検出を行う場合には、複数領域に分割したことによって分割領域内に占める血管部や視神経乳頭辺縁部の割合が大きい領域が存在することになるので上記課題が発生しやすいと言える。これにより断層画像内で部分的に平均処理の適用された枚数が少ない、或いは部分的に断層画像がぼけると言った現象が顕著に起きる。
本発明はこのような課題の解決方法について記載するものである。
上記課題を解決する為の本発明に係る画像処理装置は以下の構成を備える。
第1の断層像と第2の断層像とを取得する取得手段と、複数の領域が設定された前記第1の断層像と前記第2の断層像とを前記複数の領域毎に比較することで類似度を決定する決定手段と、前記類似度に基づいて前記複数の領域における類似度のうち一部の類似度を選択する選択手段と、前記選択手段により選択された類似度に基づいて前記第1の断層像と前記第2の断層像とを位置合わせする位置合わせ手段と、を備える。
本発明により、平均処理が適用される断層画像の枚数を増加させることができる為、ノイズの低減された断層画像を提供することができる。同時に位置ずれが正しく検出できる為、ぼけのない平均処理された断層画像を提供することができる。
光干渉断層撮影装置の構成の一例を示す図である。 データ取得部100の構成の一例を示す図である。 画像処理部101及び表示部102の構成の一例を示す図である。 観察時に表示部102に表示される前眼部観察像36及びSLO画像38の一例を示す図である。 OCT光源20による測定光とその測定光による被検眼Erでの反射散乱光の一例を示す図である。 実施例1における平均画像生成部35の処理の一例を示すフローチャート。 パターンマッチングで使用されるテンプレートRIの一例を示す図である。 実施例1において検出対象断層画像内の所定位置に配置されたターゲット枠TIの一例を示す図である。 テンプレートRIと同じパターンがターゲット枠TI内の検出対象断層画像にある場合の一例を示す図である。 テンプレートRIと異なるパターンがターゲット枠TI内の検出対象断層画像にある場合の一例を示す図である。 実施例2における平均画像生成部35の処理の一例を示すフローチャート。 複数に分割されたテンプレートRI’の一例を示す図である。 ステップS402にて設定されたテンプレートRI’ の一例を示す図である。 実施例2にて検出対象断層画像内の所定位置に配置されたターゲット枠TI’の一例を示す図である。
[実施例1]
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。図1は本実施形態による光干渉断層撮影装置(眼科装置)の構成図である。
光干渉断層撮影装置は、測定光を被検眼上で走査及び撮像することにより画像データを取得するデータ取得部100とデータ取得部100で取得された画像データから被検眼の断層画像を構成する画像処理部101と画像処理部101で構成された被検眼の断層画像を表示する表示部102から構成されている。
まずデータ取得部100の構成について説明する。
図2はデータ取得部100の構成を示したものである。被検眼Erに対向して対物レンズ1が設置され、その光軸上に第1ダイクロックミラー2および第2ダイクロイックミラー3が配置されている。これらのダイクロイックミラーによってOCT光学系の光路L1、被検眼Erの観察を行う為のSLO光学系と固視灯用の光路L2、および前眼部観察用の光路L3とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路L2はSLO走査手段4、レンズ5および6、ミラー7、第3ダイクロイックミラー8、フォトダイオード9、SLO光源10、固視灯11を有している。
ミラー7は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源10による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー8はSLO光源10および固視灯11への光路へと波長帯域ごとに分離する。
SLO走査手段4は、SLO光源10と固視灯11から発せられた光を被検眼Er上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーによって、Yスキャナはガルバノミラーによって構成されている。
レンズ5はSLO光学系および固視灯の焦点合わせのため、不図示のモータによって駆動される。SLO光源10は780nm付近の波長の光を発生する。フォトダイオード9は、被検眼からの戻り光を検出する。固視灯11は可視光を発生して被検者の固視を促すものである。
SLO光源10から発せられた光は、第3ダイクロイックミラー8で反射され、ミラー7を通過し、レンズ6、5を通り、SLO走査手段4によって、被検眼Er上で走査される。被検眼Erからの戻り光は、投影光と同じ経路を戻ったのち、ミラー7によって反射され、フォトダイオード9へと導かれる。
固視灯11は第3ダイクロイックミラー8、ミラー7を透過し、レンズ6、5を通り、SLO走査手段4によって、被検眼Er上で走査される。このとき、SLO走査手段の動きに合わせて固視灯11を点滅させることによって、被検眼Er上の任意の位置に任意の形状をつくり、被検者の固視を促す。
前眼部観察用の光路L3には、レンズ12、スプリットプリズム13、レンズ14、前眼部観察用のCCD15が配置されている。このCCD15は、不図示の前眼部観察用光源の波長、具体的には970nm付近に感度を持つものである。
スプリットプリズム13は、被検眼Erの瞳孔と共役な位置に配置されており、被検眼Erとデータ取得部100のZ方向(前後方向)の距離を、前眼部のスプリット像として検出することができる。
被検眼Erの画像データを撮像する為のOCT光学系の光路L1には、XYスキャナ16、レンズ17、18が配置されている。XYスキャナ16はOCT光源20からの光を被検眼上Erで走査するためのものである。XYスキャナ16は1枚のミラーとして図示してあるが、XY2軸方向の走査を行うガルバノミラーである。
レンズ17は、ファイバー21から出射するOCT光源20からの光を、被検眼Erに焦点合わせするためのものであり、不図示のモータによって駆動される。この焦点合わせによって、被検眼Erからの戻り光は同時にファイバー21の先端に、スポット状に結像されて入射されることとなる。
更に光カプラー19、OCT光源20、光カプラー19に接続され一体化している光ファイバー21〜24、レンズ25、分散補償用ガラス26、参照ミラー27、分光器28が配置されている。
光ファイバー22を介してOCT光源20から出射された光は、測定光と参照光に光カプラー19にて分割される。測定光は光ファイバー21、OCT光学系の光路L1から対物レンズ1までを通じて被検眼Erに向けて出射される。この被検眼Erに向けて出射された測手光は被検眼Erにて反射散乱し同じ行路を通じて光カプラー19に達する。
一方参照光は光ファイバー23を通じてレンズ25、分散補償用ガラス26を通じて参照ミラー27に向けて出射される。参照ミラー27から反射した参照光は同じ光路を通じて光カプラー19に達する。
このようにして光カプラー19に達した測定光と参照光は合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー27は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、被検眼Erによって変わる測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー24を介して分光器28に導かれる。
分光器28はレンズ29、31、回折格子30、ラインセンサ32から構成される。光ファイバー24から出射された干渉光はレンズ29を介して平行光となった後、回折格子30で分光され、レンズ31によってラインセンサ32に結像される。
本実施形態では干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることが望ましい。
次に画像処理部101及び表示部102の構成について説明する。
図3は画像処理部101及び表示部102の構成を示したものである。画像処理部101は画像生成部33、記憶部34、平均画像生成部35から構成されている。画像生成部33はデータ取得部100のフォトダイオード9、ラインセンサ32、画像処理部101内の記憶部34と接続されている。画像生成部33はSLO走査手段4を用いて被検眼ErをX方向、Y方向に走査した際にフォトダイオート9から得られる複数のデータからSLO画像を生成する。
また画像生成部33はラインセンサ32から得られるデータをフーリエ変換し、得られるデータを輝度或いは濃度情報に変換することによって被検眼の深さ方向(Z方向)の画像を取得する。このようなスキャン方式をAスキャン、得られる断層画像をAスキャン画像と呼ぶ。
このAスキャンを被検眼Erの所定の横断方向にXYスキャナ16にて走査することによって複数のAスキャン画像を取得することができる。例えばX方向に走査すればXZ面における断層画像が得られ、Y方向に走査すればYZ面における断層画像が得られる。このように被検眼Erを所定の横断方向に走査する方式をBスキャン、得られる断層画像をBスキャン画像と呼ぶ。
記憶部34は画像生成部33、平均画像生成部35、表示部102と接続され、画像生成部33或いは平均画像生成部35から得られたSLO画像及び断層画像を記憶する。
平均画像生成部35は記憶部34と接続され、記憶部34から複数枚の断層画像を取得し平均処理する。なお平均画像生成部35は本発明の特徴の一つであり後述にて詳細に説明する。表示部102は記憶部34に記憶されたSLO画像及び断層画像を表示する。
以上説明したデータ取得部100、画像処理部102、表示部102から構成される光干渉断層撮影装置において、観察から撮影までを説明する。
まず観察について図4を用いて説明する。図4は観察時に表示部102に表示されるか前眼部観察像36とSLO画像38を示したものである。対物レンズ1の正面に被検眼Erを位置させると、撮影者は前眼部観察像36を見ながら被検眼Erとデータ取得部100とのXYZ方向の位置合わせを図示なきジョイスティックを用いて行う。XY方向の位置合わせは、前眼部観察像36の瞳孔中心が前眼部観察像の表示される画面の中心に位置するようにする。Z方向の位置合わせでは、Z方向の位置合わせが適切でない場合点線37に沿って前眼部観察像36がスプリットされるので、スプリットされないように位置合わせする。
このようにして被検眼とデータ取得部100とのXYZ方向の位置合わせが完了するとSLO走査手段4のXY方向の走査により生成されるSLO画像38が表示される。この前眼部観察像36とSLO画像38は随時更新され、撮影者は被検眼Erをディレイなく観察できる。
更にSLO画像38中のスキャンライン39は断層画像の取得時に走査される走査位置を示したものであり、SLO画像38に重畳されている。撮影者はこのスキャンライン39をマウスやタッチパネル等の図示なき走査位置変更手段を操作し、所望の走査位置を設定する。これらの操作にて観察が終了する。
次に撮影について説明する。撮影者により図示なき撮影開始ボタンを操作されると、データ取得部100及び画像生成部33はスキャンライン39に沿って走査しBスキャン画像を生成する。画像生成部33で生成されたBスキャン画像は記憶部34に記憶されると共に表示部102に表示される。
次に本発明の特徴の一つである平均画像生成部35についてスキャンライン39の走査位置を複数回走査し同一箇所の断層画像を複数枚取得した場合を例に説明する。
この平均画像生成部35の説明の前に、ここで一旦OCT光源20による測定光の被検眼Erでの反射散乱光について図5を用いて説明する。図5は視神経乳頭部のスキャンライン39におけるBスキャン画像である。
図示上方は硝子体であり、上方方向よりOCT光源20の測定光が入射される。図5中でP1は血管部、P2は視神経乳頭辺縁部、P3は視神経乳頭以外の網膜部である。
まず血管部P1について説明すると、この血管部P1は血管の収縮・拡張の拍動によって画像輝度の変化が起こる為、本発明のように同一箇所の断層画像を複数枚取得する場合には各断層画像で血管部P1の描写は異なるものとなる。
従って血管部P1が広範囲に存在するテンプレートを用いて位置ずれ検出する場合、位置ずれが無くとも計算される類似度は低い値(相違度を計算する場合は高い値)となる。
次に視神経乳頭辺縁部P2に着目すると図5中の視神経乳頭辺縁部P2は画像輝度が低くなっている。更に視神経乳頭辺縁部P2より更に深部(図示下方方向)に位置するP2’ともなると、対象はほとんど描写されていない。
理由は、視神経乳頭辺縁部P2をAスキャンする為のOCT光源20の測定光をL2とすると、測定光L2の視神経乳頭辺縁部P2における反射散乱光は正反射方向R2が一番強く、一方図示上方に位置するデータ取得部100方向への反射散乱光は少ないからである。なお正反射方向は視神経乳頭辺縁部P2の法線と測定光L2とのなす角である入射角A2によって決まる。
このようにAスキャン時の測定光の対象物への入射角が大きい場合、そのAスキャンによって描写される対象物の画像輝度は低くなってしまう。画像輝度が低いということは、レーザースペックルやラインセンサ20から発生するノイズの影響を受けやすいということである。
従って視神経乳頭辺縁部P2のようにAスキャン時の測定光の入射角が大きい状態で描写された対象物が広範囲に存在するテンプレートを用いて位置ずれ検出する場合、位置ずれが無くとも類似度は低い値(相違度を計算する場合は高い値)となる。
一方視神経乳頭辺縁部P2とは対照的に視神経乳頭以外の網膜部P3はAスキャン時の測定光と対象物との入射角が小さい場合である。図5中のL3は視神経乳頭以外の網膜部P3を測定する為のOCT光源20の測定光、R3は測定光L3の視神経乳頭以外の網膜部P3における正反射方向の反射散乱光を示している。
測定光L3の視神経乳頭以外の網膜部P3における正反射方向の反射散乱光R3は図示上方に位置するデータ取得部100方向へ向かうので、取得される断層画像も画像輝度が高く、網膜部の断層が鮮明に描写される。
従って視神経乳頭以外の網膜部P3のようにAスキャン時の測定光の入射角が小さい状態で描写された対象物が広範囲に存在するテンプレートを用いて位置ずれ検出する場合、位置ずれ有の時に類似度は低い値を取り、位置ずれ無の時に類似度は高い値を取る。
血管部P1のような画像の輝度変化が起こる対象物、或いは視神経乳頭辺縁部P2のようなAスキャン時の測定光の入射角が大きい状態で描写された対象物、これらがテンプレート内に広範囲に存在する場合には、位置ずれが無くとも類似度は低い値(相違度を計算する場合は高い値)を取り、位置ずれが有る場合との区別がつかず位置ずれ検出精度が悪くなる。
なお対象物がテンプレート内に広範囲する場合に類似度が低くなると述べたが、広範囲に存在しなくともテンプレート内に存在する割合に応じて類似度は影響を受け低い値になる。
次に本発明の特徴の一つである平均画像生成部35について図6を用いて説明する。図6は平均画像生成部35の処理の流れを示したフローチャートである。
スキャンライン39の走査位置を複数回走査し、同一箇所の断層画像が複数枚取得されると平均画像生成部35は、複数枚取得された断層画像の中から1枚の断層画像を選択し、これを基準断層画像に設定する。なお基準断層画像以外の断層画像は検出対象断層画像とする。(ステップS201)
次にステップ201にて設定された基準断層画像からテンプレートを設定する。図7は基準断層画像と基準断層画像内に設定されたテンプレートを示しており、図7中の点線部RIはテンプレートを示している。テンプレートRIはパターンマッチング時の位置ずれ検出に用いられる。
なおテンプレートRIに断層画像の画像輝度を用いた場合を本発明の例として用いたが、断層画像のエッジ情報と言った画像の特徴を抽出したものをテンプレートとしてもよい。(ステップS202)
ステップS203からS206は、全ての検出対象断層画像に対しステップS204及びステップS205が処理されるまで繰り返される。
ステップS204はパターンマッチングであり、これを詳細に示したものがステップS301からステップS307である。なおステップS302からステップS304は本発明の特徴の一つであり、テンプレートRIとターゲット枠TI内の検出対象断層画像とによって算出される類似度の算出方法を示している。なお、類似度の算出は一例として画像処理部101により行われる。すなわち、画像処理部101は類似度を決定する決定手段の一例に相当する。
まずステップS301では、図8で示されるように検出対象断層画像内の所定位置にテンプレートRIと同じ大きさのターゲット枠TIを設定する。このターゲット枠TIは後述するステップS302からステップS306が処理されると検出対象断層画像内で順次移動していくものである。
次にステップS302からステップS304について説明する。
ステップS302ではテンプレートRIとターゲット枠TI内の検出対象断層画像を複数領域へ分割する。説明の為に図9に12分割した場合を例に示す。断層画像はAスキャンの集合体であるので、分割はOCT光源20の走査方向に行われる。
ステップS303ではステップS302で分割した領域毎に類似度を算出する。図9中のR1とTI1とで類似度を算出、RI2とTI2とで類似度を算出といったように、テンプレートRIとターゲット枠TI内の検出対象断層画像との間で互いに対応する領域の類似度が算出される。この場合12個の類似度が算出される。
次にステップS304では、ステップS303で得られた複数の類似度から所定個数の類似度を選択する。すなわち、一部の類似度を選択する。選択は類似度が高い順に予め設定された所定個が選択され、選択された類似度の総和が算出される。
なお予め設定された所定個を選択せずに、類似度が所定値以上の値を持つ領域を選択するようにしても上記と同様の効果が得られる。
なお類似度が所定値以上の値を持つ領域に対して、更にその中から予め設定された所定個を選択するようにしても上記と同様の効果が得られる。
なお予め設定された所定個を選択せずに、各領域の類似度の値に応じて類似度の値に重み付けを加え、類似度の総和を計算しても上記と同様の効果が得られる。例えば値の高い類似度には高い重み付けをし、値の低い類似度には低い重み付けをする。
図9及び図10はターゲット枠TIの位置が異なる2つの場合を示したものであり、図9はテンプレートRIと同じパターンがターゲット枠TI内の検出対象断層画像にある場合、一方図10はテンプレートRIと異なるパターンがターゲット枠TI内の検出対象断層画像にある場合を示している。
図10のようにテンプレートRIと異なるパターンがターゲット枠TI内の検出対象断層画像にある場合には、ステップS303で得られる各領域の類似度は位置ずれによりどれも低い値をとるので、ステップS304で取捨選択した結果得られる類似度の総和も低い値となる。
一方図9のようにテンプレートRIと同じパターンがターゲット枠TI内の検出対象断層画像にある場合には、ステップS303で得られる各領域の類似度の内、血管部が領域内に大きく描写されているRI4とTI4及びRI9とTI9の類似度は位置ずれがなくとも低くなる。更にAスキャン時の測定光の入射角が大きい状態で描写された対象物、本実施例の場合に視神経乳頭辺縁部が領域内に大きく描写されているRI5とTI5及びRI8とTI8の類似度は位置ずれがなくとも低くなる。それ以外の領域においては位置ずれが無いので類似度は高くなる。
ステップS304で血管部(RI4とTI4及びRI9とTI9)とAスキャン時の測定光の入射角が大きい状態で描写された対象物、本実施例の場合に視神経乳頭辺縁部(RI5とTI5、RI8とTI8)が図9の場合に除外されるので、得られる類似度の総和は高い値となる。
次にステップS305及びステップS306では対象断層画像内において類似度の総和が最大となる場合に基準断層画像との位置ずれ量を算出及び記憶する。
このようにしてターゲット枠TIの位置を検出対象断層画像内で順次移動させながら類似度の総和が最も高い場合の基準断層画像と位置ずれ量を探索し、検出対象断層画像内の探索が全て終了した場合にパターンマッチングが終了する。(ステップS307)
ステップS204のパターンマッチングが終了するとステップ306にて得られた検出対象断層画像の基準断層画像との位置ずれ量に基づいて、ステップ205では検出対象画像の位置ずれ補正が行われる。位置ずれ量に基づいて検出対象断層画像の全体を並進すると言った変位を行うことで基準断層画像との位置ずれを無くす。すなわち、断層像全体を基準画像に対して相対的に移動させる。
ステップS203からステップS206が全ての検出対象断層画像について処理されると、ステップS207では基準断層画像と検出対象断層像の全体を画素毎に加算及び除算を行うことで平均処理を行う。被検眼の固視微動の影響により完全に同一領域を撮影することは出来ないことから、ステップS304で得られる類似度が所定値以下である場ステップS207で行われる平均処理から除外する。
なおステップ301からステップ307にて得られた検出対象断層画像の基準断層画像との位置ずれ量が所定値以上である場合には、ステップS207で行われる平均処理から除外してもよい。
ステップS302及びステップS303でテンプレートRI及びターゲット枠TIを領域分割しているが、領域分割した各領域の位置ずれを求めているのはなくテンプレートRIとターゲット枠TIとの位置ずれを求めていることに注意されたい。その為、例えばステップS301のように、ステップS302及びステップS303以外のステップでは領域分割していない。
このような本発明の特徴の一つであるステップS302からステップS304の処理によって、位置ずれが無くとも類似度の低下を起こし位置ずれがある場合との判別を困難にする対象物を選択的に除外することが可能となるので、得られる類似度はテンプレートRIとターゲット枠TIとの位置ずれのみを表現したものになり、高精度な位置ずれ検出が可能となる。
更に位置ずれが無くとも類似度の低下を起こす対象物を選択的に除外することによって得られる類似度は高い値をとるので、類似度が所定値以下である場合に平均処理から除外されることが少なくなる。従って平均処理が行われる断層画像の枚数を増加させることができ、ノイズの低減された断層画像を提供することができる。
なお上記実施形態ではターゲット枠TIは検出対象画像内で順次移動していくとして説明したが、移動に加えて回転処理を行ってもよい。
なお上記実施形態ではデータ取得部100と画像処理部101、表示部102は別個に配置して説明するが、一つの筐体に納められた構成でもよい。
また上記実施形態における画像処理部101はパーソナルコンピュータによって実現されてもよい。
[実施例2]
実施例2の構成は図1から図3に示す構成と同一の構成である。実施例2において実施例1と異なるのは平均画像生成部35の処理の流れを示したフローチャートであり、図11に示されている。図11中のフローチャートにおいて実施例1と同一のステップについては同一番号が付与されている。実施例2では実施例1のステップS202がステップS402に、ステップS302からステップS304が1つのステップS502に置き換えられ、ステップS305がステップS505に変更されている。
なお観察及び撮影の方法については実施例1と同様である為、説明を省略する。
ステップS201で基準断層画像が設定されると、次にステップS402にてテンプレートを設定する。実施例1の基準断層画像内に設けられたテンプレートRI内には、血管部P1のような画像の輝度変化が起こる対象物、或いは視神経乳頭辺縁部P2のようなAスキャン時の測定光の入射角が大きい状態で描写された対象物が存在していたが、実施例2ではステップS402にてテンプレートRIからこれらを除外する。実施例1と区別する為に実施例2で用いるテンプレートをRI’とする。
詳細に説明すると、まず実施例1のステップS201同様に基準断層画像内にテンプレートRI’を設定する。次にこのテンプレートRI’を複数領域に分割し分割した複数領域毎の画像輝度の和を求める。図12は複数に分割されたテンプレートRI’を示したものである。この図12では12分割した場合を示している。
得られた複数領域毎の画像輝度の和の高い順に所定個の領域を選択する。選択個数は予め設定されている。断層画像はAスキャンの集合体であるので、分割はOCT光源20の走査方向に行われる。
選択された分割領域に対し隣接して位置する分割領域も選択されている場合には分割領域同士を結合させる。すると図13に示されるようなテンプレートRI’が設定される。この図13を見ると、血管部とAスキャン時の測定光の入射角が大きい状態で描写された対象物、この場合でいう視神経乳頭辺縁部が除外されていることが分かる。
血管部は血管の収縮・拡張の拍動によって画像輝度の変化が起こるだけで画像輝度が低いわけではないが、血管部よりも深部(図示下方方向)は画像輝度が低くなる。これにより分割領域に血管部を含む場合、その領域の画像輝度の和は低くなる。Aスキャン時の測定光の入射角が大きい状態で描写された対象物、この場合でいう視神経乳頭辺縁部の画像輝度が低い理由については実施例1で説明した通りであるので、ここでは説明を省略する。
なお予め設定された所定個を選択せずに、画像輝度が所定値以上の値を持つ領域を選択するようにしても良い。
なお画像輝度が低いということは画像のエッジ強度も低いので、画像輝度の和を算出する代わりに画像のエッジ強度の和を算出しても良い。画像エッジはOCT光源20の走査方向成分が検出され、1次元微分フィルタが用いられる。
このようにテンプレートRI’から血管部P1のような画像の輝度変化が起こる対象物、或いは視神経乳頭辺縁部P2のようなAスキャン時の測定光の入射角が大きい状態で描写された対象物を除外することによって、実施例1の処理されたステップS302からステップS304の処理が不要となり、実施例1と同等の効果が得られる。
ステップS203からS206は、全ての検出対象断層画像に対しステップS204及びステップS205が処理されるまで繰り返される。
ステップS204はパターンマッチングであり、これを詳細に示したものがステップS301とステップS502、ステップS505、ステップS306からステップS307である。
まずステップS301では、図14で示されるように検出対象断層画像内の所定位置にテンプレートRI’と同じ大きさのターゲット枠TI’を設定する。実施例1と区別する為に実施例2で用いるターゲット枠をTI’とする。
このターゲット枠TI’は後述するステップS502とステップS505、ステップS306が処理されると検出対象断層画像内で順次移動していく。図14のようにターゲット枠TI’は3箇所に別れて配置されているが、移動はこの3箇所の互いの位置関係を保ちながら移動していく。各箇所が其々独立して移動することはない。
次にステップS502ではテンプレートRI’とターゲット枠TI’内の検出対象断層画像間とで1つの類似度を算出する。実施例1では類似度の総和を求めていたが、実施例2では類似度を算出する。
次にステップS505及びステップS306では対象断層画像内において類似度が最も高い場合に基準断層画像との位置ずれ量を算出及び記憶する。
このようにしてターゲット枠TI’の位置を検出対象断層画像内で順次移動させながら類似度が最も高い場合の基準断層画像と位置ずれ量を探索し、検出対象断層画像内の探索が全て終了した場合にパターンマッチングが終了する。(ステップS307)
ステップS204のパターンマッチングが終了するとステップ205では検出対象画像の位置ずれ補正が行われる。全ての検出対象断層画像についてステップS204及びステップS205が処理されると、ステップS207で平均処理を行う。
位置ずれが無くとも類似度の低下を起こし位置ずれがある場合との判別を困難にする対象物がステップS402にてテンプレートRI’から事前に除外されているので、得られる類似度は位置ずれのみを表現したものとなり、平均処理後に得られる断層画像は、実施例1と同様の効果を得たものとなる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 データ取得部
101 画像処理部
102 表示部
Er 被検眼
4 SLO走査手段
9 フォトダイオード
10 SLO光源
16 XYスキャナ
19 光カプラー
20 OCT光源
21〜24 光ファイバー
28 分光器
32 ラインセンサ
33 画像生成部
35 平均画像生成部
36 前眼部観察像
38 SLO画像
39 スキャンライン
P1 血管部
P2 視神経乳頭辺縁部
P3 視神経乳頭以外の網膜部
L2 視神経乳頭辺縁部P2をAスキャンする為のOCT光源の測定光
R2 OCT光源の測定光L2の視神経乳頭辺縁部P2における反射散乱光
L3 視神経乳頭以外の網膜部P3をAスキャンする為のOCT光源の測定光
R3 OCT光源の測定光L3の視神経乳頭以外の網膜部P3における反射散乱光
RI テンプレート(実施例1)
TI ターゲット枠(実施例1)
RI1〜RI12 複数領域に分割されたテンプレート
TI1〜TI12 複数領域に分割されたターゲット枠
RI’ テンプレート(実施例2)
TI’ ターゲット枠(実施例2)

Claims (12)

  1. 第1の断層像と第2の断層像とを取得する取得手段と、
    複数の領域が設定された前記第1の断層像と前記第2の断層像とを前記複数の領域毎に比較することで類似度を決定する決定手段と、
    前記類似度に基づいて前記複数の領域における類似度のうち一部の類似度を選択する選択手段と、
    前記選択手段により選択された類似度に基づいて前記第1の断層像と前記第2の断層像とを位置合わせする位置合わせ手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記選択手段は、前記複数の領域のうち所定個数の領域における類似度を選択することを特徴とする請求項1記載の画像処理装置。
  3. 前記選択手段は、前記複数の領域における類似度のうち所定値以上の類似度を選択することを特徴とする請求項1または請求項2記載の画像処理装置。
  4. 前記位置合わせ手段は、前記選択手段により選択された前記類似度の総和が最大となるように、前記第1の断層像に対して前記第2の断層像を相対的に移動させる請求項1−3のいずれか1項に記載の画像処理装置。
  5. 前記位置合わせ手段は、前記選択手段により選択された前記類似度の総和が最大となるように、前記第1の断層像に対して前記第2の断層像全体を移動させる請求項1−3のいずれか1項に記載の画像処理装置。
  6. 第1の断層像と第2の断層像とを取得する取得手段と、
    複数の領域が設定された前記第1の断層像と前記第2の断層像とを前記複数の領域毎に比較することで類似度を決定する決定手段と、
    前記類似度の大きさに対応した重みづけが行われた前記類似度に基づいて、前記第1の断層像と前記第2の断層像とを位置合わせする位置合わせ手段と、
    を備えることを特徴とする画像処理装置。
  7. 前記類似度が高いほど重みづけを高くすることを特徴とする請求項6記載の画像処理装置。
  8. 前記位置合わせ手段は、前記選択手段により選択された前記類似度の総和が最大となるように、前記第1の断層像に対して前記第2の断層像を相対的に移動させる請求項6または請求項7記載の画像処理装置。
  9. 前記位置合わせ手段は、前記選択手段により選択された前記類似度の総和が最大となるように、前記第1の断層像に対して前記第2の断層像全体を移動させる請求項6または請求項7記載の画像処理装置。
  10. 第1の断層像と第2の断層像とを取得する取得工程と、
    複数の領域が設定された前記第1の断層像と前記第2の断層像とを前記複数の領域毎に比較することで類似度を決定する決定工程と、
    前記類似度に基づいて前記複数の領域における類似度のうち一部の類似度を選択する選択工程と、
    前記選択工程により選択された類似度に基づいて前記第1の断層像と前記第2の断層像とを位置合わせする位置合わせ工程と、
    を備えることを特徴とする画像処理方法。
  11. 第1の断層像と第2の断層像とを取得する取得工程と、
    複数の領域が設定された前記第1の断層像と前記第2の断層像とを前記複数の領域毎に比較することで類似度を決定する決定工程と、
    前記類似度の大きさに対応した重みづけが行われた前記類似度に基づいて、前記第1の断層像と前記第2の断層像とを位置合わせする位置合わせ工程と、
    を備えることを特徴とする画像処理方法。
  12. 請求項10または請求項11記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2013221090A 2013-10-24 2013-10-24 画像処理装置、画像処理方法およびプログラム Pending JP2015080679A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013221090A JP2015080679A (ja) 2013-10-24 2013-10-24 画像処理装置、画像処理方法およびプログラム
US14/518,991 US9662005B2 (en) 2013-10-24 2014-10-20 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013221090A JP2015080679A (ja) 2013-10-24 2013-10-24 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018240152A Division JP6776317B2 (ja) 2018-12-21 2018-12-21 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2015080679A true JP2015080679A (ja) 2015-04-27

Family

ID=52995038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013221090A Pending JP2015080679A (ja) 2013-10-24 2013-10-24 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US9662005B2 (ja)
JP (1) JP2015080679A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3453313A1 (en) 2017-09-07 2019-03-13 Canon Kabushiki Kaisha Image processing apparatus, alignment method and program
JP2019042208A (ja) * 2017-09-04 2019-03-22 キヤノン株式会社 光干渉断層撮影装置、画像処理装置、画像処理方法、及びプログラム
US10789721B2 (en) 2017-09-07 2020-09-29 Canon Kabushiki Kaisha Image processing apparatus, alignment method and storage medium
US10803568B2 (en) 2017-09-07 2020-10-13 Canon Kabushiki Kaisha Image processing apparatus, alignment method and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521975B2 (en) * 2013-03-15 2016-12-20 Neurovision Imaging Llc Method for detecting a disease by analysis of retinal vasculature
JP2016512712A (ja) * 2013-03-15 2016-05-09 バードナー,スティーブン アミロイドベータ斑及びドルーゼを検出する方法
US11963722B2 (en) * 2021-04-13 2024-04-23 Amo Development, Llc Methods and systems for determining change in eye position between successive eye measurements
CN117456316B (zh) * 2023-12-26 2024-03-19 苏州镁伽科技有限公司 图像去重处理方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689343A (ja) * 1992-09-08 1994-03-29 Yaskawa Electric Corp テンプレートマッチングの不感帯領域設定方法
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2010110392A (ja) * 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
WO2011155150A1 (en) * 2010-06-08 2011-12-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2012115387A (ja) * 2010-11-30 2012-06-21 Hitachi Aloka Medical Ltd 超音波画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5735790B2 (ja) * 2010-12-02 2015-06-17 株式会社ニデック 眼科撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689343A (ja) * 1992-09-08 1994-03-29 Yaskawa Electric Corp テンプレートマッチングの不感帯領域設定方法
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2010110392A (ja) * 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
WO2011155150A1 (en) * 2010-06-08 2011-12-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2012115387A (ja) * 2010-11-30 2012-06-21 Hitachi Aloka Medical Ltd 超音波画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019042208A (ja) * 2017-09-04 2019-03-22 キヤノン株式会社 光干渉断層撮影装置、画像処理装置、画像処理方法、及びプログラム
EP3453313A1 (en) 2017-09-07 2019-03-13 Canon Kabushiki Kaisha Image processing apparatus, alignment method and program
US10789721B2 (en) 2017-09-07 2020-09-29 Canon Kabushiki Kaisha Image processing apparatus, alignment method and storage medium
US10803568B2 (en) 2017-09-07 2020-10-13 Canon Kabushiki Kaisha Image processing apparatus, alignment method and storage medium

Also Published As

Publication number Publication date
US9662005B2 (en) 2017-05-30
US20150116662A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
US9456748B2 (en) Ophthalmological apparatus, alignment method, and non-transitory recording medium
EP1961374B1 (en) Fundus oculi observation device and fundus oculi image processing device
KR101506526B1 (ko) 안과장치 및 그 제어방법
US10244937B2 (en) Image processing apparatus and image processing method
JP2015080679A (ja) 画像処理装置、画像処理方法およびプログラム
US10672127B2 (en) Information processing apparatus, information processing method, and program
JP4823693B2 (ja) 光画像計測装置
JP5383735B2 (ja) 光干渉断層撮影装置、画像処理装置、画像処理方法、及びプログラム
US20160157710A1 (en) Image processing apparatus and image processing method
US20200226755A1 (en) Image processing apparatus, ophthalmic imaging apparatus, image processing method, and computer-readable medium
JP6906898B2 (ja) 眼科撮影装置
JP6497872B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5990932B2 (ja) 眼光断層画像撮像装置
JP5987355B2 (ja) 眼光断層画像撮像装置
US20250366713A1 (en) Method and system for axial motion correction
US20190073779A1 (en) Image processing apparatus, alignment method and storage medium
JP6776317B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6021968B2 (ja) 光干渉断層撮影装置及び画像処理方法
JP2019201718A (ja) 画像処理装置、画像処理方法及びプログラム
JP6406878B2 (ja) 画像処理装置及び画像処理方法
JP7013201B2 (ja) 光干渉断層撮影装置、画像処理装置及びその方法
WO2023008385A1 (ja) 前眼部解析装置、前眼部解析方法、およびプログラム
JP5701359B2 (ja) 光干渉断層撮影装置及び画像処理方法
JP2019084400A (ja) 画像処理装置、画像処理方法及びプログラム
US20180256026A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180925