JP2018008040A - Wavefront control apparatus, wavefront control method, information acquiring apparatus, program, and storage medium - Google Patents
Wavefront control apparatus, wavefront control method, information acquiring apparatus, program, and storage medium Download PDFInfo
- Publication number
- JP2018008040A JP2018008040A JP2017113432A JP2017113432A JP2018008040A JP 2018008040 A JP2018008040 A JP 2018008040A JP 2017113432 A JP2017113432 A JP 2017113432A JP 2017113432 A JP2017113432 A JP 2017113432A JP 2018008040 A JP2018008040 A JP 2018008040A
- Authority
- JP
- Japan
- Prior art keywords
- wavefront
- light
- medium
- signal
- measurement position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Holo Graphy (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】散乱媒質内部の深い位置、或いは広範囲における光学特性の情報の取得に有利な波面制御装置を提供する。【解決手段】波面制御装置は、光が照射された媒質から発生する信号を検出する検出手段104と、検出手段の出力に基づいて、光の波面を制御する制御手段102、105と、を有し、制御手段は、媒質内部の第1の測定位置から発生する信号に基づいて光の第1の波面を形成する第1の処理と、第1の波面を有する光が照射された媒質内部の、第1の測定位置とは異なる第2の測定位置から発生する信号に基づいて光の第2の波面を形成する第2の処理と、を行う。【選択図】図1An object of the present invention is to provide a wavefront control device that is advantageous in acquiring information on optical characteristics at a deep position inside a scattering medium or over a wide range. A wavefront control device includes a detection means 104 for detecting a signal generated from a medium irradiated with light, and control means 102 and 105 for controlling the wavefront of light based on the output of the detection means. The control means performs a first process of forming a first wavefront of light based on a signal generated from a first measurement position inside the medium, and a first process of forming a first wavefront of light based on a signal generated from a first measurement position inside the medium. , and a second process of forming a second wavefront of light based on a signal generated from a second measurement position different from the first measurement position. [Selection diagram] Figure 1
Description
本発明は、波面制御装置に関する。本発明は、例えば、光を用いて散乱媒質の光学特性を測定または撮像する装置に適用可能である。 The present invention relates to a wavefront control device. The present invention can be applied to, for example, an apparatus for measuring or imaging optical characteristics of a scattering medium using light.
可視域から近赤外の光を用いて、生体などの媒質の内部の光学特性を非侵襲、或いは低侵襲でイメージングするための研究が進められている。一般的に、光は生体などの散乱媒質中では、散乱によって不規則な軌跡を辿り伝搬する。そのため、散乱が多重に引き起こされるような媒質では、光が深い位置まで十分に達しなくなるため、イメージングの解像度やイメージングする深さ(侵達長)が劣化する。そのような散乱媒質を高解像度にイメージングするためには、散乱光を除去し、信号となる光(非散乱光、或いは散乱回数が非常に少ない弱散乱光)だけを抽出してイメージングを行うのが一般的である。代表的なものとしては、共焦点顕微鏡や、OCT(Optical Coherence Tomography)などが挙げられる。このような手法は、イメージングする深さが比較的媒質の浅い領域では有効であるが、深い領域では散乱が支配的となり、信号源となる非散乱光が指数関数的に減少してしまう。従って、上記のようなイメージング手法を媒質の深い領域に対して実施することが非常に困難になる。上記のようなイメージング手法は、一般的には侵達長が浅い領域(例えば生体組織などの場合には、1mm以下)に限られてしまう。或いは、霧や煙、或いはヘイズと呼ばれる大気中の微粒子が存在するような条件下や、或いは大気によって屈折率が空間的にゆらぐような条件下で被写体を広範囲に撮像する場合、光の散乱の影響で、撮像された被写体の像が歪み、被写体を認識するのが困難になる。 Research for imaging non-invasively or less invasively the optical characteristics of a medium such as a living body using light from the near infrared region to the visible region is underway. In general, light propagates along an irregular locus by scattering in a scattering medium such as a living body. For this reason, in a medium in which scattering is caused multiple times, the light does not reach a deep position sufficiently, so that the imaging resolution and the imaging depth (penetration length) deteriorate. In order to image such a scattering medium with high resolution, the scattered light is removed, and only the light that becomes the signal (non-scattered light or weakly scattered light with very few scattering times) is extracted and imaging is performed. Is common. Typical examples include a confocal microscope and OCT (Optical Coherence Tomography). Such a technique is effective in a region where the depth of imaging is relatively shallow in the medium, but scattering is dominant in a deep region, and non-scattered light serving as a signal source decreases exponentially. Therefore, it becomes very difficult to perform the above-described imaging method on a deep region of the medium. The above-described imaging method is generally limited to a region having a shallow penetration depth (for example, 1 mm or less in the case of a living tissue or the like). Or, if the subject is imaged over a wide range under conditions where there are fine particles in the atmosphere called fog, smoke, or haze, or where the refractive index fluctuates spatially due to the atmosphere, light scattering may occur. Due to the influence, the captured image of the subject is distorted, making it difficult to recognize the subject.
このような課題に対し、近年、媒質へ入射する光の波面を適切に成形することで光を効率的に散乱媒質内部の特定の位置へ送り込む技術が提案されている。 In recent years, a technique for efficiently sending light to a specific position inside the scattering medium by appropriately shaping the wavefront of the light incident on the medium has been proposed.
非特許文献1では、散乱媒質に光を照射し、媒質中にある蛍光物質から発生する蛍光をCCDでモニタし、蛍光の信号が最大になるように入射波面を空間変調器(SLM:Spatial Light Modulator)で成形する。そして、CCDによる蛍光信号のモニタと、SLMによる入射波面の成形を反復的に繰り返し、蛍光信号が最大になるように入射波面を最適化することで、同蛍光物質へ光を効率よくフォーカスできることが実証されている。また、特許文献1で開示されているように、蛍光信号の代わりに、光音響信号を波面最適化のターゲットに用いる構成も開示されている。或いは非特許文献2で示されているように、2光子吸収による蛍光信号(TPF: Two−photon fluorescence)をターゲットにする構成も開示されている。このように、様々な信号を最適化のターゲットとし、光を散乱媒質内部でフォーカスさせることができる。このとき最適化のターゲットとして用いることができる信号は、多重散乱光とは何らかの形で区別された信号を用いる。 In Non-Patent Document 1, a scattering medium is irradiated with light, fluorescence generated from a fluorescent material in the medium is monitored by a CCD, and the incident wavefront is spatially modulated (SLM: Spatial Light) so that the fluorescence signal is maximized. (Modulator). Then, it is possible to focus light on the fluorescent material efficiently by iteratively repeating the monitoring of the fluorescence signal by the CCD and the shaping of the incident wavefront by the SLM and optimizing the incident wavefront so that the fluorescence signal is maximized. Proven. Further, as disclosed in Patent Document 1, a configuration in which a photoacoustic signal is used as a wavefront optimization target instead of a fluorescent signal is also disclosed. Alternatively, as shown in Non-Patent Document 2, a configuration that targets a two-photon absorption fluorescence signal (TPF: Two-photon fluorescence) is also disclosed. In this way, various signals can be targeted for optimization, and light can be focused inside the scattering medium. At this time, a signal that can be used as an optimization target is a signal that is somehow distinguished from multiple scattered light.
また、入射波面を成形する技術としては、上述したような反復的な最適化処理とは別に、特許文献2に示されているように、位相共役光を利用した技術も提案されている。特許文献2では、散乱媒質内部の任意の位置に超音波の集束領域を生成し、同領域で変調された光(超音波変調光)が媒質外部へ射出され、この超音波変調光の波面を選択的にホログラムに記録する。同ホログラムから位相共役波面を発生させて媒質へ入射させることで、その位相共役光は時間的な可逆性に従って超音波の集束領域へ伝搬していく。この効果により、媒質内部の超音波集束領域へ効率的に光を送ることができる。このような超音波変調光の他に、非特許文献3では、媒質内部のある位置を発生源とする第二次高調波(SHG:Second Harmonic Generation)を利用した位相共役光技術についても開示されている。 As a technique for shaping the incident wavefront, a technique using phase conjugate light has been proposed as shown in Patent Document 2, in addition to the above-described repetitive optimization processing. In Patent Document 2, an ultrasonic focusing region is generated at an arbitrary position inside a scattering medium, and light modulated in the same region (ultrasonic modulation light) is emitted to the outside of the medium. Selectively record on hologram. By generating a phase conjugate wavefront from the hologram and making it incident on the medium, the phase conjugate light propagates to the focusing region of the ultrasonic wave according to temporal reversibility. By this effect, light can be efficiently transmitted to the ultrasonic focusing region inside the medium. In addition to such ultrasonically modulated light, Non-Patent Document 3 also discloses a phase conjugate light technique using second harmonic generation (SHG) using a certain position inside the medium as a generation source. ing.
このような散乱媒質内部へ光をフォーカスさせる技術は、ターゲット信号、或いはガイドスターと呼ばれる、散乱光とは区別された信号に基づいて、媒質へ照射する光の波面を適切に(反復的な最適化、或いは位相共役光技術を用いて)成形することで可能となる。散乱光とは区別された信号とは、例えば、蛍光信号、TPF、SHG、光音響信号、超音波変調信号などである。このような散乱媒質内部へ光をフォーカスさせる技術を、様々なイメージング手法と組み合わせて用いることが提案されている。 The technique of focusing light inside the scattering medium appropriately determines the wavefront of the light irradiating the medium based on a target signal or a signal that is distinguished from the scattered light, called a guide star (repetitive optimization). Or by using a phase conjugate light technique). The signal distinguished from the scattered light is, for example, a fluorescence signal, TPF, SHG, a photoacoustic signal, an ultrasonic modulation signal, or the like. It has been proposed to use such a technique for focusing light inside a scattering medium in combination with various imaging techniques.
散乱媒質内部のある特定の位置へ光をフォーカスさせる前述の技術を、様々な測定方法と合わせて用いれば、光を効率的にターゲットへフォーカスさせ、測定する信号を向上させて、同媒質の光学特性を測定することが可能である。このとき、前述したように、散乱媒質内部の特定の位置へ光をフォーカスさせるためには、同位置から発生するターゲット信号に基づいて、入射光の波面を成形(最適化)する必要がある。言い換えれば、そのターゲット信号を測定することができない場合は、前述のような反復的な最適化や、位相共役光技術を利用することができない。従って、このような光フォーカス技術は、媒質内部にあるターゲット信号を媒質外部から測定できる範囲内で有効である。ターゲットが媒質の内部深くにある場合、多重散乱の影響でターゲット信号が減衰してしまい、同信号の測定が困難となる。そのような場合、前述の反復的な最適化や、位相共役技術を効果的に適用することができない。従って、媒質内部の深い位置に光をフォーカスさせることができないために、媒質の奥深くの光学特性を測定することができなくなる。つまり、光学測定の侵達長を向上させることができない。 If the above-mentioned technology for focusing light to a specific position inside a scattering medium is used in combination with various measurement methods, the light is efficiently focused on the target, the signal to be measured is improved, and the optical properties of the medium are improved. It is possible to measure properties. At this time, as described above, in order to focus the light to a specific position inside the scattering medium, it is necessary to shape (optimize) the wavefront of the incident light based on the target signal generated from the same position. In other words, when the target signal cannot be measured, iterative optimization as described above and the phase conjugate light technique cannot be used. Therefore, such an optical focusing technique is effective within a range in which a target signal inside the medium can be measured from the outside of the medium. When the target is deep inside the medium, the target signal is attenuated due to the influence of multiple scattering, making it difficult to measure the signal. In such a case, the above-described iterative optimization and phase conjugation technique cannot be effectively applied. Therefore, since the light cannot be focused at a deep position inside the medium, it is impossible to measure the optical characteristics deep inside the medium. That is, the penetration length of the optical measurement cannot be improved.
そこで、本発明は、散乱媒質内部の深い位置、或いは広範囲における光学特性の情報の取得に有利な波面制御装置、波面制御方法、情報取得装置、プログラム、記憶媒体を提供することを目的とする。 Therefore, an object of the present invention is to provide a wavefront control device, a wavefront control method, an information acquisition device, a program, and a storage medium that are advantageous for acquiring information on optical characteristics in a deep position within a scattering medium or in a wide range.
本発明の一側面としての波面制御装置は、光が照射された媒質から発生する信号を検出する検出手段と、前記検出手段の出力に基づいて、前記光の波面を制御する制御手段と、を有し、前記制御手段は、前記媒質内部の第1の測定位置から発生する前記信号に基づいて前記光の第1の波面を形成する第1の処理と、前記第1の波面を有する前記光が照射された前記媒質内部の、前記第1の測定位置とは異なる第2の測定位置から発生する前記信号に基づいて前記光の第2の波面を形成する第2の処理と、を行うことを特徴とする。 A wavefront control device according to one aspect of the present invention includes a detection unit that detects a signal generated from a medium irradiated with light, and a control unit that controls the wavefront of the light based on an output of the detection unit. And the control means includes: a first process for forming a first wavefront of the light based on the signal generated from a first measurement position inside the medium; and the light having the first wavefront. Performing a second process of forming a second wavefront of the light based on the signal generated from a second measurement position different from the first measurement position inside the medium irradiated with It is characterized by.
本発明によれば、散乱媒質内部の深い位置、或いは広範囲における光学特性の情報の取得に有利な波面制御装置、波面制御方法、情報取得装置、プログラム、記憶媒体を提供することができる。 According to the present invention, it is possible to provide a wavefront control device, a wavefront control method, an information acquisition device, a program, and a storage medium that are advantageous for acquiring information on optical characteristics in a deep position within a scattering medium or in a wide range.
以下に、添付の図面を参照して、本発明の実施形態について説明する。なお、本発明において、波面制御装置および方法は、媒質に照射される光の波面を制御(調節)する装置および方法である。波面制御方法は、後述する制御手段を構成するコンピュータによって実行されるプログラムによって実現可能である。図中の「S」はステップを表す。情報取得装置は、媒質内部の光学特性の情報を取得する装置であり、波面制御装置を含んでもよい。情報取得装置は、媒質内部の光学特性を測定する測定装置や媒質内部の光学特性を撮像する撮像装置を含む。 Embodiments of the present invention will be described below with reference to the accompanying drawings. In the present invention, the wavefront control apparatus and method are an apparatus and method for controlling (adjusting) the wavefront of light applied to a medium. The wavefront control method can be realized by a program executed by a computer that constitutes control means described later. “S” in the figure represents a step. The information acquisition device is a device that acquires information on the optical characteristics inside the medium, and may include a wavefront control device. The information acquisition device includes a measuring device that measures the optical characteristics inside the medium and an imaging device that images the optical characteristics inside the medium.
(実施形態1)
図1〜4を用いて、本発明の第1の実施形態に係る散乱媒質の光学特性の測定方法及び装置を説明する。図1は、本実施形態における測定装置の例示的な構成を示す概略図である。媒質107は、生体組織を含む被検媒質であり、散乱粒子111を含み、可視から近赤外の光に対して散乱媒質である。いま、媒質107に対して光音響信号(Photoacoustic signal)を利用してイメージングする装置において、本発明を適用した場合について説明する。
(Embodiment 1)
A method and apparatus for measuring the optical characteristics of the scattering medium according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram illustrating an exemplary configuration of a measurement apparatus according to the present embodiment. The medium 107 is a test medium including a biological tissue, includes scattering particles 111, and is a scattering medium for visible to near-infrared light. Now, a case where the present invention is applied to an apparatus for imaging a medium 107 using a photoacoustic signal (Photoacoustic signal) will be described.
光源100からは、数nsのパルス光が放射される。また光源100は、例えば媒質107が生体組織である場合、その組織の構成成分である水、脂肪、タンパク質、酸化ヘモグロビン、還元ヘモグロビン、などの吸収スペクトルに応じた複数の波長を選択することができる。一例としては、400nm〜1,500nmなどの可視から近赤外の範囲の波長を放射する電磁波源を使用する。また、同様に媒質107が生体組織の場合、放射される光強度は照射可能な安全基準以下の強度内で調整される。 The light source 100 emits pulsed light of several ns. For example, when the medium 107 is a living tissue, the light source 100 can select a plurality of wavelengths according to absorption spectra of water, fat, protein, oxyhemoglobin, deoxyhemoglobin, and the like that are constituents of the tissue. . As an example, an electromagnetic wave source that emits a wavelength in the range of visible to near infrared, such as 400 nm to 1,500 nm, is used. Similarly, when the medium 107 is a living tissue, the intensity of the emitted light is adjusted within the intensity below the safety standard that can be irradiated.
光源100から放射された光は、ビームスプリッタ101を透過し、SLM102へ照射される。SLM102は、例えばliquid crystal on silicon(LCOS)を用いることができる。このSLM102は制御装置105によって制御され、図3に示される最適化処理に基づき波面を成形(位相変調)する。図3の最適化処理については後述する。このSLM102および制御装置105により、後述の超音波トランスデューサの出力に基づいて、光の波面を制御する制御手段が構成される。SLM102を反射した波面成形された光106は、ビームスプリッタ101を反射し、光学系103を介して媒質107へ照射される。 Light emitted from the light source 100 passes through the beam splitter 101 and is irradiated onto the SLM 102. The SLM 102 can use, for example, liquid crystal on silicon (LCOS). The SLM 102 is controlled by the control device 105, and forms a wavefront (phase modulation) based on the optimization process shown in FIG. The optimization process of FIG. 3 will be described later. The SLM 102 and the control device 105 constitute control means for controlling the wavefront of light based on the output of an ultrasonic transducer described later. The wavefront shaped light 106 reflected from the SLM 102 is reflected from the beam splitter 101 and irradiated onto the medium 107 via the optical system 103.
散乱媒質107に入射した光109は、散乱されながら媒質107内部を伝搬し、一部は特定の位置(領域)108にある吸収体でエネルギーが吸収され、同局所領域で温度上昇が生じ、体積が膨張され、音響波(光音響信号)110が発生する。超音波トランスデューサ104は、光が照射された散乱媒質から発生する信号を検出(測定)する検出手段(測定手段)として機能し、この光音響信号110を測定する。このとき、制御装置105は超音波トランスデューサ104を制御し、散乱媒質107内部の局所領域108からの光音響信号110を含む信号が検出されるように、超音波トランスデューサのフォーカスが制御される。ここで、超音波トランスデューサは、例えばリニアアレイ探触子から構成され、アレイ探触子を用いた電子フォーカスによって、媒質107内部の任意の位置に超音波フォーカス領域を生成することが可能である。トランスデューサとしては、圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量変化を用いたトランスデューサなどを用いることができる。また、超音波トランスデューサ104は、媒質107と音響的に整合されている。 The light 109 incident on the scattering medium 107 propagates inside the medium 107 while being scattered, and part of the energy is absorbed by the absorber located at a specific position (region) 108, resulting in a temperature rise in the local region, and the volume. Is expanded and an acoustic wave (photoacoustic signal) 110 is generated. The ultrasonic transducer 104 functions as a detection unit (measurement unit) that detects (measures) a signal generated from a scattering medium irradiated with light, and measures the photoacoustic signal 110. At this time, the control device 105 controls the ultrasonic transducer 104 and the focus of the ultrasonic transducer is controlled so that a signal including the photoacoustic signal 110 from the local region 108 inside the scattering medium 107 is detected. Here, the ultrasonic transducer is composed of, for example, a linear array probe, and an ultrasonic focus region can be generated at an arbitrary position inside the medium 107 by electronic focusing using the array probe. As the transducer, a transducer using a piezoelectric phenomenon, a transducer using optical resonance, a transducer using capacitance change, and the like can be used. Further, the ultrasonic transducer 104 is acoustically aligned with the medium 107.
ここで、光の入射位置から媒質内部の深さz(位置z)における光音響信号P(z)は、同位置zにおける光強度Φ(z)、同位置zにある吸収体の吸収係数μa(z)、及び熱から音響波への変換効率を表すグリュナイゼン係数Γを用いて、以下のように表される。 Here, the photoacoustic signal P (z) at the depth z (position z) inside the medium from the light incident position is the light intensity Φ (z) at the same position z and the absorption coefficient μ of the absorber at the same position z. It is expressed as follows using a (z) and a Gruneisen coefficient Γ representing the conversion efficiency from heat to acoustic waves.
式(1)からわかるように、位置zにおいてグリュナイゼン係数Γと吸収係数μa(z)が媒質固有で一定であるとすれば、光音響信号は同位置zでの光強度に応じて変化する。従って、位置zに効率よく光をフォーカスさせれば、光音響信号P(z)の信号強度は向上する。 As can be seen from the equation (1), if the Gruneisen coefficient Γ and the absorption coefficient μ a (z) are constant at the position z, the photoacoustic signal changes according to the light intensity at the position z. . Therefore, if the light is efficiently focused at the position z, the signal intensity of the photoacoustic signal P (z) is improved.
SLM102は光学系103の瞳面に配置され、SLM上の各セグメント(独立に位相を制御できる小領域)がそれぞれ入射光の波面を独立に成形する。以下で、この入射光の波面成形(最適化)を含む、本実施形態の光音響イメージング全体の測定フローについて、図2及び図3に示すフローチャートに基づき説明する。 The SLM 102 is disposed on the pupil plane of the optical system 103, and each segment on the SLM (a small area whose phase can be controlled independently) independently shapes the wavefront of the incident light. Below, the measurement flow of the whole photoacoustic imaging of this embodiment including the wavefront shaping (optimization) of this incident light will be described based on the flowcharts shown in FIGS.
まず最初にS200で、初期条件として、光音響信号を測定する局所的なターゲット領域108(ターゲット位置z0)を設定する。この初期のターゲット領域108について、入射光が照射される位置からの深さは、光音響信号が十分測定できるほどの深さに任意に設定する。測定を何回か実行して、信号強度が十分測定できる適切な深さを探してもよい。 First, in S200, as an initial condition, a local target region 108 (target position z 0 ) for measuring a photoacoustic signal is set. About this initial target area | region 108, the depth from the position where incident light is irradiated is arbitrarily set to the depth which can fully measure a photoacoustic signal. The measurement may be performed several times to find an appropriate depth at which the signal strength can be measured sufficiently.
次にS210において、光源100をオンにし、超音波トランスデューサ104が光音響信号を受信し始めたら、次のS220で入射光の波面の最適化処理に移る。S220の最適化処理では、S200で設定したターゲット領域108から発生する光音響信号が最大になるように入射光の波面を最適化する。前述したように、式(1)より、光強度がターゲット領域108にフォーカスするように波面を成形すれば、光音響信号も向上する。このS220の入射波面の最適化処理は、S230以降で反復される処理の1ステップ前で最適化された入射波面を初期状態としてS220を実行する(後述のS260参照)。ただし、S230以降がまだ実行されていない初期のターゲット位置z0における最適化処理では、例えば平面波を最適化の初期条件としてS220を実行してもよい。 Next, in S210, when the light source 100 is turned on and the ultrasonic transducer 104 starts to receive a photoacoustic signal, the process proceeds to optimization of the wavefront of incident light in the next S220. In the optimization process of S220, the wavefront of incident light is optimized so that the photoacoustic signal generated from the target region 108 set in S200 is maximized. As described above, from the equation (1), if the wavefront is shaped so that the light intensity is focused on the target region 108, the photoacoustic signal is also improved. The incident wavefront optimization process in S220 executes S220 with the incident wavefront optimized one step before the process repeated in S230 and thereafter as an initial state (see S260 described later). However, in the optimization process at the initial target position z 0 where S230 and the subsequent steps are not yet executed, S220 may be executed using, for example, a plane wave as an initial condition for optimization.
S220の最適化の処理については、図3を用いて説明する。まずS221で、SLM102上でN個に分割されたセグメントのうちインデックスjのセグメントを選択する。このときセグメントは、SLM102の1ピクセルでもよいし、SLM102の複数のピクセルから構成される領域であってもよい。 The optimization process in S220 will be described with reference to FIG. First, in step S221, the segment with index j is selected from the N segments divided on the SLM 102. At this time, the segment may be one pixel of the SLM 102 or may be an area composed of a plurality of pixels of the SLM 102.
S222でN個全てのセグメントに対してS223〜S227までの処理が終了すると、最適化処理(S220)を終了して、S230(図2)へ移る。S222で全セグメントに対して処理が未実行の場合、S223において、ターゲット領域108から発生する光音響信号110を超音波トランスデューサ104で測定する。測定された信号の値は、セグメントjの位相の値φjと共に、制御装置105のメモリに保存される。例えばj=1の場合は、S260で設定された位相分布(1ステップ前のzi−1の深さにおいて最適化された波面)、或いは位置z0であれば平面波が媒質に照射されたときの光音響信号108が測定される。 When the processes from S223 to S227 are completed for all N segments in S222, the optimization process (S220) is terminated, and the process proceeds to S230 (FIG. 2). When the processing is not executed for all segments in S222, the photoacoustic signal 110 generated from the target region 108 is measured by the ultrasonic transducer 104 in S223. The measured signal value is stored in the memory of the control device 105 together with the phase value φ j of the segment j. For example, if j = 1, the phase distribution set in S260 (wavefront optimized at the depth of z i-1 one step before), or if the plane wave is irradiated to the medium if the position is z 0 Of the photoacoustic signal 108 is measured.
次にS224〜S225で、位相変調量Δφの値を徐々に増やしながら(離散化されたステップサイズに応じてインクリメントさせながら)、セグメントjの位相φjに位相変調量Δφを与え、同セグメントの位相の値を更新する。S224では、上記の位相変調量Δφが2πを超えたか否かを判定し、超えていない場合は、S225において、セグメントjの位相の値φjをφj→φj+Δφのようにして、位相変調量Δφを加えて位相φjの値を更新する。新たに更新された位相φjに対し、再びS223で、ターゲット領域108から発生する光音響信号を測定し、制御装置105のメモリにデータを格納する。これをセグメントjの位相の変調量Δφが2πを超えるまで繰り返す。 Next, in S224 to S225, while gradually increasing the value of the phase modulation amount Δφ (incrementing according to the discretized step size), the phase modulation amount Δφ is given to the phase φ j of the segment j, and Update the phase value. In S224, it is determined whether or not the phase modulation amount Δφ exceeds 2π. If not, in S225, the phase value φ j of the segment j is changed to φ j → φ j + Δφ, and the phase is changed. The value of the phase φ j is updated by adding the modulation amount Δφ. Again in step S223, the photoacoustic signal generated from the target area 108 is measured for the newly updated phase φ j , and the data is stored in the memory of the control device 105. This is repeated until the phase modulation amount Δφ of the segment j exceeds 2π.
S224において、位相変調量Δφが2πを超えて測定が終了すると、S226において、メモリに保存されたデータから光音響信号が最大となる最適な位相φjを読み出し、SLM102のセグメントjの位相として設定する。S227では、SLM102の次のセグメントj+1に移り、上述したS222〜S227の最適化を実行する。このようにしてSLM102の全てのセグメントに対して上記最適化処理を実行することで、設定したターゲット領域に光をフォーカスさせる入射光106を生成する。 In S224, the phase modulation amount Δφ is finished the measurement exceeds the 2 [pi, in S226, reads out the optimum phase phi j photoacoustic signal from the data stored in the memory is maximized, set as the phase of the segment j of SLM102 To do. In S227, the process moves to the next segment j + 1 of the SLM 102, and the above-described optimization of S222 to S227 is executed. In this way, by executing the optimization process for all the segments of the SLM 102, the incident light 106 that focuses the light on the set target area is generated.
本実施例では、S226で光音響信号が最大値となる位相φjを読み出しているが、少なくとも光音響信号の最大値の75%、好ましくは85%、更に好ましくは95%あればよい。 In this embodiment, the phase φ j at which the photoacoustic signal has the maximum value is read in S226, but at least 75%, preferably 85%, and more preferably 95% of the maximum value of the photoacoustic signal.
ここで、S220の入射波面の最適化には、上述のようにSLMの各セグメントの位相を逐一最適化するアルゴリズムの代わりに、非特許文献4に開示されている複数のセグメントを同時に最適化するPartitioning algorithmを用いてもよい。或いは、非特許文献5で開示されているように、遺伝的アルゴリズムを用いることもできる。特に光音響信号が微弱な場合には、複数のセグメントを同時に最適化するPartitioning algorithmや、遺伝的アルゴリズムが有効である。 Here, for optimization of the incident wavefront in S220, instead of the algorithm for optimizing the phase of each segment of the SLM one by one as described above, a plurality of segments disclosed in Non-Patent Document 4 are simultaneously optimized. You may use Partitioning algorithm. Alternatively, a genetic algorithm can be used as disclosed in Non-Patent Document 5. In particular, when the photoacoustic signal is weak, a partitioning algorithm that optimizes a plurality of segments simultaneously and a genetic algorithm are effective.
S220の最適化処理が終了すると、図2に示したS230の処理に移る。S230では、光音響信号を用いて媒質の光学特性を測定する深さ(目標位置)までターゲット位置ziが到達したかを判定する。到達していない場合はS240に移る。 When the optimization process in S220 is completed, the process proceeds to S230 shown in FIG. In S230, it determines whether depth measuring the optical properties of the medium by using the photoacoustic signal (target position) to a target position z i has reached. If not, the process proceeds to S240.
図4に、ある深さziにあるターゲット位置において最適化された入射波面を媒質107に照射したときの、同ターゲット領域108における光音響信号の深さ方向(z方向)のプロファイルを表す。S220の最適化の効果により、通常の光照射に比べて光音響信号の強度は向上され、その信号強度はziでピークとなり、深さ方向に広がり(半値幅W)をもつ形状となる(深さに対して垂直な断面方向にも広がりをもつ)。従って、図4に示す光音響信号のプロファイルを、超音波トランスデューサ104で測定することができる。S240では、図4に示されるような、S220の最適化の効果によって得られた信号分布の半値幅Wを測定する。 FIG. 4 shows a profile in the depth direction (z direction) of the photoacoustic signal in the target region 108 when the medium 107 is irradiated with an incident wavefront optimized at a target position at a certain depth z i . Due to the optimization effect of S220, the intensity of the photoacoustic signal is improved as compared with normal light irradiation, the signal intensity peaks at z i , and has a shape with a spread in the depth direction (half-value width W) ( It also spreads in the direction of the cross section perpendicular to the depth). Therefore, the profile of the photoacoustic signal shown in FIG. 4 can be measured by the ultrasonic transducer 104. In S240, the half width W of the signal distribution obtained as a result of the optimization in S220 as shown in FIG. 4 is measured.
次にS250では、反復処理で波面最適化を行うための次のターゲット位置zi+1を決める。ここで、次のターゲット位置zi+1は、現在のターゲット位置ziにおいて最適化された波面(第1の波面)を有する光を媒質に照射した際に測定信号が向上する領域に基づいて変更する。具体的には、図4に示されるような、深さ方向に応じて変化する測定信号の値が閾値より大きい範囲内でターゲット位置(測定位置)を変更する。例えば、測定信号の最大値の半分の値より大きい範囲内でターゲット位置を変更する。本実施例では、図4に示されるように、測定される半値幅Wに基づいて次のターゲット位置をzi+1=zi+W/2のように設定する。このターゲット位置の変更は、超音波トランスデューサ104のフォーカス位置を変更すればよく、S250では更新されたターゲット位置zi+1に超音波トランスデューサ104のフォーカスが一致するように設定する。 Next, in S250, the next target position z i + 1 for performing wavefront optimization is determined by iterative processing. Here, the next target position z i + 1 is changed based on a region where the measurement signal is improved when the medium is irradiated with light having a wavefront (first wavefront) optimized at the current target position z i . . Specifically, as shown in FIG. 4, the target position (measurement position) is changed within a range in which the value of the measurement signal that changes in accordance with the depth direction is larger than the threshold value. For example, the target position is changed within a range larger than half the maximum value of the measurement signal. In the present embodiment, as shown in FIG. 4, the next target position is set as z i + 1 = z i + W / 2 based on the measured half-value width W. The target position can be changed by changing the focus position of the ultrasonic transducer 104. In S250, the target is set so that the focus of the ultrasonic transducer 104 matches the updated target position z i + 1 .
本発明において、S250のようにしてターゲット位置を更新し、これを反復することが大きな特徴である。S220の最適化処理によって、位置ziで光音響信号が最大になるように最適化されると、同位置を中心に光音響信号の強度が向上される領域が生成される。この領域の広がりは、超音波トランスデューサ104で設定される超音波フォーカス領域の特性や、成形された入射波面が、同ターゲット位置まで伝搬したときの散乱波面の相関や、存在し得る独立なモード(optical mode)の数などに影響される。つまり、媒質固有の特性と、超音波のフォーカス領域などの制御可能な特性の両方の影響で、光音響信号は、ある空間的な広がりを持って信号強度が向上される。本発明では、上記最適化処理によるこのような効果を利用する。 The main feature of the present invention is that the target position is updated as in S250 and this is repeated. When optimization is performed so that the photoacoustic signal is maximized at the position z i by the optimization processing in S220, a region in which the intensity of the photoacoustic signal is improved around the same position is generated. The extent of this region is the characteristics of the ultrasonic focus region set by the ultrasonic transducer 104, the correlation of the scattered wavefront when the shaped incident wavefront propagates to the target position, and the independent modes that can exist ( It is influenced by the number of optical modes. In other words, the signal intensity of the photoacoustic signal is improved with a certain spatial extent due to the influence of both the characteristics specific to the medium and the controllable characteristics such as the focus area of the ultrasonic wave. In the present invention, such an effect by the optimization process is used.
S260では、S220で最適化によって得られた波面(位相分布)をSLM102にそのまま設定した状態でS220の最適化処理のステップに戻る。S220の最適化処理では、位置ziで最適化された波面が初期条件として既にSLM102に設定され、この波面を基準に波面の最適化を開始する。この位置ziで最適化された波面を媒質107に入射すれば、新しいターゲット位置zi+1で、前ステップで得られた信号強度の半分程度の信号強度が最適化処理の初期条件で得られる。この信号強度は、波面成形せずに光を媒質に入射させた場合に比べて強度が大きく向上している値である。従って、この信号強度を初期条件として用いることで、S220の最適化処理を効率よく実行することができる。例えば同様の効果は、非特許文献6にも開示されている。非特許文献6では、散乱媒質を透過した光がフォーカスするように最適化された入射波面に対し、散乱に相関がある範囲内(メモリ効果が現れる範囲内)で波面をシフトさせている。そのシフトさせた波面を最適化の初期値にして、再度最適化すれば、効率的に媒質の背後にフォーカススポットを生成できることが開示されている。 In S260, the wavefront (phase distribution) obtained by the optimization in S220 is set in the SLM 102 as it is, and the process returns to the optimization processing step in S220. In the optimization processing of S220, the wavefront optimized at the position z i is already set in the SLM 102 as an initial condition, and optimization of the wavefront is started based on this wavefront. If the wavefront optimized at the position z i is incident on the medium 107, a signal intensity of about half of the signal intensity obtained in the previous step is obtained at the initial condition of the optimization process at the new target position z i + 1 . This signal intensity is a value that greatly improves the intensity compared to the case where light is incident on the medium without wavefront shaping. Therefore, by using this signal strength as an initial condition, the optimization process of S220 can be executed efficiently. For example, the same effect is also disclosed in Non-Patent Document 6. In Non-Patent Document 6, the wavefront is shifted within a range correlated with scattering (in a range where the memory effect appears) with respect to an incident wavefront optimized so that light transmitted through the scattering medium is focused. It is disclosed that a focus spot can be efficiently generated behind the medium by optimizing the shifted wavefront as an initial value for optimization.
本発明では、上記のような最適化の効率化に加えて、1ステップ前の深さで最適化された入射波面を利用することで、次のステップの深さにおけるターゲット信号(光音響信号)がノイズに埋もれてしまうことを避ける目的がある。さらに、上記の反復処理を行うことで、通常の光照射では信号が測定できないような媒質内部の深い位置からも、信号を測定し、波面の最適化処理を行い、局所的な光学特性を測定することが特徴である。このように本発明の目的は、媒質の光学特性を測定する深さ(侵達長)を深くすることである。従来では、散乱媒質中の深い位置にターゲットを設定し、同位置から発生する信号を測定しようとしても、散乱や吸収による信号の減衰を受けて、信号を測定することが非常に困難となり、従って同信号を用いて入射波面を最適化することもまた困難となる。 In the present invention, in addition to the above-described optimization efficiency, the target signal (photoacoustic signal) at the depth of the next step is used by using the incident wavefront optimized at the depth of the previous step. Is to avoid being buried in noise. Furthermore, by performing the above iterative process, the signal is measured even from a deep position inside the medium where the signal cannot be measured by normal light irradiation, the wavefront is optimized, and the local optical characteristics are measured. It is a feature. Thus, an object of the present invention is to increase the depth (penetration length) for measuring the optical characteristics of a medium. Conventionally, even if a target is set at a deep position in a scattering medium and a signal generated from the position is measured, it is very difficult to measure the signal due to signal attenuation due to scattering and absorption. It is also difficult to optimize the incident wavefront using the signal.
S230でターゲット位置が、光学特性を測定する目的の深さに達した場合は、S270に移る。S270では、S220で最適化された入射波面を媒質に照射して、同ターゲット位置で光音響信号を測定することで、式(1)に基づく光学特性の測定を行う。S270で、同深さ断面の光音響信号を測定する場合、上述の深さ方向に対して反復して最適化した処理を、断面内の横方向に対して実行してもよい。例えば、ある深さにおいてS270の処理に移り、光音響信号を測定する場合、S220で最適化された入射波面を初期条件とし、光音響信号の取得位置(ターゲット位置)を横方向(深さに対して断面方向)にずらす。このずらしたターゲット位置で再度入射波面を最適化して、光音響信号を測定する。これを繰り返しながら同断面内で光音響信号を測定し、測定結果を画像化することも可能である。 When the target position reaches the target depth for measuring the optical characteristics in S230, the process proceeds to S270. In S270, the optical characteristic based on the formula (1) is measured by irradiating the medium with the incident wavefront optimized in S220 and measuring the photoacoustic signal at the target position. When measuring the photoacoustic signal of the cross section at the same depth in S270, the above-described process optimized repeatedly in the depth direction may be executed in the horizontal direction in the cross section. For example, when moving to the process of S270 at a certain depth and measuring a photoacoustic signal, the incident wavefront optimized in S220 is set as an initial condition, and the acquisition position (target position) of the photoacoustic signal is set in the lateral direction (depth). To the cross-sectional direction). The incident wavefront is optimized again at the shifted target position, and the photoacoustic signal is measured. It is also possible to measure the photoacoustic signal in the same section while repeating this, and to image the measurement result.
以上のように、本実施例では、まず、媒質の深さ方向における表面からの距離が比較的短い距離(第1の距離)にある測定位置(第1の測定位置)から発生する光音響信号の強度が高くなるように、第1の最適化処理を行って第1の波面を形成する。そして、測定位置と目標位置との距離が小さくなるように、測定位置を、媒質の深さ方向における表面からの距離が比較的長い距離(第1の距離よりも大きい第2の距離)にある測定位置(第2の測定位置)に変更する。さらに、媒質に第1の波面を有する光を照射させるとともに、該変更した測定位置(第2の測定位置)から発生する光音響信号の強度が高くなるように、第2の最適化処理を行って第1の波面を更新する(第2の波面)。以上を、第2の測定位置が目標位置に到達するまで反復処理する。すなわち、反復処理において、第2の測定位置を新たな第1の測定位置とし、第2の波面を新たな第1の波面として更新する。このように、本発明における処理ステップは、S200〜S260に示される目的の深さまで波面を成形する光フォーカスステップと、最適化された波面を用いて光学特性を測定する測定ステップ(或いはイメージングするステップ)とに大きく分類される。 As described above, in this embodiment, first, a photoacoustic signal generated from a measurement position (first measurement position) at a relatively short distance (first distance) from the surface in the depth direction of the medium. The first wavefront is formed by performing the first optimization process so that the intensity of the first wave becomes higher. The measurement position is at a relatively long distance (second distance greater than the first distance) from the surface in the depth direction of the medium so that the distance between the measurement position and the target position is small. Change to the measurement position (second measurement position). Further, the second optimization process is performed so that the medium is irradiated with light having the first wavefront and the intensity of the photoacoustic signal generated from the changed measurement position (second measurement position) is increased. To update the first wavefront (second wavefront). The above is repeated until the second measurement position reaches the target position. That is, in the iterative process, the second measurement position is set as a new first measurement position, and the second wavefront is updated as a new first wavefront. Thus, the processing steps in the present invention include an optical focus step for shaping the wavefront to the target depth shown in S200 to S260, and a measurement step (or imaging step) for measuring optical characteristics using the optimized wavefront. ).
また、S270において、媒質内部の注目領域(光音響信号を測定したい領域)に限定してターゲット位置108を走査して光音響信号を測定し、注目領域の吸収係数分布を定量的にイメージングしてもよい。さらに、同イメージングにより生成された画像(吸収係数分布画像)をディスプレイなどの表示装置112に表示してもよい。ここで、制御装置105は、検出した光音響信号に基づいて画像を生成する生成手段としての機能を有し、表示装置112は、生成した画像を表示する表示手段としての機能を有する。また、散乱媒質107が生体組織であり、上記光音響イメージングが診断目的である場合には、例えばディスプレイには、他の診断結果や測定データと、本実施形態により得られた吸収係数分布画像とを重ね合わせて表示するも可能である。このとき、光音響イメージングを実施する注目領域は、上記診断結果に基づいて設定することも可能である。或いは、超音波トランスデューサ104を用いて、超音波を送信し、その反射信号(エコーイメージ)から注目領域を設定してもよい。 In S270, the target position 108 is scanned only in the region of interest inside the medium (the region in which the photoacoustic signal is to be measured), the photoacoustic signal is measured, and the absorption coefficient distribution in the region of interest is quantitatively imaged. Also good. Furthermore, an image (absorption coefficient distribution image) generated by the imaging may be displayed on a display device 112 such as a display. Here, the control device 105 has a function as a generation unit that generates an image based on the detected photoacoustic signal, and the display device 112 has a function as a display unit that displays the generated image. When the scattering medium 107 is a living tissue and the photoacoustic imaging is for diagnostic purposes, for example, the display includes other diagnostic results and measurement data, and the absorption coefficient distribution image obtained by the present embodiment. It is also possible to superimpose and display. At this time, the region of interest for performing photoacoustic imaging can be set based on the diagnosis result. Alternatively, the ultrasonic transducer 104 may be used to transmit ultrasonic waves, and the region of interest may be set from the reflected signal (echo image).
さらに、任意の複数の波長を用いて以上説明した測定及び処理を実行し、媒質内部の分光特性を測定してもよい。そして、その分光特性を用いて、例えば、酸化ヘモグロビン、還元ヘモグロビン、水などの成分比率や、酸素飽和度などの代謝情報を求め、イメージングすることも可能である。このような媒質の代謝情報の分布を注目領域に対して3次元的に求め、その断層像を表示装置に表示してもよい。 Furthermore, the spectral characteristics inside the medium may be measured by executing the above-described measurement and processing using a plurality of arbitrary wavelengths. Then, by using the spectral characteristics, for example, it is possible to obtain a component ratio of oxyhemoglobin, reduced hemoglobin, water, etc., and metabolic information such as oxygen saturation and image it. The distribution of metabolic information of such a medium may be obtained three-dimensionally with respect to the region of interest, and the tomographic image may be displayed on the display device.
また、できるだけ高速に光音響信号を測定する深さへS230で到達するために、S220の最適化処理におけるS222において、必ずしも全てのセグメントについて処理を実行する必要はない。例えば、いくつかのセグメントに対して最適化の処理を実行する。その後、位置ziに対して次の深さ位置zi+1においても光音響信号がノイズに対して十分向上され、測定可能である場合には、最適化が未処理のセグメントがあってもS220の最適化処理を終了し、次のステップに移ってもよい。或いは、位置ziと、位置zi+1両方の位置で光音響信号を並列してモニタし、SLMの領域を2分割(若しくは2つのSLMを用いる)してもよい。このとき、一方で波面を最適化した結果を他方でモニタして最適化し、並列的に順次測定の深さを深くすることも可能である。 Further, in order to reach the depth at which the photoacoustic signal is measured as fast as possible in S230, it is not always necessary to execute the process for all segments in S222 in the optimization process of S220. For example, optimization processing is executed for several segments. Thereafter, the photoacoustic signal is also at the next depth position z i + 1 with respect to the position z i is sufficiently enhanced against noise, if it is measurable, optimization of S220 even if unprocessed segment The optimization process may be terminated and the next step may be performed. Alternatively, the photoacoustic signals may be monitored in parallel at both the position z i and the position z i + 1 , and the SLM region may be divided into two (or two SLMs are used). At this time, on the one hand, the result of optimizing the wavefront can be monitored and optimized on the other side, and the depth of measurement can be increased sequentially in parallel.
また、深さ方向へ逐次最適化していく際、次の深さへのステップサイズを半値幅Wに基づいて決める代わりに、フォーカス領域を何らかの閾値を設定し、その閾値に基づいてステップサイズを決定することも可能である。 When sequentially optimizing in the depth direction, instead of determining the step size to the next depth based on the half width W, a certain threshold is set for the focus area, and the step size is determined based on the threshold. It is also possible to do.
(実施形態2)
本発明の第2の実施形態に係る散乱媒質の光学特性の測定方法及び装置を説明する。図5は、本実施形態における測定装置の例示的な構成を示す概略図である。媒質305は、生体組織を含む被検媒質であり、可視から近赤外の光に対して散乱媒質である。いま、媒質305から発生する蛍光信号を測定して、イメージングする装置において、本発明を適用した場合について説明する。
(Embodiment 2)
A method and apparatus for measuring the optical characteristics of a scattering medium according to a second embodiment of the present invention will be described. FIG. 5 is a schematic diagram illustrating an exemplary configuration of the measurement apparatus according to the present embodiment. The medium 305 is a test medium including a living tissue, and is a scattering medium for visible to near-infrared light. Now, a case where the present invention is applied to an apparatus that measures and images a fluorescent signal generated from the medium 305 will be described.
光源300は、媒質305内部にある蛍光物質の特性などに応じて、波長やパルス幅などが調整された光を放射する。光源300から放射された光は、ビームスプリッタ301を透過し、SLM302へ照射される。SLM302は制御装置308によって制御され、後述する最適化処理に基づき、媒質305へ入射される波面を成形(位相変調)する。このSLM302および制御装置308により、後述のCCDの出力に基づいて、光の波面を制御する制御手段が構成される。SLM302を反射した波面成形された光は、ビームスプリッタ301を反射し、ダイクロイックミラー303を反射し、光学系304を介して媒質305へ照射される。 The light source 300 emits light whose wavelength, pulse width, and the like are adjusted in accordance with the characteristics of the fluorescent substance in the medium 305. Light emitted from the light source 300 passes through the beam splitter 301 and is applied to the SLM 302. The SLM 302 is controlled by the control device 308, and shapes (phase modulates) a wavefront incident on the medium 305 based on an optimization process described later. The SLM 302 and the control device 308 constitute control means for controlling the wavefront of light based on the output of the CCD described later. The wave-shaped light reflected by the SLM 302 is reflected by the beam splitter 301, reflected by the dichroic mirror 303, and irradiated onto the medium 305 via the optical system 304.
散乱媒質305に入射した光は、光学系304で設定されたフォーカス領域近傍へと散乱されながら媒質305内部を伝搬する。媒質305内部には光源300から放射された光の波長によって励起され、蛍光を発する物質が含まれる。いま、光学系304でフォーカスされている領域へ集中的に光が照射され、同領域を中心に蛍光物質が励起され、蛍光信号が生成される。この蛍光信号を光学系304で収集し、ダイクロイックミラー303を通してノイズとなる励起波長の光は除去して蛍光信号を透過させる。さらに蛍光波長の信号を選択的に透過させるバンドパスフィルタ306によって、フィルタリングされた蛍光信号がCCD307に入射される。CCD307は、光が照射された媒質から発生する信号を検出(測定)する検出手段(測定手段)として機能する。ここで、CCD307の代わりに、CMOSセンサ、或いは、イメージインテンシファイアを有するエリアセンサ、或いはEMCCDも適用可能である。 The light incident on the scattering medium 305 propagates through the medium 305 while being scattered near the focus area set by the optical system 304. The medium 305 contains a substance that is excited by the wavelength of light emitted from the light source 300 and emits fluorescence. Now, light is intensively applied to a region focused by the optical system 304, and a fluorescent substance is excited around the region, and a fluorescent signal is generated. This fluorescence signal is collected by the optical system 304, and light having an excitation wavelength that becomes noise is removed through the dichroic mirror 303 to transmit the fluorescence signal. Further, the filtered fluorescence signal is incident on the CCD 307 by a band-pass filter 306 that selectively transmits a fluorescence wavelength signal. The CCD 307 functions as a detection unit (measurement unit) that detects (measures) a signal generated from a medium irradiated with light. Here, instead of the CCD 307, a CMOS sensor, an area sensor having an image intensifier, or an EMCCD is also applicable.
このような蛍光イメージングの装置構成において、第1の実施形態で説明したのと同様に、光学系304のフォーカス位置で決まる局所位置(ターゲット位置)からの蛍光信号が向上するように、入射光の波面を成形する。CCD307で測定される蛍光信号をモニタしながら、制御装置308でSLM302を制御することで、媒質305に入射する光の波面を最適化することができる。さらに、本実施形態においても第1の実施形態と同様に、蛍光信号を測定するターゲット位置を徐々に深くし、同位置に応じて逐次的に入射波面を最適化する。この処理を実行することで、媒質の深い位置へ効率的に光をフォーカスさせて、蛍光信号を用いたイメージングを行う。本実施形態の処理フローは、図2及び図3で示した第1の実施形態のフローとほぼ同様に行う(図2及び図3で光音響信号と記載している箇所を蛍光信号に置き換えればよい)。従って、以下で図2及び図3を用いて処理フローを説明する。 In such a fluorescence imaging apparatus configuration, as described in the first embodiment, the incident light of the incident light is improved so that the fluorescence signal from the local position (target position) determined by the focus position of the optical system 304 is improved. Shape the wavefront. The wavefront of the light incident on the medium 305 can be optimized by controlling the SLM 302 with the control device 308 while monitoring the fluorescence signal measured by the CCD 307. Further, in the present embodiment, as in the first embodiment, the target position for measuring the fluorescence signal is gradually deepened, and the incident wavefront is sequentially optimized according to the position. By executing this processing, light is efficiently focused to a deep position in the medium, and imaging using a fluorescence signal is performed. The processing flow of this embodiment is performed in substantially the same manner as the flow of the first embodiment shown in FIGS. 2 and 3 (if the portion described as the photoacoustic signal in FIGS. 2 and 3 is replaced with a fluorescence signal). Good). Therefore, the processing flow will be described below with reference to FIGS.
まず図2のS200に対応する最初のターゲット位置z0の設定は、光学系304のフォーカス位置を適切に調整し、蛍光信号がノイズに埋もれることなく十分測定可能な深さに設定する。S210で光源300をオンにし、蛍光信号の計測を開始したらS220の最適化処理に移る。S220の最適化の処理は図3で示す処理と同様に行うことができる。ここでも、図3で示した最適化のアルゴリズムの代わりに、前述したPartitioning algorithmや、遺伝的アルゴリズムを用いてもよい。このような最適化によって、ターゲット位置で蛍光信号の強度が最大になるような入射波面を生成することができる。 First, the initial target position z 0 corresponding to S200 in FIG. 2 is set to a depth at which the fluorescence signal is sufficiently measurable without being buried in noise by appropriately adjusting the focus position of the optical system 304. When the light source 300 is turned on in S210 and measurement of the fluorescence signal is started, the process proceeds to optimization processing in S220. The optimization processing in S220 can be performed in the same manner as the processing shown in FIG. Here, instead of the optimization algorithm shown in FIG. 3, the above-mentioned Partitioning algorithm or genetic algorithm may be used. Such optimization can generate an incident wavefront that maximizes the intensity of the fluorescence signal at the target position.
本実施形態においても、最適化によって蛍光信号が向上した領域に応じて、次の深さ方向のターゲット位置zi+1を決め(S240〜S250)、位置ziで最適化された入射波面を次の位置zi+1での最適化の初期条件に設定する(S260)。 Also in this embodiment, the target position z i + 1 in the next depth direction is determined according to the region where the fluorescence signal is improved by the optimization (S240 to S250), and the incident wavefront optimized at the position z i is The initial conditions for optimization at the position z i + 1 are set (S260).
図6は、最適化された入射波面を媒質305に入射したときに、CCD307で測定される蛍光信号の断面プロファイルを模式的に示した図である。図6のプロットの横軸は、媒質の深さz方向に垂直な横方向r(x−y方向)の位置を表し、縦軸は測定される蛍光信号の強度を表す。riはターゲット領域のx−y断面における中心位置で、深さはziとする。S220では同位置から発生する蛍光信号をターゲットに最適化が実行される。通常の光照射で得られる信号と比べて、測定される蛍光信号は最適化の結果大きく向上される。図6に示すように、蛍光信号の強度は、ターゲット位置を中心に空間的な広がりをもって向上する。この強度が向上する領域は、光学系304の開口数(NA)で決まるフォーカスのスポット径や、成形された入射波面が、位置riまで伝搬したときの散乱波面の相関によって決まる。 FIG. 6 is a diagram schematically showing a cross-sectional profile of the fluorescence signal measured by the CCD 307 when the optimized incident wavefront is incident on the medium 305. The horizontal axis of the plot in FIG. 6 represents the position in the horizontal direction r (xy direction) perpendicular to the depth z direction of the medium, and the vertical axis represents the intensity of the fluorescence signal to be measured. r i is the center position in the xy cross section of the target region, and the depth is z i . In S220, optimization is executed with the fluorescent signal generated from the same position as the target. Compared with the signal obtained by normal light irradiation, the measured fluorescence signal is greatly improved as a result of optimization. As shown in FIG. 6, the intensity of the fluorescence signal is improved with a spatial spread around the target position. Region in which the strength is improved, the focus and the spot diameter determined by the numerical aperture (NA) of the optical system 304, the incident wave front that is molded, determined by the correlation of the scattered wave front when propagated to the position r i.
ここで、本実施形態では光学系304のフォーカス位置ziに対応する断面の蛍光信号がCCD307で測定されるため、第1の実施形態の図4で示したような、深さ方向の蛍光信号の広がりが直接モニタされない。従って、図4のような深さ方向のプロファイルを得るために、光学系304のフォーカス位置ziを変えながら蛍光信号をモニタしてもよい。得られたプロファイルから、図4に示す分布の半値幅Wを直接測定(S240)して、次の深さzi+1を適切に設定(S250)してもよい。 Here, in this embodiment, since the fluorescence signal of the cross section corresponding to the focus position z i of the optical system 304 is measured by the CCD 307, the fluorescence signal in the depth direction as shown in FIG. 4 of the first embodiment. The spread of is not monitored directly. Therefore, in order to obtain a profile in the depth direction as shown in FIG. 4, the fluorescence signal may be monitored while changing the focus position z i of the optical system 304. From the obtained profile, the half width W of the distribution shown in FIG. 4 may be directly measured (S240), and the next depth z i + 1 may be appropriately set (S250).
或いは、図6に示される横方向の蛍光信号のプロファイルから以下のように次の深さ位置zi+1を設定してもよい。一般的に、媒質内部における光の伝搬が深さz方向(前方方向)が支配的であるような領域(非拡散領域)においては、最適化によって強度向上した蛍光信号のプロファイルは、横方向rよりも深さz方向に伸びたプロファイルになる。さらに多重散乱の結果、光の伝搬がほぼ等方的と見なせるような領域(拡散領域)の場合、上記プロファイルはほぼ等方的に広がるとみなしてもよい。従って、何れの場合においても、蛍光信号の半値幅をWとすれば、次のターゲット位置の深さzi+1をzi+1=zi+W、或いは、少なくともzi+1=zi+W/2のようにして設定すれば、zi+1において最適化の結果による信号強度の向上が得られる。このように、次のターゲット位置zi+1を、媒質の深さ方向に対して垂直な面内における信号(蛍光信号)の強度分布から推定して設定してもよい。このように設定した深さzi+1に対し、深さziで最適化した波面を初期条件にして、再度最適化を繰り返す。 Alternatively, the next depth position z i + 1 may be set as follows from the profile of the fluorescent signal in the horizontal direction shown in FIG. In general, in a region (non-diffusion region) where the propagation of light within the medium is dominant in the depth z direction (forward direction), the profile of the fluorescence signal whose intensity has been improved by the optimization is the transverse direction r. The profile extends in the depth z direction. Further, in the case of a region (diffusion region) in which light propagation can be regarded as nearly isotropic as a result of multiple scattering, the profile may be regarded as broadening almost isotropically. Accordingly, in any case, if the half-value width of the fluorescence signal is W, the depth z i + 1 of the next target position is set to z i + 1 = z i + W, or at least z i + 1 = z i + W / 2. Thus, the signal strength can be improved as a result of optimization at z i + 1 . In this way, the next target position z i + 1 may be set by estimating from the intensity distribution of the signal (fluorescence signal) in a plane perpendicular to the depth direction of the medium. For the depth z i + 1 set in this way, the optimization is repeated again using the wavefront optimized at the depth z i as an initial condition.
このように、1ステップ前の深さziで最適化された入射波面を次ステップの深さにおける最適化に利用することで、ターゲットの蛍光信号がノイズに埋れることを防ぎ、且つ効率的に波面の最適化を収束させることができる。さらに、ターゲットの深さに応じて逐次入射波面を最適化して、効率的に深い位置に光をフォーカスさせて(光フォーカスステップ)、蛍光信号による媒質のイメージングを行う。例えば、ある目的の深さで蛍光イメージングを行いたい場合、同深さまでS220〜S260を繰り返す。このとき、途中の深さの蛍光信号を測定する必要がない場合は、S220の最適化を収束するまで実行する必要はない。次ステップの深さ位置において、信号強度が向上し、十分測定可能であれば、最適化を中断し、その時点で成形された波面を次の深さの初期条件に設定してもよい。それにより処理を高速化し、目的の深さへより早く到達して、蛍光イメージングを実行することができる。 In this way, by using the incident wavefront optimized at the depth z i of the previous step for optimization at the depth of the next step, it is possible to prevent the target fluorescence signal from being buried in noise and efficiently. The wavefront optimization can be converged to. Further, the incident wavefront is sequentially optimized according to the depth of the target, and the light is efficiently focused at a deep position (light focusing step), and the medium is imaged by the fluorescence signal. For example, when it is desired to perform fluorescence imaging at a certain target depth, S220 to S260 are repeated until the same depth. At this time, if there is no need to measure a fluorescence signal at a midway depth, it is not necessary to execute the optimization of S220 until convergence. If the signal strength is improved at the depth position of the next step and sufficient measurement is possible, the optimization may be interrupted and the wavefront formed at that time may be set as the initial condition of the next depth. As a result, the processing speed can be increased, the target depth can be reached earlier, and fluorescence imaging can be performed.
以上のように、本実施例では、まず、媒質の深さ方向における表面からの距離が比較的短い距離(第1の距離)にある測定位置(第1の測定位置)から発生する蛍光信号の強度が高くなるように第1の波面を形成する。そして、目標位置に近づくように、測定位置を、媒質の深さ方向における表面からの距離が比較的長い距離(第1の距離よりも大きい第2の距離)にある測定位置(第2の測定位置)に変更し、媒質に第1の波面を有する光を照射させるとともに、該変更した測定位置(第2の測定位置)から発生する蛍光信号の強度が高くなるように第1の波面を更新する(第2の波面)。以上を、第2の測定位置が目標位置に到達するまで反復処理することを特徴とする。 As described above, in this embodiment, first, the fluorescence signal generated from the measurement position (first measurement position) at a relatively short distance (first distance) from the surface in the depth direction of the medium. The first wavefront is formed so as to increase the intensity. Then, the measurement position is set to a measurement position (second measurement) at a relatively long distance (second distance larger than the first distance) from the surface in the depth direction of the medium so as to approach the target position. The first wavefront is updated so that the intensity of the fluorescent signal generated from the changed measurement position (second measurement position) is increased, and the medium is irradiated with light having the first wavefront. (Second wavefront). The above is characterized by iteratively processing until the second measurement position reaches the target position.
また、上記のような媒質の深さ方向における反復の処理フローを、蛍光イメージングを実行する走査フローと同期して実行してもよい。例えば、図2に示す処理フローに従って、深さ方向に1次元の蛍光信号のプロファイルのデータを得る。次に、イメージングする位置を横方向にずらして(例えば、媒質305を保持しているステージを動かして)、同様に次の深さ方向のデータを得る。これを例えば、媒質305のある注目領域内に対して順次繰り返すことで、同領域における蛍光信号の3次元分布をイメージングすることができる。さらに、深さ方向や横方向の走査に対して、近傍領域で既に最適化して得られた波面を初期条件に利用して、新たな測定位置で効率よく最適化を実行してイメージングすることもできる。生成された画像は、ディスプレイなどの表示装置(図示せず)に表示してもよい。 In addition, the repeated processing flow in the depth direction of the medium as described above may be executed in synchronization with the scanning flow for executing fluorescence imaging. For example, one-dimensional fluorescence signal profile data is obtained in the depth direction according to the processing flow shown in FIG. Next, the imaging position is shifted in the horizontal direction (for example, the stage holding the medium 305 is moved), and data in the next depth direction is similarly obtained. For example, the three-dimensional distribution of the fluorescence signal in the same region can be imaged by sequentially repeating this operation within a certain region of interest of the medium 305. In addition, using the wavefront already optimized in the vicinity region for the depth and horizontal scans as an initial condition, the optimization can be performed efficiently at the new measurement position and imaged. it can. The generated image may be displayed on a display device (not shown) such as a display.
ここで、蛍光信号とは前述したTPFのように、非線形現象の多光子励起により発光した信号も含む。また、蛍光信号によるイメージングだけに限らず、例えば、媒質に光を照射して、後述する実施例で説明するように超音波変調光信号を測定してイメージングする手法において、本発明を適用してもよい。また、媒質内部の第二次高調波(SHG)や第三次高調波(THG)を測定してイメージングする手法において、本発明を適用してもよい。或いは、誘導ラマン散乱(SRS)や、コヒーレント反ストークスラマン散乱(CARS)などを含むラマン散乱に起因する信号のイメージングにおいて、本発明を適用してもよい。また、OCT(Optical Coherence Tomography)や、共焦点顕微鏡など、散乱媒質内部のある特定の深さから発生する信号を識別(セクショニング)して測定・イメージングする場合においても本発明を適用することができる。このように本発明の測定信号は、例えば、光音響信号、蛍光信号、超音波変調光信号、高調波信号、ラマン散乱信号、OCT信号、共焦点光学系により取得される光強度信号のうちいずれかの信号であってよい。 Here, the fluorescence signal includes a signal emitted by multiphoton excitation of a nonlinear phenomenon, such as the TPF described above. Further, the present invention is not limited to imaging using a fluorescent signal, and for example, the present invention is applied to a method of irradiating a medium with light and measuring and imaging an ultrasonically modulated optical signal as will be described in an embodiment described later. Also good. Further, the present invention may be applied to a technique for measuring and imaging the second harmonic (SHG) and the third harmonic (THG) inside the medium. Alternatively, the present invention may be applied to imaging of signals caused by Raman scattering including stimulated Raman scattering (SRS) and coherent anti-Stokes Raman scattering (CARS). Further, the present invention can also be applied to the case of measuring and imaging by identifying (sectioning) a signal generated from a specific depth inside a scattering medium, such as OCT (Optical Coherence Tomography) or a confocal microscope. . Thus, the measurement signal of the present invention can be any one of, for example, a photoacoustic signal, a fluorescence signal, an ultrasonic modulation light signal, a harmonic signal, a Raman scattering signal, an OCT signal, or a light intensity signal acquired by a confocal optical system. It may be a signal.
(実施形態3)
本発明の第3の実施形態に係る散乱媒質の光学特性の測定方法及び装置を説明する。図7は、本実施形態における測定装置の例示的な構成を示す概略図である。媒質405は、生体組織を含む被検媒質であり、可視から近赤外の光に対して散乱媒質である。いま、媒質405に超音波を照射し、超音波で変調された光(超音波変調光)を発生させて光学特性を測定する装置において、本発明を適用した場合について説明する。
(Embodiment 3)
A method and apparatus for measuring the optical properties of a scattering medium according to a third embodiment of the present invention will be described. FIG. 7 is a schematic diagram illustrating an exemplary configuration of the measurement apparatus according to the present embodiment. The medium 405 is a test medium including a living tissue, and is a scattering medium for visible to near-infrared light. Now, a case where the present invention is applied to an apparatus for measuring optical characteristics by irradiating a medium 405 with ultrasonic waves and generating light modulated with ultrasonic waves (ultrasonic modulated light) will be described.
光源400からは、コヒーレンス長が長く(例えば、1m以上)、数10〜数100μsのパルス光が出力される。また光源400から放出される光の波長は、前述したように、例えば媒質405を構成する要素である水、脂肪、タンパク質、酸化ヘモグロビン、還元ヘモグロビン、などの吸収スペクトルに応じた複数の波長を選択することができる。 The light source 400 outputs pulsed light having a long coherence length (for example, 1 m or more) and several tens to several hundreds of μs. As described above, the wavelength of light emitted from the light source 400 is selected from a plurality of wavelengths according to the absorption spectrum of water, fat, protein, oxyhemoglobin, deoxyhemoglobin, etc., which are elements constituting the medium 405, for example. can do.
光源400から放出されたパルス光は、ビームスプリッタ401を透過し、SLM402へ照射される。SLM402は制御装置408によって制御され、後述する最適化処理に基づき、媒質405へ入射される波面を成形(位相変調)する。このSLM402および制御装置408により、後述の検出システムの出力に基づいて、光の波面を制御する制御手段が構成される。SLM402を反射した波面成形された光409は、ビームスプリッタ401を反射し、光学系403を介して媒質405へ入射される。 The pulsed light emitted from the light source 400 passes through the beam splitter 401 and is applied to the SLM 402. The SLM 402 is controlled by the control device 408, and shapes (phase modulates) a wavefront incident on the medium 405 based on an optimization process described later. The SLM 402 and the control device 408 constitute control means for controlling the wavefront of light based on the output of a detection system described later. The wave-shaped light 409 reflected from the SLM 402 is reflected from the beam splitter 401 and is incident on the medium 405 via the optical system 403.
一方、超音波トランスデューサ404によって、集束超音波パルス410が媒質405に照射され、超音波集束領域411が生成される。超音波トランスデューサ404の中心には、入射光409が通過するための開口があり、光と超音波が同軸で媒質405に照射される。ここで、照射する超音波は、例えば1〜数10MHzの範囲であり、制御装置408によって照射する超音波強度は適切に調整される。例えば、媒質405が生体組織の場合、超音波強度は照射可能な安全基準以下の強度内で調整される。また、超音波トランスデューサ404は、媒質405と音響的に整合されている。 On the other hand, the ultrasonic transducer 404 irradiates the medium 405 with the focused ultrasonic pulse 410 and generates an ultrasonic focused region 411. At the center of the ultrasonic transducer 404, there is an opening through which the incident light 409 passes, and the medium 405 is irradiated coaxially with light and ultrasonic waves. Here, the ultrasonic wave to irradiate is in the range of 1 to several tens of MHz, for example, and the ultrasonic intensity applied by the control device 408 is appropriately adjusted. For example, when the medium 405 is a living tissue, the ultrasonic intensity is adjusted within an intensity that is less than the safety standard that can be irradiated. Further, the ultrasonic transducer 404 is acoustically aligned with the medium 405.
散乱媒質405に入射した光は、多重散乱されながら媒質405内部を伝搬し、多重散乱された光の一部は超音波集束領域411に到達する。超音波集束領域411では、媒質の屈折率が超音波によって変調され、さらに媒質中の散乱体(散乱粒子412)の変位が印加された超音波の周波数faで誘起される。その超音波集束領域411に光が侵入すると、上記の屈折率変調と散乱体変位による光路長変化によって光は位相の変調効果を受け、超音波の周波数faに応じて周波数がシフトする。この超音波によって周波数がシフトした光(超音波変調光)が、超音波集束領域411から放射される。放射された超音波変調光は、再び媒質405内部を散乱されながら伝搬し、媒質405から射出される。 The light incident on the scattering medium 405 propagates inside the medium 405 while being multiple scattered, and a part of the multiple scattered light reaches the ultrasonic focusing region 411. In the ultrasonic focus region 411, the refractive index of the medium is modulated by the ultrasound, further displacement of the scatterers in the medium (scattering particles 412) is induced by the ultrasonic frequency f a which is applied. When the light in the ultrasonic focus region 411 enters the light by the optical path length change due to scatterer displacement and the refractive index modulation described above receives the modulation effect of the phase, the frequency is shifted in accordance with the ultrasonic frequency f a. The light whose frequency is shifted by this ultrasonic wave (ultrasonic modulated light) is emitted from the ultrasonic focusing region 411. The emitted ultrasonically modulated light propagates again while being scattered inside the medium 405 and is emitted from the medium 405.
ここで、超音波集束領域411を局在化させるために、制御装置408によって集束超音波パルス410と入射光409の照射のタイミングは適切に調整され、集束超音波パルスがターゲット位置411に達するタイミングで照射される。超音波のパルス幅は、超音波集束領域411のサイズ及び、媒質中の超音波の速度に応じて設定される。 Here, in order to localize the ultrasonic focusing region 411, the timing of irradiation of the focused ultrasonic pulse 410 and the incident light 409 is appropriately adjusted by the control device 408, and the timing at which the focused ultrasonic pulse reaches the target position 411. Irradiated with. The pulse width of the ultrasonic wave is set according to the size of the ultrasonic focusing area 411 and the speed of the ultrasonic wave in the medium.
媒質405から放射された超音波変調光を検出システム407によって検出する。検出システム407は、光が照射された媒質から発生する信号を検出(測定)する検出手段(測定手段)として機能する。検出システム407は、単一センサと、ロックインアンプ(lock−in amplifier)、或いはバンドパスフィルタと組み合わせて周波数シフトした超音波変調光の光強度をモニタするシステムを用いることができる。ここで、単一センサとして、フォトダイオード(PD)、アバランシェフォトダイオード(APD)、光電子増倍管(PMT)などを使用することができる。或いは、CCDや、CMOS、EMCCD、若しくはCCDにイメージインテンシファイアを組み合わせた2次元センサアレイを用いてもよい。また、2次元センサアレイを用い、超音波トランスデューサ404のオン時とオフ時のそれぞれのスペックルコントラストから、超音波変調光の信号強度に関連する変調度の信号を測定するシステムを用いてもよい。 The ultrasonic modulation light emitted from the medium 405 is detected by the detection system 407. The detection system 407 functions as a detection unit (measurement unit) that detects (measures) a signal generated from a medium irradiated with light. As the detection system 407, a system that monitors the light intensity of the ultrasonically modulated light that is frequency-shifted in combination with a single sensor, a lock-in amplifier, or a band-pass filter can be used. Here, a photodiode (PD), an avalanche photodiode (APD), a photomultiplier tube (PMT), or the like can be used as a single sensor. Alternatively, a CCD, CMOS, EMCCD, or a two-dimensional sensor array in which an image intensifier is combined with a CCD may be used. In addition, a system that uses a two-dimensional sensor array and measures a modulation degree signal related to the signal intensity of ultrasonically modulated light from each speckle contrast when the ultrasonic transducer 404 is on and off may be used. .
入射光409の波面を成形するための最適化処理は、基本的には図2、図3で示したフローと同様に行う。即ち、検出システム407で測定された超音波変調光信号に基づき、同信号が最大になるように制御装置408がSLM402を制御し、図3と同様にして、入射波面を成形する。最適化のターゲットである超音波変調光信号は、超音波集束領域411から発生する信号であるため、上記のようにして最適化された入射光は、集束超音波パルスが局在する位置(超音波集束領域411)にフォーカスされる。図2のS240〜S260で説明したように、光がフォーカスされる位置をziとし、位置ziを中心に広がるフォーカス領域から、次のターゲット位置zi+1を設定し、更新された位置で最適化を実施する。このとき、位置ziで最適化された入射波面を、次の位置zi+1における最適化の初期条件として設定し、最適化を反復させる。 The optimization process for shaping the wavefront of the incident light 409 is basically performed in the same manner as the flow shown in FIGS. That is, based on the ultrasonic modulated optical signal measured by the detection system 407, the control device 408 controls the SLM 402 so that the signal becomes maximum, and shapes the incident wavefront in the same manner as in FIG. Since the ultrasonic modulation optical signal that is an optimization target is a signal generated from the ultrasonic focusing region 411, the incident light optimized as described above is a position where the focused ultrasonic pulse is localized (super The sound wave focusing area 411) is focused. As described in S240 to S260 of FIG. 2, the position where light is focused is set as z i, and the next target position z i + 1 is set from the focus area that spreads around the position z i, and is optimal at the updated position. To implement. At this time, the incident wavefront that has been optimized position z i, and set as an initial condition for optimization in the next position z i + 1, is repeated optimization.
このとき、入射波面の最適化によって得られる光のフォーカス領域は、超音波トランスデューサ404で設定する超音波のフォーカスに関するパラメータで制御することができる。図8は、媒質405内部の集束超音波パルスの局在位置(ターゲット領域)を模式的に示した図である。いま、超音波パルスのパルス幅を適切に調整することによって、図8に示すように深さ方向(z方向)に伸びた超音波集束領域を生成することが可能である。超音波集束領域のz方向のサイズを、集束超音波パルスの半値幅Wで定義すれば、Wは超音波トランスデューサ404に印加する電気信号のパルス幅で自由に制御することできる。深さziは超音波パルスの中心位置で、いま、入射波面の最適化処理でターゲット領域420に光がフォーカスされているとする。このとき本実施形態において、図2のS240〜S250に対応する処理として、制御装置408で設定されたパルス幅Wに基づき、次の最適化のターゲット領域430の中心位置zi+1をzi+1=zi+W/2のように設定する。このように、媒質に超音波を照射することで、該媒質の内部に超音波が集束する超音波集束領域を形成させ、次のターゲット位置zi+1を、該超音波集束領域の深さ方向の大きさに基づいて設定する。このように更新されたターゲット位置zi+1に対し、位置ziで最適化された入射波面を、初期条件として設定して再び最適化を行う。上記のような処理を反復的に行うことで、光学特性を測定する目的の深さまで波面を逐次的に最適化していく。 At this time, the focus area of the light obtained by optimizing the incident wavefront can be controlled by parameters relating to the focus of the ultrasonic wave set by the ultrasonic transducer 404. FIG. 8 is a diagram schematically showing the localized position (target region) of the focused ultrasonic pulse inside the medium 405. Now, by appropriately adjusting the pulse width of the ultrasonic pulse, it is possible to generate an ultrasonic focusing area extending in the depth direction (z direction) as shown in FIG. If the size of the ultrasonic focusing region in the z direction is defined by the half width W of the focused ultrasonic pulse, W can be freely controlled by the pulse width of the electric signal applied to the ultrasonic transducer 404. Depth z i is the center position of the ultrasonic pulse, and it is assumed that the light is focused on the target region 420 by the optimization process of the incident wavefront. At this time, in the present embodiment, as processing corresponding to S240 to S250 in FIG. 2, the center position z i + 1 of the next optimization target region 430 is set to z i + 1 = z based on the pulse width W set by the control device 408. Set as i + W / 2. In this way, by irradiating the medium with ultrasonic waves, an ultrasonic focusing region in which the ultrasonic waves are focused is formed inside the medium, and the next target position z i + 1 is set in the depth direction of the ultrasonic focusing region. Set based on size. For the target position z i + 1 updated in this way, the incident wavefront optimized at the position z i is set as an initial condition and optimized again. By repeatedly performing the above processing, the wavefront is sequentially optimized to the target depth for measuring the optical characteristics.
本実施形態における最大の特徴は、次のステップサイズΔzを比較的自由に制御できるところにある。超音波のパルス幅を大きくすれば、Δzを大きくすることができ、より効率的に目的の深さへフォーカスさせることが可能な入射波面を生成することができる。 The greatest feature of this embodiment is that the next step size Δz can be controlled relatively freely. If the pulse width of the ultrasonic wave is increased, Δz can be increased, and an incident wavefront that can be focused more efficiently to the target depth can be generated.
上記の処理によって、目的の深さまで到達すれば(図2のS230でYes)、同深さで超音波変調光を測定信号として、媒質内部の光学特性を測定する。前述したように、ターゲット領域を同一深さの断面内で横方向にスキャンしながら、超音波変調光を測定することで媒質405内部の局所的な光学特性をイメージングすることができる。このとき、横方向のスキャン時に、1ステップ隣で最適化した入射波面を、次の横方向の位置での入射波面の最適化の初期条件として設定してもよい。横方向に対しても深さ方向と同様に、逐次入射波面を最適化しながらイメージングを実行することができる。また、媒質内部でターゲット領域を空間的にスキャンさせながら超音波変調光を測定し、イメージングした結果をディスプレイなどの表示装置(図示せず)に表示してもよい。 When the target depth is reached by the above processing (Yes in S230 in FIG. 2), the optical characteristics inside the medium are measured using the ultrasonic modulation light as a measurement signal at the same depth. As described above, local optical characteristics inside the medium 405 can be imaged by measuring the ultrasonic modulation light while scanning the target region in the horizontal direction within the cross section of the same depth. At this time, the incident wavefront optimized next to one step may be set as an initial condition for optimizing the incident wavefront at the next horizontal position during the horizontal scanning. As in the depth direction, imaging can be performed while optimizing the incident wavefront sequentially in the lateral direction. Further, the ultrasonic modulation light may be measured while spatially scanning the target area inside the medium, and the imaging result may be displayed on a display device (not shown) such as a display.
以上のように、本実施例では、まず、媒質の深さ方向における表面からの距離が比較的短い距離(第1の距離)にある測定位置(第1の測定位置)から発生する超音波変調光信号の強度が高くなるように第1の波面を形成する。そして、目標位置に近づくように、測定位置を、媒質の深さ方向における表面からの距離が比較的長い距離(第1の距離よりも大きい第2の距離)にある測定位置(第2の測定位置)に変更する。さらに、媒質に第1の波面を有する光を照射させるとともに、該変更した測定位置(第2の測定位置)から発生する超音波変調光信号の強度が高くなるように第1の波面を更新する(第2の波面)。以上を、第2の測定位置が目標位置に到達するまで反復処理することを特徴とする。 As described above, in the present embodiment, first, ultrasonic modulation generated from a measurement position (first measurement position) at a relatively short distance (first distance) from the surface in the depth direction of the medium. The first wavefront is formed so that the intensity of the optical signal is increased. Then, the measurement position is set to a measurement position (second measurement) at a relatively long distance (second distance larger than the first distance) from the surface in the depth direction of the medium so as to approach the target position. Position). In addition, the medium is irradiated with light having the first wavefront, and the first wavefront is updated so that the intensity of the ultrasonically modulated optical signal generated from the changed measurement position (second measurement position) is increased. (Second wavefront). The above is characterized by iteratively processing until the second measurement position reaches the target position.
またS230において、上記のような光フォーカスステップで目的の深さに到達した後に、光学特性を測定するための信号源を超音波変調光以外に変えて測定を実行してもよい。例えば、超音波変調光を最適化のターゲット信号として、ある深さまで上記光フォーカスステップを実行する。同深さに達したら、最適化された入射波面を利用して、蛍光信号を測定することも可能である。このとき、超音波変調光を用いた光フォーカスステップでは、蛍光物質を励起する波長の光に対して処理を実行する。また、S270の測定ステップにおいては、必要に応じて同じ波長で出力パワーの異なる蛍光イメージング用の光源に切り替えてもよい。このように、光フォーカスステップと測定ステップとで測定する信号を切り替えてもよい。また、測定ステップでは、超音波トランスデューサ404はオフの状態にする。さらに、測定ステップでは、測定する信号に応じて入射光の強度を変えたり、入射光を超短パルス光や、或いは強度が時間的に一定な連続光(CW光:Continuous Wave光)に切り替えてもよい。また、測定ステップの測定信号としては、蛍光信号以外にも、SHG光や、ラマン散乱など様々な測定方法を光フォーカスステップと組み合わせて用いることが可能である。このように、目標位置から検出される信号は、該目標位置とは異なる測定位置から検出される信号と異なる信号であってよい。 In S230, after reaching the target depth in the optical focus step as described above, the signal source for measuring the optical characteristics may be changed to other than the ultrasonically modulated light, and the measurement may be executed. For example, the above-described optical focusing step is executed to a certain depth using ultrasonic modulation light as an optimization target signal. Once the same depth is reached, it is also possible to measure the fluorescence signal using an optimized incident wavefront. At this time, in the optical focus step using ultrasonically modulated light, processing is performed on light having a wavelength that excites the fluorescent material. In the measurement step of S270, the light source for fluorescence imaging having the same wavelength and different output power may be switched as necessary. In this way, the signal to be measured may be switched between the optical focus step and the measurement step. In the measurement step, the ultrasonic transducer 404 is turned off. Further, in the measurement step, the intensity of incident light is changed according to the signal to be measured, or the incident light is switched to ultrashort pulse light or continuous light with constant intensity (CW light: Continuous Wave light). Also good. In addition to the fluorescence signal, various measurement methods such as SHG light and Raman scattering can be used in combination with the optical focus step as the measurement signal in the measurement step. As described above, the signal detected from the target position may be a signal different from the signal detected from the measurement position different from the target position.
(実施形態4)
本発明の第4の実施形態に係る散乱媒質の光学特性の測定方法及び装置を説明する。図9は、本実施形態における測定装置の例示的な構成を示す概略図である。本実施形態は、第3の実施形態と同様に超音波変調光利用した測定装置に関するものである。
(Embodiment 4)
A method and apparatus for measuring optical characteristics of a scattering medium according to a fourth embodiment of the present invention will be described. FIG. 9 is a schematic diagram illustrating an exemplary configuration of the measurement apparatus according to the present embodiment. The present embodiment relates to a measuring apparatus using ultrasonically modulated light as in the third embodiment.
光源500は、第3の実施形態と同様に、コヒーレンス長が比較的長く、数10〜数100μsのパルス光を放出し、波長は照射する媒質内部の測定したいコントラスト源(水、ヘモグロビンなど)の吸収スペクトルに応じた波長が選択される。光源500からコリメートされ放出された光は、半波長板501によって偏光方向を制御され、偏光ビームスプリッタ502を透過する。このとき、シャッター503は閉じ、シャッター504は開放されている。シャッター504を通過した光は、半波長板505と偏光ビームスプリッタ506を経て、信号光530と参照光531に分割される。 Similar to the third embodiment, the light source 500 has a relatively long coherence length, emits pulsed light of several tens to several hundreds μs, and has a wavelength of a contrast source (water, hemoglobin, etc.) to be measured inside the irradiated medium. A wavelength according to the absorption spectrum is selected. The light collimated and emitted from the light source 500 has its polarization direction controlled by the half-wave plate 501 and passes through the polarization beam splitter 502. At this time, the shutter 503 is closed and the shutter 504 is opened. The light that has passed through the shutter 504 is split into a signal light 530 and a reference light 531 through a half-wave plate 505 and a polarization beam splitter 506.
信号光530は、ミラー507によって反射され、音響光学素子(AOM)508、及び509へ送られる。AOM508、509はそれぞれ個別の周波数で駆動され、その2つのAOMの周波数の和が超音波装置550により印加される超音波の周波数と等しくなるように調整される。例えば、超音波の周波数faが2MHzである場合、AOM508の周波数をf1=−70MHzに設定し、AOM509の周波数f2は、f1+f2=fa(=2MHz)となるようにf2=+72MHzに設定する。 The signal light 530 is reflected by the mirror 507 and sent to acousto-optic elements (AOM) 508 and 509. The AOMs 508 and 509 are driven at individual frequencies, respectively, and the sum of the frequencies of the two AOMs is adjusted to be equal to the frequency of the ultrasonic wave applied by the ultrasonic device 550. For example, when the ultrasonic frequency f a is 2 MHz, the frequency of the AOM 508 is set to f 1 = −70 MHz, and the frequency f 2 of the AOM 509 is f so that f 1 + f 2 = f a (= 2 MHz). 2 = Set to +72 MHz.
或いはAOMを用いて周波数を調整する別の手段として、この2つのAOMを信号光と参照光のそれぞれの光路に配置し、2つのAOMの周波数差が超音波の周波数faと等しくなるように調整してもよい。例えば、信号光の光路に配置されたAOMの周波数がf1(=70MHz)であり、且つ超音波の周波数がfa(=2MHz)である場合、参照光の光路に配置されたAOMの周波数f2は、f1+fa(=72MHz)としてもよい。 Or as another means for adjusting the frequency using AOM, to place the two AOM to respective optical paths of the signal light and the reference light, so that the frequency difference between the two AOM is equal to the ultrasonic frequency f a You may adjust. For example, the frequency of AOM disposed in the optical path of the signal light is f 1 (= 70MHz), and when the frequency of ultrasonic waves is f a (= 2MHz), the frequency of which is disposed in the optical path of the reference light AOM f 2 may be f 1 + f a (= 72 MHz).
AOMによって周波数が調整された信号光530は、ミラー510、ビームスプリッタ511、515を経て、光学系517によって、媒質570へ照射される。媒質570は、生体組織も含む散乱媒質である。 The signal light 530 whose frequency is adjusted by the AOM is irradiated to the medium 570 by the optical system 517 through the mirror 510 and the beam splitters 511 and 515. The medium 570 is a scattering medium including biological tissue.
一方、超音波装置550は、超音波トランスデューサを含み、媒質570と音響的に整合されていて、予め設定された媒質570内部の注目領域に超音波をフォーカスして照射する。形成される超音波集束領域(ターゲット)560のサイズは注目領域全体、或いはその一部になるように設定される。 On the other hand, the ultrasonic device 550 includes an ultrasonic transducer, is acoustically aligned with the medium 570, and focuses and radiates ultrasonic waves to a preset region of interest inside the medium 570. The size of the ultrasonic focusing region (target) 560 to be formed is set to be the entire region of interest or a part thereof.
ここで、媒質570内部の注目領域とは、吸収や散乱などの光学特性の分布を測定・イメージングしたい領域を指す。この注目領域は、例えば本実施形態を医療分野へ適用する場合、X線、MRI、超音波エコー画像などの測定結果、或いは他の何らかの診断結果など、他のモダリティにより提供される事前情報を利用して、同注目領域を設定することも可能である。 Here, the region of interest inside the medium 570 refers to a region where it is desired to measure and image the distribution of optical characteristics such as absorption and scattering. For example, when the present embodiment is applied to the medical field, this attention area uses prior information provided by other modalities such as measurement results such as X-rays, MRI, and ultrasonic echo images, or some other diagnostic result. Thus, it is possible to set the attention area.
照射する超音波の周波数や、照射する強度は、制御装置(図示せず)で調整される。超音波装置550に含まれる超音波トランスデューサは、例えばリニアアレイ探触子から構成され、アレイ探触子を用いた電子フォーカスによって、媒質570内部の任意の位置に超音波集束領域560を生成する。トランスデューサとしては、圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量変化を用いたトランスデューサなどを用いることができる。また前述したように、縦方向(超音波伝播方向)に小さな超音波集束領域560を実現するためにパルス超音波を照射する。超音波のパルス幅は、超音波集束領域560のサイズ及び、媒質中の超音波の速度に応じて設定され、ターゲット560にパルス超音波が到達するタイミングと同期させて、光源500からパルス光を照射する。なお、光源500はパルス光でなく、CW光を使用することも可能である。 The frequency of the ultrasonic wave to be irradiated and the intensity to be irradiated are adjusted by a control device (not shown). The ultrasonic transducer included in the ultrasonic device 550 is constituted by, for example, a linear array probe, and generates an ultrasonic focusing region 560 at an arbitrary position inside the medium 570 by electronic focusing using the array probe. As the transducer, a transducer using a piezoelectric phenomenon, a transducer using optical resonance, a transducer using capacitance change, and the like can be used. In addition, as described above, pulsed ultrasonic waves are irradiated to realize a small ultrasonic focusing region 560 in the vertical direction (the ultrasonic propagation direction). The pulse width of the ultrasonic wave is set according to the size of the ultrasonic focusing region 560 and the velocity of the ultrasonic wave in the medium, and the pulsed light from the light source 500 is synchronized with the timing at which the pulse ultrasonic wave reaches the target 560. Irradiate. The light source 500 can use CW light instead of pulsed light.
超音波集束領域560に入射した光は、前述したように、超音波による変調効果を受け、超音波の周波数に応じて周波数が±faシフト(1次成分)する。従って、f1+f2=faとなるように周波数が調整されて入射した信号光530に対して、−faシフトした変調光は参照光531と等しい周波数をもつ。超音波集束領域560から周波数シフトした超音波変調光が放射され、再び媒質570内部を散乱しながら伝播し、媒質外へ射出される。この超音波変調光のうちの一部540が、光が入射した側へ射出し、光学系517の開口を通過する。 The light incident on the ultrasonic focus region 560, as described above, receives the modulation effect by the ultrasound, the frequency is ± f a shift (first order component) in accordance with the frequency of the ultrasonic wave. Therefore, with respect to f 1 + f 2 = f a signal light 530 which frequency is incident is adjusted to be, modulated light -f a shift has a frequency equal to the reference beam 531. Ultrasound modulated light whose frequency is shifted is emitted from the ultrasonic focusing region 560, propagates again while being scattered inside the medium 570, and is emitted out of the medium. A part 540 of this ultrasonically modulated light is emitted to the light incident side and passes through the opening of the optical system 517.
媒質570から射出され光学系517を透過した、±fa周波数がシフトした超音波変調光540、及び周波数シフトしていない散乱光(非超音波変調光)が、ビームスプリッタ515、511を介して、CCD514に導かれる。CCD514は、光が照射された媒質から発生する信号を検出(測定)する検出手段(測定手段)として機能する。一方、参照光531もCCDへ入射する。このとき参照光531の光路長を後述する干渉信号を測定するために適切に調整してもよい。 The ultrasonically modulated light 540 having a frequency shifted by ± fa and the scattered light that has not been frequency-shifted (non-ultrasonically modulated light) that has been emitted from the medium 570 and transmitted through the optical system 517 are transmitted via the beam splitters 515 and 511. , Led to the CCD 514. The CCD 514 functions as a detection unit (measurement unit) that detects (measures) a signal generated from the medium irradiated with light. On the other hand, the reference beam 531 also enters the CCD. At this time, the optical path length of the reference light 531 may be appropriately adjusted in order to measure an interference signal described later.
超音波変調光(±fa周波数シフトした光)及び非超音波変調光を含む光と、参照光531とがCCD上で干渉し、干渉縞が形成される。この干渉縞のうち、周波数の異なる光によって形成されるもの(非超音波変調光と参照光531の干渉、或いは+faの超音波変調光と参照光531の干渉)は、そのビート周波数が超音波の周波数faと同じ、若しくはそれ以上の速度で振動する。通常、この周波数は非常に速く、干渉信号はCCDでは記録されない。一方、同一の周波数(−fa)の光により形成される超音波変調光540と参照光531の干渉信号(デジタルホログラム)は、CCD514で測定される。 A light including ultrasound modulated light (± f a frequency shifted light) and non-ultrasound-modulated light, the reference light 531 interfere on CCD, interference fringes are formed. Of this interference fringe, which is formed by light of different frequencies (non-ultrasound-modulated light and the interference of the reference light 531, or + interference f a of the reference beam 531 and the ultrasonic modulated light), its beat frequency ultrasonic same as waves of frequency f a, or vibrate at higher speeds. Usually this frequency is very fast and the interference signal is not recorded by the CCD. On the other hand, an interference signal (digital hologram) between the ultrasonic modulated light 540 and the reference light 531 formed by light having the same frequency (−f a ) is measured by the CCD 514.
ここで、超音波変調光540と参照光531は互いに微小な角度(例えば〜1度)をもってCCD上で重ね合わせる(図示せず)ことで、オフアクシス(off−axis)デジタルホログラムを取得する。CCD514で取得されたオフアクシスデジタルホログラムは、信号処理ユニット(図示せず)によって、フーリエ変換され、空間的にハイパスフィルタが実行されて、超音波変調光540と参照光531の干渉項が抽出される。これを再度フーリエ変換することで超音波変調光540の振幅、位相を算出する。あるいは、オフアクシスデジタルホログラムを用いる代わりに、位相シフト法を用いて超音波変調光540の位相分布を算出することも可能である。CCD514でデジタルホログラムの信号が得られた時点で、超音波装置550による媒質570への超音波照射を止めてもよい。 Here, the ultrasonic modulated light 540 and the reference light 531 are superimposed on a CCD (not shown) at a minute angle (for example, ˜1 degree), thereby obtaining an off-axis digital hologram. The off-axis digital hologram acquired by the CCD 514 is Fourier-transformed by a signal processing unit (not shown), and a high-pass filter is spatially executed to extract an interference term between the ultrasonic modulation light 540 and the reference light 531. The This is Fourier transformed again to calculate the amplitude and phase of the ultrasonic modulated light 540. Alternatively, the phase distribution of the ultrasonic modulated light 540 can be calculated using a phase shift method instead of using an off-axis digital hologram. When the digital hologram signal is obtained by the CCD 514, the ultrasonic irradiation of the medium 570 by the ultrasonic device 550 may be stopped.
ここで、非周波数シフト光を排除し、周波数シフト光を効率的に回収してホログラムを形成するために、バンドパスフィルタを用いてもよい。例えば、ファブリ‐ペロ干渉計、又は低温冷却のスペクトルホールバーニング結晶などを用いてもよい。 Here, a band-pass filter may be used in order to eliminate the non-frequency shift light and efficiently collect the frequency shift light to form a hologram. For example, a Fabry-Perot interferometer or a low-temperature cooled spectral hole burning crystal may be used.
CCD514によって得られた超音波変調光540の位相分布は、信号処理ユニットによってデジタル的に反転され、ピクセル単位でSLM516に設定される。SLM516は、制御装置580により制御され、媒質に照射する光の波面を形成する。このSLM516および制御装置580により、CCD514の出力に基づいて、光の波面を制御する制御手段が構成される。例えば、測定された位相分布がCCDの平面でφ(x、y)である場合、SLMに設定される反転位相は、−φ(x、y)となる。このとき、超音波変調光540が射出する媒質の射出面からCCD514まで、同じく媒質の射出面からSLM516までの光路長は等しくなるように設定される。また、CCD514とSLM516はピクセル単位で位相分布が一致するように調整、或いは補正されている。 The phase distribution of the ultrasonic modulated light 540 obtained by the CCD 514 is digitally inverted by the signal processing unit and set in the SLM 516 in units of pixels. The SLM 516 is controlled by the control device 580 to form a wavefront of light that irradiates the medium. The SLM 516 and the control device 580 constitute control means for controlling the wavefront of light based on the output of the CCD 514. For example, when the measured phase distribution is φ (x, y) on the plane of the CCD, the inverted phase set in the SLM is −φ (x, y). At this time, the optical path lengths from the exit surface of the medium from which the ultrasonic modulated light 540 exits to the CCD 514 and similarly from the exit surface of the medium to the SLM 516 are set to be equal. In addition, the CCD 514 and the SLM 516 are adjusted or corrected so that the phase distributions match in pixel units.
SLM516に位相が設定された後、シャッター504は閉じ、シャッター503が開放される。光源500から放射された光(再生光)532は、偏光ビームスプリッタ502を反射し、ミラー512、ビームスプリッタ513を介して、SLM516へ入射する。SLM516で設定された位相分布により、再生光532は波面成形されて、超音波変調光540の位相共役波に変換され、再生光541として媒質570へ照射される。 After the phase is set in the SLM 516, the shutter 504 is closed and the shutter 503 is opened. Light (reproduced light) 532 emitted from the light source 500 is reflected by the polarization beam splitter 502 and enters the SLM 516 via the mirror 512 and the beam splitter 513. Due to the phase distribution set by the SLM 516, the reproduction light 532 is wavefront shaped, converted into a phase conjugate wave of the ultrasonic modulation light 540, and irradiated onto the medium 570 as the reproduction light 541.
位相共役波である再生光541は、散乱の時間可逆性に従い、デジタルホログラム記録(超音波変調光540測定)時の伝搬軌跡を逆方向に進み、ターゲット領域560へ再伝搬する。この位相共役光を用いた光照射によって、入射光のエネルギーを高効率に媒質570内部のターゲット領域560へ送ることが可能になる。ここで、デジタルホログラムの代わりに、フォトリフラクティブ結晶などのホログラフィック材料を用いたホログラム記録を実行してもよい。 The reproduction light 541 which is a phase conjugate wave follows the propagation trajectory at the time of digital hologram recording (measurement of the ultrasonic modulation light 540) in the reverse direction according to the time reversibility of the scattering, and re-propagates to the target region 560. Light irradiation using this phase conjugate light enables the energy of incident light to be sent to the target region 560 inside the medium 570 with high efficiency. Here, instead of a digital hologram, hologram recording using a holographic material such as a photorefractive crystal may be executed.
このような光照射による媒質内部の光フォーカスにおいて、超音波変調光の位相共役光で構成される再生光は、第3の実施形態において、超音波変調光をターゲットに最適化されたときの入射光と実質的に等価である。従って、ターゲット領域(超音波集束領域)560を中心に光をフォーカスさせる効果をもつ。本実施形態は、波面を成形する手段は、第3の実施形態と異なる(前者は反復的な最適化を用い、後者はホログラムによる波面測定から位相共役光を生成する)が、どちらの場合でも超音波変調光の信号強度を向上させることができる。従って、再生光を媒質に照射して以降は、本実施形態においても、第3の実施形態で説明したような処理フローと同様のフローを適用することで、光学測定を行う深さ(侵達長)を向上させることが可能である。 In the optical focus inside the medium by such light irradiation, the reproduction light composed of the phase conjugate light of the ultrasonic modulated light is incident when the ultrasonic modulated light is optimized for the target in the third embodiment. It is substantially equivalent to light. Therefore, it has an effect of focusing light around the target area (ultrasonic focusing area) 560. In this embodiment, the means for shaping the wavefront is different from that in the third embodiment (the former uses iterative optimization, and the latter generates phase conjugate light from the wavefront measurement using a hologram). The signal intensity of the ultrasonic modulated light can be improved. Therefore, after irradiating the reproduction light to the medium, the depth (intrusion) at which optical measurement is performed by applying the same flow as the processing flow described in the third embodiment also in this embodiment. Can be improved.
以下で、本実施形態の処理フローについて、図10を用いて説明する。まず、S600において、初期条件としての超音波集束領域560(ターゲット位置z0)を設定する。このとき、このターゲット位置z0の深さ(光の入射位置を基準としたときの、媒質表面からの深さ)は、超音波変調光信号が十分測定できるほどの深さとする。測定を何回か実行して、信号強度が十分測定できる適切な深さを探してもよい。 Below, the processing flow of this embodiment is demonstrated using FIG. First, in S600, an ultrasonic focusing region 560 (target position z 0 ) as an initial condition is set. At this time, the depth of the target position z 0 (the depth from the medium surface when the light incident position is used as a reference) is set to a depth such that an ultrasonically modulated optical signal can be sufficiently measured. The measurement may be performed several times to find an appropriate depth at which the signal strength can be measured sufficiently.
S610において光源500と、超音波装置550をオンにし、超音波変調光の波面計測(ホログラム記録)を開始する。S620において、上記説明したように、超音波変調光540と参照光531を干渉させて、CCD514でデジタルホログラムを取得する。引き続きS630では、このデジタルホログラムに基づき算出された超音波変調光の位相分布を算出し、その位相共役波の位相分布をSLM516に設定した後、再生光として位相共役光を発生させて媒質570に入射させる。 In step S610, the light source 500 and the ultrasonic device 550 are turned on, and wavefront measurement (hologram recording) of ultrasonically modulated light is started. In S620, as described above, the ultrasonic modulated light 540 and the reference light 531 are caused to interfere with each other, and the CCD 514 acquires a digital hologram. Subsequently, in S630, the phase distribution of the ultrasonic modulated light calculated based on the digital hologram is calculated, and the phase distribution of the phase conjugate wave is set in the SLM 516. Then, the phase conjugate light is generated as the reproduction light to be generated in the medium 570. Make it incident.
S640では、ターゲット位置が光学特性を測定する目的の深さまで到達したかを判定する。到達していない場合はS650に移る。 In S640, it is determined whether the target position has reached the target depth for measuring the optical characteristics. If not, the process moves to S650.
S650では、第3の実施形態で説明した処理と同様の処理を実施する。即ち、現在のターゲット領域の深さziに対して、次のターゲット領域の深さzi+1を設定し、超音波装置550を制御して深さzi+1の位置に超音波集束領域を生成する。このとき図8に示したように、超音波のパルス幅は適宜制御され、超音波パルスの半値幅Wに基づき次のターゲット位置zi+1を設定することができる。この新たに設定されたターゲット位置zi+1に対して、S660では、位置ziにおけるホログラムの記録から得られた位相共役波面をSLM516にそのまま設定された状態にし、S620の波面計測に戻る。S620では、新たなターゲット位置zi+1から発生する超音波変調光のホログラムを記録する。このとき、1ステップ前(位置zi)での位相共役波面を現ステップの波面計測における入射光として用いることで、通常の入射光(例えば平面波)による照射と比べて、位置zi+1の超音波集束領域560から発生する超音波変調光の信号強度が高くなる。従って、この信号強度が向上された効果を利用して、ターゲット位置zi+1から発生する超音波変調光によるホログラムを記録する。このようなS620〜S660までの処理を反復的に実行(光フォーカスステップ)することで、測定を行う目的の深さまで波面を逐次的に成形する。このように本実施形態においても、適切に設定された超音波集束領域560の広がりによる信号の向上効果を利用し、逐次的に入射波面を成形して、媒質の深い位置へ効率的に光をフォーカスさせて光学特性を測定する。 In S650, the same processing as that described in the third embodiment is performed. That is, the depth z i + 1 of the next target region is set with respect to the depth z i of the current target region, and the ultrasonic device 550 is controlled to generate an ultrasonic focusing region at the position of the depth z i + 1. . At this time, as shown in FIG. 8, the pulse width of the ultrasonic wave is appropriately controlled, and the next target position z i + 1 can be set based on the half-value width W of the ultrasonic pulse. For the newly set target position z i + 1 , in S660, the phase conjugate wavefront obtained from the recording of the hologram at the position z i is set as it is in the SLM 516, and the process returns to the wavefront measurement in S620. In S620, a hologram of ultrasonically modulated light generated from a new target position z i + 1 is recorded. At this time, by using the phase conjugate wavefront one step before (position z i ) as the incident light in the wavefront measurement of the current step, the ultrasonic wave at the position z i + 1 compared to irradiation with normal incident light (for example, plane wave) The signal intensity of the ultrasonic modulated light generated from the focusing region 560 increases. Therefore, the hologram by the ultrasonically modulated light generated from the target position z i + 1 is recorded using the effect of improving the signal intensity. By repeatedly executing such processing from S620 to S660 (optical focus step), the wavefront is sequentially formed to the target depth for measurement. As described above, also in the present embodiment, by utilizing the signal improvement effect due to the spread of the ultrasonic focusing region 560 appropriately set, the incident wavefront is sequentially formed, and the light is efficiently transmitted to a deep position of the medium. Focus and measure the optical properties.
S640において、光フォーカスステップが終了し、目的の深さに達したら(図10のS640でYes)、同深さで超音波変調光を測定信号として媒質の光学特性を測定する(測定ステップ)。前述したように、超音波集束領域560を深さ方向や、同深さ断面内で横方向にスキャンしながら、超音波変調光を測定することで、その領域の光学特性をイメージングすることができる。媒質内部で超音波集束領域560を空間的にスキャンさせながら超音波変調光を測定し画像化した結果をディスプレイなどの表示装置(図示せず)に表示してもよい。 In S640, when the optical focus step is completed and the target depth is reached (Yes in S640 in FIG. 10), the optical characteristics of the medium are measured using the ultrasonic modulation light as a measurement signal at the same depth (measurement step). As described above, by measuring the ultrasonic modulated light while scanning the ultrasonic focusing region 560 in the depth direction or in the lateral direction within the same cross section, the optical characteristics of the region can be imaged. . The result of measuring and imaging the ultrasonic modulated light while spatially scanning the ultrasonic focusing region 560 inside the medium may be displayed on a display device (not shown) such as a display.
以上のように、本実施例では、まず、媒質の深さ方向における表面からの距離が比較的短い距離(第1の距離)にある測定位置から発生する超音波変調光信号の強度が高くなるように第1の波面を形成する。そして、目標位置に近づくように、測定位置を、媒質の深さ方向における表面からの距離が比較的長い距離(第1の距離よりも大きい第2の距離)にある測定位置(第2の測定位置)に変更し、媒質に第1の波面を有する光を照射させるとともに、該変更した測定位置(第2の測定位置)から発生する超音波変調光信号の強度が高くなるように第1の波面を更新する(第2の波面)。以上を、第2の測定位置が目標位置に到達するまで反復処理することを特徴とする。 As described above, in this embodiment, first, the intensity of the ultrasonically modulated optical signal generated from the measurement position at a relatively short distance (first distance) from the surface in the depth direction of the medium is increased. Thus, the first wavefront is formed. Then, the measurement position is set to a measurement position (second measurement) at a relatively long distance (second distance larger than the first distance) from the surface in the depth direction of the medium so as to approach the target position. Position), the medium is irradiated with light having the first wavefront, and the intensity of the ultrasonically modulated optical signal generated from the changed measurement position (second measurement position) is increased. Update wavefront (second wavefront). The above is characterized by iteratively processing until the second measurement position reaches the target position.
また、前述したように、S640で光フォーカスステップが終了した後に、イメージングの信号源を超音波変調光以外に変えてイメージングを実行してもよい。或いは、超音波変調光以外の信号源を用いたイメージングと、超音波変調光を用いたイメージングを組合わせるなどして、複数の異なる信号源を重ね合わせて媒質内部の光学特性をイメージングしてもよい。 Further, as described above, after the optical focus step is completed in S640, the imaging signal source may be changed to other than the ultrasonic modulation light, and the imaging may be executed. Or, by combining imaging using a signal source other than ultrasonically modulated light and imaging using ultrasonically modulated light, the optical characteristics inside the medium can be imaged by superimposing multiple different signal sources. Good.
このように本発明は、媒質へ入射させる光の波面を適切に(最適化、或いは位相共役波を用いて)成形して媒質に入力することで、媒質内部の局所領域(ターゲット領域)への光のフォーカスを実現する。その光フォーカスの効果の結果、同局所領域から発生する信号(光音響信号、蛍光信号、超音波変調信号など)強度は向上する。このとき、同局所位置で深さ方向への信号向上領域の広がりを利用して次の光フォーカス領域を設定し、これを反復的に繰り返しながら、入射光波面を逐次成形する。この光フォーカスステップにより、散乱媒質の比較的深い位置に効率的に光を送り込むことが特徴であり、この処理を前段の処理とし、後段の測定ステップで、様々な測定・イメージング方法を前段の処理と組み合わせる。これにより、媒質内部の光学特性の測定・イメージングの侵達長を向上させることが本発明の特徴である。 As described above, according to the present invention, the wavefront of light incident on the medium is appropriately shaped (using optimization or phase conjugate wave) and input to the medium, so that the local area (target area) inside the medium is input. Realize the focus of light. As a result of the optical focus effect, the intensity of a signal (photoacoustic signal, fluorescent signal, ultrasonic modulation signal, etc.) generated from the local region is improved. At this time, the next light focus region is set using the spread of the signal enhancement region in the depth direction at the same local position, and the incident light wavefront is sequentially shaped while repeating this repeatedly. This light focusing step is characterized by efficiently sending light to a relatively deep position in the scattering medium. This processing is the pre-stage processing, and various measurement and imaging methods are the pre-stage processing in the post-stage measurement step. Combine with. Thus, it is a feature of the present invention that the penetration length of measurement / imaging of optical characteristics inside the medium is improved.
本発明によれば、散乱媒質内部の光学特性の測定において、散乱媒質の比較的深い位置まで測定することが可能になる。 According to the present invention, it is possible to measure up to a relatively deep position of the scattering medium in measuring the optical characteristics inside the scattering medium.
(実施形態5)
本発明の第5の実施形態に係る測定装置について説明する。図11は、本実施形態の装置構成を模式的に示した図である。本発明の測定装置としての、ゲート撮像装置700は、光源部710、カメラ部720、制御・処理部730、表示部740から構成され、例えば、遠距離の被写体を監視するカメラなどに適用できる。ゲート撮像装置700は、大気中の散乱体780越しに、被写体790を撮像する。ここで、散乱体780は、霧や靄、煙、スモッグ、或いは大きさがマイクロメーターサイズの土壌や粉塵などの大気中に浮遊する微粒子である。或いは、雪や雨、または大気中の温度分布のムラによる屈折率のゆらぎなども考えられる。このような条件下において、ゲート撮像装置は、パルス光を被写体に照射し、このパルス光が被写体で反射して戻ってきた瞬間だけカメラのシャッターを開けて撮像するため、比較的散乱光を低減して被写体を撮像することができる。
(Embodiment 5)
A measurement apparatus according to the fifth embodiment of the present invention will be described. FIG. 11 is a diagram schematically showing the apparatus configuration of the present embodiment. A gate imaging apparatus 700 as a measurement apparatus of the present invention includes a light source unit 710, a camera unit 720, a control / processing unit 730, and a display unit 740, and can be applied to, for example, a camera that monitors a subject at a long distance. The gate imaging apparatus 700 images the subject 790 through the scatterer 780 in the atmosphere. Here, the scatterer 780 is fine particles floating in the atmosphere such as fog, haze, smoke, smog, or soil or dust having a micrometer size. Alternatively, the refractive index may be fluctuated due to snow or rain, or uneven temperature distribution in the atmosphere. Under these conditions, the gate imaging device irradiates the subject with pulsed light, and opens the camera shutter for imaging only when the pulsed light is reflected back from the subject, thus reducing the amount of scattered light. Thus, the subject can be imaged.
光源部710は、主にレーザー光源711とSLM713から構成される。レーザー光源711は、一般的にアイセーフレーザー(eye−safe laser)と呼ばれる、波長が1.4〜1.8μm帯域(短波赤外、SWIR:Short−wavelength infrared)の赤外光のパルス光を放出する。例えば、波長が1.5μmの波長で、パルス幅が1〜数10nsecである。ただし、撮像条件によっては、上記以外の波長帯域、及びパルス幅であってもよい。また、パルスの繰り返し周波数は、一例として、数Hz〜数100kHzの範囲で任意に選択できるが、一般的には高速である方が望ましい。 The light source unit 710 mainly includes a laser light source 711 and an SLM 713. The laser light source 711 emits infrared light pulse light having a wavelength of 1.4 to 1.8 μm (short-wave infrared, SWIR: Short-wavelength infrared), generally called an eye-safe laser. To do. For example, the wavelength is 1.5 μm and the pulse width is 1 to several tens of nsec. However, depending on the imaging conditions, other wavelength bands and pulse widths may be used. In addition, as an example, the pulse repetition frequency can be arbitrarily selected in the range of several Hz to several hundred kHz, but in general, a high speed is desirable.
レーザー光源711からは、コリメートされたパルス光ビームが放射され、ミラー712を反射してSLM713に入射する。また、パルス光のビームサイズは、SLM713の有効領域に収まるように設定されている。SLM713は、例えば、LCOSや、Digital Mirror Device(DMD)を用いることができる。或いは、SLM713として透過型の液晶を用いた構成であってもよい。なお、SLM713が偏光依存性のあるデバイスの場合、SLM713に入射する光の偏光は、SLM713で位相変調が動作する偏光方向と一致するように調整されている。SLM713に入射した光は、後述する処理によって位相変調される。SLM713から反射した光は、光学系714を通して所望のビームサイズや照射方向に調整して光源部710から射出される。ここで、必要に応じて、ガルバノミラーを用いてパルス光ビームを走査してもよい。また、パルス光ビーム760の出力強度は、被写体(人などの生物か、無生物か)や、被写体までのおおよその距離等の条件に応じて任意に調整することができる。例えば、出力は1パルスあたり数10〜数100mJの範囲である。 A collimated pulsed light beam is emitted from the laser light source 711, reflects off the mirror 712, and enters the SLM 713. Further, the beam size of the pulsed light is set so as to be within the effective area of the SLM 713. The SLM 713 can use, for example, LCOS or Digital Mirror Device (DMD). Alternatively, a configuration using transmissive liquid crystal as the SLM 713 may be used. When the SLM 713 is a polarization-dependent device, the polarization of light incident on the SLM 713 is adjusted to coincide with the polarization direction in which phase modulation operates in the SLM 713. The light incident on the SLM 713 is phase-modulated by a process described later. The light reflected from the SLM 713 is emitted from the light source unit 710 through the optical system 714 after adjusting to a desired beam size and irradiation direction. Here, if necessary, the pulsed light beam may be scanned using a galvanometer mirror. In addition, the output intensity of the pulsed light beam 760 can be arbitrarily adjusted according to the subject (whether it is a living organism such as a person or an inanimate object) and the approximate distance to the subject. For example, the output is in the range of several tens to several hundreds mJ per pulse.
パルス光ビーム760は、大気中の散乱体780を通過する際に、散乱の影響を受け、散乱光761を発生させながら、被写体790まで伝搬する。さらに、被写体790で反射した光は、再び散乱体780を通って伝搬し、同様に散乱光771を伴いながら、カメラ720まで伝搬する。ここで、被写体790は、例えば100m〜数10kmの比較的遠方に存在するものを対象とする。本実施形態では、照射するパルス光を赤外のSWIR帯域の光とすることで、可視光よりも散乱を抑えられ、且つ被写体790が人物の場合、安全基準上、可視光に比べて強い出力で被写体を照明することが可能である。以上の点は、SWIR帯域のビームを用いる利点となる。 When the pulsed light beam 760 passes through a scatterer 780 in the atmosphere, the pulsed light beam 760 is affected by scattering and propagates to the subject 790 while generating scattered light 761. Further, the light reflected by the subject 790 propagates again through the scatterer 780 and similarly propagates to the camera 720 with the scattered light 771. Here, the subject 790 is, for example, a subject existing relatively far from 100 m to several tens km. In this embodiment, the pulsed light to be irradiated is light in the infrared SWIR band, so that the scattering can be suppressed more than visible light, and when the subject 790 is a person, the output is stronger than the visible light in terms of safety standards. It is possible to illuminate the subject. The above points are advantages of using a beam in the SWIR band.
カメラ720は、波長1.5μmの光を十分透過するカメラレンズと、同波長に感度があるアレイセンサからなる。カメラレンズの焦点距離は、被写体790までの距離に応じて適宜選択することが可能である。上述したように、被写体790が遠方にあるような場合は、例えば焦点距離1000mm以上の望遠レンズを用いる。アレイセンサとしては、上記波長帯域に感度をもつInGaAsのセンサを用いることができる。また、カメラのシャッター時間(ゲート時間)は、例えば、数10nsec〜数μsecの範囲で選択できる。 The camera 720 includes a camera lens that sufficiently transmits light having a wavelength of 1.5 μm and an array sensor that is sensitive to the same wavelength. The focal length of the camera lens can be appropriately selected according to the distance to the subject 790. As described above, when the subject 790 is far away, for example, a telephoto lens having a focal length of 1000 mm or more is used. As the array sensor, an InGaAs sensor having sensitivity in the wavelength band can be used. The shutter time (gate time) of the camera can be selected within a range of several tens of nsec to several μsec, for example.
カメラ720で撮像した画像データは、制御・処理部730に転送される。制御・処理部730は、後述する測定フローに従って、光源部710や、カメラ720を制御する。また、後述の波面成形処理を実行し、最適化処理で波面成形されたビーム760で被写体790を照射し、ゲート撮像した画像を取得する。撮像画像は、表示部740に表示される。また、表示部740は、測定フローの途中で撮像した画像や、波面成形処理の経過結果を表示してもよい。 Image data captured by the camera 720 is transferred to the control / processing unit 730. The control / processing unit 730 controls the light source unit 710 and the camera 720 according to a measurement flow described later. In addition, a wavefront shaping process, which will be described later, is executed, the subject 790 is irradiated with the beam 760 that has been wavefront shaped by the optimization process, and an image captured by the gate is acquired. The captured image is displayed on the display unit 740. In addition, the display unit 740 may display an image captured in the middle of the measurement flow and a progress result of the wavefront shaping process.
図12は、本実施形態におけるゲート撮像装置700の例示的な測定フローである。まず、S810で、パルス光ビーム760を被写体790に照射し、ゲート撮像画像を取得する。いま、ゲート撮像における遅延時間τ[sec]を設定すると、撮像装置700から撮像距離L=τc/2[m]から反射した光を撮像することになる。ここで、cは大気中の光速である。撮像距離Lに被写体790が存在しない場合、被写体790に関連する有意な信号を観測することができない。例えば、撮像距離Lに、大気中の散乱体780以外にパルス光ビームを反射させる物が存在しない場合は、撮像画像には散乱によるフレアを除いて何も映らない。或いは、撮影距離Lに、撮像したい被写体790以外の別の反射物体が存在する場合には、被写体790以外の物体が撮像される。従って、S810では、撮像したい被写体790の撮像距離が、別途何らかの手段で事前にわかっている場合には、その撮像距離Lに相当する遅延時間τを設定してゲート撮像を実行する。このとき、被写体790の像、或いはその像の一部について、最も信号強度が大きく、或いは高コントラストに観察される遅延時間を、遅延時間τの前後で微少調整してもよい。或いは、被写体790が事前に明確でない場合は、遅延時間τを徐々に変えながらゲート撮像し、撮像画像中に何らかの有意な信号が確認できた時点で、それを被写体790に関連する観測信号として、以降のフローを実行してもよい。本発明においては、まずS810のゲート撮像において、被写体790に関連する観測信号(反射光)を取得することが必要である。この観測信号は、大気中の散乱や屈折率のゆらぎによって、被写体790の像が歪められたものであってもよいし、歪められた像の一部であってもよい。図13は、本実施形態における測定結果をシミュレーションした図である。図13(a)は、収差(散乱による劣化)のない理想的な被写体790の像を示す。また図13(b)は、S810におけるゲート撮像の結果取得した像を示す。散乱によって図13(a)の像が歪められている。このように、S810では、被写体像790の一部の観測信号を取得する。ここで、観測信号として設定する条件として、画像の輝度値がある閾値以上である、或いは特徴的な形状が確認できるなどでもよい。撮像画像に対してエッジ処理やフィルタ処理を行って、特徴的な形状を抽出してもよい。または、予め様々な散乱条件下で撮像した人工物、人物などの画像を学習し、その特徴量を参考に観測信号を判断することも可能である。 FIG. 12 is an exemplary measurement flow of the gate imaging apparatus 700 in the present embodiment. First, in step S810, the pulsed light beam 760 is irradiated onto the subject 790, and a gate captured image is acquired. Now, when the delay time τ [sec] in the gate imaging is set, the light reflected from the imaging distance L = τc / 2 [m] from the imaging device 700 is imaged. Here, c is the speed of light in the atmosphere. When the subject 790 does not exist at the imaging distance L, a significant signal related to the subject 790 cannot be observed. For example, when there is no object that reflects the pulsed light beam other than the scatterer 780 in the atmosphere at the imaging distance L, nothing is reflected in the captured image except for flare due to scattering. Alternatively, when there is another reflective object other than the subject 790 to be imaged at the shooting distance L, an object other than the subject 790 is imaged. Therefore, in S810, when the imaging distance of the subject 790 to be imaged is known in advance by some other means in advance, gate imaging is executed with the delay time τ corresponding to the imaging distance L set. At this time, for the image of the subject 790 or a part of the image, the delay time at which the signal intensity is the highest or observed with high contrast may be finely adjusted before and after the delay time τ. Alternatively, when the subject 790 is not clear in advance, the gate is imaged while gradually changing the delay time τ, and when a significant signal is confirmed in the captured image, it is used as an observation signal related to the subject 790. The subsequent flow may be executed. In the present invention, first, it is necessary to acquire an observation signal (reflected light) related to the subject 790 in the gate imaging of S810. This observation signal may be a distorted image of the subject 790 due to scattering in the atmosphere or refractive index fluctuation, or may be a part of the distorted image. FIG. 13 is a diagram simulating the measurement result in the present embodiment. FIG. 13A shows an image of an ideal subject 790 having no aberration (deterioration due to scattering). FIG. 13B shows an image acquired as a result of gate imaging in S810. The image in FIG. 13A is distorted by scattering. In this way, in S810, a part of the observation signal of the subject image 790 is acquired. Here, as a condition to be set as the observation signal, the luminance value of the image may be a certain threshold value or a characteristic shape may be confirmed. A characteristic shape may be extracted by performing edge processing or filter processing on the captured image. Alternatively, it is possible to learn an image of an artificial object, a person, or the like imaged in advance under various scattering conditions and determine an observation signal with reference to the feature amount.
次に、S820において、波面成形処理S830を実行するための最適化の目的関数を設定する。S810において、被写体790に関連する観測信号を取得しているので、これを利用する。例えば、S810で得た観測信号(図13(b))に対して、ある閾値を設定して2値化処理を実行し、これによって抽出した領域全体をターゲット領域とする(図13(c))。ここで、閾値は、撮像画像の輝度値のヒストグラムを参考に決定してもよい。また、ターゲット領域が極端に小さくならない範囲で、できるだけ閾値は大きく設定した方がよい。2値化処理によって、S810の観測信号に付随して取得された、散乱光などのノイズ成分を除去することができる。ゲート撮像した画像で、このターゲット領域にある画素の輝度値の平均値、或いは総和を目的関数として設定することができる。或いは、ターゲット領域のうち、任意の1画素以上の部分領域を設定し、その部分領域について、上述のように輝度値の和を目的関数としてもよい。部分領域の設定は、撮影者が任意に、注目する領域として設定してもよい。ここで、2値化処理によって、ターゲット領域が撮像画像中で複数の領域に分かれていても、上記のように目的関数を決めてもよい。或いは、分割した領域をそれぞれ別々のターゲット領域とし、最適化の目的関数を個別に設定して、それぞれ独立にS830の波面成形の処理を実行することも可能である。また、目的関数の設定として、ターゲット領域を設定した後に、撮像画像中のターゲット領域とその周辺近傍領域の輝度値で算出する画像のコントラスト値を目的関数としてもよい。このように、S820において、S810で測定した被写体起因の観測信号に基づいて、最適化の目的関数に用いる信号(輝度値の和、或いはコントラスト値)を設定する。このように、ゲート撮像画像に対して、最適化によって波面成形を実行する場合には、目的関数の位置や領域を明確に定義しておく必要がある。この目的関数の設定は、S810の結果を踏まえて、撮影者が決めてもよいし、制御・処理部730が自動で判断して実行してもよい。また、被写体790について、何らかの事前情報がある場合には、その情報に基づいてターゲット領域、及び目的関数を設定してもよい。 Next, in S820, an optimization objective function for executing the wavefront shaping process S830 is set. In S810, since an observation signal related to the subject 790 is acquired, this is used. For example, the threshold value is set for the observation signal obtained in S810 (FIG. 13B) and binarization processing is executed, and the entire region extracted thereby is set as the target region (FIG. 13C). ). Here, the threshold value may be determined with reference to a histogram of luminance values of the captured image. Also, it is better to set the threshold value as large as possible within a range where the target area does not become extremely small. By the binarization processing, noise components such as scattered light acquired accompanying the observation signal in S810 can be removed. In the image captured by the gate, the average value or the sum of the luminance values of the pixels in the target area can be set as the objective function. Alternatively, an arbitrary partial area of one or more pixels may be set in the target area, and the sum of luminance values may be used as the objective function for the partial area as described above. The setting of the partial area may be arbitrarily set as an area of interest to the photographer. Here, even if the target area is divided into a plurality of areas in the captured image by the binarization process, the objective function may be determined as described above. Alternatively, the divided regions can be set as separate target regions, the optimization objective function can be individually set, and the wavefront shaping process of S830 can be executed independently of each other. Further, as the setting of the objective function, after setting the target area, the contrast value of the image calculated based on the luminance values of the target area in the captured image and the peripheral vicinity area may be used as the objective function. Thus, in S820, a signal (sum of luminance values or contrast value) used for the optimization objective function is set based on the observation signal derived from the subject measured in S810. As described above, when performing wavefront shaping by optimization on the gate captured image, it is necessary to clearly define the position and region of the objective function. The objective function may be set by the photographer based on the result of S810, or may be determined and executed automatically by the control / processing unit 730. If there is some prior information about the subject 790, the target area and the objective function may be set based on the information.
次のS830では、S820で設定した目的関数の値が最大になるように、被写体790に照射するパルス光ビームの波面を成形(最適化)する。この最適化処理では、パルス光ビーム760の波面を成形して被写体790に照射し、ゲート撮像して目的関数の値を評価する。この波面成形、ビーム照射、ゲート撮像、目的関数の評価を反復し、目的関数の値が向上するように波面を最適化する。反復は、予め設定した反復回数、或いは、所望の目的関数の値に至るまで実行する。S830の波面成形処理は、第一の実施形態で説明した図3と同様に行う。図3では、ターゲット領域の光音響信号をモニタし、同信号が最大になる位相を設定している。これに対し、本実施形態では、S820で設定した目的関数の値が最大になるように位相を設定すればよい。ゲート撮像画像から被写体790に起因する信号領域(ターゲット領域)を特定し、同領域に基づいて最適化の目的関数を設定し、波面成形することが特徴である。 In the next S830, the wavefront of the pulsed light beam applied to the subject 790 is shaped (optimized) so that the value of the objective function set in S820 is maximized. In this optimization processing, the wavefront of the pulsed light beam 760 is shaped and irradiated on the subject 790, and gate imaging is performed to evaluate the value of the objective function. This wavefront shaping, beam irradiation, gate imaging, and objective function evaluation are repeated, and the wavefront is optimized so that the value of the objective function is improved. The iteration is executed until a preset number of iterations or a desired objective function value is reached. The wavefront shaping process in S830 is performed in the same manner as in FIG. 3 described in the first embodiment. In FIG. 3, the photoacoustic signal in the target area is monitored, and the phase at which the signal is maximized is set. On the other hand, in the present embodiment, the phase may be set so that the value of the objective function set in S820 is maximized. It is characterized in that a signal area (target area) caused by the subject 790 is identified from the gate captured image, an optimization objective function is set based on the area, and wavefront shaping is performed.
次にS840において、S830で最適化されたパルス光ビーム760を被写体790に照射し、ゲート撮像することで撮像画像を取得する(図13(d))。S830の処理によって、被写体790をより効果的に照射し、カメラ720でより高SNに被写体像を撮像することができる。 In step S840, the subject 790 is irradiated with the pulsed light beam 760 optimized in step S830, and a captured image is acquired by performing gate imaging (FIG. 13D). By the processing of S830, the subject 790 can be more effectively irradiated, and the subject image can be captured with a higher SN by the camera 720.
さらに、図14に示すように、S840の実行後、S830で得られた波面761を用い、被写体790におけるターゲット領域791に対して、パルス光ビームの照射角度を水平方向にスキャンしながらゲート撮像を実行する。ここで、水平方向とは、被写体を含む大気(媒質)の、ゲート撮像装置700から見て奥行き方向(深さ方向;Z)に対して垂直な面内での水平方向(横方向;X)とする。これにより、広範囲(広画角)において撮像画像を取得することができる。撮像する領域の範囲(目標位置・範囲)は予め決めていてもよいし、撮像画像から決定してもよい。スキャン量795は、例えばSLM713にスキャン量に応じた線形の位相シフト量を、S830で得られた位相分布に足し合わせてスキャンしてもよい。或いは、別途走査光学系があって、それを用いてスキャンを行ってもよい。ここで、このスキャンは、散乱の相関が保持される範囲で実行する。入射角度を変えても散乱に相関がある範囲では、S830による波面成形の効果が保持される。この効果を利用して、ターゲット領域の近傍をイメージングすることも可能である。スキャンの範囲は、入射角度を変えて撮像した結果から、S820で設定した目的関数をモニタすることで範囲を決めてもよい。例えば、目的関数がS830の処理の初期値より大きい範囲であればよい。 Further, as shown in FIG. 14, after execution of S840, using the wavefront 761 obtained in S830, gate imaging is performed while scanning the irradiation angle of the pulsed light beam in the horizontal direction with respect to the target region 791 in the subject 790. Run. Here, the horizontal direction means the horizontal direction (lateral direction; X) in the plane perpendicular to the depth direction (depth direction; Z) of the atmosphere (medium) including the subject as viewed from the gate imaging device 700. And Thereby, a captured image can be acquired in a wide range (wide field angle). The range (target position / range) of the area to be imaged may be determined in advance or may be determined from the captured image. For the scan amount 795, for example, the SLM 713 may be scanned by adding a linear phase shift amount corresponding to the scan amount to the phase distribution obtained in S830. Alternatively, there may be a separate scanning optical system, and scanning may be performed using that. Here, this scan is executed in a range in which the correlation of scattering is maintained. Even if the incident angle is changed, the effect of wavefront shaping by S830 is maintained in a range where there is a correlation in scattering. By utilizing this effect, it is possible to image the vicinity of the target region. The scan range may be determined by monitoring the objective function set in S820 from the result of imaging with the incident angle changed. For example, the objective function may be in a range larger than the initial value of the process in S830.
さらに、上述のようにスキャンを実行した結果、撮像画像中の被写体790の像の輝度値が低下した場合、再度波面成形処理を実行する。例えば、目的関数の閾値を決め、閾値以下にならない範囲で、スキャン範囲を最大に設定する。この範囲を超えてさらにスキャンする場合、前回S830で成形された波面を初期値に、再度S830の波面成形処理を実行する。このとき、被写体790を再度設定し直し、目的関数も再設定してもよい(S820)。このように再度波面成形処理を行って、S840のゲート撮像を行う。このように、波面成形処理とゲート撮像を反復させながら、より広い画角を高SNにゲート撮像することが可能である。このとき、波面成形処理は、散乱の相関を利用し、前回の波面成形処理による効果を保ちながら実行することで、高速に効率的にスキャン後の最適な入射波面を取得することができる。上記目的関数の閾値は、例えば、S830で得られた値の半分の値、或いは30%の値に設定する。
なお、スキャンは被写体790に対して、上述の深さ方向(Z)に対して垂直な面内における垂直方向(縦方向;Y)であってもよい。最終的に、各撮像画角で撮像した画像をつなげて表示部140に表示してもよい。
Further, when the luminance value of the image of the subject 790 in the captured image is reduced as a result of the scan as described above, the wavefront shaping process is executed again. For example, the threshold value of the objective function is determined, and the scan range is set to the maximum within a range that does not fall below the threshold value. When further scanning is performed beyond this range, the wavefront shaping process of S830 is executed again with the wavefront previously formed in S830 as the initial value. At this time, the subject 790 may be reset and the objective function may be reset (S820). In this way, the wavefront shaping process is performed again, and the gate imaging in S840 is performed. In this way, it is possible to image a wider field angle with a high SN while repeating the wavefront shaping process and the gate imaging. At this time, the wavefront shaping process is performed while utilizing the correlation of the scattering while maintaining the effect of the previous wavefront shaping process, so that the optimum incident wavefront after scanning can be obtained efficiently at high speed. The threshold value of the objective function is set to, for example, half the value obtained in S830 or 30%.
The scan may be in the vertical direction (longitudinal direction; Y) in the plane perpendicular to the depth direction (Z) with respect to the subject 790. Finally, images captured at each imaging angle of view may be connected and displayed on the display unit 140.
以上のように、本実施例では、まず、ある撮像画角における被写体までの距離(第1の距離)にある第1の測定位置における被写体の輝度信号の強度(目的関数)が高くなるように、第1の最適化処理を行って第1の波面を形成する。そして、目標位置(撮像する画角範囲)に近づくように、パルス光ビームの照射角度を制御することで測定位置を変更し(第2の測定位置)、媒質に第1の波面を有する光を照射させるとともに、該変更した測定位置(第2の測定位置)から発生する被写体の輝度信号の強度が高くなるように、第2の最適化処理行って第1の波面を更新する(第2の波面)。以上を、第2の測定位置が目標位置に到達するまで反復処理することを特徴とする。 As described above, in this embodiment, first, the intensity (objective function) of the luminance signal of the subject at the first measurement position at the distance to the subject (first distance) at a certain imaging angle of view is increased. The first optimization process is performed to form the first wavefront. Then, the measurement position is changed (second measurement position) by controlling the irradiation angle of the pulsed light beam so as to approach the target position (viewing angle range to be imaged), and light having the first wavefront in the medium. Irradiate and update the first wavefront by performing a second optimization process so that the intensity of the luminance signal of the subject generated from the changed measurement position (second measurement position) increases (second wavefront) Wavefront). The above is characterized by iteratively processing until the second measurement position reaches the target position.
以上、本発明に係る実施形態を例示的な実施形態を参照して説明したが、本発明が上述の実施形態に限定されないことを理解すべきである。添付の特許請求の範囲の範囲は、そのような変形並びに同等の構造及び機能をすべて含むように最も広い意味での解釈とみなされるべきである。 As mentioned above, although embodiment which concerns on this invention was described with reference to exemplary embodiment, it should be understood that this invention is not limited to the above-mentioned embodiment. The scope of the appended claims should be construed in the broadest sense to include all such variations and equivalent structures and functions.
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。 Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。 Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the present invention includes a computer program itself in which a procedure for realizing the functional processing of the present invention is described.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS. As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used.
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
本発明は、診断などの医療用途に用いられる画像を提供する装置に好適に利用できる。 The present invention can be suitably used for an apparatus that provides an image used for medical applications such as diagnosis.
102 SLM
104 超音波トランスデューサ
105 制御装置
102 SLM
104 Ultrasonic transducer 105 Control device
Claims (18)
前記検出手段の出力に基づいて、前記光の波面を制御する制御手段と、
を有し、
前記制御手段は、
前記媒質内部の第1の測定位置から発生する前記信号に基づいて前記光の第1の波面を形成する第1の処理と、
前記第1の波面を有する前記光が照射された前記媒質内部の、前記第1の測定位置とは異なる第2の測定位置から発生する前記信号に基づいて前記光の第2の波面を形成する第2の処理と、を行うことを特徴とする波面制御装置。 Detecting means for detecting a signal generated from a medium irradiated with light;
Control means for controlling the wavefront of the light based on the output of the detection means;
Have
The control means includes
A first process for forming a first wavefront of the light based on the signal generated from a first measurement position within the medium;
A second wavefront of the light is formed based on the signal generated from a second measurement position different from the first measurement position inside the medium irradiated with the light having the first wavefront. A wavefront control device that performs the second process.
前記第2の処理において、前記第2の測定位置から発生する前記信号の強度が最大値の75%よりも高くなるように前記第2の波面を形成することを特徴とする請求項1に記載の波面制御装置。 In the first process, the control means forms the first wavefront so that the intensity of the signal generated from the first measurement position is higher than 75% of the maximum value,
2. The second wavefront is formed in the second process so that the intensity of the signal generated from the second measurement position is higher than 75% of the maximum value. Wavefront control device.
生成した前記画像を表示する表示手段と、
を有することを特徴とする請求項14に記載の情報取得装置。 Generating means for generating an image based on the detected signal;
Display means for displaying the generated image;
The information acquisition apparatus according to claim 14, comprising:
前記媒質内部の第1の測定位置から発生する信号に基づいて前記媒質に照射される光の第1の波面を形成するステップと、
前記第1の波面を有する光が照射された前記媒質内部の、前記第1の測定位置とは異なる第2の測定位置から発生する前記信号に基づいて前記光の第2の波面を形成するするステップと、
を有することを特徴とする測定方法。 A wavefront control method for controlling a wavefront of light irradiated on a medium,
Forming a first wavefront of light irradiated on the medium based on a signal generated from a first measurement position inside the medium;
A second wavefront of the light is formed based on the signal generated from a second measurement position different from the first measurement position inside the medium irradiated with light having the first wavefront. Steps,
A measuring method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/635,682 US10760956B2 (en) | 2016-07-05 | 2017-06-28 | Wavefront control apparatus, wavefront control method, information acquiring apparatus, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016133424 | 2016-07-05 | ||
| JP2016133424 | 2016-07-05 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018008040A true JP2018008040A (en) | 2018-01-18 |
| JP2018008040A5 JP2018008040A5 (en) | 2020-07-02 |
| JP6882085B2 JP6882085B2 (en) | 2021-06-02 |
Family
ID=60994595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017113432A Active JP6882085B2 (en) | 2016-07-05 | 2017-06-08 | Wavefront control device, wavefront control method, information acquisition device, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6882085B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111202499A (en) * | 2020-02-27 | 2020-05-29 | 浙江大学 | Fast and efficient adaptive optics compensation for stimulated Raman scattering imaging system and method |
| JP2020163107A (en) * | 2019-03-28 | 2020-10-08 | 株式会社アドバンテスト | Photoacoustic wave measuring device |
| WO2021172135A1 (en) * | 2020-02-27 | 2021-09-02 | 国立大学法人東京大学 | Phase imaging device and phase imaging method |
| CN113959677A (en) * | 2021-09-26 | 2022-01-21 | 上海日晴智能科技有限公司 | An ultra-high-precision ultrasonic wave surface control technology combined with 3D holography technology |
| JP2022524923A (en) * | 2019-02-03 | 2022-05-11 | バー‐イラン、ユニバーシティー | Imaging systems and methods via scattering media |
| CN116559087A (en) * | 2023-05-12 | 2023-08-08 | 南京理工大学 | Photoacoustic microscopy imaging method based on fast wavefront shaping and anti-scattered light focusing |
| CN116661135A (en) * | 2023-05-29 | 2023-08-29 | 深圳大学 | Wavefront shaping method, device, computer equipment and storage medium |
| KR20230135382A (en) * | 2022-03-16 | 2023-09-25 | 광주과학기술원 | Method for determining velocity of ultrasonic wave in any medium |
| DE102023204135A1 (en) | 2022-07-15 | 2024-01-18 | Advantest Corporation | ULTRASONIC MEASUREMENT APPARATUS, METHOD, PROGRAM AND RECORDING MEDIUM |
| KR20240105597A (en) * | 2022-12-28 | 2024-07-08 | 무송지오씨 주식회사 | non-contact laser ultrasound endoscopy imaging apparatus |
| WO2024176997A1 (en) * | 2023-02-20 | 2024-08-29 | 株式会社島津製作所 | Light measurement device and light measurement method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120182558A1 (en) * | 2010-12-17 | 2012-07-19 | Canon Kabushiki Kaisha | Apparatus and method for irradiating a scattering medium |
| US20140009808A1 (en) * | 2010-01-25 | 2014-01-09 | The Washington University | Iteration of optical time reversal by ultrasonic encoding in biological tissue |
| JP2014504901A (en) * | 2010-11-19 | 2014-02-27 | キヤノン株式会社 | Apparatus and method for irradiating a medium |
| WO2014136784A1 (en) * | 2013-03-06 | 2014-09-12 | 浜松ホトニクス株式会社 | Fluorescence detection device and fluorescence detection method |
-
2017
- 2017-06-08 JP JP2017113432A patent/JP6882085B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140009808A1 (en) * | 2010-01-25 | 2014-01-09 | The Washington University | Iteration of optical time reversal by ultrasonic encoding in biological tissue |
| JP2014504901A (en) * | 2010-11-19 | 2014-02-27 | キヤノン株式会社 | Apparatus and method for irradiating a medium |
| US20120182558A1 (en) * | 2010-12-17 | 2012-07-19 | Canon Kabushiki Kaisha | Apparatus and method for irradiating a scattering medium |
| WO2014136784A1 (en) * | 2013-03-06 | 2014-09-12 | 浜松ホトニクス株式会社 | Fluorescence detection device and fluorescence detection method |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022524923A (en) * | 2019-02-03 | 2022-05-11 | バー‐イラン、ユニバーシティー | Imaging systems and methods via scattering media |
| US11867625B2 (en) | 2019-02-03 | 2024-01-09 | Bar Ilan University | System and method for imaging via scattering medium |
| JP2020163107A (en) * | 2019-03-28 | 2020-10-08 | 株式会社アドバンテスト | Photoacoustic wave measuring device |
| JP7252887B2 (en) | 2019-03-28 | 2023-04-05 | 株式会社アドバンテスト | Photoacoustic wave measurement device |
| JP2021135409A (en) * | 2020-02-27 | 2021-09-13 | 国立大学法人 東京大学 | Phase imaging device, and phase imaging method |
| JP7432227B2 (en) | 2020-02-27 | 2024-02-16 | 国立大学法人 東京大学 | Phase imaging device, phase imaging method |
| CN111202499B (en) * | 2020-02-27 | 2023-05-23 | 浙江大学 | Stimulated Raman scattering imaging system and method for fast and efficient adaptive optical compensation |
| US12164267B2 (en) | 2020-02-27 | 2024-12-10 | The University Of Tokyo | Phase imaging apparatus, phase imaging method |
| WO2021172135A1 (en) * | 2020-02-27 | 2021-09-02 | 国立大学法人東京大学 | Phase imaging device and phase imaging method |
| CN111202499A (en) * | 2020-02-27 | 2020-05-29 | 浙江大学 | Fast and efficient adaptive optics compensation for stimulated Raman scattering imaging system and method |
| CN113959677A (en) * | 2021-09-26 | 2022-01-21 | 上海日晴智能科技有限公司 | An ultra-high-precision ultrasonic wave surface control technology combined with 3D holography technology |
| KR102651449B1 (en) | 2022-03-16 | 2024-03-26 | 광주과학기술원 | Method for determining velocity of ultrasonic wave in any medium |
| KR20230135382A (en) * | 2022-03-16 | 2023-09-25 | 광주과학기술원 | Method for determining velocity of ultrasonic wave in any medium |
| DE102023204135A1 (en) | 2022-07-15 | 2024-01-18 | Advantest Corporation | ULTRASONIC MEASUREMENT APPARATUS, METHOD, PROGRAM AND RECORDING MEDIUM |
| KR20240105597A (en) * | 2022-12-28 | 2024-07-08 | 무송지오씨 주식회사 | non-contact laser ultrasound endoscopy imaging apparatus |
| KR102847318B1 (en) | 2022-12-28 | 2025-08-20 | 무송지오씨 주식회사 | non-contact laser ultrasound endoscopy imaging apparatus |
| WO2024176997A1 (en) * | 2023-02-20 | 2024-08-29 | 株式会社島津製作所 | Light measurement device and light measurement method |
| CN116559087A (en) * | 2023-05-12 | 2023-08-08 | 南京理工大学 | Photoacoustic microscopy imaging method based on fast wavefront shaping and anti-scattered light focusing |
| CN116661135A (en) * | 2023-05-29 | 2023-08-29 | 深圳大学 | Wavefront shaping method, device, computer equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6882085B2 (en) | 2021-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6882085B2 (en) | Wavefront control device, wavefront control method, information acquisition device, program, and storage medium | |
| US10760956B2 (en) | Wavefront control apparatus, wavefront control method, information acquiring apparatus, and storage medium | |
| US10433734B2 (en) | Apparatus and method for irradiating a medium | |
| US8954130B2 (en) | Apparatus and method for irradiating a medium | |
| US9304490B2 (en) | Apparatus and method for irradiating a medium | |
| US11137375B2 (en) | Systems and methods of grueneisen-relaxation photoacoustic microscopy and photoacoustic wavefront shaping | |
| US8454512B2 (en) | Confocal photoacoustic microscopy with optical lateral resolution | |
| US8450674B2 (en) | Acoustic assisted phase conjugate optical tomography | |
| JP5009058B2 (en) | Sample information analyzer | |
| JP5613337B2 (en) | Device for irradiating media | |
| JP2016217860A (en) | Control device, measuring device, control method, program, and storage medium | |
| JP2018100923A (en) | Light irradiation apparatus, light irradiation method, and light irradiation program | |
| JP2019088346A (en) | Photoacoustic apparatus and object information acquisition method | |
| JP2018179529A (en) | Response characteristic acquisition device, response characteristic acquisition method and response characteristic acquisition program | |
| Jayet | Acousto-optic and photoacoustic imaging of scattering media using wavefront adaptive holography techniques in NdYO4 | |
| Murray et al. | Measuring tissue properties and monitoring therapeutic responses using acousto-optic imaging | |
| Chitnis et al. | An adaptive interferometric sensor for all-optical photoacoustic microscopy | |
| WO2022249115A2 (en) | Systems and methods for an imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200520 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200520 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210506 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6882085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |