JP2017164224A - Calibration method and ocular movement examination system adopting the same - Google Patents
Calibration method and ocular movement examination system adopting the same Download PDFInfo
- Publication number
- JP2017164224A JP2017164224A JP2016051650A JP2016051650A JP2017164224A JP 2017164224 A JP2017164224 A JP 2017164224A JP 2016051650 A JP2016051650 A JP 2016051650A JP 2016051650 A JP2016051650 A JP 2016051650A JP 2017164224 A JP2017164224 A JP 2017164224A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- image
- movement
- eyeball
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】被験者の負担が軽減され、かつ個人差等に基づく誤差要因を排除することにより高精度に眼球の運動を検出可能なキャリブレーション方法とそれを採用した眼球運動検査システムを提供する。
【解決手段】眼球の正面視画像を撮影するステップS1の正面視画像撮影工程と、角度画素係数を演算するステップS2の角度画素係数演算工程と、眼球の回旋画像を撮影するステップS3の回旋画像撮影工程と、移動角度を演算するステップS4の移動角度演算工程と、を備える。
【選択図】図1A calibration method capable of detecting eye movement with high accuracy by reducing the burden on a subject and eliminating error factors based on individual differences and the like, and an eye movement inspection system employing the calibration method.
A front-view image capturing step of step S1 for capturing a front-view image of an eyeball, an angle pixel coefficient calculation step of step S2 for calculating an angle pixel coefficient, and a rotated image of step S3 for capturing a rotated image of an eyeball. A photographing step and a moving angle calculating step of step S4 for calculating the moving angle.
[Selection] Figure 1
Description
本発明は、被験者の眼球の運動を検査する眼球運動検査方法において用いられるキャリブレーション方法とそれを採用した眼球運動検査システムに係り、特に、複数回に及ぶ指標の注視を不要とすることで被験者の負担が軽減され、かつ高精度に眼球の運動を検出するキャリブレーション方法とそれを採用した眼球運動検査システムに関する。 The present invention relates to a calibration method used in an eye movement inspection method for inspecting a subject's eye movement and an eye movement inspection system employing the calibration method, and in particular, eliminates the need for gazing at an index multiple times. The present invention relates to a calibration method for detecting eye movement with high accuracy and an eye movement inspection system employing the same.
従来、被験者の眼球の運動を検査する眼球運動検査方法においては、指標板や壁、または赤外線フレンツェルカメラに内蔵されたレーザー光といった指標を用いてのキャリブレーション方法が採用されてきた。
このキャリブレーション方法について説明すると、例えば、赤外線フレンツェルカメラを使用する場合では、まず指標を被験者の正面に配置して注視させ、その際の眼球の赤外線画像を撮影する。続いて、指標を、被験者の頭部を中心としてそれぞれ上方、下方、右側及び左側に一定の角度θごと回動させて配置し、それぞれ頭部を動かさずに注視させる。そして、それぞれの角度θにおける眼球の赤外線画像を撮影する。
その後、撮影した正面における赤外線画像と角度θにおける各赤外線画像を比較することにより、例えば、瞳孔中心が水平方向に沿って実際に移動した距離Xに比例する画素数Nを計測する。なお、人体では、赤外線フレンツェルカメラを構成するカメラから虹彩の中心までの距離に個人差があることから、被験者毎に画像の拡大率[(画素数N×1画素分の辺の長さ)/距離X]にバラツキがある。そのため、計測した画素数Nを直ちに眼球運動の距離指標として扱うことはできない。そこで、角度θを画素数Nで除することにより、水平方向における1画素当たりの角度αを求め、この角度αをキャリブレーション用の係数として利用する。
具体的には、例えば、任意の水平位置に移動させた指標を被験者がそれぞれ注視している際の、眼球の赤外線画像を撮影する。この画像上で瞳孔中心が移動した画素数Mを計測し、この画素数Mと前述した1画素当たりの角度αの積から、眼球が回旋した角度を求め、眼振の有無を診断可能とする。
しかし、このようなキャリブレーション方法においては、複数の位置に移動する指標を注視する作業は、被験者及び検査者の双方にとって煩雑かつ時間がかかり過ぎるという課題があった。さらに、被験者によっては移動した指標を正確に注視できないために、1画素当たりの角度αの精度が良好でなく、ひいては眼球が回旋した角度の精度も良好でなくなるという課題があった。
そこで、近年、眼球運動の時系列データを作成して解析したり、計測した瞳孔の大きさを補正することによって、眼球の運動を精度良く評価できる技術が開発されており、それに関して既にいくつかの発明が開示されている。
Conventionally, in an eye movement inspection method for inspecting a subject's eye movement, a calibration method using an index plate, a wall, or an index such as a laser beam incorporated in an infrared Frenzell camera has been employed.
This calibration method will be described. For example, in the case of using an infrared Frenzel camera, first, an index is placed in front of the subject to be watched, and an infrared image of the eyeball at that time is taken. Subsequently, the indicators are arranged by being rotated by a certain angle θ around the subject's head, respectively, upward, downward, right side, and left side, and are respectively watched without moving the head. And the infrared image of the eyeball in each angle (theta) is image | photographed.
Thereafter, by comparing the infrared image taken at the front and the infrared image at the angle θ, for example, the number N of pixels proportional to the distance X in which the pupil center is actually moved in the horizontal direction is measured. In the human body, there is an individual difference in the distance from the camera constituting the infrared Frenzel camera to the center of the iris. Therefore, the enlargement ratio of the image [(number of pixels N × length of one pixel) / The distance X] varies. Therefore, the measured pixel count N cannot be immediately used as a distance index of eye movement. Therefore, an angle α per pixel in the horizontal direction is obtained by dividing the angle θ by the number N of pixels, and this angle α is used as a calibration coefficient.
Specifically, for example, an infrared image of the eyeball is taken when the subject is gazing at the index moved to an arbitrary horizontal position. The number M of pixels on which the pupil center has moved is measured on this image, and the angle of rotation of the eyeball is obtained from the product of the number M of pixels and the angle α per pixel described above, and the presence or absence of nystagmus can be diagnosed. .
However, in such a calibration method, the work of gazing at an index that moves to a plurality of positions has a problem that it is both cumbersome and time consuming for both the subject and the examiner. Furthermore, since the subject cannot accurately gaze at the moved index, there is a problem that the accuracy of the angle α per pixel is not good, and the accuracy of the angle of rotation of the eyeball is not good.
Therefore, in recent years, technologies have been developed that can accurately evaluate eye movements by creating and analyzing time series data of eye movements and correcting the measured pupil size. The invention is disclosed.
特許文献1には「眼振検査装置およびそれに用いるプログラムおよび記録媒体」という名称で、眼振の有無を客観的に評価する眼振検査装置およびそれに用いるプログラム等に関する発明が開示されている。
以下、特許文献1に開示された発明について説明する。特許文献1に開示された発明は、被験者の眼球の往復運動を誘発させるための視標を含む映像を生成する映像生成手段と、映像生成手段により生成された映像を被験者に提示する映像提示手段と、映像提示手段によって提示された映像の視標を被験者が目で追う際の眼球の動きを計測する眼球計測手段と、眼球計測手段により計測された眼球の動きの時系列データからリズムゆらぎ解析を行う演算手段と、演算手段による解析結果を診断支援データとして表示する表示手段とを備えてなる眼振検査装置であることを特徴とする。
このような特徴を有する眼振検査装置によれば、眼球の動きの時系列データをリズムゆらぎ解析して得られた解析結果が診断支援データとして表示手段に表示されるので、被験者の眼振の有無を客観的に評価することが可能となる。
Hereinafter, the invention disclosed in
According to the nystagmus examination apparatus having such a feature, the analysis result obtained by analyzing the rhythm fluctuation of the time series data of the movement of the eyeball is displayed on the display means as the diagnosis support data. The presence or absence can be objectively evaluated.
次に、特許文献2には「ノイズに強い楕円近似による計測システム」という名称で、瞳孔の大きさや視線位置等を無侵襲で計測する計測システムに関する発明が開示されている。
特許文献2に開示された発明は、固定焦点カメラで撮影した瞳孔を、画像処理によって楕円で近似し、近似した楕円より瞳孔の大きさを連続測定できるようにしたノイズに強い正確な楕円近似による計測システムであることを特徴とする。
このような特徴を有する計測システムによれば、固定焦点カメラを使うことにより、画像上の長さと、実世界の長さとは比例する。事前にその比例定数を求めることにより、瞳孔の大きさを測定できる。画像処理によって瞳孔を楕円で近似し、その楕円の長径に、前述の比例定数を掛けることにより瞳孔の半径を求めることができる。さらに、瞳孔を楕円で近似することで求められた楕円の中心座標から、視線位置の計測ができる。
Next,
The invention disclosed in
According to the measurement system having such a feature, the length on the image is proportional to the length of the real world by using the fixed focus camera. The pupil size can be measured by obtaining the proportionality constant in advance. The radius of the pupil can be obtained by approximating the pupil with an ellipse by image processing and multiplying the major axis of the ellipse by the proportional constant described above. Furthermore, the line-of-sight position can be measured from the center coordinates of the ellipse obtained by approximating the pupil with an ellipse.
しかしながら、特許文献1に開示された発明においては、映像提示手段によって提示された映像の視標を、複数回に亘って被験者が目で追う作業が行われる。そのため、検査者側の注視作業の煩雑さは軽減されるものの、被験者側の負担はあまり軽減されない。
However, in the invention disclosed in
次に、特許文献2に開示された発明において、得られた楕円の中心座標(すなわち、瞳孔の中心座標)を時間を追って計測することで、眼振の診断にも適用可能であるものと考えられる。しかし、楕円の大きさを求める際の比例定数は、カメラで定規などを撮影し、瞳孔の実際の長さとコンピュータの画面上での長さの比によって求められる。これに対し、前述したように、カメラから瞳孔の中心までの距離には個人差があることから、上記のように一定の比例定数を使用して瞳孔の大きさを算出すると個人差による誤差を含むことになってしまい、適切でないものと考えられる。すなわち、この比例定数によって得られた瞳孔の大きさに基づく瞳孔の中心座標は、精度が良好でない可能性がある。
Next, in the invention disclosed in
本発明は、このような従来の事情に対処してなされたものであり、複数回に及ぶ指標の注視を不要とすることで被験者の負担が軽減され、かつ個人差等に基づく誤差要因を排除することにより高精度に眼球の運動を検出可能なキャリブレーション方法とそれを採用した眼球運動検査システムを提供することを目的とする。 The present invention has been made in response to such a conventional situation. The burden on the subject is reduced by eliminating the need to pay attention to the index multiple times, and error factors based on individual differences are eliminated. An object of the present invention is to provide a calibration method capable of detecting eye movement with high accuracy and an eye movement inspection system employing the calibration method.
上記目的を達成するため、第1の発明は、被験者の眼球の画像データを解析することで眼球の運動を検査する眼球運動検査方法において用いられるキャリブレーション方法であって、眼球の運動を特定するための指標であり、眼球回旋点を中心として回旋角度をもって回旋する虹彩に含まれる特徴点と関連付けて、正面視している場合の眼球の正面視画像を撮影する正面視画像撮影工程と、正面視画像上において虹彩の直径を反映する画素数で、直径を除することにより求められる距離画素係数に基づいて、角度画素係数を演算する角度画素係数演算工程と、特徴点と関連付けて、虹彩が眼球回旋点を中心として移動角度をもって回旋した場合における眼球の回旋画像を撮影する回旋画像撮影工程と、角度画素係数と、特徴点が正面視画像上における位置から回旋画像上における位置に移動した場合の、特徴点の変位に対応する移動画素数と、の積を演算して、移動角度を演算する移動角度演算工程と、を備えることを特徴とする。 To achieve the above object, the first invention is a calibration method used in an eye movement inspection method for examining eye movement by analyzing image data of a subject's eye, and specifies eye movement. A front-view image capturing process for capturing a front-view image of the eyeball in front view in association with a feature point included in an iris that rotates with a rotation angle around the eye rotation point, The angle pixel coefficient calculation step for calculating the angle pixel coefficient based on the distance pixel coefficient obtained by dividing the diameter by the number of pixels reflecting the diameter of the iris on the visual image, and the iris A rotation image capturing process for capturing a rotation image of the eyeball when the rotation is performed around the eyeball rotation point with a moving angle, an angle pixel coefficient, and a feature point on the front view image A moving angle calculation step of calculating a moving angle by calculating a product of the number of moving pixels corresponding to the displacement of the feature point when moving from the position to the position on the rotation image. To do.
このような構成の発明においては、正面視画像撮影工程で、「虹彩に含まれる特徴点と関連付けて」とは、特徴点自体及びその位置を、撮影後に抽出可能にするためである。この特徴点とは、例えば、瞳孔の中心や虹彩の周縁上の1点のように、周囲の環境によって形状が変動せず、かつ認識し易い解剖学的特徴の中から、予め選択されるものである。
また、「正面視」とは、視線が正面から上下左右方向へ、それぞれわずかにずれている状態をも含む概念である。
In the invention having such a configuration, the phrase “in association with the feature points included in the iris” in the front-view image photographing process is to enable the feature points themselves and their positions to be extracted after photographing. This feature point is selected in advance from anatomical features that do not vary in shape due to the surrounding environment and are easy to recognize, such as one point on the center of the pupil or the periphery of the iris. It is.
Further, “front view” is a concept including a state in which the line of sight is slightly shifted from the front in the vertical and horizontal directions.
次に、角度画素係数演算工程により、正面視画像上において虹彩の直径を反映する画素数で、この直径を除することにより距離画素係数が求められる。さらにこの距離画素係数に基づいて、角度画素係数が演算される。この角度画素係数が、本発明において、キャリブレーション用の指標として採用されるものである。 Next, in the angle pixel coefficient calculation step, the distance pixel coefficient is obtained by dividing this diameter by the number of pixels reflecting the diameter of the iris on the front view image. Further, the angle pixel coefficient is calculated based on the distance pixel coefficient. This angle pixel coefficient is employed as an index for calibration in the present invention.
さらに、回旋画像撮影工程において、被験者に対し、検査者が任意の方向を注視するように指示すると、被験者の眼球は、移動角度をもって回旋するから、その虹彩も眼球が正面視した場合とは異なる位置に移動する。この虹彩が移動した場合の眼球の画像を、特徴点と関連付けて正面視画像撮影工程において撮影したときと同一の方向から撮影する。 Further, in the rotation image capturing process, when the examiner instructs the examiner to gaze at an arbitrary direction, the eyeball of the subject rotates with a moving angle, so that the iris is also different from the case where the eyeball is viewed in front. Move to position. The image of the eyeball when the iris is moved is photographed from the same direction as when photographed in the front-view image photographing process in association with the feature point.
最後に、移動角度演算工程において、角度画素係数と、移動画素数との積により、移動画素数が、移動角度に換算される。
なお、特徴点の変位とは、距離の変位である。また、移動画素数は、正面視画像と回旋画像を用いて計測されることから、前述したような人体の個人差に基づく誤差を含む値である。これに対し、移動角度は、眼球が眼球回旋点を中心としてどの程度回旋しているかを示す値であるため、上記の誤差は完全に排除されたものとなる。
Finally, in the moving angle calculation step, the moving pixel number is converted into a moving angle by the product of the angle pixel coefficient and the moving pixel number.
Note that the displacement of the feature point is the displacement of the distance. In addition, the number of moving pixels is a value including an error based on the individual difference of the human body as described above because it is measured using the front view image and the rotated image. On the other hand, the moving angle is a value indicating how much the eyeball is rotated around the eyeball rotation point, and thus the above error is completely eliminated.
次に、第2の発明は、第1の発明において、変位は、水平方向及び鉛直方向のうち、少なくともいずれかの方向に沿った変位であることを特徴とする。 このような構成の発明においては、第1の発明の作用に加えて、変位は、水平方向及び鉛直方向について、それぞれ独立して求められる。 Next, a second invention is characterized in that, in the first invention, the displacement is a displacement along at least one of a horizontal direction and a vertical direction. In the invention having such a configuration, in addition to the action of the first invention, the displacement is obtained independently in the horizontal direction and the vertical direction.
続いて、第3の発明は、第1又は第2の発明を採用した眼球運動検査システムであって、正面視画像を撮影する正面視画像撮影手段と、角度画素係数を演算する角度画素係数演算手段と、回旋画像を撮影する回旋画像撮影手段と、移動角度を演算する移動角度演算手段と、を備えることを特徴とする。
このような構成の発明においては、第1又は第2の発明が実行され、移動角度が自動的に演算される。
Subsequently, the third invention is an eye movement inspection system adopting the first or second invention, and a front-view image photographing means for photographing a front-view image, and an angle pixel coefficient calculation for calculating an angle pixel coefficient. And a rotation image photographing means for photographing a rotation image, and a movement angle calculation means for calculating a movement angle.
In the invention having such a configuration, the first or second invention is executed, and the movement angle is automatically calculated.
第1の発明によれば、正面視画像撮影工程乃至移動角度演算工程では、特許文献2に開示された発明のように複雑な座標計算がなされるプログラムを必要とせずに、簡易に移動角度を演算することができる。
また、正面視画像と回旋画像を用いて計測される移動画素数から、移動角度を求めることができる。すなわち、撮影された平面的な画像上で、特徴点に注目することにより、前述の個人差による誤差が排除された真の眼球の回旋角度である移動角度を求めることができる。
したがって、第1の発明によれば、簡易なキャリブレーション方法でありながらも、精度良く移動角度を求めることが可能である。また、複数回の移動角度演算工程を実施することで、時間を追って移動角度を計測することもできる。
さらに、第1の発明によれば、特許文献1に開示された発明のように被験者が複数回に亘って注視指標を目で追う作業が不要であることから、被験者側の負担及び検査者側の負担のいずれをも解消させることができる。
According to the first invention, in the front-view image photographing process or the movement angle calculation process, the movement angle can be easily set without requiring a program for performing complicated coordinate calculation as in the invention disclosed in
Further, the moving angle can be obtained from the number of moving pixels measured using the front view image and the rotated image. That is, by paying attention to the feature points on the captured planar image, it is possible to obtain the movement angle that is the rotation angle of the true eyeball from which the error due to the individual difference is eliminated.
Therefore, according to the first invention, it is possible to obtain the movement angle with high accuracy while using a simple calibration method. In addition, the movement angle can be measured over time by performing a plurality of movement angle calculation steps.
Furthermore, according to 1st invention, since the test | inspection of a test subject's eye tracking over multiple times like the invention disclosed by
第2の発明によれば、第1の発明の効果に加えて、変位は、水平方向及び鉛直方向について、それぞれ独立して求められるため、視線を変化させることによる眼球の運動を各方向毎に把握できる。 According to the second invention, in addition to the effects of the first invention, since the displacement is obtained independently in the horizontal direction and the vertical direction, the movement of the eyeball by changing the line of sight is changed for each direction. I can grasp.
第3の発明によれば、第1又は第2の発明と同様の効果を有する。 According to the third invention, the same effects as those of the first or second invention are obtained.
本発明の実施の形態に係るキャリブレーション方法について、図1乃至図5を用いて詳細に説明する。図1は、実施例1に係るキャリブレーション方法の工程図である。図2は、実施例1に係るキャリブレーション方法の作用を説明するための眼球の縦断面図である。
図1及び図2に示すように、実施例1に係るキャリブレーション方法1は、被験者の眼球50の画像データを解析することで眼球50の運動を検査する眼球運動検査方法において用いられるキャリブレーション方法である。
実施例1に係るキャリブレーション方法1は、ステップS1の正面視画像撮影工程と、ステップS2の角度画素係数演算工程と、ステップS3の回旋画像撮影工程と、ステップS4の移動角度演算工程と、を備える。以下、これらの各工程について、詳細に説明する。
A calibration method according to an embodiment of the present invention will be described in detail with reference to FIGS. FIG. 1 is a process diagram of the calibration method according to the first embodiment. FIG. 2 is a vertical cross-sectional view of the eyeball for explaining the operation of the calibration method according to the first embodiment.
As shown in FIGS. 1 and 2, the
The
まず、ステップS1の正面視画像撮影工程において、眼球50の運動を特定するための指標であり、眼球回旋点51を中心として回旋角度θ(θVは、鉛直方向の回旋角度)をもって回旋する虹彩52に含まれる特徴点2(図中×印)と関連付けて、正面視している場合の眼球50の正面視画像を、正面視画像撮影手段4(図6参照)で撮影する。この特徴点2とは、より正確には瞳孔54の中心である。
そして、鉛直方向の回旋角度θVは、水平軸Xを基準(θV=0ラジアン)として、眼球回旋点51を中心に上眼瞼53a側に回旋するとき正の値をとり、下眼瞼53b側に回旋するとき負の値をとる。また、水平方向の回旋角度θH(図示せず)も、水平軸Xを基準(θH=0ラジアン)として、眼球回旋点51を中心に眼球50に向かって右側に回旋するとき正の値をとり、左側に回旋するとき負の値をとる。
First, the iris in the front view image capturing process in step S1, an index for identifying the movement of the
The vertical rotation angle θ V takes a positive value when rotating toward the
なお、後述するように、正面視画像撮影手段4は、フレンツェルカメラ8であり、コンピュータ9(図6参照)と接続手段を介して接続されている。このコンピュータ9は、正面視画像撮影手段4から出力された正面視画像のディジタルデータが入力され、そのディジタルデータを記憶する記録部9b、正面視画像を表示する表示部9c、ディジタルデータ等を用いての演算処理を行う演算部9eを備える制御部9a等から構成される。
したがって、正面視画像上では、虹彩52と特徴点2が明確に視認可能であるとともに、コンピュータ9に記憶された正面視画像のディジタルデータから、制御部9aによって、虹彩52の直径dの大きさを、水平方向の画素数PX又は鉛直方向の画素数PYで表わすことにより抽出可能である。また、特徴点2の位置も、制御部9aによって、座標として抽出可能である。なお、直径dの大きさや特徴点2の位置は、コンピュータ9の演算部9eにおいて、ソフトウェアを使用してそれぞれ自動的に抽出されて決定されるほか、後述するキーボード9dやマウス9fから直径dの両端に相当する虹彩52の位置や特徴点2の位置を手入力することで決定されても良い。
As will be described later, the front-view
Accordingly, the
次に、ステップS2の角度画素係数演算工程について、図3及び図4を用いながら、詳細に説明する。図3は、実施例1に係る角度画素係数を説明するための模式図である。なお、図1及び図2で示した構成要素については、図3においても同一の符号を付して、その説明を省略する。
ステップS2の角度画素係数演算においては、式(1)に示すように、まず、正面視画像上において虹彩52の直径dを反映する画素数p1で、直径dを除し、距離画素係数β(図3参照)を求める。なお、画素数p1は、抽出された水平方向の画素数PX又は鉛直方向の画素数PYである。したがって、距離画素係数βは、正面視画像上における1画素当たりの距離(mm/画素)となる。
なお、直径dは、虹彩52の実際の直径d0(図4参照)に正面視画像の拡大率k(k>1)を乗じた値である。これは、虹彩52は、実際には眼球回旋点51から回旋半径D0(図4参照、より詳細には、D0は眼球回旋点51から瞳孔54の中心までの距離である)離れた位置に存在するが、眼球回旋点51から距離D(D=kD0)離れて正面視画像上に投影されるためである。
直径d0としては、複数の成人の平均値が用いられる。具体的には、直径d0は11.50(mm)であって、成人の場合、個人差はわずかである。
Next, the angle pixel coefficient calculation step in step S2 will be described in detail with reference to FIGS. FIG. 3 is a schematic diagram for explaining angle pixel coefficients according to the first embodiment. 1 and 2 are denoted by the same reference numerals in FIG. 3 and description thereof is omitted.
In the angle pixel coefficient calculation in step S2, as shown in Expression (1), first, the diameter d is divided by the pixel number p 1 reflecting the diameter d of the
The diameter d is a value obtained by multiplying the actual diameter d 0 of the iris 52 (see FIG. 4) by the magnification k (k> 1) of the front-view image. This is because the
As the diameter d 0 , an average value of a plurality of adults is used. Specifically, the diameter d 0 is 11.50 (mm), and for an adult, the individual difference is slight.
また、距離画素係数βと角度画素係数α1(図3参照)との関係は、式(2)で与えられる。したがって、式(1),(2)より、式(3)が成立する。
すなわち、角度画素係数α1は、正面視画像上で、1画素の距離(すなわち、距離画素係数β)を形成するような回旋角度θとなるため、角度画素係数α1の単位は(ラジアン/画素)である。
なお、回旋半径D0としては、複数の成人の平均値が用いられる。具体的には、回旋半径D0は9.77(mm)であって、直径d0と同様に、成人の場合、個人差はわずかである。
The relationship between the distance pixel coefficient β and the angle pixel coefficient α 1 (see FIG. 3) is given by Expression (2). Therefore, Expression (3) is established from Expressions (1) and (2).
That is, since the angle pixel coefficient α 1 is a rotation angle θ that forms a distance of one pixel (that is, the distance pixel coefficient β) on the front view image, the unit of the angle pixel coefficient α 1 is (radians / Pixel).
As the rotation radius D 0, the average value of a plurality of adults used. Specifically, the turning radius D 0 is 9.77 (mm), and the individual difference is slight in the case of an adult as in the case of the diameter d 0 .
続いて、ステップS3の回旋画像撮影工程について図4を用いて、詳細に説明する。図4(a)は被験者の眼球を正面から撮影した画像であり、図4(b)は実施例1に係る移動角度を説明するための模式図である。なお、図1乃至図3で示した構成要素については、図4においても同一の符号を付して、その説明を省略する。
図4(a)に示すように、ステップS3の回旋画像撮影工程において、特徴点2と関連付けて、虹彩52が眼球回旋点51を中心として水平方向Hに沿って移動角度θ1をもって回旋した場合における眼球50の回旋画像を撮影する。この回旋画像は、正面視画像を撮影したときの正面視画像撮影手段4(図6参照)を使用して同様に撮影される。そして、回旋画像のディジタルデータは、正面視画像撮影手段4(すなわち、回旋画像撮影手段6、図6参照)からコンピュータに出力される。
さらに、ステップS3の回旋画像撮影工程を、一定時間毎に繰り返すことも可能である。これは、例えば、回旋画像撮影手段6がビデオカメラである場合を指す。
Subsequently, the rotation image photographing process in step S3 will be described in detail with reference to FIG. 4A is an image obtained by photographing the eyeball of the subject from the front, and FIG. 4B is a schematic diagram for explaining the movement angle according to the first embodiment. The constituent elements shown in FIGS. 1 to 3 are denoted by the same reference numerals in FIG. 4 and the description thereof is omitted.
As shown in FIG. 4A, in the rotation image capturing process of step S3, when the
Furthermore, it is also possible to repeat the rotation image photographing process in step S3 at regular intervals. This indicates, for example, the case where the rotated image photographing means 6 is a video camera.
図4(b)に示すように、虹彩52が移動角度θ1をもって水平方向Hに沿って回旋した場合において、特徴点2(×印)が正面視画像上における位置から回旋画像上における位置(●印又は◇印)に移動した場合の、特徴点2の変位X1に対応する移動画素数P1を回旋画像のディジタルデータから抽出する。この抽出は、前述したと同様に、コンピュータ9の演算部9eによって実行される。
なお、変位X1は、水平方向H及び鉛直方向Vのうち、少なくともいずれかの方向に沿った変位である。そのため、例えば、虹彩52が移動角度θ1をもって鉛直方向Vに沿って回旋した場合では、鉛直方向Vに沿った変位となる(図示せず)。また、虹彩52が移動角度θ1をもって水平方向H及び鉛直方向Vに沿って同時に回旋した場合であっても、コンピュータ9によって水平方向H及び鉛直方向Vに沿った変位がそれぞれ独立して認識される。
なお、図中のβ0は、虹彩52上における距離画素係数であり、βは、正面視画像上における距離画素係数である。
As shown in FIG. 4B, when the
The displacement X1 is a displacement along at least one of the horizontal direction H and the vertical direction V. Therefore, for example, when the
In the figure, β 0 is a distance pixel coefficient on the
最後に、ステップS4の移動角度演算工程は、式(4)に示すように、角度画素係数α1と、移動画素数P1の積を演算して、移動角度θ1(ラジアン)を演算する。この演算もコンピュータ9の演算部9eによって実行される。
また、ステップS3の回旋画像撮影工程を、一定時間毎に繰り返す場合には、ステップS4の移動角度演算工程も同様に繰り返されるので、移動角度θ1の時間的変化が求められる。
Finally, the movement angle calculation step of step S4 calculates the movement angle θ 1 (radian) by calculating the product of the angle pixel coefficient α 1 and the number of movement pixels P 1 as shown in equation (4). . This calculation is also executed by the calculation unit 9e of the computer 9.
Further, the rotation imaging process of step S3, if repeated every predetermined time, the movement angle calculating step in step S4 is also repeated in the same manner, the temporal change of the moving angle theta 1 is determined.
この式(4)に、式(3)を代入することにより、式(5)が導出される。 By substituting equation (3) into equation (4), equation (5) is derived.
このように、移動角度θ1は、既知の直径d0と、既知の回旋半径D0と、正面視画像から抽出した画素数p1と、回旋画像から抽出した移動画素数P1から求められる。
また、式(4)は、角度画素係数α1が一定範囲内にある場合に使用されることが望ましい。その理由を、図3及び図5を用いながら、以下に説明する。図5(a)及び図5(b)は、それぞれ実施例1に係る移動角度の精度を説明するための模式図及びグラフである。なお、図1乃至図4で示した構成要素については、図5においても同一の符号を付して、その説明を省略する。
より正確には、虹彩52上における距離画素係数β0は式(6)の距離画素係数β0 *で表わされるため、角度画素係数α1は式(7)で表わされる。
Thus, the movement angle θ 1 is obtained from the known diameter d 0 , the known rotation radius D 0 , the number of pixels p 1 extracted from the front view image, and the number of movement pixels P 1 extracted from the rotation image. .
Further, Equation (4) is the angle pixel coefficient alpha 1 is used if it is in a certain range are desirable. The reason for this will be described below with reference to FIGS. FIG. 5A and FIG. 5B are a schematic diagram and a graph, respectively, for explaining the accuracy of the movement angle according to the first embodiment. 1 to 4 are denoted by the same reference numerals in FIG. 5 and description thereof is omitted.
More precisely, since the distance pixel coefficient β 0 on the
式(6)の代わりに、式(2)を使用しても良い場合は、角度画素係数α1が十分に小さい場合である。このとき、以下の式(8)が成立するためである。 The case where the expression (2) may be used instead of the expression (6) is a case where the angle pixel coefficient α 1 is sufficiently small. This is because the following equation (8) is established.
そこで、角度画素係数α1がいかなる範囲内にある場合に、式(8)を使用しても良いかについて、図5を用いて説明する。
図5(a)に示すように、α1mは、角度画素係数α1をm倍した回旋角度であって、αm1=m・α1である(m=1,2,3・・・)。βm,βnは、それぞれαm1及びα1をn倍したαn1に対応する距離である(n=m+1=2,3,4・・・)。
図5(b)は、横軸を|α1m|(0<|α1m|≦π/8)、α11=π/180(ラジアン)、β0 *=D0sinα11、βn=D0sinα1n、βm=D0sinα1mとし、縦軸に式(9)で表わされる誤差率R=[β0 *−(βn−βm)]/(βn−βm)をプロットした結果である。
Thus, the range in which the angle pixel coefficient α 1 is within the range is described with reference to FIG.
As shown in FIG. 5A, α 1m is a rotation angle obtained by multiplying the angle pixel coefficient α 1 by m, and α m1 = m · α 1 (m = 1, 2, 3,...). . β m and β n are distances corresponding to α n1 obtained by multiplying α m1 and α 1 by n, respectively (n = m + 1 = 2, 3, 4,...).
In FIG. 5B, the horizontal axis represents | α 1m | (0 <| α 1m | ≦ π / 8), α 11 = π / 180 (radian), β 0 * = D 0 sin α 11 , β n = D 0 sin α 1n and β m = D 0 sin α 1 m , and the vertical axis represents the error rate R = [β 0 * − (β n −β m )] / (β n −β m ) represented by the equation (9). It is the result.
式(9)は、真の値(β2−β0 *),(β3−β2),(β4−β3)・・・に対するβ0 *の誤差率を表すものである。
図5(b)から分かるように、誤差率Rの許容範囲を例えば5%以下とするならば、0<|α1m|≦0.31(ラジアン)、すなわち0度<|α1m|≦18度の範囲内において、式(2)を使用しても良いことになる。また、この許容範囲を、例えば10%以下とするならば、0<|α1m|≦0.43(ラジアン)、すなわち0度<|α1m|≦25度の範囲内において、式(2)を使用しても良いことになる。
また、回旋半径D0及び移動画素数P1は、いずれも式(2)を用いることと無関係であるため、式(2)に基づく距離画素係数βの誤差のみが移動角度θに伝播する。したがって、前者の場合、0度<|θ1m|≦18度の範囲内において、式(4)を使用しても良いことになる。なお、実際には、眼球50の最大の回旋角度|θH|,|θV|は、それぞれ20度程度であることから、誤差率Rは5%以下となっている。
Equation (9) represents the error rate of β 0 * with respect to the true values (β 2 -β 0 * ), (β 3 -β 2 ), (β 4 -β 3 ).
As can be seen from FIG. 5B, if the allowable range of the error rate R is, for example, 5% or less, 0 <| α 1m | ≦ 0.31 (radian), that is, 0 degree <| α 1m | ≦ 18. Within the range of degrees, equation (2) may be used. Further, if this allowable range is, for example, 10% or less, within the range of 0 <| α 1m | ≦ 0.43 (radian), that is, 0 degree <| α 1m | ≦ 25 degrees, the expression (2) May be used.
Further, since both the turning radius D 0 and the moving pixel number P 1 are irrelevant to using the equation (2), only the error of the distance pixel coefficient β based on the equation (2) propagates to the moving angle θ. Therefore, in the former case, the expression (4) may be used within the range of 0 degree <| θ 1m | ≦ 18 degrees. Actually, since the maximum rotation angles | θ H | and | θ V | of the
以上、説明したように、実施例1に係るキャリブレーション方法1によれば、式(1)乃至式(5)に基づいて、簡易に移動角度θ1を演算することができる。この移動角度θ1は、式(5)から分かるように、拡大率kの影響を受けない。したがって、前述した人体の個人差による誤差が排除され、精度良く移動角度θ1を求めることができる。
また、角度画素係数α1を決定するために、個人差が殆どなく一定である直径d0と回旋半径D0を用いていることからも、移動角度θ1の精度を向上させることができる。
さらに、キャリブレーション方法1によれば、複数回のステップS3の回旋画像撮影工程及びステップS4の移動角度演算工程を実施することにより、時間を追って移動角度θ1を計測可能なため、眼球50の運動の時間的変化、すなわち眼振を確実に発見することができる。
なお、従来では、医師がカメラの画像を直接観察することで、例えば、眼振の有無のみを検出可能であったが、キャリブレーション方法1によれば、眼球の往復運動を水平方向H及び鉛直方向Vについて定量的に検出可能であるので、眼振の原因となる疾病の鑑別診断に寄与することができる。
さらに、キャリブレーション方法1によれば、特許文献1に開示された発明のように被験者が複数回に亘って注視指標を目で追う作業が不要であることから、被験者側の負担及び検査者側の負担のいずれをも解消させることができる。
As described above, according to the
In addition, since the angle pixel coefficient α 1 is determined by using the constant diameter d 0 and the turning radius D 0 with almost no individual difference, the accuracy of the moving angle θ 1 can be improved.
Furthermore, according to the
Conventionally, a doctor can directly detect the presence or absence of nystagmus, for example, by directly observing the image of the camera. However, according to the
Furthermore, according to the
次に、実施例1にかかるキャリブレーション方法を採用した眼球運動検査システムであって、本発明の第2の実施の形態に係る眼球運動検査システムについて、図6を用いながら説明する。図6は、実施例2に係る眼球運動検査システムの構成図である。なお、図1乃至図5で示した構成要素については、図6においても同一の符号を付して、その説明を省略する。
図6に示すように、実施例2にかかる眼球運動検査システム3は、実施例1にかかるキャリブレーション方法1を採用した眼球運動検査システムである。
実施例2にかかる眼球運動検査システム3は、正面視画像を撮影する正面視画像撮影手段4と、角度画素係数α1を演算する角度画素係数演算手段5と、回旋画像を撮影する回旋画像撮影手段6と、移動角度θ1を演算する移動角度演算手段7と、接続手段10を備える。以下、これらの各手段について、詳細に説明する。
Next, an eye movement inspection system that employs the calibration method according to the first embodiment and that is an eye movement inspection system according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a configuration diagram of the eye movement inspection system according to the second embodiment. The components shown in FIGS. 1 to 5 are denoted by the same reference numerals in FIG. 6 and the description thereof is omitted.
As illustrated in FIG. 6, the eye
Eye
まず、正面視画像撮影手段4は、具体的には、フレンツェルカメラ8である。このフレンツェルカメラ8は、ビデオカメラ8aとこの出力が記録される記録部8bを内蔵するとともに、表示部8cを備える。
より詳細には、ビデオカメラ8aは、眼球50に入射した可視光が眼球50によって反射した反射光を静止画又は動画として撮影可能なCCDカメラである。このビデオカメラ8aによって撮影された正面視画像は、ディジタルデータとして記録部8bへ出力され、この記録部8bによって記録される。そして、この記録されたディジタルデータは、液晶パネルである表示部8cによって虹彩52の画像として表示される。
また、記録部8bは、コンピュータ9を構成する制御部9aと接続手段10を介して通信可能に接続されている。
First, the front-view
More specifically, the
The
次に、角度画素係数演算手段5は、制御部9aに備えられる演算部9eである。この演算部9eは、フレンツェルカメラ8の記録部8bから出力された正面視画像のディジタルデータを用いて、キャリブレーション方法1にしたがい、距離画素係数βと角度画素係数α1を演算する。
Next, the angle pixel coefficient calculation means 5 is a calculation unit 9e provided in the
さらに、回旋画像撮影手段6は、正面視画像撮影手段4と同一のフレンツェルカメラ8である。すなわち、正面視画像撮影手段4は、回旋画像撮影手段6でもある。
Further, the rotated image photographing means 6 is the same Frenzel camera 8 as the front-view
そして、移動角度演算手段7は、角度画素係数演算手段5と同一の演算部9eである。したがって、演算部9eは、回旋画像のディジタルデータを用いて、キャリブレーション方法1にしたがい、移動角度θ1を演算する。
The movement angle calculation unit 7 is the same calculation unit 9e as the angle pixel coefficient calculation unit 5. Therefore, the arithmetic unit 9e, using the digital data of the rotation image, follow the
なお、コンピュータ9は、制御部9aの他、この制御部9aとそれぞれ通信可能に接続される記録部9bと、表示部9cと、キーボード9dと、マウス9fを備える。
このうち、記録部9bは、正面視画像及び回旋画像のディジタルデータ、角度画素係数α1、移動角度θ1、特徴点2の位置等を、互いに適宜関連付けて記録する。この記録されたディジタルデータ等は、制御部9aによって、自在に読み出し可能である。
In addition to the
Among these, the
また、表示部9cは、ディスプレイであり、制御部9aから読み出した正面視画像及び回旋画像や、角度画素係数α1と移動角度θ1を表示可能である。さらに、表示部9cは、移動角度θ1が時間的に変化する場合には、移動角度θ1を連続波形としてグラフ表示することもできる。
さらに、キーボード9d及びマウス9fは、制御部9aに対し、被験者情報や、特徴点2の位置を入力することが可能である。入力された被験者情報等は、正面視画像及び回旋画像等と関連付けられ、演算部9eで角度画素係数α1と移動角度θ1が演算されるほか、記録部9bで演算結果等とともに記録される。
そして、接続手段10は、フレンツェルカメラ8とコンピュータ9とを通信可能に接続するものであり、フレンツェルカメラ8のディジタルデータのフォーマットを、コンピュータ9で処理可能なフォーマットに変換するための変換装置である。
Further, the
Furthermore, the
The connection means 10 connects the Frenzel camera 8 and the computer 9 so that they can communicate with each other, and is a conversion device for converting the digital data format of the Frenzel camera 8 into a format that can be processed by the computer 9. .
以上、説明したように、眼球運動検査システム3によれば、フレンツェルカメラ8と、コンピュータ9等の簡易な構成により、実施例1に係るキャリブレーション方法1を実施することが可能であり、移動角度θ1を自動的かつ精度良く演算可能である。
As described above, according to the eye
なお、本発明に係るキャリブレーション方法1とそれを採用した眼球運動検査システム3は、本実施例に示すものに限定されない。例えば、正面視画像撮影手段4は、一般的なディジタルカメラや、フレンツェル赤外線カメラが使用されても良い。なお、フレンツェル赤外線カメラが使用される場合には、ビデオカメラ8aの代わりに、赤外線ビデオカメラが使用される。
また、フレンツェルカメラ8及びコンピュータ9は、それぞれ実施例で示した以外の構成であっても良い。例えば、フレンツェルカメラ8の記録部8bは備えられていなくても良い。この場合、接続手段10は、ビデオカメラ8aと制御部9aを通信可能に接続する。
The
Further, the Frenzel camera 8 and the computer 9 may have configurations other than those shown in the embodiments. For example, the
本発明は、眼球の運動を検査する眼球運動検査方法において用いられるキャリブレーション方法とそれを採用した眼球運動検査システムとして利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used as a calibration method used in an eye movement inspection method for inspecting eye movement and an eye movement inspection system employing the calibration method.
1…キャリブレーション方法 2…特徴点 3…眼球運動検査システム 4…正面視画像撮影手段 5…角度画素係数演算手段 6…回旋画像撮影手段 7…移動角度演算手段 8…フレンツェルカメラ 8a…ビデオカメラ 8b…記録部 8c…表示部 9…コンピュータ 9a…制御部 9b…記録部 9c…表示部 9d…キーボード 9e…演算部 9f…マウス 10…接続手段 50…眼球 51…眼球回旋点 52…虹彩 53a…上眼瞼 53b…下眼瞼 54…瞳孔
DESCRIPTION OF
Claims (3)
前記眼球の運動を特定するための指標であり、眼球回旋点を中心として回旋角度をもって回旋する虹彩に含まれる特徴点と関連付けて、正面視している場合の前記眼球の正面視画像を撮影する正面視画像撮影工程と、
前記正面視画像上において前記虹彩の直径を反映する画素数で、前記直径を除することにより求められる距離画素係数に基づいて、角度画素係数を演算する角度画素係数演算工程と、
前記特徴点と関連付けて、前記虹彩が前記眼球回旋点を中心として移動角度をもって回旋した場合における前記眼球の回旋画像を撮影する回旋画像撮影工程と、
前記角度画素係数と、前記特徴点が前記正面視画像上における位置から前記回旋画像上における位置に移動した場合の、前記特徴点の変位に対応する移動画素数と、の積を演算して、前記移動角度を演算する移動角度演算工程と、を備えることを特徴とするキャリブレーション方法。 A calibration method used in an eye movement examination method for examining eye movement by analyzing image data of a subject's eye,
It is an index for specifying the movement of the eyeball, and captures a front view image of the eyeball when viewed from the front in association with a feature point included in an iris that rotates around the eyeball rotation point with a rotation angle. Front-view image shooting process,
An angle pixel coefficient calculation step of calculating an angle pixel coefficient based on a distance pixel coefficient obtained by dividing the diameter by the number of pixels reflecting the diameter of the iris on the front view image;
In association with the feature point, a rotation image photographing step of photographing a rotation image of the eyeball when the iris rotates with a movement angle around the eyeball rotation point;
The product of the angle pixel coefficient and the number of moving pixels corresponding to the displacement of the feature point when the feature point moves from a position on the front view image to a position on the convolution image, And a movement angle calculation step of calculating the movement angle.
前記正面視画像を撮影する正面視画像撮影手段と、
前記角度画素係数を演算する角度画素係数演算手段と、
前記回旋画像を撮影する回旋画像撮影手段と、
前記移動角度を演算する移動角度演算手段と、を備えることを特徴とする眼球運動検査システム。 An eye movement inspection system employing the calibration method according to claim 1 or claim 2,
Front-view image capturing means for capturing the front-view image;
Angle pixel coefficient calculating means for calculating the angle pixel coefficient;
A convolution image photographing means for photographing the convolution image;
And a movement angle calculation means for calculating the movement angle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016051650A JP2017164224A (en) | 2016-03-15 | 2016-03-15 | Calibration method and ocular movement examination system adopting the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016051650A JP2017164224A (en) | 2016-03-15 | 2016-03-15 | Calibration method and ocular movement examination system adopting the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017164224A true JP2017164224A (en) | 2017-09-21 |
Family
ID=59908789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016051650A Pending JP2017164224A (en) | 2016-03-15 | 2016-03-15 | Calibration method and ocular movement examination system adopting the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017164224A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119141525A (en) * | 2023-09-26 | 2024-12-17 | 临沂大学 | Robot singular-free hand-eye calibration method based on sequential rotation mechanism |
-
2016
- 2016-03-15 JP JP2016051650A patent/JP2017164224A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119141525A (en) * | 2023-09-26 | 2024-12-17 | 临沂大学 | Robot singular-free hand-eye calibration method based on sequential rotation mechanism |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111128382B (en) | An artificial intelligence multimodal imaging analysis device | |
| JP5700427B2 (en) | Autism diagnosis support device | |
| CN112399817B (en) | Measuring eye refraction | |
| JP7196606B2 (en) | Ophthalmic information processing device and ophthalmic information processing program | |
| JP6716752B2 (en) | Ophthalmic equipment | |
| US10219693B2 (en) | Systems and methods for combined structure and function evaluation of retina | |
| US20180271364A1 (en) | Method and apparatus for detecting ocular movement disorders | |
| KR20150036395A (en) | Strabismus Detection | |
| JP3346618B2 (en) | Optometry device | |
| JP2023030184A (en) | IMAGE PROCESSING METHOD, PROGRAM, IMAGE PROCESSING APPARATUS, AND OPHTHALMIC SYSTEM | |
| JP2010075354A (en) | Blood capillary blood flow measurement apparatus, blood capillary blood flow measurement method, and program | |
| CN111989030B (en) | Image processing method, program and image processing device | |
| JP2014018251A (en) | Ophthalmological photographing apparatus and ophthalmological photographing program | |
| JP6723843B2 (en) | Ophthalmic equipment | |
| JP4901620B2 (en) | Fundus examination image analysis system and fundus examination image analysis program | |
| JP6892540B2 (en) | Ophthalmic equipment | |
| JP2017164224A (en) | Calibration method and ocular movement examination system adopting the same | |
| GB2512697A (en) | Improvements in and relating to ophthalmoscopes | |
| JPWO2015152119A1 (en) | Three-dimensional tomographic volume measuring device, volume measuring method and volume measuring program | |
| JP7540711B2 (en) | Automatic eye movement recording system, calculation device, calculation method and program | |
| WO2014096835A1 (en) | Improvements in and relating to ophthalmoscopes | |
| JP2014236944A (en) | Eye movement measuring apparatus | |
| JP7548637B2 (en) | Systems and methods for quantifying ocular dominance | |
| EP4171350B1 (en) | Method and device for determining at least one astigmatic effect of at least one eye | |
| JP4949007B2 (en) | Fundus image processing apparatus, fundus photographing apparatus, and program |