JP7609075B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本開示は、情報処理装置および情報処理方法に関する。

物体の微細な状態を観測する装置として、比較的導入コストが低く、また、簡易に計測を行うことができるマイクロスコープが広く利用されている。

マイクロスコープに関する技術として、照明ユニットの入射角度の相違を利用して、皮膚表面の色や汚れを解析する技術が知られている（例えば、特許文献１）。また、マイクロスコープの先端ドームからの所定距離に透明ガラスを配置することで、肌表面撮影時のピントボケやゆがみを低減させる技術が知られている（例えば、特許文献２）。

特開平１０－３３３０５７号公報 特開２００８－２５３４９８号公報

従来技術によれば、マイクロスコープによって撮影される画像の質を向上させることができる。

しかしながら、従来技術は、あくまで平面的な画像の質を向上させるものであり、物体の微小な形状（凹凸）を再現した３Ｄ画像を得ることは難しい。なお、物体の微小な形状を計測する装置として、非接触３Ｄ測定器や３Ｄスキャナ等が利用されるが、これらを導入する場合、コストが比較的高くなるという問題がある。なお、ＴｏＦ(Time of Flight)方式による測距装置は、コストが比較的低廉であるものの、精度が充分でない場合がある。

そこで、本開示では、形状計測の精度を向上させることができる情報処理装置および情報処理方法を提供する。

本開示によれば、情報処理装置が提供される。情報処理装置は、制御部を備える。制御部は、対象をセンサが撮像した撮像画像を取得する。前記撮像画像は、それぞれ異なる位置に配置される複数の光源から前記対象に照射された光の反射光から得られる画像である。制御部は、前記撮像画像の輝度値に基づき、前記撮像画像から平坦領域を抽出する。制御部は、前記センサに関する情報および前記撮像画像の前記平坦領域に基づき、前記対象の表面の形状に関する形状情報を算出する。

撮像画像から深度を算出する算出方法について説明するための図である。 対象表面の大まかな形状について説明するための表である。 本開示の第１実施形態の概要について説明するための図である。 本開示の第１実施形態に係る情報処理システムの構成例を示すブロック図である。 本開示の第１実施形態に係るマイクロスコープの構成例を示す図である。 本開示の第１実施形態に係る情報処理装置の構成例を示すブロック図である。 撮像画像の輝度値の一例を示す図である。 領域取得部が生成するマスク画像の一例を示す図である。 領域取得部による平坦領域の取得例を説明するための図である。 法線情報の一例について説明するための図である。 本開示の実施形態に係る学習器について説明するための図である。 撮像画像の１ｐｉｘｅｌあたりの長さについて説明するための図である。 表示制御部が表示部に表示させる画像の一例を示す図である。 本開示の第１実施形態に係る深度算出処理の一例を説明するためのフローチャートである。 本開示の第２実施形態に係る取得部が取得する撮像画像について説明するための図である。 本開示の第２実施形態に係る取得部が取得する撮像画像について説明するための図である。 本開示の第３実施形態に係る領域取得部によるスムージング処理を説明するための図である。 本開示の第４実施形態に係る領域取得部による平坦領域の取得について説明するための図である。 本開示の第４実施形態に係る領域取得部による平坦領域の取得について説明するための図である。 センサの被写界深度を説明するための図である。 本開示の第５実施形態に係る領域取得部による平坦領域の取得について説明するための図である。 本開示の第５実施形態に係る領域取得部による平坦領域の取得について説明するための図である。 本開示の第６実施形態に係る取得部が取得する複数の撮像画像について説明するための図である。 本開示の第６実施形態に係る領域取得部による平坦領域の取得について説明するための図である。 本開示の第７実施形態に係る情報処理装置の構成例を示す図である。 本開示の第７実施形態に係る法線周波数分離部による周波数分離を説明するための図である。 本開示の第８実施形態に係る情報処理装置の構成例を示す図である。 本開示の第８実施形態に係る法線周波数分離部による周波数分離を説明するための図である。 第９実施形態に係る学習器の学習方法について説明するための図である。 本開示の第１０実施形態に係る情報処理装置の制御部の構成例を示す図である。 本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。 本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図３２に示すカメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．背景
１．１．表面形状の算出方法
１．２．算出方法の課題
２．第１実施形態
２．１．第１実施形態の概要
２．２．システム構成例
２．３．マイクロスコープの構成例
２．４．情報処理装置の構成例
２．５．深度算出処理
３．第２実施形態
４．第３実施形態
５．第４実施形態
６．第５実施形態
７．第６実施形態
８．第７実施形態
９．第８実施形態
１０．第９実施形態
１１．第１０実施形態
１２．その他の実施形態
１３．適応例
１４．補足

＜１．背景＞
＜１．１．表面形状の算出方法＞
まず、本開示の実施形態の詳細を説明する前に、本発明者らが本開示の実施形態を創作するに至った背景について説明する。

撮像装置によって撮影される撮像画像（ＲＧＢ画像）から物体の形状（凹凸）を再現した３Ｄ画像を得る方法として、例えばＣＮＮ（Convolutional Neural Network）等の機械学習を利用してＲＧＢ画像から直接表面形状（表面までの深度）を算出する方法が知られている。しかしながら、ＲＧＢ画像からＣＮＮで深度を直接算出する場合、不確定性があり精度を向上させることが難しかった。

撮像画像から物体表面までの深度を算出する他の方法として、撮像画像からＣＮＮ等の機械学習を利用して物体表面の法線情報を算出し、かかる法線情報を深度に式変換する方法がある。かかる方法について、図１を用いて説明する。図１は、撮像画像から深度を算出する算出方法について説明するための図である。図１を用いて説明する方法は、例えば情報処理装置２００によって実行される。

かかる方法では、情報処理装置２００は、まずマイクロスコープが撮像した撮像画像を取得する（ステップＳ１）。このとき、情報処理装置２００は、例えばマイクロスコープに関する情報も取得するものとする。情報処理装置２００は、撮像画像に基づいて、対象の表面における法線（法線情報）を算出する（ステップＳ２）。情報処理装置２００は、例えば、ＣＮＮ等を利用して学習された学習器（モデル）に撮像画像を入力することで、出力データとして法線情報を得る。

情報処理装置２００は、法線情報に基づき、対象の表面までの距離（深度情報）を算出する（ステップＳ３）。マイクロスコープに関する情報の１つであるマイクロスコープのセンサと対象との距離が既知であれば、情報処理装置２００は、法線情報に基づいて対象の表面までの測距を行える。ここで、ユーザがマイクロスコープで対象の撮像を行う場合、マイクロスコープのヘッドマウント部を対象に接触させて撮像する。そのため、マイクロスコープのセンサと対象との距離は、ヘッドマウント部の長さに相当する既知の値となる。

具体的に、情報処理装置２００は、以下の式（１）のＷを最小化することで対象表面までの深度を法線情報に基づいて算出する。

なお、式（１）の各パラメータは以下の通りである。
ｐ：算出した法線のｘ方向
ｑ：算出した法線のｙ方向
Ｚ_ｘ：求める深度のｘ方向の偏微分（法線のｘ方向）
Ｚ_ｙ：求める深度のｙ方向の偏微分（法線のｙ方向）
Ｚ_ｘｘ：求める深度のｘ方向の２回偏微分（法線のｘ方向のｘ方向への偏微分）
Ｚ_ｙｙ：求める深度のｙ方向の２回偏微分（法線のｙ方向のｙ方向への偏微分）
Ｚ_ｘｙ：求める深度のｘ、ｙ方向の２回偏微分

なお、ｘ、ｙは、撮像画像上の座標を示しており、ｘ方向は、例えば撮像画像の横方向、ｙ方向は撮像画像の縦方向とする。

式（１）のフーリエ変換（周波数変換）を行うと式（２）になる。これを最小化することで、対象表面までの深度が算出される。なお、式（２）のＺ_Ｆは求める深度をフーリエ変換したものであり、ｕ、ｖは、周波数空間での座標を表している。

式（２）を式展開したものが、以下の式（３）であり、式（３）を逆フーリエ変換することで、対象表面までの深度が算出される。

上述した式（１）～式（３）の式変換を用いて、情報処理装置２００は、対象の表面までの距離（深度）を算出する。

＜１．２．算出方法の課題＞
上述した算出方法において、式（１）の右辺の２段目および３段目は、式（１）におけるｃｏｓｔ項であり、２段目が法線の絶対値の総和、３段目が法線の微分の絶対値の総和を表している。

ここで、上述した算出方法では、ｃｏｓｔ項の重み（λ、μ）が小さい、すなわち法線の絶対値の総和が少なく、法線の微分の絶対値の総和が少ないという仮定で深度を算出している。法線の絶対値の総和が少ないという仮定（以下、仮定１とも称する）は、深度を算出する対象表面が平らであることを意味する。また、法線の微分の絶対値の総和が少ないという仮定（以下、仮定２とも称する）は、深度を算出する対象表面の曲率が小さいことを意味する。すなわち、上述した算出方法では、深度を算出する対象の大まかな表面形状が平面であるという仮定で、対象までの深度を算出している。

ここで、図２を用いて、対象表面の大まかな形状について説明する。図２は、対象表面の大まかな形状について説明するための表である。なお、図２では、実際の対象表面の形状を点線で、対象表面の大まかな形状について直線で示している。また、対象表面の法線を矢印で示している。また、図２では、対象の横方向をｘ方向、縦方向をｚ方向（深度）としている。

対象表面の大まかな形状とは、対象表面の撮像画像全体における形状であり、大まかな形状が平面であるとは、対象表面の撮像画像全体における形状を見たときに変動が少ないことを意味する。なお、対象表面の局所的な凹凸の変化は、算出対象であるため大まかな形状には含まれない。上述した式（１）に示す最適化式のｃｏｓｔ項の仮定を満たす、すなわち対象表面の撮像画像全体における表面形状が平面に近いほど、情報処理装置２００は、対象表面までの深度を高精度に算出することができる。

例えば、図２の表の（１）に示す対象は、まっすぐな表面に細かな凹凸が含まれる形状となっている。そのため、（１）に示す対象は、上述した仮定１、仮定２の両方を満たす（表では「○」で示している）ため、かかる対象の深度を情報処理装置２００は高精度に算出することができる。

図２の表の（２）に示す対象は、わずかに上向きにカーブした表面に細かな凹凸が含まれる形状となっている。そのため、（２）に示す対象は、上述した仮定１をやや満たし（表では「△」で示している）、仮定２を満たす。そのため、情報処理装置２００は、（２）に示す対象の深度を（１）よりは精度が下がるが、精度よく算出することができる。

図２の表の（３）に示す対象は、左側が大きく上向きにカーブした表面に細かな凹凸が含まれる形状となっている。そのため、（３）に示す対象は、上述した仮定１、２ともに満たさない（表では「×」で示している）。そのため、情報処理装置２００は、（３）に示す対象の深度を精度よく算出することができない。

図２の表の（４）に示す対象は、表面が段々になっている。このように、（４）に示す対象は、高さや方向が異なるまっすぐな面を複数有する表面に細かな凹凸が含まれる形状になっているため、上述した仮定１、２ともに満たさない。そのため、情報処理装置２００は、（４）に示す対象の深度を精度よく算出することができない。

このように、上述した算出方法では、深度の算出対象の表面の大まかな形状が平らであるという仮定を満たさない場合、深度の算出精度が低下するという問題があった。

そこで、このような状況を鑑みて、本件の開示者は、深度の算出精度を向上させることで、形状計測の精度を向上させることができる情報処理装置２００に係る本開示の各実施形態を創作するに至った。そこで、以下に、本開示に係る各実施形態の詳細について順次説明する。

＜２．第１実施形態＞
＜２．１．第１実施形態の概要＞
図３は、本開示の第１実施形態の概要について説明するための図である。第１実施形態に係る情報処理装置２００Ａ（図示省略）は、上述した仮定１、２を満たす領域（平坦領域）を撮像画像から抽出することで、対象の表面形状に関する形状情報（深度情報）の精度劣化を抑制し、形状計測の精度を向上させる。

情報処理装置２００Ａは、まずマイクロスコープ１００のセンサ１５０が対象Ｓを撮像した撮像画像Ｍ１１を取得する。撮像画像Ｍ１１は、それぞれ異なる位置に配置される複数の光源１６０Ａ、１６０Ｂから対象Ｓに照射された光ＩＡ、ＩＢの反射光から得られる画像である。

ここで、マイクロスコープ１００について簡単に説明する。図３の左図に示すように、マイクロスコープ１００は、センサ１５０と、センサ１５０と撮像対象との間に設置される筒状の機構であるヘッドマウント部１０と、複数の光源１６０Ａ、１６０Ｂと、を有する。なお、センサ１５０は、レンズやカメラ等と読み替えてもよい。マイクロスコープ１００は、ユーザが手に持って、対象Ｓにヘッドマウント部１０を接触させることで、対象Ｓにセンサ１５０を向けて使用される撮像装置である。

マイクロスコープ１００は、光源１６０Ａ、１６０Ｂから対象Ｓに同時に照射された光ＩＡ、ＩＢの反射光を露光させ、対象Ｓを撮像する。このとき、例えば対象Ｓの表面の大まかな形状が平面でない場合、対象Ｓの表面には、オクルージョン（光が当たらない領域）が発生する。

例えば、光源１６０Ａから照射された光ＩＡは、対象Ｓの表面のうち領域ＳＡおよび領域ＳＡＢには当たるが、領域ＳＢには当たらない。一方、光源１６０Ｂから照射された光ＩＢは、対象Ｓの表面のうち領域ＳＢおよび領域ＳＡＢには当たるが、領域ＳＡには当たらない。複数の光源１６０Ａ、１６０Ｂからの光ＩＡ、ＩＢが両方当たる領域ＳＡＢは、オクルージョンがない平坦な領域である。

マイクロスコープ１００の撮像画像Ｍ１１は、図３の右図に示すように、光源１６０Ａ、１６０Ｂの一方の光ＩＡ、ＩＢしか当たらない領域ＳＡ、ＳＢが、両方の光ＩＡ、ＩＢが当たる領域ＳＡＢに比べて輝度値が低く暗い画像となる。

そこで、情報処理装置２００Ａは、撮像画像Ｍ１１の輝度値に基づき、撮像画像Ｍ１１から平坦領域ＳＡＢを抽出する。例えば、情報処理装置２００Ａは、撮像画像Ｍ１１の輝度値が閾値以上である領域ＳＡＢを平坦領域として抽出する。

情報処理装置２００Ａは、センサ１５０に関する情報および撮像画像Ｍ１１の平坦領域ＳＡＢに基づき、対象Ｓの表面の形状に関する形状情報（深度情報）を算出する。例えば、情報処理装置２００Ａは、ＣＮＮを利用して学習された学習器に、撮像画像Ｍ１１の平坦領域ＳＡＢを入力することで平坦領域ＳＡＢの法線情報を取得する。情報処理装置２００Ａは、取得した法線情報を上述した式（１）～式（３）を用いた式変換を行うことで、対象Ｓの表面までの深度情報を算出する。

このように、情報処理装置２００Ａは、撮像画像Ｍ１１から式（１）の仮定１、２を満たす領域を抽出することで、形状計測の精度を向上させることができる。

以下、上述した情報処理装置２００Ａを有する情報処理システム１の詳細について説明する。

＜２．２．システム構成例＞
図４は、本開示の第１実施形態に係る情報処理システム１の構成例を示すブロック図である。図４に示すように、情報処理システム１は、マイクロスコープ１００と、情報処理装置２００Ａと、を有する。

マイクロスコープ１００は、ユーザが手に持って、撮像対象Ｓにセンサ１５０を向けて使用される撮像装置である。

情報処理装置２００Ａは、マイクロスコープ１００が撮像した撮像画像Ｍ１１に基づき、撮像対象Ｓの表面形状に関する形状情報を算出する。情報処理装置２００Ａの詳細は、図６を用いて後述する。

マイクロスコープ１００と情報処理装置２００Ａとは例えばケーブルを用いて接続される。あるいは、マイクロスコープ１００と情報処理装置２００ＡとがＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等の無線通信によって直接接続されていてもよい。マイクロスコープ１００と情報処理装置２００Ａとが、例えばネットワーク（図示省略）を介して有線または無線で接続されていてもよい。あるいは、マイクロスコープ１００と情報処理装置２００Ａとが、例えばハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカードなどの外部装着型の記憶媒体を介して撮像画像をやりとりしてもよい。また、マイクロスコープ１００と情報処理装置２００Ａとを一体として構成してもよい。具体的には、情報処理装置２００Ａが、例えば、マイクロスコープ１００の本体内部に配置される構成であってもよい。

＜２．３．マイクロスコープの構成例＞
図５は、本開示の第１実施形態に係るマイクロスコープ１００の構成例を示す図である。マイクロスコープ１００は、センサ１５０と、センサ１５０と撮像対象との間に設置される筒状の機構であるヘッドマウント部１０と、を有する。また、マイクロスコープ１００は、それぞれ異なる位置に配置される点光源１６０Ａ、１６０Ｂ（図示省略）を有する。

ヘッドマウント部１０は、マイクロスコープ１００の先端にマウントされる機構である。ヘッドマウント部１０は、例えば先端ヘッドや鏡筒とも称される。ヘッドマウント部１０の内部が、例えば鏡になっており、点光源１６０Ａ、１６０Ｂから照射された光がヘッドマウント部１０の側面で全反射するようになっていてもよい。

ユーザは、ヘッドマウント部１０を対象Ｓに接触させて、対象Ｓを撮像する。これにより、センサ１５０と対象Ｓとの距離が固定され、撮像においてピント（焦点距離）がずれることを防止することができる。

マイクロスコープ１００は、ヘッドマウント部１０の内部に点光源１６０Ａ、１６０Ｂを有する。これにより、マイクロスコープ１００は、点光源１６０Ａ、１６０Ｂから対象Ｓに照射された光ＩＡ、ＩＢの反射光を露光させ、対象Ｓを撮像する。なお、本明細書における点光源とは、理想的には点による光源を意味するが、現実的には点による光源は存在しえないため、きわめて微少な大きさ（数ミリメートル以内など）の光源を含むものである。

なお、本明細書では、光源の一例として点光源を用いた場合について説明するが、光源は点光源に限定されない。また、光源の数も、２つに限定されない。光源は複数あればよく、それぞれことなる位置に配置されていれば光源が３つ以上あってもよい。

＜２．４．情報処理装置の構成例＞
図６は、本開示の第１実施形態に係る情報処理装置２００Ａの構成例を示すブロック図である。情報処理装置２００Ａは、制御部２２０と、記憶部２３０と、を有する。

（制御部）
制御部２２０は、情報処理装置２００Ａの動作を制御する。制御部２２０は、取得部２２１と、領域取得部２２５と、法線算出部２２２と、深度算出部２２３と、表示制御部２２４と、を有する。取得部２２１と、領域取得部２２５と、法線算出部２２２と、深度算出部２２３と、表示制御部２２４と、の各機能部は、例えば、制御部２２０によって、制御部２２０内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。なお、制御部２２０の内部構造は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２２０が有する各処理部の接続関係は、図６に示した接続関係に限られず、他の接続関係であってもよい。

（取得部）
取得部２２１は、マイクロスコープ１００が撮像した撮像画像Ｍ１１や、マイクロスコープ１００に関する情報を取得する。マイクロスコープ１００に関する情報には、例えば焦点距離ｆやヘッドマウント部１０の長さｄなど、マイクロスコープ１００の構造に関する情報が含まれる。

取得部２２１が、例えばマイクロスコープ１００の点光源１６０Ａ、１６０Ｂやセンサ１５０を制御するようにしてもよい。この場合、取得部２２１は、点光源１６０Ａ、１６０Ｂから光ＩＡ、ＩＢが同時に照射されるように、点光源１６０Ａ、１６０Ｂを制御する。また、取得部２２１は、点光源１６０Ａ、１６０Ｂから光ＩＡ、ＩＢが同時に照射されている間にセンサ１５０が対象Ｓを撮像するように、センサ１５０を制御する。このように、情報処理装置２００Ａがマイクロスコープ１００を制御するようにしてもよい。

あるいは、取得部２２１が、撮像画像Ｍ１１に加え、撮像条件に関する情報を取得するようにしてもよい。撮像条件に関する情報とは、例えば、撮像画像Ｍ１１が点光源１６０Ａ、１６０Ｂから光ＩＡ、ＩＢが同時に照射された間に撮像された画像であることを示す情報である。この場合、後述する領域取得部２２５は、例えば撮像条件に応じて撮像画像Ｍ１１から平坦領域ＳＡＢを抽出する。

（領域取得部）
領域取得部２２５は、撮像画像Ｍ１１から平坦領域ＳＡＢを抽出する。領域取得部２２５は、例えば、撮像画像Ｍ１１の各画素の輝度値Ｌ（ｘ、ｙ）と閾値ｔｈとを比較する。図７に示すように、領域取得部２２５は、輝度値Ｌ（ｘ、ｙ）が閾値ｔｈ以上の画素を含む領域を処理領域とし、輝度値Ｌ（ｘ、ｙ）が閾値ｔｈ未満の画素を含む領域を除外領域とする。なお、図７は、撮像画像Ｍ１１の輝度値の一例を示す図であり、図７では、ｙ軸の値を所定値「β」とした場合の輝度値Ｌ（ｘ、β）と画素（ｘ、β）との関係を示している。

なお、撮像画像Ｍ１１がＲＧＢ画像の場合、輝度値Ｌ（ｘ、ｙ）は、Ｌ（ｘ、ｙ）＝（Ｒ（ｘ、ｙ）＋２Ｇ（ｘ、ｙ）＋Ｂ（ｘ、ｙ））／４で算出される。Ｒ（ｘ、ｙ）は画素（ｘ、ｙ）における画素値のＲ（Ｒｅｄ）成分、Ｇ（ｘ、ｙ）は画素（ｘ、ｙ）における画素値のＧ（Ｇｒｅｅｎ）成分、Ｂ（ｘ、ｙ）は画素（ｘ、ｙ）における画素値のＢ（Ｂｌｕｅ）成分である。

領域取得部２２５は、全ての画素において輝度値Ｌ（ｘ、ｙ）と閾値ｔｈとを比較することで、処理領域と判定した領域を撮像画像Ｍ１１から抽出する抽出領域（平坦領域ＳＡＢ）として取得する。

領域取得部２２５は、例えば、画素の輝度値Ｌ（ｘ、ｙ）が閾値ｔｈ以上である場合にかかる画素を白色とし、閾値ｔｈ未満である場合にかかる画素を黒色とすることで、例えば図８に示すマスク画像Ｍ１２を生成する。なお、図８は、領域取得部２２５が生成するマスク画像Ｍ１２の一例を示す図である。

領域取得部２２５は、図９に示すように、生成したマスク画像Ｍ１２と撮像画像Ｍ１１とを比較し、同座標においてマスク画像Ｍ１２が白色である画素を撮像画像Ｍ１１から抽出することで、平坦領域ＳＡＢを取得する。なお、図９は、領域取得部２２５による平坦領域ＳＡＢの取得例を説明するための図である。

あるいは、領域取得部２５５は、画素の輝度値Ｌ（ｘ、ｙ）が閾値ｔｈ以上である場合にかかる画素の輝度値を「１」とし、閾値ｔｈ未満である場合にかかる画素の輝度値を「０」とすることで、マスク画像Ｍ１２を生成してもよい。この場合、領域取得部２５５は、撮像画像Ｍ１１とマスク画像Ｍ１２とを乗算することで、平坦領域ＳＡＢを取得する。

領域取得部２５５は、取得した平坦領域ＳＡＢを法線算出部２２２に出力する。なお、領域取得部２５５が生成したマスク画像Ｍ１２を法線算出部２２２に出力し、法線算出部２２２が、マスク画像Ｍ１２を用いて撮像画像Ｍ１１から平坦領域ＳＡＢを取得するようにしてもよい。

（法線算出部）
法線算出部２２２は、撮像画像Ｍ１１の平坦領域ＳＡＢに基づいて、対象Ｓの表面における法線情報を法線画像として算出する。法線算出部２２２は、例えば、ＣＮＮを用いて法線画像を生成する。法線算出部２２２は、ＣＮＮを利用して事前に学習された学習器を用いて法線画像を生成する。学習器３００（図１１参照）の入力チャネル数は、入力画像（ここでは平坦領域ＳＡＢ）のＲＧＢに相当する３チャネル、あるいは、入力画像のグレースケールの１チャネルとする。また、学習器３００の出力チャネル数は、出力画像（ここでは法線画像）のＲＧＢに相当する３チャネルとする。また、出力画像の解像度は、入力画像の解像度と等しいものとする。

ここで、法線情報と法線画像のＲＧＢとの関係について、図１０を用いて説明する。図１０は、法線情報の一例について説明するための図である。図１０に示す法線Ｎは、対象Ｓを撮像した撮像画像Ｍ１１の所定画素における法線ベクトルであるとする。この場合、法線Ｎの天頂角をθ、方位角をφとすると、極座標系における法線Ｎ（θ、φ）と直交座標系における法線Ｎ（ｘ、ｙ、ｚ）との間には、以下の式（４）の関係が成り立つ。なお、法線Ｎは、単位ベクトルであるものとする。

法線情報は、上述した直交座標系における法線Ｎ（ｘ、ｙ、ｚ）であり、例えば撮像画像Ｍ１１の平坦領域ＳＡＢの画素ごとに算出される。また、法線画像は、各画素の法線情報をＲＧＢに置き換えることで得られる画像である。すなわち、法線画像は、法線ＮのｘをＲ（レッド）、ｙをＧ（グリーン）、ｚをＢ（ブルー）の各値として置き換えることで得られる画像である。

図６に戻る。法線算出部２２２は、平坦領域ＳＡＢを入力画像として学習器３００に入力することで、出力画像である法線画像を生成する。学習器３００は、学習の真値を法線として、ＣＮＮ中の重みの学習を行うことで事前に生成されているものとする。

ここで、図１１を用いて学習器３００の生成方法について説明する。図１１は、本開示の実施形態に係る学習器３００について説明するための図である。ここでは、説明を簡略化するために、情報処理装置２００Ａの制御部２２０が学習器３００を生成するものとして説明するが、学習器３００は、例えば他の情報処理装置（図示省略）等によって生成されてもよい。

図１１に示す例では、情報処理装置２００Ａは、入力画像Ｍ１４を学習器３００に入力した場合の出力画像Ｍ１５と、学習の真値（Ground Truth）である法線画像Ｍ１６との類似度を算出する。ここでは、情報処理装置２００Ａは、出力画像Ｍ１５と法線画像Ｍ１６との最小二乗誤差（Ｌ２）を算出し、Ｌ２をロスとして学習処理を行う。情報処理装置２００Ａは、例えば算出したロスをバックプロパゲーションすることにより、学習器３００の重みを更新する。これにより、情報処理装置２００Ａは、撮像画像を入力すると法線画像を出力する学習器３００を生成する。

なお、ここでは、機械学習の一例としてＣＮＮを利用して学習器３００を生成するとしたが、これに限定されない。機械学習としてＣＮＮ以外にも例えばＲＮＮ（Recurrent Neural Network）等、種々の手法を用いて学習器３００を生成してもよい。また、上述した例では、算出したロスをバックプロパゲーションすることにより、学習器３００の重みを更新するとしたが、これに限定されない。バックプロパゲーション以外にも例えば確率的勾配降下法等の任意の学習手法を用いて学習器３００の重みを更新するようにしてもよい。また、上述した例では、ロスを最小二乗誤差としたがこれに限定されない。ロスを最小平均誤差としてもよい。

図６に戻る。法線算出部２２２は、生成した学習器３００を利用して法線画像を生成する。法線算出部２２２は、算出した法線画像を深度算出部２２３に出力する。

（深度算出部）
深度算出部２２３は、法線画像の各画素値を入力として、上述した式（１）～（３）を用いた式変換を行ってセンサ１５０から対象Ｓまでの距離（深度）を算出する。具体的には、深度算出部２２３は、以下の通り、上述した式（３）を逆フーリエ変換してＺ’を算出し、求める深度ＺをＺ＝Ｚ’×Ｐとして算出する。

なお、上述した式（３）等の各パラメータは以下の通りである。
Ｐ（ｕ、ｖ）：法線のｘ方向のフーリエ変換
Ｑ（ｕ、ｖ）：法線のｙ方向のフーリエ変換
ｕ、ｖ：各画素の周波数空間中での座標
Ｐ：撮像画像ｘｙの１ｐｉｘｅｌ（１画素）あたりの長さ［μｍ］
Ｚ_Ｆ：求める深度のフーリエ変換
Ｚ’：求める１ｐｉｘｅｌあたりの深度［ｐｉｘｅｌ］
Ｚ：求める深度［μｍ］

上記Ｐ（撮像画像ｘｙの１ｐｉｘｅｌ（１画素）あたりの長さ［μｍ］）は、撮像装置（マイクロスコープ１００）のセンサ１５０の構成から値が決まるパラメータである。

例えば、図１２に示すように、センサ１５０の焦点距離がｆ［ｍｍ］、筐体（ヘッドマウント部１０）の長さがｄ［ｍｍ］であるとする。また、センサ１５０の画素ピッチがｐ［μｍ］とすると、撮像画像の１ｐｉｘｅｌの実長Ｐは、Ｐ：ｄ＝ｐ：ｆからＰ＝（ｄ×ｐ）／ｆ［μｍ］となる。なお、図１２は、撮像画像の１ｐｉｘｅｌあたりの長さについて説明するための図である。

深度算出部２２３は、法線画像とセンサ１５０に関する情報とに基づき、例えば撮像画像Ｍ１１の画素ごとに対象Ｓの深度を算出する。センサ１５０に関する情報とは、例えばセンサ１５０の構造に関する情報であり、具体的には、上述したセンサ１５０の焦点距離やセンサ１５０と対象Ｓとの間の距離に関する情報である。撮像装置がマイクロスコープ１００の場合、センサ１５０と対象Ｓとの間の距離はヘッドマウント部１０の長さｄとなる。

（表示制御部）
表示制御部２２４は、各種の画像を液晶ディスプレイ等の表示部（図示省略）に表示させる。図１３は、表示制御部２２４が表示部に表示させる画像Ｍ１７の一例を示す図である。図１３に示すように、表示制御部２２４は、例えば撮像画像Ｍ１７ａ、法線画像Ｍ１７ｂ、深度画像Ｍ１７ｃ、深度グラフを示す画像Ｍ１７ｄおよび対象Ｓの３Ｄ画像Ｍ１７ｅを含む画像Ｍ１７を表示部に表示させる。

撮像画像Ｍ１７ａは、例えば、マイクロスコープ１００で撮像した撮像画像Ｍ１１から平坦領域ＳＡＢを切り取った画像である。法線画像Ｍ１７ｂは、撮像画像Ｍ１７ａの法線情報をＲＧＢで表示した画像である。深度画像Ｍ１７ｃは、撮像画像Ｍ１７ａの各画素における深度を示す画像であり、例えば色が薄いほど深度が大きい（センサ１５０から対象Ｓまでの距離が大きい）ことを示している。深度グラフを示す画像Ｍ１７ｄは、法線画像Ｍ１７ｂ、深度画像Ｍ１７ｃおよび対象Ｓの３Ｄ画像Ｍ１７ｅに示す直線における深度をグラフとして表示した画像である。対象Ｓの３Ｄ画像Ｍ１７ｅは、深度画像Ｍ１７ｃに基づいて対象Ｓを３次元表示した画像である。

このように、表示制御部２２４が、撮像画像や生成した法線画像および深度画像に加え、深度を示すグラフや３次元画像を表示部に表示させるようにしてもよい。

（記憶部）
記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

＜２．５．深度算出処理＞
図１４は、本開示の第１実施形態に係る深度算出処理の一例を説明するためのフローチャートである。図１４に示す深度算出処理は、情報処理装置２００Ａの制御部２２０がプログラムを実行することによって実現される。図１４に示す深度算出処理は、マイクロスコープ１００が撮像画像Ｍ１１を撮像した後に実行される。あるいは、図１４に示す深度算出処理は、ユーザからの指示に応じて実行されるようにしてもよい。

図１４に示すように、制御部２２０は、例えば、マイクロスコープ１００から撮像画像Ｍ１１を取得する（ステップＳ１０１）。あるいは、制御部２２０が、例えばネットワーク（図示省略）を介して他の装置から撮像画像Ｍ１１を取得するようにしてもよい。他の装置として、例えば他の情報処理装置やクラウドサーバ等が挙げられる。

制御部２２０は、センサ１５０に関する情報を取得する（ステップＳ１０２）。制御部２２０は、マイクロスコープ１００からセンサ１５０に関する情報を取得してもよい。あるいは、記憶部２３０にセンサ１５０に関するセンサ情報を記憶している場合、制御部２２０は、記憶部２３０からセンサ情報を取得してもよい。また、制御部２２０は、例えばユーザからの入力によってセンサ情報を取得してもよい。

制御部２２０は、取得した撮像画像Ｍ１１から平坦領域ＳＡＢを取得する（ステップＳ１０３）。具体的に、制御部２２０は、撮像画像Ｍ１１の各画素の輝度値が閾値ｔｈ以上である領域を平坦領域ＳＡＢとして抽出する。

制御部２２０は、取得した平坦領域ＳＡＢの法線情報を算出する（ステップＳ１０４）。具体的に、制御部２２０は、平坦領域ＳＡＢを入力画像として学習器３００に入力することで、出力画像として法線情報を含む法線画像を生成する。

制御部２２０は、法線情報およびセンサ１５０に関する情報に基づき、深度情報を算出する（ステップＳ１０５）。具体的に、制御部２２０は、法線情報に対して、上述した式（３）等に基づく式変換を行うことで深度情報を算出する。

以上のように、第１実施形態に係る情報処理装置２００Ａは、制御部２２０を備える。制御部２２０は、対象Ｓをセンサ１５０が撮像した撮像画像Ｍ１１を取得する。撮像画像Ｍ１１は、それぞれ異なる位置に配置される複数の点光源１６０Ａ、１６０Ｂから対象Ｓに照射された光ＩＡ、ＩＢの反射光から得られる画像である。制御部２２０は、撮像画像Ｍ１１の輝度値に基づき、撮像画像Ｍ１１から平坦領域ＳＡＢを抽出する。制御部２２０は、センサ１５０に関する情報および撮像画像Ｍ１１の平坦領域ＳＡＢに基づき、対象Ｓの表面の形状に関する形状情報（深度情報）を算出する。

特に、第１実施形態に係る情報処理装置２００Ａは、複数の点光源１６０Ａ、１６０Ｂから同時に対象Ｓに照射された光ＩＡ、ＩＢの反射光から得られる撮像画像Ｍ１１から平坦領域ＳＡＢを取得する。

このように、情報処理装置２００Ａが平坦領域ＳＡＢを取得することで、深度算出部２２３における式変換において仮定１、２を満たすことができ、深度算出の精度低下を抑制することができる。これにより、情報処理装置２００Ａは、形状計測の精度を向上させることができる。

＜３．第２実施形態＞
上記第１実施形態では、複数の点光源１６０Ａ、１６０Ｂから同時に光ＩＡ、ＩＢが照射される間にマイクロスコープ１００が撮像した撮像画像Ｍ１１に基づき、情報処理装置２００Ａが深度を算出する場合を示した。上記例以外にも、情報処理装置２００Ａは、１つの点光源から光が照射される間にマイクロスコープ１００が撮像した撮像画像に基づいて深度を算出してもよい。そこで、第２実施形態では、情報処理装置２００Ａが、複数の点光源１６０Ａ、１６０Ｂの１つから対象Ｓに照射された光の反射光から得られる撮像画像であって、点光源１６０Ａ、１６０Ｂごとに得られる撮像画像に基づき、深度を算出する例について説明する。なお、第２実施形態に係る情報処理装置２００Ａは、取得部２２１および領域取得部２２５の動作を除き、第１実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

図１５は、本開示の第２実施形態に係る取得部２２１が取得する撮像画像Ｍ２１、Ｍ２２について説明するための図である。

図１５に示すように、マイクロスコープ１００は、まず点光源１６０Ａから光ＩＡを照射して、対象Ｓを撮像する。このとき、例えば対象Ｓの表面の大まかな形状が平面出ない場合、対象Ｓの表面にはオクルージョン（光が当たらない領域）が発生する。

例えば、光源１６０Ａから照射された光ＩＡは、対象Ｓの表面のうち領域ＳＡ１には当たるが、領域ＳＡ２には当たらない。この場合、取得部２２１は、例えば図１５に示すように、領域ＳＡ２が領域ＳＡ１に比べて暗い撮像画像Ｍ２１を取得する。

続いて、マイクロスコープ１００は、点光源１６０Ｂから光ＩＢを照射して、対象Ｓを撮像する。このとき、点光源１６０Ａから光ＩＡを照射した場合と同様に、対象Ｓの表面にはオクルージョン（光が当たらない領域）が発生する。

例えば、光源１６０Ｂから照射された光ＩＢは、対象Ｓの表面のうち領域ＳＢ１には当たるが、領域ＳＢ２には当たらない。この場合、取得部２２１は、例えば図１５に示すように、領域ＳＢ２が領域ＳＢ１に比べて暗い撮像画像Ｍ２２を取得する。

このように、取得部２２１は、マイクロスコープ１００が２つの点光源１６０Ａ、１６０Ｂを順次点灯させて撮像した撮像画像Ｍ２１、Ｍ２２を取得する。

領域取得部２２５は、取得部２２１が取得した撮像画像Ｍ２１、Ｍ２２から平坦領域ＳＡＢを取得する。上述したように、平坦領域ＳＡＢには、点光源１６０Ａ、１６０Ｂの両方の光ＩＡ、ＩＢが当たる。換言すると、光ＩＡ、ＩＢの少なくとも一方が当たらないオクルージョン領域は平坦でない領域となる。このように、撮像画像Ｍ２１、Ｍ２２において、平坦領域ＳＡＢには、点光源１６０Ａ、１６０Ｂからの光ＩＡ、ＩＢが当たるため、両方の撮像画像Ｍ２１、Ｍ２２において平坦領域ＳＡＢの画素の輝度値はほぼ同じ値になる。

そこで、領域取得部２２５は、撮像画像Ｍ２１、Ｍ２２の輝度値に基づき、平坦領域ＳＡＢを取得する。領域取得部２２５は、撮像画像Ｍ２１、Ｍ２２のそれぞれ対応する画素において輝度値の変化がない、あるいは変化が小さい（閾値ｔｈ２以内である）領域を平坦領域ＳＡＢとして抽出する。

領域取得部２２５による平坦領域ＳＡＢの具体的な取得方法について、図１６を用いて説明する。図１６は、本開示の第２実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。

領域取得部２２５は、例えば撮像画像Ｍ２１、Ｍ２２の対応する画素（ｘ、ｙ）の輝度値の差分Ｄ（ｘ、ｙ）＝Ｌ１（ｘ、ｙ）－Ｌ２（ｘ、ｙ）を算出する。なお、Ｌ１（ｘ、ｙ）は、撮像画像Ｍ２１の画素（ｘ、ｙ）の輝度値であり、Ｌ２（ｘ、ｙ）は、撮像画像Ｍ２２の画素（ｘ、ｙ）の輝度値である。図１６は、画素のｙを所定の値に固定した場合の、差分Ｄとｘとの関係を示すグラフである。なお、図１５に示すように、撮像画像Ｍ２１、Ｍ２２の横方向をｘ方向、縦方向をｙ方向としている。

例えば図１６に示す領域ＳＢ２では、撮像画像Ｍ２１の輝度値が高く、撮像画像Ｍ２２の輝度値が低い（図１５参照）。そのため、領域ＳＢ２における差分Ｄの値は正方向に大きな値となる。一方、図１６に示す領域ＳＡ２では、撮像画像Ｍ２１の輝度値が低く、撮像画像Ｍ２２の輝度値が高い（図１５参照）。そのため、領域ＳＡ２における差分Ｄの値は負方向に大きな値となる。また、領域ＳＢ２、ＳＡ２を除く領域では、撮像画像Ｍ２１、Ｍ２２の両方とも同程度に輝度値が高いため、差分Ｄはゼロに近い値となる。

そこで、領域取得部２２５は、差分Ｄが閾値ｔｈ２以上である領域ＳＢ２を、深度算出を行わない除外領域とする。また、領域取得部２２５は、差分Ｄが閾値－ｔｈ２以下である領域ＳＡ２を、深度算出を行わない除外領域とする。一方、領域取得部２２５は、差分Ｄが閾値±ｔｈ２の範囲内である領域を、深度算出を行う処理領域とする。領域取得部２２５は、処理領域と判定した領域を撮像画像Ｍ２１、Ｍ２２から抽出する抽出領域（平坦領域ＳＡＢ）として取得する。

より具体的に、領域取得部２２５は、上述した差分Ｄの絶対値ａｂｓ（Ｄ）を閾値判定し、差分Ｄの絶対値ａｂｓ（Ｄ）が閾値ｔｈ２以上の画素を含む領域を黒色の領域、閾値ｔｈ２未満の画素を含む領域を白色の領域とすることで、例えば図８に示すマスク画像Ｍ１２を生成する。領域取得部２２５は、例えば、マスク画像Ｍ１２と撮像画像Ｍ２１とを比較し、同座標においてマスク画像Ｍ１２が白色である画素を撮像画像Ｍ２１から抽出することで、平坦領域ＳＡＢを取得する。あるいは、領域取得部２２５が、マスク画像Ｍ１２と撮像画像Ｍ２２とを比較して平坦領域ＳＡＢを取得してもよい。なお、マスク画像Ｍ１２を生成した後の処理は、第１実施形態と同じである。

第２実施形態では、点光源１６０Ａ、１６０Ｂのいずれか一方を照射して撮像を行う。この場合、上述した第１実施形態のように同時に照射する場合に比べて、対象Ｓに当たる光量を低く抑えることができるため、撮像画像Ｍ２１、Ｍ２２の全体的な明るさを抑え、コントラストを高く保つことができる。そのため、撮像画像Ｍ２１、Ｍ２２の光が当たる領域の輝度値と光が当たらないオクルージョン領域の輝度値の差を大きくすることができる。これにより、領域取得部２２５は、より容易に撮像画像Ｍ２１、Ｍ２２から平坦領域ＳＡＢを取得することができる。

一方、第１実施形態に係る情報処理装置２００Ａは、取得する撮像画像Ｍ１１の枚数が１枚でよいため、第２実施形態に比べて画像取得時間を半分の時間に抑えることができる。また、撮像画像Ｍ２１、Ｍ２２を順次撮像する間に、対象Ｓまたはセンサ１５０が動いてしまうと、領域取得部２２５は、平坦領域ＳＡＢを取得する前に、例えば撮像画像Ｍ２１、Ｍ２２の位置合わせ等の処理を行う必要がでてくる。そのため、リアルタイムで深度算出を行う場合は、画像取得時間が短く位置合わせ等の処理が不要である第１実施形態に係る情報処理装置２００Ａを用いて深度算出を行うことが望ましい。

以上のように、第２実施形態に係る情報処理装置２００Ａは、複数の点光源１６０Ａ、１６０Ｂの１つから対象Ｓに照射された光ＩＡ、ＩＢの反射光から得られる撮像画像Ｍ２１、Ｍ２２を、点光源１６０Ａ、１６０Ｂごとに取得する。情報処理装置２００Ａは、点光源１６０Ａ、１６０Ｂごとに取得した複数の撮像画像Ｍ２１、Ｍ２２間における輝度値の変化（差分Ｄの絶対値）が所定閾値ｔｈ２未満である領域を平坦領域ＳＡＢとして抽出する。

これにより、情報処理装置２００Ａは、撮像画像Ｍ２１、Ｍ２２のコントラストを高くすることができ、平坦領域ＳＡＢの抽出精度を向上させることができ、形状計測の精度を向上させることができる。

なお、ここでは、マイクロスコープ１００が２つの点光源１６０Ａ、１６０Ｂを備える場合を例に説明したが、点光源の数は２つに限定されない。例えば、マイクロスコープ１００が３つ以上の点光源を備えていてもよい。

この場合、マイクロスコープ１００は、３つ以上の点光源を順次点灯させて対象Ｓを撮像する。情報処理装置２００Ａは、マイクロスコープ１００が撮像した複数の撮像画像を取得する。情報処理装置２００Ａは、取得した複数の撮像画像間で輝度値の変化が少ない領域、換言すると複数の撮像画像の対応する画素の輝度値の差分の絶対値が所定閾値ｔｈ２未満である領域を平坦領域ＳＡＢとして取得する。

なお、マイクロスコープ１００が３つ以上の点光源を有している場合であっても、全ての点光源を順次点灯させて対象Ｓを撮像する必要はない。例えば、マイクロスコープ１００が３つの点光源を有している場合、３つの点光源のうち２つの点光源を順次点灯させて撮像を行ってもよい。この場合、マイクロスコープ１００は、例えば複数の点光源のうち最も離れた点光源を選択して点灯させるようにしてもよい。

＜４．第３実施形態＞
上記第１、第２実施形態では、取得部２２１が取得した撮像画像から平坦領域ＳＡＢを取得する場合を示した。上記例以外にも、情報処理装置２００Ａは、撮像画像に対してスムージング処理を行ってから平坦領域ＳＡＢを取得してもよい。そこで、第３実施形態では、情報処理装置２００Ａが撮像画像から平坦領域ＳＡＢを取得する前にスムージング処理を行う例について説明する。なお、第３実施形態に係る情報処理装置２００Ａは、領域取得部２２５の動作を除き、第１実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

図１７は、本開示の第３実施形態に係る領域取得部２２５によるスムージング処理を説明するための図である。

図１７に示すように、取得部２２１が取得した撮像画像Ｍ３１には、対象Ｓの局所の凹凸やノイズが含まれる。なお、対象Ｓの局所の凹凸は、深度算出部２２３における深度情報の算出対象である。

領域取得部２２５が、図１７に示す撮像画像Ｍ３１を画素単位で閾値判定をしようとすると、上述した凹凸やノイズの影響を受けてしまい、平坦領域ＳＡＢの取得精度が低下してしまう。

そこで、領域取得部２２５は、閾値判定を行って平坦領域ＳＡＢを取得する前に、撮像画像Ｍ３１に対してスムージング処理を行い、図１７の下図に示すようにスムージング画像Ｍ３２を生成する。具体的に、領域取得部２２５は、撮像画像Ｍ３１にローパスフィルターを適用することで、スムージング画像Ｍ３２を生成する。領域取得部２２５は、スムージング画像Ｍ３２に対して閾値判定を行って図８に示すマスク画像Ｍ１２を生成する。

領域取得部２２５は、例えば、マスク画像Ｍ１２と撮像画像Ｍ３１とを比較し、同座標においてマスク画像Ｍ１２が白色である画素を撮像画像Ｍ３１から抽出することで、撮像画像Ｍ３１における平坦領域ＳＡＢを取得する。

このように、領域取得部２２５が、スムージング画像Ｍ３２に基づき、マスク画像Ｍ１２を生成することで、撮像画像Ｍ３１の細かな凹凸やノイズの影響を低減しつつマスク画像Ｍ１２を生成することができる。また、領域取得部２２５がマスク画像Ｍ１２を用いて、撮像画像Ｍ３１の平坦領域ＳＡＢを取得することで、局所の凹凸を含んだ平坦領域ＳＡＢを抽出することができ、対象Ｓの深度を精度よく算出することができる。

なお、第２実施形態で説明したように、取得部２２１が複数の撮像画像を取得する場合、領域取得部２２５は、取得した全ての撮像画像に対してスムージング処理を行う。これにより、情報処理装置２００Ａは、平坦領域ＳＡＢの取得精度低下を抑制することができ、形状計測の精度を向上させることができる。

＜５．第４実施形態＞
上記第１、第２実施形態では、領域取得部２２５が画素の輝度値を閾値判定することで平坦領域ＳＡＢを取得する場合を示した。上記例以外にも、情報処理装置２００Ａは、撮像画像を複数のブロックに分割することで平坦領域を取得してもよい。そこで、第４実施形態では、情報処理装置２００Ａが、撮像画像を複数のブロックに分割する例について説明する。なお、第４実施形態に係る情報処理装置２００Ａは、領域取得部２２５の動作を除き、第１実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

図１８は、本開示の第４実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。

図１８に示すように、領域取得部２２５は、取得部２２１が取得した撮像画像Ｍ４１を、例えば複数のブロックに分割し、分割した１つのブロックＭ４２を平坦領域として取得する。なお、領域取得部２２５は、マイクロスコープ１００に関する情報に基づき、ブロックの大きさを決定し、決定した大きさのブロックで撮像画像Ｍ４１を分割する。

図１９に示すように、対象Ｓの形状の変動が撮像画像Ｍ４１全体では大きかったとしても、局所領域ＳＣでは、概ね平面とみなすことができる。なお、図１９は、本開示の第４実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。

例えば、対象Ｓが人間の皮膚である場合、経験的に５ｍｍ×５ｍｍ以下の面積ならば、上述した仮定１、仮定２を満たす平面としてよい。そこで、領域取得部２２５は、例えば撮像画像Ｍ４１を５ｍｍ×５ｍｍ以下のブロックで分割する。撮像画像の１ｐｉｘｅｌの実長Ｐ［μｍ］は、上述したように、センサ１５０の焦点距離ｆ［ｍｍ］、筐体（ヘッドマウント部１０）の長さｄ［ｍｍ］、および、センサ１５０の画素ピッチｐ［μｍ］に基づいて算出される。

例えば上述したように、撮像画像Ｍ４１を５ｍｍ×５ｍｍ以下のブロックで分割する場合、ブロックの幅ｗ［ｐｉｘｅｌ］は、ｗ＝５０００／Ｐ＝５０００ｆ／（ｄ×ｐ）となる。具体的に、センサ１５０の焦点距離ｆ＝１６［ｍｍ］、ヘッドマウント部１０の長さｄ＝１００［ｍｍ］、および、センサ１５０の画素ピッチｐ＝５［μｍ］とすると、１ｐｉｘｅｌあたりの長さＰはＰ＝３１．２５［μｍ］となる。よって、撮像画像Ｍ４１を５ｍｍ×５ｍｍ以下のブロックで分割する場合、ブロックサイズは、１６０×１６０［ｐｉｘｅｌ］となる。

なお、法線算出部２２２および深度算出部２２３は、分割したブロック全てに対して法線情報および深度情報を算出する。算出対象とするブロック（平坦領域）の数が異なる点を除き、深度算出処理は図１３に示す算出処理と同じである。

このように、第４実施形態では、情報処理装置２００Ａが、撮像画像Ｍ４１を複数のブロックに分割して深度を算出する。これにより、情報処理装置２００Ａは、上述した式（１）～式（３）における仮定１、仮定２を満たす平坦領域を取得することができ、精度よく深度算出を行うことができる。このように、第４実施形態に係る情報処理装置２００Ａは、形状計測の精度を向上させることができる。

なお、ここでは、ブロックのサイズを５ｍｍ×５ｍｍとしたが、これに限定されない。例えば、マイクロスコープ１００の撮像対象は人間の皮膚以外であってもよい。撮像対象によって平坦とみなせるブロックのサイズは異なるため、ブロックのサイズは、撮像対象に応じて異なるサイズとしてもよい。

例えば、マイクロスコープ１００が複数種類の対象を撮像する場合、記憶部２３０に撮像対象の種類と適切なブロックのサイズとを対応付けた表を記憶しておくものとする。この場合、情報処理装置２００Ａは、撮像対象の種類に応じてブロックのサイズを選択する。あるいは、ユーザがブロックのサイズを指定するようにしてもよい。このように、ブロックのサイズは、上述した例に限定されず、種々のサイズが選択可能である。

＜６．第５実施形態＞
上記第４実施形態では、領域取得部２２５が撮像画像をブロックに分割することで平坦領域を取得する場合を示した。上記例以外にも、情報処理装置２００Ａは、分割したブロックのコントラスト値に応じて平坦領域を取得してもよい。そこで、第５実施形態では、情報処理装置２００Ａが、分割したブロックのコントラスト値に応じて平坦領域を取得する例について説明する。なお、第５実施形態に係る情報処理装置２００Ａは、領域取得部２２５の動作を除き、第４実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

図２０は、センサ１５０の被写界深度を説明するための図である。センサ１５０（カメラ）には、レンズの絞りに応じた被写界深度（被写体がぼけずに撮影できる奥行きの範囲）が存在する。カメラの光学系には、合焦することで被写体を最も解像度高く鮮明に撮影することができる焦点距離ｆが存在する。例えば、図２０に示す面Ｍ５２は、合焦した面、すなわちピントが合っており被写体を最も解像度高く鮮明に撮影することができる面である。また、面Ｍ５３から面Ｍ５１の範囲が、被写体がぼけずに撮影できる奥行きの範囲（被写界深度）である。

マイクロスコープ１００のようにヘッドマウント部１０を対象Ｓに接触させて撮像する場合、対象Ｓまでの距離が短くなるためセンサ１５０に入射する光量が少なくなってしまう。そのため、センサ１５０に入射する光量をできるだけ増やすために、マイクロスコープ１００では絞り値Ｆを小さく、すなわち絞りを開放して撮像を行う。そのため、図２１に示すように被写界深度Ｐ１が浅くなる。なお、図２１は、本開示の第５実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。

図２１に示すように、マイクロスコープ１００の被写界深度Ｐ１が浅いため、被写界深度Ｐ１に含まれる対象Ｓ、すなわち大まかな形状においてセンサ１５０からの距離がほぼ同じである対象Ｓの表面ＳＤ１はぼけずに撮影することができる。一方、被写界深度Ｐ１に含まれない対象Ｓ、すなわちセンサ１５０からの距離が表面ＳＤ１とは異なる表面ＳＤ２、ＳＤ３はぼやけて撮像されてしまう。

そこで、領域取得部２２５は、被写界深度Ｐ１に含まれる撮像領域を平坦領域として取得する。領域取得部２２５は、ピントがあってぼけずに撮像された領域を撮像画像から取得することで、平坦領域を取得する。かかる点について図２２を用いて説明する。図２２は、本開示の第５実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。

領域取得部２２５は、取得部２２１が取得した撮像画像Ｍ５４を複数のブロックに分割する。なお、ここで分割するブロックのサイズは、上述した第４実施形態のブロックのサイズと同じであっても異なっていてもよい。

続いて、領域取得部２２５は、分割したブロックごとにコントラスト値を算出する。コントラスト値contrastは、contrast＝（Ｌｍａｘ－Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ）で求まる値である。なお、Ｌｍａｘは、ブロック内の輝度値Ｌの最大値であり、Ｌｍａｘ＝ｍａｘ（Ｌ（ｘ、ｙ））である。また、Ｌｍｉｎは、ブロック内の輝度値Ｌの最小値であり、Ｌｍｉｎ＝ｍｉｎ（Ｌ（ｘ、ｙ））である。

ピントがあってぼけずに撮像された領域はコントラスト値contrastが高く、ピントがあっておらずぼやけて撮像された領域はコントラスト値contrastが低い。そこで、領域取得部２２５は、算出したコントラスト値contrastに基づいて平坦領域を取得する。具体的に、領域取得部２２５は、算出したコントラスト値contrastと閾値ｔｈ３とをブロックごとに比較する。領域取得部２２５は、図２２に示すように、コントラスト値contrastが閾値ｔｈ３以上であるブロックを、深度算出を行う平坦領域として抽出する。

法線算出部２２２および深度算出部２２３は、領域取得部２２５が取得した平坦領域の法線情報および深度情報を算出する。算出方法は第１実施形態と同じである。なお、法線算出部２２２および深度算出部２２３は、ブロック単位で法線情報および深度情報を算出してもよい。あるいは、法線算出部２２２および深度算出部２２３は、領域取得部２２５が平坦領域として抽出した領域、すなわちコントラスト値contrastが閾値ｔｈ３以上である複数のブロックをまとめて、法線情報および深度情報を算出してもよい。

以上のように、第５実施形態では、情報処理装置２００Ａは、撮像画像Ｍ５４を複数のブロックに分割する。情報処理装置２００Ａは、分割したブロックごとに算出したコントラスト値contrastに応じて平坦領域を取得する。

このように、情報処理装置２００Ａは、撮像画像Ｍ５４のコントラスト値contrastに応じて平坦領域を取得することで、上述した式（１）～式（３）における仮定１、仮定２を満たす平坦領域における深度を算出することができる。これにより、第５実施形態に係る情報処理装置２００Ａは、形状計測の精度を向上させることができる。

＜７．第６実施形態＞
上記第５実施形態では、領域取得部２２５が１枚の撮像画像を複数のブロックに分割し、分割したブロックごとのコントラスト値に応じて平坦領域を取得する場合を示した。上記例以外にも、情報処理装置２００Ａは、被写体深度が異なる複数の撮像画像をそれぞれ複数のブロックに分割し、分割したブロックごとのコントラスト値に応じて平坦領域を取得してもよい。そこで、第６実施形態では、情報処理装置２００Ａが複数の撮像画像それぞれのブロックごとのコントラスト値に応じて平坦領域を取得する例について説明する。なお、第６実施形態に係る情報処理装置２００Ａは、取得部２２１および領域取得部２２５の動作を除き、第５実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

図２３は、本開示の第６実施形態に係る取得部２２１が取得する複数の撮像画像について説明するための図である。取得部２２１は、被写体深度が異なる複数の撮像画像を取得する。図２３に示すように、マイクロスコープ１００のセンサ１５０を動かすことで、マイクロスコープ１００は、被写体深度（フォーカス面）がそれぞれ異なる撮像画像を複数取得する。図２３の例では、マイクロスコープ１００が、センサ１５０を上下に動かしながら対象Ｓを３回撮像することで３枚の撮像画像を撮像する。マイクロスコープ１００は、例えば、１回目に被写体深度がセンサ１５０に最も近い撮像画像を撮像し、３回目に被写体深度がセンサ１５０から最も遠い撮像画像を撮像する。マイクロスコープ１００は、例えば２回目に被写体深度が１回目と２回目の中間に位置する撮像画像を取得する。

なお、図２３に示す被写体深度と撮像枚数は一例であり、これに限定されない。例えば、マイクロスコープ１００が２枚、あるいは、４枚以上の撮像画像を撮像するようにしてもよい。また、各撮像時の被写体深度の範囲が連続、あるいは、一部重複していてもよい。

取得部２２１は、例えばマイクロスコープ１００を制御して、被写体深度がそれぞれ異なる撮像画像Ｍ６１～Ｍ６３を取得する。

図２４は、本開示の第６実施形態に係る領域取得部２２５による平坦領域の取得について説明するための図である。ここでは、取得部２２１が、マイクロスコープ１００を制御して、図２３に示すように被写体深度が異なる撮像画像を撮像させることで、図２４に示すような撮像画像Ｍ６１～Ｍ６３を取得するものとする。

領域取得部２２５は、撮像画像Ｍ６１～Ｍ６３それぞれをブロックに分割する。領域取得部２２５は、分割したブロックごとにコントラスト値contrastを算出する。領域取得部２２５は、算出したブロックのコントラスト値contrastと閾値ｔｈ３とを比較し、コントラスト値contrastが閾値ｔｈ３以上であるブロックを平坦領域として抽出する。

例えば、図２４では、領域取得部２２５は、撮像画像Ｍ６１のコントラスト値contrastが閾値ｔｈ３以上であるブロックを含む領域Ｍ６１Ａを撮像画像Ｍ６１から抽出する。同様に、領域取得部２２５は、撮像画像Ｍ６２のコントラスト値contrastが閾値ｔｈ３以上であるブロックを含む領域Ｍ６２Ａを撮像画像Ｍ６２から抽出する。また、撮像画像Ｍ６３のコントラスト値contrastが閾値ｔｈ３以上であるブロックを含む領域Ｍ６３Ａを撮像画像Ｍ６３から抽出する。

最後に、領域取得部２２５は、抽出した領域Ｍ６１Ａ～Ｍ６３Ａを合成して平坦領域を含む画像Ｍ６４を生成する。換言すると、領域取得部２２５は、撮像画像Ｍ６１～Ｍ６３のピントが合っており、ぼけていない領域を合成して画像Ｍ６４を生成する。

なお、画像Ｍ６４を平坦領域として、法線算出部２２２および深度算出部２２３が実行する処理は第５実施形態と同じである。

以上のように、第６実施形態に係る情報処理装置２００Ａは、被写体深度が異なる複数の撮像画像を取得する。情報処理装置２００Ａは、取得した複数の撮像画像をそれぞれ複数のブロックに分割する。情報処理装置２００Ａは、分割したブロックごとのコントラスト値contrastに応じて平坦領域を取得する。

これにより、情報処理装置２００Ａは、コントラスト値contrastに応じて平坦領域を取得することで、上述した式（１）～式（３）における仮定１、仮定２を満たす平坦領域における深度を算出することができる。また、情報処理装置２００Ａは、複数の撮像画像から平坦領域を取得することで、コントラスト値contrastに応じた平坦領域を拡大することができる。

なお、ここでは、領域取得部２２５が領域Ｍ６１Ａ～Ｍ６３Ａを合成するとしたが、これに限定されない。例えば、法線算出部２２２および深度算出部２２３がそれぞれ領域Ｍ６１Ａ～Ｍ６３Ａごとに法線情報および深度情報を算出し、例えば表示制御部２２４が表示部に結果を表示させるときに、領域Ｍ６１Ａ～Ｍ６３Ａを合成した結果を表示するようにしてもよい。

＜８．第７実施形態＞
上記第１～６実施形態では、領域取得部２２５が撮像画像から平坦領域を取得する場合を示した。上記例以外にも、法線算出部２２２が算出した法線情報から高周波成分を抽出するようにしてもよい。そこで、第７実施形態では、法線情報から高周波成分を抽出して深度情報を算出する例について説明する。

図２５は、本開示の第７実施形態に係る情報処理装置２００Ｂの構成例を示す図である。図２５に示す情報処理装置２００Ｂは、制御部２２０Ｂが領域取得部２２５を備えておらず、法線周波数分離部２２６Ｂを備える点を除き、図６に示す情報処理装置２００Ａと同じ構成要素を有する。

法線算出部２２２は、取得部２２１が取得した撮像画像の各画素における法線情報を算出する。

法線周波数分離部２２６Ｂは、法線情報から高周波成分（以下、法線高周波ともいう）を分離する。ここで、上述したように、深度算出部２２３の算出対象である深度情報は、対象Ｓの局所的な凹凸形状に関する情報である。換言すると、深度算出部２２３が算出する深度情報は、対象Ｓの表面の形状の高周波成分であり、低周波成分を含んでいないものである。法線周波数分離部２２６は、法線情報から大まかな形状の法線情報である低周波成分を除去して法線高周波を生成する。法線高周波は、低周波成分（大まかな形状の法線情報）を含まないため、上述した式（１）～式（３）の仮定１、仮定２を満たすものとなる。

図２６は、本開示の第７実施形態に係る法線周波数分離部２２６Ｂによる周波数分離を説明するための図である。

例えば、図２６の上図に示すような法線情報Ｘが法線周波数分離部２２６Ｂに入力されたとする。なお、図２６では、実際の対象Ｓの表面を点線で、対象Ｓの表面の大まかな形状を実線で、対象Ｓの表面の法線を矢印で示している。

この場合、法線周波数分離部２２６Ｂは、例えば畳み込みフィルタＦ（Ｘ）を用いて法線情報の高周波成分と低周波成分を分離し、図２６の中図に示す法線高周波Ｙを抽出する。なお、畳み込みフィルタＦ（Ｘ）は、法線情報を入力としたときに高周波成分を抽出するように予め設計されたフィルタである。

深度算出部２２３は、法線周波数分離部２２６Ｂが分離した法線高周波を上述した式（１）～式（３）等を用いて式変換することで、仮定１、仮定２を満たす状態で深度情報Ｚ（図２６の下図参照）を算出することができる。

このように、情報処理装置２００Ｂは、法線情報から高周波成分を抽出し、抽出した高周波成分に基づいて深度情報を算出する。

これにより、情報処理装置２００Ｂは、仮定１、仮定２を満たす状態で上述した（１）～式（３）等を用いた式変換を行えるため、深度情報の算出精度の低下を抑制することができる。そのため、情報処理装置２００Ｂは、周波数分離を行わない場合に比べて、形状計測の精度を向上させることができる。

＜９．第８実施形態＞
上記第７実施形態では、法線情報の高周波成分から深度情報を算出する場合を示した。上記例以外にも、法線情報の高周波成分に加え、低周波成分も用いて深度情報を算出するようにしてもよい。そこで、第８実施形態では、法線情報から高周波成分および低周波成分を分離して深度情報を算出する例について説明する。

図２７は、本開示の第８実施形態に係る情報処理装置２００Ｃの構成例を示す図である。図２７に示す情報処理装置２００Ｃは、制御部２２０Ｃの法線周波数分離部２２６Ｃおよび深度算出部２２３Ｃを除き、図２５に示す情報処理装置２００Ｂと同じ構成要素を有する。

法線周波数分離部２２６Ｃは、法線情報から高周波成分と低周波成分（以下、法線低周波ともいう）を分離して、それぞれ深度算出部２２３Ｃに出力する。上述したように、対象Ｓの局所的な凹凸形状が法線情報の高周波成分に寄与する。また、対象Ｓの大まかな形状が法線情報の低周波成分に寄与する。かかる点について図２８を用いて説明する。

図２８は、本開示の第８実施形態に係る法線周波数分離部２２６Ｃによる周波数分離を説明するための図である。

例えば、図２８（ａ）に示すような法線情報Ｘが法線周波数分離部２２６Ｃに入力されたとする。なお、図２８では、実際の対象Ｓの表面を点線で、対象Ｓの表面の大まかな形状を実線で、対象Ｓの表面の法線を矢印で示している。

この場合、法線周波数分離部２２６Ｃは、例えば畳み込みフィルタＦ（Ｘ）を用いて法線情報の高周波成分を抽出し、法線高周波ＹＨ＝Ｆ（Ｘ）を抽出する。図２８（ｂ）の上図に示すように、法線高周波ＹＨで表される表面形状は、大まかな形状（法線低周波ＹＬ）が除去され、平坦な面に局所的な凹凸がある形状となる。なお、畳み込みフィルタＦ（Ｘ）は、法線情報を入力としたときに高周波成分を抽出するように予め設計されたフィルタである。

また、法線周波数分離部２２６Ｃは、法線情報Ｘから法線高周波ＹＨを減算することで法線低周波ＹＬを抽出する。すなわち、法線周波数分離部２２６Ｃは、法線低周波ＹＬ＝Ｘ－ＹＨ＝Ｘ－Ｆ（Ｘ）を算出することで、法線低周波ＹＬを抽出する。図２８（ｂ）の下図に示すように、法線低周波ＹＬで表される表面形状は、局所的な凹凸形状が除去された大まかな形状となる。

深度算出部２２３Ｃは、法線高周波ＹＨおよび法線低周波ＹＬそれぞれに対して式変換を行い、図２８（ｃ）に示すように、深度情報の高周波成分ＺＨ（以下、深度高周波ともいう）および低周波成分ＺＬ（以下、深度低周波ともいう）を算出する。

ここで、法線高周波ＹＨは、上述したように、式変換の仮定１、仮定２を満たす状態であるため、深度算出部２２３Ｃは、精度よく深度高周波ＺＨを算出できる。

また、深度算出部２２３Ｃは、上述した式（１）～式（３）のλおよびμをそれぞれゼロ（λ＝０、μ＝０）として、法線低周波ＹＬの式変換を行うことで、深度低周波ＺＬを算出する。このように、ｃｏｓｔ項の係数をゼロにすることで、仮定１、仮定２を排除した状態で深度低周波ＺＬを算出することができる。なお、法線低周波ＹＬは、法線高周波ＹＨが除去された法線情報Ｘの低周波成分であり、対象Ｓの表面形状のうち局所的な凹凸形状を除去した状態を表す法線情報である。そのため、深度算出部２２３Ｃは、仮定１、仮定２を除去した状態で法線低周波ＹＬの式変換を行っても、精度よく深度低周波ＺＬを算出することができる。

深度算出部２２３Ｃは、算出した深度高周波ＺＨおよび深度低周波ＺＬを合成することで、図２８（ｄ）に示す深度情報Ｚを算出する。

このように、情報処理装置２００Ｃは、撮像画像から算出した法線情報を周波数分離する。情報処理装置２００Ｃは、分離した周波数ごとに深度情報を算出し、算出した深度情報を合成して対象Ｓの深度情報を算出する。

これにより、情報処理装置２００Ｃは、局所的な凹凸形状の深度に加え、大まかな形状の深度を算出することができる。また、情報処理装置２００Ｃは、これらの深度を合成することで、対象Ｓの深度情報をより精度よく算出することができる。

なお、ここでは、深度算出部２２３Ｃが、上述した式（１）～式（３）のλおよびμをそれぞれゼロ（λ＝０、μ＝０）として、法線低周波ＹＬの式変換を行うとしたが、これに限定されない。深度算出部２２３Ｃが仮定１および仮定２の影響が小さい状態で深度低周波ＺＬを算出できればよく、λおよびμの値を、仮定１および仮定２が深度低周波ＺＬの算出に影響を与えない程度に小さい値としてもよい。

＜１０．第９実施形態＞
上記第１実施形態では、真値である画像Ｍ１６を用いて学習器３００の学習を行う場合を示した。上記例以外にも、情報処理装置２００Ａは、画像Ｍ１６をシフトさせた画像を正解データとして学習器３００の学習を行ってもよい。そこで、第９実施形態では、情報処理装置２００Ａが画像Ｍ１６をシフトさせた画像を正解データとして学習器３００の学習を行う例について図２９を用いて説明する。図２９は、第９実施形態に係る学習器３００の学習方法について説明するための図である。なお、第９実施形態に係る情報処理装置２００Ａは、法線算出部２２２の動作を除き、第１実施形態に係る情報処理装置２００Ａと同じ構成および動作であるため、同一符号を付し、一部の説明を省略する。

上述したように、法線算出部２２２は、撮像画像Ｍ１４を入力データとし、法線画像Ｍ１６を正解データ（真値）として学習器３００の重みを更新して学習を行う。ここで、撮像画像Ｍ１４は、例えばマイクロスコープ１００等のＲＧＢ画像を撮像するデバイスによって撮像される。一方、法線画像Ｍ１６は、例えば非接触３Ｄ計測器のように直接対象Ｓの表面形状を計測するデバイスが計測した形状情報に基づいて生成される。

このように、入力画像を取得するデバイスの光学系と正解画像を取得するデバイスの光学系とが異なっていると、入力画像と正解画像の位置合わせが難しくなってしまう。そのため、入力画像を学習器３００に入力することで得られる出力画像および正解画像が数画素ずれてしまうことがある。このように、出力画像と正解画像とがずれた状態で学習器３００の学習を行うと、入力画像に対してぼけた出力画像を出力する学習器３００が生成されてしまう。

そこで、図２９に示すように、法線算出部２２２は、学習器（ＣＮＮ）３００のフィルタ係数（重み）を決める学習時に、法線画像Ｍ１６をｘ方向およびｙ方向にシフトさせ、シフト後の法線画像Ｍ１６と出力画像Ｍ１５との類似度を算出する。なお、法線算出部２２２は、法線画像Ｍ１６をｘ方向において０から±ｘの範囲でシフトさせ、ｙ方向において０から±ｙの範囲でシフトさせるものとする。

法線算出部２２２は、例えばシフト後の法線画像Ｍ１６と出力画像Ｍ１５との最小二乗誤差をシフト量ごとに算出する。法線算出部２２２は、算出した最小二乗誤差のうち最小値を最終的なロスとして、学習器３００の重みを更新する。なお、最小二乗誤差のかわりに、シフト後の法線画像Ｍ１６と出力画像Ｍ１５との最小平均誤差をシフト量ごとに算出し、算出した最小平均誤差のうち最小値を最終的なロスとしてもよい。

このように、学習器３００は、真値画像（法線画像）をシフトしたシフト画像（シフト後の法線画像）と出力画像Ｍ１５との類似度に応じて重みが更新されて生成される。より具体的には、学習器３００は、真値画像（法線画像）を異なるシフト量（画素数）でシフトした複数のシフト画像（シフト後の法線画像、正解候補画像ともいう）それぞれと、出力画像Ｍ１５との類似度に応じて重みが更新されて生成される。

これにより、学習器３００の出力画像Ｍ１５と法線画像Ｍ１６との位置合わせを行わなくても、両方の画像の位置があった状態で学習器３００の重みを更新することができる。これにより、学習器３００の学習精度をより向上させることができる。また、法線算出部２２２がかかる学習器３００を用いて法線情報を算出することで、より精度よく法線情報を算出することができ、情報処理装置２００Ａの形状計測の精度をより向上させることができる。

＜１１．第１０実施形態＞
上記第１実施形態では、撮像画像から平坦領域を取得する場合を示した。上記例以外にも、情報処理装置２００Ａは、撮像画像を複数の領域に分割し、分割した領域ごとに平坦領域を取得するようにしてもよい。そこで、第１０実施形態では、情報処理装置２００Ａが撮像画像を複数の領域に分割し、分割した領域ごとに平坦領域を取得する例について図３０を用いて説明する。図３０は、本開示の第１０実施形態に係る情報処理装置２００Ａの制御部２２０Ｄの構成例を示す図である。

図３０に示すように、情報処理装置２００Ａの制御部２２０Ｄは、領域取得部２２５の代わりに領域取得部２２５Ｄを備える点、および、深度合成部２２７をさらに備える点を除き、図６に示す制御部２２０と同じである。

図３０に示すように、領域取得部２２５Ｄは、取得部２２１が取得した撮像画像Ｍ７１を３つの分割領域Ｍ７１Ａ～Ｍ７１Ｃに分割する。なお、領域取得部２２５Ｄが分割する領域の数は、３つに限定されず、２つであっても４つ以上であってもよい。

領域取得部２２５Ｄは、分割領域Ｍ７１Ａ～Ｍ７１Ｃごとに分割平坦領域Ｍ７２Ａ～Ｍ７２Ｃを取得する。法線算出部２２２は、分割平坦領域Ｍ７２Ａ～Ｍ７２Ｃそれぞれに基づき、法線領域画像Ｍ７３Ａ～Ｍ７３Ｃを算出し、深度算出部２２３は、法線領域画像Ｍ７３Ａ～Ｍ７３Ｃに基づき、深度領域画像Ｍ７４Ａ～Ｍ７４Ｃを算出する。

深度合成部２２７は、深度領域画像Ｍ７４Ａ～Ｍ７４Ｃを合成して深度画像Ｍ７５を生成し、表示制御部２２４に出力する。

なお、深度合成部２２７は、深度領域画像Ｍ７４Ａ～Ｍ７４のほかにも、分割平坦領域Ｍ７２Ａ～Ｍ７２Ｃの合成や、法線領域画像Ｍ７３Ａ～Ｍ７３Ｃの合成を行うようにしてもよい。また、各部における処理は、領域ごとに順次行われてもよく、領域ごとに並列に行われていてもよい。

このように、情報処理装置２００Ａは、撮像画像を複数の分割領域Ｍ７１Ａ～Ｍ７１Ｃに分割し、分割領域Ｍ７１Ａ～Ｍ７１Ｃごとに分割平坦領域Ｍ７２Ａ～Ｍ７２Ｃを取得する。また、情報処理装置２００Ａは、分割平坦領域Ｍ７２Ａ～Ｍ７２Ｃごとに法線情報および深度情報を算出する。

これにより、各部の処理対象である撮像画像（領域）のサイズを小さくすることができ、処理負担を軽減したり、処理速度を向上させたりすることができる。

＜１２．その他の実施形態＞
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

上記各実施形態では、ヘッドマウント部１０がマイクロスコープ１００の先端にマウントされる筒部である例を示した。しかし、ヘッドマウント部１０は、対象Ｓとマイクロスコープ１００のセンサ１５０との距離を一定にするための構造物であれば、必ずしも筒状の形態でなくてもよい。

＜１３．適応例＞
図３１を用いて、第１～第１０実施形態に係る情報処理装置２００Ａ～２００Ｃの適用例について説明する。図３１は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。

体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。

カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能および無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。

外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示しない）に当該体内画像を表示するための画像データを生成する。

体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。

カプセル型内視鏡１０１００と外部制御装置１０２００の構成および機能についてより詳細に説明する。

カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、および制御部１０１１７が収納されている。

光源部１０１１１は、例えばＬＥＤ(Light Emitting Diode)等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。

撮像部１０１１２は、撮像素子、および当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。

画像処理部１０１１３は、ＣＰＵやＧＰＵ(Graphics Processing Unit)等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。

無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。

給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、および昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。

電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図３１では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、および制御部１０１１７に供給され、これらの駆動に用いられ得る。

制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、および、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。

外部制御装置１０２００は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。

また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ノイズリダクション処理、手ブレ補正処理等）、拡大処理（電子ズーム処理）等、それぞれ単独で、あるいは、組み合わせて、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示しない）に記録させたり、印刷装置（図示しない）に印刷出力させたりしてもよい。

以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、外部制御装置１０２００に適用され得る。外部制御装置１０２００に本開示に係る技術を適用することにより、カプセル型内視鏡１０１００が撮像した体内画像から体内の表面形状を計測することができる。

（内視鏡手術システムへの適用例）
本開示に係る技術は、さらに、内視鏡手術システムに適用されてもよい。図３２は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図３２では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてＣＣＵ（カメラコントロールユニット）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵやＧＰＵ等によって構成され、内視鏡１１１００および表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率および焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保および術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光および／又は励起光を供給可能に構成され得る。

図３３は、図３２に示すカメラヘッド１１１０２およびＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ(Dimensional)表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率および焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ(Auto Exposure)機能、ＡＦ(Auto Focus)機能およびＡＷＢ(Auto White Balance)機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、および、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２およびＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図３３の例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、ＣＣＵ１１２０１に適用され得る。具体的には、上述した制御部２２０、２２０Ｂ、２２０Ｃは、画像処理部１１４１２に適用することができる。画像処理部１１４１２に本開示に係る技術を適用することにより、内視鏡１１１００が撮像した体内画像から体内の表面形状を計測することができる。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

＜１４．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、画像処理装置としてマイクロスコープを例に挙げたが、本開示の画像処理は、マイクロスコープ以外の撮影機器にも適用可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象をセンサが撮像した撮像画像を取得し、
前記撮像画像は、それぞれ異なる位置に配置される複数の光源から前記対象に照射された光の反射光から得られる画像であり、
前記撮像画像の輝度値に基づき、前記撮像画像から平坦領域を抽出し、
前記センサに関する情報および前記撮像画像の前記平坦領域に基づき、前記対象の表面の形状に関する形状情報を算出する制御部、
を備える情報処理装置。
（２）
前記制御部は、
複数の前記光源から同時に前記対象に照射された前記光の前記反射光から得られる前記撮像画像を取得する、
（１）に記載の情報処理装置。
（３）
前記制御部は、
前記撮像画像の輝度値が、所定閾値以上である領域を前記平坦領域とする、
（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
複数の前記光源の１つから前記対象に照射された前記光の前記反射光から得られる前記撮像画像を、前記光源ごとに取得し、
前記光源ごとに取得した複数の前記撮像画像間における前記輝度値の変化が所定閾値未満である領域を前記平坦領域として抽出する、
（１）に記載の情報処理装置。
（５）
前記制御部は、
前記撮像画像にスムージング処理を行ってスムージング画像を生成し、
前記スムージング画像に基づき、前記撮像画像から前記平坦領域を抽出する、
（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
前記制御部は、
前記撮像画像を複数の分割領域に分割し、
複数の前記分割領域ごとに前記平坦領域を抽出し、形状情報を算出する、
（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記制御部は、
前記撮像画像における前記平坦領域の法線情報を算出し、
前記法線情報を機械学習により生成されたモデルに入力して前記形状情報を得る、
（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
前記モデルは、
複数の正解候補画像と前記モデルの出力データとの比較結果に基づいて重みを更新することで生成され、
複数の前記正解候補画像は、正解画像をそれぞれ異なる画素数ずつずらして生成される、
（７）に記載の情報処理装置。
（９）
前記モデルは、
複数の正解候補画像と前記出力データとの最小二乗誤差をそれぞれ算出し、
複数の前記最小二乗誤差の最小値に基づいて前記重みを更新することで生成される、
（８）に記載の情報処理装置。
（１０）
前記制御部は、
前記撮像画像の輝度値から算出されるコントラスト値に基づき、前記平坦領域を抽出する、
（１）に記載の情報処理装置。
（１１）
前記制御部は、
前記撮像画像を複数の分割領域に分割し、
複数の前記分割領域ごとに前記コントラスト値を算出し、
前記コントラスト値に応じて前記分割領域が平坦であるか否かを判定することで、前記平坦領域を抽出する、
（１）に記載の情報処理装置。
（１２）
前記制御部は、
前記センサの被写界深度面がそれぞれ異なる複数の前記撮像画像を取得し、
複数の前記撮像画像からそれぞれ前記平坦領域を抽出する、
（１０）または（１１）に記載の情報処理装置。
（１３）
対象をセンサが撮像した撮像画像を取得し、
前記撮像画像は、それぞれ異なる位置に配置される複数の光源から前記対象に照射された光の反射光から得られる画像であり、
前記撮像画像の輝度値に基づき、前記撮像画像から平坦領域を抽出し、
前記センサに関する情報および前記撮像画像の前記平坦領域に基づき、前記対象の表面の形状に関する形状情報を算出する、
情報処理方法。

１０ ヘッドマウント部
１００ マイクロスコープ
１５０ センサ
１６０ 点光源
２００ 情報処理装置
２２０ 制御部
２２１ 取得部
２２２ 法線算出部
２２３ 深度算出部
２２４ 表示制御部
２２５ 領域取得部
２２６ 法線周波数分離部
２２７ 深度合成部
２３０ 記憶部

Claims (11)

1. 対象をセンサが撮像した撮像画像であって、それぞれ異なる位置に配置される複数の光源から同時に前記対象に照射された光の反射光から得られる前記撮像画像を取得し、
   前記撮像画像の輝度値に基づき、前記撮像画像から前記撮像画像の輝度値が、所定閾値以上である平坦領域を抽出し、
   前記センサに関する情報および前記撮像画像の前記平坦領域に基づき、前記対象の表面の形状に関する形状情報を算出する制御部、
   を備える情報処理装置。
2. 前記制御部は、
   複数の前記光源の１つから前記対象に照射された前記光の前記反射光から得られる前記撮像画像を、前記光源ごとに取得し、
   前記光源ごとに取得した複数の前記撮像画像間における前記輝度値の変化が所定閾値未満である領域を前記平坦領域として抽出する、
   請求項１に記載の情報処理装置。
3. 前記制御部は、
   前記撮像画像にスムージング処理を行ってスムージング画像を生成し、
   前記スムージング画像に基づき、前記撮像画像から前記平坦領域を抽出する、
   請求項１に記載の情報処理装置。
4. 前記制御部は、
   前記撮像画像を複数の分割領域に分割し、
   複数の前記分割領域ごとに前記平坦領域を抽出し、形状情報を算出する、
   請求項３に記載の情報処理装置。
5. 前記制御部は、
   前記撮像画像における前記平坦領域の法線情報を算出し、
   前記法線情報を機械学習により生成されたモデルに入力して前記形状情報を得る、
   請求項４に記載の情報処理装置。
6. 前記モデルは、
   複数の正解候補画像と前記モデルの出力データとの比較結果に基づいて重みを更新することで生成され、
   複数の前記正解候補画像は、正解画像をそれぞれ異なる画素数ずつずらして生成される、
   請求項５に記載の情報処理装置。
7. 前記モデルは、
   複数の正解候補画像と前記出力データとの最小二乗誤差をそれぞれ算出し、
   複数の前記最小二乗誤差の最小値に基づいて前記重みを更新することで生成される、
   請求項６に記載の情報処理装置。
8. 前記制御部は、
   前記撮像画像の輝度値から算出されるコントラスト値に基づき、前記平坦領域を抽出する、
   請求項１に記載の情報処理装置。
9. 前記制御部は、
   前記撮像画像を複数の分割領域に分割し、
   複数の前記分割領域ごとに前記コントラスト値を算出し、
   前記コントラスト値に応じて前記分割領域が平坦であるか否かを判定することで、前記平坦領域を抽出する、
   請求項８に記載の情報処理装置。
10. 前記制御部は、
    前記センサの被写界深度面がそれぞれ異なる複数の前記撮像画像を取得し、
    複数の前記撮像画像からそれぞれ前記平坦領域を抽出する、
    請求項８に記載の情報処理装置。
11. 対象をセンサが撮像した撮像画像であって、それぞれ異なる位置に配置される複数の光源から同時に前記対象に照射された光の反射光から得られる前記撮像画像を取得し、
    前記撮像画像の輝度値に基づき、前記撮像画像から前記撮像画像の輝度値が、所定閾値以上である平坦領域を抽出し、
    前記センサに関する情報および前記撮像画像の前記平坦領域に基づき、前記対象の表面の形状に関する形状情報を算出する、
    情報処理方法。

Images