JP7091635B2 - 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ - Google Patents

Description

本開示は、検体の画像を分析する技術に関する。

近年、タイムラプス装置の普及により、検体の経時的な変化を観察することが可能となっている。例えば、特許文献１は、培養容器内の細胞をタイムラプス装置により画像処理する手法を記載している。

特開２００９－１５２８２７号公報

しかし、特許文献１のように、対象物を照明しつつ撮影画像を取得する方法では、照明の位置や方向との関係で撮影画像における対象物の見え方に差異が生じるため、画像解析の精度が低下してしまうという問題がある。

本開示は、照明の影響による検出精度の低下を防止することが可能な画像解析装置を提供することを主な目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器は、学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行い、検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置は、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器を備え、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みである。
本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置は、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器を備え、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含む。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器により実行されるプログラムは、学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行う手段、検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する手段、として前記コンピュータを機能させる。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行されるプログラムは、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器として前記コンピュータを機能させ、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みである。
本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行されるプログラムは、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器として前記コンピュータを機能させ、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含む。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物の個数毎の確率を算出するよう、前記コンピュータを機能させるための学習済みモデルは、第１のニューラルネットワークと、前記第１のニューラルネットワークからの出力が入力されるように結合された第２のニューラルネットワークとから構成され、前記第１のニューラルネットワークが、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、前記検体の撮影画像を基に当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割画像を出力するように構成されており、前記第２のニューラルネットワークが、前記対象物検出器により検出対象物が検出された検出情報を含む入力データと、当該検出情報に含まれる前記検出対象物の個数毎の確率を示す教師データとにより学習済みであり、前記対象物検出器により検出対象物が検出された検出情報を基に当該検出情報に含まれる前記検出対象物の個数毎の確率を出力するように構成されている。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器により実行される対象物検出方法は、学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行う工程と、検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する工程と、を備える。

本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行される画像解析方法は、対象物検出器により、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出工程を備え、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みである。
本願は上記課題を解決する手段を複数含んでいるが、その他の一例を挙げるならば、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行される画像解析方法は、対象物検出器により、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出工程を備え、前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含む。

本開示によれば、画像解析装置において、照明の影響による検出精度の低下を防止することが可能となる。

実施形態に係る受精卵の画像解析システムの構成を示す。 培養容器及び受精卵の撮影画像の例を示す。 前核数推定処理のフローチャートである。 受精卵の検出方法を説明する図である。 前核外周部の検出処理に利用される学習データの例を示す。 前核外周部を検出する第１の検出方法を説明する図である。 前核外周部を検出する第２の検出方法を説明する図である。 前核外周部を４分割して機械学習する方法を説明する図である。 前核数の確率を算出する方法を説明する図である。 前核数の確率を算出する処理に利用されるデータの例を示す。 ニューラルネットワークの多段構成を示す図である。 各時刻での前核数を判定する例を示す。 全時刻での前核数の判定結果を示すグラフである。 前核外周部検出処理の方法に応じた前核数の判定精度を示す表である。 前核数を離散値により表示した例を示す。 前核数を連続値により表示した例である。 第２の検出方法による前核外周部の検出結果を示す画像の表示例である。

以下、本開示の好適な実施形態について説明する。
［システム構成］
図１は、実施形態に係る受精卵の画像解析システムの構成を示す。図示のように、画像解析システム１００は、大別して、撮影装置５０と、記憶装置５５と、画像解析装置６０とを備える。

撮影装置５０は、インキュベータ９を有し、インキュベータ９に設けられた図示しないチャンバ（室）に載置された培養容器１０内の受精卵の画像を撮影し、記憶する。各培養容器１０内には複数の受精卵が載置されており、撮影装置５０は受精卵を識別するための識別情報、例えば、受精卵が収容されているウェルの識別情報などと対応付けて撮影画像を記憶装置５５に送信する。具体的には、撮影画像５０は、予め培養容器１０内の各ウェル位置に対応したＸＹ座標を記録しており、そのＸＹ座標情報から、各ウェルを識別してもよいし、撮影開始時などに、各ウェル位置に対応付けるＸＹ座標を微調整して、個別にウェル位置として座標登録をしてもよい。

撮影装置５０は、光源５１と、カメラ５２と、制御部５３と、通信部５４とを備える。光源５１は、撮影のために培養容器１０内の受精卵を上方から照明する。光源５１は、点光源であっても面光源であっても、複数の点光源、面光源であってもよい。光源５１による照明は、制御部５３により制御される。

カメラ５２は、培養容器１０の下方に移動可能に配置され、光源５１により照明された状態の受精卵を撮影する。カメラ５２は図示しないアクチュエータなどにより移動する。アクチュエータによるカメラ５２の移動、及び、カメラ５２による撮影は、制御部５３により制御される。カメラ５２は、観察開始から所定時間において、同じ培養容器１０内の複数の受精卵を異なる時刻で撮影する。なお、同じ培養容器１０内の複数の受精卵を撮影する場合、カメラ５２が移動する代わりに培養容器１０が移動する構造でもよく、カメラ５２と培養容器１０のいずれも移動せずに培養容器１０内の受精卵全体を撮影する構造であってもよい。

制御部５３は、光源５１による照明、カメラ５２の移動及びカメラ５２による撮影を制御する。また、制御部５３は、カメラ５２から撮影画像を取得した場合、通信部５４を制御することで、撮影画像を記憶装置５５に送信する。

記憶装置５５は、図示しない制御部、記憶部、通信部などを有し、各撮影装置５０から送信される撮影画像を受信し、受信した撮影画像を記憶する。この場合、例えば、記憶装置５５は、撮影装置５０に設けられたインキュベータ９ごとにフォルダを設け、撮影画像を対応するフォルダに対応付けて記憶する。なお、記憶装置５５は、上述のフォルダに対してチャンバごとのサブフォルダをさらに設け、撮影画像をチャンバごとに分類して記憶してもよい。また、記憶装置５５は、画像解析装置６０から撮影画像の取得要求を受信した場合に、当該取得要求により指定された撮影画像を画像解析装置６０へ送信する。

画像解析装置６０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などにより構成され、受精卵の撮影画像に基づいて、受精卵に含まれる前核を検出する。受精卵は本開示の「検体」の一例であり、前核は本開示の「検出対象物」の一例である。画像解析装置６０は、主に、通信部６１と、入力部６２と、記憶部６３と、表示部６４と、制御部６５とを備える。

通信部６１は、制御部６５の制御に基づき、記憶装置５５から受精卵の撮影画像を受信する。入力部６２は、キーボード、マウス、回転操作が可能なホイールデバイス、タッチパネル、音声入力装置などであり、後述する前核数推定処理において使用される受精卵やその撮影画像などを指定する入力信号などを生成して制御部６５へ供給する。記憶部６３は、制御部６５が実行するプログラム及びプログラムの実行に必要な情報を記憶する。例えば、記憶部６３は、前核数推定処理に必要なプログラムを記憶する。表示部６４は、制御部６５の制御に基づき、前核数の検出結果を表示する。制御部６５は、画像解析装置６０の全体の制御を行う。制御部６５は本開示の「対象物検出器」、「個数検出器」の一例であり、表示部６４は本開示の「結果出力部」の一例である。

［撮影画像］
図２は、培養容器１０及び受精卵の撮影画像の例を示す。培養容器１０は円形の容器であり、中央部に収容部１１が形成されている。収容部１１内には、複数（図２の例では５×５＝２５個）のウェル１２が形成されている。ウェル１２は受精卵を収容するための窪みであり、１つのウェル１２に１つの受精卵が収容される。図２（Ａ）に示すように、収容部１１は培養液１３で満たされている。

図２（Ｂ）には、１つのウェル１２の部分の撮影画像２０が示されている。ウェル１２内に受精卵が収容されている場合、撮影画像２０は、ウェル１２と、ウェル１２内にある受精卵３０とを含む。図２（Ｂ）の例では、受精卵３０は２つの前核３２を含んでいる。撮影装置５０は、いわゆるタイムラプス観察により、同一の受精卵（即ち、同一のウェル１２）についての撮影画像を所定時間間隔で複数生成し、記憶する。なお、撮影装置５０は、ウェル１２毎に画像を撮影するものとする。

［前核数推定処理］
次に、前核数推定処理について説明する。前核数推定処理は、受精卵の撮影画像に基づいて、受精卵に含まれる前核を検出し、前核の数を推定する処理であり、画像解析装置６０により実行される。図３は、前核数推定処理のフローチャートである。この処理は、画像解析装置６０の制御部６５が、予め用意されたプログラムを実行することにより実現される。

まず、制御部６５は、処理の対象となる受精卵の各時刻の撮影画像を記憶装置５５から取得する（ステップＳ１１）。具体的には、制御部６５は、処理の対象となる受精卵について、受精後所定時間（例えば２４時間程度）の間に所定の時間間隔で得られた撮影画像を記憶装置５５から取得する。

次に、制御部６５は受精卵検出処理を行う（ステップＳ１２）。受精卵検出処理は、ステップＳ１１で得られた各画像から受精卵を検出する処理である。本実施形態では、制御部６５は、ハフ変換により受精卵を検出する。ハフ変換とは、画像中から特定の構造（直線、真円、楕円など）を検出する手法であり、部分的に隠れている対象物や、僅かに変形している対象物なども検出することができる。なお、受精卵は真円に近いので、ここでは制御部６５はハフ変換により真円を検出する。

図４（Ａ）に受精卵の撮影画像２０の一例を示す。制御部６５は、ウェル１２の内部の画素の明るさ（輝度）を解析し、明るさが隣の画素から急激に変わる画素を円周候補画素として検出する。そして、図４（Ｂ）に示すように、制御部６５は、円周候補画素と最も多く重なる真円を受精卵３０として検出する。なお、制御部６５は、一般的な受精卵のサイズの範囲に属する真円を受精卵として検出する。ハフ変換は、円周候補画素との重なりの多少に基づいて検出を行うので、受精卵の一部が隠れていたり、部分的に変形している場合でも、受精卵３０を正しく検出することができる。

次に、制御部６５は検出対象物を含む領域を検出する処理として、前核外周部検出処理を行う（ステップＳ１３）。前核外周部検出処理は、ステップＳ１２で検出された受精卵３０内に存在する検出対象物としての前核の外周輪郭形状を定める外周部を含む領域を検出する処理（「前核外周部の検出」と呼ぶ。）である。ここでは、前核外周部の検出には、ニューラルネットワークを用いた機械学習（ディープラーニング）を利用するが、ニューラルネットワークに限定されるものではなく、他の機械学習（例えば、ＳＶＭ：サポートベクターマシン、ＲＡＭＤＯＭ ＦＯＲＥＳＴ：ランダムフォレスト）のアルゴリズムを用いることもできる。なお、前核は真円や楕円の形状ではないものの、外周形状が滑らかに変化するものが多い。よって、実際は円形ではないものの、前核外周部検出処理においては、円や楕円などのドーナツ状の円形状を当てはめて前核外周部を検出することとしてもよい。以下、前核外周部の検出方法の２つの例を説明する。

（第１の検出方法）
図５（Ａ）は、第１の検出方法により前核外周部の機械学習に利用する学習データの例を示す。学習データは、学習用入力データと、ニューラルネットワークからの目標出力である教師データとを含む。図示のように、学習用入力データとしては、受精卵３０の画像（以下、「受精卵画像」とも呼ぶ。）２５を用いる。なお、受精卵画像２５は、図４に示すウェル１２全体を含む撮影画像２０から、受精卵３０の部分を切り出した画像である。

図６は、第１の検出方法により前核外周部を検出する方法を模式的に示す。前核外周部の検出は、教師あり機械学習により学習したニューラルネットワーク７１を利用する。まず、学習時には、図５（Ａ）に示す学習データ、即ち、学習用入力データと教師データとをニューラルネットワーク７１に与え、学習させる。この際、具体的には、図６に示すように、受精卵画像２５から所定サイズの領域（例えば、３０×３０画素の領域。以下、「画像パッチ」と呼ぶ。）２１を抽出し、画像パッチ２１の単位で学習用入力データをニューラルネットワーク７１に入力する。画像パッチ２１は、受精卵画像２５内で１画素ずつ位置をシフトしつつ切り出される。一方、教師データは、１つの画像パッチ２１毎に、その中心の画素値（白／黒）として用意される。画像パッチ２１毎の目標出力を示す画素値を受精卵画像２５の分だけ統合したものが、図５（Ａ）に示す教師データとなる。統合された教師データでは、検出対象物を含む領域として、検出対象物の外周輪郭形状を定める外周部を含む領域を含み、特に外周部を含む領域として、外周部の構造に起因する輝度分布を含む領域（例えば、外周部及び外周部周辺の外周部に起因する明暗が生じる領域、影部分を含む。）を識別できるようにすることが好ましい。このように、制御部６５は、予め用意した学習用入力データと教師データを画像パッチ２１の単位でニューラルネットワーク７１に与えて学習を行う。

複数の学習データを用いてニューラルネットワーク７１の学習が完了すると、次に、学習済のニューラルネットワーク７１を利用して、実際の計算、即ち、受精卵画像２５からの前核外周部の検出を行う。具体的には、制御部６５は、実際の受精卵画像２５を学習済のニューラルネットワーク７１に入力し、実際の検出結果を出力する。これにより、図６に示すように、実際の受精卵画像２５から、受精卵に含まれる前核外周部３２ａが検出される。

（第２の検出方法）
図５（Ｂ）は、第２の検出方法により前核外周部の機械学習に利用する学習データの例を示す。学習データは、学習用入力データと、ニューラルネットワークからの目標出力である教師データとを含む。ここで、学習用入力データとしては、第１の検出方法と同様に、受精卵画像２５を用いる。一方、教師データとしては、図示のように、前核外周部を４分割した部分（「分割部分」と呼ぶ。）毎に教師データを用意する。具体的には、前核外周部を４分割した左上部分を目標出力とする教師データを「Ａチャンネルの教師データ」とし、右上部分を目標出力とする教師データを「Ｂチャンネルの教師データ」とし、左下部分を目標出力とする教師データを「Ｃチャンネルの教師データ」とし、右下部分を目標出力とする教師データを「Ｄチャンネルの教師データ」とする。また、前核外周部以外の部分を目標出力とする教師データを「Ｅチャンネルの教師データ」とする。なお、Ｅチャンネルの教師データは必須ではないが、これを利用することにより学習効率を高められる効果がある。ここで、第１の検出方法と同様に、各チャンネルの教師データは、検出対象物を含む領域として、検出対象物の外周輪郭形状を定める外周部を含む領域を含み、特に外周部を含む領域として、外周部の構造に起因する輝度分布を含む領域（例えば、外周部及び外周部周辺の外周部に起因する明暗が生じる領域、影部分を含む。）を識別できるようにすることが好ましい。なお、影部分は、実際には光源５１による照明光が検出対象物により強度変調されて生じる明暗として現れる。よって、検出対象物の影部分は、受精卵画像２５における画素値、例えば輝度値の分布として示される。そして、１つの学習用入力データについて、Ａ～Ｅチャンネルの５つの教師データを用いて、ニューラルネットワーク７１の学習を行う。

図７は、第２の検出方法により前核外周部を検出する方法を模式的に示す。前核外周部の検出は、学習済のニューラルネットワーク７１を利用する。学習の段階では、図５（Ｂ）に示す学習データ、即ち、学習用入力データと教師データとをニューラルネットワーク７１に与え、学習させる。この際、１つの入力データについて、Ａ～Ｅチャンネルの５つの教師データを用いて、ニューラルネットワーク７１の学習を行う。なお、第２の検出方法においても、図７に示すように、所定サイズの画像パッチ２１の単位でニューラルネットワーク７１に入力データを与えて学習を行う。

複数の学習データを用いてニューラルネットワーク７１の学習が完了すると、次に、学習済のニューラルネットワーク７１を利用して、実際の受精卵画像２５から前核外周部の検出を行う。具体的には、制御部６５は、実際の解析の対象となる受精卵画像２５を学習済のニューラルネットワーク７１に入力し、実際の検出結果を出力する。これにより、図７に示すように、実際の受精卵画像２５から、Ａ～Ｅチャンネルの各々に対応する検出結果が得られる。

第２の検出方法において、前核外周部を分割した分割部分毎に教師データを用意して機械学習を行う理由は以下の通りである。まず第１に、前核外周部を分割することにより、光源５１による照明の影響を低減することができる。図８（Ａ）は、光源５１により前核３２が照明される様子を模式的に示す。撮影装置５０において、光源５１は固定配置されるので、受精卵３０が収容されるウェル１２と光源５１との位置関係によって、受精卵３０内の前核３２の周囲及び内部には明るい領域と暗い領域とができる。即ち、図８（Ａ）に示すように、前核３２の周囲及び内部のうち、光源５１からの光が当たる側は明るい領域となり、それと反対側は暗い領域となる。また、明るい領域と暗い領域との間の領域は、明るさが中程度で変化する領域となる。このように、１つの前核３２においても、光源５１の位置との関係によって明るさが異なる領域ができるので、それらは機械学習において異なる性質の領域として別々に学習することが好ましい。そこで、第２の検出方法では、前核３２の周囲及び内部を含む領域を４分割した分割部分毎に教師データを用意して機械学習を行う。これにより、光源５１による照明状態の違いによる検出精度の低下を防止することができる。

この場合、理論的には光源５１の方向に基づいて前核外周部を分割することが好ましい。例えば、前核外周部を、光源５１に近い部分と、その反対側の光源５１から遠い部分と、それらの間の２つの中間部分とに分割する。別の方法としては、光源５１からの照明光の位置を考慮することなく、前核外周部を均等に分割することにより、照明光の明るさの分布による影響を考慮した学習ができるようにしてもよい。この場合、分割数を増やすのが有効であり、特に４分割以上の分割数が望ましい。例えば、前核外周部を８分割し、分割部分毎の教師データを用いて機械学習を行う。この方法では、実際の光源５１の方向を考慮しないが、分割数を増やすことにより、光源５１からの照明光の影響を分散させ、各分割部分の検出における影響を低減することができる。

前核外周部を分割して機械学習を行うもう一つの理由は、２つの前核外周部が重なって楕円に見えるような場合の検出精度を確保できるからである。受精卵３０内に現れる２つの前核は隣接しているので、それらの一部が重なって、全体として１つの楕円に見えてしまうような場合がある。このような場合、前核に相当する円が２つあるのか、大きな楕円が１つあるのかを区別することは難しい。この点、前核外周部を分割し、分割部分毎に検出を行うことにより、一部が重なって楕円に見えるような２つの前核を正しく検出することが可能となる。

上記の例では、前核外周部を４分割又は８分割しているが、分割数はこれらには限られず、２分割、３分割、６分割など、他の分割数であっても構わない。但し、分割数が増加すると、機械学習や実際の前核外周部の検出における処理負荷が増大するので、処理負荷との関係で分割数を決めることが望ましい。また、上記の例では、前核外周部を均等に分割（例えば、４分割であれば、９０度ずつの部分に分割）しているが、各分割部分の大きさが異なっていてもよい。例えば、図８（Ｂ）に示すように、照明光による明るさの分布を考慮して、明るい分割部分（Ｂチャンネル）と暗い分割部分（Ｃチャンネル）を大きくし、残りの２つの分割部分（ＡチャンネルとＤチャンネル）をその分小さくしてもよい。

図３に戻り、前核外周部が検出されると、次に制御部６５は前核数確率算出処理を行う（ステップＳ１４）。前核数確率算出処理は、前核数の確率を算出する処理である。ここで、制御部６５は、機械学習により前核数の確率を算出する。図９は、前核数の確率を算出する方法を模式的に示す。図１０は、前核数確率検出処理における入出力データの例を示す。学習データは、学習用入力データとして、受精卵画像２５と、Ａ～Ｄチャンネルのいずれかの前核外周部の検出結果とを含む。なお、受精卵画像２５は必須ではない。教師データは、前核数０個、１個、２個（それぞれ、「０ＰＮ」、「１ＰＮ」、「２ＰＮ」と記す。）の確率である。学習時には、上記の学習データを多数用いてニューラルネットワーク７２を学習させる。

計算時には、入力データとして、実際の受精卵画像２５と、それに対応するＡ～Ｄチャンネルのいずれかの実際の前核外周部の検出結果を学習済みのニューラルネットワーク７２に入力する。なお、この場合も、受精卵画像２５は必須ではない。ニューラルネットワーク７２は、実際の受精卵画像２５及び実際の前核外周部の検出結果に基づいて前核数の確率を計算し、出力する。こうして、１つの受精卵画像２５について、その受精卵画像２５に含まれる前核数が０個（０ＰＮ）である確率、１個（１ＰＮ）である確率、及び、２個（２ＰＮ）である確率がそれぞれ得られる。

このように、本実施形態では、前核数推定処理において、２つのニューラルネットワークの多段構成を用いている点に特徴を有する。即ち、図１１に示すように、学習済みの第１のニューラルネットワーク７１は、実際の受精卵画像から実際の前核外周部検出結果を生成し、学習済みの第２のニューラルネットワーク７２へ出力する。そして、学習済みの第２のニューラルネットワーク７２は、実際の前核外周部検出結果から実際の前核数確率を算出して出力する。

次に、制御部６５は、予め用意された全ての受精卵画像２５について、ステップＳ１２～Ｓ１４の処理が完了したか否かを判定する（ステップＳ１５）。全ての受精卵画像２５について処理が完了していない場合（ステップＳ１５：Ｎｏ）、処理はステップＳ１２へ戻り、制御部６５は、次の受精卵画像２５についてステップＳ１２～Ｓ１４の処理を実行する。

こうして、全ての受精卵画像２５についてステップＳ１２～Ｓ１４の処理が完了すると（ステップＳ１５：Ｙｅｓ）、制御部６５は、各受精卵画像２５について算出された前核数の確率を統合し、各時刻での前核数を判定する（ステップＳ１６）。具体的には、まず制御部６５は、図１０に例示するように全時刻における各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率をグラフ化する。次に、制御部６５は、各前核数のグラフに基づいて、所定の事前知識（制約条件）の下で最大の確率を有する前核数を決定する。本実施形態では、隠れマルコフモデルにより、全時刻において算出された前核数の確率と、事前知識（制約条件）から、最も確率の高い前核数の推移を計算する。

詳しくは、本実施形態では、受精卵における前核の性質に基づき、以下の少なくとも１つを事前知識（制約条件）として使用する。
（１）起こりうる前核数は０ＰＮ、１ＰＮ、２ＰＮの３状態であり、観察開始時の前核数は０ＰＮである。
（２）時間の経過によって前核数が増加することはあるが、減少することは無い。
（３）統計的に、前核が発生しやすい時刻、消失しやすい時刻がある。典型的には、前核は観察開始から５時間程度で発生し、２０時間程度で消失する。
（４）統計的に、０ＰＮ、１ＰＮ、２ＰＮ、それぞれの発生頻度が既知である。典型的には、０ＰＮ、１ＰＮ、２ＰＮの発生頻度は、それぞれ１０％、１０％、８０％程度である。

図１２（Ａ）は、上記の事前知識（制約条件）を用いた前核数の判定例を示す。各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率の推移が図１２（Ａ）の各グラフのように得られたものとする。この例では、観察開始から１５～１８時間の辺りで一時的に１ＰＮの確率が高くなっているが、上記の事前知識（１）～（４）を考慮すると、判定結果は２ＰＮとすることが妥当である。

図１２（Ｂ）は、前核数の他の判定例を示す。各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率の推移が図１２（Ｂ）の各グラフのように得られたものとする。この場合、観察開始から１２～２２時間の期間では確率が１ＰＮと２ＰＮの間で頻繁に入れ替わっているが、上記の事前知識（１）～（４）を考慮すると、判定結果は２ＰＮとすることが妥当である。

こうして、制御部６５は、隠れマルコフモデルにより、各時刻における前核数を判定する。そして、各時刻における前核数が得られると、次に制御部６５は全時刻での最大前核数を出力する（ステップＳ１７）。即ち、制御部６５は、全時刻を通した最大前核数を、その受精卵の最終的な前核数として出力する。図１３（Ａ）は、ある受精卵について、各時刻における前核数の判定結果を示すグラフの一例である。図１３（Ａ）の例では、前時刻を通した最大前核数は２ＰＮであるので、その受精卵の前核数の判定結果は２ＰＮとなる。図１３（Ｂ）は、他の受精卵について、各時刻における前核数の判定結果を示すグラフである。図１３（Ｂ）の例では、全時刻を通した最大前核数は１ＰＮであるので、その受精卵の前核数の判定結果は１ＰＮとなる。こうして、１つの受精卵について前核数が推定され、前核数推定処理は終了する。

図１４は、本実施形態による前核外周部検出処理の方法に応じた前核数の判定精度を示す表である。図１４の表において、「元画像」とあるのは、機械学習による前核外周部の検出を行わず、受精卵画像２５の画像解析により前核数を検出した結果である。この場合、各前核数の判定の正解率は４０～６０％程度、２ＰＮの判定の正解率は５２％にとどまっている。

次に、「元画像＋前核外周部」とあるのは、前核外周部検出処理において前述の第１の検出方法（図６参照）を実行した場合、即ち、前核外周部を分割せずに前核外周部全体として機械学習により前核外周部を検出した場合の結果である。この場合、各前核数の判定の正解率は６０％以上、２ＰＮの判定の正解率は７４％となっている。よって、前核外周部の検出を行わない場合より判定精度は高くなる。

次に、「元画像＋前核外周部（４分割）」とあるのは、前核外周部検出処理において前述の第２の検出方法（図７参照）を実行した場合、即ち、前核外周部を４分割して機械学習による前核外周部を検出した場合の結果である。この場合、各前核数の判定の正解率は８０％以上、２ＰＮの判定の正解率は９２％となっている。よって、前核外周部を分割して前核外周部の検出を行えば、判定精度をより高めることができることがわかる。

［前核数の表示］
次に、前核数推定処理により得られた前核数の表示例を説明する。制御部６５は、前核数推定処理により得られた前核数を画像解析装置６０の表示部６４に表示する。図１５は、前核数を離散値として表示する場合の表示例を示す。図１５（Ａ）は、前核数の経時的な推移を折れ線グラフにより示す例である。図１５（Ｂ）は、前核数の経時的な推移を色分けにより示す例である。図１５（Ｃ）は、前核数の経時的な推移をグラデーションを伴う色づけにより示す例である。この例では、前核数が変化する期間がグラデーションにより表現されている。図１５（Ｄ）は、前核数の経時的な推移を色の面積により示す例である。この例では、前核数が変化する期間が面積の変化により表現されている。

図１６は、前核数を連続値により表示した例である。横軸は観察開始からの経過時間を示し、縦軸は前核数を示す。この例では、前核数が確定しにくい時間帯の情報を連続値で示すことにより、胚培養士などの観察者の目視判断に利用可能な情報をより細かく提供することができる。

図１７は、前述の第２の検出方法による前核外周部の検出結果を示す画像の例である。具体的には、図７に示す学習済のニューラルネットワーク７１を利用して得たＡ～Ｄチャンネルの実際の検出結果を１つの画像にして表示したものである。ここでは、各チャンネルの検出結果を観察者が区別できるように異なる表示態様で表示する。図１７（Ａ）では、前核外周部を４分割した各分割部分を異なるハッチングで示している。図１７（Ｂ）は、図１７（Ａ）における１つの前核の部分を拡大し、円形により模式的に示したものである。図１７（Ｂ）に示すように、Ａ～Ｄチャンネルの実際の検出結果を異なるハッチングで表示している。なお、ここでは図示の便宜上、各分割部分をハッチングにより区別しているが、実際には各分割部分を異なる色などで区別して表示すればよい。このように各分割部分を色分けなどにより区別して表示することにより、２つの前核が重なっているときに前核を見分けやすくなる。また、１つの前核が４色のパターンで表示されるので、そのパターンの数により前核数を容易に検出することができる。また、各前核が同じ４色のパターンで表示されていれば、前核外周部の検出処理が正しく行われていると考えることができるので、この画像を見ることにより、前核数推定処理の信頼性を間接的に確認できるという利点もある。

［変形例］
上記の前核数推定処理では、ステップＳ１４において前核数確率算出処理により前核数の確率を算出し、ステップＳ１６において前核数の確率に基づいて各時刻での前核数を判定しているが、その代わりに確率を用いない手法により前核数を判定し、その結果を出力することとしてもよい。

１０ 培養容器
１２ ウェル
２０ 撮影画像
２５ 受精卵画像
３０ 受精卵
５０ 撮影装置
５１ 光源
５２ カメラ
５５ 記憶装置
６０ 画像解析装置
６４ 表示部
６５ 制御部

Claims (20)

1. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器であって、
   学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行い、
   検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する対象物検出器。
2. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置であって、
   前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器を備え、
   前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みである画像解析装置。
3. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置であって、
   前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器を備え、
   前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、
   前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含む画像解析装置。
4. 前記分割部分は、前記検出対象物の外周部の構造に起因する画素値の分布を含む請求項３に記載の画像解析装置。
5. 前記分割部分は、前記検出対象物の外周部を周方向と垂直な方向に分割した部分である請求項２乃至４のいずれか一項に記載の画像解析装置。
6. 前記対象物検出器は、前記学習データに含まれる前記分割部分と同様に前記検出対象物を含む領域を分割して識別可能に表示する請求項２乃至５のいずれか一項に記載の画像解析装置。
7. 前記対象物検出器により検出された検出対象物の個数に関する個数情報を出力する結果出力部を備える請求項２乃至６のいずれか一項に記載の画像解析装置。
8. 前記対象物検出器により検出対象物が検出された検出情報から、前記検出対象物の個数毎の確率を算出する個数検出器を備え、
   前記結果出力部は、前記個数検出器が検出した個数毎の確率に基づいて前記個数情報を出力し、
   前記個数検出器は、前記対象物検出器により検出対象物が検出された検出情報を含む入力データと、当該検出情報に含まれる前記検出対象物の個数毎の確率を示す教師データとを含む学習データにより学習済みである請求項７に記載の画像解析装置。
9. 前記対象物検出器により検出対象物が検出された検出情報から、前記検出対象物の個数毎の確率を算出する個数検出器を備え、
   前記結果出力部は、前記個数検出器が検出した個数毎の確率に基づいて前記個数情報を出力し、
   前記個数検出器は、
   学習時に、前記対象物検出器により検出対象物が検出された検出情報を含む入力データと、当該検出情報に含まれる前記検出対象物の個数毎の確率を示す教師データとにより学習を行い、
   検出時に、前記対象物検出器により検出対象物が検出された検出情報を入力データとして受け取り、当該検出情報に含まれる前記検出対象物の個数毎の確率を出力する請求項７に記載の画像解析装置。
10. 前記結果出力部は、予め決められた制約条件下で、前記個数検出器が出力した個数毎の確率を所定期間にわたり分析して前記検出対象物の個数を判定し、前記個数情報として出力する請求項８又は９に記載の画像解析装置。
11. 前記結果出力部は、前記所定期間において得られた個数のうち最大の個数を、当該検体に含まれる検出対象物の個数と判定する請求項１０に記載の画像解析装置。
12. 前記結果出力部は、前記個数情報として、前記検出対象物の個数の連続値を経時的に示すグラフを表示する請求項７乃至１１のいずれか一項に記載の画像解析装置。
13. 前記結果出力部は、前記対象物検出器により検出された検出対象物を、前記分割部分毎に異なる表示態様で示した画像を表示する請求項７乃至１２のいずれか一項に記載の画像解析装置。
14. コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器により実行されるプログラムであって、
    学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行う手段、
    検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する手段、
    として前記コンピュータを機能させるプログラム。
15. コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行されるプログラムであって、
    前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器として前記コンピュータを機能させ、
    前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであるプログラム。
16. コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行されるプログラムであって、
    前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出器として前記コンピュータを機能させ、
    前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、
    前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含むプログラム。
17. コンピュータを備え、検体の撮影画像から、前記検体に含まれる検出対象物の個数毎の確率を算出するよう、前記コンピュータを機能させるための学習済みモデルであって、第１のニューラルネットワークと、前記第１のニューラルネットワークからの出力が入力されるように結合された第２のニューラルネットワークとから構成され、
    前記第１のニューラルネットワークが、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、前記検体の撮影画像を基に当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割画像を出力するように構成されており、
    前記第２のニューラルネットワークが、前記対象物検出器により検出対象物が検出された検出情報を含む入力データと、当該検出情報に含まれる前記検出対象物の個数毎の確率を示す教師データとにより学習済みであり、前記対象物検出器により検出対象物が検出された検出情報を基に当該検出情報に含まれる前記検出対象物の個数毎の確率を出力するように構成されていることからなる学習済みモデル。
18. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する対象物検出器により実行される対象物検出方法であって、
    学習時に、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとにより学習を行う工程と、
    検出時に、実際の検体の撮影画像を入力データとして受け取り、当該撮影画像に含まれる検出対象物の検出結果を出力する工程と、
    を備える対象物検出方法。
19. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行される画像解析方法であって、
    対象物検出器により、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出工程を備え、
    前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を前記検出対象物を含むように複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みである画像解析方法。
20. 検体の撮影画像から、前記検体に含まれる検出対象物を検出する画像解析装置によって実行される画像解析方法であって、
    対象物検出器により、前記検体の撮影画像から、当該検体に含まれる検出対象物を検出する対象物検出工程を備え、
    前記対象物検出器は、前記検体の撮影画像である入力データと、当該撮影画像に含まれる前記検出対象物を含む領域を複数の部分に分割した分割部分毎に用意された教師データとを含む複数の学習データにより学習済みであり、
    前記分割部分は、前記検出対象物の構造に起因する画素値の分布を含む画像解析方法。

Images