JP2012039930A - 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法 - Google Patents

Abstract

【課題】培養容器の中から培地ドロップの領域を精度よく識別可能な画像処理方法を提供する。
【解決手段】所定の照明パターンを有する照明光により培養物の培養に用いられる培地ドロップが収容された培養容器内を透過照明して、該透過照明された培養容器内を撮像装置により撮影した観察画像を取得し（ステップＳ１）、培養容器内に照明パターンが写り込んだ観察画像に基づいて、培養容器中における培地ドロップの領域を識別し（ステップＳ２〜Ｓ３）、観察画像を取得する際、培養容器内に写り込む照明パターンの形態が互いに異なる複数の観察画像を取得し、培地を識別する際、当該複数の観察画像に基づいて、培養容器中における培地ドロップの領域を識別する。
【選択図】図１

Description

本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出するための画像処理手段、及びこれを利用した培養物の製造方法に関する。

近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。

このような装置において、培養容器中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影してこの全体観察画像に基づいて培養容器内からミネラルオイルに浸された培地（培地ドロップ）を検出した後で、この培地ドロップ内で観察視野位置を変えつつ培地ドロップの顕微観察画像を複数取得し、この顕微観察画像を基に培地ドロップ内に１つ（または複数個）ずつ注入された観察対象の受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、顕微観察のみでは広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。そのため、前述のように顕微観察による受精卵の検出に先立って、マクロ観察により培地ドロップの領域を事前に検出できれば、その後に顕微観察において観察画像を取得する領域も自ずと限定され、観察時間全体を短縮化することが可能になる。

受精卵の自動観察では、培地ドロップの探査領域を限定するための方法として、探査領域を機械的に指定する方法と、培養環境のチェックのために加えられているフェノールの着色により、培地ドロップ領域を色分離する方法がある。ところが、探査領域を機械的に指定する方法では、ユーザが手動で培地ドロップをディッシュ内に作り込むため、初期の探査領域をほぼディッシュ全面に指定して探査を行うしかなく、領域限定の効果が得られない。また、色分離する方法では、効率良く探査領域を限定できるものの、着色後の色の濃さは環境によって未知であり、ユーザによっては、フェノールなしで観察等を行うこともある。また、ディッシュの上面あるいは下面にペンで書き込みを行うユーザも少なくなく、色分離による抽出では、色の濃さや書き込みの有無によって、培地ドロップ領域の検出精度が変化してしまう。

特開２００４−２２９６１９号公報

そこで、広い観察視野での観察画像から、色情報に依らずに、培地ドロップ領域を抽出するための方策が望まれている。

本発明は、このような問題に鑑みてなされたものであり、培養容器の中から培地の領域を精度よく識別可能な培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法を提供することを目的とする。

このような目的達成のため、本発明を例示する態様に従えば、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理方法が提供される。

また、本発明を例示する態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得するステップと、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別するステップと、前記培地の識別結果を出力するステップとを、前記コンピュータに実現させ、前記観察画像を取得するステップにおいて、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別するステップにおいて、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理プログラムが提供される。

また、本発明を例示する態様に従えば、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得する入力部と、前記入力部で取得された前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別する画像解析部と、前記画像解析部による前記培地の識別結果を出力する出力部とを備え、前記入力部は、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記画像解析部は、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理装置が提供される。

また、本発明を例示する態様に従えば、所定の環境条件で培養物を培養し、前記培養物が培養される培地が収容された培養容器中から、本発明に係る画像処理装置を用いて前記培地を識別することを特徴とする培養物の製造方法が提供される。

また、本発明を例示する態様に従えば、所定の環境条件で培養物を培養し、前記培養物が培養される培地が収容された培養容器内を所定の照明パターンを有する照明光により透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物の製造方法が提供される。

本発明によれば、培養容器の中から培地の領域を精度よく識別することができる。

画像処理プログラムの概要を示すフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 （Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。 （Ａ）は第１照明部の概要構成図であり、（Ｂ）は第１照明部に表示されたストライプパターンを示す模式図である。 合成画像を生成する過程を示す模式図である。 画像処理装置の概要構成を示すブロック図である。 画像処理プログラムにおけるステップＳ２の詳細を示すフローチャートである。 受精卵の製造方法の概要を示すフローチャートである。 第１照明部の変形例を示す概要構成図であり、（Ａ）は培養容器が下方位置に位置する状態を示し、（Ｂ）は培養容器が上方位置に位置する状態を示す。

以下、図面を参照して本発明の好ましい実施形態について説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。

培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ₂ガスやＮ₂ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。

ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。

培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、透光性の材質で形成された直径約３５ｍｍの５つのディッシュ１１（容器１１ａ及び蓋１１ｂからなる）と、ディッシュ１１を保持するホルダ１２とを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵Ｊは、ｐＨに応じて変色するフェノールレッドなどのｐＨ指示薬が入った培地ドロップＤとともに各ディッシュ１１に注入される。ディッシュ１１の底面には、ピペット等により滴下された２０［μｌ］程度の培地ドロップＤが１〜複数個形成されており（図４（Ｂ）では３個を図示）、培地ドロップＤはディッシュ１１内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＤ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Ｊが１個（または複数個）ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。

搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。

観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図２を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。

第１照明部５１は、下部フレーム１ｂ側に設けられたバックライト付きの透過型液晶パネルからなり、試料台１５の下側から培養容器１０全体を透過照明する。なお、透過型液晶パネルである第１照明部５１は、図５（Ａ）および（Ｂ）に示すように、照明パターンとして明部と暗部とを繰り返し配置したバイナリパターン（本実施形態では、周期的な縞模様を有するストライプパターンとする）を表示する。この状態で、第１照明部５１上にはストライプ状の面光源が形成される。

面光源のストライプパターンは、培地ドロップＤの直径（例えば、６〜７ｍｍ）と比較して十分に微細であり、培地ドロップＤの直径サイズ内に少なくとも２周期分のストライプを配している。このストライプパターンの周期（面光源のストライプピッチ）は、例えば、１ｍｍ程度に設定される。なお、面光源のストライプピッチは、制御ユニット６によって制御可能であり、所定範囲内（例えば、０．５〜２ｍｍの範囲内）で可変である。また、ストライプパターンの位相も制御ユニット６の制御によって可変である。

第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。

マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された試料（培養容器１０）の透過光の像を撮像して全体観察画像（マクロ画像）をカラー画像として取得する。

顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。

画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して画像合成や画像解析を施し、培地ドロップＤや受精卵Ｊの識別等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。

制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて培養容器１０の下方から照明光（透過光）を照射し、このバックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

なおこのとき、図６（Ａ）に示すように、撮像装置５４ｃにより撮影取得された全体観察画像には、面光源のストライプパターンが反映されている。図４（Ｂ）および図５（Ａ）に示すように、培地ドロップＤとミネラルオイルＯとの界面が曲面になっているため、培地ドロップＤは通過光束に対してレンズ作用を及ぼす。このため、図６（Ａ）に示すように、全体観察画像のうち培地ドロップＤに対応した領域に現れるストライプパターンのストライプピッチは、他の領域に現れるストライプパターンのストライプピッチよりも狭くなる。その結果、全体観察画像において培地ドロップＤの像が可視化される。

またこのとき、透過型液晶パネルである第１照明部５１は、制御ユニット６の作動制御により発光位置を変えて、ストライプパターンの位相を（例えば、１／４周期ずつ）変化させることで、培養容器１０を予め設定された複数種のストライプパターン（例えば、１／４周期ずつ位相が異なる４種類のストライプパターン）で照明し、マクロ観察系５４の撮像装置５４ｃは、第１照明部５１によりいずれかのストライプパターンで照明された培養容器１０の全体観察像を、当該設定された全てのストライプパターンについてそれぞれ撮影する。そのため、複数種のストライプパターンにそれぞれ対応する複数の画像データが、ＲＡＭ６３の画像データ記憶領域にそれぞれ記憶されることになる。

また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。

さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１１）中の受精卵Ｊの生育状態を観察する場合、培養容器１０内から観察対象の受精卵を検出しなければならないが、その一連の検出手順としては大略的に、マクロ観察系５４により培養容器１０を撮影して全体観察画像（マクロ画像）を取得し、この全体観察画像から培地ドロップＤを検出した後で、この培地ドロップＤを顕微観察系５５により撮影し、この培地ドロップＤに１つ（または複数個）ずつ注入された観察対象の受精卵を他の異物と判別して受精卵を認識する、という流れになっている。受精卵を検出するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれてその観察視野（観察範囲）が狭くなってくるため、培養容器１０内の広い観察範囲に対して多数の画像を撮影取得する必要がある。そのため前述のように、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップＤの領域を予め検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。

しかしながら、培地ドロップＤの色は赤色から無色透明まであり、全体観察画像（マクロ画像）を用いて、色味や輝度の濃淡から培地ドロップＤの領域を検出するのは容易ではない。特に、無色透明の培地ドロップＤでは、培地ドロップＤの領域を目視で確認することすら難しくなるため、通常の全体観察画像に対して円検出を行うだけでは精度の良い検出は難しい。こうした無色透明の培地ドロップＤについてはまず可視化することが必要であり、その方法の一つとして、ディッシュ１１の背面（底面）に何らかのパターンを置くことが考えられる。ディッシュ１１の背面に置かれたパターンは、培地ドロップＤのレンズ効果で変調を受けるため、培地ドロップＤの周囲に写るパターンと培地ドロップＤ内に写るパターンのずれから、培地ドロップＤとミネラルオイルＯとの境界を目視で識別できるようになる。これと同様の識別を観察装置に行わせ、精度良く培地ドロップＤの検出を行うには、目視による検出をモデル化し、より検出に適したパターンを探す必要がある。

本実施形態では、培地ドロップＤの境界部におけるパターンの変調を、パターンの断絶による輝度値の急激な変化と考え、微分フィルタによる検出を行う。また、検出に適した照明パターンとしてストライプパターンを用いる。ストライプパターンを用いると、培地ドロップＤ内外でのパターンの変化は図６（Ａ）のようになるので、ストライプパターンが伸びる方向への輝度微分値が大きな値を示す領域を培地ドロップＤの境界部として抽出できる。さらに、ストライプパターンの位相をずらした複数枚の全体観察画像を用意できれば、図６（Ａ）に示す全体観察画像Ｇに対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせることにより、図６（Ｂ）に示すように、培地ドロップＤの境界部（輪郭）を広範囲で連続的に識別可能な合成画像ＧＸを得ることができる。

微分画像の合成画像ＧＸを用いた培地ドロップＤの領域の検出（識別）は、培地ドロップＤが一般に円形状に形成されるという特徴を利用して、所定の画像処理方法により行われる。例えば、合成画像ＧＸからハフ変換により円の検出を行うことで、培地ドロップＤの領域を検出（識別）することができる。また例えば、合成画像ＧＸの全点について極座標のθ方向に積分を行って、所定の半径範囲でピークを示す点を抽出ことにより、円形状の抽出を行うことで、培地ドロップＤの領域を検出（識別）するようにしてもよい。また例えば、いわゆるレベルセット法（動的輪郭法）を用いて、合成画像ＧＸから円形状の抽出を行うことで、培地ドロップＤの領域を検出（識別）するようにしてもよい。なおこのとき、画像に写し込まれる培地ドロップＤ（例えば、２０μｌ程度の直径約６〜７ｍｍ）の像の大きさは、画像取得条件（観察倍率等）によりほぼ決まっていることから、培地ドロップＤの候補となり得るオブジェクト（抽出した円形状の輪郭に囲まれた領域）の面積を公知の画像処理手法により算出し、面積による判別基準として定めた設定範囲（上限値及び下限値）から逸脱しているものを除外する。

培地ドロップＤの領域を検出（識別）するための画像処理は、培養観察システムＢＳの画像処理装置１００において実行される。図７に示すように、画像処理装置１００は、撮像装置５４ｃにより観察対象の培養容器１０が撮影された全体観察画像（マクロ画像）を取得して記憶する画像記憶部（入力部）１１０と、画像記憶部１１０に保存されている複数の照明パターンで撮影取得された全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成する画像合成部１２０と、画像合成部１２０により生成された合成画像に基づいて培地ドロップＤを検出する画像解析部１３０と、画像合成部１２０により生成された合成画像や画像解析部１３０により解析された判断結果を外部に出力する出力部１４０とを備え、画像合成部１２０及び画像解析部１３０により解析された培地ドロップＤの画像や検出結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。

以上のように構成される画像処理装置１００により、培養物観察の画像処理プログラムＧＰに基づいて実行される画像処理方法について、図１に示すフローチャートを参照しながら説明する。前述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の観察が行われる。具体的には、ＣＰＵ６１は搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態ではマクロ観察系５４の光軸上に配置）し、マクロ観察系５４の撮像装置５４ｃによりマクロ画像を撮影させる。

画像処理装置１００は、先ず始めに撮像装置５４ｃにより撮影された全体観察画像（マクロ画像）をステップＳ１において取得し、この取得した画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。なおこのとき、予め設定された複数種のストライプパターン（例えば、１／４周期ずつ位相が異なる４種類のストライプパターン）にそれぞれ対応する複数の画像データが、画像記憶部１１０にそれぞれ保存される。

ステップＳ２では、画像合成部１２０において、画像記憶部１１０に保存されている複数種のストライプパターンで撮影取得された全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成する。

ここで、ステップＳ２における詳細なフローについて、図８を追加参照しながら説明する。まず、画像合成部１２０は、第１の位相のストライプパターンで照明された第１の全体観察画像（ストライプ画像）を画像記憶部１１０から取得する（ステップＳ２１ａ）。次に、微分フィルタを用いて第１の全体観察画像に対して微分処理を行い（ステップＳ２２ａ）、第１の全体観察画像に基づいた第１の微分画像を生成する（ステップＳ２３ａ）。

同様に、第１の位相と異なる第２の位相のストライプパターンで照明された第２の全体観察画像（ストライプ画像）を画像記憶部１１０から取得するとともに（ステップＳ２１ｂ）、第２の全体観察画像に対して微分処理を行い（ステップＳ２２ｂ）、第２の全体観察画像に基づいた第２の微分画像を生成する（ステップＳ２３ｂ）。また同様に、第１及び第２の位相と異なる第３の位相のストライプパターンで照明された第３の全体観察画像（ストライプ画像）を画像記憶部１１０から取得するとともに（ステップＳ２１ｃ）、第３の全体観察画像に対して微分処理を行い（ステップＳ２２ｃ）、第３の全体観察画像に基づいた第３の微分画像を生成する（ステップＳ２３ｃ）。また同様に、第１〜第３の位相と異なる第４の位相のストライプパターンで照明された第４の全体観察画像（ストライプ画像）を画像記憶部１１０から取得するとともに（ステップＳ２１ｄ）、第４の全体観察画像に対して微分処理を行い（ステップＳ２２ｄ）、第４の全体観察画像に基づいた第４の微分画像を生成する（ステップＳ２３ｄ）。

互いに照明パターンの位相が異なる第１〜第４の全体観察画像に基づいた第１〜第４の微分画像を生成すると、画像合成部１２０は、第１〜第４の微分画像をそれぞれ重ね合わせ（ステップＳ２４）、各微分画像の合成画像を生成する（ステップＳ２５）。このように合成画像を生成すると、次のステップＳ３へ進む。

続いて、ステップＳ３では、画像解析部１３０において、画像合成部１２０により生成された合成画像から、前述した円検出の手法を用いて、ディッシュ１１内における培地ドロップＤの領域を検出（識別）する。そして、ステップＳ４では、画像解析部１３０により検出された培地ドロップＤの領域を示す検出結果が出力部１４０から出力される。

出力部１４０から出力された検出結果は、操作盤７の表示パネル７２に表示され、全体観察画像中に、培地ドロップＤの領域を示す輪郭を表示したり、培地ドロップＤであることを示す記号「Ｄ」を表示させたり、培地ドロップＤの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。

なお、出力部１４０から出力される検出データを、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップＤの色変化（ｐＨ変化）や受精卵Ｊの生育状態を観察するための基礎データとして用いたりするように構成することができる。

これにより、ユーザは、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップＤを直ちに認識することができ、培地ドロップＤの領域についてのみ顕微観察系５５による顕微観察画像を取得して（背景のみの無用な撮影を回避して）、培地ドロップＤの中から目的とする受精卵Ｊを効率的に検出することができる。

次に、培養物たる受精卵の製造方法について図９を追加参照して概要説明する。まず、ステップＳ１１０において、受精卵（培養物）を培地ドロップＤと共に培養容器１０（ディッシュ１１）内に注入し、この培養容器１０を受精卵の培養に適した環境条件に維持された培養室２内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット６において培養室２内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。

ステップＳ１２０では、培養容器１０内の受精卵観察の前段階として、前述した画像処理のステップＳ１〜Ｓ４（図１を参照）を実行して、ディッシュ１１内から培地ドロップＤの領域を識別する。次いで、ステップＳ１３０では、第２照明部５２を用いて顕微観察系５５により培地ドロップＤの顕微観察画像（例えば位相差画像）を撮影し、この観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器１０（ディッシュ１１）内において、１個の培地ドロップＤに対して受精卵が各１個（または複数個）ずつ識別される。

続いて、ステップＳ１４０では、培地ドロップＤごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで分裂し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても分裂するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。

ステップＳ１５０では、上記選別した受精卵（胚盤胞と称される状態にまで成長した良好な受精卵）を採取して、例えばマイナス１９６℃の液体窒素の中で凍結保存する。そして、この受精卵（胚盤胞）は所定の周期のときに母体へ戻される（胚移植される）。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期（４細胞期胚、８細胞期胚）の状態で保存してもよい。

以上説明したように、本実施形態に係る画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される画像処理方法及び画像処理装置１００、並びに培養物の製造方法によれば、培地ドロップＤの領域を識別する際、培養容器１０内に写り込む照明パターン（ストライプパターン）の形態が互いに異なる複数の全体観察画像に基づいて、培養容器１０内（ディッシュ１１内）における培地ドロップＤの領域を識別するため、例えば、培地ドロップＤの境界部（輪郭）を広範囲で連続的に識別可能な合成画像を生成することで、色情報に依らずに、培養容器１０の中から培地ドロップＤの領域を精度よく識別することが可能になる。

なおこのとき、複数の全体観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて当該微分画像の合成画像を生成し、この合成画像から円の検出を行うことで、培養容器１０内（ディッシュ１１内）における培地ドロップＤの領域を識別するようにすれば、培地ドロップＤの境界部（輪郭）を広範囲で連続的に識別可能な合成画像を確実に生成することができ、培養容器１０の中から培地ドロップＤの領域をより精度よく識別することが可能になる。

また、照明パターンとして周期的な縞模様を有するストライプパターンを用いることで、培地ドロップＤの領域を識別するための画像処理演算を容易にすることができる。

なお、上述の実施形態において、またこのとき、透過型液晶パネルである第１照明部５１によりストライプパターンの位相を変化させることで、培養容器１０内に写り込む照明パターン（ストライプパターン）の形態が互いに異なる複数の全体観察画像を取得しているが、これに限られるものではない。例えば、パンフォーカス撮像系内で培養容器１０（ディッシュ１１）を光軸方向に移動させることにより、培地ドロップＤのレンズ効果（合成倍率の変化）を利用して培養容器１０内に写り込む照明パターンを変化させた複数の全体観察画像を取得するようにしてもよい。

そこで、第１照明部の変形例について、図１０を参照しながら説明する。変形例に係る第１照明部１５１は、下部フレーム１ｂ側に設けられたバックライト付きの透過型液晶パネル１５２と、透過型液晶パネル１５２上に位置する培養容器１０（ディッシュ１１）をマクロ観察系５４の光軸方向に移動させるアーム機構（図示せず）とからなり、透過型液晶パネル１５２により試料台１５の下側から培養容器１０全体を透過照明する。透過型液晶パネル１５２は、上述の実施形態で述べた第１照明部５１のものと同じ構成であり、詳細な説明を省略するが、照明パターンとして明部と暗部とを繰り返し配置したバイナリパターン（ストライプパターン）を表示する。なお、透過型液晶パネル１５２に限らず、ＬＥＤ等の面光源の上面に、照明パターンとしてストライプパターンを形成するパターン形成部材を配設した構成であってもよい。

アーム機構（図示せず）は、図１０（Ａ）に示すように培養容器１０（ディッシュ１１）の底部が透過型液晶パネル１５２上に接する下方位置と、図１０（Ｂ）に示すように培養容器１０の底部が透過型液晶パネル１５２から離れた上方位置との間で、培養容器１０をマクロ観察系５４の光軸に沿って上下移動させることができるように構成される。なお、培養容器１０の移動範囲は、前方深度内で背景のパターンが一次結像する範囲から、背景のパターンより後方で虚像が生じる範囲に設定されることが好ましい。

ところで、透過型液晶パネル１５２からの照明光が培養容器１０（ディッシュ１１）を透過するとき、通常ミネラルオイルＯの屈折率が１．４４程度、培地ドロップＤの屈折率が１．３３程度なので、培地ドロップＤは負レンズとして作用する。そのため、アーム機構（図示せず）により培養容器１０（ディッシュ１１）を上述の下方位置から上方位置まで移動させると、培地ドロップＤのレンズ効果によりマクロ観察系５４の合成倍率が培地ドロップＤの内外で変化するため、培養容器１０内に写り込むストライプパターンの形態（周期や位相等）を変化させることができる。なお、図１０では、簡単のため主光線のみを示し、ミネラルオイルＯや培地ドロップＤの屈折は無視している。

以上のように構成される第１照明部１５１を用いて、透過型液晶パネル１５２に照明された培養容器１０をマクロ観察系５４の光軸に沿って前述の下方位置から上方位置まで移動させて、培地ドロップＤ（ディッシュ１１）と透過型液晶パネル１５２との間の距離を変化させながら、マクロ観察系５４の撮像装置５４ｃにより培養容器１０の全体観察像を複数の高さ位置においてそれぞれ撮影すれば、培養容器１０内に写り込む照明パターン（ストライプパターン）の形態が互いに異なる複数の全体観察画像を取得することができる。なお、培養容器１０の移動に伴って全体観察画像に写る培地ドロップＤ等の大きさも変化するが、培養容器１０の移動量やマクロ観察系５４の倍率等に基づいて補正可能である。

これにより、上述の実施形態の場合と同様の画像処理方法を適用すれば、色情報に依らずに、培養容器１０の中から培地ドロップＤの領域を精度よく識別することが可能になる。なおこの場合、ステップＳ２において、複数の高さ位置で撮影取得された複数の全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成すればよい。これにより、ステップＳ３において、ステップＳ２で生成した合成画像から同様に、前述した円検出の手法を用いて、ディッシュ１１内における培地ドロップＤの領域を検出（識別）することができる。

なお、上述の変形例において、複数の全体観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて当該微分画像の合成画像を生成し、この合成画像から円の検出を行うことで、培養容器１０内（ディッシュ１１内）における培地ドロップＤの領域を識別しているが、これに限られるものではない。例えば、全体観察画像同士の差分に基づいて、オプティカルフローにより培養容器１０内に写り込むストライプパターンの変化を求め、全体観察画像の中でパターンが変化する部分を培地ドロップＤの領域として検出（識別）するようにしてもよい。なお、オプティカルフローによりパターンの変化を推定する方法として、例えば、公知の勾配法やブロックマッチング法を用いることができる。

また、上述の変形例において、マクロ観察系５４としてテレセントリック光学系を用いた場合には、前方深度内であれば、培養容器１０を移動させても培養容器１０の画像が変化しないので、全体観察画像同士の差分をとることでディッシュ１１内への書き込みを除去することが可能であり、さらにこのとき、単純な差分処理のみで当該書き込みを除去して培地ドロップＤの領域を抽出することができ、より好ましい。

また、上述の変形例において、培養容器１０（ディッシュ１１）を透過型液晶パネル１５２（ストライプパターン）に対してマクロ観察系５４の光軸方向に移動させているが、これに限られるものではなく、透過型液晶パネル１５２（ストライプパターン）を培養容器１０（ディッシュ１１）に対してマクロ観察系５４の光軸方向に移動させるようにしてもよい。なおこの場合、ディッシュ１１とマクロ観察系５４との相対位置関係が変化しないため、ディッシュ１１の上面や下面に書き込みがあったとしても、全体観察画像同士の差分をとることで当該書き込みを除去することが可能であり、培地ドロップＤの検出効率に変動が生じなくなる。

また、上述の実施形態において、照明パターンとしてストライプパターンを用いているが、これに限られるものではなく、格子状のパターンを用いるようにしてもよい。

ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ｄ 培地ドロップ Ｊ 受精卵
５ 観察ユニット ６ 制御ユニット
７ 操作盤
１０ 培養容器 １１ ディッシュ
５４ マクロ観察系 ５４ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ
１００ 画像処理装置
１１０ 画像記憶部（入力部） １２０ 画像合成部
１３０ 画像解析部 １４０ 出力部

Claims (12)

1. 所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、
   前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、
   前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
   前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理方法。
2. 前記培地を識別する際、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項１に記載の培養物観察の画像処理方法。
3. 前記照明パターンが周期的な縞模様を有していることを特徴とする請求項１または２に記載の培養物観察の画像処理方法。
4. コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
   所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得するステップと、
   前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別するステップと、
   前記培地の識別結果を出力するステップとを、
   前記コンピュータに実現させ、
   前記観察画像を取得するステップにおいて、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
   前記培地を識別するステップにおいて、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理プログラム。
5. 前記培地を識別するステップにおいて、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項４に記載の培養物観察の画像処理プログラム。
6. 前記照明パターンが周期的な縞模様を有していることを特徴とする請求項４または５に記載の培養物観察の画像処理プログラム。
7. 所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得する入力部と、
   前記入力部で取得された前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別する画像解析部と、
   前記画像解析部による前記培地の識別結果を出力する出力部とを備え、
   前記入力部は、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
   前記画像解析部は、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理装置。
8. 前記画像解析部は、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項７に記載の培養物観察の画像処理装置。
9. 前記照明パターンが周期的な縞模様を有していることを特徴とする請求項７または８に記載の培養物観察の画像処理装置。
10. 所定の環境条件で培養物を培養し、
    前記培養物が培養される培地が収容された培養容器中から、請求項７から９のいずれか一項に記載の画像処理装置を用いて前記培地を識別することを特徴とする培養物の製造方法。
11. 所定の環境条件で培養物を培養し、
    前記培養物が培養される培地が収容された培養容器内を所定の照明パターンを有する照明光により透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、
    前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、
    前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
    前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物の製造方法。
12. 前記識別された培地に含まれる培養物を所定の選別基準に基づいて選別し、
    前記選別された培養物を前記培養容器中から採取して保存することを特徴とする請求項１０または１１に記載の培養物の製造方法。

Images