JP2012003033A - 変調パターン生成方法及びホログラフィックステレオグラム作成装置 - Google Patents

Abstract

【課題】ホログラフィックステレオグラムに用いる多視点画像の再取得を省略したり、再生像を加工、修正する時に改めて変調パターンを生成し直すことを省略したりし得るホログラフィックステレオグラム作成装置を提供する。
【解決手段】変調パターン生成方法は、被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から物体をそれぞれ単独で撮影することで物体毎の多視点画像データを複数取得するステップと、複数の物体の各々に対して、多視点画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する変調パターン群を合成するステップと、要素ホログラム毎に複数の物体に対する複数の変調パターンから新たな変調パターンを再合成するステップと、を含む。ホログラフィックステレオグラム作成装置は、再合成変調パターン生成部と、物体光を変調する新たな変調パターンに基づき物体光を変調する空間光変調器を含む。
【選択図】図１４

Description

本発明はホログラフィックステレオグラム作成装置（以降、ホログラフィックプリンタともいう）に関し、特に、ホログラフィックステレオグラムに記録すべき物体光を変調するための変調パターンを生成する変調パターン生成方法及びホログラフィックステレオグラム装置に関する。

ホログラムは、一般的に、レーザ光（コヒーレント光）を２つに分け、一方を被写体に照射してその拡散反射光（物体光）をホログラム記録媒体を塗った感光シートに当てると同時に、他方の光を所定角度で参照光として感光シートに直接照射して、この２つの光の干渉による干渉縞を感光シートへ記録したものとして知られている。このホログラムに記録時と同じ角度で参照光を照明することで、記録時と同一の強度と方向の物体光が再生され、被写体の３次元像が得られる。

ステレオグラムは、人間の左右目の視点位置に対応して物体を撮影した１組の視差画像を目視して、立体視を可能とするものが知られている。一般に、立体視は、視覚により人間が立体物体を知覚することであり、人の５つの生理的要因、眼球水晶体の調節、両眼の幅較角、両眼視差、運動視差及び視野の拡大効果、による。その中で、ステレオグラムは立体視効果の高い両眼視差を利用したもので、２視点式ステレオグラムとして、レンチキュラなどを用いた裸眼式や、アナグリフなどメガネ式などがある。例えば、２視点式ステレオグラムは１組の視差画像の真正面しか立体視できず、両眼視差こそ再現できるものの輻輳や焦点調節といった立体認識に必要なその他の要因を無視しているため、自然な立体視には不十分といえる。

ホログラフィックステレオグラムは、ステレオグラムに用いる視差画像をホログラムによって記録／再生するものである。具体的には、被写体を異なる視点（観察位置）から撮影した複数の２次元画像をドット状（又は短冊状）の微小なホログラム（要素ホログラム）として敷き詰めるように感光シートへ記録したものである。このとき視点位置を例えば６０視点にして要素ホログラムを６０個敷き詰めれば６０枚の視差画像が再生されるので、運動視差をも利用可能で、観察者の視点変化や多数の観察者に応じた３次元像が再現できる。

このように、ホログラフィックステレオグラムでは、その視差数（要素ホログラム数、画像数）を多くすることが可能であり、例えば、片眼瞳内に複数の画像が入るくらい要素ホログラムを増やせば輻輳や焦点調節なども機能させることができる。

ホログラフィックステレオグラム及びその装置は、更なる自然な立体視を目指して開発されている（例えば、特許文献１、非特許文献１〜４、参照）。ホログラフィックステレオグラムには、撮影において被写体に対して水平と同時に垂直にもカメラを動かして２次元的に画像を取得する場合もあるが、例えば、水平方向だけのホログラフィックステレオグラムをＨＰＯホログラフィックステレオグラム（Horizontal Parallax Only）、２次元的なホログラフィックステレオグラムをフルパララックス・ホログラフィックステレオグラムと呼ばれているものがある。

特開平１０−１４３０５８号公報

『ホログラフィック・ステレオグラムによる像再生特性に関する考察』、山口雅浩ほか、「光学」第２２号巻第１１号（１９９３年１１月）ｐｐ．７１４ 『Ｈｏｌｏｇｒａｐｈｉｃｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｐｒｉｎｔｅｒ：ｎｅｗｍｅｔｈｏｄ』，ＭａｓａｈｉｒｏＹａｍａｇｕｃｈｉ，ＡＰＰＬＩＥＤＯＰＴＩＣＳ，ｖｏｌ．３１，Ｎｏ．２，（１９９２） 『即時ホログラフィック３Ｄプリント技術』，白倉明，映像情報メディア学会技術報告ｖｏｌ．２２Ｎｏ．４３，ｐｐ７−１５，（１９９８） 『実写からの全方向視差ホログラフィックステレオグラム作成システム』，小嶋遼太他，映像情報メディア学会技術報告ｖｏｌ．３１，Ｎｏ．４０，ｐｐ９−１２，（２００７）

ホログラフィックステレオグラム、特に、フルパララックス・ホログラフィックステレオグラムは、再生される画像の画面サイズや解像度などにもよるが、多数の、例えば、数千、数万、数億枚の視差画像（以降、多視点画像ともいう）を取得する必要がある。

数億枚の視差画像を取得することは現実にはほぼ不可能であるため、近似を用いて視差画像の取得枚数を減らす工夫もなされているが、その場合でも比較的自然な立体像を再生するためには少なくとも数千枚程度の視差画像を取得する必要がある。視差画像の取得は被写体に対してカメラを少しずつ移動させながら撮影を繰り返すため、数千枚の視差画像を取得するためにはかなりの撮影時間が必要である。もちろん、その間、被写体は静止していなければならない。また、ホログラフィックステレオグラムを作成するためには、取得した複数の原画すなわち多視点画像を取得してデータ化した後、データ化された多視点画像データを元に画像処理技術によって、要素ホログラムを記録するための変調パターン群を生成する必要がある。

観光地などで有名な景色を背景にして人物のホログラフィックステレオグラムを作成すると立体的な記念写真を残すことができる。この場合、多視点画像の撮影中は被写体である人物は静止しているわけだが、背景として自動車や他の観光客などが動いてしまうと正しい多視点画像データが得られないため、幾度となく多視点画像データの取得をやり直し、それに応じて変調パターン群を生成しなければならないという問題があった。

また多視点画像データを取得する際に、例えば、カメラの設定で撮影した日付情報などが画面の隅に小さく表示されるようにしていた場合、ホログラフィックステレオグラムで再生される立体像にも日付情報が表示されるわけだが、後になって、この日付情報を削除もしくは日付を変更しようとした場合には、多視点画像から日付情報を削除もしくは日付を変更した後に、改めて変調パターン群を生成し直した上で要素ホログラムを印刷しなければならず、そのための処理時間と手間がかかるという問題があった。

そこで本発明は、一度取得した多視点画像データを再利用することで多視点画像の再取得を省略したり、再生像を加工、修正する時に改めて変調パターン群を生成し直すことを省略したりし得る変調パターン生成方法及びホログラフィックステレオグラム装置を提供することが一例として挙げられる。

請求項１記載の変調パターン生成方法は、複数の物体から成る被写体のホログラフィックステレオグラムを作成するための変調パターン生成方法であって、
前記被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から前記物体をそれぞれ単独で撮影することで物体毎の多視点画像データを複数取得するステップと、
前記複数の物体の各々に対して、前記多視点画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する変調パターン群を合成するステップと、
要素ホログラム毎に前記複数の物体に対する複数の変調パターンから新たな変調パターンを再合成するステップと、を含むことを特徴とする。

請求項２記載の変調パターン生成方法は、前記複数の物体に対する複数の変調パターンから新たな変調パターンを再合成するステップは、前記変調パターンの画素毎に、前記複数の物体の前後関係を比較し、最も手前の物体に対する変調パターンの画素値を、前記新たな変調パターンの画素値とすることを特徴とする。

請求項３記載の変調パターン生成方法は、前記複数の物体に対して各々の多視点画像データを取得するステップは、前記多視点画像データの画素毎に、輝度値に加えて奥行き情報を記録するステップを含むことを特徴とする。

請求項４記載のホログラフィックステレオグラム作成装置は、複数の物体から成る被写体のホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成装置であって、
請求項１乃至３に記載の変調パターン生成方法によって前記複数の物体に対する変調パターンから物体光を変調する新たな変調パターンを再合成する再合成変調パターン生成部と、
前記物体光を変調する新たな変調パターンに基づき物体光を変調する空間光変調器と、
参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を含むことを特徴とする。

本発明による実施形態に用い得るホログラフィックプリンタの構成の一例を示す模式図である。 ホログラフィックプリンタによるホログラフィックステレオグラム作成方法を示すフローチャートである。 初期のホログラフィックステレオグラムの記録原理を説明するための模式的概略部分断面図である。 初期のホログラフィックステレオグラムの記録原理を説明するための模式的概略部分断面図である。 初期のホログラフィックステレオグラムの記録原理を説明するための模式的概略部分断面図である。 ホログラフィックステレオグラムの記録における視差画像を取得する位置と感光シートと被写体の関係ならびに合成されたＳＬＭ画像を説明するための模式的概略部分断面図である。 ホログラフィックステレオグラム作成方法における多視点画像を取得する方法の例を説明する模式図である。 ホログラフィックステレオグラム作成方法における多視点画像を取得する方法の他の例を説明する模式図である。 図７を用いて説明した撮影手法で多視点画像を取得し、それらを元にＳＬＭ画像を合成する方法を説明するための模式図である。 図７を用いて説明した撮影手法で多視点画像を取得し、それらを元にＳＬＭ画像を合成する方法を説明するためのフローチャートである。 図８を用いて説明した撮影手法で多視点画像を取得し、それらを元にＳＬＭ画像を生成する方法を説明するための模式図である。 本発明による実施形態におけるホログラフィックステレオグラムを記録する仮想的な３次元被写体を説明するための斜視図である。 本発明による実施形態におけるホログラフィックステレオグラムの記録における視差画像を取得する位置と感光シートと被写体の関係ならびにＳＬＭ画像を説明するための模式的概略部分断面図である。 本発明による実施形態の多視点画像を生成するためのＳＬＭ画像再合成方法を説明するためのフローチャートである。 本発明による他の実施形態の多視点画像を生成するためのＳＬＭ画像再合成方法を説明するためのフローチャートである。

以下に、ホログラフィックステレオグラム作成装置いわゆるホログラフィックプリンタによるホログラフィックステレオグラムの作成システムを、図面を参照しつつ説明する。

ホログラフィックステレオグラム作成システムは大きく次の３つ、記録すべき被写体の撮影などを行う画像取得部である撮影セクションと、ホログラフィックステレオグラムための物体光を変調する変調パターンを生成する変調パターン生成セクションと、ホログラフィックステレオグラムを作成する印刷セクションとに分けられる。

まず、撮影セクションにおいて、記録すべき被写体を多数の観察点から順次撮影することにより、複数の原画すなわち多視点画像を取得しデータ化して、多視点画像データを取得する。次に、変調パターン生成セクションにおいて、データ化されている多視点画像データからコンピュータで計算、合成し、具体的に記録すべき変調パターン（ＳＬＭ画像と呼ぶ）に対応する変調データを生成する。そして、印刷セクションにおいて、かかる変調パターンを、例えば光透過液晶パネルに表示し、これをレーザ光で照明し、液晶パネルで変調された透過光を集光レンズで感光シート（ホログラム面）上に集光しつつ、参照光で照明し順次記録する。

ここで、変調パターンの合成は多視点画像の取得の手法に左右されるので、先に、印刷セクションを説明し、撮影セクション及び変調パターン生成セクションである多視点画像の取得と変調パターンの合成をまとめて後で詳細に説明する。

−＜印刷セクション：要素ホログラムの記録＞−
図１は実施形態に用い得るホログラフィックプリンタの構成の一例を模式的に示したものである。レーザ光源２１の直後には制御部２２で開閉制御が可能なシャッター２３が置かれ、各要素ホログラムを露光（記録）する時だけレーザ光を後方の光学系２４に導くようにされている。シャッター２３を通過した光はコリメータレンズ２４１によって平行光に変換される。なお、光学系においてエクスパンダ（図示せず）を用いてレーザ光の断面積を拡大することもできる。光源２１からの平行光はビームスプリッタ２４２によって光路を２つに分割され、一方の光は、鏡２４３を介して空間光変調器２４４（パネルにＳＬＭ画像が表示されている）を通過した後に物体光となり、鏡２４５を介して対物レンズ２４６によって感光シート３１上にその球面波が集光され、要素ホログラムが記録される。もう一方の平行光は参照光として鏡２４７を介して感光シート３１の裏側から斜めに照射される。この際、物体光と参照光の光路長はほぼ同じにしておくことが望ましい。

ホログラム記録媒体の感光シート３１はステージ３５上に固定され、感光シート３１の主面が物体光の光軸に対して垂直になるように保持される。ステージ３５は例えば、Ｘ軸用およびＹ軸用の２軸ステッピングモータ４１によって、物体光の光軸と垂直な面内（ＸＹ平面）において自由にその位置を変えられるようになっている。空間光変調器２４４は、例えば、透過型液晶パネルと変調パターンのための変調データを保持するフレームメモリを備え、フレームメモリを介して変調パターンを液晶パネルに表示することで物体光の光軸と垂直な面内の光強度分布を自由に変調することができる。なお、フレームメモリ上の変調パターンの変調データは制御部２２によって自由に書き換えることができる。

図２に示すフローチャートのような手順でホログラフィックステレオグラム作成を行う。一例として、水平方向の要素ホログラムを６００個、垂直方向の要素ホログラム数を４００個、要素ホログラム間隔△ｅ＝２５０μｍとして感光シート３１に露光する。この場合、最終的に印刷されるホログラフイックステレオグラムは１５ｃｍ×１０ｃｍになる。水平方向がｎｘ番目、垂直方向がｎｙ番目の要素ホログラムを記録する際に空間光変調器２４４のパネルに表示する変調パターン（ＳＬＭ画像）をＳＬＭ（ｎｘ，ｎｙ）と記すことにする。すなわち、ｎｘは水平方向の要素ホログラム番号（１〜ｎｘｍａｘ）で、ｎｙは垂直方向の要素ホログラム番号（１〜ｎｙｍａｘ）である。

はじめに、図２に示すように、印刷を開始すると、ｎｘ＝１，ｎｙ＝１に初期化され（ステップＳ１）、最終的に印刷されるホログラフイックステレオグラムのサイズを考慮した上で、ステッピングモータ４１を回転させてステージ３５を印刷開始位置まで移動する（ステップＳ２）。この時のステージ３５の位置を原点、すなわち座標（０，０）とする。このときシャッター２３は閉じておく。

次に、空間光変調器２４４のフレームメモリにＳＬＭ（１，１）を送る（ステップＳ３）。次にシャッター２３を開き一定時間だけ感光シートを露光する（ステップＳ４）。一定時間が経過したらシャッター２３を閉じて（ステップＳ５）、ステッピングモータ４１を回転させてステージ位置を座標（０，２５０μｍ）にする（ステップＳ６）。ステッピングモータ４１の回転が終わってもステージ３５が振動している可能性があるので、その場合は一定時間待つ（ステップＳ７）。

次に、シャッター２３を閉じてからステージ３５を移動し、振動が治まるまでの間に、空間光変調器２４４のフレームメモリにＳＬＭ（１，２）を送っておく。振動が治まったらシャッター２３を開いて露光を開始する。一定時間露光したらシャッター２３を閉じてステージ３５を座標（０，５００μｍ）に移動する。以降、同様の処理を繰り返し、ＳＬＭ（１，４００）の露光まで行う。ＳＬＭ（１，４００）の露光が終了したら、今度はステージ３５を水平方向に移動してステージ位置を座標（２５０μｍ，１００００μｍ）にする。その間にＳＬＭのフレームメモリにＳＬＭ（２，４００）を送る。振動が治まったらシャッター２３を開いて再び露光を開始する。露光が終了したら今度は垂直方向のステージ座標が減少するようにステッピングモータ４１を回転させ、ステージ位置を座標（２５０μｍ，９９７５０μｍ）にする。このように垂直方向に４００個の要素ホログラムを露光したら水平方向に２５０μｍだけ移動して次の４００個の要素ホログラムを垂直方向に露光することを繰り返す。最終的にはステージ位置が座標（１５００００μｍ，０μｍ）でＳＬＭ（６００，４００）の露光が行われることになる。すなわち、図２に示すステップＳ３〜Ｓ１４のループによって、水平及び垂直方向の要素ホログラム番号ｎｘ、ｎｙの増分１ごとにラスタスキャンして要素ホログラムを記録する。

ステップＳ１１においてｎｘ＝ｎｘｍａｘとなり、すべての露光が終了したら、ステージ３５から感光シートを取り出す（ステップＳ１５）。感光シートの種類によってはその後、記録を定着させるための処理が必要になる場合がある（ステップＳ１６）。例えば、感光シートにフォトポリマー材を用いた場合は、記録後に高温のオーブンに一定時間入れることで記録を定着させることができる。以上で、フルパララックス・ホログラフィックステレオグラムが作成できる。この場合、要素ホログラムを露光する回数は６００×４００＝２４万回、そのためのＳＬＭ画像が２４万枚必要になる。

撮影セクション及び変調パターン生成セクションを説明する前に、初期のホログラフィックステレオグラムの記録原理と、それを元にしてホログラムプリンタ用に改良されたホログラフィックステレオグラムの記録原理を説明しておく。

−＜初期のホログラフィックステレオグラムの記録原理＞−
我々が物体（被写体）を観察することができるのは、その物体表面で散乱された光線が瞳に入り網膜を刺激するためであると解釈できる。ある被写体をカメラで撮影し、その画像を拡散スクリーンに投影することを考える（図３参照）。この場合、被写体を取り去っても、カメラ位置（観察点）にはスクリーンに投影／拡散された光線が入射するため、被写体が存在した時と同じ画像（光線群）を観察することができる。

画像を取得した位置（カメラ位置）に感光シートをおき、その直前（スクリーン側）にスリットを設ける（図４参照）。フィルムをコヒーレント光で照明するのと同時に、同じ光を裏面から照射すると、感光シートにはスリットが開いた部分にだけ干渉縞が記録される。つまりスクリーンからの拡散光を物体光、裏面から照射した光を参照光として微小なホログラムが形成される。この微小ホログラムは要素ホログラムと呼ばれる。

以上の作業を、カメラ位置を水平方向に少しずつ移動させながら多数回行う。その際、スリットの開口位置は常にその時のカメラ位置、すなわち投影画像を取得した位置に合わせる。

ところで、一般にホログラムは、それを形成する際に照射した参照光と同じ光で照明すると物体光を発生する性質がある。厳密な言い方をするなら、参照光が干渉縞によって物体光として回折される。つまり、感光シート上に要素ホログラムを連続して形成することは、それぞれのカメラ位置（観察点）で観察される光線の向きと強度を記録／保存していると解釈できる。従って、この感光シートを参照光の照射側から眺めると、観察位置に依存して視差を伴った画像を観察することができる（図５参照）。しかしながら実際には、参照光で照明した際に各要素ホログラムから発生する物体光は要素ホログラムから遠ざかるほど、回折の影響でその向きが僅かに変化してしまう。従って、図５に示すように感光シート３１に対して被写体（の再生像）が遠い位置にあると再生像はボケ易いことになる。

−＜ホログラフィックプリンタ用に改良された記録原理＞−
図６は、視差画像を取得する位置（カメラ）と要素ホログラムを記録する位置（感光シート３１）を別々にすることで被写体と感光シートを近づけ、再生像がボケ難くなるように改良を施したホログラフィックステレオグラムの記録原理を示す模式図である。ホログラフィックプリンタではこちらの記録原理を用いてシステムを構築する。

この場合、要素ホログラムを記録する際、空間光変調器２４４には撮影した視差画像を直接表示するのではなく、コンピュータを用いて複数の視差画像から必要な画素だけを取り出し、それらを繋ぎ合わせることで１つの視差画像を合成して空間光変調器２４４に表示する必要があるが、これに関しては後述する。

視差画像取得位置と要素ホログラム記録位置を分けたことで、取得する画像の枚数と記録する要素ホログラムの数を、ある程度独立に設定できる利点がある。上述のようにホログラフィックステレオグラムは再生時の視差数が多いほど自然な立体視が可能になる。ホログラフィックプリンタでは使用する空間光変調器２４４の画素数が充分であれば、視差画像取得枚数を増やすだけで再生時の視差数を増やすことができる。また、３ＤＣＧ（３次元コンピュータグラフィックス）プログラムを搭載したコンピュータを用いて、仮想空間内に仮想３次元被写体を生成し、それに対して仮想カメラを少しずつ動かして仮想撮影した画像を非常に短時間で取得（生成）できる。このため、直接印刷時間の長さに影響する要素ホログラム数を増やすことなく、視差画像枚数を増やすだけで再生時の視差数を増やすことができる。このことから、ホログラフィックプリンタは、仮想的な被写体のホログラフィックステレオグラムを作成する手法としては特に適している。

また、ホログラフィックプリンタでは要素ホログラムを記録する際の物体光として対物レンズで集光した光を利用している。このため、感光シートとして銀塩フィルムよりもはるかに感度の低いフォトポリマー材を利用できるという利点がある。また拡散スクリーンや投影光学系も不要なので光学系を小型にすることも可能である。

−＜撮影セクション及び変調パターン生成セクション：多視点画像の取得とＳＬＭ画像の合成＞−
パララックス・ホログラフィックステレオグラムの場合、多視点画像は水平と垂直の２方向に対して視点（カメラ位置）を少しずつ変えたものが必要になる。

（撮影セクション）
画像取得の手法、すなわち多視点画像を取得する際の視点の動かす撮影手法についてはいくつかあるが、ここでは次の２つの多視点画像取得手法を説明する。本来であれば２次元的に視点位置を動かす場合の説明をすべきであるが、ここでは簡単にするためにＨＰＯホログラフィックステレオグラムとして説明する。フルパララックス・ホログラフィックステレオグラムの場合も同様に考えられることは言うまでもない。

第１の撮影手法はカメラの光軸方向は変えずにその方向を一定に保持し被写体に対してカメラを平行移動させながら撮影する手法（図７、参照）である。図７に示すように、異なる位置から間歇的に被写体を多数撮影することによって得られる。すなわち、被写体に向けたカメラ光軸を平行に、被写体がカメラ画角範囲に入る位置から、被写体がカメラ画角範囲から外れる位置に至るまでカメラを動かす。

第２の撮影手法はカメラと被写体の距離を一定に保ちつつ固定した被写体を囲むようにカメラを回転移動させながら撮影する手法（図８、参照）である。被写体を中心としてカメラを回動させる他に、被写体を回転台（図示せず）の回転中心に固定し、カメラを被写体に向くように固定したまま、被写体とカメラの距離を略一定に保持して、回転台を被写体とともに回動させても、同様な視点の異なる多数の視差画像を得ることができる。すなわち、固定した被写体に対してカメラが公転又は固定したカメラに対して被写体が自転するように相対的に運動させて、視点の異なる複数の被写体画像を間歇的に撮影ことができる。カメラ感光面はＣＣＤ、ＣＭＯＳセンサなど光電変換器により構成され、受光した各結像画像を光電変換して複数の画像の多視点画像データを生成、出力する。

（変調パターン生成セクション）
図９は図７に示した撮影手法で多視点画像データを取得し、それらを元にＳＬＭ画像を合成する手順を説明するための模式図である。空間光変調器２４４の画素数をＮ、記録する要素ホログラムの数をＫ、対物レンズの画角（全角）をθｏ、多視点画像を取得するためのカメラの画角をθc、取得画像の画素数をＬとする。つまり、空間光変調器２４４の１画素あたりの画角はθｏ／Ｎ、取得画像の１画素あたりの画角はθｃ／Ｌである。

図９に示すように、空間光変調器２４４には平行光が入射するので、空間光変調器２４４の表示面の座標と対物レンズ２４６の瞳面の座標は１対１に対応する。空間光変調器２４４の各画素に対応する対物レンズ２４６の瞳面上の点をＳ_ｊ（ｊ＝１，２，…，Ｎ）、要素ホログラムの座標をＨ_ｉ（ｉ＝１，２，…，Ｋ）、Ｓ_ｊとＨ_ｉを結んだ光線が多視点画像取得面と交わる点をＣ_ｉｊとする。

ここで、一例としてｉ番目の要素ホログラムＨ_ｉ用のＳＬＭ画像の合成方法を説明する。
まず、Ｓ_１とＨ_ｉを結んだ光線（図９中のＳ_１からの左側破線）が多視点画像取得面と交わる点Ｃ_ｉ１にカメラを置いて被写体を撮影する。この時、Ｓ_１とＨ_ｉを結んだ光線はカメラの光軸に対して＋θｏ／２だけ傾いているので、Ｓ_１とＨ_ｉを結んだ線上にある被写体（の輝度値）は取得画像上では中心画素から

だけ離れた画素に記録される。この画素を取り出して（合成すべき）ＳＬＭ画像の第１画素とする。

次に、Ｓ_ｊ（ただしｊ＝２）とＨ_ｉを結んだ光線（図９中のＳ_ｊからの中間破線線）が多視点画像取得面と交わる点Ｃ_ｉｊにカメラを移動させて被写体を撮影する。この時、Ｓ_ｊとＨ_ｉを結んだ光線はカメラの光軸に対して＋θｏ／２−θｏ／Ｎだけ傾いているので、Ｓ_ｊとＨ_ｉを結んだ線上にある被写体（の輝度値）は取得画像上では中心画素から

だけ離れた画素に記録される。この画素を取り出して（合成すべき）ＳＬＭ画像の第ｊ（ｊ＝２）画素とする。

このようにカメラを順次（ｊ＝２，３，…Ｎ）移動させながら多視点画像を撮影していく。

そして最後に、Ｓ_ＮとＨ_ｉを結んだ光線（図９中のＳ_Ｎからの右側破線）が多視点画像取得面と交わる点Ｃ_ｉＮにカメラを移動させて被写体を撮影する。Ｓ_ＮとＨ_ｉを結んだ光線はカメラの光軸に対して−θｏ／２だけ傾いているので、Ｓ_ＮとＨ_ｉを結んだ線上にある被写体（の輝度値）は取得画像上では中心画素から

だけ離れた画素に記録される。この画素を取り出して（合成すべき）ＳＬＭ画像の第Ｎ画素とする。

これで要素ホログラムＨ_ｉ用のＳＬＭ画像を合成することができる。

この一連の作業を全ての要素ホログラム（Ｈ_ｉ〜Ｈ_Ｋ）に対して行うことで、必要な全てのＳＬＭ画像を合成することができる。図１０は、この図７、図９に示した撮影手法によるＳＬＭ画像合成方法のフローチャートを示す（ＨＰＯホログラフィックステレオグラムの場合）。すなわち、図１０に示すフローチャートのような手順で多視点画像の取得を行うことができる。ここで、ｉは要素ホログラム番号（1〜Ｋ）とし、ｊはＳＬＭ画素番号（1〜Ｎ）とする。撮影が開始すると、ｊ＝１，ｉ＝１に初期化され（ステップＳａ１）、ステッピングモータなどで移送させてカメラを位置Ｃ_ｉｊ（ｊ＝１，ｉ＝１）まで移動する（ステップＳａ２）。次に、カメラシャッタを切って透視投影画像を取得し（ステップＳａ３）、要素ホログラムの座標Ｈ_ｉ用ＳＬＭ画像のｊ番画素をセットする（ステップＳａ４）。次に、要素ホログラムの座標Ｈ_ｉの１個に対してＳＬＭ画素番号ｊを判別し（ステップＳａ５）、ｊ＝Ｎとなるまでｊ増分１をもって（ステップＳａ６）、ステップＳａ２へ戻るループを繰り返し、ｊ＝Ｎが満たされたときに、次の要素ホログラムの座標Ｈ_ｉの要素ホログラム番号ｉを判別し（ステップＳａ７）、ｉ＝Ｋとなるまでｉ増分１をもって（ステップＳａ８）、ステップＳａ２へ戻るループを繰り返し、ｊ＝Ｎ，ｉ＝Ｋが満たされたときにすべての多視点画像の取得を終了する。

図１１は図８に示した第２の手法で多視点画像を取得し、それらを元にＳＬＭ画像を合成する手順を説明するための模式図である。空間光変調器２４４の画素数や対物レンズの画角などは図９の説明で用いたものと同じとするので、同一のものの説明は省略する。

図１１の場合は、カメラの光軸は常に注目している要素ホログラムに向いているので、各視点位置で取得した２次元画像の中心近傍画素を取り出して、それらを空間光変調器２４４の各画素と同じ順番で整列させることでＳＬＭ画像を合成することができる。この第２の手法は、取得画像のうち常に光軸近傍の画素を利用するため画角の狭いカメラを利用できるなどのメリットがある。

以上のような手法でＳＬＭ画像を準備したら印刷、すなわちホログラフィックプリンタで要素ホログラムの記録を開始する。ところで、記録する要素ホログラム数をＫ＝６００×４００、空間光変調器２４４の画素数（再生時の視点数になる）をＮ＝６４×６４とすると、取得する２次元画像はＫ×Ｎ＝６００×４００×６４×６４＝９億８３０４万枚になる。この枚数を現実世界で取得することは不可能に近い。もちろん３ＤＣＧ（３次元コンピュータグラフィックス）技術を利用して仮想空間で取得（描画）すれば現実世界よりも高速に処理できるが、それでも非実用的である。

そこで、近似を用いることで１枚の視差画像を複数の要素ホログラムに対する視差画像として多重利用する手法が考えられる。具体的な近似手法の一例としては上記の非特許文献４に述べられており、この文献では、要素ホログラム数が200×120＝24000、視差数が100×7＝700なので、本来であれば24000×700＝1680万枚の多視点画像が必要になるはずであるが、それを500×7＝3500枚にしている。

このような工夫を施すことで、取得する多視点画像を大幅に減らすことが可能であるが、その場合でも比較的自然な立体像を再生するためには少なくとも数千枚程度の視差画像を取得する必要がある。

−＜実施形態１＞−
上記したように、ＳＬＭ画像を合成するための多視点画像は膨大な枚数を必要とするため実在する被写体のみならず、３ＤＣＧ（３次元コンピュータグラフィックス）技術により仮想被写体のフルパララックス・ホログラフィックステレオグラムを作成するためにも膨大な時間を要する。そこで、上記した構成を基本として、発明者は、ＳＬＭ画像の処理技術を鋭意研究した結果、再生像を加工、修正する際に、被写体を物体毎に分離して、それぞれの物体が単独で存在する場合の変調パターン群（以降、ＳＬＭ画像群ともいう）を用意して、一度生成した物体毎の変調パターン群を繰り返し利用する実施形態１を案出した。

これによって多視点画像を改めて取得してから再度ＳＬＭ画像を生成し直す必要がなくなり、加工、修正したホログラフックステレオグラムの作成時間を短縮することができる。

実施形態１では、被写体を物体毎に分割して、それぞれのＳＬＭ画像群を独立に生成し、印刷セクションにおいて、要素ホログラム毎に、複数のＳＬＭ画像から新たなＳＬＭ画像を合成してそれを空間光変調器２４４に表示することにより、最終的に印刷されるホログラフィックステレオグラムでは全ての物体が混在した立体像を観察することが可能になる。以下は、説明を簡単にするためにＨＰＯホログラフィックステレオグラムとするが、フルパララックス・ホログラフィックステレオグラムでも同様な手法で実現できることは言うまでもない。

図１２に示す仮想的な３次元被写体、複数の物体のホログラフィックステレオグラムを作成する場合を考える。ｘｙｚ座標空間に奥からｚ軸に沿って物体Ａ、Ｂ、Ｃの被写体が順に配置されている。ｘｙ平面が要素ホログラム記録面に相当し、ｚ軸のプラス側からマイナス側に向かって観察する場合を想定している。

一般には、物体Ａ、Ｂ、Ｃをまとめて１つの被写体と認識し、この仮想被写体の多視点画像を取得し、それらを元にＳＬＭ画像を生成することができる。この場合、後日に加工、修正のために物体Ｂだけを消したホログラフィックステレオグラムを作成したくなった場合は、物体ＡとＣだけから成る新たな仮想被写体に対して多視点画像を取得し直してＳＬＭ画像を生成する必要がある。３つの物体から成る被写体群の場合、その組み合わせとしては全部で７通り（被写体Ａ、被写体Ｂ、被写体Ｃ、被写体群Ａ＆Ｂ、被写体群Ａ＆Ｃ、被写体群Ｂ＆Ｃ、被写体群Ａ＆Ｂ＆Ｃ）が考えられる。つまり、全ての組み合わせのホログラフィックステレオグラムを作成するためには、多視点画像を７回取得する必要がある。

本実施形態では、被写体Ａ、Ｂ、Ｃをそれぞれ単独で描画した多視点画像を取得するだけで、つまり多視点画像（輝度値＋ｚ座標を含む）としては３組を取得して、３組のＳＬＭ画像データ群（輝度値＋ｚ座標を含む変調データ群）を生成し、保存するだけで、それらを再合成により組み合わせ７通り全てのホログラフィックステレオグラムを作成することができる。

そのために、上述したように単独物体の多視点画像を取得する際に輝度値だけではなくｚ座標（画素毎のカメラ感光面から被写体表面までの距離を変換して得られた要素ホログラム記録面からの距離）も取得してある。図１３は、例として、被写体の物体Ｂが単独で存在する場合に図５の手法で多視点画像を取得し、それらを元にＳＬＭ画像データ群を生成する手法を説明するための模式図である。図７で説明した手法でも多視点画像の輝度値だけでなくカメラ感光面及び被写体表面間の距離を保持した多視点画像データを生成して、本実施形態で生成するＳＬＭ画像データ群は輝度値とｚ座標の組を画素毎に有している。実世界に存在する物体に対してｚ座標を取得するためにはステレオ法などでカメラから物体上の各点までの距離を測定した後に、仮想的に設定した要素ホログラム面までの距離を算出することになる。一方、ＣＧ空間に仮想物体を置いて多視点画像を取得する場合は、仮想空間のｚ座標をそのまま用いることができる。なお、多視点画像からＳＬＭ画像データ群を生成する際に抜き出す画素の位置などは図７で説明したものと同じである。また、図６の手法でカメラを移動させて多視点画像を取得する場合についても同様に考えられることは言うまでも無い。

本実施形態では３個の単独物体Ａ、Ｂ、Ｃ毎に生成したＳＬＭ画像データ群（輝度値＋ｚ座標を含む変調データ群）を再合成前に用意しておく。図１４は、用意した３組の単独物体のＳＬＭ画像データ群により新たなＳＬＭ画像群を再合成する方法のフローチャートを示す（ＨＰＯホログラフィックステレオグラムの場合）。ここで、ｏｂｊはどの物体のＳＬＭ画像データなのかを示す物体番号などの指標であり、ｏｂｊ＿ｍａｘは表示したい物体の数であり、例えば、物体Ａ、Ｂ、Ｃを表示したい場合は、物体Ａ、Ｂ、Ｃの順番にｏｂｊ＝１、２、３と番号を振ったうえでｏｂｊ＿ｍａｘ＝３とする。また、ｉは要素ホログラムの座標Ｈｉの要素ホログラム番号（1〜Ｋ）とし、ｊはＳＬＭ画素番号（1〜ＮすなわちＳＬＭ画素数（視差数））とし、ｚ０はｚ座標値とし、ｏｂｊ＿Ｚ（ｊ）は物体番号ｏｂｊのＳＬＭ画像データのｊ番画素のｚ座標値とし、ＳＬＭ（ｊ）は空間光変調器に表示する画像のｊ番画素の輝度値とし、ｏｂｉ＿Ｉ（ｊ）は物体番号ｏｂｊのＳＬＭ画像データのｊ番画素の輝度とする。再合成を開始すると、ｏｂｊ＝１、ｉ＝１、ｊ＝１に初期化され（ステップＳｂ１）、ｚ座標値ｚ０は最も奥の値に初期化され（ステップＳｂ２）。次に、物体番号ｏｂｊのＳＬＭ画像データのｊ番画素のｚ座標値が現在値のｚ座標値ｚ０と比較され（ステップＳｂ３）、現在値のｚ座標値ｚ０を超えれば物体番号ｏｂｊのｊ番画素のｚ座標値を更新する（ステップＳｂ４）。次に、物体番号ｏｂｊが最大であるか否かを判別し（ステップＳｂ５）、物体番号ｏｂｊが最大、例えばｏｂｊ＝３となるまで増分１をもって（ステップＳｂ６）、ステップＳｂ３へ戻るループを繰り返し、すべての画像の物体の画素をスキャンして、例えばｏｂｊ＝３が満たされたときに、空間光変調器に表示するＳＬＭ画像のｊ番画素の輝度値を、最も高いｚ座標値である物体番号ｏｂｊのｊ番画素の輝度値を設定する（ステップＳｂ７）。ステップＳｂ３で前回ｚ座標値を超えなければステップＳｂ４をスキップしてステップＳｂ５を実行する。次に、ＳＬＭ画素番号ｊを判別し（ステップＳｂ８）、ｊ＝Ｎとなるまでｊ増分１をもって（ステップＳｂ９）、ステップＳｂ２へ戻るループを繰り返し、ｊ＝Ｎが満たされたときに、要素ホログラムの座標Ｈｉの要素ホログラム番号ｉを判別し（ステップＳｂ１０）、ｉ＝Ｋとなるまでｉ増分１をもって（ステップＳｂ１１）、ステップＳａ２へ戻るループを繰り返し、ｊ＝Ｎ、ｉ＝Ｋが満たされたときにすべてのＳＬＭ画像の合成を終了する。これにより、新たなＳＬＭ画像データ群が再合成される。

なお、図１４に示したフローチャートでは全ての要素ホログラムに対する再合成を、変調パターン生成セクションの中で連続して処理してしまう場合を示したが、再合成処理は要素ホログラム毎に独立して行うことができるので、印刷セクションにおいて逐次行うこともできる。特に要素ホログラム数が非常に多い場合は、変調パターン生成セクションとして一括して行うと印刷を開始するまでにそれなりの時間を待たなければならないが、印刷セクションの中で逐次行う場合は、ステージ移動中に処理することが可能であるので直ぐに印刷を開始できるメリットがある。

なお、一度作成したホログラフィックステレオグラムの再生像を加工したり修正したりする場合を想定すると、再合成前の物体毎に生成したＳＬＭ画像データ群は再利用できるようにデータベース化しておくことが望ましい。そうすれば、撮影セクションで多視点画像を取得し直すことなく、新しい被写体のホログラフィックステレオグラムを作成することができる。

−＜実施形態２＞−
例えば、観光地などで記念として有名な景色を背景にして人物のホログラフィックステレオグラムを作成する場合を考える。この場合は物体Ａを背景、物体Ｂを人物とすると、前後関係は背景Ａが奥、人物Ｂが手前になることが一般的である。

このように、あらかじめ被写体軍の物体間の前後関係（重複して見えている）が明らかな場合や、ホログラフィックステレオグラムの作成者が意図的に前後関係を決める場合は、多視点画像データやＳＬＭ画像データにｚ座標を付加することなく、ＳＬＭ画像の合成を行うことができる。図１５は、その場合の新たなＳＬＭ画像データ群の再合成のフローチャートを示す（ＨＰＯホログラフィックステレオグラムの場合）。ここで、ｉは要素ホログラムの座標Ｈｉの要素ホログラム番号（1〜Ｋ）とし、ｊはＳＬＭ画素番号（ＳＬＭ画素数（視差数）1〜Ｎ）とし、ｏｂｉ＿Ａ（ｊ）は物体ＡのＳＬＭ画像のｊ番画素の輝度値とし、ｏｂｉ＿Ｂ（ｊ）は物体ＢのＳＬＭ画像のｊ番画素の輝度値とし、ＳＬＭ（ｊ）は空間光変調器に表示する画像のｊ番画素の輝度値とする。再合成を開始すると、ｉ＝１、ｊ＝１に初期化され（ステップＳｃ１）、物体ＢのＳＬＭ画像のｊ番画素の輝度値が零か否か（重複して見えていない物体Ｂの部分は画素の輝度値は零である）判別され（ステップＳｃ２）、零であれば、物体ＡのＳＬＭ画像のｊ番画素をセットし（ステップＳｃ３）、空間光変調器に表示する物体ＡのＳＬＭ画像のｊ番画素の輝度値ｏｂｉ＿Ａ（ｊ）とそのｊ番画素のｚ座標とを関連づける（ステップＳｃ４）。ステップＳｃ２で物体ＢのＳＬＭ画像のｊ番画素の輝度値が零でなければ、物体ＢのＳＬＭ画像のｊ番画素をセットし（ステップＳｃ５）、空間光変調器に表示する物体ＢのＳＬＭ画像のｊ番画素の輝度値ｏｂｉ＿Ｂ（ｊ）とそのｊ番画素のｚ座標とを関連づける（ステップＳｃ４）。次に、要素ホログラムの座標の１個に対してＳＬＭ画素番号ｊを判別し（ステップＳｃ６）、ｊ＝Ｎとなるまでｊ増分１をもって（ステップＳｃ７）、ステップＳｃ２へ戻るループを繰り返し、ｊ＝Ｎが満たされたときに、次の要素ホログラムの座標Ｈｉの要素ホログラム番号ｉを判別し（ステップＳｃ８）、ｉ＝Ｋとなるまでｉ増分１をもって（ステップＳｃ９）、ステップＳａ２へ戻るループを繰り返し、ｊ＝Ｎ、ｉ＝Ｋが満たされたときに新たなＳＬＭ画像群の合成を終了する。

この手順では物体Ａと物体Ｂの２つだけとしたが、物体が３個以上の場合でも同様に考えることができる。つまり、手前に表示すべき物体から順番に輝度値を調べていき、ゼロではない値を有した物体の輝度値を空間光変調器に表示する画像の輝度値として利用すれば良い。

なお、図１５に示したフローチャートも全ての要素ホログラムに対する再合成を、変調パターン生成セクションの中で連続して処理してしまうものであるが、図１４の説明で述べたように、印刷セクションの中で逐次行えば直ぐに印刷を開始できるメリットがある。

このようにいずれの実施形態によっても、観光地などの立体的な記念写真、ホログラフィックステレオグラムを残す場合でも、第１被写体である人物と第２被写体である背景などを、多視点画像データとして別々に取得し、それらから変調パターン群を合成できるので、多視点画像の再取得を省略したり、再生像を加工、修正する時に改めて変調パターン群を生成し直すことが容易となる。また、撮影した日付情報なども、後になって変更しようとした場合でも、複数の変調パターン群から新たな変調パターン群を再合成できるので、改めて変調パターン群を生成し直す手間が削減され、処理時間が削減される効果がある。

なお、一見すると、上記手法は、コンピュータグラフィックス処理における隠面消去などの２次元画像合成と変わらないようであるが、ＳＬＭ画像自体が多視点画像を基に画像処理によって生成したものであり、ホログラフィックプリンタにて使用される空間光変調器に表示する変調パターンであり人間が通常ディスプレイで観察する画像ではない。また、利用する前後関係がホログラフィックステレオグラムを観察する場合の前後関係であって、ＳＬＭ画像の視点位置（要素ホログラム位置）からみた前後関係ではない。

２１ レーザ光
２２ 制御部
２３ シャッター
２４ 光学系
３１ 感光シート
３５ ステージ
４１ ２軸ステッピングモータ
２４１ コリメータレンズ
２４２ ビームスプリッタ
２４３、２４５、２４７ 鏡
２４４ 空間光変調器
２４６ 対物レンズ

Claims (4)

1. 複数の物体から成る被写体のホログラフィックステレオグラムを作成するための変調パターン生成方法であって、
   前記被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から前記物体をそれぞれ単独で撮影することで物体毎の多視点画像データを複数取得するステップと、
   前記複数の物体の各々に対して、前記多視点画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する変調パターン群を合成するステップと、
   要素ホログラム毎に前記複数の物体に対する複数の変調パターンから新たな変調パターンを再合成するステップと、を含むことを特徴とする変調パターン生成方法。
2. 前記複数の物体に対する複数の変調パターンから新たな変調パターンを再合成するステップは、前記変調パターンの画素毎に、前記複数の物体の前後関係を比較し、最も手前の物体に対する変調パターンの画素値を、前記新たな変調パターンの画素値とすることを特徴とする請求項１に記載の変調パターン生成方法。
3. 前記複数の物体に対して各々の多視点画像データを取得するステップは、前記多視点画像データの画素毎に、輝度値に加えて奥行き情報を記録するステップを含むことを特徴とする請求項１乃至２に記載の変調パターン生成方法。
4. 複数の物体から成る被写体のホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成装置であって、
   請求項１乃至３に記載の変調パターン生成方法によって前記複数の物体に対する変調パターンから物体光を変調する新たな変調パターンを再合成する再合成変調パターン生成部と、
   前記物体光を変調する新たな変調パターンに基づき物体光を変調する空間光変調器と、
   参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を含むことを特徴とするホログラフィックステレオグラム作成装置。

Images