JP2000078463A

JP2000078463A - 画像取り込み装置

Info

Publication number: JP2000078463A
Application number: JP10259362A
Authority: JP
Inventors: Hideaki Matsuda; 英明松田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1998-08-28
Filing date: 1998-08-28
Publication date: 2000-03-14

Abstract

(57)【要約】【課題】被写体の輝度差に拘わらず常に良好な画像を
得ること。【解決手段】制御装置７は、タイミング発生器７４を
介して撮像素子１、２の蓄積時間Ｔ１、Ｔ２をそれぞれ
独立に制御してこれらを最適な値に制御することができ
る。撮像素子１、２の出力は、デジタルデータ処理のた
めＡＤ変換された後、合成器６によって輝度の合成が行
われる。自動モードが選択されている場合、輝度範囲検
出部１０で検出した被写体輝度範囲に応じて、適切なダ
イナミックレンジの合成画像が得られるように、撮像素
子１、２について行う蓄積時間の比を設定する。一方、
手動モードが選択されている場合においては、広ダイナ
ミックレンジ優先モード、画質優先モード、及び中間モ
ードのうちいずれが設定されたかに応じて、撮影者の意
図する合成画像が得られるように、撮像素子１、２につ
いて行う蓄積時間の比を設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画像等をデジ
タル信号として取り込む画像取り込み装置に関し、特に
デジタルスチルカメラのダイナミックレンジ拡大や画質
改善を、撮影者の意図を反映しながら行う技術に関す
る。

【０００２】

【従来の技術】撮像素子が小型であるほど低価格のカメ
ラが実現可能であるが、画素数の増大に伴い個々の画素
サイズが小さくなり、従来から不足気味であった撮像素
子のダイナミックレンジは更に不足の傾向にある。

【０００３】その解決策として、露光量を変えた複数の
撮像結果を利用する方法が知られている。

【０００４】例えば特開平８−２２３４９１では、図２
１に示すように分光ミラーにより２つの撮像素子Ａ、Ｂ
への入射光量が異なるようになし、入射光量の少ない撮
像素子の出力を増幅して、入射光量の多い撮像素子の出
力と合成してダイナミックレンジの拡大を実現してい
る。

【０００５】また、別の方法として、図２２に示すよう
に１つの撮像素子ＣＣＤを用いて、異なる蓄積時間で連
続して画像を取り込むものも知られている。具体的な動
作について説明すると、まず長い露光時間で画像を取り
込み、一時的にメモリーに記憶する。続けて短い露光時
間で画像を取り込み、先に取り込んでメモリーに記憶し
た画像と合成して、ダイナミックレンジの拡大した合成
を合成する。（例として、論文「車搭載用のダイナミッ
クレンジ拡大方式」電子情報通信学会論文誌１９９５年
１０月号ｐｐ．１４３９）ダイナミックレンジ拡大の原理を図２３に示す。ある被
写体に対して露光量を変えた画像を２枚取り込む。この
時、高輝度部分では、露光量の大きい方の画像は飽和す
るが、露光量の小さい方の画像はまだ飽和せず、輝度が
相当高くなってから初めて飽和する。２枚それぞれの露
光量差を考慮の上、低輝度部分では露光量の大きい画像
を用い、高輝度部分では露光量の小さい画像を用いて画
像を合成する。この結果、等価的にダイナミックレンジ
の拡大された画像が得られる。

【０００６】

【発明が解決しようとする課題】被写体の輝度差はシー
ンによって異なり、１つの撮像素子のダイナミックレン
ジでカバー出きる場合（例えば４００倍程度以下）から
数千倍も異なる場合まで様々である。

【０００７】被写体の輝度差が小さい場合は、一対の撮
像素子の露光量が余り変わらない範囲で撮影した方が、
合成の境界の目立たない、良好な画像が合成できる。そ
の一方で、被写体の輝度差が大きい場合は、一対の撮像
素子の露光量を大きく変えて撮影した方がダイナミック
レンジの広い良好な画像が合成できる。

【０００８】しかし、図２１に示す従来例では、一対の
撮像素子の露光量の比が固定されているため、被写体の
輝度差に関係なくいつも固定した被写体輝度範囲の画像
が取り込まれる。そのため、被写体の輝度差の変動に対
応した良好な画像を得ることができない。

【０００９】また、図２２に示す従来例では、連続して
画像を取り込むため、移動する物体を撮影したときに高
輝度部分と低輝度部分に画像のズレが生じることにな
る。

【００１０】そこで、本発明は、被写体の輝度差に拘わ
らず常に良好な画像を得ることを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像取り込み装置は、被写体からの入射光
軸上に配置されて光路を２方向に分離する分割光学系
と、前記分割光学系により分割された一方の光路の光軸
上と他方の光路の光軸上とにそれぞれ配置される第１及
び第２撮像手段と、撮影画像のダイナミックレンジを、
装置が自動的に所定の範囲に設定する自動モードと、撮
影者が手動で所望の範囲に設定する手動モードとのどち
らかを選択して切り替え可能な第１選択手段と、被写体
の輝度範囲である被写体輝度範囲を検出する被写体輝度
範囲検出手段と、前記第１及び第２撮像手段のそれぞれ
の出力をＡＤ変換するＡＤ変換手段と、前記第１及び第
２撮像手段のＡＤ変換後の出力を合成して出力する合成
手段と、前記第１撮像手段による画像情報の蓄積時間と
前記第２撮像手段による画像情報の蓄積時間とを、前記
第１選択手段によって自動モードが選択された場合に前
記被写体輝度範囲検出手段によって検出された被写体輝
度範囲に応じて設定する制御手段とを備えることを特徴
とする。これにより、ダイナミックレンジを自動的に制
御する自動モードでは、被写体の輝度差に応じて第１及
び第２撮像手段ごとに蓄積時間を設定して適切なダイナ
ミックレンジの画像を取り込むことができ、被写体の輝
度差に応じた良好な画像を得ることができる。

【００１２】また、本発明の別の画像取り込み装置は、
被写体からの入射光軸上に配置されて光路を２方向に分
離する分割光学系と、前記分割光学系により分割された
一方の光路の光軸上と他方の光路の光軸上とにそれぞれ
配置される第１及び第２撮像手段と、撮影画像のダイナ
ミックレンジを撮影者が手動で所望の範囲に設定するた
めの調整手段と、前記第１及び第２撮像手段のそれぞれ
の出力をＡＤ変換するＡＤ変換手段と、前記第１及び第
２撮像手段のＡＤ変換後の出力を合成して出力する合成
手段と、前記第１撮像手段による画像情報の蓄積時間と
前記第２撮像手段による画像情報の蓄積時間とを、前記
調整手段によって設定された前記所望の範囲に応じて設
定する制御手段とを備えることを特徴とする。これによ
り、調整手段で設定された所望の範囲に基づいて第１及
び第２撮像手段ごとに蓄積時間を設定することができ、
所望のダイナミックレンジを有する画像を取り込むこと
ができる。

【００１３】また、好ましい態様によれば、前記第１選
択手段で前記自動モードを選択している場合、前記制御
手段が、前記第１撮像手段の蓄積時間Ｔ１と前記第２撮
像手段の蓄積時間Ｔ２との比（Ｔ１／Ｔ２）を、前記被
写体輝度範囲検出手段によって検出された被写体輝度範
囲に応じて選択することを特徴とする。

【００１４】また、好ましい態様によれば、撮影画像の
ダイナミックレンジを撮影者が手動で所望の範囲に設定
する場合は、ダイナミックレンジの広さを選択的に切り
替えることが可能な第２選択手段を備えることを特徴と
する。

【００１５】また、好ましい態様によれば、撮影画像の
ダイナミックレンジを撮影者が手動で所望の範囲に設定
する場合は、前記第２選択手段によって選択されたダイ
ナミックレンジの広さに応じて、前記第１撮像手段の蓄
積時間Ｔ１と前記第２撮像手段の蓄積時間Ｔ２との比
（Ｔ１／Ｔ２）を選択することを特徴とする。

【００１６】また、好ましい態様によれば、レリーズ動
作時における、前記第１撮像手段の蓄積時間Ｔ１と前記
第２撮像手段の蓄積時間Ｔ２とのタイミングの相対関係
を選択する第３選択手段をさらに備え、前記制御手段
は、レリーズ動作時に、前記第３選択手段によって選択
されたタイミングに従って前記第１及び第２撮像手段を
制御することを特徴とする。これにより、動きのある被
写体でブレの影響を最小とした画像、或いはブレを表現
手段として用いた画像を得ることができる。

【００１７】また、好ましい態様によれば、前記被写体
輝度範囲検出手段が、前記第１及び第２撮像素子自身を
使用することによって実現され、前記第１撮像素子の蓄
積時間Ｔ１と第２撮像素子の蓄積時間Ｔ２との比（Ｔ１
／Ｔ２）を所定値以上に保ったまま前記蓄積時間Ｔ１、
Ｔ２を変化させて被写体輝度範囲を検出することを特徴
とする。これにより、画像取り込み装置の構造を簡単か
つ経済的なものとすることができる。

【００１８】また、好ましい態様によれば、前記合成手
段が、前記第１及び第２撮像手段の出力する画像情報の
輝度が重複する輝度重複部分で、輝度に関して連続的に
変化する重み関数を用いて合成を行い、かつ、当該重み
関数が、前記第１選択手段が前記自動モードを選択して
いる場合、前記被写体輝度範囲に応じて、形若しくはパ
ラメーターが変わることを特徴とする。これにより、自
動モードで第１及び第２撮像手段の出力する画像を合成
する際の境界での不連続を少なくすることができる。

【００１９】また、好ましい態様によれば、前記合成手
段が、前記第１及び第２撮像手段の出力する画像情報の
輝度が重複する輝度重複部分で、輝度に関して連続的に
変化する重み関数を用いて合成を行い、かつ、当該重み
関数は、撮影画像のダイナミックレンジを撮影者が手動
で所望の範囲に設定する場合、設定された当該所望の範
囲の広さに応じて、形若しくはパラメーターが変わるこ
とを特徴とする。これにより、手動でダイナミックレン
ジを設定し第１及び第２撮像手段の出力する画像を合成
する際の境界での不連続を少なくすることができる。

【００２０】また、好ましい態様によれば、ストロボ
と、ストロボの使用状態を選択する第４選択手段と、画
像内でストロボの到達する領域を検出して識別するスト
ロボ到達領域識別手段とをさらに有し、前記合成手段
は、前記第１及び第２撮像手段の出力する画像情報の輝
度重複部分で、輝度に関して連続的に変化する重み関数
を用いて合成を行い、かつ、当該重み関数は、前記スト
ロボ到達領域識別手段で識別された結果に応じて、形若
しくはパラメータが変わることを特徴とする。これによ
り、ストロボ使用時にもダイナミックレンジの広い画像
を得ることができる。

【００２１】また、好ましい態様によれば、ストロボ
と、ストロボの使用状態を選択する第４選択手段とをさ
らに有し、前記制御手段が、ストロボ使用時に、自動的
に前記第１撮像素子の蓄積時間と第２撮像素子の蓄積時
間とが等しくなるように当該第１及び第２撮像素子を制
御し、前記合成手段が、前記第１及び第２撮像手段の出
力する画像情報を強度的に加算することにより合成を行
うことを特徴とする。これにより、Ｓ／Ｎ比を向上させ
て画質を良くすることができる。

【００２２】また、好ましい態様によれば、前記合成手
段が、前記制御手段を構成する中央演算処理装置による
ソフトウエア処理により合成処理を行うことを特徴とす
る。

【００２３】また、好ましい態様によれば、前記第１及
び第２撮像手段が、ともに単体でフルカラー画像を取り
込むことが可能なカラー撮像手段であることを特徴とす
る。

【００２４】また、好ましい態様によれば、前記カラー
撮像手段が、オンチップカラーフィルタを有し、画素は
相対的に同じ空間に配置されるが、オンチップカラーフ
ィルタの色は相対的にずれた空間位置に配置されること
を特徴とする。

【００２５】また、好ましい態様によれば、前記第１選
択手段が前記自動モードを選択している場合において、
前記被写体輝度範囲が所定値よりも狭い場合と広い場合
とで、前記合成手段による合成のアルゴリズムを切り替
えることを特徴とする。

【００２６】また、好ましい態様によれば、前記合成手
段が、撮影画像のダイナミックレンジを撮影者が手動で
所望の範囲に設定する場合において、前記第２選択手段
によって選択されたダイナミックレンジの広さに応じ
て、前記合成手段による合成のアルゴリズムを切り替え
ることを特徴とする。

【００２７】また、好ましい態様によれば、前記第１及
び第２撮像手段は、ともに単体でフルカラー画像を取り
込むことが可能なカラー撮像手段であり、前記第１選択
手段が前記自動モードを選択している場合において、前
記被写体輝度範囲が狭い場合は、前記合成手段が、偽色
防止と解像度向上を優先したアルゴリズムを用いて画像
合成を行い、前記被写体輝度範囲が広い場合は、前記合
成手段が、ダイナミックレンジ拡大を優先したアルゴリ
ズムを用いて画像合成を行うことを特徴とする。

【００２８】また、好ましい態様によれば、前記第１及
び第２撮像手段が、ともに単体でフルカラー画像を取り
込むことが可能なカラー撮像手段であり、撮影画像のダ
イナミックレンジを撮影者が手動で所望の範囲に設定す
る場合において、前記第２選択手段によって狭いダイナ
ミックレンジが選択されている場合は、前記合成手段
が、偽色防止と解像度向上を優先したアルゴリズムを用
いて画像合成を行い、前記第２の選択手段によって広い
ダイナミックレンジが選択されている場合は、前記合成
手段が、ダイナミックレンジ拡大を優先したアルゴリズ
ムを用いて画像合成を行うことを特徴とする。これによ
り、第１及び第２撮像手段の出力する画像を合成する際
の境界での不連続を少なくすることができる。

【００２９】

【発明の内容の説明】以下、本発明の基本的な原理につ
いて簡単に説明する。

【００３０】本発明の画像取り込み装置では、２つの撮
像手段（第１及び第２撮像素子）を使用し、かつ、それ
らの蓄積時間の比を可変にすることにより、被写体の輝
度差に応じた良好な画像や、撮影者の意図に応じた所望
の画像を得ることができる。

【００３１】また、２つの撮像素子に光を分割すること
による光量低下を防止し、かつ、第１及び第２撮像素子
の蓄積時間（露出時間）Ｔ１、Ｔ２の差が極端に大きく
ならないような範囲で、第２撮像素子への光量配分を小
さくし（例えば１／３以下）、第１撮像素子への光量配
分を大きく（例えば２／３以上）することが好ましい。
この場合、両者における光量分配の比は２倍以上にな
る。

【００３２】通常の使用状態、すなわちダイナミックレ
ンジを自動的に制御する自動モードを選択した場合、被
写体輝度範囲検出手段によって検出された被写体輝度に
応じて、自動的に最適な蓄積時間の比（Ｔ１／Ｔ２）を
カメラが選択し、輝度範囲の広い画像に対してはダイナ
ミックレンジの広い画像を、輝度範囲の狭い画像に対し
ては画質のよい画像を撮影する。

【００３３】また、上記のような自動モードでは、撮影
者の意図を反映できない場合もあるため、ダイナミック
レンジを手動で調節する手動モードも設定可能とする。
このような手動モードを選択した場合、更に、広ダイナ
ミックレンジ優先モードか、狭ダイナミックレンジモー
ド（画質優先モード）を選択できるようにする。

【００３４】広ダイナミックレンジ優先モードでは、画
像情報を適宜合成することによって常にダイナミックレ
ンジの広い画像が得られ、黒つぶれや白つぶれの少ない
画像を得ることができる。一方、画質優先モードでは、
ダイナミックレンジは単板撮像素子の場合と同等となる
が、画像情報を適宜合成することによって偽色が少なく
解像の良い画像を得ることができる。

【００３５】参考のため、以下に、第１及び第２撮像素
子から出力される画像情報を合成するためのアルゴリズ
ムの具体例について説明する。

【００３６】露光条件Ｅｉで撮像した画像の画素（ｘ，
ｙ）に対応する出力値をＬｉ（ｘ，ｙ）（ここで、ｉ＝
１，２）とすると、ダイナミックレンジが拡大された画
像Ｌｗｉｄ（ｘ，ｙ）は、次の如く求める。ｆｏｒｉ＝１ｔｏｉ＝２ｄｏｆｏｒ（ｘ，ｙ）＝（０，０）ｔｏ（Ｘ−１，Ｙ−１）ｄｏｉｆｉ＝１ｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）（Ｅ２／Ｅ１）γ ｅｌｓｅｉｆＬ２（ｘ，ｙ）＜ＬｓａｔｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ２（ｘ，ｙ）ここで、Ｅ２／Ｅ１は、第１及び第２撮像素子の露光量
比であり、γはγ補正のパラメータであり、Ｌｓａｔ
は、第２撮像素子の出力の飽和値である。

【００３７】次に、別のアルゴリズムを応用した合成方
法について説明する。上記の方法では、異なる露出条件
で撮像された領域の境界部では、不連続が生じる可能性
がある。そのため、輝度の重複領域では、輝度に対して
連続的に変化する重み関数を用いて合成する方法が採ら
れる。この場合、画像Ｌｗｉｄ（ｘ，ｙ）は、次の如く
求める。ｆｏｒｉ＝１ｔｏｉ＝２ｄｏｆｏｒ（ｘ，ｙ）＝（０，０）ｔｏ（Ｘ−１，Ｙ−１）ｄｏｉｆｉ＝１ｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）（Ｅ２／Ｅ１）γ ｅｌｓｅＬｗｉｄ（ｘ，ｙ）＝ｆ（Ｌ２（ｘ，ｙ））Ｌ２（ｘ，ｙ）（Ｅ２／Ｅ１）γ＋｛１−ｆ（Ｌ２（ｘ，ｙ））｝Ｌｗｉｄγ ここで、ｆは画像を合成するときの重み関数である。

【００３８】

【発明の実施の形態】〔第１実施形態〕図１は、第１実
施形態に係る画像取り込み装置を説明する図である。こ
の画像取り込み装置は、被写体Ｏの像を撮影するための
撮影レンズ３と、撮影レンズ３の直後に配置されて光量
を調節する絞り４と、光軸ＡＸ上に配置されて光路を２
方向に分割する分割光学系である分光ミラー５と、分光
ミラー５により分割された一方の光束側の光軸ＡＸ１上
に配置された第１撮像素子１と、分割された他方の光束
側の光軸ＡＸ２上に配置された第２撮像素子２と、各撮
像素子１、２の出力Ａ１、Ａ２をそれぞれＡＤ変換する
ＡＤコンバータ２１、２２と、ＡＤコンバータ２１、２
２からのＡＤ変換後の出力を合成して出力する合成器６
と、各撮像素子１、２や合成器６の動作を制御する制御
装置７と、制御装置７の動作状態を撮影者側で設定する
ための選択手段である切替えスイッチＳＷとを備えてい
る。

【００３９】この画像取り込み装置は、被写体Ｏの像を
撮影するための光学系とは別に、被写体Ｏの輝度範囲で
ある被写体輝度範囲を検出する輝度範囲検出部１０をさ
らに備える。この輝度範囲検出部１０は、被写体Ｏの像
を撮影レンズ３とは別に結像する第２レンズ１０ａと、
光軸ＡＸにほぼ平行な第２レンズ１０ａの光軸ＡＸ’上
に配置されて被写体Ｏの像が投影される多分割ＳＰＤ
（シリコン・フォトダイオード）１０ｂと、この多分割
ＳＰＤ１０ｂを構成する各素子に並列に接続されるｌｏ
ｇアンプ１０ｃとを含む。これは、銀塩カメラの露光量
検出用のマルチ測光センサーと同様の構造であり、検出
範囲は広く、一度の測光で被写体の輝度範囲を計測でき
る。この輝度範囲検出部１０からの出力（すなわち被写
体輝度範囲）をもとに、各撮像素子１、２における蓄積
時間（露光時間）や絞り４の絞値を決定することがで
き、合成器６のおける合成処理に必要なパラメータ等の
設定に用いることができる。

【００４０】制御装置７は、画像取り込み装置の動作を
統括的に制御するもので、輝度範囲検出部１０の出力や
切替えスイッチＳＷの設定に基づいて合成器６の動作を
制御する等の働きを有するＣＰＵ７３（中央演算処理装
置）と、このＣＰＵ７３からの指示に応じて両撮像素子
１、２による撮像に際しての蓄積時間を制御するタイミ
ング発生器７４とを備える。

【００４１】制御装置７による制御下で合成器６から出
力された合成後の画像情報である出力Ｖは、画像処理装
置８に入力されて各種信号処理や圧縮処理が施される。
画像処理装置８からの画像処理後のデータは、記憶装置
９に入力されてここに保存される。なお、制御装置７
は、合成器６のみならず、画像処理装置８及び記憶装置
９の動作も制御しており、レリーズ動作の指示に基づい
て各撮像素子１、２に適当なタイミングで必要な画像を
取り込ませるとともに、これに適当な合成等の処理を施
し、得られた画像を適宜保存する。

【００４２】図２は、切替えスイッチＳＷの具体例を説
明する図である。図示の切替えスイッチＳＷは、撮影画
像のダイナミックレンジを自動モード若しくは手動モー
ドのいずれで設定するかの選択と、手動モードにおいて
広ダイナミックレンジ優先又は画質優先のいずれで撮影
するかの選択とを行うためのものである。なお、前者の
自動モードは、調節する撮影画像のダイナミックレンジ
を自動的に所定の範囲に設定する動作モードであり、後
者の手動モードは、撮影者が手動で所望の範囲に設定す
る動作モードである。

【００４３】図２（ａ）は、ダイナミックレンジを自動
モード又は手動モードのいずれにするかの選択を行う第
１選択手段であるスイッチＳＷ１と、手動モードにおい
て撮影モードを広ダイナミックレンジ優先、画質優先、
それらの中間のいずれにするかの選択を行う第２選択手
段であるスイッチＳＷ２とを別々に設けた例である。図
２（ｂ）は、自動モード又は手動モードのいずれにする
かの選択と、手動モードにおいて撮影モードを広ダイナ
ミックレンジ優先、画質優先及びそれらの中間のいずれ
にするかの選択とをひとまとめにしたスイッチＳＷ１２
の例である。図２（ｃ）は、液晶表示器ＬＣＤの画面に
表示されるメニューを見ながら、自動モード又は手動モ
ードのいずれにするかの選択と、手動モードにおいて撮
影モードを広ダイナミックレンジ優先、画質優先及びそ
れらの中間のいずれにするかの選択とを一対のコマンド
ボタンＳＷ３で選択する例である。

【００４４】図２に示すような切替えスイッチＳＷによ
ってダイナミックレンジ自動モードが設定されている場
合、手動モードに関する切換スイッチＳＷの設定は無効
になる。自動モードが設定された状態で画像取り込み装
置がレリーズされると、図１に示す輝度範囲検出部１０
によって検出された被写体輝度範囲に応じて、自動的に
最適な蓄積時間の値と比（Ｔ１／Ｔ２）をカメラが選択
し、輝度範囲の広い画像に対してはダイナミックレンジ
の広い画像を、輝度範囲の狭い画像に対しては画質の良
い画像を撮影する。

【００４５】一方、図２に示す切替えスイッチＳＷによ
ってダイナミックレンジ手動モードが選択されている場
合、更に、撮影モードの切替えスイッチＳＷにより、広
ダイナミックレンジ優先モード、画質優先モード、又は
その中間のモードの選択が可能となる。この時、被写体
輝度範囲検出部１０は、画像取り込み装置の露出を決定
するためのＡＥセンサーとして動作する。ここで、広ダ
イナミックレンジ優先モードが選択された場合、常にダ
イナミックレンジの広い画像が得られ、黒つぶれや白つ
ぶれの少ない画像を得ることができる。一方、画質優先
モードでは、ダイナミックレンジは撮像素子単板の場合
と同等だが、画質の良い画像を得ることができる。

【００４６】以下、図１の装置の動作について説明す
る。撮影レンズ３を通った光は、分光ミラー５によって
分割されて、第１撮像素子１と第２撮像素子２とにそれ
ぞれ投影される。この時、第１撮像素子１に供給される
光量の割合ｒ１と第２撮像素子２に供給される光量の割
合ｒ２とは、ｒ１＞ｒ２なる関係を有し、分割比ｒ１／
ｒ２は、２から２０の範囲内のある固定した値とする。
さらに、分割比ｒ１／ｒ２は、４から１０の範囲内のあ
る固定した値とすることが好ましい。なお、分光ミラー
５は、例えば透過率と反射率の割合が元から異なる光学
素子としても良いし、あるいは透過率と反射率が同じハ
ーフミラーを用いて５０％と５０％で２分割し、一方に
関しＮＤフィフィルターで光量を必要量だけ減衰させて
もよい。ただし、好ましくは、ＮＤフィルタを使用せ
ず、単一の分光ミラー５とした方が、光量損失が無く効
率が良い。

【００４７】画像取り込みの指示があった場合、図示の
画像取り込み装置はレリーズ動作を行う。具体的には、
制御装置７が、絞り駆動装置（図示を省略）により絞り
４を駆動して最適な照明光量に設定する。次に、制御装
置７は、第１及び第２撮像素子１、２を動作させて投影
した画像を光電変換することによって得た画像信号を出
力する露出を行う。この際、制御装置７は、タイミング
発生器７４を介して第１及び第２撮像素子１、２の蓄積
時間Ｔ１、Ｔ２をそれぞれ独立に制御してこれらを最適
な値に制御することができる。第１及び第２撮像素子
１、２の出力は、デジタルデータ処理のためＡＤ変換さ
れた後、合成器６によって輝度の合成が行われる。この
後、画像処理装置８によって各種信号処理や圧縮が行わ
れ、記憶装置９によって画像処理後の画像データの保存
が行われる。なお、通常は撮影に先立ち合焦装置（図示
を省略）または手動により、撮影レンズ３の位置を調整
して被写体Ｏの像を第１及び第２撮像素子上に合焦させ
る動作が行われるが、説明は省略している。

【００４８】ここで、第１及び第２撮像素子１、２につ
いて行う蓄積時間の比の設定について説明する。自動モ
ードが選択されている場合においては、輝度範囲検出部
１０で検出した被写体輝度範囲（この場合、被写体Ｏの
輝度差）に応じて、適切なダイナミックレンジの合成画
像が得られるように、第１及び第２撮像素子１、２につ
いて行う蓄積時間の比を設定する。一方、手動モードが
選択されている場合においては、広ダイナミックレンジ
優先モード、画質優先モード、及び中間モードのうちい
ずれが設定されたかに応じて、撮影者の意図する合成画
像が得られるように、第１及び第２撮像素子１、２につ
いて行う蓄積時間の比を設定する。第１及び第２撮像素
子１、２における蓄積時間Ｔ１、Ｔ２の比（Ｔ１／Ｔ
２）を設定値に応じて適宜変更すると、露光量の比Ｒ
は、（ｒ１×Ｔ１）／（ｒ２×Ｔ２）で与えられる。

【００４９】図３〜図５は、露光量の比Ｒを考慮した上
で、合成器６で輝度合成を行う場合の具体的手法を説明
する図である。

【００５０】図３は、ダイナミックレンジについて自動
モードに設定されていて被写体の輝度差が大きい場合、
若しくは、ダイナミックレンジについて手動モードに設
定されていて広ダイナミックレンジ優先モードを選択し
た場合の合成を説明するグラフである。図３（ａ）は合
成前の輝度出力を示し、図３（ｂ）は合成の際に用いる
重み関数を示し、図３（ｃ）は合成後の輝度出力を示
す。なお、図３（ａ）において、横軸は被写体Ｏの輝度
を示し、縦軸は両撮像素子１、２の出力Ａ１、Ａ２を示
す。図３（ｂ）において、縦軸は両撮像素子１、２の出
力値Ａ１、Ａ２を合成するための重み関数の値を示し、
図３（ｃ）において、縦軸は合成器６の出力Ｖを示す。
この場合は、蓄積時間Ｔ１、Ｔ２の比を大きくし、２つ
の撮像素子１、２の光電変換特性の直線部分のオーバー
ラップ領域を小さくし、広い輝度範囲の情報を取り込め
るようにしている。被写体Ｏの輝度範囲が広い場合、上
記のような合成によって広いダイナミックレンジを確保
する。

【００５１】図４は、自動モードで被写体の輝度差が中
程度の場合、若しくは、手動モードで中間のモードを選
択した場合の合成を説明するグラフである。図４（ａ）
は合成前の輝度出力を示し、図４（ｂ）は合成の際に用
いる重み関数を示し、図４（ｃ）は合成後の輝度出力を
示す。この場合は、蓄積時間Ｔ１、Ｔ２の比を小さく
し、２つの撮像素子１、２による光電変換特性の直線部
分の重なりが大きくなるようにする。直線部分の重なる
領域が大きければ、合成時に不連続が生じる現象を効果
的に防ぐことができる。図示のような合成によって、広
いダイナミックレンジを確保するとともに合成のつなぎ
目で不連続が生じにくいものとすることができる（画質
とＤＲ優先）。なお、直線部分の重なる領域が大きけれ
ば、合成時に不連続が生じる現象を効果的に防ぐことが
できる。

【００５２】図５は、自動モードで被写体の輝度差が小
さい場合、若しくは、手動モードで画質優先モードを選
択した場合の合成を説明するグラフである。図５（ａ）
は合成前の輝度を示し、図５（ｂ）は合成の際の重み関
数を示し、図５（ｃ）は合成後の輝度を示す。この場合
は、蓄積時間Ｔ１、Ｔ２を等しくし、あるいはＴ１より
もＴ２の方をかえって長くする（Ｔ１＜Ｔ２）ことによ
り、露光量比Ｒ、すなわち（ｒ１×Ｔ１）対（ｒ２×Ｔ
２）の比をほぼ１に近くする、あるいは１に等しくす
る。また重み関数も単純に１とし、２つの撮像素子の出
力を単純に加算する。結果、合成による不連続は生じな
いし、ランダムノイズは打ち消し合う方向に働くので、
画質は良くなる（画質優先）。

【００５３】なお、合成器６に重み関数をＬＵＴ（ルッ
クアップテーブル）として持たせることにより、高速の
合成処理が可能になる。この場合、合成器６に輝度差や
手動モード時の設定に応じた複数のＬＵＴを用意してお
き、それらを必要に応じて切り替えて合成を行う。

【００５４】また、ＬＵＴを使わず、合成器６を構成す
る回路中に乗算回路と加算回路からなる演算回路を組み
込むこともできる。この場合、蓄積時間Ｔ１、Ｔ２の比
に応じて重み関数のパラメーターを変えることによっ
て、合成処理を行うことも可能である。

【００５５】また、特別に合成処理を行う合成回路を持
たず、代わりにＣＰＵ７３の演算機能を用いてソフトウ
エアによる処理で合成を行うことも可能である。

【００５６】また、第１及び第２撮像素子１、２として
ＣＣＤを用いる場合、第２撮像素子２（分割光学系で反
射された鏡像を撮像する撮像素子）としては、例えば鏡
像モード付き、または鏡像専用のＣＣＤを用いることが
考えられる。このようなＣＣＤを用いれば、図１に示す
ような分割ミラーを用いて片方だけが鏡像になる場合で
あっても、同じ空間位置の画素出力を同じタイミングで
読み出すことが可能である。または、フレームメモリー
を装備し、通常のＣＣＤを用いて読み出した情報を前述
のフレームメモリーに記録し、鏡像を補正する順番に情
報を読み出して画像合成する構成とすることも可能であ
る。

【００５７】〔第２実施形態〕図６は、第２実施形態に
係る画像取り込み装置の構造を説明する図である。この
画像取り込み装置は、第１実施形態の装置の変形例であ
り、同一部分には同一の符号を付して重複説明を省略す
る。本実施形態の装置は、露光タイミングのモードを切
り替えるための第３選択手段として切替えスイッチＴＳ
Ｗを備えており、ＣＰＵ７３は、切替えスイッチＴＳＷ
による設定に基づいて第１及び第２撮像素子１、２から
の画像信号を合成器６へ転送するタイミングを制御す
る。さらに、この装置は、第１及び第２撮像素子１、２
からの画像信号をそれぞれ一時的に保存する一対のフレ
ームメモリー１２１、１２２を備える。

【００５８】図７は、露光タイミング用の切替えスイッ
チＴＳＷの具体例を示す図である。図７（ａ）は、露光
タイミングのモード設定のために専用のスイッチＴＳＷ
１を設けた例であり、図７（ｂ）は、液晶表示器ＬＣＤ
の画面に表示されるメニューを見ながら、露光タイミン
グをいずれのモードに設定するかを一対のコマンドボタ
ンＴＳＷ３で選択する例である。なお、図示の例では、
露光タイミングのモードは、終了一致、開始一致、及び
ブレ最小の３通りに設定可能となっている。

【００５９】図８から図１０は、第１及び第２撮像素子
１、２の露光タイミングを説明する図である。この実施
形態では、第１及び第２撮像素子１、２による蓄積のタ
イミングを、蓄積時間Ｔ１、Ｔ２の中央時刻の差が所定
値以下になるようにする第１のモードと、蓄積開始時刻
を一致させる第２のモードと、蓄積終了時刻を一致させ
る第３のモードとの３段階で制御する。撮影者は、これ
ら３つのモードから所望のモードを選択してその意図に
沿った撮影を行うことができる。

【００６０】図８は、切替えスイッチＴＳＷによって上
記第１のモードが選択された場合に対応し、ブレを最小
とする標準の露光タイミングを説明する図である。図８
（ａ）は第１撮像素子１の露光タイミング（蓄積タイミ
ング）と信号読出タイミングとを示し、図８（ｂ）は第
２撮像素子２の露光タイミング（蓄積タイミング）と信
号読出タイミングとを示す。第１モードの露光タイミン
グでは、図からも明らかなように、第１及び第２撮像素
子１、２の蓄積時間Ｔ１、Ｔ２の中央時刻の差が所定時
間以内になるように制御する。この所定時間をいくつに
設定するかは任意であるが、およそ１／１０秒から１／
１００秒程度の範囲に設定するのが好ましい。通常、撮
影レンズ３の焦点距離が短い場合は、ブレが目立ちにく
いので、上記所定時間（中央時刻の差）は多少長くても
よいが、撮影レンズ３の焦点距離が長い場合は、ブレが
目立ちやすいので、上記所定時間は短く設定することが
好ましい。このような制御方法を行うことにより、ブレ
の目立ちにくい画像を得ることができる。

【００６１】図９及び図１０は、切替えスイッチＴＳＷ
によって上記第２もしくは第３のモードが選択された場
合に対応し、両撮像素子１、２による露出開始や露光終
了を一致させる場合を説明する図である。図９は、露光
開始を一致させる露光タイミングを説明する図であり、
図９（ａ）は第１撮像素子１の露光タイミングと信号読
出タイミングとを示し、図９（ｂ）は第２撮像素子２の
露光タイミングと信号読出タイミングとを示す。一方、
図１０は、露光終了を一致させる別の露光タイミングを
説明する図であり、図１０（ａ）は第１撮像素子１の露
光タイミングと信号読出タイミングとを示し、図１０
（ｂ）は第２撮像素子２の露光タイミングと信号読出タ
イミングとを示す。

【００６２】図９の場合は、ちょうど通常の一眼レフカ
メラでストロボを使用して後幕シンクロ撮影（シャッタ
ーが閉じる直前にストロボを発光するモード）をした時
と似た効果を生むことができ、図１０の場合は、先幕シ
ンクロ撮影（シャッターが開いた直後にストロボを発光
するモード）をした時と似た効果を生むことができる。

【００６３】ここで、図８や図９に示すように、蓄積時
間Ｔ１、Ｔ２の露光終了時刻が異なる場合（蓄積時間Ｔ
２の方が先に露光終了とする）、仮に同時に画像を出力
しようとすると、第２撮像素子２の露光が終わってか
ら、第１撮像素子１の露光が終わるまで時間間隔が空く
ことになる。第１及び第２撮像素子１、２としてＣＣＤ
を用いる場合を考えると、その間、第２撮像素子２の信
号電荷は垂直転送ＣＣＤの中で保持されることになる。
垂直転送ＣＣＤは一般にフォトダイオードに比べて暗電
流の影響が大きい。この結果、暗電流成分によるノイズ
の影響が大きくなる。そのため、この実施形態では、第
１及び第２撮像素子１、２による露光終了の時刻差が大
きいか否かに拘わらず、第２撮像素子２の露光が終わっ
た時点でここから画像信号を読み出してフレームメモリ
ー１２２に一時的に保存する。次に、第１撮像素子１の
露光が終わった時点でここから画像信号を読み出してフ
レームメモリー１２１に保存する。その後、両フレーム
メモリー１２１、１２２に記憶した第１及び第２撮像素
子１、２を同時に読み出し、読み出した画像信号を合成
器６で合成処理する。この結果、暗電流の影響を受けに
くくなる。

【００６４】〔第３実施形態〕図１１は、第３実施形態
に係る画像取り込み装置の構造を説明する図である。こ
の画像取り込み装置は、第２実施形態の装置の変形例で
あり、同一部分には同一の符号を付して重複説明を省略
する。本実施形態の装置は、内蔵ストロボＦＬ１、若し
くは脱着可能な外付けストロボＦＬ２を接続するための
コネクタＣＮＮを具備している。また、ストロボＦＬ
１、ＦＬ２の使用状態を、例えば強制発光、自動発光、
発光禁止のストロボモード中から選択する選択スイッチ
ＳＳＷも具備している。

【００６５】選択スイッチＳＳＷで強制発光モードが選
択された場合、または、自動発光モードでカメラがスト
ロボ必要と判断した場合は、ストロボが発光する。この
時、発行ストロボＦＬ１、ＦＬ２の動作タイミングは、
第２実施形態で述べた露光タイミング用の切替えスイッ
チＴＳＷと連動する。すなわち、図８〜図１０に示す露
光タイミングにおいて、第１及び第２撮像素子１、２の
両方が露光している期間中に、これらの露光に同期させ
てストロボＦＬ１、ＦＬ２を発光させる。

【００６６】ところで、ストロボＦＬ１、ＦＬ２からの
照明光（ストロボ光）が届かない領域では、第１実施形
態で説明したように、第１及び第２撮像素子１、２の露
光量比は、（ｒ１×Ｔ１／ｒ２×Ｔ２）となる。これに
対し、ストロボ光のみで露光する領域では、通常ストロ
ボの発光時間は両蓄積時間Ｔ１、Ｔ２よりも短いため、
第１及び第２撮像素子１、２の露光量比は単純に（ｒ１
／ｒ２）となる。ストロボ光と自然光の両方が露光に寄
与する領域では、露光量比は（ｒ１×Ｔ１／ｒ２×Ｔ
２）と（ｒ１／ｒ２）の中間の値となる。このため、単
純に輝度の合成をしたのでは不具合が生じ得る。

【００６７】そのため、本実施形態の装置は、画像内で
ストロボ光の到達する領域を検出して識別する識別手段
を備える。このような識別手段の実現方法として、例え
ば、本撮影の直前にストロボＦＬ１、ＦＬ２をプリ発光
させ、第１及び第２撮像素子１、２等によって画像を取
り込み、取り込んだ画面の輝度からこの画面内でストロ
ボＦＬ１、ＦＬ２の到達する領域を識別することととす
る。その後、本撮影を行う際に、前述の識別手段による
ストロボ到達領域の識別結果を参照し、かつ、実際の撮
影によって得られた画像の各点の輝度差も参照して、合
成の重みづけ関数の形やパラメータを調整しながら合成
を行う。この様にすることにより、ストロボＦＬ１、Ｆ
Ｌ２使用時にも、ダイナミックレンジの広い画像を得る
ことができる。

【００６８】別の制御方法として、ダイナミックレンジ
モードや画質モードに関わりなく、ストロボＦＬ１、Ｆ
Ｌ２の使用時は常に第１及び第２撮像素子１、２の露光
時間を等しく設定することもできる。すなわち、ストロ
ボ使用時はＴ１＝Ｔ２に固定する。このようにすると、
２つの撮像素子１、２の露光量比は、ストロボ光の届く
か否かに関わらず、常に（ｒ１／ｒ２）となる。この場
合は、ストロボ光の到達する領域を識別する前述のよう
な識別手段は不要となる。撮像した画像を合成すること
により、２つの撮像素子１、２からの画像信号のノイズ
成分は平均化されるので、Ｓ／Ｎが上がり画像が良くな
る。

【００６９】〔第４実施形態〕図１２は、第４実施形態
に係る画像取り込み装置の構造を説明する図である。

【００７０】この画像読み取り装置は、第１実施形態の
装置の変形例であり、撮影レンズ３を利用して被写体輝
度範囲を検出する輝度範囲検出部１１０を備えている。
さらに、この装置は、第１及び第２撮像素子１、２から
の画像信号をそれぞれ一時的に保存する一対のフレーム
メモリー１２１、１２２を備える。

【００７１】輝度範囲検出部１１０は、光軸ＡＸ上に配
置されて像光の一部を反射するミラー１１０ａと、ミラ
ー１１０ａで反さされた光を集光する第２レンズ１０ａ
と、第２レンズ１０ａを通過した光が投影される多分割
ＳＰＤ１０ｂと、多分割ＳＰＤ１０ｂの素子に個別に接
続される１ｏｇアンプ１０ｃとを備えている。

【００７２】この輝度範囲検出部１１０は、画像取り込
み装置の露出時間を決めるためのＡＥセンサーとしての
働きも有している。この輝度範囲検出部１１０からの素
子出力をもとに、各撮像素子１、２の露光時間や絞り４
の絞値を決定する。

【００７３】なお、ダイナミックレンジについて切替え
スイッチＳＷにて手動モードを選択している場合は、輝
度範囲検出部１１０から得られる被写体輝度範囲に関す
る情報は不要である。したがって、輝度範囲検出部１１
０から得られる情報のうち被写体輝度範囲についての情
報は用いず、輝度範囲検出部１１０を画像読み取り装置
の露出センサー（ＡＥセンサー）としてのみ用いる。

【００７４】さらに、第１及び第２撮像素子１、２は、
撮像（画像取り込み）専用として用いる必要はなく、焦
点検出（ＡＦ）手段等として活用することもできる。例
えばＣＣＤＡＦ（山登りＡＦ等）を行う場合や、液晶フ
ァインダーを表示させる場合は、両撮像素子１、２のう
ちの片方のみを動作させて制御装置７に必要な処理を行
わせることができる。どちらの撮像素子１、２を用いる
かは、その時の被写体の輝度に応じて切り替えることも
できる。この場合は、合成器６も機能させず、単に撮像
素子１、２のうち、動作しているどちらか一方の出力を
そのまま素通りさせる。この結果、消費電力を減らすこ
とが可能である。

【００７５】〔第５実施形態〕図１３は、第５実施形態
に係る画像取り込み装置を説明する図である。この画像
読み取り装置は、画像取り込み用の撮像素子（ＣＣＤ）
１、２自体を利用して輝度範囲検出を行う。

【００７６】以下、本実施形態の装置の動作を説明す
る。まず、第１及び第２撮像素子１、２により十分異な
る蓄積時間で被写体輝度検出用の撮像動作を行う（例え
ばＴ１／Ｔ２が１０倍以上）。次に、それぞれの撮像素
子１、２の出力のヒストグラムを調べ、検出された輝度
範囲の上限値及び下限値を求める。以上の動作を繰返し
て蓄積時間の最適化を行う。

【００７７】図１４（ａ）は、被写体の現実の輝度範囲
の分布を示し、図１４（ｂ）は、両撮像素子１、２で検
出可能な被写体輝度範囲の変更例を示す。図１４（ｂ）
に示す第１段階の時刻（Ａ）の状態では、現在検出され
ている輝度範囲よりも更に高輝度の領域が被写体中に存
在している。両撮像素子１、２による検出結果をフィー
ドバックするべく比Ｔ１／Ｔ２を保ったまま両蓄積時間
Ｔ１、Ｔ２の値を所定量だけ増加し、再びヒストグラム
を調べて輝度範囲の上限値及び下限値を求める（第２段
階の時刻（Ｂ）の状態）。このような動作を繰り返し、
被写体の輝度範囲（ＭＡＸ，ＭＩＮ）を検出する（第３
段階の時刻（Ｃ）の状態参照）。なお、これらの動作中
は、両撮像素子１、２を構成するＣＣＤから全画素を読
み出すのでなく、ＣＣＤの画素を間引きして読出す動作
としてもよい。レリーズ動作時には、ダイナミックレン
ジについて切替えスイッチＳＷにて自動モードを選択し
ている場合、最適な蓄積時間Ｔ１、Ｔ２を選び、切替え
スイッチＳＷにて手動モードを選択している場合、選択
された撮影モードに従って蓄積時間Ｔ１、Ｔ２を決定
し、静止画の撮影を行う。つまり、自動モードが選択さ
れている場合、検出した被写体輝度範囲（ＭＡＸ，ＭＩ
Ｎ）及び、被写体輝度のヒストグラムや、輝度の分布に
応じて、両撮像素子１、２の蓄積時間Ｔ１、Ｔ２及びそ
の比Ｔ１／Ｔ２の最適値を求め、レリーズ動作時には、
得られた最適な蓄積時間Ｔ１、Ｔ２で静止画の撮影を行
う。

【００７８】〔第６実施形態〕図１５は、第６実施形態
に係る画像取り込み装置を説明する図である。

【００７９】この画像読み取り装置は、画像取り込み用
の撮像素子として、カラー型のＣＣＤからなる撮像素子
１０１、１０２を用いている。また、両撮像素子１０
１、１０２からの画像信号を合成するため合成器２０６
は補間機能も備えている。

【００８０】２つの撮像素子（ＣＣＤ）１０１、１０２
を構成する画素は、相対的に同じ位置となっている。す
なわち、画素を１／２ピッチずらす、いわゆる画素ずら
しと呼ばれる手法は用いない。両撮像素子１０１、１０
２上に設けたオンチップ型の色フィルタ１０１ａ、１０
２ａの配置は、相対的に同じ位置とすることもできる
し、配置は相対的にずれた位置とすることもできる。

【００８１】図１６〜図１８は、色フィルタ１０１ａ、
１０２ａの配置例を概念的に説明する図である。図１６
は、ＲＧＢを全て相対的に同じ位置に配置した例であ
り、図１６（ａ）は色フィルタ１０１ａの配置を示し、
図１６（ｂ）は色フィルタ１０２ａの配置を示す。図１
７は、Ｇを同じ位置、ＲＢを相補的な位置に配置した例
であり、図１７（ａ）は色フィルタ１０１ａの配置を示
し、図１７（ｂ）は色フィルタ１０２ａの配置を示す。
図１８は、ＲＧＢを全て相対的にずれた位置に配置した
例であり、図１８（ａ）は色フィルタ１０１ａの配置を
示し、図１８（ｂ）は色フィルタ１０２ａの配置を示
す。

【００８２】なお、いずれの場合もベイヤー配列の撮像
素子１、２を組み合わせて画像取り込みを実現している
場合を示すが、別のカラーフィルタ配置や補色フィルタ
ー配置でもよい。

【００８３】例えば図１８に示すように、ベイヤー配列
の撮像素子を２つ組み合わせて色フィルタの相対的位置
をずらして使用する場合、Ｇは全画素で情報が得られ、
ＲとＢは２画素に１画素の割合で情報が得られる。

【００８４】以下、２つの撮像素子１、２から得られた
露光量の異なるカラー画像情報の合成について説明す
る。

【００８５】図１６に示すようにＲＧＢを全て相対的に
同じ位置に配置した場合の合成は、これまでの実施形態
で説明したと同様に、単純に対応画素を適当な重み関数
で重ね合わせるだけで足りる。図１７や図１８に示すよ
うにＲＧＢの少なくとも１つについて相対的位置ずれが
ある場合、合成や補間に際して工夫が必要となる。

【００８６】具体的には、まず各色ごとに空間的に隣接
する画素出力を用いてＲＧＢ各成分の階調の合成を行い
（例えば図１８に示す配置の場合、Ｒ１１とｒ２１を合
成し、Ｇ２１とｇ３１を合成し、Ｇ１２とｇ２２を合成
し、Ｂ２２とｂ３２を合成する）、このようにして得ら
れた合成後の値からＲＧＢの補間を行ってフルカラーの
画像を生成することができる（第１の方法）。或いは、
最初に両方の画像それぞれについてＲＧＢ補間を行い、
それから各画素についてＲＧＢ各成分の階調の合成を行
ってもよい（第２の方法）。或いは、最初に一方の第２
撮像素子２の各画素について、第１撮像素子１の対応す
る画素の色成分の補間を行って（例えば図１８に示す配
置の場合、第２撮像素子２のｒ’１１、ｇ’２１、ｇ’
１２、ｂ’２２を周囲の画素から補間して生成し）、補
間後の対応する位置について他方の第１撮像素子１との
間でＲＧＢ各成分の階調の合成を行い（例えば図１８に
示す配置の場合、Ｒ１１とｒ’１１を合成し、Ｇ２１と
ｇ’２１を合成し、Ｇ１２とｇ’１２を合成し、Ｂ２２
とｂ’２２を合成し）、最後に再びＲＧＢ補間をするこ
ともできる（第３の方法）。

【００８７】なお、第１番目の方法のように最初に各色
について空間的に隣接する画素を用いてＲＧＢ各色の階
調合成処理を行い、その後でＲＧＢ補間処理を行ったほ
うが計算量が少なくなる。逆に、第２番目の方法のよう
に先に補間処理を行ってから階調合成処理を行う場合
は、必要とされる計算量やメモリーは多くなるが、偽色
や解像に関しては有利になる。第３番目の方法のように
一方の画像の補間、階調の合成、合成した画像の補間を
行う方法は、これらの中間的な特徴を持つ。

【００８８】本実施形態（図１８に示す配置の場合）に
おいて、特に被写体の輝度範囲が狭い場合は、Ｔ１≒Ｔ
２あるいは、Ｔ１＜Ｔ２とすることにより、２つの撮像
素子の露光量をほぼ等しくすることが可能である。この
場合は、全画素についてＧの情報、また２画素に１画素
の割合でＲ及びＢの情報を得ることができるので、２つ
の撮像素子１、２のゲイン調整、及びＲＢの補間処理す
ることにより偽色が少なく解像の高い良好な画像を得る
ことができる。

【００８９】これらのことにより、ダイナミックレンジ
自動モードで被写体の輝度差が大きい場合、及びダイナ
ミックレンジ手動モードで広ダイナミックレンジ優先モ
ードを選択した場合は、ダイナミックレンジの広いカラ
ー画像得ることができる。一方、ダイナミックレンジ自
動モードで被写体の輝度差が小さい場合、及びダイナミ
ックレンジ手動モードで画質優先モードを選択した場合
は、被写体の輝度差が小さい場合は偽色が少なく解像の
高い良好な画像を得ることができる。

【００９０】また第３実施形態の変形例で示したよう
に、ストロボＦＬ１、ＦＬ２を設けてストロボＦＬ１、
ＦＬ２の使用時は２つの撮像素子１、２の露光時間が等
しくなるように制御を行い、画質を優先させた画像を得
ることができる。

【００９１】なお、以上では、各実施形態に関して個別
に説明したが、これらを任意に組み合わせることが可能
なことは言うまでもない。例えば、内蔵ストロボＦＬ１
を備え、４つの選択スイッチ（ダイナミックレンジモー
ド切替え用のスイッチＳＷ１、撮影モード切替え用のス
イッチＳＷ２、タイミングモード切替え用のスイッチＴ
ＳＷ、ストロボモード切替え用のスイッチＳＳＷ）を持
ち、それぞれ切り替え可能とし、被写体輝度検出部１０
として、多分割ＳＰＤ素子を備えるものを使用し、画像
の合成はＣＰＵ７３によるソフト処理とし、撮像素子
１、２はカラーＣＣＤといった組み合わせも可能であ
る。

【００９２】また上記４つの選択スイッチの有無につい
ても種種の組み合わせが可能である。例えば、ダイナミ
ックレンジについてのモードを手動選択専用とし、常に
撮影モードの切替え用スイッチで選択する構成も可能で
ある。この場合、ダイナミックレンジの自動・手動のモ
ード切替え用スイッチは不要となり、撮影モードの選択
用スイッチが残ることになる。また、別の例としては、
ダイナミックレンジについてのモードを自動選択専用と
すると、ダイナミックレンジの自動・手動のモードの切
替え用スイッチと、撮影モードの切替え用スイッチは不
要となる。この場合、タイミングモードの切替え用スイ
ッチとストロボモードの切替え用スイッチとを備える構
成となる。さらに、全てのモードを状況に応じて自動で
設定するカメラも可能である。この場合は、４つの上記
のような選択スイッチ全て不要な構成となる。

【００９３】〔第７実施形態〕図１９は、第７実施形態
に係る画像取り込み装置を示し、カメラに適用した例を
示す。

【００９４】このカメラ３００は、撮影レンズ３を取付
けた筐体３００ａ中に、絞り４と、分割光学系であるビ
ームスプリッタ５と、第１及び第２ＣＣＤ撮像素子１、
２と、画像検出合成回路３０６と、制御装置７とを備え
る。ここで、画像検出合成回路３０６は、図１１に示す
第３実施形態の画像取り込み装置も用いて説明するなら
ば、ＡＤコンバータ２１、２２と、フレームメモリー１
２１、１２２と、ＡＤ変換後の出力を合成して出力する
合成器６とを有している。さらに、筐体３００ａ背面に
は、モニター用のファインダーとして機能する液晶ディ
スプレイＬＣＤが取り付けられている。この液晶ディス
プレイＬＣＤは、カメラの動作モード（ダイナミックレ
ンジ自動モード、ダイナミックレンジ手動モード、広ダ
イナミックレンジ優先モード、画質優先モード等）を選
択するためにも用いられ、液晶ディスプレイＬＣＤに表
示されるメニューを見ながら、コマンドボタンＳＷ３に
より制御装置７の動作状態を撮影者側で設定することが
できる。

【００９５】この実施形態では、被写体輝度範囲検出や
ＡＦ検出をＣＣＤからなる第１及び第２撮像素子１、２
自体で行い、液晶ディスプレイ３１０には両撮像素子
１、２の出力を輝度合成したものを表示する。これよ
り、ワイドダイナミックレンジの画像を得ることができ
るカメラを実現できる。また、両撮像素子１、２をカラ
ーＣＣＤとした場合、偽色の少なく解像も良い画像を得
ることができるカメラを実現できる。さらに、動画と静
止画両方でワイドダイナミックレンジの画像を得ること
もできる。或いは、動画撮影時は一方の撮像素子のみの
画像情報を用いて普通のビデオカメラと同様に撮影し、
静止画の場合のみに両方の撮像素子の画像情報を用いて
輝度合成を行い、ワイドダイナミックレンジの静止画を
得る構成としてもよい。

【００９６】なお、画像合成等の手法は、第１〜第６実
施形態で説明したものを適宜組み合わせることで達成で
きる。ただし、被写体輝度範囲検出及び蓄積時間制御方
法としては、図１４等に示すものとほぼ同じ処理を行え
ば足るが、動画にも対応させるため、被写体輝度範囲の
変化に応じてフィードバック制御を行い、変化に追従さ
せる処理を行う必要がある。

【００９７】〔第８実施形態〕図２０は、第８実施形態
に係る画像取り込み装置を示し、デジタルスチルカメラ
に適用した例を示す。

【００９８】このカメラ４００は、本体４００ａと、交
換可能なカメラレンズ４００ｂとを備える。カメラレン
ズ４００ｂは、普通の一眼レフカメラ用の交換レンズで
あり、一眼レフカメラ用のレンズマウント４００ｃを介
して本体４００ａに固定されている。カメラレンズ４０
０ｂを通過した光は、メインミラー４０１を通過して、
フィルム面よりも後側の部分に相当するレンズ４０３、
４０４及び固定ミラー４０５からなる縮小用の再結像光
学系を介してビームスプリッタ５に導かれる。一方、メ
インミラー４０１で反射された光は、フォーカシングス
クリーン４１０及びペンタプリズム４１１を通過してレ
ンズ４１２を通過した後、光学ファインダ４１３に導か
れる。

【００９９】なお、メインミラー４０１の裏面側には、
サブミラー４２０を配置しており、ＡＦセンサー４２１
によって焦点検出を行う。なお、ＡＦセンサー４２１は
実施形態のものに限定されない。例えば、別の位置にＡ
Ｆ用センサーを配置してもよいし、撮像素子１、２自体
でＡＦ検出を行う構成としてもよい。

【０１００】この実施形態では、被写体輝度範囲を検出
するため、普通の一眼レフカメラと同じように、ＡＥ用
分割センサー４４０を用いている。なお、ＡＥセンサー
４４０は実施形態のものに限定されない。例えば、ＣＣ
Ｄ撮像素子１、２自体で被写体輝度範囲検出を行う構成
としてもよい。ダイナミックレンジに関する自動モー
ド、手動モード等の切り替えは、液晶ディスプレイＬＣ
Ｄに表示されるメニューを見ながらボタンで選択する。
なお、この液晶ディスプレイＬＣＤは、画像の表示が可
能なカラーマトリクス液晶ディスプレイとしても良い
し、モードの表示専用の白黒液晶ディスプレイとしても
良い。

【０１０１】この様な構成により、デジタルスチルカメ
ラ用レンズとして一眼レフカメラ用交換レンズを活用す
ることができるし、第１〜第６実施形態に例示した発明
を適用することにより、ワイドダイナミックレンジの画
像、もしくは偽色が少なく解像の良い画像を得ることが
できる。しかも、カメラ自体の操作方法は通常の一眼レ
フカメラと全く同じなので、違和感の無い操作が可能に
なる。

【０１０２】

【発明の効果】以上の説明から明らかなように、本発明
の画像取り込み装置によれば、ダイナミックレンジを自
動的に制御する自動モードでは、被写体の輝度差に応じ
て第１及び第２撮像手段ごとに蓄積時間を設定して適切
なダイナミックレンジの画像を取り込むことができ、被
写体の輝度差に応じた良好な画像を得ることができる。

【０１０３】また、本発明の別の画像取り込み装置によ
れば、調整手段で設定された所望の範囲に基づいて第１
及び第２撮像手段ごとに蓄積時間を設定することがで
き、所望のダイナミックレンジを有する画像を取り込む
ことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る画像取り込み装置
の構成を示すブロック図である。

【図２】（ａ）、（ｂ）、（ｃ）は、ダイナミックレン
ジモード及び撮影モードの切替えスイッチの例を示す図
である。

【図３】（ａ）、（ｂ）、（ｃ）は、図１の装置におけ
る被写体輝度範囲が広い場合等の合成を示す図である。

【図４】（ａ）、（ｂ）、（ｃ）は、図１の装置におけ
る被写体輝度範囲が中程度場合等の合成を示す図であ
る。

【図５】（ａ）、（ｂ）、（ｃ）は、図１の装置におけ
る被写体輝度範囲が狭い場合等の合成を示す図である。

【図６】本発明の第２実施形態に係る画像取り込み装置
の構成を示すブロック図である。

【図７】（ａ）、（ｂ）は、画像蓄積タイミングの切換
えスイッチの例を示す図である。

【図８】（ａ）、（ｂ）は、図６の装置における、露光
の中央時刻の差を所定時間内に収める場合の露光及び読
出しタイミングの説明図である。

【図９】（ａ）、（ｂ）は、図６の装置における、露光
の開始を合わせる場合の露光及び読出しタイミングの説
明図である。

【図１０】（ａ）、（ｂ）は、図６の装置における、露
光の終了を合わせる場合の露光及び読出しタイミングの
説明図である。

【図１１】本発明の第３実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１２】本発明の第４実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１３】本発明の第５実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１４】図１４の装置における輝度範囲検出動作を示
す説明図である。

【図１５】本発明の第７実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１６】図１５の装置におけるカラーフィルター配置
の一例を示す図である。

【図１７】図１５の装置におけるカラーフィルター配置
の別の例を示す図である。

【図１８】図１５の装置におけるカラーフィルター配置
のさらに別の例を示す図である。

【図１９】本発明の第８実施形態に係るデジタルスチル
カメラの構成を説明する図である。

【図２０】本発明の第９実施形態に係るデジタルスチル
カメラの構成を説明する図である。

【図２１】従来の画像取り込み装置の構成を示す図であ
る。

【図２２】従来の画像取り込み装置の別の構成を示す図
である。

【図２３】輝度の合成方法を説明するための図である。

【符号の説明】

１第１撮像素子２第２撮像素子３撮影レンズ４絞り５分光ミラー６合成器７制御装置１０輝度範囲検出部２１，２２変換器６２フレームメモリー７３ＣＰＵ８４欠陥画素補正回路１０１ａ，１０２ａ色フィルタ１１０輝度範囲検出用素部４１０フォーカシングスクリーン４１１ペンタプリズム４１３光学ファインダ４４０ＡＥ用分割センサーＬＣＤ液晶ディスプレイＡＸ光軸Ｏ被写体ＳＷ，ＳＳＷ，ＴＳＷ切替えスイッチＴ１，Ｔ２蓄積時間ｒ１，ｒ２光量分割比

Claims

【特許請求の範囲】

【請求項１】被写体からの入射光軸上に配置されて光
路を２方向に分離する分割光学系と、前記分割光学系により分割された一方の光路の光軸上と
他方の光路の光軸上とにそれぞれ配置される第１及び第
２撮像手段と、撮影画像のダイナミックレンジを、装置が自動的に所定
の範囲に設定する自動モードと、撮影者が手動で所望の
範囲に設定する手動モードとのどちらかを選択して切り
替え可能な第１選択手段と、被写体の輝度範囲である被写体輝度範囲を検出する被写
体輝度範囲検出手段と、前記第１及び第２撮像手段のそれぞれの出力をＡＤ変換
するＡＤ変換手段と、前記第１及び第２撮像手段のＡＤ変換後の出力を合成し
て出力する合成手段と、前記第１撮像手段による画像情報の蓄積時間と前記第２
撮像手段による画像情報の蓄積時間とを、前記第１選択
手段によって自動モードが選択された場合に前記被写体
輝度範囲検出手段によって検出された被写体輝度範囲に
応じて設定する制御手段と、を備えることを特徴とする
画像取り込み装置。
【請求項２】被写体からの入射光軸上に配置されて光
路を２方向に分離する分割光学系と、前記分割光学系により分割された一方の光路の光軸上と
他方の光路の光軸上とにそれぞれ配置される第１及び第
２撮像手段と、撮影画像のダイナミックレンジを撮影者が手動で所望の
範囲に設定するための調整手段と、前記第１及び第２撮像手段のそれぞれの出力をＡＤ変換
するＡＤ変換手段と、前記第１及び第２撮像手段のＡＤ変換後の出力を合成し
て出力する合成手段と、前記第１撮像手段による画像情報の蓄積時間と前記第２
撮像手段による画像情報の蓄積時間とを、前記調整手段
によって設定された前記所望の範囲に応じて設定する制
御手段と、を備えることを特徴とする画像取り込み装
置。
【請求項３】前記第１選択手段で前記自動モードを選
択している場合、前記制御手段は、前記第１撮像手段の
蓄積時間Ｔ１と前記第２撮像手段の蓄積時間Ｔ２との比
（Ｔ１／Ｔ２）を、前記被写体輝度範囲検出手段によっ
て検出された被写体輝度範囲に応じて選択することを特
徴とする請求項１記載の画像取り込み装置。
【請求項４】撮影画像のダイナミックレンジを撮影者
が手動で所望の範囲に設定する場合は、ダイナミックレ
ンジの広さを選択的に切り替えることが可能な第２選択
手段を備えることを特徴とする請求項１記載の画像取り
込み装置。
【請求項５】撮影画像のダイナミックレンジを撮影者
が手動で所望の範囲に設定する場合は、前記第２選択手
段によって選択されたダイナミックレンジの広さに応じ
て、前記第１撮像手段の蓄積時間Ｔ１と前記第２撮像手
段の蓄積時間Ｔ２との比（Ｔ１／Ｔ２）を選択すること
を特徴とする請求項４に記載の画像取り込み装置。
【請求項６】レリーズ動作時における、前記第１撮像
手段の蓄積時間Ｔ１と前記第２撮像手段の蓄積時間Ｔ２
とのタイミングの相対関係を選択する第３選択手段をさ
らに備え、前記制御手段は、レリーズ動作時に、前記第
３選択手段によって選択されたタイミングに従って前記
第１及び第２撮像手段を制御することを特徴とする請求
項１及び請求項２のいずれか記載の画像取り込み装置。
【請求項７】前記被写体輝度範囲検出手段は、前記第
１及び第２撮像素子自身を使用することによって実現さ
れ、前記第１撮像素子の蓄積時間Ｔ１と第２撮像素子の
蓄積時間Ｔ２との比（Ｔ１／Ｔ２）を所定値以上に保っ
たまま前記蓄積時間Ｔ１、Ｔ２を変化させて被写体輝度
範囲を検出することを特徴とする請求項１に記載の画像
取り込み装置。
【請求項８】前記合成手段は、前記第１及び第２撮像
手段の出力する画像情報の輝度が重複する輝度重複部分
で、輝度に関して連続的に変化する重み関数を用いて合
成を行い、かつ、当該重み関数は、前記第１選択手段が
前記自動モードを選択している場合、前記被写体輝度範
囲に応じて、形若しくはパラメーターが変わることを特
徴とする請求項１記載の画像取り込み装置。
【請求項９】前記合成手段は、前記第１及び第２撮像
手段の出力する画像情報の輝度が重複する輝度重複部分
で、輝度に関して連続的に変化する重み関数を用いて合
成を行い、かつ、当該重み関数は、撮影画像のダイナミ
ックレンジを撮影者が手動で所望の範囲に設定する場
合、設定された当該所望の範囲の広さに応じて、形若し
くはパラメーターが変わることを特徴とする請求項１及
び請求項２のいずれか記載の画像取り込み装置。
【請求項１０】ストロボと、ストロボの使用状態を選
択する第４選択手段と、画像内でストロボの到達する領
域を検出して識別するストロボ到達領域識別手段とをさ
らに有し、前記合成手段は、前記第１及び第２撮像手段
の出力する画像情報の輝度重複部分で、輝度に関して連
続的に変化する重み関数を用いて合成を行い、かつ、当
該重み関数は、前記ストロボ到達領域識別手段で識別さ
れた結果に応じて、形若しくはパラメータが変わること
を特徴とする請求項１及び請求項２のいずれか記載の画
像取り込み装置。
【請求項１１】ストロボと、ストロボの使用状態を選
択する第４選択手段とをさらに有し、前記制御手段は、
ストロボ使用時に、自動的に前記第１撮像素子の蓄積時
間と第２撮像素子の蓄積時間とが等しくなるように当該
第１及び第２撮像素子を制御し、前記合成手段は、前記
第１及び第２撮像手段の出力する画像情報を強度的に加
算することにより合成を行うことを特徴とする請求項１
及び請求項２のいずれか記載の画像取り込み装置。
【請求項１２】前記合成手段は、前記制御手段を構成
する中央演算処理装置によるソフトウエア処理により合
成処理を行うことを特徴とする請求項１及び請求項２の
いずれか記載の画像取り込み装置。
【請求項１３】前記第１及び第２撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であることを特徴とする請求項１記載の画像取り
込み装置。
【請求項１４】前記第１及び第２撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であることを特徴とする請求項２記載の画像取り
込み装置。
【請求項１５】前記カラー撮像手段は、オンチップカ
ラーフィルタを有し、画素は相対的に同じ空間に配置さ
れるが、オンチップカラーフィルタの色は相対的にずれ
た空間位置に配置されることを特徴とする請求項１３及
び請求項１４のいずれか記載の画像取り込み装置。
【請求項１６】前記第１選択手段が前記自動モードを
選択している場合において、前記被写体輝度範囲が所定
値よりも狭い場合と広い場合とで、前記合成手段による
合成のアルゴリズムを切り替えることを特徴とする請求
項１記載の画像取り込み装置。
【請求項１７】前記合成手段は、撮影画像のダイナミ
ックレンジを撮影者が手動で所望の範囲に設定する場合
において、前記第２選択手段によって選択されたダイナ
ミックレンジの広さに応じて、前記合成手段による合成
のアルゴリズムを切り替えることを特徴とする請求項４
記載の画像取り込み装置。
【請求項１８】前記第１及び第２撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であり、前記第１選択手段が前記自動モードを選
択している場合において、前記被写体輝度範囲が狭い場
合は、前記合成手段が、偽色防止と解像度向上を優先し
たアルゴリズムを用いて画像合成を行い、前記被写体輝
度範囲が広い場合は、前記合成手段が、ダイナミックレ
ンジ拡大を優先したアルゴリズムを用いて画像合成を行
うことを特徴とする請求項１記載の画像取り込み装置。
【請求項１９】前記第１及び第２撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であり、撮影画像のダイナミックレンジを撮影者
が手動で所望の範囲に設定する場合において、前記第２
選択手段によって狭いダイナミックレンジが選択されて
いる場合は、前記合成手段が、偽色防止と解像度向上を
優先したアルゴリズムを用いて画像合成を行い、前記第
２の選択手段によって広いダイナミックレンジが選択さ
れている場合は、前記合成手段が、ダイナミックレンジ
拡大を優先したアルゴリズムを用いて画像合成を行うこ
とを特徴とする請求項４記載の画像取り込み装置。