JP2016091371A - 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】複数の画像から生成される画像の画質を向上できることを目的とする。
【解決手段】第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置が行う画像処理で、前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選び、前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算し、前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成し、前記選択画像、及び前記補正後画像に基づいて出力される画像を生成することによって上記課題を解決する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体に関する。

従来、複数の撮像素子を有し、各撮像素子から得られる複数の画像を合成して３６０°等の広い範囲を表示する合成画像を生成する方法が知られている。

複数のカメラで撮像し、隣接するカメラが重複して撮像する重複域において色調を揃えるため、各カメラのゲイン（ｇａｉｎ）を補正する方法が知られている（例えば、特許文献１参照）。

しかしながら、従来の方法では、撮像される画像データに基づいて画像を補正しないため、複数の画像から生成される画像において各画像をつなぐ箇所で明るさが均一でない等の画質がよくない場合があった。

本発明の１つの側面は、複数の画像から生成される画像の画質を向上させることを目的とする。

一態様において、第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置は、前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択部と、前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算部と、前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正部と、前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成部とを含むことを特徴とする。

複数の画像から生成される画像の画質を向上させることができる。

本発明の一実施形態に係る画像処理装置の全体構成の一例を説明する全体構成図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る魚眼レンズの一例を説明する図である。 本発明の一実施形態に係る重複域の一例を説明する図である。 本発明の一実施形態に係る全天球画像の一例を説明する図である。 本発明の一実施形態に係る変換テーブルに基づく変換の一例を説明する図である。 本発明の一実施形態に係る画像処理装置による全体処理の一例を説明するフローチャートである。 本発明の一実施形態に係る第１歪補正の一例を説明する図である。 本発明の一実施形態に係るつなぎ位置の検出の一例を説明する図である。 本発明の一実施形態に係る補正を行う画像の選択、及び補正マップの生成の一例を説明するフローチャートである。 本発明の一実施形態に係る評価値の計算の一例を説明する図である。 本発明の一実施形態に係る選定された画素を用いる評価値による効果の一例を説明する図である。 本発明の一実施形態に係る補正する画像の選択の一例を説明するフローチャートである。 本発明の一実施形態に係る補正マップの生成の一例を説明するフローチャートである。 本発明の一実施形態に係る補正除外マップの生成の一例を説明する図である。 本発明の一実施形態に係る補正除外ブロックの判定の一例を説明する図である。 本発明の一実施形態に係るつなぎ位置の補正係数の計算の一例を説明する図である。 本発明の一実施形態に係るつなぎ位置以外の補正係数の計算の一例を説明する図である。 本発明の一実施形態に係る内側範囲の補正係数の計算の一例を説明する図である。 本発明の一実施形態に係る補正除外マップの適用の一例を説明する図である。 本発明の一実施形態に係る回転変換の一例を説明する図である。 本発明の一実施形態に係る第２歪補正の一例を説明する図である。 本発明の一実施形態に係る補正マップによる補正の一例を説明する図である。 本発明の一実施形態に係る出力用全天球画像の一例を説明する図である。 本発明の一実施形態に係る補正係数の制限処理の一例を説明するフローチャートである。 本発明の一実施形態に係る上限値、及び下限値の一例を説明する図である。 本発明の一実施形態に係る画像処理装置の機能構成の一例を説明する機能ブロック図である。

以下、本発明の実施の形態について説明する。

＜第一実施形態＞
＜全体構成例＞
図１は、本発明の一実施形態に係る画像処理装置の全体構成の一例を説明する全体構成図である。画像処理装置は、例えば全天球カメラ１である。以下、画像処理装置が全天球カメラ１である場合を例に説明する。全天球カメラ１は、撮像位置から３６０°等の広い範囲を撮像する装置である。

図１（Ａ）は、本発明の一実施形態に係る画像処理装置の全体構成の一例を説明する外観図である。全天球カメラ１は、レンズ１Ｈ１と、レンズ１Ｈ２と、第１撮像素子１Ｈ３と、第２撮像素子１Ｈ４と、スイッチ（ｓｗｉｔｃｈ）１Ｈ５とを有する。なお、全天球カメラ１は、３つ以上の撮像素子を有する構成等でもよい。以下、全天球カメラ１が２つの撮像素子を有する構成を例に説明する。

レンズ１Ｈ１及びレンズ１Ｈ２は、例えば１８０°以上の画角となる、いわゆる魚眼レンズ等である。

第１撮像素子１Ｈ３、及び第２撮像素子１Ｈ４は、レンズ１Ｈ１及びレンズ１Ｈ２によって入射する光を電気信号に変換し、撮像画像を撮像する。第１撮像素子１Ｈ３及び第２撮像素子１Ｈ４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。以下、第１撮像素子１Ｈ３が撮像する撮像画像を第１画像３とし、第２撮像素子１Ｈ４が撮像する撮像画像を第２画像４とする場合の例で説明する。

スイッチ１Ｈ５は、全天球カメラ１に各種処理を開始させるトリガ（ｔｒｉｇｇｅｒ）となる操作をユーザが行うための装置である。スイッチ１Ｈ５の使用方法は、後述する。

図１（Ｂ）は、本発明の一実施形態に係る重複域の一例を説明する図である。

重複域２は、例えば図示するように、第１撮像素子１Ｈ３及び第２撮像素子１Ｈ４が重複して撮像する場所である。つまり、重複域２にある被写体は、第１画像３及び第２画像４のいずれの画像にも写る被写体である。

全天球カメラ１は、スイッチ１Ｈ５が押されると、第１撮像素子１Ｈ３及び第２撮像素子１Ｈ４に露光を行わせ、第１画像３及び第２画像４を撮像させる。全天球カメラ１は、第１画像３及び第２画像４を重複域２でつなぎ合わせて画像を生成し、出力する。

なお、全体構成は、例えば全天球カメラ１がネットワークＩ／Ｆ等を有してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置と接続され、全天球カメラ１と情報処理装置とを有する画像処理システムでもよい。画像処理システムは、全天球カメラ１が撮像する画像を情報処理装置に送信し、情報処理装置が各種処理の全部又は一部を実行する構成である。

＜全天球カメラ１のハードウェア構成例＞
図２は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を説明するブロック図である。

全天球カメラ１は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）１Ｈ１０と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ６と、ストレージ（ｓｔｏｒａｇｅ）１Ｈ７とを有する。

コントローラ１Ｈ１０は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１１と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１Ｈ１２と、画像処理回路１Ｈ１３とを有する。また、コントローラ１Ｈ１０は、ＳＤＲＡＭＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１Ｈ１４と、ストレージＩ／Ｆ１Ｈ１５と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ１６とを有する。第１撮像素子１Ｈ３及び第２撮像素子１Ｈ４は、画像処理回路１Ｈ１３に接続される。また、ＳＤＲＡＭ１Ｈ６は、ＳＤＲＡＭＩ／Ｆ１Ｈ１４に接続される。さらに、ストレージ１Ｈ７は、ストレージＩ／Ｆ１Ｈ１５に接続される。スイッチ１Ｈ５は、ＣＰＵ１Ｈ１６に接続される。

コントローラ１Ｈ１０は、全天球カメラ１が行う各種処理を実行する。

ＳＲＡＭ１Ｈ１１及びＲＯＭ１Ｈ１２は、記憶装置である。また、ＳＲＡＭ１Ｈ１１は、ＣＰＵ１Ｈ１６等が使用するプログラム及び中間データを含む各種データ等を記憶する。

画像処理回路１Ｈ１３は、撮像される第１画像３及び第２画像４を入力し、全天球カメラ１が行う歪補正等の各種画像処理を行う。なお、画像処理回路１Ｈ１３は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等である。

ＳＤＲＡＭＩ／Ｆ１Ｈ１４は、ＳＤＲＡＭ１Ｈ６とデータ等を入出力するためのインタフェースである。また、ＳＤＲＡＭ１Ｈ６は、各種データを記憶する記憶装置である。なお、ＳＤＲＡＭＩ／Ｆ１Ｈ１４は、ＣＰＵ１Ｈ１６及び画像処理回路１Ｈ１３が用いる画像データ等の各種データを入出力する。

ストレージＩ／Ｆ１Ｈ１５は、ストレージ１Ｈ７とデータ等を入出力するためのインタフェースである。また、ストレージ１Ｈ７は、各種データを記憶する記憶装置である。なお、ストレージＩ／Ｆ１Ｈ１５は、例えば画像処理回路１Ｈ１３に画像処理された画像データをストレージ１Ｈ７に記憶させる。

ＣＰＵ１Ｈ１６は、全天球カメラ１が行う各種処理を実現するための演算を行う演算装置及び全天球カメラ１が有する各種ハードウェアを制御する制御装置である。

なお、全天球カメラ１は、内部又は外部に各種処理の全部又は一部を処理させる演算装置等を有するハードウェア構成でもよい。

＜魚眼レンズの一例＞
図３は、本発明の一実施形態に係る魚眼レンズの一例を説明する図である。図３（Ａ）は、本発明の一実施形態に係る魚眼レンズを用いる構成における入射角度と像高の関係の一例を示す断面図である。図３（Ｂ）は、本発明の一実施形態に係る魚眼レンズを用いる構成における入射角度と像高の関係の一例を示す平面図である。図３（Ｂ）では、黒く塗られた範囲は、光が入射しない範囲の一例が示されている。以下、レンズ１Ｈ１及びレンズ１Ｈ２が魚眼レンズである場合について、レンズ１Ｈ１を例に説明する。

レンズ１Ｈ１を用いる場合では、画像には、全天球カメラ１の位置から半球分の範囲が撮像される。図３では、レンズ１Ｈ１に入射する光の入射角度を入射角度α、画像の中心から入射角度αの光が結像する位置までの距離を像高ｈ、及び入射角度αと像高ｈとの関係を示す関数を射影関数ｆ（α）とする。射影関数ｆ（α）は、レンズ１Ｈ１の性質及び仕様等によってレンズごとに異なる。なお、レンズ１Ｈ１が等距離射影方式のレンズである場合、射影関数ｆ（α）は、像高ｈと入射角度αとが比例する関係の関数となる。以下、レンズ１Ｈ１が等距離射影方式のレンズである場合を例に説明する。

＜重複域２＞
図４は、本発明の一実施形態に係る重複域の一例を説明する図である。図４（Ａ）は、本発明の一実施形態に係る各画像における重複域の一例を説明する図である。図４では、図示する第１画像３及び第２画像４が各撮像素子によって撮像される場合を例に説明する。黒く塗られた範囲は、図３（Ｂ）と同様に光が入射しない範囲の一例が示されている範囲である。また、第１画像３及び第２画像４は、それぞれ重複域２を示す画素を有する。

図４では、重複域２は、９０°以上の入射角度αで撮像されるとする。第１画像３では、重複域２は、例えば図示するように、第１範囲３１の画素によって示される。

同様に、第２画像４では、重複域２は、例えば図示するように、第２範囲４１の画素によって示される。図４では、重複域２は、各画像において入射角度αが９０°に対応する画素の外側の範囲で撮像される。

第１画像３は、第１画素を有し、重複域２を示す第１画素は、例えば第１範囲３１の画素である。第２画像４は、第２画素を有し、重複域２を示す第２画素は、例えば第２範囲４１の画素である。

全天球カメラ１は、第１画像３及び第２画像４が有する画素のうち、第１範囲３１の画素及び第２範囲４１の画素を使用して各画像をつなぎ合わせる位置の計算等を行う。

全天球カメラ１が各画像をつなぎ合わせる位置の計算等の処理で使用する範囲は、第１範囲３１及び第２範囲４１の全範囲でなくともよい。

図４（Ｂ）は、本発明の一実施形態に係る各画像における各種処理で使用される重複域の一例を説明する図である。

全天球カメラ１は、第１範囲３１及び第２範囲４１のうち、各画像をつなぎ合わせる位置の計算等の処理で使用する範囲を限定してもよい。第１使用範囲３２は、第１範囲３１のうち、全天球カメラ１が各画像をつなぎ合わせる位置の計算等の処理で使用する範囲の一例である。第２使用範囲４２は、第２範囲４１のうち、全天球カメラ１が各種処理で使用する範囲の一例である。各画像は、像高ｈが高くなる、つまり、画像では外側の範囲に位置する画素ほど歪、及び収差等が悪化する。

したがって、第１使用範囲３２及び第２使用範囲４２は、第１範囲３１及び第２範囲４１のうち、像高ｈが低い範囲に限定されるのが好ましい。つまり、全天球カメラ１は、歪及び収差等が少ない第１使用範囲３２及び第２使用範囲４２各種処理で使用することによって、精度よく各画像をつなぎ合わせる位置の計算等の処理を実行できる。

＜全天球画像５＞
図５は、本発明の一実施形態に係る全天球画像の一例を説明する図である。

全天球カメラ１は、第１画像３及び第２画像４等をつなぎ合わせて画像を生成し、出力する。生成される画像は、例えば全天球画像５である。以下、全天球カメラ１が全天球画像５を生成し、出力する場合を例に説明する。

図５（Ａ）は、本発明の一実施形態に係る全天球画像の一例を説明する図である。

全天球画像５は、水平角度θが０°乃至３６０°及び垂直角度φが０°乃至１８０°の場所を示す画素を有する画像である。図５（Ａ）では、水平角度θは、横軸の角度座標で示される。同様に、図５（Ａ）では、垂直角度φは、縦軸の角度座標で示される。

図５（Ｂ）は、本発明の一実施形態に係る全天球画像の座標と球面上の座標との対応の一例を説明する図である。

全天球画像５が有する画素は、図５（Ｂ）のような球面で示す画像が有する画素と対応する。図５（Ｂ）で示す画像は、例えば第１画像３及び第２画像４等から生成される。図５（Ａ）及び図５（Ｂ）の各座標は、射影関数ｆ（α）によって互いに対応する。全天球画像５は、図５（Ｂ）で示す画像を変換し、各画像をつなぎ合わせることで生成される。変換は、下記（表１）に示す変換テーブル等に基づいて行われる。

図６は、本発明の一実施形態に係る変換テーブルに基づく変換の一例を説明する図である。

（表１）では、全天球画像５は、図５（Ａ）で示す画像を横に３６００ピクセル（ｐｉｘｅｌ）、かつ、縦に１８００ピクセルの画素で示す画像である。つまり、（表１）では、横１ピクセルの画素は、水平角度θの０．１°に対応し、縦１ピクセルの画素は、垂直角度φの０．１°に対応する。

（表１）で示すように、変換テーブルは、「変換後の座標」に対応する「変換前の座標」を示すデータである。「変換後の座標」は、図６（Ａ）で図示するように全天球画像５が有する各画素の座標である。「変換前の座標」は、図６（Ｂ）で図示するように第１画像３及び第２画像４が有する各画素の座標である。

変換テーブルは、射影関数ｆ（α）等による射影関係から全天球画像５と第１画像３、及び第２画像４との関係を求め、レンズ設計データ等に基づいて生成される。変換テーブルは、予め全天球カメラ１のＲＯＭ１Ｈ１２等に入力される。全天球カメラ１は、変換テーブルによる変換によって歪補正を行う。全天球カメラ１は、歪補正等を行った第１画像３及び第２画像４をつなぎ合わせて全天球画像５を生成する。

＜全体処理例＞
図７は、本発明の一実施形態に係る画像処理装置による全体処理の一例を説明するフローチャートである。

＜第１歪補正例（ステップＳ０１）＞
ステップＳ０１では、全天球カメラ１は、第１歪補正を行う。具体的には、第１歪補正は、つなぎ位置検出、及び補正係数２５の計算等に用いる計算用全天球画像５１を生成する処理である。

図８は、本発明の一実施形態に係る第１歪補正の一例を説明する図である。

第１歪補正では、全天球カメラ１は、図５で示す全天球画像５と同様に第１画像３及び第２画像４に対して収差等を補正する歪補正を行い、計算用全天球画像５１を生成する。

図８（Ａ）は、本発明の一実施形態に係る計算用全天球画像５１の一例を説明する図である。計算用全天球画像５１は、歪補正済み第１画像６と歪補正済み第２画像７とをつなぎ合わせて生成される。また、歪補正済み第１画像６は、変換テーブルに基づく歪補正を含む変換によって第１画像３から生成される。さらに、歪補正済み第２画像７は、変換テーブルに基づく歪補正を含む変換によって第２画像４から生成される。

図８（Ｂ）は、本発明の一実施形態に係る計算用全天球画像５１との第１画像３、及び第２画像４との関係の一例を説明する図である。第１歪補正では、例えば全天球カメラ１は、計算用全天球画像５１の上半分を主に歪補正済み第１画像６に基づいて生成する。同様に、第１歪補正では、全天球カメラ１は、計算用全天球画像５１の下半分を主に歪補正済み第２画像７に基づいて生成する。つまり、計算用全天球画像５１の上半分が歪補正済み第１画像６に基づいて生成される場合は、図８（Ｂ）の垂直角度φ０°乃至９０°が主に第１画像３に撮像され、図８（Ｂ）の垂直角度φ９０°乃至１８０°が主に第２画像４に撮像される場合である。

第１画像３において、重複域２が撮像される第１範囲３１は、計算用全天球画像５１では、第１重複範囲８となる。また、第２画像４において、重複域２が撮像される第２範囲４１は、計算用全天球画像５１では、第１重複範囲８となる。

次に、第１歪補正では、全天球カメラ１は、第１重複範囲８が図８（Ａ）で図示するような矩形の範囲となるように計算用全天球画像５１を生成する。なお、第１重複範囲８が矩形の範囲であると、全天球カメラ１は、後段のつなぎ位置検出及び補正係数２５の計算等における各種処理の処理負担を軽減させることができる。具体的には、第１重複範囲８が矩形の範囲であると、全天球カメラ１は、例えばつなぎ位置検出におけるパターンマッチング（ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ）処理等をラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）等で処理できる。したがって、第１重複範囲８が矩形の範囲であると、全天球カメラ１は、処理負担を軽減させることができる。

＜つなぎ位置の検出例（ステップＳ０２）＞
図７に戻り、ステップＳ０２では、全天球カメラ１は、計算用全天球画像５１に基づいてつなぎ位置を検出する。具体的には、全天球カメラ１は、パターンマッチング処理等によってつなぎ位置を検出する。

図９は、本発明の一実施形態に係るつなぎ位置の検出の一例を説明する図である。

図９（Ａ）は、本発明の一実施形態に係るテンプレート（ｔｅｍｐｌａｔｅ）画像の一例を説明する図である。テンプレート画像９は、例えば歪補正済み第２画像７の第１重複範囲８から所定のサイズとなる画素を取り出して生成される画像である。また、全天球カメラ１は、水平角度θ方向に幅Ｗ、及び垂直角度φ方向に高さＨのサイズであるテンプレート画像９を複数取り出す。

つなぎ位置の検出では、全天球カメラ１は、取り出したテンプレート画像９ごとにパターンマッチング処理等によってつなぎ位置を検出する。

図９（Ｂ）は、本発明の一実施形態に係るパターンマッチング処理の一例を説明する図である。テンプレート画像９が歪補正済み第２画像７から取り出される場合、全天球カメラ１は、パターンマッチング処理を歪補正済み第１画像６の第１重複範囲８に対して行う。また、図９（Ｂ）では、パターンマッチング処理の中心となる位置を探索位置ＳＰと示す。さらに、探索位置ＳＰの座標は、座標ＳＰ（ｋｘ、ｋｙ）とする。

パターンマッチング処理では、全天球カメラ１は、第１重複範囲８においてテンプレート画像９に対して座標ＳＰ（ｋｘ、ｋｙ）をずらしながら、それぞれ評価値を計算する。なお、評価値は、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法等で計算される。評価値は、例えばＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）法、又はＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法等で計算されてもよい。

全天球カメラ１は、計算される評価値のうち、最も評価値が高い座標の位置をつなぎ位置として検出する。

図９（Ｃ）は、本発明の一実施形態に係るテンプレート画像９の複数の取り出しの一例を説明する図である。図９（Ｃ）は、テンプレート画像９が歪補正済み第２画像７の第１重複範囲８から間隔ｓｔｅｐで等間隔に複数取り出される場合の一例である。なお、取り出されるテンプレート画像９は、同様に水平角度θ方向に幅Ｗ、及び垂直角度φ方向に高さＨのサイズである。全天球カメラ１は、パターンマッチング処理によって、例えば各テンプレート画像９の左上座標ＰＰに対応する歪補正済み第１画像６の第１重複範囲８の座標をテンプレート画像９ごとに検出する。テンプレート画像９の左上座標ＰＰは、間隔ｓｔｅｐごとに検出されるため、全天球カメラ１は、左上座標ＰＰ間にある各座標は、線形補間等によって対応する歪補正済み第１画像６の第１重複範囲８の座標を計算する。

第１撮像素子１Ｈ３及び第２撮像素子１Ｈ４の光軸の位置が異なることによって視差が発生する等のため、重複域２にある被写体は、視差によって二重に撮像される場合がある。つなぎ位置の検出によって、歪補正済み第１画像６及び歪補正済み第２画像７に撮像される被写体の位置がいずれか一方に合わせられるため、各画像間における視差が補正される。よって、全天球カメラ１は、つなぎ位置の検出で視差等を補正することができる。

＜変換テーブルの補正例（ステップＳ０３）＞
ステップＳ０３では、全天球カメラ１は、つなぎ位置の検出結果に基づいて変換テーブルを補正する。変換テーブルの補正は、つなぎ位置の検出結果を反映させる処理である。例えば、変換テーブルの補正は、ステップＳ０２のつなぎ位置の検出結果によって（表１）に示す変換テーブルの「変換前の座標」に入力されている値を補正する。

＜補正を行う画像の選択、及び補正マップの生成の例（ステップＳ０４）＞
ステップＳ０４では、全天球カメラ１は、補正を行う画像を選択し、及び補正マップ１０を生成する。具体的には、ステップＳ０４では、全天球カメラ１は、補正マップ１０に基づいて補正される画像を選択する。さらに、ステップＳ０４では、全天球カメラ１は、つなぎ位置の検出結果に基づいて、全天球画像を生成するのに用いる第１画像３、及び第２画像４の明るさ、及び色合い等の差を少なくする補正に用いる補正係数２５を計算する。補正マップ１０は、補正係数２５を各画素に対してマッピング（ｍａｐｐｉｎｇ）するデータである。

図１０は、本発明の一実施形態に係る補正を行う画像の選択、及び補正マップの生成の一例を説明するフローチャートである。図１０の処理は、ステップＳ０４の処理例である。

＜評価値の計算例（ステップＳ０４１）＞
ステップＳ０４１では、全天球カメラ１は、補正する画像を選択するための評価値を計算する。評価値は、後段の補正する画像を選択する処理で指標とする値である。

図１１は、本発明の一実施形態に係る評価値の計算の一例を説明する図である。図１１（Ａ）は、本発明の一実施形態に係る変換済み第１画像１１及び変換済み第２画像１２に係る処理の一例を説明する図である。

評価値の計算では、全天球カメラ１は、ステップＳ０３の変換テーブルの補正によって補正された変換テーブルに基づいて、第１画像３及び第２画像４を変換し、変換済み第１画像１１及び変換済み第２画像１２をそれぞれ生成する。また、変換済み第１画像１１及び変換済み第２画像１２について、全天球カメラ１は、第１重複範囲８と同様に、重複域２が撮像される第２重複範囲１３をそれぞれの画像において特定する。さらに、全天球カメラ１は、それぞれ特定される第２重複範囲１３を図の横方向に同じサイズとなるように分割し、評価ブロック１４をそれぞれ生成する。次に、全天球カメラ１は、評価ブロック１４ごとに評価値を計算する。なお、評価値は、各評価ブロック１４が有する画素の画素値を平均して計算される平均値である。

第１画像３及び第２画像４がカラー画像であり、各画素に対して複数種類の画素値がある場合、評価値は、画素値の種類ごとに計算される。例えば、画像が各画素についてＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、及びＢ（ｂｌｕｅ）の画素値を持つ場合、評価値は、Ｒ、Ｇ、及びＢについてそれぞれ計算される。

なお、評価値は、各評価ブロック１４が有する画素のうち、選定された画素の画素値を平均する平均値でもよい。

図１１（Ｂ）は、本発明の一実施形態に係る選定された画素の画素値の平均に係る処理の一例を説明する図である。選定ブロック１５は、図１１（Ａ）で示す各評価ブロック１４のうち、選定された画素を有するブロックである。また、評価値は、選定ブロック１５が有する画素の画素値を平均して計算される平均値でもよい。

図１２は、本発明の一実施形態に係る選定された画素を用いる評価値による効果の一例を説明する図である。

図１２（Ａ）は、本発明の一実施形態に係る全天球カメラ１の使用例を説明する図である。図示するように、全天球カメラ１は、ユーザが手で持って使用する場合がある。この場合、ユーザは、図示するようにユーザの指１６でスイッチ１Ｈ５を押す等の操作を行う。ゆえに、全天球カメラ１が出力する全天球画像５には、例えば操作を行うユーザの指１６等が大きく写り込む場合がある。

図１２（Ｂ）は、本発明の一実施形態に係る全天球画像５にユーザの指１６が写り込んだ場合の一例を説明する図である。以下、図示するように、全天球画像５の下部にユーザの指１６が大きく写り込む場合を例に説明する。

図１２（Ｂ）で示す状態では、ユーザの指１６は、第１画像３及び第２画像４に、ユーザの指１６がそれぞれ異なる被写体として写る場合がある。しかし、同一の被写体がそれぞれ異なる被写体として撮像され、その被写体が撮像される第２重複範囲１３が評価値の計算に用いられるのは望ましくない。そこで、ユーザの指１６が撮像される範囲は、スイッチ１Ｈ５の位置から予め想定できるので、全天球カメラ１には、ユーザの指１６等が撮像される範囲に対応する選定ブロック１５が設定される。ゆえに、全天球カメラ１は、選定ブロック１５が設定されることによって、ユーザの指１６等を排除して評価値を計算することができる。したがって、全天球カメラ１は、選定ブロック１５によって評価値を精度よく計算できる。

＜補正する画像を選択する処理例（ステップＳ０４２）＞
ステップＳ０４２では、全天球カメラ１は、評価値に基づいて補正する画像を選択する。

全天球カメラ１は、撮像する第１画像３及び第２画像４のうち、画像全体が暗い方を補正係数２５の計算等に用いる画像とする。また、選択画像１７は、例えば補正する画像を選択する処理によって選択される。

図１３は、本発明の一実施形態に係る補正する画像の選択の一例を説明するフローチャートである。なお、図１３に示す処理は、ステップＳ０４２の処理の一例である。

ステップＳ０４２１では、全天球カメラ１は、例えば評価ブロック１４ごとに計算される評価値をさらに平均し、第２重複範囲１３の平均輝度値を計算する。なお、ステップＳ０４２１の処理は、つなぎ合わせる画像ごとに行われる。なお、第１画素値は、例えば評価ブロック１４が有する第１画像３の画素が示す画素値である。また、第２画素値は、例えば評価ブロック１４が有する第２画像４の画素が示す画素値である。さらに、第１平均値は、例えばステップＳ０４２１で計算される第１画像３の平均輝度値である。ならびに、第２平均値は、例えばステップＳ０４２１で計算される第２画像４の平均輝度値である。

ステップＳ０４２２では、全天球カメラ１は、ステップＳ０４２１で計算される平均輝度値を比較する。

ステップＳ０４２３では、全天球カメラ１は、ステップＳ０４２２の比較結果に基づいてする第１画像３の平均輝度値より第２画像４の平均輝度値が大きいか否かを判断する。具体的には、第１画像３の平均輝度値より第２画像４の平均輝度値が大きい場合（ステップＳ０４２３でＹＥＳ）、全天球カメラ１は、ステップＳ０４２４に進む。また、第１画像３の平均輝度値より第２画像４の平均輝度値が大きくない場合（ステップＳ０４２３でＮＯ）、全天球カメラ１は、ステップＳ０４２５に進む。

ステップＳ０４２４では、全天球カメラ１は、補正対象を第１画像と判定する。具体的には、全天球カメラ１によって撮像される画像が第１画像３及び第２画像４である場合、ステップＳ０４２４では、選択画像１７には、第２画像４が選択され、補正前画像１８には、第１画像３が選択される。

ステップＳ０４２５では、全天球カメラ１は、補正対象を第２画像と判定する。具体的には、全天球カメラ１によって撮像される画像が第１画像３及び第２画像４である場合、ステップＳ０４２５では、選択画像１７には、第１画像３が選択され、補正前画像１８には、第２画像４が選択される。

なお、３つ以上の画像を用いる場合、図１３では、全天球カメラ１は、最も平均輝度値が小さい画像を選択画像１７として選択する。また、補正前画像１８には、選択される選択画像１７以外の他の画像がすべて選択される。

選択画素は、例えば選択画像１７が有する画素である。また、補正前画素は、例えば補正前画像１８が有する画素である。

平均輝度値が小さい画像は、フレア（ｆｌａｒｅ）等の影響が少ない画像である可能性が高い。したがって、全天球カメラ１は、平均輝度値が小さい画像を後段の処理である補正係数２５の計算の基準等となる選択画像１７に選択することによって、出力する画像の画質を向上させることができる。

＜補正マップの生成例（ステップＳ０４３）＞
ステップＳ０４３では、全天球カメラ１は、評価値に基づいて補正する画像を選択する。

全天球カメラ１は、補正前画像１８を例えば補正マップ１０に基づいて補正する。また、補正マップ１０は、補正において、補正前画像１８が有する各画素に乗じられる補正係数２５を各画素に対して割り当てたデータである。なお、補正は、補正マップ１０によって実現される場合に限られない。補正は、補正マップ１０以外の方法で記憶される補正係数２５によって実現されてもよい。また、３つ以上の画像を用いる場合、補正マップ１０は、補正前画像１８ごとに生成される。

図１４は、本発明の一実施形態に係る補正マップの生成の一例を説明するフローチャートである。図１４に示す処理は、ステップＳ０４３の処理の一例である。

＜補正前画像１８の画素値に基づく計算例（ステップＳ０４３１）＞
ステップＳ０４３１では、全天球カメラ１は、補正前画像１８が有する画素の画素値に基づいて、補正前画像１８の平均値及び分散値を計算する。なお、ステップＳ０４３１では、分散値の他に最大値が計算されてもよい。具体的には、ステップＳ０４３１では、全天球カメラ１は、補正前画像１８を水平方向及び垂直方向についてそれぞれ所定のサイズとなる分割ブロックに分解し、平均値及び分散値を分割ブロックごとに計算する。また、補正前画像１８がＲＧＢ又はＹＣｒＣｂ等各画素に対して複数種類の画素値があるカラー画像である場合、全天球カメラ１は、種類ごとに平均値及び分散値を計算する。

＜補正除外マップの生成例（ステップＳ０４３２）＞
ステップＳ０４３２では、全天球カメラ１は、補正除外ブロック２０を生成する。具体的には、ステップＳ０４３２では、全天球カメラ１は、補正前画像１８が有する画素のうち、各画素について補正するか否かの判定を行う。また、各画素に対する判定は、分割ブロック単位で行われる。補正除外ブロック２０は、各分割ブロックに対する判定結果を割り当てたデータである。

図１５は、本発明の一実施形態に係る補正除外マップの生成の一例を説明する図である。図１５（Ａ）は、本発明の一実施形態に係る補正前画像１８の一例を説明する図である。以下、図１５（Ａ）で図示する画像が補正前画像１８である場合を例に説明する。補正前画像１８は、図示するように、ステップＳ０４３１で計算される輝度値の平均値が所定の値以上であるいわゆる光源１９が被写体として写る範囲を有する場合がある。なお、光源１９は、ステップＳ０４３１で計算される分散値が所定の値以下、輝度の最大値が所定の値以上、又はＹＣｒＣｂにおいてＣｒＣｂの絶対値が所定の値以下である、いわゆる無彩色であるかによって判定されてもよい。

ステップＳ０４３２では、全天球カメラ１は、例えば光源１９が写る範囲の分割ブロックを補正しない対象とする補正除外ブロック２０であると判定する。なお、補正除外ブロック２０は、輝度が所定の値以下となる暗い領域を示す分割ブロックであってもよい。

図１５（Ｂ）は、本発明の一実施形態に係る補正前画像１８における補正除外の判定結果の一例を説明する図である。

ステップＳ０４３２では、全天球カメラ１は、判定を図示するように分割ブロックごとに行う。具体的には、ステップＳ０４３２では、全天球カメラ１は、ステップＳ０４３１で計算される値に基づいて各分割ブロックが光源１９を被写体とする分割ブロックであるか否かを判定する。図１５（Ａ）に示す補正前画像１８である場合、全天球カメラ１は、図１５（Ｂ）に示すように、光源１９に対応する分割ブロックを補正除外ブロック２０と判定する。判定条件は、例えば高輝度、低分散、及び無彩色の範囲を光源１９と判定する等である。

図１６は、本発明の一実施形態に係る補正除外ブロックの判定の一例を説明する図である。分割ブロックが補正除外ブロック２０であるか否か、即ち光源１９が被写体であるか否かは、例えば図１６の各図で示す各判定結果を組み合わせて判定される。なお、図１６では、輝度値が「０」乃至「２５５」、かつ、色差値が「−１２８」乃至「１２７」である場合を例に説明する。

図１６（Ａ）は、本発明の一実施形態に係る分割ブロックが高輝度、かつ、低分散であるか否かの判定の一例を説明する図である。図１６（Ａ）では、輝度値が「２００」の値より大きく、かつ、輝度の分散値が「５」より小さい値であると、分割ブロックが高輝度、かつ、低分散であると判定される。

図１６（Ｂ）は、本発明の一実施形態に係る分割ブロックが高輝度、かつ、無彩色であるか否かの判定の一例を説明する図である。図１６（Ｂ）では、輝度値が「２００」の値より大きく、かつ、色差値が「−１．０」乃至「１．０」の値であると、分割ブロックが高輝度、かつ、無彩色であると判定される。

図１６（Ｃ）は、本発明の一実施形態に係る分割ブロックが高輝度、かつ、輝度値の最大値が閾値より大きい値であるか否かの判定の一例を説明する図である。図１６（Ｃ）では、輝度値が「２３０」の値より大きく、かつ、輝度値の最大値が「２５０」より大きい値であると、分割ブロックが高輝度、かつ、輝度値の最大値が閾値より大きい値であると判定される。

例えば、分割ブロックが補正除外ブロック２０であるか否かの判定は、図１６（Ａ）、図１６（Ｂ）、及び図１６（Ｃ）で示される各判定結果のうち、図１６（Ｂ）で示される判定結果と組み合わせて判定する。

具体的には、分割ブロックが補正除外ブロック２０であるか否かの判定は、図１６（Ａ）の判定結果と図１６（Ｂ）の判定結果とを組み合わせて行う。即ち、分割ブロックが高輝度及び低分散であると判定され、かつ、分割ブロックが高輝度及び無彩色であると判定されると、分割ブロックが補正除外ブロック２０であると判定される。つまり、全天球カメラ１は、高輝度、低分散、及び無彩色である分割ブロックを光源と判定する。

また、分割ブロックが補正除外ブロック２０であるか否かの判定は、図１６（Ｂ）の判定結果と図１６（Ｃ）の判定結果とを組み合わせて行う。即ち、分割ブロックが高輝度及び無彩色であると判定され、かつ、分割ブロックが高輝度及び輝度値の最大値が閾値より大きい値であると判定されると、分割ブロックが補正除外ブロック２０であると判定される。つまり、全天球カメラ１は、高輝度、輝度値の最大値が閾値より大きい値、及び無彩色である分割ブロックを光源と判定する。

図１６（Ｂ）で示される判定結果と他の判定結果とを組み合わせることで、全天球カメラ１は、光源を精度よく判定できる。なお、分割ブロックが補正除外ブロック２０であるか否かの判定は、上述した以外の組み合わせで実現されてもよい。

なお、全天球カメラ１は、さらに所定の値以下の輝度値である分割ブロックを補正除外ブロック２０であると判定してもよい。暗い領域が撮像された範囲を補正除外ブロック２０であると判定することによって、全天球カメラ１は、出力する画像において暗い領域を示す範囲で色つきを少なくすることができる。

また、全天球カメラ１は、さらに色差値が所定の値以上となる分割ブロックを補正除外ブロック２０であると判定してもよい。色差値が所定の値以上となる分割ブロックを補正除外ブロック２０であると判定することによって、全天球カメラ１は、出力する画像において色ずれを少なくすることができる。

図１５（Ｃ）は、本発明の一実施形態に係る補正除外マップ２１の一例を説明する図である。

補正除外マップ２１は、図示するように、補正前画像１８の分割ブロックに対してそれぞれ図１６で示す判定結果を割り当てたデータである。補正除外マップ２１では、例えば図示するように補正する分割ブロックに対して「０」の値、及び補正を行わない分割ブロックに対して「１」の値が割り当てられる。図１５（Ｃ）では、補正除外マップ２１は、図１５（Ｂ）で補正除外ブロック２０に対して「１」の値を割り当てる。補正前画素は、例えば「１」の値が割り当てられる分割ブロックが有する画素である。

補正前画像１８は、選択画像より明るい画像であるため、光源１９等の明るい被写体を写す場合がある。また、光源１９又は色が飽和している被写体等を写す範囲は、補正が行われると、補正によって、輝度が変化又は色が変化し、灰色等の不自然な写りとなる場合がある。そこで、補正除外マップ２１によって、光源１９又は色が飽和している被写体等を補正対象から除外することによって、全天球カメラ１は、出力する画像において光源１９又は色が飽和している被写体等を自然に写すことができる。よって、全天球カメラ１は、補正除外マップ２１によって、出力する画像の画質を向上させることができる。

＜つなぎ位置の補正係数の計算例（ステップＳ０４３３）＞
図１４に戻り、ステップＳ０４３３では、全天球カメラ１は、つなぎ位置の補正係数２５を計算する。

図１７は、本発明の一実施形態に係るつなぎ位置の補正係数の計算の一例を説明する図である。第１補正係数は、例えば図１７で示す計算によって計算される値である。図１７（Ａ）は、本発明の一実施形態に係るつなぎ位置に係る画素に基づく補正係数２５の計算の一例を説明する図である。

図１７では、図１３で示す処理によって選択される選択画像１７、及び補正前画像１８に基づいて全天球画像が生成される場合を例に説明する。つまり、選択画像１７と、補正前画像１８を補正して生成する補正後画像とをつなぎ合わせて全天球画像が生成される。以下、つなぎ合わせは、選択画像１７が有するつなぎ位置画素２３と、補正前画像１８が有するつなぎ位置画素２４とをつなぎ位置とする場合を例に説明する。

図１７（Ｂ）は、本発明の一実施形態に係る選択画像１７が有するつなぎ位置画素２３の一例を説明する拡大図である。図１７（Ｂ）では、選択画像１７が有するつなぎ位置画素２３がつなぎ位置画素２３Ａ、つなぎ位置画素２３Ｂ、及びつなぎ位置画素２３Ｃを有するとする。

図１７（Ｃ）は、本発明の一実施形態に係る補正前画像１８が有するつなぎ位置画素２４の一例を説明する拡大図である。図１７（Ｃ）では、補正前画像１８が有するつなぎ位置画素２４がつなぎ位置画素２４Ａ、つなぎ位置画素２４Ｂ、及びつなぎ位置画素２４Ｃを有するとする。

以下、つなぎ位置画素２３Ａに対するつなぎ位置がつなぎ位置画素２４Ａ、つなぎ位置画素２３Ｂに対するつなぎ位置がつなぎ位置画素２４Ｂ、つなぎ位置画素２３Ｃに対するつなぎ位置がつなぎ位置画素２４Ｃである場合を例に説明する。

補正係数２５は、つなぎ位置について、選択画像１７が有するつなぎ位置画素２３が示す画素値と、補正前画像１８が有するつなぎ位置画素２４が示す画素値とが一致するように、補正前画像１８を補正するのに用いられる値である。以下、補正前画像１８のつなぎ位置画素２３Ａに対する補正係数２５を補正係数２５Ａとし、補正前画像１８のつなぎ位置画素２３Ｂに対する補正係数２５を補正係数２５Ｂとする。

図１７では、補正係数２５は、例えば下記（１）式で計算される。例えば、補正係数２５は、（１）式で示すように、基準となる選択画像１７の画素値を補正対象となる補正前画像１８の画素値で割る除算で求められる。なお、補正係数２５Ａの計算では、（１）式の「選択画像の画素値」は、つなぎ位置画素２４Ａが示す画素値である。また、補正係数２５Ａの計算では、（１）式の「補正前画像の画素値」は、つなぎ位置画素２３Ａが示す画素値である。

同様に、補正係数２５Ｂの計算では、（１）式の「選択画像の画素値」は、つなぎ位置画素２４Ｂが示す画素値である。なお、補正係数２５Ｂの計算では、（１）式の「補正前画像の画素値」は、つなぎ位置画素２４Ｂが示す画素値である。以降、つなぎ位置画素２３Ｃを含む他のつなぎ位置画素２３も同様に補正係数２５が計算される。また、選択画素値は、例えば（１）式の「選択画像の画素値」である。さらに、補正前画素値は、例えば（１）式の「補正前画像の画素値」である。

なお、補正係数２５は、（１）式で計算される値に限られない。例えば、補正係数２５は、（２）式で示すように、基準となる選択画像１７の画素値から補正対象となる補正前画像１８の画素値を引く減算で求められてもよい。全天球カメラ１が補正係数２５を電子回路で計算する場合等では、全天球カメラ１は、減算で補正係数２５を計算することによって、除算で計算する場合と比較して電子回路の回路規模を小さくできる。

計算される補正係数２５は、補正マップ１０に記憶される。

図１７（Ｄ）は、本発明の一実施形態に係る補正マップ１０の一例を説明する図である。

補正マップ１０が有する各データは、補正前画像１８が有する各画素に対応する。また、図１７（Ｄ）では、補正マップ１０のつなぎ位置対応データ２６は、補正前画像１８が有するつなぎ位置画素２３と対応する。

図１７（Ｅ）は、本発明の一実施形態に係る補正マップ１０が有するつなぎ位置対応データ２６の一例を説明する拡大図である。補正マップ１０が有するつなぎ位置対応データ２６のうち、つなぎ位置画素２３Ａの補正に用いられる補正係数２５Ａは、つなぎ位置対応データ２６Ａに記憶される。同様に、つなぎ位置画素２３Ｂの補正に用いられる補正係数２５Ｂは、つなぎ位置対応データ２６Ｂに記憶される。以降、つなぎ位置画素２３Ｃを含む他のつなぎ位置画素２３もつなぎ位置対応データ２６Ｃ以降に同様に記憶される。なお、補正後画素値は、例えば図１７で示す計算によって計算される補正係数２５をつなぎ位置画素２３が示す画素値に乗じた値である。

＜つなぎ位置以外の補正係数の計算例（ステップＳ０４３４）＞
図１４に戻り、ステップＳ０４３４では、全天球カメラ１は、つなぎ位置以外の補正係数２５を計算する。具体的には、ステップＳ０４３４では、全天球カメラ１は、ステップＳ０４３３で計算されるつなぎ位置の補正係数２５に基づいて、つなぎ位置以外の補正係数２５を計算する。第２補正係数は、例えばステップＳ０４３４の処理によって計算される係数である。

図１８は、本発明の一実施形態に係るつなぎ位置以外の補正係数の計算の一例を説明する図である。図１８で示す処理は、ステップＳ０４３４の処理の一例である。図１８は、図１７と同様に補正対象が補正前画像１８である場合を例に説明する。

図１８（Ａ）は、本発明の一実施形態に係るつなぎ位置の補正係数を計算した後の補正マップ１０の一例を説明する図である。図１７に示すステップＳ０４３３のつなぎ位置の補正係数の計算後は、補正マップ１０がつなぎ位置対応データ２６を有する。つまり、つなぎ位置対応データ２６の補正係数は、図１７（Ｅ）で示すように計算が終了している。

ステップＳ０４３４では、全天球カメラ１は、画像の中央付近を示す中心範囲２７が設定される。中心範囲２７は、第１画像３及び第２画像４の中心付近を示す範囲である。例えば、中心範囲２７は、入射角度αが所定の値以下となる範囲である。なお、中央付近の画素値は、例えば中心範囲２７に含まれる画素が示す画素値である。

ステップＳ０４３４では、全天球カメラ１は、補正係数をつなぎ位置から中心範囲２７までの範囲、つまりつなぎ位置より内側となる範囲（以下、内側範囲２８という。）と、つなぎ位置から外側となる範囲（以下、外側範囲２９という。）とに分けて計算する。

図１８（Ｂ）は、本発明の一実施形態に係る内側範囲２８の一例を説明する図である。

図１８（Ｃ）は、本発明の一実施形態に係る外側範囲２９の一例を説明する図である。

図１９は、本発明の一実施形態に係る内側範囲の補正係数の計算の一例を説明する図である。図１９に示す計算は、内側範囲２８に対する補正係数の計算方法の一例である。

図１９（Ａ）は、本発明の一実施形態に係る中心範囲２７の補正係数とつなぎ位置対応データ２６に記憶される補正係数とを設定する一例を説明する図である。

つなぎ位置対応データ２６に記憶される補正係数は、図１７で示す計算によって計算される補正係数２５Ａ（図１７）、及び補正係数２５Ｂ（図１７）等である。中心範囲２７の補正係数には、補正が行われない値、例えば「１．０」等の値が設定される。

内側範囲２８に対する補正係数は、例えばつなぎ位置対応データ２６に記憶される補正係数と、中心範囲２７の補正係数とを補間して計算される。

図１９（Ｂ）は、本発明の一実施形態に係る補間処理の方向の一例を示す図である。

矢印３０が示す方向のように、つなぎ位置画素２３の位置から中心範囲２７の位置に向かって補正係数を補間によって計算する。つまり、内側範囲２８に対する補正係数は、矢印３０が示す方向に向かうに伴って、つなぎ位置対応データ２６に記憶される補正係数から徐々に中心範囲２７の補正係数の値に近づく値である。

図１９（Ｃ）は、本発明の一実施形態に係る内側範囲２８の一例を説明する図である。

図１９（Ｄ）は、本発明の一実施形態に係る内側範囲２８の補正係数の計算の一例を説明する拡大図である。

内側範囲２８の補正係数のうち、全天球カメラ１が内側補正係数２８１を計算する場合を例に説明する。例えば、内側補正係数２８１は、加重平均等に基づいて計算される。具体的には、内側補正係数２８１は、中心範囲２７の補正係数である中心補正係数２７１（以下、単に中心補正係数２７１という。）と、つなぎ位置対応データ２６に記憶されるつなぎ補正係数２６１（以下、単につなぎ補正係数２６１という。）とに基づいて計算される。

内側補正係数２８１をｒｔ、中心補正係数２７１をｒｃ、及びつなぎ補正係数２６１をｒｏとし、中心範囲２７の画素と内側範囲２８の画素との距離をｄ１、及び内側範囲２８の画素とつなぎ位置画素２３との距離をｄ２とする。また、中心補正係数２７１は、下記（３）式等で計算される。

なお、内側補正係数２８１を計算する補間方法は、（３）式による方法に限られない。補間方法は、例えばバイリニア（ｂｉ−ｌｉｎｅａｒ）法、ニアレストネイバー（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）法、又はバイキュービック（ｂｉ−ｃｕｂｉｃ）法等による方法でもよい。

外側範囲２９の補正係数は、後段で行われるステップＳ０４３６のローパスフィルタ（ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒ）による処理が行われてもつなぎ位置対応データ２６の補正係数に変化が少ない値を入力する。外側範囲２９の補正係数には、例えば図で１つ上の画素の補正係数が入力される。

＜補正除外マップの適用例（ステップＳ０４３５）＞
図１４に戻り、ステップＳ０４３５では、全天球カメラ１は、ステップＳ０４３２で生成される補正除外マップ２１を補正マップ１０に適用する。

図２０は、本発明の一実施形態に係る補正除外マップの適用の一例を説明する図である。

図２０（Ａ）は、本発明の一実施形態に係る補正マップ１０の一例を説明する図である。

図２０では、ステップＳ０４３３及びステップＳ０４３４で計算される各補正係数２５が、補正マップ１０に図２０（Ａ）で図示するように記憶されている場合を例に説明する。図２０（Ａ）で示す補正マップ１０に記憶される各補正係数２５は、（１）式で計算される補正係数２５の一例である。また、補正係数２５が（２）式で計算される場合、補正マップ１０は、整数値が記憶される。

図２０（Ｂ）は、本発明の一実施形態に係る補正除外マップ２１の一例を説明する図である。図２０では、ステップＳ０４３２で生成される補正除外マップ２１が図２０（Ｂ）で図示するように生成される場合を例に説明する。また、図２０（Ｂ）では、補正除外マップ２１は、図１５（Ｃ）で示すステップＳ０４３２の処理で補正除外ブロック２０と判定される画素を「１」とする。すなわち、補正除外マップ２１に「１」と入力される画素は、補正を行わない画素である。

ステップＳ０４３５では、全天球カメラ１は、図２０（Ａ）で示す補正マップ１０を図２０（Ｂ）で示す補正除外マップ２１に基づいて補正する。例えば、補正除外マップ２１で「１」となっている画素に対する補正マップ１０に記憶される補正係数２５の値を「１．０」と補正する。

図２０（Ｃ）は、本発明の一実施形態に係る補正除外マップ２１に基づく補正後の補正マップ１０の一例を説明する図である。図２０（Ｃ）で示す補正マップ１０は、図２０（Ａ）で示す補正マップ１０と比較して、（ｘ３，ｙ２）、（ｘ４，ｙ２）、及び（ｘ３，ｙ３）の座標の補正係数２５が「１．０」となっている点が異なる。ステップＳ０４３５では、全天球カメラ１は、図示するように、補正除外マップ２１で示される（ｘ３，ｙ２）、（ｘ４，ｙ２）、及び（ｘ３，ｙ３）の座標の補正係数２５を「１．０」とする。補正係数２５を「１．０」とすると、各画素値は、補正では、「１．０」が各画素値に乗じられる。そのため、各画素値は、補正が行われても画素値が変化しない。なお、補正除外マップの適用は、他の方法で実現されてもよい。補正除外マップ２１によって補正しないと判定された画素は、補正マップ１０に基づく補正の各処理では、いわゆる読み飛ばし等で対象外とする方法等によって全天球カメラ１が補正を制限してもよい。

＜ローパスフィルタによる処理例（ステップＳ０４３６）＞
ステップＳ０４３６では、全天球カメラ１（図１）は、補正マップ１０（図２０）に対してローパスフィルタによる処理を行う。

ローパスフィルタによる処理を行うことによって、全天球カメラ１は、補正マップ１０に記憶される各補正係数２５（図２０）が隣接する画素の補正係数と比較して急に変化する場合を少なくできる。さらに、各補正係数２５が隣接する画素の補正係数と比較して急に変化する場合を少なくできると、全天球カメラ１は、補正係数によって補正される画素の画素値を急に変化する場合を少なくできる。

画素値が急に変化すると、出力される画像が不自然な画像となる場合がある。したがって、全天球カメラ１は、ローパスフィルタによる処理によって、出力される画像の画質を向上させることができる。

ステップＳ０４３５及びステップＳ０４３６の処理は、繰り返して行われる。また、ローパスフィルタによる処理は、外側範囲２９の補正係数２５に対しても行われるため、ステップＳ０４３５及びステップＳ０４３６の処理は、２回以下が望ましい。

＜出力画像用変換テーブルの生成の例（ステップＳ０５）＞
図７に戻り、ステップＳ０５では、全天球カメラ１（図１）は、出力画像用変換テーブルを生成する。また、出力画像用変換テーブルは、ステップＳ０３で補正された変換テーブルを回転変換することによって生成される。

図２１は、本発明の一実施形態に係る回転変換の一例を説明する図である。

例えば、ステップＳ０５では、全天球カメラ１は、図２１（Ａ）及び図２１（Ｂ）のような画像が撮像された場合でも、図２１（Ｃ）に図示するように、全天球カメラ１の姿勢の傾き等を補正した全天球画像が生成できるように回転変換等によって補正を行う。なお、ステップＳ０５の処理では、ジャイロセンサ等による計測結果が用いられてもよい。

＜第２歪補正例（ステップＳ０６）＞
図７に戻り、ステップＳ０６では、全天球カメラ１（図１）は、第２歪補正を行う。また、第２歪補正は、出力する画像である補正用全天球画像５２を生成する処理である。

図２２は、本発明の一実施形態に係る第２歪補正の一例を説明する図である。また、第２歪補正では、全天球カメラ１は、第１画像３（図４）及び第２画像４（図４）から図１３に示すステップＳ０４２の処理によって選択される選択画像と、選択画像以外の画像である補正前画像とに基づいて補正用全天球画像５２を生成する。さらに、補正用全天球画像５２は、計算用全天球画像５１と比較して、歪補正した各画像が水平方向に並ぶように配置される点が異なる。

図２２（Ｂ）は、本発明の一実施形態に係る補正用全天球画像５２との選択画像、及び補正前画像との関係の一例を説明する図である。なお、図２２（Ｂ）は、選択画像に第２撮像素子１Ｈ４で撮像される第２画像が選択され、かつ、補正前画像に第１撮像素子１Ｈ３で撮像される第１画像が選択される場合の例である。以下、選択画像に第２画像が選択され、かつ、補正前画像に第１画像が選択される場合を例に説明する。

第２歪補正では、例えば全天球カメラ１は、補正用全天球画像５２の左半分を主に選択画像を歪補正した歪補正済み選択画像３３に基づいて生成する。同様に、第２歪補正では、全天球カメラ１は、補正用全天球画像５２の右半分を主に補正前画像を歪補正した歪補正済み補正前画像３４に基づいて生成する。

選択画像、及び補正前画像は、歪補正済み選択画像３３、及び歪補正済み補正前画像３４が補正用全天球画像５２に配置された場合に天頂方向である垂直角度φ＝０°が一致するように変換される。

図８で示す計算用全天球画像５１と同様に、選択画像、及び補正前画像において重複域２が撮像される範囲は、補正用全天球画像５２では、第１重複範囲８となる。

＜補正マップによる補正例（ステップＳ０７）＞
図７に戻り、ステップＳ０７では、全天球カメラ１は、補正用全天球画像５２（図２２）を補正マップによって補正する。補正マップは、ステップＳ０６の第２歪補正によって変更される歪補正済み補正前画像に対応して回転変換及びサイズ変更等の処理が行われる。

図２３は、本発明の一実施形態に係る補正マップによる補正の一例を説明する図である。図２３では、補正マップ１０による補正を各画像がモノクロ画像である場合と、各画像がカラー画像である場合とに分けて説明する。

補正は、補正マップ１０に基づいて歪補正済み補正前画像３４に対して行われる。また、歪補正済み補正前画像３４に対して補正マップ１０による補正が行われることによって補正後画像２２が生成される。さらに、３つ以上の画像を用いる場合、補正は、複数の歪補正済み補正前画像３４に対してそれぞれ行われ、複数の補正後画像２２が生成される。

図２３（Ａ）は、本発明の一実施形態に係るモノクロ画像に対する補正マップ１０による補正の一例を説明する図である。

各画像がモノクロ画像である場合、各画像は、輝度を示す１つのプレーン（ｐｌａｎｅ）データによって構成される。また、補正は、図示するように、歪補正済み補正前画像３４が有する補正前画素３４１に対して補正マップ１０が記憶する補正係数２５を乗じて行う。つまり、補正後画像２２が有する補正後画素２２１が示す補正後画素値は、補正前画素３４１が示す補正前画素値に補正係数２５を乗じた値である。なお、補正に用いられる補正マップ１０は、歪補正済み補正前画像３４に対応して回転変換及びサイズ変更等が行われた補正マップ１０である。

なお、補正係数２５が（２）式で計算される場合、補正は、歪補正済み補正前画像３４が有する補正前画素３４１に対して補正マップ１０が記憶する補正係数２５を加えて行う。

図２３（Ｂ）は、本発明の一実施形態に係るカラー画像に対する補正マップ１０による補正の一例を説明する図である。

各画像がカラー画像である場合、各画像は、３つのプレーンデータによって構成される。

図２３（Ｂ）では、歪補正済み補正前画像３４は、第１プレーンデータ３４Ａ、第２プレーンデータ３４Ｂ、及び第３プレーンデータ３４Ｃの３つのプレーンデータから構成される。また、図２３（Ｂ）では、補正後画像２２も同様のプレーンデータから構成される。なお、各プレーンデータは、歪補正済み補正前画像３４の色空間等によって異なる。例えば、歪補正済み補正前画像３４がＲＧＢ画像である場合、第１プレーンデータ３４Ａは、各画素の「Ｒ」の値を示すデータを有する。同様に、第２プレーンデータ３４Ｂは、各画素の「Ｇ」の値を示すデータを有し、第３プレーンデータ３４Ｃは、各画素の「Ｂ」の値を示すデータを有する。また、例えば歪補正済み補正前画像３４がＹＣｒＣｂ画像である場合、第１プレーンデータ３４Ａは、各画素の「Ｙ」の値を示すデータを有する。同様に、第２プレーンデータ３４Ｂは、各画素の「Ｃｒ」の値を示すデータを有し、第３プレーンデータ３４Ｃは、各画素の「Ｃｂ」の値を示すデータを有する。

各画像がカラー画像である場合、補正マップ１０は、それぞれのプレーンに対応する補正マップデータを有する。また、第１補正マップ１０Ａは、第１プレーンデータ３４Ａ対応する。さらに、第２補正マップ１０Ｂは、第２プレーンデータ３４Ｂに対応する。そのうえ、第３補正マップ１０Ｃは、第３プレーンデータ３４Ｃに対応する。各対応する補正マップに基づいて、歪補正済み補正前画像３４のそれぞれのプレーンデータが補正される。

補正後画像２２の第１プレーンデータ２２Ａは、第１補正マップ１０Ａの補正係数２５に基づいて歪補正済み補正前画像３４の第１プレーンデータ３４Ａを補正して生成する。また、補正後画像２２の第２プレーンデータ２２Ｂは、第２補正マップ１０Ｂの補正係数２５に基づいて歪補正済み補正前画像３４の第２プレーンデータ３４Ｂを補正して生成する。さらに、補正後画像２２の第３プレーンデータ２２Ｃは、第３補正マップ１０Ｃの補正係数２５に基づいて歪補正済み補正前画像３４の第３プレーンデータ３４Ｃを補正して生成する。

なお、各プレーンデータは、同一のデータ数である場合に限られない。例えば、歪補正済み補正前画像３４がＹＣｒＣｂ画像である場合、Ｃｒ及びＣｂのデータ数は、Ｙのデータ数に対して少ない場合がある。したがって、Ｃｒ及びＣｂの各補正マップは、Ｃｒ及びＣｂのデータ数に対応して、Ｙのデータ数に対して少ないデータ数であってもよい。

＜出力画像の生成例（ステップＳ０８）＞
図７に戻り、ステップＳ０８では、全天球カメラ１は、出力する画像となる出力用全天球画像を生成する。また、出力用全天球画像は、ステップＳ０８の補正によって生成される補正後画像と、図１３に示すステップＳ０４２の処理によって選択される選択画像とに基づいて生成される。

図２４は、本発明の一実施形態に係る出力用全天球画像の一例を説明する図である。例えば、出力用全天球画像５３は、図示するように、歪補正済み選択画像３３と補正後画像２２とを配置して生成される。また、第１重複範囲８の画素は、歪補正済み選択画像３３及び補正後画像２２をブレンドして生成する。

＜補正係数の上限、及び補正係数の下限設定例＞
補正係数は、計算される際に上限となる上限値、又は下限となる下限値が設定されてもよい。

図２５は、本発明の一実施形態に係る補正係数の制限処理の一例を説明するフローチャートである。

＜補正係数の参照例（ステップＳ２５０１）＞
ステップＳ２５０１では、全天球カメラ１は、図１７及び図１８等で示す計算で計算される補正係数を参照する。

＜閾値の計算、又は閾値テーブルの参照例（ステップＳ２５０２）＞
ステップＳ２５０２では、全天球カメラ１は、閾値の計算又は閾値テーブルを参照する。ここで、閾値は、上限となる上限値及び下限となる下限値である。具体的には、閾値は、歪補正済み補正前画像３４（図２２）の画素値に対応して計算又は取得される。また、閾値テーブルは、閾値を記憶し、全天球カメラ１は、歪補正済み補正前画像３４（図２２）の画素値に対応する閾値を取得する。

補正係数が（１）式で計算される場合、全天球カメラ１は、例えば下記（４）式で上限値、及び下限値を計算する。（４）式では、上限値をＴｕｐ、下限値をＴｄｗ、画素値をｓ、画素値の許容する許容値をａとする。

補正係数が（２）式で計算される場合、全天球カメラ１は、例えば下記（５）式で上限値及び下限値を計算する。（５）式では、上限値をＴｕｐ、下限値をＴｄｗ、画素値の許容する許容値をａとする。

図２６は、本発明の一実施形態に係る上限値、及び下限値の一例を説明する図である。

図２６（Ａ）は、本発明の一実施形態に係る（４）式で計算される上限値及び下限値の一例を説明する図である。図２６（Ｂ）は、本発明の一実施形態に係る（５）式で計算される上限値及び下限値の一例を説明する図である。

＜閾値と補正係数との比較例（ステップＳ２５０３）＞
ステップＳ２５０３では、全天球カメラ１は、ステップＳ２５０１で参照する補正係数と、ステップＳ２５０２で計算される閾値又はステップＳ２５０２で閾値テーブルから参照される閾値とを比較する。また、ステップＳ２５０３では、全天球カメラ１は、補正係数が上限値Ｔｕｐより大きい又は補正係数が下限値Ｔｄｗより小さいか否かを判断する。なお、比較は、上限値Ｔｕｐ又は下限値Ｔｄｗに基づく比較のいずれか一方を行う処理でもよい。次に、補正係数が上限値Ｔｕｐより大きい又は補正係数が下限値Ｔｄｗより小さい場合（ステップＳ２５０３でＹＥＳ）、全天球カメラ１は、ステップＳ２５０４に進む。また、補正係数が上限値Ｔｕｐより大きくなく、かつ、補正係数が下限値Ｔｄｗより小さくない場合（ステップＳ２５０３でＮＯ）、全天球カメラ１は、ステップＳ２５０５に進む。

＜補正係数の修正例（ステップＳ２５０４）＞
ステップＳ２５０４では、全天球カメラ１は、ステップＳ２５０１で参照する補正係数を修正する。具体的には、ステップＳ２５０４では、全天球カメラ１は、補正を行わない値に補正係数を修正する。例えば、補正係数が（１）式で計算される場合、補正係数は、ステップＳ２５０４で「１．０」に修正される。また、補正係数が（２）式で計算される場合、補正係数は、ステップＳ２５０４で「０」に修正される。

＜全ブロックの処理が終了しているか否かの判断例（ステップＳ２５０５）＞
ステップＳ２５０５では、全天球カメラ１は、全ブロックの処理が終了しているか否かを判断する。即ち、全ブロックの処理が終了している場合（ステップＳ２５０５でＹＥＳ）、全天球カメラ１は、処理を終了する。また、全ブロックの処理が終了していない場合（ステップＳ２５０５でＮＯ）、全天球カメラ１は、ステップＳ２５０１に進む。

図２５に示す処理は、図１７で示すステップＳ０４３３の処理又は図１８で示すステップＳ０４３４の処理によって補正係数が計算される場合等に行われる。

全天球カメラ１は、図２５に示す補正係数の上限又は補正係数の下限を設定する処理によって、補正係数が極端に大きな値又は補正係数が小さな値となることを少なくできる。したがって、図２５に示す処理によって、全天球カメラ１は、出力する画像が明るくなりすぎること又は暗くなりすぎることを少なくできる。

補正係数が（１）式によって計算される場合、補正係数は、除算で計算される場合がある。そのため、補正係数は、同じ明るさ及び色ずれの差であっても、輝度値によって補正係数の変動が大きくなる場合がある。また、つなぎ位置画素２３に対応する補正係数は、図１８で示す内側範囲２８の画素に対応する補正係数の計算等に用いられる。したがって、つなぎ位置画素２３に対応する補正係数が極端に小さい値等であることは、画像全体に影響する場合がある。

全天球カメラ１は、補正係数の上限又は補正係数の下限を設定することによって、補正係数が極端に大きな値又は補正係数が極端に小さな値となることを少なくでき、出力する画像の画質を向上させることができる。

なお、各種処理の処理単位は、上述した処理単位に限られない。各種処理は、例えば１画素ごとを処理単位として行われてもよい。また、各種処理は、いくつかの画素をまとめたグループ又はブロック単位で行われてもよい。

＜機能構成＞
図２７は、本発明の一実施形態に係る画像処理装置の機能構成の一例を説明する機能ブロック図である。全天球カメラ１は、選択部１Ｆ１と、計算部１Ｆ２と、判定部１Ｆ３と、補正部１Ｆ４と、画像生成部１Ｆ５とを有する。

選択部１Ｆ１は、撮像される第１画像３及び第２画像４から選択画像１７を選ぶ。具体的には、選択部１Ｆ１は、図１３に示す処理等によって選択画像１７を選択し、選択画像１７以外の画像を補正前画像１８とする。また、画像が３つ以上入力される場合、選択部１Ｆ１は、いずれか１つの画像を選択画像１７に選び、他の画像を補正前画像１８とする。なお、選択部１Ｆ１は、画像処理回路１Ｈ１３、及びＣＰＵ１Ｈ１６等によって実現される。

計算部１Ｆ２は、補正係数の計算等を行う。具体的には、計算部１Ｆ２は、ステップＳ０４３３及びステップＳ０４３４の処理等によって補正係数を計算し、補正係数を補正マップ１０に記憶する。なお、計算部１Ｆ２は、画像処理回路１Ｈ１３、及びＣＰＵ１Ｈ１６等によって実現される。

判定部１Ｆ３は、補正前画像１８において光源１９等を判定する。具体的には、判定部１Ｆ３は、図１５等で示すように光源１９等を判定し、判定結果を補正除外マップ２１（図２０（Ｂ））に記憶する。また、判定部１Ｆ３は、図２０等で示すように補正除外マップ２１を補正マップ１０（図２０（Ａ））に適用して光源１９等を示す画素の補正を制限する。なお、判定部１Ｆ３は、画像処理回路１Ｈ１３及びＣＰＵ１Ｈ１６等によって実現される。

補正部１Ｆ４は、補正マップ１０（図２０（Ｃ））に含まれる補正係数に基づいて補正前画像１８が有する画素を補正し、補正後画像２２を生成する。なお、補正部１Ｆ４は、画像処理回路１Ｈ１３及びＣＰＵ１Ｈ１６等によって実現される。

画像生成部１Ｆ５は、選択画像１７及び補正後画像２２に基づいて出力用全天球画像５３等の出力する画像を生成し、ユーザに表示する等の出力を行う。なお、画像生成部１Ｆ５は、画像処理回路１Ｈ１３及びＣＰＵ１Ｈ１６等によって実現される。

全天球カメラ１は、選択部１Ｆ１によって第１画像３及び第２画像４からフレア等の影響が少ない選択画像１７を選ぶ。次に、全天球カメラ１は、計算部１Ｆ２によって補正前画像１８を選択画像１７と明るさが均一となる等となるように補正する補正係数２５を計算する。さらに、全天球カメラ１は、補正部１Ｆ４によって補正係数２５に基づいて補正前画像１８を補正し、補正後画像２２を生成する。また、全天球カメラ１は、画像生成部１Ｆ５によって選択画像１７及び補正後画像２２に基づいて出力用全天球画像５３等の出力する画像を生成する。

補正後画像２２は、補正係数２５に基づいて補正された画像である。そのため、補正後画像２２は、明るさが均一等となっているため、出力用全天球画像５３等では、選択画像１７及び補正後画像２２をつなぎ合わせたつなぎ目等が目立ちにくくできる。したがって、全天球カメラ１は、撮像される画像に基づいて計算される補正係数２５による補正によって、出力用全天球画像５３等の出力する画像の画質を向上できる。

また、各種処理は、各種処理の全部又は一部がＣＰＵ等を有する情報処理装置又は情報処理システムに各種処理を実行させるためのファームウェア（ｆｉｒｍｗａｒｅ）を含むプログラムによって実現されてもよい。

なお、記録媒体に本実施の形態に係る各種処理を実現するプログラムが記録され、この記録媒体に記録されるプログラムは、光学ドライブ装置等の入力装置等を介して情報処理装置にインストールされる。また、インストールされるプログラムは、情報処理装置により実行可能となる。なお、記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータが読み取り可能な記録媒体である。コンピュータが読取可能な記録媒体は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の可搬型記録媒体、及びフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等の半導体メモリ等である。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１ 全天球カメラ
３ 第１画像
４ 第２画像
５ 全天球画像
８ 第１重複範囲
１０ 補正マップ
１３ 第２重複範囲
１７ 選択画像
２１ 補正除外マップ
２２１ 補正後画素
２５、２５Ａ、２５Ｂ 補正係数
３４１ 補正前画素

特許第４７３９１２２号公報

Claims (11)

1. 第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置であって、
   前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択部と、
   前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算部と、
   前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正部と、
   前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成部と
   を含む画像処理装置。
2. 前記選択部は、前記第１画素の輝度値を平均した第１平均値と、前記第２画素の輝度値を平均した第２平均値とを計算し、前記第１平均値と前記第２平均値とを比較して値が低い方を前記選択画像に選ぶ請求項１に記載の画像処理装置。
3. 前記選択部は、前記第１画素、及び前記第２画素から、前記第１平均値、及び前記第２平均値を計算するのに用いる画素をそれぞれ選定する請求項２に記載の画像処理装置。
4. 前記補正前画素の輝度に基づいて前記補正前画素が光源を撮像した画素を含むか否かをそれぞれ判定する判定部をさらに含み、
   前記補正部は、前記光源を撮像した画素であると判定した場合、前記光源を撮像した画素であると判定された画素に対する補正を制限する請求項２又は３に記載の画像処理装置。
5. 前記計算部は、前記選択画素が示す選択画素値を前記補正前画素が示す補正前画素値で除算して第１補正係数を計算し、かつ、前記第１補正係数を前記補正前画素値に乗じて計算される前記補正後画像の補正後画素値を計算し、前記補正後画素値と、前記補正前画像の中央付近の画素値とに基づいて第２補正係数を計算し、
   前記補正部は、前記第１補正係数、又は前記第２補正係数を前記補正前画素値に乗じる補正を行う請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記計算部は、前記補正係数の上限となる値、及び前記補正係数の下限となる値の少なくともいずれか一方が設定される請求項５に記載の画像処理装置。
7. 撮像画像をそれぞれ撮像する３つ以上の撮像素子を有する画像処理装置であって、
   前記撮像素子によって重複して撮像される重複域を示す前記撮像画像がそれぞれ有する画素に基づいて、前記撮像画像のうち、いずれか１つの画像を選択画像に選ぶ選択部と、
   前記選択画像が有する選択画素と、前記選択部に選択された画像を除く複数の前記撮像画像のうち１つの撮像画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を前記複数の補正前画像についてそれぞれ計算する計算部と、
   前記補正係数に基づいて前記補正前画素を補正して複数の補正後画像を生成する補正部と、
   前記選択画像、及び前記複数の補正後画像に基づいて出力される画像を生成する画像生成部と
   を含む画像処理装置。
8. 第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置が行う画像処理方法であって、
   前記画像処理装置が、前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択手順と、
   前記画像処理装置が、前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算手順と、
   前記画像処理装置が、前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正手順と、
   前記画像処理装置が、前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成手順と
   を含む画像処理方法。
9. 第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置と情報処理装置を有する画像処理システムであって、
   前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択部と、
   前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算部と、
   前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正部と、
   前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成部と
   を含む画像処理システム。
10. 第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置に画像処理を実行させるためのプログラムであって、
    前記画像処理装置が、前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択手順と、
    前記画像処理装置が、前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算手順と、
    前記画像処理装置が、前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正手順と、
    前記画像処理装置が、前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成手順と
    を実行させるためのプログラム。
11. 第１画像を撮像する第１撮像素子、及び第２画像を撮像する第２撮像素子を有する画像処理装置に画像処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記画像処理装置が、前記第１撮像素子、及び前記第２撮像素子によって重複して撮像される重複域を示す前記第１画像の第１画素、及び前記重複域を示す前記第２画像の第２画素に基づいて前記第１画像、及び前記第２画像のいずれか一方を選択画像に選ぶ選択手順と、
    前記画像処理装置が、前記選択画像が有する選択画素と、前記第１画像、及び前記第２画像のうち、いずれか他方の画像である補正前画像が有する補正前画素とに基づいて前記補正前画素を補正する補正係数を計算する計算手順と、
    前記画像処理装置が、前記補正係数に基づいて前記補正前画素を補正して補正後画像を生成する補正手順と、
    前記画像処理装置が、前記選択画像、及び前記補正後画像に基づいて出力される画像を生成する画像生成手順と
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。