JP6994585B2

JP6994585B2 - パノラマ画像の色補正方法及び電子設備

Info

Publication number: JP6994585B2
Application number: JP2020552039A
Authority: JP
Inventors: 程龍尹
Original assignee: Arashi Vision Inc
Current assignee: Arashi Vision Inc
Priority date: 2018-03-30
Filing date: 2019-03-06
Publication date: 2022-01-14
Anticipated expiration: 2039-03-06
Also published as: US11948228B2; US20210166440A1; EP3779861A1; JP2021518617A; EP3779861B1; WO2019184667A1; CN108550106A; CN108550106B; EP3779861A4

Description

本発明は、パノラマ画像の分野に関し、特に、パノラマ画像の色補正方法及び電子設備に関する。

科学技術の発展に伴って、パノラマ画像のアプリケーションはますます普及し、ユーザーは没入感を体験できるようになっている。通常、パノラマ画像は二枚又はそれ以上の写真を結合して作成したものであるが、環境の影響により、写真同士の輝度及び色彩などに差異が存在する恐れがある。したがって、結合後のパノラマ画像は、結合部の跡が非常に明らかであり、不自然に見える。このため、色補正は、パノラマ画像の結合過程における鍵である。

本発明の課題は、結合後のパノラマ画像の遷移がより滑らかで、見た目がより自然に見えるパノラマ画像の色補正方法、コンピューター可読記憶媒体及び電子設備を提供することである。

本発明によるパノラマ画像の色補正方法は、第一魚眼画像及び第二魚眼画像を取得するステップ、前記第一魚眼画像を展開してRGB色空間の第一画像を取得し、前記第二魚眼画像を展開してRGB色空間の第二画像を取得するステップと、前記第一画像と前記第二画像の重複領域を計算するステップと、前記第一画像と前記第二画像をRGB色空間からLab色空間に変換するステップ、Lab色空間において、第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、前記第一画像と前記第二画像との輝度差が縮小するように、前記第一画像及び前記第二画像の輝度を調整するステップ、ここで、前記第一重複領域は、前記第一画像における前記第一画像と前記第二画像の重複領域であり、前記第二重複領域は、前記第二画像における前記第二画像と前記第一画像の重複領域であり、輝度調整後の前記第一画像及び輝度調整後の前記第二画像をLab色空間からRGB色空間に変換するステップ、RGB色空間において、前記第一重複領域の色平均値及び前記第二重複領域の色平均値に基づいて、前記第一画像を参照しながら前記第二画像の色値を調整するか、前記第二画像を参照しながら前記第一画像の色値を調整するステップを含む。

また、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ画像の色補正方法を実現する。

本発明による電子設備は、一つ又は複数の処理装置、記憶装置、及び一つ又は複数のコンピュータープログラムを含み、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ画像の色補正方法を実現する。

本発明では、第一魚眼画像及び第二魚眼画像を取得し；第一魚眼画像を展開してRGB色空間の第一画像を取得し、第二魚眼画像を展開してRGB色空間の第二画像を取得し；第一画像と第二画像の重複領域を計算し；第一画像と第二画像をRGB色空間からLab色空間に変換し；Lab色空間において、第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、第一画像及び第二画像の輝度を調整して第一画像と第二画像との輝度差を縮小し；輝度調整後の第一画像及び輝度調整後の第二画像を、Lab色空間からRGB色空間に変換し；RGB色空間において、第一重複領域の色平均値及び第二重複領域の色平均値に基づいて、第一画像を参照しながら第二画像の色値を調整するか、第二画像を参照しながら第一画像の色値を調整する。

したがって、本発明によれば、まず輝度調整をしてから色を調整することにより、画像の結合過程で生じる痕跡を減少させて、結合後の画像がより自然に見えるようになる。

図1は、本発明の第一実施形態によるパノラマ画像の色補正方法のフローチャートである。図2は、本発明の第三実施形態による電子設備の構造模式図である。

本発明の目的、技術的手段及び発明の効果をさらに明らかにするために、以下、図面及び実施形態を参照しながら、本発明をさらに詳細に説明する。ここに記載される具体的な実施形態は本発明を説明するためであって、本発明を限定するためではないことを理解されたい。
以下、具体的な実施形態に基づいて、本発明の技術的手段を説明する。

＜第一実施形態＞
図１に示すように、本発明の第一実施形態によるパノラマ画像の色補正方法は下記ステップを含む。ここで、実質的に同じ効果が得られる場合、本発明によるパノラマ画像の色補正方法は、図１に示すフローの順番に限定されないことに留意されたい。

S101：第一魚眼画像及び第二魚眼画像を取得する。
具体的には、魚眼カメラ又は魚眼レンズを備えた電子設備を用いて、第一魚眼画像及び第二魚眼画像を取得する。

S102：第一魚眼画像を展開してRGB色空間の第一画像を取得し、第二魚眼画像を展開してRGB色空間の第二画像を取得する。
具体的には、内部基準、外部基準及び変形パラメーターに基づいて、第一魚眼画像及び第二魚眼画像をそれぞれ展開するが、ここでは更なる限定はしない。

S103：第一画像と第二画像の重複領域を計算する。
具体的には、特徴マッチング方法又は関連性マッチング方法により、第一画像と第二画像の重複領域を計算するが、ここでは更なる限定はしない。

S104：第一画像と第二画像をRGB色空間からLab色空間に変換する。
RGBは、赤（R）、緑（G）、青（B）の三つの色チャンネルの変更及びそれらの重ね合わせによって様々な色彩を取得する。RGBは赤、緑、青の三つのチャンネルの色を表す。この基準には人間の視力で感知可能なほぼすべての色彩が含まれ、現在一番広く運用されている色システムの一つである。
Labは、設備と関係ない色モデルであり、生理的特徴に基づいた色モデルである。Labは三つの要素で構成されるが、その一つの要素は輝度（L）であり、a及びbは、二つの色チャンネルで、aには、濃い緑色（低輝度値）から灰色（中輝度値）まで、更にピンク（高輝度値）までの色が含まれ、ｂには、ライトブルー（低輝度値）から灰色（中輝度値）まで、更に黄色（高輝度値）までの色が含まれる。

具体的には、XYZ色空間を介して、RGB色空間をXYZ色空間に変換し、その後、XYZ色空間をLab色空間に変換するが、ここでは詳細な限定はしない。

S105：Lab色空間において、第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、第一画像及び第二画像の輝度を調整することにより、第一画像と第二画像との輝度差を縮小する。
ここで、第一重複領域は、第一画像における第二画像の重複領域であり、第二重複領域は、第二画像における第一画像の重複領域である。なお、説明すべきことは、重複領域は、第一画像と第二画像とのすべての重複領域であっても、一部の重複領域であってもいいことである。例えば、特定の特徴物の重複領域であるが、ここでは詳細な限定はしない。

本発明の第一実施形態では、下記式により第一画像と第二画像の輝度を調整して、第一画像と第二画像との輝度差を縮小する。もちろん、下記式に限らない。

S106：輝度調整後の第一画像及び輝度調整後の第二画像をLab色空間からRGB色空間に変換する。

S107：RGB色空間において、第一重複領域の色平均値及び第二重複領域の色平均値に基づいて、第一画像を参照しながら第二画像の色値を調整するか、第二画像を参照しながら第一画像の色値を調整する。
ここで、色平均値とは、R、G、Bの各チャンネルの平均値を指す。

本発明の第一実施形態では、下記式により、第一画像を参照しながら第二画像の色値を調整する。もちろん、下記式に限らない。

もちろん、上記の式に対して適切な変形を行うことで、第二画像を参照しながら第一画像の色値を調整することができるが、ここでは繰り返して説明しない。

本発明の第一実施形態では、第一魚眼画像及び第二魚眼画像を取得し；第一魚眼画像を展開してRGB色空間の第一画像を取得し、第二魚眼画像を展開してRGB色空間の第二画像を取得し；第一画像と第二画像の重複領域を計算し；第一画像と第二画像をRGB色空間からLab色空間に変換し；Lab色空間において、第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、第一画像及び第二画像の輝度を調整して第一画像と第二画像との輝度差を縮小し；輝度調整後の第一画像及び輝度調整後の第二画像をLab色空間からRGB色空間に変換し；RGB色空間において、第一重複領域の色平均値及び第二重複領域の色平均値に基づいて、第一画像を参照しながら第二画像の色値を調整するか、第二画像を参照しながら第一画像の色値を調整する。
したがって、本実施形態によれば、まず輝度調整をしてから色を調整することにより、画像の結合過程で生じる痕跡を減少させて、結合後の画像がより自然に見えるようになる。

＜第二実施形態＞
同一の技術的思想に基づき、本発明の第二実施形態ではコンピューター可読記憶媒体を提供する。本実施形態によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、本発明の第一実施形態によるパノラマ画像の色補正方法の各ステップを実現する。

＜第三実施形態＞
同一の技術的思想に基づき、本発明の第三実施形態では電子設備を提供する。図2に示すように、本実施形態による電子設備100は、一つ又は複数の処理装置101、記憶装置102、及び一つ又は複数のコンピュータープログラムを備え、処理装置101と記憶装置102はバス配線により接続され、一つ又は複数のコンピュータープログラムは、記憶装置102に記憶され且つ一つ又は複数の処理装置101により実行されるように配置されており、処理装置101によりコンピュータープログラムを実行する際、本発明の第一実施形態によるパノラマ画像の色補正方法の各ステップを実現する。

本発明では、電子設備は、魚眼カメラ、携帯電話、タブレット型パソコン、PDA(Personal Digital Assistant、個人用デジタル補助装置)、車載コンピューター、スマートウオッチなどの任意の電子設備である。

本発明の明細書に記載されている「第一」、「第二」、「第三」、「第四」など（記載されている場合）の用語は、類似の対象を区別するためであって、特定の順位又は優先順位を限定するためではない。もちろん、このような用語は、場合によって相互交換することができ、図示又は記載内容の順位に限らず実施することができる。

当業者は、上記の方法におけるすべて又は一部のステップは、プログラムで関連のハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができることを理解することができる。ここで、記憶媒体としては、例えば、読み取り専用メモリ（ROM、Read Only Memory）、ランダムアクセスメモリ（RAM，Random Access Memory）、磁気ディスク、光ディスクなどがある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替又は改善することができ、いずれも本発明の保護範囲に含まれる。

Claims

第一魚眼画像及び第二魚眼画像を取得すること、
前記第一魚眼画像を展開してRGB色空間の第一画像を取得し、前記第二魚眼画像を展開してRGB色空間の第二画像を取得すること、
前記第一画像と前記第二画像の重複領域を計算すること、
前記第一画像と前記第二画像をRGB色空間からLab色空間に変換すること、
Lab色空間において、第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、前記第一画像と前記第二画像との輝度差が縮小するように、前記第一画像及び前記第二画像の輝度を調整し、前記第一重複領域は、前記第一画像における、前記第二画像の重複領域であり、前記第二重複領域は、前記第二画像における、前記第一画像の重複領域であること、
輝度調整後の前記第一画像及び輝度調整後の前記第二画像を、Lab色空間からRGB色空間に変換すること、
RGB色空間において、前記第一重複領域の色平均値及び前記第二重複領域の色平均値に基づいて、前記第一画像を参照しながら前記第二画像の色値を調整するか、前記第二画像を参照しながら前記第一画像の色値を調整すること、
を含む
ことを特徴とするパノラマ画像の色補正方法。
前記第一重複領域の輝度平均値及び第二重複領域の輝度平均値に基づいて、前記第一画像と第二画像との輝度差が縮小するように、前記第一画像及び第二画像の輝度を調整することは、下記式により前記第一画像及び第二画像の輝度を調整して、前記第一画像と第二画像との輝度差が縮小することを含む、
ことを特徴とする請求項１に記載のパノラマ画像の色補正方法。
前記第一重複領域の色平均値及び第二重複領域の色平均値に基づいて、前記第一画像を参照しながら前記第二画像の色値を調整することは、下記式により前記第一画像及び第二画像の色値を調整することを含む、
ことを特徴とする請求項２に記載のパノラマ画像の色補正方法。
前記第一魚眼画像を展開してRGB色空間の第一画像を取得し、前記第二魚眼画像を展開してRGB色空間の第二画像を取得することは、
内部基準、外部基準及び変形パラメーターに基づいて、それぞれ前記第一魚眼画像を展開してRGB色空間の第一画像を取得し、前記第二魚眼画像を展開してRGB色空間の第二画像を取得することである、
ことを特徴とする請求項１～３のいずれか一項に記載の
パノラマ画像の色補正方法。
前記第一魚眼画像及び前記第二魚眼画像は、魚眼カメラ又は魚眼レンズを備えた電子設備から得られる、
ことを特徴とする請求項１記載のパノラマ画像の色補正方法。
前記第一重複領域は、前記第一画像における前記第二画像の重複領域であり、前記第二重複領域は、前記第二画像における前記第一画像の重複領域であり、
前記重複領域は、前記第一画像と前記第二画像の間のすべて又は一部の重複領域である、
ことを特徴とする請求項１に記載のパノラマ画像の色補正方法。
前記第一画像と前記第二画像の重複領域を計算することは、特徴マッチング方法又は関連性マッチング方法により、前記第一画像と前記第二画像の重複領域を計算することである、
ことを特徴とする請求項１に記載のパノラマ画像の色補正方法。
コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、前記請求項１～７のいずれか一項に記載のパノラマ画像の色補正方法を実現する、
ことを特徴とするコンピューター可読記憶媒体。
一つ又は複数の処理装置、
記憶装置、及び
一つ又は複数のコンピュータープログラムを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１～７のいずれか一項に記載のパノラマ画像の色補正方法を実現する、
ことを特徴とする電子設備。