JP2014048131A

JP2014048131A - 画像処理装置、方法及びプログラム

Info

Publication number: JP2014048131A
Application number: JP2012190664A
Authority: JP
Inventors: Tomokazu Kawahara; 智一河原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-08-30
Filing date: 2012-08-30
Publication date: 2014-03-17

Abstract

【課題】大気の状態を推定することが可能な画像処理装置を提供する。
【解決手段】取得部と検出部と推定部と出力部を備える。取得部は空の画像を取得する
。検出部は画像に含まれる画素値を用いて雲の分布を検出する。推定部は画像の撮像地点
と分布とからを予め決められた場所の大気の状態を推定する。出力部は大気の状態に関す
る情報を出力する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、方法及びプログラムに関する。

撮像画像から空模様を判定する技術が開示されている。撮像画像の画像データを用いて
彩度及び明度を計算し、空模様を判定する。

特開２０１２−８０９７号公報

Srinivasa G. Narasimhan, Shree K. Nayar "Shedding Light on the Weather" (Computer Vision and Pattern Recognition 2003/6/16、p.665-672)

曇の状態によって異なる空模様を判定するだけでなく、より詳細な雲の状態に関する情
報を得なければ、大気の状態を推定することが難しい。

本発明が解決しようとする課題は大気の状態をより詳細に推定することが可能な画像処
理装置を提供することである。

実施形態の画像処理装置は、取得部と検出部と推定部と出力部を備える。取得部は空の
画像を取得する。検出部は画像に含まれる画素値を用いて雲の分布を検出する。推定部は
画像の撮像地点と分布とからを予め決められた場所の大気の状態を推定する。出力部は大
気の状態に関する情報を出力する。

第１の実施形態の装置の例を示す構成図。第１の実施形態の装置の例を示すフローチャート。第２の実施形態の装置の例を示す構成図。雲の種類とパターンとを対応づけた例を示す図。第２の実施形態の装置の例を示すフローチャート。第３の実施形態の装置の例を示す構成図。第３の実施形態の装置の例を示すフローチャート。画像処理装置のハードウェア構成の一例を示すブロック図。

以下、本発明の実施形態について図面を参照して詳細に説明する。

（第１の実施形態）
第１の実施形態に係る画像処理装置１は、カメラで撮影した空の画像を使い、大気を計
測するものである。

画像処理装置１は、入力としてカメラで撮影した空の画像を取得し、画像中の雲の分布
を検出する。雲の有無からカメラとその雲を結ぶ方向の大気の状態、例えば雲水量または
雨水量に関する水蒸気量などを推定する。

図１は、本実施形態の画像処理装置１を表すブロック図である。画像処理装置１は、取
得部１１と、検出部１２と、推定部１３と、出力部１４とを備える。

取得部１１は、画像を取得する。画像は、例えば地上や建物に設置されたカメラで空を
撮影したものを使用する。また、魚眼レンズ等を使い全天を撮影したものでもよい。

検出部１２は、取得した画像から雲を検出する。画像中の雲を検出することで、雲のあ
る領域と雲のない領域を抽出する。

推定部１３は、検出した画像中の雲の位置と設置されたカメラの位置と方角から上空の
大気の状態を推定する。画像中の各画素の雲の有無から、例えば雲のある領域は水蒸気量
が多い、雲のない領域は水蒸気量が少ないと推定する。

出力部１４は、推定した大気の状態を出力する。

以上、画像処理装置１の構成について説明した。

図２は、画像処理装置１の処理を表すフローチャートである。図２のフローチャートに
示す処理は取得部１１が画像を取得するたびに行われる。

ステップＳ１１において、取得部１１は画像を取得する（Ｓ１１）。取得部１１は取得
した画像を検出部１２に供給する。

ステップＳ１２において、検出部１２は画像から雲を検出し、画像中の雲の領域と雲の
ない領域を推定部１３に供給する。

雲の検出は、画像の画素ごとに画素値を基準に行う。所定の閾値範囲内の時はその画素
を雲と判定し、範囲外のときは雲がないと判定する。より具体的には、快晴時に撮影した
場合の画像である快晴画像の各画素の画素値を用いる。例えば、予めカメラの位置と撮影
範囲とを計測し、当該カメラの位置と当該撮影範囲と太陽の位置とをから、光の拡散モデ
ルに基づいて当該快晴画像の画素値を算出してよい。ここで、光の拡散モデルには、非特
許文献１記載のものを用いてもよい。

また予め過去に撮影した画像と、その時の太陽の位置とを記憶しておき、取得された太
陽の位置に近い、過去の画像の領域のうちで、輝度を算出すべき画素に雲が存在しない領
域を選び、その画素の輝度を用いて、現在の快晴画像の輝度値を算出してよい。ここで、
雲が存在しない領域とは、過去に撮影した画像が複数枚ある場合には、輝度値が変化して
いない領域であってよい。あるいは、輝度を算出すべき画素に雲が存在していないものが
複数ある場合には、その平均値から当該快晴画像における輝度値を算出してもよい。

また、出力は雲の有無の２値ではなく、ない状態の０からある状態の１までの連続値に
してもよい。また、判定には輝度の代わりに明度や彩度を使ってもよい。また、各画素の
色を色空間の点とみなし、学習等で予め設定した色空間上の関数の出力を判定結果として
もよい。

検出部１２が推定部１３に出力する雲の領域と雲がない領域のデータは、画像の各画素
に雲があるなら１、雲がないなら０を割り当てたマスク画像でよい。また、判定値が連続
値の場合はその値を入れる。

また、雲の判定を画像の画素毎ではなく、矩形などの領域ごとに行なっても良い。判定
は、領域内の画素の画素値や明度、彩度などの平均を用いて判定する。また、他に分散、
最大値や最小値を用いてもよい。出力するデータは、雲領域の矩形の右上と左下の頂点の
座標および雲の判定値の組である。この場合は、矩形領域の外が雲のない領域とみなす。

ステップＳ１３において、推定部１３はカメラの設置位置、方向および雲の領域と雲の
ない領域から上空の大気の状態を推定し、出力部１４に推定結果を出力する。カメラの設
置位置は、画像が撮像された時の緯度・経度等を用いる。位置と撮像方向から、画像の各
画素に対応する空の方向を計算する。画素の雲判定値を用いて、雲のある場合はその方向
の水蒸気量が多い、雲のない場合は水蒸気量を少ないとする。また、０から１の連続値の
場合は、値に応じてその方向の水蒸気量を推定する。雲の判定を領域単位で行う場合は、
領域ごとに前記の処理を行う。

推定部１３が出力部１４に出力する上空の大気の状態のデータは、カメラの位置、方向
およびその方向に対して推定した水蒸気量の組である。また、大気を３次元メッシュに区
切り、各点の座標と推定した水蒸気量の組みでもよい。

ステップＳ１４において、出力部１４は推定した上空の大気の状態を出力する。

本実施形態によれば、大気の状態をより詳細に推定することが可能になる。また、カメ
ラで撮像した空の画像を用いることでカメラを中心として各方向の大気の状態を推定する
ことができる。

（第２の実施形態）
第２の実施形態にかかわる画像処理装置２は、雲の種類によってその雲の高さ（雲底な
ど）が分かることを利用し、画像に写っている雲の検出に加えて雲の種類の認識も行う点
が第１の実施形態と異なる。また、雲の種類から雲の高さも推定する点が第１の実施形態
と異なる。以下、第１の実施形態と異なる部分について説明する。

図３は、画像処理装置２を表すブロック図である。画像処理装置２は、画像処理装置１
と比較して、検出部１２が抽出部２２に置き換わり、推定部１３が推定部２３に置き換わ
ったものである。抽出部２２は、検出１２と識別部２２１とパターン記憶部２２２を備え
る。

抽出部２２は、画像から雲を検出し、その雲の種類の識別を行う。雲の種類とは、形状
等によって区分されるものである。例えば、層状雲、対流雲（積乱雲等）のおおまかな分
類である。雲底（高度等）と形状を合わせたより詳細な雲の分類、上層雲（うろこ雲など
）、下層雲（雨雲など）、雷雲（関乱雲など）の分類であればなおよい。雲の種類は地域
によって異なるため、カメラが設置された場所に応じてこれらのテーブルを切り替えても
良い。また、テーブルに地域と雲の出現確率の組を加え、雲の種類識別時にカメラが設置
された地域の出現確率を使用しても良い。

識別部２２１は、画像に対して検出した雲の領域を切り出し、パターン記憶部２２２に
格納されたパターンとの照合を行い、雲の種類を識別し、対応する雲の高さを出力する。

パターン記憶部２２３は、雲の種類、雲の高さおよび雲のパターンの組を格納する。図４
は雲の種類、雲の高さと雲のパターンのテーブルの一例である。雲のパターンは、領域の
画素値や明度、彩度等を並べたベクトルで保持される。

推定部２３は、雲の位置、雲の高さ、設置されたカメラの位置と方向から上空の大気の
状態を推定する。画像中の各画素の雲の有無から方向を、雲の高さから前記方向の雲の奥
行を推定し、雲の有無または判定値でその領域の水蒸気量を推定する。

以上、画像処理装置２の構成について、第１の実施形態と異なる部分について説明した
。

図５は画像処理装置２の処理を表すフローチャートである。図５のフローチャートに示
す処理は取得部１１が画像を取得するたびに行われる。以下、第１の実施形態と異なる部
分について説明する。

ステップＳ２２について、検出部１２で検出した雲の分布に基づいて、雲の種類を識別
する。

まず、検出した雲の分布に基づき、雲領域を切り出す。次に、切り出した雲領域を予め
定めた大きさに正規化し、パターン記憶部２２２に格納した雲パターンとマッチングを行
う。マッチングのスコアが予め定めた閾値を超え、最も高いものをその雲の種類とする。
もし、閾値を超えるものがない場合は識別不可とする。また、カメラの設置場所から導出
される雲の種類の出現確率がある場合、雲の種類の各マッチングスコアに対応する出現確
率を掛けたものをスコアとして使用してもよい。識別した雲の種類から、パターン記憶部
２２２に格納されたテーブルを使い、その雲の高さを推定する。識別部２２１は推定部２
３に画像中の雲の判定値および各雲の高さを供給する。

ステップＳ２３について、推定部２３はカメラの位置、方向および雲の領域とその奥行
きから出力部１４に推定結果を出力する。カメラの設置位置および方向から、画像の各画
素に対応する空の方向を計算し、雲の高さからその方向の奥行きを計算する。

その画素の雲判定値から、雲のある場合はその位置の水蒸気量が多い、雲のない場合は
水蒸気量を少ないとする。また、０から１の連続値の場合は、値に応じてその位置の水蒸
気量を推定する。雲の判定を領域単位で行う場合は、領域ごとに前記の処理を行う。

推定部２３が出力部１４に出力する上空の大気の状態のデータは、カメラの位置、方向
およびその方向に対して推定した水蒸気量の組である。また、大気を３次元メッシュに区
切り、各点の座標と推定した水蒸気量の組みでもよい。

以上、画像処理装置２の処理について、第１の実施形態と異なる部分について説明した
。

本実施形態によれば、大気の状態をより詳細に推定することが可能になる。また、カメラ
で撮影した空の画像から、大気の状態を推定することができる。

（第３の実施形態）
第３の実施形態にかかわる画像処理装置３は、時系列の画像を複数枚利用し、雲の動き
を検出することでその雲の位置の風向きも推定する点が第１および第２の実施形態と異な
る。以下、第２の実施形態と異なる部分について説明する。

画像処理装置３は、入力として時間的に連続した複数枚の画像列を入力として受け、１
枚ずつ処理を行う。例えば動画像を利用すればよい。

図６は、画像処理装置３を表すブロック図である。画像処理装置３は、顔像処理装置２
と比較して、抽出部２２が抽出部３２に置き換わり、推定部２３が推定部３３に置き換わ
ったものである。抽出部３２は、検出１２と識別部２２１とパターン記憶部２２２と追跡
部３２１と雲記憶部３２２を備える。

抽出部３２は、画像から雲を検出し、その雲の種類の識別し、過去の画像と比較して雲
の追跡を行う。また、検出した画像と雲の位置を保存する。

追跡部３２１は、検出部１２で検出した雲の位置と雲記憶部３２２に格納された過去の
画像と雲の位置から対応を取り、雲の動きを推定する。雲の位置の対応は、過去の画像か
ら雲領域を切り出し、画像とマッチングすることで行う。対応がついた各雲の動きを出力
する。

雲記憶部３２２は、取得部１１で取得した画像と検出部１２で検出した雲の位置を記憶
する。取得した画像の代わりに、雲の位置に基づいて、切り出した雲の画像を保持しても
良い。

推定部３３は、雲の位置、雲の高さ、雲の動き、設置されたカメラの位置と方向から上
空の大気の状態を推定する。画像中の各画素の雲の有無から方向を、雲の高さから奥行き
を推定し、雲の動きからその地点での風向きを推定し、雲の有無または判定値でその領域
の水蒸気量を推定する。

以上、画像処理装置３の構成について、第２の実施形態と異なる部分について説明した
。

図７は画像処理装置３の処理を表すフローチャートである。図７のフローチャートに示す
処理は取得部１１が画像を取得するたびに行われる。以下、第２の実施形態と異なる部分
について説明する。

ステップＳ３２１について、現在の雲と過去の雲のマッチングを行い、雲の動きを検出す
る。まず、雲記憶部３２２に記憶されたと過去の画像と雲の位置から雲領域を切り出し過
去の雲画像を生成する。次に検出部１２で検出した雲の位置と画像から現在の雲画像を生
成し、過去の雲画像と現在の雲画像のマッチングを行う。マッチングできた雲画像につい
て、過去の雲の位置と現在の雲の位置から動きを抽出し、推定部３３に供給する。

ステップＳ３２２について、画像と検出部１２で検出した雲の位置を雲記憶部３２２に記
憶する。

ステップＳ３３について、雲抽出部２２で検出した雲の位置に基づいて、雲の種類を識別
する。まず、検出した雲の位置に基づき、雲領域を切り出す。次に、切り出した雲領域を
予め定めた大きさに正規化し、パターン記憶部２３に格納した雲パターンとマッチングを
行う。マッチングのスコアが予め定めた閾値を超え、最も高いものをその雲の種類とする
。もし、閾値を超えるものがない場合は識別不可とする。識別した雲の種類から、パター
ン記憶部２３に格納されたテーブルを使い、その雲の高さを推定する。抽出部２２は推定
部２４に画像中の雲の判定値および各雲の高さを供給する。

以上、画像処理装置３の処理について、第２の実施形態と異なる部分について説明した。

図８は、画像処理装置１、２、３のハードウェア構成の一例を表すブロック図である。
図８に住めすように、画像処理装置１、２、３はＣＰＵ８０１と、画像中から顔と物体の
認識を行う認識プログラムなどを記憶するＲＯＭ８０２と、ＲＡＭ８０３と、認識テーブ
ルなどを記憶するＨＤＤ８０４と、ＨＤＤ８０４とのインタフェイスであるＩ／Ｆ８０５
と、画像入力用のインタフェイスであるＩ／Ｆ８０６と、マウスやキーボードなどの入力
装置８０７と、入力装置８０７とのインタフェイスであるＩ／Ｆ８０６と、ディスプレイ
などの表示装置８０８と、表示装置８０８とのインタフェイスであるＩ／Ｆ８１０と、バ
ス８８とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
なおＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、Ｉ／Ｆ８０５、Ｉ／Ｆ８０６、Ｉ／Ｆ
８１６、及びＩ／Ｆ８１０は、バス８１１を介して互いに接続されている。

画像処理装置１、２、３では、ＣＰＵ８０１が、ＲＯＭ８０２からプログラムをＲＡＭ８
０３上に読み出して実行することにより、上記各部（検出部、検出部、推定部等）がコン
ピュータ上で実現され、ＨＤＤ８０４に記憶されている照合データ等を用いて、Ｉ／Ｆ８
０６から画像の処理を行う。

なお、プログラムはＨＤＤ８０４に記憶されていてもよい。また、プログラムは、イン
ストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカ
ード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒
体に記憶されて提供されるようにしてもよい。また、プログラムを、インターネット等の
ネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさ
せることにより提供するようにしてもよい。また、プログラムを、インターネット等のネ
ットワーク経由で提供または配布するようにしてもよい。また、図４のテーブルは、ＲＯ
Ｍ８０２に記憶されていてもよい。また、画像をＨＤＤ８０４に記憶しておき、Ｉ／Ｆ８
０５から画像を入力するようにしてもよい。

以上のように、画像処理装置１、２、３では、上空を撮影した画像から雲を検出し、その
結果とカメラの設置位置と方向から上空の水蒸気量などの気象状態を推定することが可能
となる。これにより、レーダのように電磁波を照射する装置を必要とせず、設置が容易な
気象観測装置を実現することができる。また、第２の実施形態によれば、マッチングによ
る雲の種類の識別を行うことで、雲の種類と雲の高さの関係から雲の３次元的な位置を推
定し、上空の気象状態を３次元的に推定することができる。また第３の実施形態によれば
、過去の画像とのマッチングを行うことで雲の移動を検出し、水蒸気量の他に風向きも３
次元的に推定することができる。

以上のように上記実施形態によれば、大気の状態をより詳細に推定することが可能にな
る。

１１・・・取得部、１２・・・検出部、１３・・・推定部、１４・・・出力部、２２１・
・・識別部、２２２・・・パターン記憶部、３２１・・・追跡部、３２２・・・雲記憶部

Claims

空の画像を取得する取得部と
前記画像に含まれる画素値を用いて雲の分布を検出する検出部と
前記画像の撮像地点と前記分布とからを予め決められた場所の大気の状態を推定する推
定部と
前記大気の状態に関する情報を出力する出力部と
を備える画像処理装置。
前記雲の分布と予め記憶されたパターンとを照合し、前記雲の種類を識別する識別部を
更に備え、
前記推定部は、前記雲の地理的な位置と前記雲の種類とから大気の状態を推定する推定
部とを備えることを特徴とする請求項１記載の画像処理装置。
前記検出部は、過去の空の画像と雲の分布を記憶する記憶部と、
前記検出した雲と過去の雲とを照合し、雲の移動を検出する追跡部とを更に備え、
前記推定部は前記場所の水蒸気量と、前記雲の移動から風向きとを推定することを特徴
とする請求項２記載の画像処理装置。
前記推定部は、前記雲の高さを更に用いて大気の状態を推定することを特徴とする請求
項２または３記載の画像処理装置。
前記パターンを記憶する記憶部を更に有し、
前記パターンは雲の種類と対応する複数の画像であることを特徴とする請求項２乃至４い
ずれか１項記載の画像処理装置。
空の画像を取得し、
前記画像に含まれる画素値を用いて雲の分布を検出し、
前記画像の撮像地点と前記分布とからを予め決められた場所の大気の状態を推定し、
前記大気の状態に関する情報を出力する
画像処理方法。
コンピュータを
空の画像を取得する取得手段と、
前記画像に含まれる画素値を用いて雲の分布を検出する検出手段と、
前記画像の撮像地点と前記分布とからを予め決められた場所の大気の状態を推定する推
定手段と、
前記大気の状態に関する情報を出力する出力手段
として機能させる画像処理プログラム。