JP2015041367A - 画像解析装置、画像解析方法、画像解析プログラム - Google Patents

Abstract

【課題】合成位置情報を用いることなく、入力画像から所望の領域を検出する。
【解決手段】本発明の実施形態としての画像解析装置は、動きベクトル取得部と、領域検出部を備える。前記動きベクトル取得部は、第1入力画像について第2入力画像に対する動きベクトルを取得する。前記領域検出部は、前記動きベクトルの大きさに応じた周波数よりも高い周波数成分の大きさに依存する評価値を前記第1入力画像の画素について算出し、前記評価値に基づいて前記第1入力画像から特定領域を検出する。
【選択図】図１

Description

本発明の実施形態は、画像解析装置、画像解析方法、画像解析プログラムに関する。

動画像を撮影するデジタルカメラでは、撮影時に、撮像素子もしくは被写体が動くと、動きぼけが発生する。しかしながら、動画像でも、テロップやCG画像などの後から重畳された画像もしくは領域は、動いているがぼけていない。

テレビ放送データに多重されて送信されたテロップやCG画像などの合成位置情報を用いて、動いているがぼけていない領域を特定する技術が知られている。しかし、この技術では、テロップやCG画像などの合成位置情報が与えられなければ、そのような領域を特定できない問題がある。

特開2009-71873号公報

本発明は、上記従来技術の問題点を解決するためになされたものであって、合成位置情報を用いることなく、入力画像から所望の領域を検出することを目的とする。

本発明の実施形態としての画像解析装置は、動きベクトル取得部と、領域検出部を備える。

前記動きベクトル取得部は、第1入力画像について第2入力画像に対する動きベクトルを取得する。

前記領域検出部は、前記動きベクトルの大きさに応じた周波数よりも高い周波数成分の大きさに依存する評価値を前記第1入力画像の画素について算出し、前記評価値に基づいて前記第1入力画像から特定領域を検出する。

第1の実施形態に係わる画像解析装置のブロック図。 第1の実施形態に係わる画像解析装置の他の例のブロック図。 解析対象となる入力画像の例を示す図。 領域情報の例を示す図。 領域情報の他の例を示す図。 ローパスフィルタの動作を説明するための図。 第1の実施形態の動作を示すフローチャート。 第2の実施形態に係わる画像解析装置のブロック図。 第2の実施形態の動作のフローチャート。 本発明の実施形態に係わる画像解析装置のハードウェア構成例を示す図。

以下、図面を参照しながら、本発明の実施形態について説明する。

（第1の実施形態）
まず、本実施形態の概要について説明する。

動画像を撮影するデジタルカメラでは、一定時間シャッターを開けて、撮像素子に入射した光を蓄積することで画像を生成する。シャッターが開いている間に、撮像素子もしくは被写体が動くと、本来1画素で蓄積されるはずの光が、動き方向に存在する複数の画素で蓄積される。このため、ぼけた画像が生成される。このぼけを「動きぼけ」と呼ぶ。

しかし、テロップやCG画像などの後から重畳（合成）された画像もしくは領域は、動いているがぼけていない。以降、これらの動いているのにぼけていない領域を、「非ぼけ動体領域」と呼ぶ。本実施形態は、このような非ぼけ動体領域を、外部から非ぼけ動体領域の位置を特定した合成位置情報を与えることなく、入力画像のみから検出することを可能にするものである。

図1は、第1の実施形態に係わる画像解析装置10のブロック図である。この第1の実施形態に係わる画像解析装置10は、動きベクトル取得部101と、判定部102を備えている。

動きベクトル取得部101は、入力画像として、動画像における時刻が異なるフレーム（第1フレーム）111およびフレーム（第2フレーム）110を受け取る。そして、一方のフレーム111の画素毎に、他方のフレーム110への動きベクトル112を取得する。動きベクトルを求める方向は時刻の方向とは無関係であり、フレーム111、110の時刻はどちらが時間的に早くてもかまわない。

ここで、フレームに代えて、フィールドを用いてもよい。たとえば時刻の異なる2つの奇数フィールド間、および時刻の異なる2つの偶数フィールド間の動き検出を行っても良い。

動きベクトルは入力画像のライン毎、ブロック毎、フレーム毎に検出してもよい。この場合、同一ライン、同一ブロック、同一フレーム内の１つの画素に対する動きベクトルを検出して、同一ライン、同一ブロック、同一フレーム内の他の画素に対して当該動きベクトルを適用すればよい。動き検出には、ブロックマッチング法や階層探索法などを用いることができる。

また、入力フレームに動きベクトルの情報が含まれている場合、これを利用してもよい。例えば、MPEG方式により符号化された入力フレームには、符号化時に検出された動画像の動きベクトル情報が含まれている。この場合、画像解析装置10は、動き検出を行わなくてもよい。

本実施形態にかかる動きベクトル取得部は、動き検出を行うことにより動きベクトルを取得してもよいし、予め与えられた動きベクトルを記憶装置から読み出すことで取得してもよい。

判定部102は、動きベクトル取得部101で取得された動きベクトル112と、解析対象となる入力画像のフレーム111を入力とする。フレーム111において、動きベクトル112の大きさに応じた周波数よりも高い周波数成分の大きさに依存する評価値をフレーム111の画素について算出する。動きベクトル112の大きさに応じた周波数は、動きベクトルが大きいほど低くなるように設定される。一例として、判定部102は、動きベクトル112の大きさに応じた周波数よりも高い周波数成分が大きいほど高くなる評価値を計算する。この場合、評価値は入力画像のフレーム111の各画素が非ぼけ動体領域に含まれる可能性が高いほど大きな値をとる信頼度に相当する。以下では、評価値が、非ぼけ動体領域に含まれる可能性の高さを表す信頼度に相当する場合を例に説明を行う。

判定部102は、信頼度に基づいてフレーム111から特定領域を検出する。たとえば、信頼度の値が閾値以上の画素を含む領域を、非ぼけ動体領域として検出する。判定部102は、非ぼけ動体領域等の特定領域を表す領域情報113を生成する。判定部102は、生成した領域情報113を後段に出力する。

判定部102の後段に、たとえば、図2に示すように、領域情報113を利用した情報処理装置114を配置してもよい。情報処理装置114では、非ぼけ動体領域を示す領域情報113の場合、非ぼけ動体領域からテロップ検出を行っても良い。さらに、情報処理装置114では、非ぼけ動体領域を対象に文字認識を行って文字データを出力しても良いし、認識された文字の読み上げを行っても良い。

なお、判定部102は、特定領域として、非ぼけ動体領域ではなく、フレーム111から非ぼけ動体領域以外の領域を検出してもよい。

ここで、領域情報113の具体的な表現形式としては、入力画像のフレーム111の各画素が、非ぼけ動体領域に含まれるか否かを表す2値の値でもよいし評価値（信頼度）そのものでもよい。または、領域情報113は、非ぼけ動体領域の外形（たとえば矩形）を特定する座標でもよい。

この領域情報113について、図3を用いて説明する。図3は入力画像のフレーム111の例を表している。

フレーム111内には左方向に動いている車301と、右方向に動いているテロップ302と、動いていない2つの被写体303が含まれている。このとき、動いている車301は動きぼけによりぼけが発生する。一方テロップ302は動いているが、後から重畳されたものであるため動きぼけは発生しない。また、動いていない2つの被写体303は、動きぼけが発生しない。

図4は、白と黒の2種類の色で、非ぼけ動体領域401とそれ以外の領域を表した例を示している。閾値以下の信頼度の領域は白い領域、閾値より大きい信頼度の領域は黒い領域で表されている。テロップ302は動いているがぼけていない領域であるため、信頼度が閾値より高い。そのため、テロップ302が非ぼけ動体領域401として検出される。図4の白い領域を値0、黒い領域を値1とすれば、非ぼけ動体領域401の画素値を1、それ以外の領域の画素値を0の2値で表現した場合に相当する。

図4に示した例では、非ぼけ動体領域を画素ごとの値で表現したが、非ぼけ動体領域を矩形の座標で表現してもよい。図5に示すように、テロップを包含する矩形を検出し、その矩形の座標値、例えば、矩形の四隅の座標値で、非ぼけ動体領域を表してもよい。あるいは、非ぼけ動体領域を、１つの座標と範囲により表現してもよい。例えば、矩形の左上角の座標と、横サイズおよび縦サイズにより表現してもよい。

以下、非ぼけ動体領域に関する信頼度の計算方法について説明する。ここでは信頼度を入力画像のフレームの画素毎に計算する例を示すが、入力画像のフレームのブロック単位で信頼度の計算を行っても良い。この場合、ブロック内の１つの画素に対して計算した信頼度と同じ値を同一ブロック内の他の画素にも用いればよい。

動きぼけが発生した領域では、高周波成分が減衰する。しかしながら、非ぼけ動体領域では、減衰しているはずの高周波成分が残る。そのため非ぼけ動体領域は、この領域の動きベクトルの大きさから想定される動きぼけが発生した場合に減衰するはずの高周波成分が残っている領域であると考えられる。そのため、判定部102は、この高周波成分が残っているほど大きな値になる信頼度を算出する。

例えば、判定部102は、動きベクトルの大きさに反比例する遮断周波数をもつローパスフィルタを入力画像111にかけた画像（つまりローパスフィルタで入力画像のフレーム111を再びぼかした画像）と、入力画像のフレーム111との差分を信頼度として算出できる。このことを、図6を用いてさらに詳しく説明する。

図6は、横軸に周波数、縦軸に振幅をとったグラフである。G1は、ローパスフィルタの周波数応答を示す。また、G2は入力画像の振幅スペクトルを示し、G3は入力画像をローパスフィルタにかけた場合の振幅スペクトルを示す。ローパスフィルタをかけた場合、遮断周波数より高い周波数領域で、振幅スペクトルが大きく減衰される。すなわち、ローパスフィルタをかけることで高周波成分を大きく減衰できる。非ぼけ動体領域では、高周波成分が多く残っていることから、ローパスフィルタをかけた画像と、かける前の画像の差分をとることで、高周波成分が本来想定されるより多く残っている領域を見積もることができる。動きベクトルが大きいほど高周波成分が大きく減衰しているはずであるから、ローパスフィルタの遮断周波数を、動きベクトルの大きさが大きくなるほど低く設定すればよい。

ここで、遮断周波数は、例えば以下の式で計算できる。

ここで、iは画素の位置ベクトル、u(i)は位置iにおける動きベクトル、ω_iは位置iにおける遮断周波数、mは設計者が適宜設定するパラメータである。

遮断周波数ω_iをもつローパスフィルタは例えば、フーリエ級数展開法（窓関数法）を用いて計算できる。具体的には、ローパスフィルタの係数は以下の式で計算できる。

ここで、hi(k)は位置iにおけるk（k=0〜N）番目のフィルタ係数である。また、ギブス現象を抑えるために入力画像に予め窓関数を乗じておく。窓関数にはハミング窓、ハニング窓、ブラックマン窓などを用いることができる。動きぼけが動き方向の1次元軸上でのぼけであるとすると、このローパスフィルタを入力画像のフレーム111にかけて再びぼかした画像Irは以下の式で計算できる。

ここで、I(i)は、入力画像111の位置iにおける画素値、

は畳み込み積分を表す。ただし、畳み込み積分は動きベクトルの1次元方向に行うものとする。信頼度ρは、以下の式で計算できる。

数式4では、信頼度を、入力画像とローパスフィルタをかけた画像との差の絶対値としたが、別の方法として、当該差の二乗により信頼度を計算してもよいし、その他の方法を用いてもよい。

上述した説明ではローパスフィルタを用いて信頼度を計算したが、ハイパスフィルタを用いる構成も可能である。

この場合、入力画像111に遮断周波数ω_iのハイパスフィルタをかけて通過した値（すなわち遮断周波数ω_iより低い周波数成分を減衰させた後の値）を信頼度として用いることができる。信頼度をρ’とすると、以下の式でρ’を計算できる。

ここで、h_i’はハイパスフィルタのフィルタ係数を表し、以下の式で計算できる。

hi’(k)は位置iにおけるk（k=0〜N）番目のフィルタ係数である。

ω_i’は、以下の式で定義される。

領域情報113を2値の値で表現する場合は、信頼度を適当な閾値で2値化すればよい。たとえば、閾値より大きい信頼度をもつ画素は1、閾値以下の信頼度の画素には0を設定する。そして、1を有する画素を含む領域を領域情報113として設定する。非ぼけ動体領域以外の領域を検出する場合は、0を有する画素を含む領域を、領域情報113として生成すればよい。

また、矩形を表す座標を用いて領域情報113を表現する場合は、信頼度がある一定値以上の領域の外接四角形を計算し、その外接四角形を特定する座標値（たとえば4隅の座標）で、領域情報111を設定する。あるいは、左上の座標と、縦および横サイズにより外接四角形を表現してもよい。

図7は、本発明の第1の実施形態に係わる画像解析装置10の動作を示すフローチャートである。

ステップS101において、動きベクトル取得部101は、入力画像として、動画像における時刻が異なる2つのフレーム111、110を受け取る。動きベクトル取得部101は、たとえば動き検出を行うことで、一方のフレーム111の画素毎に、フレーム110に対する動きベクトル112を取得する。なお、動き検出は画素毎、ライン毎、ブロック毎、フレーム毎など任意の方法で行ってよい。

ステップS102において、判定部102は、動きベクトル取得部101で検出された動きベクトル112と、解析対象となる入力画像のフレーム111を入力とし、非ぼけ動体領域を表す領域情報113を生成する。具体的に、フレーム111において、動きベクトル112の大きさに応じた周波数よりも高い周波成数分が大きいほど高くなる信頼度（評価値）をフレーム111の画素毎に算出する。動きベクトル112の大きさに応じた周波数は、動きベクトルが大きいほど低くなるように設定される。判定部102は、たとえば信頼度が閾値以上の画素を含む領域を非ぼけ動体領域として検出する。具体的な検出方法は前述した方法を用いればよい。判定部102は、非ぼけ動体領域を表す情報を生成して、出力する。

以上、第1の実施形態に係わる画像解析装置によれば、非ぼけ動体領域を、テロップやCG画像などの合成位置情報を用いずに、入力画像のみから検出できる。

（第2の実施形態）
図8は、第2の実施形態に係わる画像解析装置60を示すブロック図である。第1の実施形態と異なる点は、鮮鋭化部601が追加されたことである。

鮮鋭化部601は、入力画像のフレーム111と、判定部102で取得された領域情報（非ぼけ動体領域情報）113と、動きベクトル取得部112で取得された動きベクトル112を入力とする。鮮鋭化部601は、フレーム111の画像を鮮鋭化して鮮鋭化画像610を生成し、鮮鋭化画像610を出力する。画像解析装置60が鮮鋭化画像601を表示する表示画面を含んでも良い。また、表示画面を含む他の装置へ鮮鋭化画像601を送信しても良い。

以下、鮮鋭化部601の動作の詳細を説明する。

鮮鋭化部601は、入力画像のフレーム111における非ぼけ動体領域以外の領域については、動きベクトル112の絶対値が大きいほど強く鮮鋭化し、非ぼけ動体領域については、動きベクトル112の絶対値の大きさによらず、鮮鋭化を弱めるもしくは鮮鋭化しない。これにより、非ぼけ動体領域での過強調を抑制した高画質な画像を生成できる。

画像を鮮鋭化するには、例えば、動きベクトルの絶対値から計算したPSF（Point Spread Function）による逆畳み込み処理で実現できる。PSFはぼけの加わり（劣化過程）を表現したものであり、一般に、ぼけのない画像にPSFを畳み込むことで、ぼけ画像を生成できる。

具体的には、鮮鋭化した画像は、以下のエネルギー関数を最小化する変数ｘを求めることで得られる。

ここで、xは、求める鮮鋭化画像610のベクトル表現である。

bは、入力画像のフレーム111のベクトル表現である。

Rはラプラシアンフィルタの行列表現である。

Mは領域情報113の信頼度の値を並べた行列である。

α、βは設計者が適宜設定する値である。

Kは動きベクトルの絶対値から算出されるPSFの値を並べた行列である。PSFは例えば、以下のように、ガウス関数に基づく式で表すことができる。

ここで、k_i(t)は位置ベクトルiにおいて、動きベクトル方向の媒介変数tでのPSFの値である。動きベクトルu(i)が大きいほど、裾が広がった形状になる。なお、数式９では、ガウス関数に基づいてPSFを表しているが、矩形関数に基づいてPSFを表しても良い。

上記式8のエネルギー関数の第1項||Kx-b||²は、鮮鋭化画像610をぼかした画像Kxと、入力画像ｂ（入力画像のフレーム111）が近くなる働きをする。この項は逆畳み込み項に相当する。

第2項は行列Kの逆行列が存在しなくても、適切な解ｘを得ることを可能にする正則化項である。この項は、ノイズの強調を抑制する効果がある。

第3項は、非ぼけ動体領域では、鮮鋭化した画像と入力画像のフレーム111が近くなる働きをする。すなわち、非ぼけ動体領域では、鮮鋭化を弱める、もしくは鮮鋭化を行わない。

このエネルギー関数の最小化により、非ぼけ動体領域以外の領域では、動きベクトルの絶対値に応じた逆畳み込みにより、動きぼけが除去される。一方、非ぼけ動体領域では、逆畳み込みが抑制されることで、入力画像に近い画像が生成できる。

また鮮鋭化処理には、上記のエネルギー関数の最小化による方法の他、鮮鋭化フィルタやショックフィルタなどを用いた方法も可能である。これらのフィルタの鮮鋭化の度合を決定するパラメータ制御することで、動きベクトルの絶対値が大きいほど鮮鋭化の度合を強くするとともに、非ぼけ動体領域では鮮鋭化の度合を小さくすればよい。

図9は、第2の実施形態に係わる画像解析装置60の動作を示すフローチャートである。

ステップS201において、動きベクトル取得部101は、入力画像として、動画像における時刻が異なる2つのフレーム111、110を受け取る。動きベクトル取得部101は、一方のフレーム111の画素毎に、フレーム110に対する動きベクトル112を取得する。

ステップS202において、判定部102は、動きベクトル取得部101で取得された動きベクトル112と、解析対象となる入力画像のフレーム111を入力とし、非ぼけ動体領域を表す領域情報113を生成する。判定部102は、非ぼけ動体領域を表す情報を生成して、出力する。

ステップS203において、鮮鋭化部601では、フレーム111の画像を鮮鋭化する。この際、鮮鋭化部601は、入力画像のフレーム111において領域情報113に示される非ぼけ動体領域に対しは、その他の領域よりも弱い鮮鋭化処理を施す。たとえば、非ぼけ動体領域以外の領域では、動きベクトルの絶対値が大きいほど強く鮮鋭化し、非ぼけ動体領域に対しは、動きベクトルの大きさにかかわらず、フレーム111の画素値と、鮮鋭化された画像の画素値が近くなるように、すなわち、これらの画素値の差分が大きくなるのを抑制するように、フレーム111の画像の鮮鋭化処理を行う。

以上、第2の実施形態に係わる画像解析装置60によれば、入力画像において、非ぼけ動体領域以外の領域では動きベクトルの絶対値が大きいほど強く鮮鋭化し、非ぼけ動体領域では鮮鋭化の度合を弱めるもしくは鮮鋭化しないことで、入力画像の動きぼけを除去しつつ、非ぼけ動体領域での過強調を抑制した高画質な画像を生成できる。

なお、第1および第2の実施形態の画像解析装置は、例えば、図10に示すように、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このコンピュータ装置200は、バス201に制御部202、主記憶部203、補助記憶部204、通信Ｉ／Ｆ205が接続されている。制御部202は、ＣＰＵを含み、コンピュータ全体を制御する。主記憶部203は、ＲＯＭ、ＲＡＭを含み、データやプログラムを記憶する。補助記憶部204は、ＨＤＤ等を含み、データやプログラムを記憶する。通信Ｉ／Ｆ205は、外部装置との通信を制御する。本実施形態に係る動きベクトル取得部、判定部、鮮鋭化部は、上記のコンピュータ装置に搭載されたＣＰＵに主記憶部または補助記憶部から読み出したプログラムを実行させることにより実現することができる。このとき、画像解析装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、入力画像を記憶する記憶手段は、上記のコンピュータ装置の主記憶部203、補助記憶部204によって実現してもよいし、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (11)

1. 第1入力画像について第2入力画像に対する動きベクトルを取得する動きベクトル取得部と、
   前記動きベクトルの大きさに応じた周波数よりも高い周波数成分の大きさに依存する評価値を前記第1入力画像の画素について算出し、前記評価値に基づいて前記第1入力画像から特定領域を検出する領域検出部と、
   を備えた画像解析装置。
2. 前記周波数は、前記動きベクトルが大きいほど低い
   請求項1に記載の画像解析装置。
3. 前記領域検出部は、前記第1入力画像に対し前記動きベクトルの大きさに応じた周波数よりも高い周波数成分を減衰させる処理を行い、減衰処理後の第1入力画像の画素値と前記第1入力画像の画素値との差分に応じて前記評価値を算出する
   請求項1または2に記載の画像解析装置。
4. 前記領域検出部は、前記周波数を遮断周波数とするローパスフィルタを前記第1入力画像にかけることにより、前記高い高周波成分を減衰させる
   請求項3に記載の画像解析装置。
5. 前記領域検出部は、前記第1入力画像に対し前記動きベクトルの大きさに応じた周波数よりも低い周波数成分を減衰させる処理を行い、減衰処理後の第1入力画像の画素値に応じて前記評価値を算出する
   請求項1または2に記載の画像解析装置。
6. 前記領域検出部は、前記周波数を遮断周波数とするハイパスフィルタを前記第1入力画像にかけることにより、前記低い周波数成分を減衰させる
   請求項5に記載の画像解析装置。
7. 前記領域検出部は、前記高い周波数成分が大きいほど高くなるように前記評価値を計算し、前記評価値が閾値以上の画素群または前記画素群を包含する領域を前記特定領域として検出する
   請求項１ないし6のいずれか一項に記載の画像解析装置。
8. 前記第1入力画像を鮮鋭化する鮮鋭化部を備え、
   前記鮮鋭化部は、前記特定領域に対しては、他の領域よりも弱い鮮鋭化処理を施す
   請求項1ないし7のいずれか一項に記載の画像解析装置。
9. 前記鮮鋭化部は、前記特定領域に対しては、前記第1入力画像の画素値と、鮮鋭化された画像の画素値との差分が大きくなるのを抑制するように、前記第1入力画像を鮮鋭化する
   請求項8に記載の画像解析装置。
10. 第1入力画像について第2入力画像に対する動きベクトルを取得する動きベクトル取得ステップと、
    前記動きベクトルの大きさに応じた周波数よりも高い高周波成分の大きさに依存する評価値を前記第1入力画像の画素について算出し、前記評価値に基づいて前記第1入力画像から特定領域を検出する領域検出ステップと、
    を備えた画像解析方法。
11. 第1入力画像について第2入力画像に対する動きベクトルを取得する動きベクトル取得ステップと、
    前記動きベクトルの大きさに応じた周波数よりも高い高周波成分の大きさに依存する評価値を前記第1入力画像の画素について算出し、前記評価値に基づいて前記第1入力画像から特定領域を検出する領域検出ステップと、
    をコンピュータに実行させるための画像解析プログラム。

Images