JP2002074265A - テロップパターン認識装置 - Google Patents
テロップパターン認識装置Info
- Publication number
- JP2002074265A JP2002074265A JP2000264904A JP2000264904A JP2002074265A JP 2002074265 A JP2002074265 A JP 2002074265A JP 2000264904 A JP2000264904 A JP 2000264904A JP 2000264904 A JP2000264904 A JP 2000264904A JP 2002074265 A JP2002074265 A JP 2002074265A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- pixel
- telop
- information
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 従来のテロップパターン認識装置は、テロッ
プパターンと入力画像とで値の近い画素が多い場合や、
認識対象テロップパターンに形の類似したものが複数あ
る場合、誤認識する課題があった。 【解決手段】 画像を入力する画像入力手段と、認識対
象とする標準パターン並びに標準パターン内の各画素の
属性を示す画素情報とを格納する認識辞書と、前記認識
辞書を参照して入力画像中のテロップパターンを認識す
るパターン認識手段とを備え、前記パターン認識手段は
画素情報の属性値に基づいて標準パターンを複数の領域
に分割し、各分割領域毎にマッチングを行って複数の相
違度を算出して、当該複数の相違度により認識結果を決
定する。
プパターンと入力画像とで値の近い画素が多い場合や、
認識対象テロップパターンに形の類似したものが複数あ
る場合、誤認識する課題があった。 【解決手段】 画像を入力する画像入力手段と、認識対
象とする標準パターン並びに標準パターン内の各画素の
属性を示す画素情報とを格納する認識辞書と、前記認識
辞書を参照して入力画像中のテロップパターンを認識す
るパターン認識手段とを備え、前記パターン認識手段は
画素情報の属性値に基づいて標準パターンを複数の領域
に分割し、各分割領域毎にマッチングを行って複数の相
違度を算出して、当該複数の相違度により認識結果を決
定する。
Description
【0001】
【発明の属する技術分野】この発明は、映像中に出現す
るテロップパターンを認識するテロップパターン認識装
置に関するものである。
るテロップパターンを認識するテロップパターン認識装
置に関するものである。
【0002】
【従来の技術】テロップパターンを対象とした認識方法
として、例えば特開平6−233208号公報があり、
この特開平6−233208号公報においては、字幕を
パターンマッチング処理で認識することが記載されてい
る。またパターンマッチング処理を適用したテロップパ
ターン認識装置として「コンピュータ画像処理入門」p
p.148〜151に記載されたものがある。図22
は、この文献に記載された従来のテロップパターン認識
装置を示すブロック図である。図において、1は画像を
入力する画像入力手段、100はテンプレートを格納し
たテンプレート格納手段、101はテンプレートと入力
画像の部分領域とを照合するマッチング手段である。
として、例えば特開平6−233208号公報があり、
この特開平6−233208号公報においては、字幕を
パターンマッチング処理で認識することが記載されてい
る。またパターンマッチング処理を適用したテロップパ
ターン認識装置として「コンピュータ画像処理入門」p
p.148〜151に記載されたものがある。図22
は、この文献に記載された従来のテロップパターン認識
装置を示すブロック図である。図において、1は画像を
入力する画像入力手段、100はテンプレートを格納し
たテンプレート格納手段、101はテンプレートと入力
画像の部分領域とを照合するマッチング手段である。
【0003】次に動作を説明する。テンプレート格納手
段100には、認識対象とするテロップパターンがテン
プレートとしてあらかじめ格納されているものとする。
まず画像入力手段1が画像を入力し、マッチング手段1
01は、下記の式1に従ってテンプレート格納手段10
0に格納されたテンプレートと入力画像の部分領域との
相違度を算出する。
段100には、認識対象とするテロップパターンがテン
プレートとしてあらかじめ格納されているものとする。
まず画像入力手段1が画像を入力し、マッチング手段1
01は、下記の式1に従ってテンプレート格納手段10
0に格納されたテンプレートと入力画像の部分領域との
相違度を算出する。
【0004】
【数1】
【0005】この相違度は比較対象パターン間の似てい
ない度合いを表わす値であり、値が小さいほど似ている
ことを示す。マッチング手段101はテンプレートと照
合する入力画像の部分領域の位置をずらしながら上記相
違度算出を繰り返し、得られた相違度の中で最小となる
値があらかじめ定めた閾値より小さい場合に、当該テン
プレートに対応するテロップパターンが入力画像中に存
在すると判定する。
ない度合いを表わす値であり、値が小さいほど似ている
ことを示す。マッチング手段101はテンプレートと照
合する入力画像の部分領域の位置をずらしながら上記相
違度算出を繰り返し、得られた相違度の中で最小となる
値があらかじめ定めた閾値より小さい場合に、当該テン
プレートに対応するテロップパターンが入力画像中に存
在すると判定する。
【0006】
【発明が解決しようとする課題】従来のテロップパター
ン認識装置は以上のように、パターン内の各画素を同等
に扱っているため、テロップパターンと入力画像とで値
の近い画素が多い場合に、テロップパターンが表示され
ていないにもかかわらず、表示されているものと判定し
誤認識してしまうという課題があった。また同様に、認
識対象とするテロップパターンに形の類似したものが複
数ある場合にも、うまく区別できずに誤認識してしまう
という課題もあった。
ン認識装置は以上のように、パターン内の各画素を同等
に扱っているため、テロップパターンと入力画像とで値
の近い画素が多い場合に、テロップパターンが表示され
ていないにもかかわらず、表示されているものと判定し
誤認識してしまうという課題があった。また同様に、認
識対象とするテロップパターンに形の類似したものが複
数ある場合にも、うまく区別できずに誤認識してしまう
という課題もあった。
【0007】この発明は、前記のような課題を解決する
ためになされたものであり、テロップパターンと入力画
像とで値の近い画素が多い場合や、形の類似した複数の
テロップパターンを認識対象とした場合でも、テロップ
パターンを正しく認識するテロップパターン認識装置を
提供することを目的としている。
ためになされたものであり、テロップパターンと入力画
像とで値の近い画素が多い場合や、形の類似した複数の
テロップパターンを認識対象とした場合でも、テロップ
パターンを正しく認識するテロップパターン認識装置を
提供することを目的としている。
【0008】
【課題を解決するための手段】この発明に係るテロップ
パターン認識装置は、画像を入力する画像入力手段と、
認識対象とする標準パターン並びに標準パターン内の各
画素の属性を示す画素情報とを格納する認識辞書と、前
記認識辞書を参照して入力画像中のテロップパターンを
認識するパターン認識手段とを備え、前記パターン認識
手段は画素情報の属性値に基づいて標準パターンを複数
の領域に分割し、各分割領域毎にマッチングを行って複
数の相違度を算出して、当該複数の相違度により認識結
果を決定する。
パターン認識装置は、画像を入力する画像入力手段と、
認識対象とする標準パターン並びに標準パターン内の各
画素の属性を示す画素情報とを格納する認識辞書と、前
記認識辞書を参照して入力画像中のテロップパターンを
認識するパターン認識手段とを備え、前記パターン認識
手段は画素情報の属性値に基づいて標準パターンを複数
の領域に分割し、各分割領域毎にマッチングを行って複
数の相違度を算出して、当該複数の相違度により認識結
果を決定する。
【0009】また、この発明に係るテロップパターン認
識装置は、前記画素情報が、標準パターンにおける各画
素の画素値に基づいて画素を分類した情報であることを
特徴とする。
識装置は、前記画素情報が、標準パターンにおける各画
素の画素値に基づいて画素を分類した情報であることを
特徴とする。
【0010】また、この発明に係るテロップパターン認
識装置は、前記画素情報が、各画素がテロップパターン
の構成画素であるか否かを示す情報であることを特徴と
する。
識装置は、前記画素情報が、各画素がテロップパターン
の構成画素であるか否かを示す情報であることを特徴と
する。
【0011】また、この発明に係るテロップパターン認
識装置は、前記画素情報が、各画素がテロップパターン
の構成画素であるか否かを示すと同時に、テロップパタ
ーンの構成画素の場合は、さらに標準パターンにおける
各画素の画素値に基づいて画素を分類した情報を含むこ
とを特徴とする。
識装置は、前記画素情報が、各画素がテロップパターン
の構成画素であるか否かを示すと同時に、テロップパタ
ーンの構成画素の場合は、さらに標準パターンにおける
各画素の画素値に基づいて画素を分類した情報を含むこ
とを特徴とする。
【0012】また、この発明に係るテロップパターン認
識装置は、前記認識辞書が、標準パターンと画素情報に
加えて標準パターンの各画素に対応する重み情報を格納
し、前記パターン認識手段は前記重み情報により算出し
た重み付き相違度も用いて認識結果を決定することを特
徴とする。
識装置は、前記認識辞書が、標準パターンと画素情報に
加えて標準パターンの各画素に対応する重み情報を格納
し、前記パターン認識手段は前記重み情報により算出し
た重み付き相違度も用いて認識結果を決定することを特
徴とする。
【0013】また、この発明に係るテロップパターン認
識装置は、前記重み情報が、認識対象とするパターンと
パターン内の各画素の属性に基づいて作成した情報であ
ることを特徴とする。
識装置は、前記重み情報が、認識対象とするパターンと
パターン内の各画素の属性に基づいて作成した情報であ
ることを特徴とする。
【0014】
【発明の実施の形態】実施の形態1.以下、この発明の
実施の形態1を図について説明する。図において従来と
同一のものは、同一符号を付して説明を省略する。図1
はこの発明の実施の形態1を示す概略構成図である。2
は認識対象のテロップパターンの情報を格納した認識辞
書、3は認識辞書2に格納されたテロップパターンの標
準パターン、4は同じく認識辞書2に格納された標準パ
ターンの各画素の属性を示す画素情報、5は入力画像内
のテロップパターンを認識するパターン認識手段であ
る。
実施の形態1を図について説明する。図において従来と
同一のものは、同一符号を付して説明を省略する。図1
はこの発明の実施の形態1を示す概略構成図である。2
は認識対象のテロップパターンの情報を格納した認識辞
書、3は認識辞書2に格納されたテロップパターンの標
準パターン、4は同じく認識辞書2に格納された標準パ
ターンの各画素の属性を示す画素情報、5は入力画像内
のテロップパターンを認識するパターン認識手段であ
る。
【0015】次に動作を図2から図6までを用いて説明
する。図2はこの発明の処理フロー図、図3は入力画像
の例、図4は標準パターンの例、図5は画素情報の例で
ある。図6は入力画像の他の例であり、6は情景中に存
在する物体である。
する。図2はこの発明の処理フロー図、図3は入力画像
の例、図4は標準パターンの例、図5は画素情報の例で
ある。図6は入力画像の他の例であり、6は情景中に存
在する物体である。
【0016】まず画像入力手段1が画像を入力して(ス
テップS1)入力画像とする。本実施の形態では、入力
画像は各画素値が0から255までの値をとるグレース
ケール画像であり、白い画素ほど大きな画素値になるも
のとする。図3は入力画像の例であり、カメラで撮像さ
れた情景の中に「あと1分」というテロップ文字が背景
付きで表示されている。本実施の形態では、図3に含ま
れるテロップ文字の中の「1」を認識する例で説明す
る。
テップS1)入力画像とする。本実施の形態では、入力
画像は各画素値が0から255までの値をとるグレース
ケール画像であり、白い画素ほど大きな画素値になるも
のとする。図3は入力画像の例であり、カメラで撮像さ
れた情景の中に「あと1分」というテロップ文字が背景
付きで表示されている。本実施の形態では、図3に含ま
れるテロップ文字の中の「1」を認識する例で説明す
る。
【0017】パターン認識手段5は、入力画像に対して
認識辞書2を参照し画素毎にその属性に基づいた相違度
を算出する(ステップS2)。認識辞書2には、認識対
象となるテロップパターンそのものである標準パターン
3と、標準パターン3の各画素の属性を表わす画素情報
4があらかじめ格納されている。本実施の形態では、画
素情報4は、標準パターンの各画素がパターン全体の中
で黒い方に属するか白い方に属するかを表わす情報と
し、黒い方を画素属性0、白い方を画素属性1とした例
で説明する。
認識辞書2を参照し画素毎にその属性に基づいた相違度
を算出する(ステップS2)。認識辞書2には、認識対
象となるテロップパターンそのものである標準パターン
3と、標準パターン3の各画素の属性を表わす画素情報
4があらかじめ格納されている。本実施の形態では、画
素情報4は、標準パターンの各画素がパターン全体の中
で黒い方に属するか白い方に属するかを表わす情報と
し、黒い方を画素属性0、白い方を画素属性1とした例
で説明する。
【0018】このような画素情報は、例えば電子情報通
信学会論文誌 Vol.J63-D NO.4 pp.349-356の「判別
および最小2乗基準に基づく自動しきい値選定法」に記
載の2値化処理を標準パターンに適用することで自動的
に作成できる。
信学会論文誌 Vol.J63-D NO.4 pp.349-356の「判別
および最小2乗基準に基づく自動しきい値選定法」に記
載の2値化処理を標準パターンに適用することで自動的
に作成できる。
【0019】図4は標準パターン3の例(拡大図)であ
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。図5は画素情報4の例(拡大図)であり、
属性0の画素の領域を黒で、属性1の画素の領域を白で
表現したものである。
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。図5は画素情報4の例(拡大図)であり、
属性0の画素の領域を黒で、属性1の画素の領域を白で
表現したものである。
【0020】ステップS2における相違度算出では、パ
ターン認識手段5は、下記の式2に従って、画素情報4
で指定される画素属性別にそれぞれの相違度を算出す
る。なお、本実施の形態では、入力画像との照合基準位
置(式2における(u, v))はあらかじめ与えられてお
り、この領域の相違度を算出するものとする。
ターン認識手段5は、下記の式2に従って、画素情報4
で指定される画素属性別にそれぞれの相違度を算出す
る。なお、本実施の形態では、入力画像との照合基準位
置(式2における(u, v))はあらかじめ与えられてお
り、この領域の相違度を算出するものとする。
【0021】
【数2】
【0022】その後パターン認識手段5は、各相違度に
ついて下記の式3が成立するか判定し(ステップS
3)、全相違度について式3が成立した場合、対応する
テロップパターン「1」が表示されているものと判断す
る。
ついて下記の式3が成立するか判定し(ステップS
3)、全相違度について式3が成立した場合、対応する
テロップパターン「1」が表示されているものと判断す
る。
【0023】D(i)< TH(i) … (式3) ただし、D(i)は画素属性iの相違度、TH(i)は
画素属性i用の閾値である。
画素属性i用の閾値である。
【0024】ここで、例えば図6に示す入力画像のよう
に、テロップパターンの多くの画素とほぼ同じ画素値と
なる物体6が情景中に存在する場合、従来のように照合
対象の各画素を同等に扱うと誤認識するが、この場合は
値の近い画素が標準パターンにおける黒い領域に限られ
るため、本実施の形態によれば、画素種別0の相違度は
極めて小さくなるものの画素種別1の相違度が大きくな
って式3を満足せず、誤認識を回避できる。
に、テロップパターンの多くの画素とほぼ同じ画素値と
なる物体6が情景中に存在する場合、従来のように照合
対象の各画素を同等に扱うと誤認識するが、この場合は
値の近い画素が標準パターンにおける黒い領域に限られ
るため、本実施の形態によれば、画素種別0の相違度は
極めて小さくなるものの画素種別1の相違度が大きくな
って式3を満足せず、誤認識を回避できる。
【0025】本実施の形態では、以上の工程を経ること
で、認識対象のテロップパターンと値の近い画素が情景
中に多く存在する場合でも、誤認識を回避しテロップパ
ターンを正しく認識できる。特に画素属性を標準パター
ンの各画素の画素値に基づいて定めておくことで、コン
トラストの比較的大きなテロップパターンに対する改善
効果が大きい。
で、認識対象のテロップパターンと値の近い画素が情景
中に多く存在する場合でも、誤認識を回避しテロップパ
ターンを正しく認識できる。特に画素属性を標準パター
ンの各画素の画素値に基づいて定めておくことで、コン
トラストの比較的大きなテロップパターンに対する改善
効果が大きい。
【0026】なお、本実施の形態では、入力画像との照
合基準位置をあらかじめ与えておくものとしたが、これ
を与えず、従来例と同様に照合基準位置をずらしながら
相違度算出を繰り返すようにしても良い。また画素属性
を画素値に基づいた2通りとしたが、これはより細かく
分け、3通り以上としても良い。
合基準位置をあらかじめ与えておくものとしたが、これ
を与えず、従来例と同様に照合基準位置をずらしながら
相違度算出を繰り返すようにしても良い。また画素属性
を画素値に基づいた2通りとしたが、これはより細かく
分け、3通り以上としても良い。
【0027】実施の形態2.以下、この発明の実施の形
態2を図について説明する。概略構成図は実施の形態1
と同様に図1である。次に動作を図により説明する。本
実施の形態の処理フローは実施の形態1と同様に図2で
ある。ここでは図2及び図7〜10を用いて動作を説明
する。図7は入力画像の例、図8は標準パターンの例、
図9は画素情報の例である。また図10は別の入力画像
の例であり、7は情景中に存在する白い物体である。
態2を図について説明する。概略構成図は実施の形態1
と同様に図1である。次に動作を図により説明する。本
実施の形態の処理フローは実施の形態1と同様に図2で
ある。ここでは図2及び図7〜10を用いて動作を説明
する。図7は入力画像の例、図8は標準パターンの例、
図9は画素情報の例である。また図10は別の入力画像
の例であり、7は情景中に存在する白い物体である。
【0028】まず、実施の形態1と同様の手順で、画像
入力手段1が画像を入力する(ステップS1)。図7は
入力画像の例であり、カメラで撮像された情景の中に
「あと1分」というテロップ文字が表示されているが、
これは実施の形態1で認識対象とした背景付きのテロッ
プ文字とは異なり、情景中に白い文字線(単一画素値の
文字線)だけが表示されたパターンである。本実施の形
態では、図7に含まれるテロップ文字の中の「1」を認
識する例で説明する。
入力手段1が画像を入力する(ステップS1)。図7は
入力画像の例であり、カメラで撮像された情景の中に
「あと1分」というテロップ文字が表示されているが、
これは実施の形態1で認識対象とした背景付きのテロッ
プ文字とは異なり、情景中に白い文字線(単一画素値の
文字線)だけが表示されたパターンである。本実施の形
態では、図7に含まれるテロップ文字の中の「1」を認
識する例で説明する。
【0029】入力画像に対してパターン認識手段5は、
実施の形態1と同様に式2に従って画素毎の属性に基づ
いた相違度を算出する(ステップS2)。本実施の形態
では、標準パターン3はテロップパターンである文字線
の画素値を格納したパターンとし、テロップでない画素
には最も近い文字線画素(文字線を構成する画素)の値
を設定しておくものとする。また画素情報4は、標準パ
ターン3の各画素がテロップパターンの構成画素である
か否かを表わす情報とし、テロップパターンでなければ
画素属性0、テロップパターンなら画素属性1とした例
で説明する。
実施の形態1と同様に式2に従って画素毎の属性に基づ
いた相違度を算出する(ステップS2)。本実施の形態
では、標準パターン3はテロップパターンである文字線
の画素値を格納したパターンとし、テロップでない画素
には最も近い文字線画素(文字線を構成する画素)の値
を設定しておくものとする。また画素情報4は、標準パ
ターン3の各画素がテロップパターンの構成画素である
か否かを表わす情報とし、テロップパターンでなければ
画素属性0、テロップパターンなら画素属性1とした例
で説明する。
【0030】図8は標準パターン3の例(拡大図)であ
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。これは上記説明の通り、文字線画素の値を
全面に反映させたパターンであるため、全面白っぽいパ
ターンとなっている。また図9は画素情報4の例(拡大
図)であり、属性0の画素の領域を黒で、属性1の画素
の領域を白で表現したものである。
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。これは上記説明の通り、文字線画素の値を
全面に反映させたパターンであるため、全面白っぽいパ
ターンとなっている。また図9は画素情報4の例(拡大
図)であり、属性0の画素の領域を黒で、属性1の画素
の領域を白で表現したものである。
【0031】その後パターン認識手段5は、各相違度に
ついて下記の式4と式5が成立するか判定し(ステップ
S3)、両者が成立した場合、対応するテロップパター
ン「1」が表示されているものと判断する。
ついて下記の式4と式5が成立するか判定し(ステップ
S3)、両者が成立した場合、対応するテロップパター
ン「1」が表示されているものと判断する。
【0032】D(0)> TH(0) … (式4) D(1)< TH(1) … (式5) ただし、D(i)は画素属性iの相違度、TH(i)は
画素属性i用の閾値である。
画素属性i用の閾値である。
【0033】ここで式4は、文字線画素でない画素(画
素属性0)の値がテロップパターンの文字線画素の画素
値と一定以上差があることを意味し、また式5は、文字
線画素(画素属性1)の値が標準パターン3における文
字線画素の値と差の小さいことを意味している。このた
め、例えば図10のように、入力画像中に文字線の画素
値に等しい白い物体7が写っている場合でも、式5は成
立しても式4が成立せず、誤認識を回避できる。
素属性0)の値がテロップパターンの文字線画素の画素
値と一定以上差があることを意味し、また式5は、文字
線画素(画素属性1)の値が標準パターン3における文
字線画素の値と差の小さいことを意味している。このた
め、例えば図10のように、入力画像中に文字線の画素
値に等しい白い物体7が写っている場合でも、式5は成
立しても式4が成立せず、誤認識を回避できる。
【0034】この実施の形態では、以上の工程を経るこ
とで、テロップパターンが単一画素値で構成され、コン
トラストのない場合でも、誤認識を回避しテロップパタ
ーンを正しく認識できる。
とで、テロップパターンが単一画素値で構成され、コン
トラストのない場合でも、誤認識を回避しテロップパタ
ーンを正しく認識できる。
【0035】実施の形態3.以下、この発明の実施の形
態3を図について説明する。実施の形態1と同様に概略
構成図は図1である。次に動作を図により説明する。本
実施の形態の処理フローは実施の形態1と同様に図2で
ある。ここでは図2と図11〜13を用いて動作を説明
する。図11は入力画像の例、図12は標準パターンの
例、図13は画素情報の例である。
態3を図について説明する。実施の形態1と同様に概略
構成図は図1である。次に動作を図により説明する。本
実施の形態の処理フローは実施の形態1と同様に図2で
ある。ここでは図2と図11〜13を用いて動作を説明
する。図11は入力画像の例、図12は標準パターンの
例、図13は画素情報の例である。
【0036】まず、実施の形態1と同様の手順で、画像
入力手段1が画像を入力する(ステップS1)。図11
が入力画像の例であり、カメラで撮像された情景の中に
「あと1分」というテロップ文字が表示されているが、
これは実施の形態1で認識対象とした背景付きのテロッ
プ文字とは異なり、情景中に白い文字線が黒い影付きで
(影付きフォントで)表示されたパターンである。本実
施の形態では、図11に含まれるテロップ文字の中の
「1」を認識する例で説明する。
入力手段1が画像を入力する(ステップS1)。図11
が入力画像の例であり、カメラで撮像された情景の中に
「あと1分」というテロップ文字が表示されているが、
これは実施の形態1で認識対象とした背景付きのテロッ
プ文字とは異なり、情景中に白い文字線が黒い影付きで
(影付きフォントで)表示されたパターンである。本実
施の形態では、図11に含まれるテロップ文字の中の
「1」を認識する例で説明する。
【0037】入力画像に対してパターン認識手段5は、
実施の形態1の式2に従って画素毎の属性に基づいた相
違度を算出する(ステップS2)。本実施の形態では、
標準パターン3はテロップ表示される文字線及び影の画
素値を格納したパターンを設定し、テロップでない画素
は任意の値としておく。
実施の形態1の式2に従って画素毎の属性に基づいた相
違度を算出する(ステップS2)。本実施の形態では、
標準パターン3はテロップ表示される文字線及び影の画
素値を格納したパターンを設定し、テロップでない画素
は任意の値としておく。
【0038】また画素情報4としては、標準パターン3
の各画素がテロップパターンの構成画素であるか否か、
また構成画素ならば、テロップパターン全体の中で黒い
方に属すか白い方に属すかを表わす情報とし、テロップ
パターンの構成画素でなければ画素属性0、構成画素の
黒い方を画素属性1、白い方を画素属性2とした例で説
明する。図12は標準パターン3の例(拡大図)であ
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。
の各画素がテロップパターンの構成画素であるか否か、
また構成画素ならば、テロップパターン全体の中で黒い
方に属すか白い方に属すかを表わす情報とし、テロップ
パターンの構成画素でなければ画素属性0、構成画素の
黒い方を画素属性1、白い方を画素属性2とした例で説
明する。図12は標準パターン3の例(拡大図)であ
り、入力画像と同じく各画素の値が0から255までの
範囲をとる。
【0039】また図13は画素情報4の例(拡大図)で
あり、属性0の画素の領域を斜線で、属性1の画素の領
域を黒の塗りつぶしで、属性2の画素の領域を白の塗り
つぶしで表現したものである。
あり、属性0の画素の領域を斜線で、属性1の画素の領
域を黒の塗りつぶしで、属性2の画素の領域を白の塗り
つぶしで表現したものである。
【0040】また本実施の形態では、ステップS2の相
違度算出においてパターン認識手段5は、画素属性1と
画素属性2の相違度だけを算出し、画素属性0の画素に
ついては無視するものとする。
違度算出においてパターン認識手段5は、画素属性1と
画素属性2の相違度だけを算出し、画素属性0の画素に
ついては無視するものとする。
【0041】その後パターン認識手段5は、画素属性1
と画素属性2の相違度について実施の形態1で示した式
3が成立するか判定し(ステップS3)、両者が成立し
た場合、対応するテロップパターン「1」が表示されて
いるものと判定する。実施の形態2ではテロップパター
ンでない画素の相違度も使用したが、図11のようにコ
ントラストのあるテロップパターンを対象とする場合
は、むしろテロップパターンの対応画素だけを処理した
方が安定して認識できる。
と画素属性2の相違度について実施の形態1で示した式
3が成立するか判定し(ステップS3)、両者が成立し
た場合、対応するテロップパターン「1」が表示されて
いるものと判定する。実施の形態2ではテロップパター
ンでない画素の相違度も使用したが、図11のようにコ
ントラストのあるテロップパターンを対象とする場合
は、むしろテロップパターンの対応画素だけを処理した
方が安定して認識できる。
【0042】本実施の形態では、以上の工程を経ること
で、テロップパターンの面積が小さい場合でも安定して
認識することができる。
で、テロップパターンの面積が小さい場合でも安定して
認識することができる。
【0043】実施の形態4.以下、この発明の実施の形
態4を図について説明する。概略構成図は図14であ
る。図14において、8は認識辞書2に格納された標準
パターン3の各画素に対応する重み情報である。次に動
作を図により説明する。本実施の形態の処理フローは図
15である。ここでは図15〜19を用いて動作を説明
する。図16は入力画像の例であり、本実施の形態で
は、本図に示すテロップ文字「あと2分」「あと3分」
の中の「2」及び「3」を認識する例で説明する。図1
7は標準パターンの例、図18は画素情報の例、図19
は重み情報の例である。
態4を図について説明する。概略構成図は図14であ
る。図14において、8は認識辞書2に格納された標準
パターン3の各画素に対応する重み情報である。次に動
作を図により説明する。本実施の形態の処理フローは図
15である。ここでは図15〜19を用いて動作を説明
する。図16は入力画像の例であり、本実施の形態で
は、本図に示すテロップ文字「あと2分」「あと3分」
の中の「2」及び「3」を認識する例で説明する。図1
7は標準パターンの例、図18は画素情報の例、図19
は重み情報の例である。
【0044】本実施の形態では、標準パターン3はテロ
ップパターンそのものであり、また画素情報4は標準パ
ターン3の各画素がパターン全体の中で黒い方に属すか
白い方に属すかを表わす情報とし、黒い方を画素属性
0、白い方を画素属性1とする。さらに重み情報8は各
画素に対応して0から255までの値をとるものとす
る。
ップパターンそのものであり、また画素情報4は標準パ
ターン3の各画素がパターン全体の中で黒い方に属すか
白い方に属すかを表わす情報とし、黒い方を画素属性
0、白い方を画素属性1とする。さらに重み情報8は各
画素に対応して0から255までの値をとるものとす
る。
【0045】図17は標準パターン3の例(拡大図)で
あり、認識対象パターンである「2」と「3」の標準パ
ターンが存在する。また図18は画素情報4の例(拡大
図)であり、属性0の画素の領域を黒で、属性1の画素
の領域を白で表現している。また図19は重み情報8の
例(拡大図)であり、重みの大きい部分を白く、重みの
小さい部分を黒く表現している。この重み情報は認識対
象パターンの差分を基に作成したもので、パターンの違
いを強調することを目的として設定した例である。
あり、認識対象パターンである「2」と「3」の標準パ
ターンが存在する。また図18は画素情報4の例(拡大
図)であり、属性0の画素の領域を黒で、属性1の画素
の領域を白で表現している。また図19は重み情報8の
例(拡大図)であり、重みの大きい部分を白く、重みの
小さい部分を黒く表現している。この重み情報は認識対
象パターンの差分を基に作成したもので、パターンの違
いを強調することを目的として設定した例である。
【0046】まず、実施の形態1と同様の手順で、画像
入力手段1が画像を入力し(ステップT1)、入力画像
に対してパターン認識手段5が画素属性毎の相違度を算
出する(ステップT2)。さらにパターン認識手段5
は、重み情報8も参照し、下記の式6により重み付き相
違度を算出する(ステップT3)。
入力手段1が画像を入力し(ステップT1)、入力画像
に対してパターン認識手段5が画素属性毎の相違度を算
出する(ステップT2)。さらにパターン認識手段5
は、重み情報8も参照し、下記の式6により重み付き相
違度を算出する(ステップT3)。
【0047】
【数3】
【0048】その後パターン認識手段5は、重み付き相
違度が最も小さいパターン(「2」または「3」のどち
らか)を求め、当該パターンに対応した画素属性0と画
素属性1の相違度が実施の形態1で示した式3を満足す
るか、さらに重み付き相違度も下記の式7を満たすかど
うか判定し(ステップT4)、この全ての式を満足する
場合に当該パターンが入力画像中に存在するものと判断
する。
違度が最も小さいパターン(「2」または「3」のどち
らか)を求め、当該パターンに対応した画素属性0と画
素属性1の相違度が実施の形態1で示した式3を満足す
るか、さらに重み付き相違度も下記の式7を満たすかど
うか判定し(ステップT4)、この全ての式を満足する
場合に当該パターンが入力画像中に存在するものと判断
する。
【0049】 DW(2)−DW(1)> THW … (式7) ただし、DW(1)は最も小さい重み付き相違度、DW
(2)は2番目に小さい重み付き相違度、THWは重み
付き相違度用の閾値である。
(2)は2番目に小さい重み付き相違度、THWは重み
付き相違度用の閾値である。
【0050】この実施の形態では、以上の工程を経るこ
とで、認識対象のテロップパターンに形の類似したもの
が複数ある場合でも安定して認識することができる。な
お本実施の形態では、重み情報の値を0から255まで
の値としたが、これはもっと狭い範囲の値、あるいはも
っと広い範囲の値でも良く、また小数でも良い。また重
み情報は標準パターンの差分で作成したものを用いた
が、これはパターンとして特徴的な領域、例えば黒い部
分と白い部分の境界領域を強調するような重み情報とし
ても良い。
とで、認識対象のテロップパターンに形の類似したもの
が複数ある場合でも安定して認識することができる。な
お本実施の形態では、重み情報の値を0から255まで
の値としたが、これはもっと狭い範囲の値、あるいはも
っと広い範囲の値でも良く、また小数でも良い。また重
み情報は標準パターンの差分で作成したものを用いた
が、これはパターンとして特徴的な領域、例えば黒い部
分と白い部分の境界領域を強調するような重み情報とし
ても良い。
【0051】実施の形態5.以下、この発明の実施の形
態5を図について説明する。概略構成図は実施の形態4
と同様に図14である。次に動作を図により説明する。
本実施の形態の処理フローは実施の形態4と同様に図1
5である。ここでは図15と図20〜21を用いて動作
を説明する。図20は入力画像の例であり、本実施の形
態では、本図に示すテロップ文字「あと2分」「あと3
分」の中の「2」及び「3」を認識する例で説明する。
このテロップ文字は実施の形態2での入力画像例と同様
に、背景付きのテロップパターンではなく、情景中に白
い文字線(単一画素値の文字線)だけが表示されたパタ
ーンである。また図21は重み情報の例である。
態5を図について説明する。概略構成図は実施の形態4
と同様に図14である。次に動作を図により説明する。
本実施の形態の処理フローは実施の形態4と同様に図1
5である。ここでは図15と図20〜21を用いて動作
を説明する。図20は入力画像の例であり、本実施の形
態では、本図に示すテロップ文字「あと2分」「あと3
分」の中の「2」及び「3」を認識する例で説明する。
このテロップ文字は実施の形態2での入力画像例と同様
に、背景付きのテロップパターンではなく、情景中に白
い文字線(単一画素値の文字線)だけが表示されたパタ
ーンである。また図21は重み情報の例である。
【0052】本実施の形態では、標準パターン3は実施
の形態2と同様に、テロップパターンである文字線の画
素値を格納したパターンとし、また画素情報4もテロッ
プパターンであるか否かを表わす情報(テロップパター
ンでなければ画素属性0、テロップパターンなら画素属
性1)とする(共に図示しない)。また重み情報8は、
各画素に対応して−128から127までの値をとるも
のとする。
の形態2と同様に、テロップパターンである文字線の画
素値を格納したパターンとし、また画素情報4もテロッ
プパターンであるか否かを表わす情報(テロップパター
ンでなければ画素属性0、テロップパターンなら画素属
性1)とする(共に図示しない)。また重み情報8は、
各画素に対応して−128から127までの値をとるも
のとする。
【0053】図21は重み情報8の例(拡大図)であ
り、正の重み値の部分を白く、負の重み値の部分を黒く
表現しており、斜線部は重み0の部分を示す。この重み
情報は認識対象パターンの差分から画素属性を考慮して
作成したもので、背景付きでないテロップパターンの違
いを強調することを目的として設定した例である。
り、正の重み値の部分を白く、負の重み値の部分を黒く
表現しており、斜線部は重み0の部分を示す。この重み
情報は認識対象パターンの差分から画素属性を考慮して
作成したもので、背景付きでないテロップパターンの違
いを強調することを目的として設定した例である。
【0054】まず、実施の形態2と同様の手順で、画像
入力手段1が画像を入力し(ステップT1)、入力画像
に対してパターン認識手段5が画素属性毎の相違度を算
出する(ステップT2)。さらにパターン認識手段5
は、実施の形態4と同様の手順で重み付き相違度を算出
する(ステップT3)。
入力手段1が画像を入力し(ステップT1)、入力画像
に対してパターン認識手段5が画素属性毎の相違度を算
出する(ステップT2)。さらにパターン認識手段5
は、実施の形態4と同様の手順で重み付き相違度を算出
する(ステップT3)。
【0055】その後パターン認識手段5は、重み付き相
違度が最も小さいパターン(「2」または「3」のどち
らか)を求め、当該パターンに対応した画素属性0と画
素属性1の相違度が実施の形態2で示した式4と式5を
満足するか、さらに重み付き相違度も実施の形態5で示
した式7を満たすかどうか判定し(ステップT4)、こ
の全ての式を満足する場合に当該パターンが入力画像中
に存在するものと判断する。
違度が最も小さいパターン(「2」または「3」のどち
らか)を求め、当該パターンに対応した画素属性0と画
素属性1の相違度が実施の形態2で示した式4と式5を
満足するか、さらに重み付き相違度も実施の形態5で示
した式7を満たすかどうか判定し(ステップT4)、こ
の全ての式を満足する場合に当該パターンが入力画像中
に存在するものと判断する。
【0056】この実施の形態では、以上の工程を経るこ
とで、認識対象のテロップパターンが背景付きでなく、
かつ形の類似したものが複数ある場合でも安定して認識
することができる。なお本実施の形態では、重み情報の
値を−128から127までの値としたが、これはもっ
と狭い範囲や広い範囲の値でも良く、また小数でも良
い。
とで、認識対象のテロップパターンが背景付きでなく、
かつ形の類似したものが複数ある場合でも安定して認識
することができる。なお本実施の形態では、重み情報の
値を−128から127までの値としたが、これはもっ
と狭い範囲や広い範囲の値でも良く、また小数でも良
い。
【0057】なお、以上の実施の形態1〜5では、テロ
ップパターンとして文字パターンを対象としたが、これ
は絵やマークなど、文字でない任意のパターンを対象と
しても良い。また、入力画像や標準パターンを0から2
55までの値をとるグレースケール画像としたが、これ
はより狭い範囲、あるいは広い範囲の値をとっても良
く、またカラー画像でも良い。
ップパターンとして文字パターンを対象としたが、これ
は絵やマークなど、文字でない任意のパターンを対象と
しても良い。また、入力画像や標準パターンを0から2
55までの値をとるグレースケール画像としたが、これ
はより狭い範囲、あるいは広い範囲の値をとっても良
く、またカラー画像でも良い。
【0058】
【発明の効果】以上のように、この発明に係わるテロッ
プパターン認識装置によれば、標準パターンと画素属性
を示す画素情報とを参照し、画素属性毎に相違度算出・
判定を行うことで、認識対象のテロップパターンと画素
値の近い画素が情景中に多く存在する場合でも誤認識を
回避でき、正しくテロップパターンを認識できる。
プパターン認識装置によれば、標準パターンと画素属性
を示す画素情報とを参照し、画素属性毎に相違度算出・
判定を行うことで、認識対象のテロップパターンと画素
値の近い画素が情景中に多く存在する場合でも誤認識を
回避でき、正しくテロップパターンを認識できる。
【0059】また、この発明に係わるテロップパターン
認識装置によれば、標準パターンにおける各画素の画素
値に基づいて画素属性を定めておくことで、コントラス
トが大きめのテロップパターンを正しく認識できる。
認識装置によれば、標準パターンにおける各画素の画素
値に基づいて画素属性を定めておくことで、コントラス
トが大きめのテロップパターンを正しく認識できる。
【0060】また、この発明に係わるテロップパターン
認識装置によれば、各画素がテロップパターンの構成画
素であるか否かを示す情報を画素情報とすることで、コ
ントラストのないテロップパターンも正しく認識でき
る。
認識装置によれば、各画素がテロップパターンの構成画
素であるか否かを示す情報を画素情報とすることで、コ
ントラストのないテロップパターンも正しく認識でき
る。
【0061】また、この発明に係わるテロップパターン
認識装置によれば、各画素がテロップパターンの構成画
素であるか否かを示すと同時に、テロップパターンの構
成画素の場合は、さらに標準パターンにおける各画素の
画素値に基づいて画素を分類した情報を画素情報とする
ことで、テロップパターンの面積が小さい場合でも安定
して認識することができる。
認識装置によれば、各画素がテロップパターンの構成画
素であるか否かを示すと同時に、テロップパターンの構
成画素の場合は、さらに標準パターンにおける各画素の
画素値に基づいて画素を分類した情報を画素情報とする
ことで、テロップパターンの面積が小さい場合でも安定
して認識することができる。
【0062】また、この発明に係わるテロップパターン
認識装置によれば、重み情報も併用することで、認識対
象のテロップパターンに形の類似したものが複数ある場
合でも安定して認識することができる
認識装置によれば、重み情報も併用することで、認識対
象のテロップパターンに形の類似したものが複数ある場
合でも安定して認識することができる
【0063】また、この発明に係わるテロップパターン
認識装置によれば、認識対象とするパターンとパターン
内の各画素の属性に基づいて作成した重み情報を使用す
ることで、認識対象のテロップパターンが背景付きでな
く、かつ形の類似したものが複数ある場合でも安定して
認識することができる。
認識装置によれば、認識対象とするパターンとパターン
内の各画素の属性に基づいて作成した重み情報を使用す
ることで、認識対象のテロップパターンが背景付きでな
く、かつ形の類似したものが複数ある場合でも安定して
認識することができる。
【図1】 この発明の実施の形態1を示す概略構成図で
ある。
ある。
【図2】 実施の形態1の処理フロー図である。
【図3】 実施の形態1における入力画像例の説明図で
ある。
ある。
【図4】 実施の形態1における標準パターン例の説明
図である。
図である。
【図5】 実施の形態1における画素情報例の説明図で
ある。
ある。
【図6】 実施の形態1における他の入力画像例の説明
図である。
図である。
【図7】 実施の形態2における入力画像例の説明図で
ある。
ある。
【図8】 実施の形態2における標準パターン例の説明
図である。
図である。
【図9】 実施の形態2における画素情報例の説明図で
ある。
ある。
【図10】 実施の形態1における他の入力画像例の説
明図である。
明図である。
【図11】 実施の形態3における入力画像例の説明図
である。
である。
【図12】 実施の形態3における標準パターン例の説
明図である。
明図である。
【図13】 実施の形態3における画素情報例の説明図
である。
である。
【図14】 実施の形態4を示す概略構成図である。
【図15】 実施の形態4の処理フロー図である。
【図16】 実施の形態4における入力画像例の説明図
である。
である。
【図17】 実施の形態4における標準パターン例の説
明図である。
明図である。
【図18】 実施の形態4における画素情報例の説明図
である。
である。
【図19】 実施の形態4における重み情報例の説明図
である。
である。
【図20】 実施の形態5における入力画像例の説明図
である。
である。
【図21】 実施の形態5における重み情報例の説明図
である。
である。
【図22】 従来のテロップパターン認識装置を示すブ
ロック図である。
ロック図である。
1:画像入力手段、2:認識辞書、3:標準パターン、
4:画素情報、5:パターン認識手段、6:情景中に存
在する物体、7:情景中に存在する白い物体、100:
テンプレート格納手段、101:マッチング手段。
4:画素情報、5:パターン認識手段、6:情景中に存
在する物体、7:情景中に存在する白い物体、100:
テンプレート格納手段、101:マッチング手段。
Claims (6)
- 【請求項1】 画像を入力する画像入力手段と、認識対
象とする標準パターン並びに標準パターン内の各画素の
属性を示す画素情報とを格納する認識辞書と、前記認識
辞書を参照して入力画像中のテロップパターンを認識す
るパターン認識手段とを備え、前記パターン認識手段は
画素情報の属性値に基づいて標準パターンを複数の領域
に分割し、各分割領域毎にマッチングを行って複数の相
違度を算出して、当該複数の相違度により認識結果を決
定することを特徴とするテロップパターン認識装置。 - 【請求項2】 前記画素情報は、標準パターンにおける
各画素の画素値に基づいて画素を分類した情報であるこ
とを特徴とする請求項1のテロップパターン認識装置。 - 【請求項3】 前記画素情報は、各画素がテロップパタ
ーンの構成画素であるか否かを示す情報であることを特
徴とする請求項1のテロップパターン認識装置。 - 【請求項4】 前記画素情報は、各画素がテロップパタ
ーンの構成画素であるか否かを示すと同時に、テロップ
パターンの構成画素の場合は、さらに標準パターンにお
ける各画素の画素値に基づいて画素を分類した情報を含
むことを特徴とする請求項1のテロップパターン認識装
置。 - 【請求項5】 前記認識辞書は、標準パターンと画素情
報に加えて標準パターンの各画素に対応する重み情報を
格納し、前記パターン認識手段は前記重み情報により算
出した重み付き相違度も用いて認識結果を決定すること
を特徴とする請求項1〜4のテロップパターン認識装
置。 - 【請求項6】 前記重み情報は、認識対象とするパター
ンとパターン内の各画素の属性に基づいて作成した情報
であることを特徴とする請求項5のテロップパターン認
識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264904A JP2002074265A (ja) | 2000-09-01 | 2000-09-01 | テロップパターン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264904A JP2002074265A (ja) | 2000-09-01 | 2000-09-01 | テロップパターン認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002074265A true JP2002074265A (ja) | 2002-03-15 |
Family
ID=18752247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000264904A Abandoned JP2002074265A (ja) | 2000-09-01 | 2000-09-01 | テロップパターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002074265A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005086092A1 (ja) * | 2004-03-03 | 2005-09-15 | Nec Corporation | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム |
-
2000
- 2000-09-01 JP JP2000264904A patent/JP2002074265A/ja not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005086092A1 (ja) * | 2004-03-03 | 2005-09-15 | Nec Corporation | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム |
| US7991232B2 (en) | 2004-03-03 | 2011-08-02 | Nec Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7454040B2 (en) | Systems and methods of detecting and correcting redeye in an image suitable for embedded applications | |
| US6263113B1 (en) | Method for detecting a face in a digital image | |
| US8059868B2 (en) | License plate recognition apparatus, license plate recognition method, and computer-readable storage medium | |
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| JPH0620092A (ja) | 文書画像の領域識別方法 | |
| US7146047B2 (en) | Image processing apparatus and method generating binary image from a multilevel image | |
| JP2001266068A (ja) | 表認識方法と表認識装置と文字認識装置及び表認識プログラムを記録した記憶媒体 | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| US6269186B1 (en) | Image processing apparatus and method | |
| JP2001283153A (ja) | カラー画像から文字列パターンを抽出する装置および方法 | |
| US7130085B2 (en) | Half-tone dot elimination method and system thereof | |
| JP3215163B2 (ja) | 罫線識別方法及び領域識別方法 | |
| JP2001222683A (ja) | 画像処理方法、画像処理装置、文字認識方法、文字認識装置及び記憶媒体 | |
| JP2868134B2 (ja) | 画像処理方法及び装置 | |
| JP2002074265A (ja) | テロップパターン認識装置 | |
| JP4116377B2 (ja) | 画像処理方法および画像処理装置 | |
| JPH10232926A (ja) | 画像処理装置及びその方法 | |
| JP2001043312A (ja) | 文書画像処理装置 | |
| JPH0581475A (ja) | 文字領域抽出方法 | |
| JP2001291056A (ja) | 文書画像認識装置及び記録媒体 | |
| JP2003216958A (ja) | 多角形検出装置、多角形検出方法及び多角形検出プログラム | |
| JP2001143076A (ja) | 画像処理装置 | |
| JPH0573718A (ja) | 領域属性識別方式 | |
| JPH0535914A (ja) | 画像傾き検出方法 | |
| JP2000331118A (ja) | 画像処理装置及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20070110 |