JP2014059691A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画像上の被写体を、被写体そのものとして鑑賞させつつ、鑑賞者に被写体の動きを知覚させることができるようにする。
【解決手段】エッジ検出部は、供給された入力画像の動被写体領域内から、動被写体領域の動かしたい方向と直交するエッジを検出する。輝度変化判定部は、検出されたエッジについて、動被写体領域の動かしたい方向に沿って、エッジ近傍の領域で輝度値が増加しているかまたは減少しているかを判定する。輪郭線追加部は、入力画像のエッジ部分を、輝度変化判定部による判定結果に応じて時間方向に変化する輝度値の輪郭線で上書きし、出力画像とする。これにより、輪郭部分の輝度変化によって錯視が生じ、動被写体領域が動いているように知覚させる出力画像を得ることができる。本技術は、画像処理装置に適用することができる。
【選択図】図６

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、画像上の被写体を、被写体そのものとして鑑賞させつつ、鑑賞者に被写体の動きを知覚させることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、錯視を利用して動きを表現する画像処理が知られている（例えば、非特許文献１参照）。非特許文献１では、絵画などの入力画像を解析して、エッジの流れる方向を求め、その方向に対して鑑賞者がOptimized Fraser-Wilcox Illusionを引き起こすように模様を作成する手法が記載されている。

また、画像上の被写体を強調するための技術として、画像上のエッジを検出し、そのエッジ部分に輪郭データを付加する技術も提案されている（例えば、特許文献１参照）。

Ming-Te Chi, et. al. 「Self-Animating Images: Illusory Motion Using Repeated Asymmetric Patterns」 ACM Transaction on Graphics (Proceedings of SIGGRAPH 2008), 27, No.3.

特開平５−３１４２７３号公報

しかしながら、上述した技術では、撮影者により撮影された風景等の被写体を、被写体そのものとして鑑賞者に鑑賞させつつ、かつ錯視を利用して、撮影者が撮影した被写体の動きを鑑賞者に知覚させることはできなかった。

例えば、非特許文献１に記載の技術では、入力画像を加工して得られる出力画像は、入力画像とはかけ離れた模様からなる画像となる。そのため、被写体を撮影して得られた画像に対して非特許文献１の技術を適用すると、得られる出力画像は、撮影者が撮影した風景等の被写体をそのまま鑑賞する画像としては不適切な画像となってしまう。

本技術は、このような状況に鑑みてなされたものであり、画像上の被写体を、被写体そのものとして鑑賞させつつ、鑑賞者に被写体の動きを知覚させることができるようにするものである。

本技術の一側面の画像処理装置は、入力画像上の被写体のエッジを検出するエッジ検出部と、前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定する輝度変化判定部と、前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加する輪郭線追加部とを備える。

前記所定方向を、前記エッジと直交する方向とすることができる。

前記輪郭線追加部には、第１の期間において前記輪郭線の輝度値が所定の輝度値から増加または減少し、前記第１の期間よりも長い第２の期間において、前記輪郭線の輝度値が前記所定の輝度値へと変化するように、前記輪郭線の輝度値を定めさせることができる。

前記輝度変化判定部には、前記入力画像上の第１の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向への変化を判定させ、前記入力画像上の前記第１の領域以外の第２の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向とは反対の方向への変化を判定させることができる。

前記輪郭線追加部には、前記第１の領域内の前記エッジに付加される前記輪郭線の前記第１の期間と、前記第２の領域内の前記エッジに付加される前記輪郭線の前記第１の期間とが異なる時刻の期間となるように、前記輪郭線の輝度値を定めさせることができる。

画像処理装置には、前記入力画像における前記エッジの前記所定方向とは反対方向側の領域に効果線を付加する効果線追加部をさらに設けることができる。

前記効果線追加部には、前記所定方向とは反対方向に輝度値が変化する模様であり、前記模様が時間とともに前記反対方向に進行する前記効果線を前記エッジに付加させることができる。

本技術の一側面の画像処理方法またはプログラムは、入力画像上の被写体のエッジを検出し、前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定し、前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加するステップを含む。

本技術の一側面においては、入力画像上の被写体のエッジが検出され、前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかが判定され、前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線が付加される。

本技術の一側面によれば、画像上の被写体を、被写体そのものとして鑑賞させつつ、鑑賞者に被写体の動きを知覚させることができる。

錯視効果について説明する図である。 エッジ部分への輪郭線上書きにより生じる錯視について説明する図である。 エッジ部分への輪郭線上書きにより生じる錯視について説明する図である。 エッジ部分への輪郭線上書きにより生じる錯視について説明する図である。 情報処理装置の構成例を示す図である。 画像処理装置の構成例を示す図である。 画像生成処理を説明するフローチャートである。 輪郭線の輝度値の時間変化の一例を示す図である。 輪郭線の輝度値の時間変化の一例を示す図である。 輪郭線の輝度値の時間変化の一例を示す図である。 輪郭線の輝度値の時間変化の一例を示す図である。 入力画像と動被写体領域の一例を示す図である。 入力画像と動被写体領域の一例を示す図である。 入力画像から検出されるエッジを示す図である。 出力画像の一例を示す図である。 輪郭線の輝度値の時間変化の一例を示す図である。 輪郭線の輝度値の時間変化の一例を示す図である。 画像処理装置の他の構成例を示す図である。 画像生成処理を説明するフローチャートである。 効果線追加領域について説明する図である。 効果線追加領域に上書きされる効果線の一例を示す図である。 効果線追加領域について説明する図である。 効果線追加領域に上書きされる効果線の一例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［錯視効果について］
まず、本技術で利用される動きの錯視効果（Motion Illusion）について説明する。

例えば「A. Kitaoka, “Configurational coincidence among six phenomena: A comment on van Lier and Csatho (2006),” Perception, 35, pp. 799-806.」には、各領域の輝度を変化させることによって、その領域に隣接する領域があたかも動いたように知覚（perception）されることが記載されている。

具体的には、図１の左側に示すように、ユーザ（鑑賞者）が単一の輝度値を有する帯状の領域ＲＥ１１乃至領域ＲＥ１３からなる画像を観察しているとする。なお、図１において、各領域の図中、上側に示す実線および点線の縦方向の矢印はその領域の輝度値の変化を表しており、実線および点線の横方向の矢印は、縦方向の矢印に示す輝度変化により生じる錯視効果における、各領域の動きの方向を示している。つまり、実線の横方向の矢印は、実線の縦方向の矢印に対応する輝度変化による動きの方向を示しており、点線の横方向の矢印は、点線の縦方向の矢印に対応する輝度変化による動きの方向を示している。

ここで、領域ＲＥ１１乃至領域ＲＥ１３のそれぞれは、輝度値が同じである画素からなる領域であり、互いに異なる明るさを有している。この例では、領域ＲＥ１１が最も明るい領域であり、領域ＲＥ１２が最も暗い領域となっている。そして、領域ＲＥ１３は、領域ＲＥ１１と領域ＲＥ１２の明るさの中間の明るさ（輝度）を有する領域となっている。

このような状態から、領域ＲＥ１１の輝度値を時間とともにさらに明るくしていくと、ユーザには、中央の領域ＲＥ１２が右に動いたように知覚される。

逆に、図中、左上に示す状態から、領域ＲＥ１１の輝度値を時間とともに暗くしていくと、ユーザには、中央の領域ＲＥ１２が左に動いたように知覚される。

また、図中、左上に示す状態から、領域ＲＥ１２の輝度値を時間とともに明るくしていくと、ユーザには、中央の領域ＲＥ１２が右に動いたように知覚される。逆に、図中、左上に示す状態から、領域ＲＥ１２の輝度値を時間とともに暗くしていくと、ユーザには、中央の領域ＲＥ１２が左に動いたように知覚される。

さらに、図中、左上に示す状態から、領域ＲＥ１３の輝度値を時間とともに暗くしていくと、ユーザには、中央の領域ＲＥ１２が右に動いたように知覚される。逆に、図中、左上に示す状態から、領域ＲＥ１３の輝度値を時間とともに明るくしていくと、ユーザには、中央の領域ＲＥ１２が左に動いたように知覚される。

同様に、図中、中央に示すようにユーザが単一の輝度値を有する帯状の領域ＲＥ１４乃至領域ＲＥ１６からなる画像を観察しているとする。ここで、領域ＲＥ１５が最も明るい領域であり、領域ＲＥ１６が最も暗い領域であり、領域ＲＥ１４は、領域ＲＥ１５と領域ＲＥ１６の中間の明るさ（輝度）を有する領域となっている。

この状態から、領域ＲＥ１４の輝度値を時間とともに明るくしていくと、ユーザには、中央の領域ＲＥ１５が左に動いたように知覚され、領域ＲＥ１４の輝度値を時間とともに暗くしていくと、ユーザには、領域ＲＥ１５が右に動いたように知覚される。

また、図中、中央に示す状態から、領域ＲＥ１５の輝度値を時間とともに暗くしていくと、ユーザには領域ＲＥ１５が左に動いたように知覚され、領域ＲＥ１５の輝度値を時間とともに明るくしていくと、ユーザには領域ＲＥ１５が右に動いたように知覚される。

さらに、図中、中央に示す状態から領域ＲＥ１６の輝度値を時間とともに暗くしていくと、ユーザには領域ＲＥ１５が左に動いたように知覚され、領域ＲＥ１６の輝度値を時間とともに明るくしていくと、ユーザには領域ＲＥ１５が右に動いたように知覚される。

さらに、図中、右側に示すようにユーザが単一の輝度値を有する帯状の領域ＲＥ１７乃至領域ＲＥ１９からなる画像を観察しているとする。ここで、領域ＲＥ１７が最も明るい領域であり、領域ＲＥ１９が最も暗い領域であり、領域ＲＥ１８は、領域ＲＥ１７と領域ＲＥ１９の中間の明るさ（輝度）を有する領域となっている。

この状態から、領域ＲＥ１７の輝度値を時間とともに明るくしていくと、ユーザには中央の領域ＲＥ１８が左に動いたように知覚され、領域ＲＥ１７の輝度値を時間とともに暗くしていくと、ユーザには領域ＲＥ１８が右に動いたように知覚される。

また、図中、右側に示す状態から、領域ＲＥ１８の輝度値を時間とともに暗くしていくと、ユーザには領域ＲＥ１８が左に動いたように知覚され、領域ＲＥ１８の輝度値を時間とともに明るくしていくと、ユーザには領域ＲＥ１８が右に動いたように知覚される。

さらに、図中、右側に示す状態から領域ＲＥ１９の輝度値を時間とともに明るくしていくと、ユーザには領域ＲＥ１８が左に動いたように知覚され、領域ＲＥ１９の輝度値を時間とともに暗くしていくと、ユーザには領域ＲＥ１８が右に動いたように知覚される。

［本技術について］
以下では、図１を参照して説明した現象を踏まえて、本技術について説明をしていく。

本技術では、図１を参照して説明した現象を、一般の風景画像等の入力画像のエッジ部分に対して適用し、入力画像内の被写体があたかも動いているような錯覚を誘因させている。図１の説明から分かるように、従来から知られている錯視に関する研究は、一般の風景画像等の撮影により得られた画像ではない、模様からなる画像に対して、その模様の輝度値が変化すると、模様がどのように動いたと知覚されるかという事項に限定されていた。

本技術においては、この現象を、一般の風景画像等の入力画像のエッジ部分に対して適用して、被写体の動きの錯視を行なう点が、従来にない新規な事項である。

画像処理の観点からみると、本技術の主な処理は以下に示す処理である。

処理（１）
入力画像において、動かしたい被写体（物体）の領域と、その被写体を動かしたい方向の指定を受け付ける。なお、以下、動かしたい被写体の領域を動被写体領域とも称し、その動被写体領域を動かしたい方向を移動方向とも称することとする。

処理（２）
入力画像において、動かしたい方向、つまり動被写体領域の移動方向と直交するエッジを、動被写体領域内で検出する。

処理（３）
移動方向に沿って、処理（２）により検出されたエッジ近傍の領域の輝度値の変化を調べる。

処理（４−１）
処理（３）で特定された輝度値の変化が、移動方向に輝度値が減少していくという変化である場合、動被写体領域内のエッジ上に黒色の帯状の輪郭線を追加（付加）し、この輪郭線の輝度を時間の経過とともに上げていく。

処理（４−２）
処理（３）で特定された輝度値の変化が、移動方向に輝度値が増加していくという変化である場合、動被写体領域内のエッジ上に白色の帯状の輪郭線を追加（付加）し、この輪郭線の輝度を時間の経過とともに下げていく。

以上の処理（１）乃至処理（４−２）によって、動被写体領域があたかも移動方向に動いているように鑑賞者に知覚させることができる。

例えば、図２の左側に示すように、処理対象の入力画像ＩＰ１１の図中、左側の領域が動かしたい被写体の領域である動被写体領域ＭＲ１１として指定され、その動被写体領域ＭＲ１１を動かしたい方向として、図中、右方向が指定されたとする。

この例では、入力画像ＩＰ１１には、動被写体領域ＭＲ１１と、動被写体領域として指定されなかった領域ＳＲ１１とが含まれている。

このような入力画像ＩＰ１１について、処理（１）により動被写体領域ＭＲ１１と移動方向が指定されると、処理（２）において、指定された移動方向と直交するエッジが動被写体領域ＭＲ１１内において検出される。ここでは、動被写体領域ＭＲ１１の右側の輪郭部分がエッジＥＤ１１として検出されている。

さらに、処理（３）では、エッジＥＤ１１近傍の領域ＣＲ１１において、移動方向である右方向に沿って各画素の輝度値がどのように変化するかが調べられる。この例では、領域ＣＲ１１内の図中、右側にいくにしたがって、画素の輝度値が減少している。つまり、移動方向側の画素ほど相対的に暗くなっている。

そのため、処理（３）に続いて処理（４−１）が行なわれる。具体的には、図中、中央に示すようにエッジＥＤ１１上に、黒色の帯状の輪郭線ＯＵ１１が付加される。なお、輪郭線ＯＵ１１の輝度値は、輝度値として取り得る値の最小値に限らず、例えば領域ＳＲ１１の平均的な輝度値よりも低い輝度値などとされてもよい。

さらに、図中、右側に示すように動被写体領域ＭＲ１１に対して付加された輪郭線ＯＵ１１の輝度値が、時間の経過とともに増加するように、輪郭線ＯＵ１１の明るさが制御される。これにより、錯視が生じ、動被写体領域ＭＲ１１があたかも右方向に移動しているように知覚される。これは、動被写体領域ＭＲ１１、輪郭線ＯＵ１１、および領域ＳＲ１１を、例えば、それぞれ図１の領域ＲＥ１１乃至領域ＲＥ１３に対応させ、領域ＲＥ１２の輝度を増加させる場合について考えれば明らかである。動被写体領域の輪郭部分が動いているように知覚されるのであるから、その動被写体領域自体も動いているように知覚されるはずである。

また、例えば図３の左側に示すように、処理対象の入力画像ＩＰ１１の図中、左側の領域が動被写体領域ＭＲ１１として指定され、その動被写体領域ＭＲ１１を動かしたい方向として、図中、左方向が指定されたとする。なお、図３において、図２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

この例では、処理（１）により動被写体領域ＭＲ１１と移動方向としての左方向が指定されると、処理（２）においてエッジＥＤ１１が検出される。そして、処理（３）では、エッジＥＤ１１近傍の領域ＣＲ１１において、移動方向である左方向に沿って各画素の輝度値がどのように変化するかが調べられる。この例では、領域ＣＲ１１内の図中、左側にいくにしたがって、画素の輝度値が増加している。つまり、移動方向側の画素ほど相対的に明るくなっている。

そのため、処理（３）に続いて処理（４−２）が行なわれる。具体的には、図中、中央に示すようにエッジＥＤ１１上に、白色の帯状の輪郭線ＯＵ２１が付加される。なお、輪郭線ＯＵ２１の輝度値は、輝度値として取り得る値の最大値に限らず、例えば動被写体領域ＭＲ１１の平均的な輝度値よりも高い輝度値などとされてもよい。

さらに、図中、右側に示すように動被写体領域ＭＲ１１に対して付加された輪郭線ＯＵ２１の輝度値が、時間の経過とともに減少するように、輪郭線ＯＵ２１の明るさが制御される。これにより、錯視が生じ、動被写体領域ＭＲ１１があたかも左方向に移動しているように知覚される。これは、動被写体領域ＭＲ１１、輪郭線ＯＵ２１、および領域ＳＲ１１を、例えば、それぞれ図１の領域ＲＥ１４乃至領域ＲＥ１６に対応させ、領域ＲＥ１５の輝度を減少させる場合について考えれば明らかである。

ところで、図２の中央に示す状態から図２中、右側に示す状態や、図３の中央に示す状態から図３中、右側に示す状態への遷移時間、つまり動被写体領域に付加された輪郭線の輝度を変化させる時間は、0.25秒程度とされるのが望ましい。すなわち、0.25秒程度で遷移させると、錯視が顕著に引き起こされることが本出願人による実験において確認されている。

上述したように、図２の中央に示す状態、または図３の中央に示す状態から、0.25秒かけて図２の右側に示す状態、または図３の右側に示す状態へと入力画像ＩＰ１１を変化させていくと、動被写体領域ＭＲ１１が移動方向に動いたような錯視が引き起こされる。

しかしながら、このような状態遷移では、提示される入力画像ＩＰ１１は0.25秒間の長さの一過性の動画像となってしまう。つまり、入力画像ＩＰ１１が図２の右側に示す状態、または図３の右側に示す状態となると、入力画像ＩＰ１１での錯視の状態が終了してしまう。これでは、ユーザ（鑑賞者）は0.25秒間しか入力画像ＩＰ１１上の被写体の動きを鑑賞することができなくなってしまう。

具体的には、例えば図４の上側に示すように、再生時間0秒目の時刻に図２の中央に示した入力画像ＩＰ１１を表示させ、その後、0.25秒かけて図２中、右側に示す状態となるように、入力画像ＩＰ１１に付加した輪郭線ＯＵ１１の輝度値を明るくしていくとする。なお、図４において、図２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、図４において、横方向は時間を示している。

図４の上側に示す例では、再生時間が0秒目から0.25秒目までの期間Ｔ１１の間、輪郭線ＯＵ１１の輝度値が時間の経過とともに明るくなるように、入力画像ＩＰ１１の表示が制御される。この期間Ｔ１１では、動被写体領域ＭＲ１１が左側から右側へと動いているような錯視が生じるが、入力画像ＩＰ１１の再生（表示）を開始してから0.25秒後には、再生が終了することになる。

そこで、本技術では、入力画像ＩＰ１１をエンドレス動画像（ループ動画像）として再生することができるように、以下に示す処理が追加される。

すなわち、図４中、下側に示すように、再生時間が0秒目から0.25秒目までの期間Ｔ１１の間は、上述した場合と同様に0.25秒かけてエッジ部分に追加された輪郭線ＯＵ１１の輝度値が時間とともに大きくなるようにされる。例えば、輪郭線ＯＵ１１が黒い領域から白い領域へと変化する。

そして、その後、3.75秒かけて、輪郭線ＯＵ１１の輝度値が時間とともに小さくなるようにされる。例えば、輪郭線ＯＵ１１が白い領域から黒い領域へと変化する。図４の下側に示す例では、再生時間が0.25秒から4.0秒までの期間Ｔ１２の間に、輪郭線ＯＵ１１の輝度値が、再生時間0秒の時点の輪郭線ＯＵ１１の輝度値に戻るように、輪郭線ＯＵ１１の輝度値が下げられていく。

このような処理を行なえば、再生時間0秒目、つまり期間Ｔ１１の開始時刻における入力画像ＩＰ１１と、再生時間4.0秒目、つまり期間Ｔ１２の終了時刻における入力画像ＩＰ１１とが同じ画像となる。したがって、期間Ｔ１１と期間Ｔ１２からなる4秒間の入力画像ＩＰ１１を繰り返し再生すると、4秒目と0秒目で提示される画像が違和感なくつながり、入力画像ＩＰ１１をエンドレス動画像として再生することができる。

この例では、0秒目から0.25秒目までの期間Ｔ１１では、ユーザは動被写体領域ＭＲ１１が左側から右側へと動いているような錯視を感じることになる。

そして、続く0.25秒目から4秒目までの期間Ｔ１２では、エッジ部分の輪郭線ＯＵ１１の輝度値が時間とともに下がっているので、図３の中央に示した入力画像ＩＰ１１から、図３の右側に示した入力画像ＩＰ１１への変化と同様の変化が生じる。

但し、図４の例では、入力画像ＩＰ１１の期間Ｔ１２の開始時刻における状態から、期間Ｔ１２の終了時刻における状態まで、3.75秒という長い時間をかけてゆっくりと輪郭線ＯＵ１１の輝度が変化する。そのため、入力画像ＩＰ１１を観察しているユーザは、輪郭線ＯＵ１１の輝度の変化に気付かず、ユーザには図３の例のように動被写体領域ＭＲ１１が右側から左側へと動いているような錯視は感じられない。つまり、期間Ｔ１２では錯視は生じない。

以上のことから、図４の下側に示す例では、0秒目から0.25秒目までは動被写体領域ＭＲ１１が左側から右側へと動いているような錯視が感じられ、0.25秒目から4秒目までは、動被写体領域ＭＲ１１が静止しているように感じられる。このような4秒間の動画像を繰り返し再生することで、ユーザは動被写体領域が止まったり動いたりする錯視を感じることになり、その動被写体領域の移動方向は図中、左から右方向となる。

なお、0.25秒程度で輪郭線の輝度状態を遷移させると、錯視が顕著に引き起こされると説明した。この事実以外に、3.75秒程度で輪郭線の輝度状態を遷移させると、その遷移はゆっくりであるため観察者はその変化に気付かず、錯視は生じないことも本出願人による実験において確認されている。

また、図３に示した例でも、図４における場合と同様の処理を行なうことで、動被写体領域が動いたり静止したりするエンドレス動画像を得ることができる。以下では、このようなエンドレス動画像を出力動画像とも称することとし、出力動画像を構成する各時刻の画像、つまり各時刻に提示される１つの画像を出力画像とも称することとする。換言すれば、各時刻の出力画像からなる画像群が出力動画像である。

さらに、以上においては、説明を分かり易くするため、錯視を生じさせる期間Ｔ１１を0.25秒間とし、輝度値をもとの値まで変化させる期間Ｔ１２を3.75秒として説明したが、本技術では、それらの期間は0.25秒や3.75秒に限定されるわけではない。また、以下においても説明を分かり易くするため、錯視を生じさせる期間を0.25秒間とし、輝度値をもとの値まで変化させる期間を3.75秒として説明を続けることとする。

［情報処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。

図５は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。

図５の情報処理装置１１は、画像の撮像や、その撮像で得られた画像データに対する画像処理などの各種の情報処理を実行する装置である。

情報処理装置１１は、撮像部２１、制御部２２、表示部２３、入出力インターフェース２４、画像データ記憶部２５、ユーザインターフェース２６、バス２７、および画像処理装置２８から構成される。

また、撮像部２１乃至ユーザインターフェース２６、および画像処理装置２８は、バス２７により相互に接続されており、特に画像処理装置２８は、信号線３１および信号線３２によりバス２７に接続されている。

撮像部２１は、移動体などの被写体を撮像して画像データを生成する。撮像により得られた画像データは、例えば撮像部２１からバス２７を介して、画像データ記憶部２５に供給され、記憶される。

制御部２２は、情報処理装置１１全体の動作を制御する。例えば、制御部２２は、ユーザインターフェース２６を介してユーザから入力画像の撮像指示を受けて、その指示に応じて撮像部２１に入力画像を撮像させたり、画像データに対する画像処理を画像処理装置２８に実行させたりする。

表示部２３は、バス２７を介して供給された画像データに基づいて、画像を表示する。入出力インターフェース２４は、情報処理装置１１の外部の装置へのデータの出力と、外部の装置からのデータの入力とを行なう。例えば、入出力インターフェース２４によって、画像データなどの各種のデータの外部の装置との授受が行なわれる。

画像データ記憶部２５は、バス２７を介して供給された画像データを記憶する。ユーザインターフェース２６は、ユーザからの指示を受け付けて、その指示に応じた信号をバス２７を介して制御部２２等に供給する。バス２７は、撮像部２１乃至ユーザインターフェース２６、および画像処理装置２８がデータを送受信するための共通の経路である。

画像処理装置２８は、画像データ記憶部２５から供給された画像データに対して、所定の画像処理を実行する。

例えば画像処理装置２８は、信号線３１およびバス２７を介して、画像データ記憶部２５から、入力画像の画像データ（以下、入力画像データとも称する）を読み出す。さらに、ユーザインターフェース２６を介して、ユーザが入力画像における動被写体領域と移動方向を指定すると、ユーザの操作に応じた信号がユーザインターフェース２６から、バス２７および信号線３１を介して画像処理装置２８に供給される。

画像処理装置２８は、ユーザインターフェース２６から供給された動被写体領域と移動方向を示す情報に基づいて、入力画像データに対して画像処理を施し、例えば図４を参照して説明した4秒間分の画像データを出力動画像の出力画像データとして生成する。そして、画像処理装置２８は、得られた出力画像データを、信号線３２およびバス２７を介して表示部２３などに出力する。

［画像処理装置の構成例］
また、図５に示した画像処理装置２８は、より詳細には例えば図６に示すように構成される。すなわち、図６に示す画像処理装置２８は、エッジ検出部６１および輪郭線追加部６２から構成される。

エッジ検出部６１は、信号線３１を介してユーザインターフェース２６から供給された動被写体領域と移動方向を示す情報（以下、指定情報とも称する）に基づいて、信号線３１を介して供給された入力画像から、移動方向に直交するエッジを検出する。エッジ検出部６１は、エッジ検出により得られたエッジに関する情報をエッジ情報として輪郭線追加部６２に供給する。エッジ検出部６１により行なわれる処理は、上述した処理（２）に対応する。

輪郭線追加部６２は、エッジ検出部６１からのエッジ情報と、信号線３１を介して供給された指定情報および入力画像の画像データとに基づいて、出力画像データを生成し、信号線３２を介して表示部２３等に出力する。

輪郭線追加部６２は、輝度変化判定部７１を備えている。輝度変化判定部７１は、エッジ情報により示される各エッジについて、移動方向に沿ってエッジ近傍の各画素（位置）の輝度値が増加しているか、または減少しているかを判定する。輪郭線追加部６２は、輝度変化判定部７１の判定結果に基づいて、その判定結果に応じた輝度値の輪郭線を入力画像のエッジ部分に上書きして出力画像とすることで、出力動画像を生成する。このようにして得られた出力動画像は、例えば再生すると４秒間の長さのデータとなる。

［画像生成処理の説明］
上述したように、ユーザがユーザインターフェース２６に対する操作を行なって、入力画像上の動かしたい被写体の領域を動被写体領域として指定し、動被写体領域の動かしたい方向を移動方向として指定すると、動被写体領域と移動方向を示す指定情報が画像処理装置２８に供給される。また、指定情報とともに、画像データ記憶部２５から画像処理装置２８に入力画像データが供給されると、画像処理装置２８は、画像生成処理を行って出力画像データを生成する。以下、図７のフローチャートを参照して、画像処理装置２８による画像生成処理について説明する。

ステップＳ１１において、エッジ検出部６１は、ユーザインターフェース２６から供給された指定情報に基づいて、画像データ記憶部２５から供給された入力画像上の動被写体領域から、動被写体領域の移動方向と直交するエッジを検出する。

例えば、エッジ検出部６１は、入力画像とガボールフィルタ（Gabor Filter）との畳み込み演算により、指定情報により示される動被写体領域内から移動方向に直交するエッジを検出する。ガボールフィルタでは、パラメータとして角度が与えられるが、この角度として動被写体領域を動かしたい方向、つまり移動方向の角度と同じ角度が設定される。これにより、移動方向と直交するエッジが検出される。

エッジ検出部６１は、検出した各エッジを示す情報をエッジ情報とし、エッジ情報を輪郭線追加部６２に供給する。

ステップＳ１２において、輪郭線追加部６２は、画像データ記憶部２５から供給された入力画像を、これから生成しようとする出力動画像を構成する各時刻の出力画像とする。

例えば、再生時間が4秒間である出力動画像が生成されるとし、各再生時刻の出力画像がD(t)であるとする。ここで、ｔは時刻を示しており、0.0≦ｔ≦4.0である。このとき、輪郭線追加部６２は、入力画像をそのまま4秒間分の枚数の各時刻の出力画像D(t)としてセットする。なお、ここでセットされた出力画像D(t)は仮の出力画像であり、以降の処理においてこれらの出力画像が加工され、最終的な出力画像とされる。

ステップＳ１３において、輪郭線追加部６２は、エッジ検出部６１から供給されたエッジ情報に基づいて、入力画像上の動被写体領域内で検出されたエッジのうち、まだ未処理であるエッジを１つ選択し、注目エッジとする。

ステップＳ１４において、輝度変化判定部７１は、入力画像上の注目エッジ近傍の領域における、指定情報により示される移動方向への各画素の輝度値の変化を特定する。すなわち、輝度変化判定部７１は、注目エッジ近傍の領域内の画素の輝度値が、移動方向に沿って減少していくか、または増加していくかを特定する。

具体的には、例えば輝度変化判定部７１は、移動方向に沿って並ぶ注目エッジ近傍の画素について、注目エッジの移動先側に位置する各画素の輝度値の平均値と、注目エッジの移動元側に位置する各画素の輝度値の平均値とを比較することで、画素の輝度変化を特定する。このとき、注目エッジに対して移動方向の移動先側の領域の画素の輝度値の平均値が、注目エッジに対して移動方向の移動元側の領域の画素の輝度値の平均値よりも大きい場合には、輝度値が増加していくと判定される。

ステップＳ１５において、輝度変化判定部７１は、ステップＳ１４の処理における特定結果に基づいて、注目エッジ近傍において、移動方向に沿って画素の輝度値が減少しているか否かを判定する。

ステップＳ１５において、輝度値が減少していると判定された場合、処理はステップＳ１６へと進む。

ステップＳ１６において、輪郭線追加部６２は、出力画像の注目エッジ部分の輝度が時間方向に増加した後、もとの輝度に戻るように、各時刻の出力画像の注目エッジ部分を所定輝度の輪郭線で上書きする。

例えば、輪郭線追加部６２は、所定の時刻ｔ（但し、0.0≦ｔ≦4.0）における出力画像D(t)について、輪郭線の輝度値L(t)を定める。具体的には、輝度値L(t)は、例えば図８に示す折れ線ＬＭ１１により定まる輝度値とされる。なお、図８において、横軸は時間を示しており、縦軸は輝度値を示している。

この例では、画像上の画素の輝度値として取り得る値の最大値と最小値が、それぞれ最高輝度値Ｌ_ｍａｘおよび最低輝度値Ｌ_ｍｉｎとして定められている。例えば、最高輝度値Ｌ_ｍａｘは白い領域の輝度であり、最低輝度値Ｌ_ｍｉｎは黒い領域の輝度である。

図８では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において輝度値L(t)＝Ｌ_ｍｉｎとされ、その後、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝0.25において輝度値L(t)＝Ｌ_ｍａｘとされる。さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝4.0において輝度値L(t)＝Ｌ_ｍｉｎとされる。このように、折れ線ＬＭ１１により示される時刻ｔの輝度値が、その時刻ｔの輪郭線の領域の輝度値L(t)とされる。

輪郭線追加部６２は、時刻ｔの輝度値L(t)を定めると、出力画像D(t)の動被写体領域内における注目エッジの領域を、輝度値L(t)を有する画素からなる輪郭線で上書きする。すなわち、出力画像D(t)の動被写体領域内における注目エッジの領域の各画素の輝度値が、現時点における輝度値から輝度値L(t)へと変更される。

これにより、各時刻の出力画像D(t)からなる動画像を再生させた場合、出力画像の注目エッジの部分の輝度値は図８の折れ線ＬＭ１１に示すように変化する。

すなわち、輪郭線追加部６２は、注目エッジ部分の輝度値を、再生開始後、0.25秒かけて増加させることで錯視を引き起こし、指定情報により示される移動方向への動被写体領域の動きを実現する。そして、輪郭線追加部６２は、残りの3.75秒かけて注目エッジ部分の輝度値を減少させることで、錯視を引き起こすことなく、注目エッジ部分の輝度値を再生開始直後（時刻ｔ＝0.0）のもとの輝度値に戻す。

このようにして輪郭線追加部６２が出力画像の注目エッジ部分を輝度値L(t)の輪郭線で上書きすると、処理はステップＳ１８に進む。なお、ステップＳ１６において行なわれる画像処理は、上述した処理（４−１）に対応する。

これに対して、ステップＳ１５において、輝度値が減少していない、つまり輝度値が増加していると判定された場合、処理はステップＳ１７へと進む。

ステップＳ１７において、輪郭線追加部６２は、出力画像の注目エッジ部分の輝度が時間方向に減少した後、もとの輝度に戻るように、各時刻の出力画像の注目エッジ部分を所定輝度の輪郭線で上書きする。

例えば、輪郭線追加部６２は、所定の時刻ｔ（但し、0.0≦ｔ≦4.0）における出力画像D(t)について、図９に示す折れ線ＬＭ１２により定まる輝度値を、輪郭線の輝度値L(t)として定める。なお、図９において、横軸は時間を示しており、縦軸は輝度値を示している。

この例では、画像上の画素の輝度値として取り得る値の最大値と最小値が、それぞれ最高輝度値Ｌ_ｍａｘおよび最低輝度値Ｌ_ｍｉｎとして定められている。

図９では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において輝度値L(t)＝Ｌ_ｍａｘとされ、その後、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝0.25において輝度値L(t)＝Ｌ_ｍｉｎとされる。さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝4.0において輝度値L(t)＝Ｌ_ｍａｘとされる。このように、折れ線ＬＭ１２により示される時刻ｔの輝度値が、その時刻ｔの輪郭線の領域の輝度値L(t)とされる。

輪郭線追加部６２は、時刻ｔの輝度値L(t)を定めると、出力画像D(t)の動被写体領域内における注目エッジの領域を、輝度値L(t)を有する画素からなる輪郭線で上書きする。これにより、各時刻の出力画像D(t)からなる動画像を再生させた場合、出力画像の注目エッジの部分の輝度値は図９の折れ線ＬＭ１２に示すように変化する。

すなわち、輪郭線追加部６２は、注目エッジ部分の輝度値を、再生開始後、0.25秒かけて減少させることで錯視を引き起こし、指定情報により示される移動方向への動被写体領域の動きを実現する。そして、輪郭線追加部６２は、残りの3.75秒かけて注目エッジ部分の輝度値を増加させることで、錯視を引き起こすことなく、注目エッジ部分の輝度値を再生開始直後（時刻ｔ＝0.0）のもとの輝度値に戻す。

このようにして輪郭線追加部６２が出力画像の注目エッジ部分を輝度値L(t)の輪郭線で上書きすると、処理はステップＳ１８に進む。なお、ステップＳ１７において行なわれる画像処理は、上述した処理（４−２）に対応する。

ステップＳ１６またはステップＳ１７において、注目エッジ部分の領域が所定輝度の輪郭線で上書きされると、ステップＳ１８において、輪郭線追加部６２は、エッジ情報により示される全てのエッジを注目エッジとして処理したか否かを判定する。

ステップＳ１８において、まだ全てのエッジを注目エッジとして処理していないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返し行なわれる。すなわち、まだ未処理のエッジが次の注目エッジとして選択され、その注目エッジの部分の領域が、所定輝度の輪郭線で上書きされる。

これに対して、ステップＳ１８において、全てのエッジを注目エッジとして処理したと判定された場合、処理はステップＳ１９に進む。この場合、各時刻の出力画像において、動被写体領域内で検出された全てのエッジが、輝度値L(t)の輪郭線に置き換えられたことになる。つまり、最終的な出力画像からなる出力動画像が得られたことになる。

ステップＳ１９において、輪郭線追加部６２は、各時刻の出力画像からなる出力動画像を信号線３２を介して出力し、画像生成処理は終了する。

以上のようにして、画像処理装置２８は、入力画像の動被写体領域内から移動方向と直交するエッジを検出し、そのエッジの領域を、エッジ近傍の画素の輝度変化に応じた輝度値を有する輪郭線で上書きすることで、各時刻の出力画像からなる出力動画像を生成する。

このように、エッジ部分の輝度値を変化させて各時刻の出力画像を生成することで、得られた出力動画像を再生させれば、画像上の被写体を被写体そのものとしてユーザに鑑賞させつつ、ユーザに被写体の動きを錯視により知覚させることができる。

［各時刻の輪郭線の輝度について］
なお、さらにユーザによるユーザインターフェース２６に対する操作によって、ユーザが動被写体領域の動き量の強弱を入力できるようにしてもよい。

そのような場合、例えば動き量として「強」が入力されたときには、図７のステップＳ１６およびステップＳ１７において、それぞれ図８の折れ線ＬＭ１１および図９の折れ線ＬＭ１２に示す輝度値の輪郭線で注目エッジ部分の領域が上書きされる。

そして、動き量として「弱」が入力された場合、図７のステップＳ１６およびステップＳ１７において、それぞれ図１０の折れ線ＬＭ２１および図１１の折れ線ＬＭ２２に示す輝度値の輪郭線で注目エッジ部分の領域が上書きされる。なお、図１０および図１１において、横軸は時間を示しており、縦軸は輝度値を示している。

具体的には、動き量として「弱」が入力された場合、ステップＳ１６において、輪郭線追加部６２は、所定の時刻ｔ（但し、0.0≦ｔ≦4.0）における出力画像D(t)について、図１０に示す折れ線ＬＭ２１により定まる輝度値を、輪郭線の輝度値L(t)として定める。

図１０の例では、輪郭線の領域の輝度値として取り得る値の最大値と最小値が、それぞれ輝度値Ｌ１および輝度値Ｌ２として定められている。ここで、輝度値Ｌ１は最高輝度値Ｌ_ｍａｘよりも所定の値だけ小さい輝度値であり、輝度値Ｌ２は最低輝度値Ｌ_ｍｉｎよりも所定の値だけ大きい輝度値である。つまり、この場合、輪郭線の領域の輝度値として取り得る値の範囲が、図８の場合よりも狭い範囲となる。

図１０では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において輝度値L(t)＝Ｌ２とされ、その後、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝0.25において輝度値L(t)＝Ｌ１とされる。さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝4.0において輝度値L(t)＝Ｌ２とされる。このように、折れ線ＬＭ２１により示される時刻ｔの輝度値が、その時刻ｔの輪郭線の領域の輝度値L(t)とされる。

輪郭線追加部６２は、時刻ｔの輝度値L(t)を定めると、出力画像D(t)の動被写体領域内における注目エッジの領域を、輝度値L(t)を有する画素からなる輪郭線で上書きする。

また、動き量として「弱」が入力された場合、ステップＳ１７において、輪郭線追加部６２は、所定の時刻ｔ（但し、0.0≦ｔ≦4.0）における出力画像D(t)について、図１１に示す折れ線ＬＭ２２により定まる輝度値を、輪郭線の輝度値L(t)として定める。

図１１の例では、輪郭線の領域の輝度値として取り得る値の最大値と最小値が、それぞれ輝度値Ｌ１および輝度値Ｌ２として定められている。ここで、輝度値Ｌ１と輝度値Ｌ２は図１０における場合と同じである。

図１１では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において輝度値L(t)＝Ｌ１とされ、その後、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝0.25において輝度値L(t)＝Ｌ２とされる。さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝4.0において輝度値L(t)＝Ｌ１とされる。このように、折れ線ＬＭ２２により示される時刻ｔの輝度値が、その時刻ｔの輪郭線の領域の輝度値L(t)とされる。輪郭線追加部６２は、時刻ｔの輝度値L(t)を定めると、出力画像D(t)の動被写体領域内における注目エッジの領域を、輝度値L(t)を有する画素からなる輪郭線で上書きする。

図１０や図１１に示した例では、図８や図９における場合と比較して、輝度値の変化が小さくなるので、より動きの少ない錯視が感じられるようになる。

［動被写体領域とは異なる領域での錯視について］
また、以上においては、動被写体領域が動いているような錯視を引き起こす画像処理を入力画像に対して施す例について説明した。さらにこれに加え、ユーザが入力画像上の動被写体領域以外の領域、つまり背景領域をさらに他の動被写体領域として指定するとともに、他の動被写体領域の移動方向として、先に指定した動被写体領域の移動方向と反対方向を指定してもよい。

そのような場合、他の動被写体領域として指定された背景領域が、動被写体領域の移動方向とは逆方向に動いているような錯視を引き起こす画像処理が入力画像に対して施されることになる。

例えば、図１２の矢印Ｑ１１に示す入力画像ＩＰ３１が画像データ記憶部２５から画像処理装置２８に供給されたとする。この入力画像ＩＰ３１の領域ＭＲ３１には、被写体として自動車が写っている。

このような入力画像ＩＰ３１について、ユーザがユーザインターフェース２６に対する操作を行なって、矢印Ｑ１２に示すように自動車の領域ＭＲ３１を動かしたい被写体の領域、つまり動被写体領域として指定したとする。

なお、ユーザが指定する動被写体領域を、動かしたい被写体が実際に投影されている領域よりもひとまわり大きい領域としておくと、自動車の外郭部分のエッジもエッジ検出部６１で検出されるようになるので望ましい。

また、ユーザは、領域ＭＲ３１を動被写体領域として指定すると同時に、ユーザインターフェース２６に対する操作を行なって、動被写体領域の移動方向も指定する。例えば、ここでは、領域ＭＲ３１を図中、左から右方向に動かしたいという情報が入力されたとする。

さて、最終的に得たい4秒間の出力動画像は、錯視により領域ＭＲ３１の自動車が左から右に動いているかのように感知される動画像である。これは、逆にいえば、入力画像ＩＰ３１の自動車以外の部分（背景部分）が右から左方向に動いているかのように感知される動画像であってもよい。さらには、これらの２つの錯視が感知される動画像でもよい。すなわち、領域ＭＲ３１の自動車が左から右に動いているかのように感知され、自動車以外の背景部分が右から左方向に動いているかのように感知される動画像であってもよい。

そこで、矢印Ｑ１３に示すように、領域ＭＲ３１だけでなく、入力画像ＩＰ３１の領域ＭＲ３１以外の背景部分の領域ＳＲ３１も動被写体領域として指定することで、自動車の領域と背景領域とが動いているかのような動画像を出力動画像として得ることができる。この場合、動被写体領域として指定された領域ＳＲ３１の移動方向として、右から左方向が指定されることになる。

このように、入力画像において、複数の動被写体領域と、それらの動被写体領域の移動方向とが指定されるようにしてもよい。

続いて、そのような場合における画像処理装置２８の処理について説明する。なお、図１２に示す入力画像ＩＰ３１は、絵柄が複雑な画像であるので、以下では、図１３を参照して、図１２の入力画像ＩＰ３１を模式化した例について説明する。

図１３の矢印Ｑ２１に示すように、図１２の入力画像ＩＰ３１に対応する入力画像ＩＰ４１が処理対象となったとする。

入力画像ＩＰ４１では図中、上側に位置する領域ＳＲ４１に写っている縞模様の被写体が、入力画像ＩＰ３１の背景の木や家などの被写体に相当し、図中、下側に位置する領域ＭＲ４１に写っている縞模様の被写体が、入力画像ＩＰ３１の自動車部分に相当する。

ここで、入力画像ＩＰ４１における領域ＣＲ４１および領域ＣＲ４２は、後述するエッジ近傍の輝度変化の特定のための領域である。

ユーザは、矢印Ｑ２２に示すように、入力画像ＩＰ４１の領域ＭＲ４１を動かしたい領域、つまり動被写体領域として指定するとともに、領域ＭＲ４１の移動方向として、左から右方向を指定する。

また、ユーザは、領域ＭＲ４１に対して、背景の領域を領域ＭＲ４１の移動方向と逆方向に動かしたいので、矢印Ｑ２３に示すように、入力画像ＩＰ４１の領域ＭＲ４１以外の領域ＳＲ４２を動かしたい他の領域、つまり２つ目の動被写体領域として指定する。さらに、ユーザは、領域ＳＲ４２の移動方向として右から左方向を指定する。

なお、ここでは動かしたい領域である領域ＭＲ４１、およびその移動方向だけでなく、背景領域である領域ＳＲ４２およびその移動方向もユーザにより指定される場合について説明するが、領域ＳＲ４２とその移動方向は画像処理装置２８により定められるようにしてもよい。

すなわち、そのような場合、ユーザにより領域ＭＲ４１と、その移動方向が指定されると、画像処理装置２８は、入力画像ＩＰ４１における領域ＭＲ４１以外の領域である領域ＳＲ４２を他の動被写体領域とする。また、画像処理装置２８は、領域ＳＲ４２の移動方向を、ユーザにより指定された領域ＭＲ４１の移動方向とは反対の方向とする。

さらに、図１３において、入力画像ＩＰ４１の下辺には各被写体の位置関係を分かり易くするため、目盛りが付加されているが、この目盛りは実際には入力画像ＩＰ４１には存在しないものである。また、以降において説明する図１４および図１５においても同様の目盛りが付されている。

以上のように、複数の動被写体領域が指定された場合には、図７を参照して説明した画像生成処理のステップＳ１１において、動被写体領域ごとにエッジ検出が行なわれる。

例えば、動被写体領域として指定された領域ＭＲ４１は、左から右方向に動かしたい領域であるので、左から右方向、つまり横方向に直交する方向のエッジが検出される。また、他の動被写体領域として指定された領域ＳＲ４２は、右から左方向に動かしたい領域であるので、右から左方向、つまり横方向に直交する方向のエッジが検出される。

これにより、図１４に示す結果が得られる。図１４に示す入力画像ＩＰ４１において、縦方向の直線は、図７のステップＳ１１の処理において、エッジ検出部６１により検出されたエッジを表している。

例えば、エッジＥＤ４１およびエッジＥＤ４２は、それぞれ図１３に示した領域ＭＲ４１および領域ＳＲ４１における縦縞の境界部分となっている。

各動被写体領域からエッジが検出されると、検出された各エッジについて、エッジ近傍の領域の輝度値の変化が特定される。

例えば、エッジＥＤ４１について輝度値の変化が調べられる場合、エッジＥＤ４１近傍の領域である図１３の領域ＣＲ４１内の各画素の輝度値が領域ＭＲ４１の移動方向に沿って、どのように変化しているかが特定される。この場合、領域ＭＲ４１の移動方向は、左から右方向であるので、領域ＣＲ４１では移動方向に沿って輝度値が増加していくことが分かる。したがって、エッジＥＤ４１については、図７の画像生成処理においてステップＳ１７の処理が行なわれることになる。

同様に、図１４のエッジＥＤ４２について輝度値の変化が調べられる場合には、エッジＥＤ４２近傍の領域である図１３の領域ＣＲ４２内の各画素の輝度値が領域ＳＲ４２の移動方向に沿って、どのように変化しているかが特定される。この場合、領域ＳＲ４２の移動方向は、右から左方向であるので、領域ＣＲ４２では移動方向に沿って輝度値が減少していくことが分かる。したがって、エッジＥＤ４２については、図７の画像生成処理においてステップＳ１６の処理が行なわれることになる。

図１４に示した他のエッジについても、エッジＥＤ４１やエッジＥＤ４２と同様にして処理が行なわれる。

このようにして各エッジについて、ステップＳ１６またはステップＳ１７の処理が行なわれると、最終的に各時刻の出力画像D(t)を得ることができる。例えば、出力画像D(t)として、図１５に示す出力画像D(t＝0.0)や出力画像D(t＝0.25)が得られる。なお、図１５において、図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

出力画像D(t＝0.0)は、再生時刻が0秒目である出力画像D(t)であり、出力画像D(t＝0.25)は、再生時刻が0.25秒目である出力画像D(t)である。この例では、出力画像D(t＝0.0)上の黒い輪郭線の領域は、出力画像D(t＝0.25)では白くなり、出力画像D(t＝0.0)上の白い輪郭線の領域は、出力画像D(t＝0.25)では黒くなっている。

各時刻の出力画像D(t)を4秒間の動画像として再生してみると、0秒目から0.25秒目に、領域ＭＲ４１については左から右方向に移動しているような錯視を鑑賞者に感じさせ、領域ＳＲ４２については右から左方向に移動しているような錯視を鑑賞者に感じさせる。そして、0.25秒目から4秒目までは、鑑賞者は各被写体が静止しているように感じる。

さて、さらに複数の動被写体領域と移動方向の組について、それぞれ錯視を引き起こす時間的タイミングを変えるようにしてもよい。

すなわち、例えば図１３の領域ＭＲ４１についてはオフセットなしで、上述の通りステップＳ１３乃至ステップＳ１７の処理が行なわれる。そして、図１３の領域ＳＲ４２については、例えば2秒というオフセットを設けて、ステップＳ１３乃至ステップＳ１７の処理が行なわれる。つまり、領域ＳＲ４２については、ステップＳ１６およびステップＳ１７において、図８および図９に示した各時刻の輝度値に代えて、図１６および図１７に示す各時刻の輝度値を有する輪郭線で、エッジ部分が上書きされる。

なお、図１６および図１７において、横軸は時間を示しており、縦軸は輝度値を示している。

例えば、領域ＳＲ４２内で検出された注目エッジについて、ステップＳ１６の処理が行なわれる場合、注目エッジが図１６の折れ線ＬＭ３１に示される輝度値L(t)の輪郭線で上書きされる。

図１６では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において最高輝度値と最低輝度値の中間の値の輝度値（以下、中間輝度値と称する）とされる。その後、輝度値L(t)は時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝2.0において輝度値L(t)＝Ｌ_ｍｉｎとされる。

さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔ＝2.0から、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝2.25において輝度値L(t)＝Ｌ_ｍａｘとされた後、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝4.0において中間輝度値となる。

このように、時刻ｔの輝度値L(t)が定められると、出力画像D(t)の動被写体領域内における注目エッジの領域が、輝度値L(t)を有する画素からなる輪郭線で上書きされる。その結果、各時刻の出力画像D(t)からなる動画像を再生させた場合、出力画像の注目エッジの部分の輝度値は図１６の折れ線ＬＭ３１に示すように変化する。

また、図１３の領域ＳＲ４２内で検出された注目エッジについて、ステップＳ１７の処理が行なわれる場合、注目エッジが図１７の折れ線ＬＭ３２に示される輝度値L(t)の輪郭線で上書きされる。

図１７では、輪郭線の領域の輝度値L(t)は、時刻ｔ＝0.0において中間輝度値とされ、その後、時刻ｔが大きくなるにつれて輝度値L(t)は直線的に大きくなり、時刻ｔ＝2.0において輝度値L(t)＝Ｌ_ｍａｘとされる。

さらにその後、輪郭線の領域の輝度値L(t)は、時刻ｔ＝2.0から、時刻ｔが大きくなるにつれて直線的に小さくなり、時刻ｔ＝2.25において輝度値L(t)＝Ｌ_ｍｉｎとされた後、時刻ｔが大きくなるにつれて直線的に大きくなり、時刻ｔ＝4.0において中間輝度値となる。

このように、時刻ｔの輝度値L(t)が定められると、出力画像D(t)の動被写体領域内における注目エッジの領域が、輝度値L(t)を有する画素からなる輪郭線で上書きされる。その結果、各時刻の出力画像D(t)からなる動画像を再生させた場合、出力画像の注目エッジの部分の輝度値は図１７の折れ線ＬＭ３２に示すように変化する。

各出力画像において、領域ＳＲ４２については、図１６または図１７に示した輝度値の輪郭線で上書きを行い、得られた各時刻の出力画像D(t)を4秒間の動画像として再生してみると、次のようになる。

すなわち、0秒目から0.25秒目では、鑑賞者には領域ＭＲ４１が左から右方向に移動しているように感じられ、0.25秒目から4.0秒目までは領域ＭＲ４１が静止しているように感じられる。また、2.0秒目から2.25秒目までは、鑑賞者には領域ＳＲ４２が右から左方向に移動しているように感じられ、2.25秒目から4.0秒目までと、0秒目から2.0秒目までは領域ＳＲ４２が静止しているように感じられる。

したがって、4秒間のなかで、0秒目から0.25秒目までと、2.0秒目から2.25秒目までとの２つの期間において、鑑賞者に対して錯視を感じさせることができるようになる。

以上のように、画像処理装置２８によれば、入力画像のなかに投影されている被写体が、あたかも動いているかのような4秒間の出力動画像を得ることができる。

なお、以上においては、動かしたい被写体の領域と、その被写体を動かしたい方向とをユーザが指定すると説明したが、画像処理装置２８や情報処理装置１１において、実際の動被写体領域と移動方向を検出するようにしてもよい。

例えば、撮像部２１が複数枚の入力画像を連写すれば、得られた入力画像の差分から、実際に動いている被写体と、その移動方向を求めることができる。そこで、求められた動被写体領域や移動方向を指定情報により示される動被写体領域と移動方向とすればよい。なお、複数の画像の差分から動被写体と移動方向を求める手法は、オプティカルフロー算出問題と呼ばれており、そのような方法として既知の手法が多く知られているので、その説明は省略する。

〈第２の実施の形態〉
［画像処理装置の構成例］
また、以上においては、出力画像のエッジ部分の輝度値を変化させることで、動被写体領域に動きをもたせると説明したが、さらに動被写体領域に効果線を付加することで、動被写体領域の動きを表現するようにしてもよい。

ここで、効果線とは、漫画等において、物体の動作を表現するために、その物体の移動方向に沿って描かれる線である。出力画像上の動被写体領域に効果線を付加することにより、より躍動感のある動きを鑑賞者に感じさせることができる。

動被写体領域に効果線が付加される場合、画像処理装置２８は、例えば図１８に示すように構成される。なお、図１８において、図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１８に示す画像処理装置２８は、エッジ検出部６１、輪郭線追加部６２、および効果線追加部１３１から構成される。すなわち、図１８の画像処理装置２８は、図６の画像処理装置２８に、さらに効果線追加部１３１が設けられた構成とされている。

効果線追加部１３１には、信号線３１を介して指定情報が供給される。また、効果線追加部１３１には、エッジ検出部６１からエッジ情報が供給されるとともに、輪郭線追加部６２から輪郭線が付加された出力画像が供給される。

効果線追加部１３１は、輪郭線追加部６２から供給された各時刻の出力画像について、出力画像上の動被写体領域のエッジ部分に、移動方向に沿った効果線を付加し、最終的な出力画像とする。効果線追加部１３１は、得られた出力画像を信号線３２を介して表示部２３等に出力する。

［画像生成処理の説明］
次に、図１９のフローチャートを参照して、画像処理装置２８が図１８に示される構成とされる場合に行なわれる画像生成処理について説明する。なお、ステップＳ６１乃至ステップＳ６８の処理は、図７のステップＳ１１乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

ステップＳ６８において、全てのエッジを注目エッジとして処理したと判定された場合、輪郭線追加部６２は、各時刻の出力画像D(t)を効果線追加部１３１に供給し、処理はステップＳ６９に進む。ここで、効果線追加部１３１に供給される各時刻の出力画像D(t)は、図７のステップＳ１９の処理で出力される出力画像と同じものとなっている。

ステップＳ６９において、効果線追加部１３１は、エッジ検出部６１から供給されたエッジ情報に基づいて、入力画像上の動被写体領域内で検出されたエッジのうち、まだ効果線を追加する処理を行なっていないエッジを１つ選択し、注目エッジとする。

ステップＳ７０において、効果線追加部１３１は、効果線が付加される領域である効果線追加領域を指定する。

例えば、効果線追加部１３１は、各出力画像について、出力画像の注目エッジ上から、動被写体領域の移動方向とは反対方向に20画素の長さで、幅2画素の領域を、効果線追加領域として指定する。このとき効果線追加部１３１は、注目エッジに対して複数の効果線追加領域を設け、各効果線追加領域は注目エッジの方向に2画素間隔で並ぶようにする。

これにより、例えば図２０に示す効果線追加領域ＥＦ１１−１乃至効果線追加領域ＥＦ１１−Ｎが設けられる。

図２０の例では、出力画像D(t)上のエッジＥＤ５１が注目エッジとされており、エッジＥＤ５１を含む動被写体領域の移動方向は、図中、左から右方向とされている。したがって、効果線追加領域ＥＦ１１−１乃至効果線追加領域ＥＦ１１−Ｎは、エッジＥＤ５１の移動方向とは反対方向側、つまり図中、左側に設けられている。

そして、効果線追加領域ＥＦ１１−１乃至効果線追加領域ＥＦ１１−Ｎは、図中、縦方向の幅が2画素で、横方向の長さが20画素の領域となっており、図中、縦方向に隣接する効果線追加領域は、互いに2画素だけ離れて配置されている。なお、以下、効果線追加領域ＥＦ１１−１乃至効果線追加領域ＥＦ１１−Ｎを特に区別する必要のない場合、単に効果線追加領域ＥＦ１１と称することとする。

また、ここでは、効果線追加領域ＥＦ１１は2画素×20画素の領域であると説明したが、効果線追加領域ＥＦ１１の幅や長さはこの値に限られるわけではなく、どのような値とされてもよい。

さらに、ユーザがユーザインターフェース２６に対する操作を行なって、動被写体領域の動く量の強弱を入力できるようにしてもよい。そのような場合、例えば動く量として「強」が入力されたときには、効果線追加領域ＥＦ１１は20画素よりも長い長さとされ、動く量として「弱」が入力されたときには、効果線追加領域ＥＦ１１は20画素よりも短い長さとされる。

図１９のフローチャートの説明に戻り、ステップＳ７０において効果線追加領域が指定されると、その後、処理はステップＳ７１へと進む。

ステップＳ７１において、効果線追加部１３１は、各出力画像D(t)の効果線追加領域を、所定の輝度値の効果線で上書きする。

具体的には、効果線追加部１３１は、動被写体領域の移動方向とは反対方向に進む波、すなわち輝度値が三角関数となる波によって各領域の輝度値が定まる効果線で、効果線追加領域を上書きする。

これにより、例えば図２１に示すように各時刻の効果線追加領域が上書きされる。なお、図２１において、図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２１では、時刻ｔ＝0.0，0.5，1.0，1.5，2.0，2.5，3.0，3.5，4.0秒目の各時刻の出力画像D(t)について、効果線で上書きされた効果線追加領域ＥＦ１１が示されており、各効果線追加領域ＥＦ１１の図中、左側にはその出力画像D(t)の時刻が記されている。ここで、同じ時刻の出力画像D(t)の注目エッジに設けられたＮ個の効果線追加領域ＥＦ１１には、同じ模様の効果線が上書きされる。

例えば、図中、一番上側の効果線追加領域ＥＦ１１は、時刻ｔ＝0.0の出力画像D(t)上の効果線追加領域ＥＦ１１を示している。この例では、効果線追加領域ＥＦ１１に上書きされた効果線の各領域の輝度が、図中、左方向に進むにつれて連続的に高くなったり低くなったりして周期的に変化している。

具体的には、効果線追加領域ＥＦ１１の左右の端側は黒い領域で輝度が低く、中央の領域は白い領域で輝度が高くなっており、効果線追加領域ＥＦ１１全体が白（高輝度）と黒（低輝度）の周期的な波模様となっている。そして、その波は動被写体領域の移動方向とは反対方向に進む波となっている。この場合、移動方向は左から右方向であるので、効果線追加領域ＥＦ１１上の白い領域は、時間の経過とともに右から左方向に移動している。

なお、この例では、出力動画像の再生時間は4秒間であるので、効果線追加領域ＥＦ１１に上書きされる効果線の輝度の波の周期も4秒とされている。これにより、時刻ｔ＝0.0秒の効果線と、時刻ｔ＝4.0秒の効果線とは同じ模様の効果線となり、4秒間の出力動画像を繰り返し再生したときに、破綻なく再生することが可能となる。

また、図２１では、ｔ＝0.0，0.5，1.0，1.5，2.0，2.5，3.0，3.5，4.0秒の各時刻の効果線のみを示したが、他の時刻の効果線も同様に右から左へと進む波の模様とされる。

図１９のフローチャートの説明に戻り、注目エッジについて、各時刻の出力画像の効果線追加領域を、各領域の輝度が移動方向と反対方向に周期的に変化する効果線で上書きすると、処理はステップＳ７１からステップＳ７２へと進む。

ステップＳ７２において、効果線追加部１３１は、全てのエッジについて効果線を追加する処理を行なったか否かを判定する。例えば、全てのエッジが注目エッジとされて、注目エッジに対して設けられた効果線追加領域に効果線が上書きされると、全てのエッジについて処理を行なったと判定される。

ステップＳ７２において、まだ全てのエッジについて効果線を追加する処理を行なっていないと判定された場合、処理はステップＳ６９に戻り、上述した処理が繰り返される。

これに対して、ステップＳ７２において、全てのエッジについて効果線を追加する処理を行なったと判定された場合、処理はステップＳ７３に進む。この場合、各時刻の出力画像において、動被写体領域内で検出された全てのエッジに効果線が付加され、最終的な出力画像からなる出力動画像が得られたことになる。

図１９の画像生成処理では、エッジに対して2画素間隔で効果線追加領域が指定される。そのため、効果線追加領域として指定されなかったエッジ部分の領域では、上書きされた輪郭線により錯視が引き起こされ、効果線追加領域として指定されたエッジ部分の領域では、効果線による動きが表現された出力画像が得られることになる。

ステップＳ７３において、効果線追加部１３１は、各時刻の出力画像からなる出力動画像を信号線３２を介して出力し、画像生成処理は終了する。

以上のようにして、画像処理装置２８は、入力画像の動被写体領域内から移動方向と直交するエッジを検出し、そのエッジの領域を時間とともに変化する輝度の輪郭線で上書きするとともに、エッジ部分に効果線を付加し、出力動画像を生成する。

このように、エッジ部分に空間方向および時間方向に周期的に輝度が変化する効果線を付加することで、出力動画像を鑑賞しているユーザに対して、より躍動感のある動きを感じさせることができるようになる。

なお、以上においては、エッジに対して2画素間隔で効果線追加領域が指定され、その効果線追加領域に効果線を上書きする例について説明したが、効果線の付加方法はどのような方法であってもよい。

例えば、図８および図９で示した輝度変化で輪郭線を付加する場合、出力画像D(t)の0秒目から0.25秒目までは錯視による動きが表現されているが、0.25秒目から4秒目までは錯視は起こらず、鑑賞者には被写体が静止して見える。

そこで、0秒目から0.25秒目までの出力画像D(t)については効果線を付加せず、0.25秒目から4秒目までの出力画像D(t)についてのみ効果線が付加されるようにしてもよい。これにより、出力動画像を再生すると、0秒目から0.25秒目までは錯視により被写体が動いてみえ、0.25秒目から4秒目までは、効果線により動きが表現されるようになる。

このような出力動画像を得るには、例えば以下のようにすればよい。

すなわち、効果線追加領域として、例えば図２２に示すように、出力画像D(t)で検出されたエッジＥＤ６１上から、動被写体領域の移動方向とは反対方向に20画素の長さの領域が指定される。これにより、エッジＥＤ６１と同じ幅で、図中、横方向の長さが20画素である効果線追加領域ＥＦ２１が指定されることになる。

この例では、出力画像D(t)上のエッジＥＤ６１を含む動被写体領域の移動方向は、図中、左から右方向とされている。したがって、効果線追加領域ＥＦ２１は、エッジＥＤ６１の移動方向とは反対方向側、つまり図中、左側に設けられている。そして、効果線追加領域ＥＦ２１の図中、縦方向の幅はエッジＥＤ６１の幅となっている。

このように効果線追加領域ＥＦ２１が指定されると、エッジＥＤ６１部分に輪郭線が上書きされた出力画像に対して、効果線追加領域ＥＦ２１に、図２３に示す効果線が上書きされる。但し、0秒目から0.25秒目までの出力画像については、効果線の上書きは行なわれず、0.25秒目から4秒目までの出力画像についてのみ、効果線の上書きが行なわれる。

図２３では、時刻ｔ＝0.25，1.0，2.0，3.0，4.0秒目の各時刻の出力画像D(t)について、効果線が上書きされた効果線追加領域ＥＦ２１が示されており、各効果線追加領域ＥＦ２１の図中、左側にはその出力画像D(t)の時刻が記されている。なお、図２３において、図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

例えば、図中、一番上側の効果線追加領域ＥＦ２１は、時刻ｔ＝0.25の出力画像D(t)上の効果線追加領域ＥＦ２１を示している。この例では、効果線追加領域ＥＦ２１に上書きされた効果線では、その効果線の輝度が図中、左方向に周期的に変化しており、効果線の輝度は時間方向にも周期的に変化する。

つまり、効果線追加領域ＥＦ２１には、動被写体領域の移動方向とは逆方向に進む輝度の波の模様の効果線が上書きされる。換言すれば、効果線追加領域ＥＦ２１に上書きされる効果線は、動被写体領域の移動方向とは逆方向に輝度値が変化していく模様（波模様）であり、この模様は、効果線追加領域ＥＦ２１内において、時間とともに動被写体領域の移動方向とは逆方向に進行していく。

なお、図２３では、ｔ＝0.25，1.0，2.0，3.0，4.0秒の各時刻の効果線のみを示したが、他の時刻の効果線も同様に右から左へと進む波の模様とされる。

以上の処理により、得られた出力動画像を再生すると、0秒目から0.25秒目までは錯視により被写体が動いてみえ、0.25秒目から4秒目までは、効果線により動きが表現されるようになる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記憶して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
入力画像上の被写体のエッジを検出するエッジ検出部と、
前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定する輝度変化判定部と、
前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加する輪郭線追加部と
を備える画像処理装置。
［２］
前記所定方向は、前記エッジと直交する方向である
［１］に記載の画像処理装置。
［３］
前記輪郭線追加部は、第１の期間において前記輪郭線の輝度値が所定の輝度値から増加または減少し、前記第１の期間よりも長い第２の期間において、前記輪郭線の輝度値が前記所定の輝度値へと変化するように、前記輪郭線の輝度値を定める
［１］または［２］に記載の画像処理装置。
［４］
前記輝度変化判定部は、前記入力画像上の第１の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向への変化を判定し、前記入力画像上の前記第１の領域以外の第２の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向とは反対の方向への変化を判定する
［３］に記載の画像処理装置。
［５］
前記輪郭線追加部は、前記第１の領域内の前記エッジに付加される前記輪郭線の前記第１の期間と、前記第２の領域内の前記エッジに付加される前記輪郭線の前記第１の期間とが異なる時刻の期間となるように、前記輪郭線の輝度値を定める
［４］に記載の画像処理装置。
［６］
前記入力画像における前記エッジの前記所定方向とは反対方向側の領域に効果線を付加する効果線追加部をさらに備える
［１］乃至［５］の何れかに記載の画像処理装置。
［７］
前記効果線追加部は、前記所定方向とは反対方向に輝度値が変化する模様であり、前記模様が時間とともに前記反対方向に進行する前記効果線を前記エッジに付加する
［６］に記載の画像処理装置。

１１ 情報処理装置， ２６ ユーザインターフェース， ２８ 画像処理装置， ６１ エッジ検出部， ６２ 輪郭線追加部， ７１ 輝度変化判定部， １３１ 効果線追加部

Claims (9)

1. 入力画像上の被写体のエッジを検出するエッジ検出部と、
   前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定する輝度変化判定部と、
   前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加する輪郭線追加部と
   を備える画像処理装置。
2. 前記所定方向は、前記エッジと直交する方向である
   請求項１に記載の画像処理装置。
3. 前記輪郭線追加部は、第１の期間において前記輪郭線の輝度値が所定の輝度値から増加または減少し、前記第１の期間よりも長い第２の期間において、前記輪郭線の輝度値が前記所定の輝度値へと変化するように、前記輪郭線の輝度値を定める
   請求項２に記載の画像処理装置。
4. 前記輝度変化判定部は、前記入力画像上の第１の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向への変化を判定し、前記入力画像上の前記第１の領域以外の第２の領域内の前記エッジについて、前記エッジ近傍の輝度値の前記所定方向とは反対の方向への変化を判定する
   請求項３に記載の画像処理装置。
5. 前記輪郭線追加部は、前記第１の領域内の前記エッジに付加される前記輪郭線の前記第１の期間と、前記第２の領域内の前記エッジに付加される前記輪郭線の前記第１の期間とが異なる時刻の期間となるように、前記輪郭線の輝度値を定める
   請求項４に記載の画像処理装置。
6. 前記入力画像における前記エッジの前記所定方向とは反対方向側の領域に効果線を付加する効果線追加部をさらに備える
   請求項５に記載の画像処理装置。
7. 前記効果線追加部は、前記所定方向とは反対方向に輝度値が変化する模様であり、前記模様が時間とともに前記反対方向に進行する前記効果線を前記エッジに付加する
   請求項６に記載の画像処理装置。
8. 入力画像上の被写体のエッジを検出し、
   前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定し、
   前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加する
   ステップを含む画像処理方法。
9. 入力画像上の被写体のエッジを検出し、
   前記入力画像における前記エッジ近傍の輝度値が、所定方向に対して増加しているか、または減少しているかを判定し、
   前記入力画像の前記エッジに、前記判定の結果に応じて時間方向に輝度値が変化する輪郭線を付加する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images