JP7761045B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、プログラムに関し、特に画像に生ずるモアレについての技術分野に関する。

一般的なカメラでは、搭載されるイメージセンサのナイキスト周波数を超える部分は光学ローパスフィルタを用いてカットすることでモアレの発生を防ぐが、解像感との兼ね合いで完全にはモアレの発生を無くすことができない。
そこで下記特許文献１では、解像度の違う二つの光学系を用意してその差分からモアレを検出し、低減する手法を提案している。
また下記特許文献２では、可変光学ローパスフィルタを用いてカットオフ周波数を変えた２フレームの差分からモアレを検出し、低減する手法が開示されている。

特開２０１８－２０７４１４号公報 特開２００６－８０８４５号公報

しかしながら上記のいずれの場合も、２つの画像の差分には、モアレではない本当の画像としての高周波成分も含まれ、差分がモアレのみとなるのは低周波部分だけである。つまり、低周波まで折り返ってきたモアレは検出できるが、高周波部分はモアレと本当の高周波成分との違いを判別することはできない。このため高周波部分の解像感を維持することとモアレを解消することはトレードオフの関係となってしまう。

そこで本技術は、モアレの周波数にかかわらず、本当の画像内の模様と区別してモアレを検出できる手法を提案する。

本技術に係る画像処理装置は、異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成するモアレ検出部を備える。
異なる時刻の画像とは、例えば現時点の画像と１乃至数フレーム前の画像などであるとすることが考えられる。異なる時刻のフレーム間において、或る被写体にフレーム内位置の変化がみられる場合、つまり動きがある場合、その動きと同じ動きを示すと想定される画素領域でありながら、動きが異なる場合は、その画素領域をモアレと判定する。

本技術の実施の形態の撮像装置のブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の画像処理装置の構成例のブロック図である。 実施の形態のモアレ検出処理のフローチャートである。 実施の形態のモアレ低減処理のフローチャートである。 実施の形態の画像処理装置の他の構成例のブロック図である。 実施の形態のモアレ検出処理の第１例のフローチャートである。 実施の形態のモアレ検出の考え方の説明図である。 実施の形態のモアレ検出の考え方の説明図である。 実施の形態のモアレ検出の考え方の説明図である。 実施の形態のモアレ検出処理の第２例のフローチャートである。 実施の形態のモアレ検出処理の第３例のフローチャートである。 実施の形態のモアレ低減処理の第１例のフローチャートである。 実施の形態のモアレ低減処理の第２例のフローチャートである。 実施の形態のモアレ低減処理の第３例のフローチャートである。 実施の形態のモアレ低減処理の第３例の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．情報処理装置の構成＞
＜３．画像処理構成と処理概要＞
＜４．モアレ検出処理例＞
＜５．モアレ低減処理例＞
＜６．まとめ及び変形例＞

なお本開示において、画像における被写体の「動き」とは、異なる時刻の画像間で被写体の全部又は一部のフレーム内位置が変化することをいう。
例えば、人間、動物、機械などのいわゆる動被写体自体の一部又は全部が動くことによって、被写体の全部又は一部のフレーム内位置が変化することは、本開示で「動き」と表現される一態様である。
また、風景、静物などの動かない被写体が、撮像装置（カメラ）のパンニングやチルティング等の撮影方向の変化によってフレーム内位置が変化することも「動き」と表現される一態様となる。

また「画像」とは、特に記録される段階で静止画とされるものか動画とされるものかは問わない。撮像装置は所定のフレームレートで、各時刻に１フレームの画像の撮像を行っていくが、その結果として或る１フレームが静止画として記録されることや、連続したフレームによる動画が記録されることのいずれもが想定される。

実施の形態の画像処理装置は、撮像装置（カメラ）や画像編集等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、画像処理装置と考えることもできる。

＜１．撮像装置の構成＞
図１で撮像装置１の構成例を説明する。
この撮像装置１は、モアレ検出処理を行う画像処理部２０を備えており、この画像処理部２０、又は画像処理部２０を備えた撮像装置１が、本開示の画像処理装置の例として考えることができる。

撮像装置１は、例えばレンズ系１１、撮像素子部１２、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、画像処理部２０、バッファメモリ２１、ドライバ部２２、センサ部２３、接続部２４を有する。

レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。

またレンズ系１１には、例えば複屈折板などにより、モアレ低減のための光学ローパスフィルタを設けることができる。但し、光学ローパスフィルタでモアレを完全に除去するのは困難であり、本実施の形態では、光学ローパスフィルタでは除去しきれないモアレの検出や低減を画像処理部２０において行う。なお光学ローパスフィルタが設けられない場合でも、画像処理部２０によるモアレの検出や低減は有効である。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などの撮像素子（イメージセンサ）１２ａを有して構成される。
この撮像素子部１２では、撮像素子１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部２０やカメラ制御部１８に出力する。

画像処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
この画像処理部２０は、撮像素子部１２からのデジタル信号（撮像画像信号）、即ちＲＡＷ画像データに対して、各種の信号処理を施す。

例えば画像処理部２０はレンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。

画像処理部２０は、このように信号処理、即ち一般に現像処理と呼ばれる信号処理を行って、所定形式の画像データを生成する。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ（High Efficiency Image File Format）、ＹＵＶ４２２、ＹＵＶ４２０等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
なお現像処理を施していないＲＡＷ画像データの画像ファイルを生成する場合もある。

本実施の形態の場合、画像処理部２０はモアレ検出部３１とモアレ低減部３２としての信号処理機能を備える。
モアレ検出部３１は、異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きが現れた画素領域を検出して、モアレの検出情報Ｓｄｔ（図３参照）を生成する処理を行う。
モアレ低減部３２は、検出情報Ｓｄｔに基づいてモアレ低減処理を行う。
これらの信号処理機能の詳細は後述する。なお、画像処理部２０においてモアレ低減部３２が設けられない場合もある。

バッファメモリ２１は、例えばＤ－ＲＡＭ（Dynamic Random Access Memory）により形成される。このバッファメモリ２１は、画像処理部２０において上記の現像処理等の過程で、画像データの一時的な記憶に用いられる。
なおバッファメモリ２１は、画像処理部２０と別体のメモリチップでもよいし、画像処理部２０を構成するＤＳＰ等の内部メモリ領域において構成されてもよい。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５はユーザに対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５には画像処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データやメタデータを含む静止画ファイルや動画ファイルの送信出力を行う。
また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末などとの間で、例えばブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、ＮＦＣ（Near field communication）等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことも可能とされてもよい。また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。
従って撮像装置１は、通信部１６により、画像データやメタデータを、後述の情報処理装置７０などに送信することができる。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、画像処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や画像の記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作等の必要各部の動作を制御する。またカメラ制御部１８は、ユーザインタフェース動作として操作部１７による操作情報を検知や表示部１５の表示制御を行う。またカメラ制御部１８は通信部１６による外部機器との通信動作に関する制御も行う。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの記憶に用いられる。またメモリ部１９におけるＲＯＭやフラッシュメモリは、カメラ制御部１８や画像処理部２０の各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３として、例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載された場合、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、ＩＭＵデータなどはカメラ制御部１８に供給され、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして関連付けることができる。
カメラ制御部１８は、例えば画像の１フレーム毎にメタデータを生成し、画像のフレームに関連づけて、記録制御部１４により記録媒体に画像とともに記録させることができる。またカメラ制御部１８は、例えば画像の１フレーム毎に生成したメタデータを画像のフレームに関連付けて、通信部１６により画像データとともに外部機器に送信させることもできる。

接続部２４は、撮像装置１を搭載してパンニングやチルティングを行う、いわゆるパンチルター、或いは三脚等との通信を行う。例えば接続部２４は、パンチルター等からパンニングやチルティングの方向や速度などの動作情報を入力し、カメラ制御部１８に伝達することができる。

＜２．情報処理装置の構成＞
次に情報処理装置７０の構成例を図２で説明する。
情報処理装置７０はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
そして、この情報処理装置７０は、モアレ検出やモアレ低減を行う画像処理部２０を備えており、この画像処理部２０、又は画像処理部２０を備えた情報処理装置７０が、本開示の画像処理装置の例として考えることができる。

情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

画像処理部２０は、上述の撮像装置１で説明したモアレ検出部３１、モアレ低減部３２としての機能を備える。

この画像処理部２０としてのモアレ検出部３１、モアレ低減部３２は、ＣＰＵ７１内の機能として設けられてもよい。
また画像処理部２０は、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現されてもよい。

ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、画像処理部２０は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ＨＤＤや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。

記憶部７９は、処理対象のデータや、各種プログラムを記憶することができる。
情報処理装置７０が本開示の画像処理装置として機能する場合、記憶部７９には、処理対象の画像データが記憶されることや、モアレ検出処理による検出情報Ｓｄｔ、或いはモアレ低減処理を行った画像データなどが記憶されることも想定される。
また記憶部７９には、モアレ検出処理やモアレ低減処理のためのプログラムが記憶されてもよい。

通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
撮像装置１との間の通信、例えば撮像された画像データやメタデータ等の受信は、通信部８０によって行われる。

入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．画像処理構成と処理概要＞
以上の撮像装置１や情報処理装置７０における画像処理部２０について説明する。
撮像装置１の撮像素子１２ａのナイキスト周波数を超える周波数成分を持つ被写体は、折り返し歪みとしてのモアレを生じさせてしまう。基本的には撮像素子１２ａの前の光学ローパスフィルタを用いてナイキスト周波数以上をカットすることでモアレを防ぐが、画像の解像感との兼ね合いで、完全にはカットすることは難しい。
そこでモアレが発生した画像に対して、後処理として被写体の動きからモアレ部分（画素領域）を検出し、その部分をぼかすことでモアレを低減する。

ここで、被写体が撮像装置１に対して止まっているときは、モアレなのか本当の模様なのか判別するのは難しいとともに、画像において、あまり目障りにもならない。
一方で、画像内で被写体に動きがある場合は、本当の模様なら同じ方向、同じ速度で動くのに対し、モアレはそのような動きとは限らないため、モアレであると判別できると考えられる。

図３は画像処理部２０におけるモアレ検出、モアレ低減のための構成例を示している。
画像データＤｉｎは、モアレ検出処理の対象となる画像データを示しており、例えば１フレーム毎に順次入力される画像データである。各時刻のフレームの画像データＤｉｎは、メモリ３０、モアレ検出部３１、モアレ低減部３２のそれぞれに入力される。

画像データＤｉｎは、例えば撮像装置１の場合は、画像処理部２０に入力されたＲＡＷ画像データであることが考えられる。或いは、一部又は全部の現像処理が施された後の画像データであってもよい。

メモリ３０としては、例えば撮像装置１の場合は、画像処理部２０の内部又は外部のバッファメモリ２１の記憶領域が用いられる。情報処理装置７０の場合は例えばＲＡＭ７３の記憶領域が用いられることが考えられる。いずれの記憶領域をここでいうメモリ３０としてもよい。

モアレ検出部３１は、異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きが現れた画素領域を検出して、モアレの検出情報を生成するモアレ検出処理を行う。
このため、画像データＤｉｎが現在のフレームの画像（現在画ＤｉｎＣ）として入力され、またメモリ３０に記憶された画像データＤｉｎが、１フレーム期間の後に読み出されて過去画ＤｉｎＰとして入力される。
なお過去画ＤｉｎＰは、必ずしも１フレーム期間の後に読み出されるものとは限らない。例えば２フレーム期間後であるとか、数フレーム期間後に読み出されて過去画ＤｉｎＰとされてもよい。モアレ検出部３１では、現在画ＤｉｎＣと、それよりも過去の過去画ＤｉｎＰを比較できればよく、その比較に用いる現在画ＤｉｎＣと過去画ＤｉｎＰの時間差は、モアレ検出に適切な時間として設定されればよい。

モアレ検出部３１は、現在画ＤｉｎＣとしてのフレームの画像データが入力される毎に、現在画ＤｉｎＣと過去画ＤｉｎＰを用いて、図４のようにモアレ検出処理を行う。
図４のステップＳ１０１としてモアレ検出部３１は、画像内の動き検出を行う。例えば画像内の或る被写体の動きを検出する。或いは画像内の被写体全体のほぼ一様な動きを検出する場合もある。

ステップＳ１０２でモアレ検出部３１は、ステップＳ１０１で検出した動きと同じ動きが想定される画素領域のうちで、異なる動きをしている画素領域を検出する。この「異なる動き」とは、例えば動きの方向（フレーム内位置の変化の方向）や速度（フレーム間の変位量）が異なる動きを指す。

そして例えば人、動物、機械などの動被写体が写っている画像において、その被写体の動きと同じ動きが想定される領域とは、その動被写体の輪郭内の領域が考えられる。
また風景や静物など静被写体のみが写っている画像では、撮像装置１自体のパンニング等により動きが検出されることがあるが、その場合は、そのフレーム内の画素領域全体が、被写体の動きと同じ動きが想定される画素領域となる。

モアレ検出部３１は、現在画ＤｉｎＣにおいて過去画ＤｉｎＰと比較して、被写体の動きと同じ動きが想定される画素領域において異なる動きが現れている部分を検出する処理を行う。

ステップＳ１０３でモアレ検出部３１は、異なる動きの検出結果に基づいて、モアレの検出情報Ｓｄｔを生成する。
検出情報Ｓｄｔは、現在画ＤｉｎＣについてモアレが生じているか生じていないかを示すモアレ有無情報を含む場合がある。
或いは検出情報Ｓｄｔは、現在画ＤｉｎＣについてモアレが生じている画素領域を示すエリア情報を含む場合がある。
検出情報Ｓｄｔは、モアレ有無情報とエリア情報の両方を含むものでもよい。

図３におけるモアレ検出部３１が以上の処理で生成した検出情報Ｓｄｔは、モアレ低減部３２に供給される。
モアレ低減部３２には画像データＤｉｎがモアレ低減処理の対象として入力される。モアレ低減部３２は、画像データＤｉｎについて、検出情報Ｓｄｔに基づいてモアレ低減処理、具体的には例えばＬＰＦ（ローパスフィルタ）処理を行う。

なお検出情報Ｓｄｔは、モアレ検出部３１が現在画ＤｉｎＣとしたフレームについてのモアレ検出結果であるので、その検出情報Ｓｄｔに基づくモアレ低減処理は、その現在画ＤｉｎＣと同じフレームの画像データＤｉｎに対して行うことになる。

モアレ低減部３２は、画像データＤｉｎの各フレームに対して例えば図５のようにモアレ低減処理を行う。
ステップＳ２０１でモアレ低減部３２は現時点の処理対象となる画像データＤｉｎのフレームに対応する検出情報Ｓｄｔを取得する。

ステップＳ２０２でモアレ低減部３２は、検出情報Ｓｄｔを参照して、現在の処理対象のフレームが、モアレが発生している画像であるか否かを判定する。検出情報Ｓｄｔにモアレ有無情報が含まれていれば、それにより判定できる。検出情報Ｓｄｔがエリア情報のみであっても、エリア情報として該当箇所が示されているか否かでモアレの発生を判定できる。

モアレが発生していると判定した場合は、モアレ低減部３２はステップＳ２０３に進み、処理対象のフレームの画像データＤｉｎに対してＬＰＦ処理を行うことでモアレを低減させる。なお、ＬＰＦ処理としたが、特定の周波数帯域をフィルタリングするＢＰＦ（バンドパスフィルタ）処理でもよい。
モアレが発生していないと判定した場合は、モアレ低減部３２はステップＳ２０３を行わずに、処理対象のフレームの画像データＤｉｎに対しての図５の処理を終える。

以上のようにモアレ低減部３２で処理されることで、モアレが低減（解消も含む）された画像データＤｏｕｔが得られる。
例えばこの画像データＤｏｕｔについて現像処理が行われることで、モアレが低減された画像が表示されるようにすることができる。

なお、画像処理部２０としては、図６のような構成も考えられる。即ちモアレ低減部３２を設けない構成例である。
この場合、モアレ検出部３１により、上記のように検出情報Ｓｄｔが生成される。例えば撮像装置１のカメラ制御部１８や情報処理装置７０におけるＣＰＵ７１は、この検出情報Ｓｄｔを、画像データＤｉｎのフレームに対応づけられるメタデータとする。
例えばカメラ制御部１８は、記録制御部１４により画像データＤｏｕｔの各フレームに関連付けてメタデータを記録媒体に記録させることができる。或いはカメラ制御部１８は、画像データＤｏｕｔと、その各フレームに関連付けたメタデータを、通信部１６から外部装置に送信させることができる。

従って、画像データの各フレームについて、モアレの検出情報Ｓｄｔが関連づけられたものとなる。その場合、その画像データとメタデータを含む画像ファイルを入力した機器、例えば情報処理装置７０において、図５のようなモアレ低減処理を行うようにすることができる。その場合、ステップＳ２０１で取得する検出情報は、モアレ低減処理対象としているフレームに対応してメタデータから読み取るものとなる。
なお情報処理装置７０のＣＰＵ７１も、上記のカメラ制御部１８と同様に、検出情報Ｓｄｔを画像データＤｉｎのフレームに対応づけられるメタデータとすることもできる。その場合、記憶部７９等において画像データＤｏｕｔの各フレームに関連付けてメタデータを記録媒体に記録させることや、画像データＤｏｕｔと、その各フレームに関連付けたメタデータを、通信部８０から外部装置に送信させることができる。

＜４．モアレ検出処理例＞
以下、モアレ検出部３１による具体的なモアレ検出処理例（第１例，第２例，第３例）を説明する。各例は、図３のように現在画ＤｉｎＣと過去画ＤｉｎＰを入力するモアレ検出部３１によって行われる処理例である。

モアレ検出処理の第１例を図７から図１０で説明する。
第１例は、画像内の被写体についての物体認識処理を行い、それぞれの物体の動きと，物体内部の動きが一致していない画素領域を、モアレと判定する例である。
図７はモアレ検出部３１の第１例を示すフローチャートである。

モアレ検出部３１はステップＳ１１０で、画像に対する物体認識処理を行い、認識結果に基づいて対象被写体を設定する。

この場合、モアレ検出部３１は、例えば現在画ＤｉｎＣにおける被写体についてセマンティックセグメンテーション処理、パターン認識処理などにより、人、動物、物などの物体認識処理を行う。説明上、これら何らかの物体として認識された被写体を物体Ａ、物体Ｂ、物体Ｃなどと呼ぶこととする。そしてこれらの認識した物体の中で、動き検出の対象とする物体を特定し、対象被写体とする。

例えばモアレ検出部３１は、過去画ＤｉｎＰについての物体認識処理で認識されていた物体と、同じ個体と推定されるものを動き検出の対象被写体とすることが考えられる。
なお、過去画ＤｉｎＰについての物体は、例えばモアレ検出部３１が過去にそのフレームを現在画ＤｉｎＣとして扱った時点の物体認識結果に基づいて判定することができる。

そして例えば過去画ＤｉｎＰにおいて物体Ａ、物体Ｂ、物体Ｃが認識されており、今回の物体認識処理で現在画ＤｉｎＣについて物体Ａ、物体Ｂを認識した場合、その物体Ａ、物体Ｂを動き検出の対象被写体とする。
このようにステップＳ１１０では、画像についての物体認識処理に基づいて、１つ以上の物体を対象被写体とする。

なお、対象被写体が設定できない場合もある。例えば現在画ＤｉｎＣにおいて認識された物体と、過去画ＤｉｎＰにおいて認識された物体とにおいて、共通の個体であると判定される物体が存在しない場合である。このような場合は、モアレ検出部３１はステップＳ１１１からステップＳ１１４に進む。

ステップＳ１１０で１又は複数の物体を対象被写体として設定した場合は、モアレ検出部３１はステップＳ１１１からステップＳ１１２に進み、１又は複数の対象被写体について、それぞれの動きを検出する。
つまり各対象被写体について、過去画ＤｉｎＰにおけるフレーム内位置と、現在画ＤｉｎＣにおけるフレーム内位置を比較して、動きを検出する。例えば対象被写体とした物体Ａは画面の左方向に速度“１”で動いており、物体Ｂは画面の上方向に速度“３”で動いている、などというように、それぞれの対象被写体について動きを検出する。
なお、或る対象被写体について動きが検出されない場合もある。

ステップＳ１１３でモアレ検出部３１は、それぞれの対象被写体とした物体のうちで、動きが検出された物体の画素領域のうちで、その物体の動きと異なる動きをしている画素領域を検出する。
例えば対象被写体とした物体Ａとしての画素領域内、つまり物体Ａとしての被写体の輪郭内に相当する各画素において、物体Ａについて検出した動きと異なる動きが生じている部分を検出する。
具体的には、物体Ａが「画面の左方向に速度“１”で動いている」と検出したときに、物体Ａとして認識された画素領域内の各画素のうちで、「画面の左方向に速度“１”で動いている」ことが検出されない画素を検出する。このような１又は複数の画素の領域を、異なる動きを示す画素領域とする。

そしてステップＳ１１４でモアレ検出部３１は、異なる動きを示す画素領域の検出に基づいて、検出情報Ｓｄｔを生成する。
例えば異なる動きを示す画素領域が検出された場合、検出情報Ｓｄｔとして「モアレ有り」を示すモアレ有無情報を生成する。異なる動きを示す画素領域が１つも検出されなかった場合、検出情報Ｓｄｔとして「モアレ無し」を示すモアレ有無情報を生成する。
または検出情報Ｓｄｔとして、異なる動きを示す画素領域を特定する情報であるエリア情報を生成する。もし異なる動きを示す画素領域が存在しなければ、該当領域が存在しないとするエリア情報を生成する。
なお、ステップＳ１１１からステップＳ１１４に進んだ場合は、検出情報Ｓｄｔとして「モアレ無し」を示すモアレ有無情報を生成するか、或いは該当エリアが存在しないエリア情報を生成することになる。

以上の処理の考え方を図８，図９で説明する。
図８において過去画ＤｉｎＰ及び現在画ＤｉｎＣに、被写体として物体５０が存在したとする。この物体５０には、画像上、縦縞の模様５１（図では斜線部と非斜線部の縞として示している）が見られたとする。
過去画ＤｉｎＰと現在画ＤｉｎＣを比較すると画像上の動きが検出される。つまり異なる時刻のフレーム間で、物体５０について左方向への或る速度の動きが検出される。
ここで、その物体５０の内部の模様５１について見てみると、同じく左方向への同じ速度の動きが検出される。その場合、この模様５１はモアレではなく、実際に物体５０についている模様であると判定する。

一方、図９の過去画ＤｉｎＰと現在画ＤｉｎＣを比較した場合、物体５０について左方向への或る速度の動きが検出されるが、物体５０の内部の模様５２について見てみると、方向、速度の一方又は両方が同じ動きとはなっていない。つまり物体５０と模様５２は動きが一致していない。このような場合、模様５２はモアレであると判定する。

なお、物体５０内に、実際に動く模様が存在することもある。
例えば図１０には、被写体とされた物体５５を示しているが、この物体５５は、過去画ＤｉｎＰと現在画ＤｉｎＣを比較して動きが検出されないものであったとする。
ところが、物体５０の内部の模様５３については何らかの動きが検出されたとする。この場合は、実際に模様５３が動いているという可能性が高い。

従って、図７のステップＳ１１２，Ｓ１１３で、対象被写体とした物体について「動き無し」と判定した場合は、その物体内部の画素領域は、動きがあっても、モアレと判定しないことが考えられる。
つまり、ステップＳ１１３では、動きが検出された対象被写体についてのみ、その内部で異なる動きとなっている画素領域を検出することで、モアレの誤検出を減らすことができる。

モアレ検出処理の第２例を図１１で説明する。
第２例は、画像内の被写体が一様に動くという一様動き情報が事前に得られる場合において、物体認識を行わずに、全体の動き検出の結果を用いてモアレ検出を行う例である。

モアレ検出部３１は図１１のステップＳ１２１で、全被写体が一様に動くことの事前情報、すなわち一様動き情報の有無を確認して処理を分岐する。

この一様動き情報としての事前情報とは、例えばユーザによる撮影モードの設定であってもよいし、パンニングやチルティングを行うことの情報であってもよい。或いは過去に撮像された画像データＤｉｎについての処理時であれば、その画像データＤｉｎの撮像時における撮影モードやパンニング等が行われたことの情報であってもよい。

例えばユーザが風景や静物の撮影に適した撮影モードを設定した場合、動きがない被写体を対象とすることが想定される。この場合、画面内の被写体は、撮像装置１の動きに応じた変化であって、一様に動くことが予想される。
パノラマ撮影モードにセットするなど、ユーザがパンニングを行うことが想定される場合も同様に、被写体が一様に動くことが予想される。
また撮像装置１が取り付けられたパンチルターなどによるパンニング動作やチルト動作が行われる旨の情報なども、動きがない被写体が画像内で動く状況であることを示す事前情報の１つとして考えられる。但し、必ずしも動きが無い被写体を撮像するとは限らないことから、パンニング動作やチルト動作が行われる旨の情報があるときは、基本的には上述の第１例のモアレ検出処理を適用するという考え方もできる。動きがない被写体であることが推定又は判定される場合において、パンニング動作やチルト動作が行われる旨の情報は、全被写体が一様に動くことの事前情報となる。

例えば以上のような、全被写体が一様に動くことを想定させる事前情報がない場合には、モアレ検出部３１はステップＳ１２１から他の処理に進む。例えば図７の第１例の処理を行うようにしてもよい。或いはモアレ検出処理を実行しないということも考えられる。

一方、上記のような一様動き情報としての事前情報があった場合には、モアレ検出部３１はステップＳ１２２に進み、まず画像内で特徴点を設定する。例えば現在画ＤｉｎＣにおいて、明確なエッジが検出される箇所、特徴的な形状を示す箇所などの１点又は複数点を選択し、特徴点とする。

ステップＳ１２３でモアレ検出部３１は、過去画ＤｉｎＰと現在画ＤｉｎＣにおける特徴点のフレーム内位置を比較して、画像内の被写体の一様な動き（方向及び速度）を検出する。

ステップＳ１２４でモアレ検出部３１は、過去画ＤｉｎＰと現在画ＤｉｎＣを比較して、上記の一様な動きとは異なる動きを示している画素を検出する。この場合、各被写体が一様の動きをするのであるから、被写体と同じ動きが想定される画素領域とは、フレーム全体となる。従って、フレーム全体の画素のうちで、一様の動きとは異なる動きを示している画素を判定して、そのような画素の領域を検出する。即ち局所的に、全体の動きとは異なる方向の動きや異なる速度の動きがみられる部分を検出することになる。

そしてステップＳ１２５でモアレ検出部３１は、一様の動きとは異なる動きを示す画素領域の検出に基づいて、検出情報Ｓｄｔ（モアレ有無情報、エリア情報）を生成する。

このように被写体の一様の動きが想定される場合、物体認識を行わなくとも、第１例と同様に動きの違いに基づいてモアレ検出を行うことができる。

モアレ検出処理の第３例を図１２で説明する。
第３例は、被写体自体が動かず、かつ三脚又はパンチルターの動きの情報が得られたり、センサ部２３のＩＭＵデータなどとして撮像装置１自体の動きの情報が得られたりする場合に、その動きと一致していない箇所をモアレと判定する例である。

モアレ検出部３１は図１２のステップＳ１３１で、全被写体が一様に動くことを示す一様動き情報が事前情報として得られているか否かを確認して処理を分岐する。
これは図１１のステップＳ１２１と同様であり、一様動き情報としての事前情報とは、例えばユーザによる撮影モードの設定であって、ユーザが風景や静物の撮影に適した撮影モードを設定したことの情報、パノラマ撮影モードの情報、パンチルター等によるパンニング等の情報などと考えることができる。
なお、この第３例の場合は、撮像装置１がパンチルター等に搭載されてそのパンニングやチルティングの動きの方向や速度を検知できること、或いはセンサ部２３からのＩＭＵデータなどとして撮像装置１自身の動きの方向や速度を検知できることが前提である。

上記のような一様動き情報としての事前情報がない場合には、モアレ検出部３１はステップＳ１３１から他の処理に進む。例えば図７の第１例の処理を行うようにしてもよいし、モアレ検出処理を実行しないということも考えられる。

一方、上記のような一様動き情報としての事前情報があった場合には、モアレ検出部３１はステップＳ１３２に進み、動き情報を取得する。
例えば過去画ＤｉｎＰのフレームと現在画ＤｉｎＣのフレームの各時点に対応するパンチルターの撮影方向の情報や、各フレームに対応するＩＭＵデータなどを取得する。これらの情報から被写体全体の一様の動き（方向及び速度）を検出できる。

ステップＳ１３３でモアレ検出部３１は、過去画ＤｉｎＰと現在画ＤｉｎＣを比較して、上記の一様な動きとは異なる動きを示している画素を検出する。この場合、各被写体は、パンチルター或いは撮像装置１の動きと同じ動きとして一様の動きをするのであるから、被写体と同じ動きが想定される画素領域とは、フレーム全体となる。従って、フレーム全体の画素のうちで、一様の動きとは異なる動きを示している画素を判定して、そのような画素の領域を検出する。即ち局所的に、パンニング等の撮像装置１の動きとは異なる方向の動きや異なる速度の動きがみられる部分を検出することになる。

そしてステップＳ１３４でモアレ検出部３１は、一様の動きとは異なる動きを示す画素領域の検出に基づいて、検出情報Ｓｄｔ（モアレ有無情報、エリア情報）を生成する。

このように被写体が動かないものであることが想定される場合、パンチルター或いは撮像装置１の動きを被写体の一様の動きとし、異なる動きの部分をモアレとして検出できる。

なお、以上の第１例、第２例、第３例のようなモアレ検出処理では、異なる動きの画素領域が存在するときにモアレとして検出するが、その「動き」が異なることの判定については、各種の状況に応じて調整することが考えられる。
例えば認識した被写体の内部でも、その被写体の全体の動きとは厳密には一致しないことも想定される。例えば人の全体としての動きと衣服の各部の動きが若干異なることや、植物が風などで揺らいだ場合に、一様の動きとは若干異なることになるような場合である。そのようなわずかな違いまでを含めてモアレと判定することが適切ではない。

そこで、「異なる動き」を判定する方向差や速度差についての閾値は、微細な違いを検出しない値としたり、状況に応じて可変したりすることが考えられる。例えば認識した被写体の種別によって閾値を変化させることや、撮像装置１の動きの速度などによって閾値を変化させることが考えられる。

＜５．モアレ低減処理例＞
続いてモアレ低減部３２によるモアレ低減処理の具体例（第１例，第２例，第３例）を説明する。各例は、図３のように検出情報Ｓｄｔを入力するモアレ低減部３２によって行われる処理例である。

モアレ低減処理の第１例を図１３に示す。これは検出情報Ｓｄｔとしてモアレ有無情報が入力される場合の例である。

ステップＳ２１１でモアレ低減部３２は、検出情報Ｓｄｔとしてモアレ有無情報を取得する。
ステップＳ２１２でモアレ有無情報は、モアレ有無情報により、画像データＤｉｎの現在の処理対象のフレームについてモアレが発生しているか否かを確認する。モアレが生じていなければ、現在処理対象のフレームについて、何もせずにモアレ低減処理を終える。

一方、モアレが生じていることが確認された場合、モアレ低減部３２はステップＳ２１３に進み、現在処理対象の画像データＤｉｎの全体にＬＰＦ処理を行う。
これによりモアレを目立たなくした画像データＤｏｕｔを得ることができる。

モアレ低減処理の第２例を図１４に示す。これは検出情報Ｓｄｔとしてエリア情報が入力される場合の例である。

ステップＳ２２１でモアレ低減部３２は、検出情報Ｓｄｔとしてモアレを検出した画素領域を示すエリア情報を取得する。
ステップＳ２２２でモアレ有無情報は、エリア情報により、画像データＤｉｎの現在の処理対象のフレームについてモアレが発生しているか否かを確認する。つまり１以上の画素領域がエリア情報において示されているか否かを確認する。
モアレが生じていなければ、現在処理対象のフレームについて、何もせずにモアレ低減処理を終える。

一方、モアレが生じていることが確認された場合、モアレ低減部３２はステップＳ２２３に進み、エリア情報で示されている画素領域を対象としてＬＰＦ処理を行う。
これによりモアレが生じた部分でモアレを低減した画像データＤｏｕｔを得ることができる。

モアレ低減処理の第３例を図１５に示す。これも検出情報Ｓｄｔとしてエリア情報が入力される場合の例であるが、ＬＰＦ処理を行う部分と行わない部分の境界で画像の解像感の変化を円滑にするスムーシング処理を行う例である。

ステップＳ２３１でモアレ低減部３２は、検出情報Ｓｄｔとしてモアレを検出した画素領域を示すエリア情報を取得する。
ステップＳ２２２でモアレ有無情報は、エリア情報により、画像データＤｉｎの現在の処理対象のフレームについてモアレが発生しているか否かを確認する。つまり１以上の画素領域がエリア情報において示されているか否かを確認する。
モアレが生じていなければ、現在処理対象のフレームについて、何もせずにモアレ低減処理を終える。

一方、モアレが生じていることが確認された場合、モアレ低減部３２はステップＳ２２３に進み、フレーム全体にＬＰＦ処理を施したＬＰＦ処理画像を生成する。

ステップＳ２３４でモアレ低減部３２は、エリア情報に基づいて、各画素のブレンド率を設定する。ブレンド率とは、ＬＰＦ処理画像と、その元画像（ＬＰＦ処理を施していない画像）の画素値の混合比である。

各画素のブレンド率は例えば次のように設定する。
図１６において斜線部としたエリアＡＲ１が、エリア情報によってモアレが生じていると示されたエリアであるとする。
このエリアＡＲ１の外周を囲うように、エリアＡＲ２、ＡＲ３、ＡＲ４を設定し、それ以外をエリアＡＲ５とする。

そして各エリアについて、ＬＰＦ処理画像と元画像のブレンド比を次のようにする。
・ＡＲ１・・・１００：０
・ＡＲ２・・・７５：２５
・ＡＲ３・・・５０：５０
・ＡＲ４・・・２５：７５
・ＡＲ５・・・０：１００

なお、このようにエリアＡＲ１からエリアＡＲ５に分けるエリア分割数や、ブレンド比は説明上の一例にすぎない。

図１５のステップＳ２３５でモアレ低減部３２は、エリアＡＲ１からエリアＡＲ５において、それぞれ上記のブレンド比でＬＰＦ処理画像と元画像の合成を行う。

例えばエリアＡＲ１の画素はＬＰＦ処理画像の画素を当てはめる。またエリアＡＲ１の各画素の画素値は、ＬＰＦ処理画像と元画像の対応がその画素値が７５：２５で合成されるようにする。エリアＡＲ３，ＡＲ４も、上記のブレンド比で合成する。エリアＡＲ５は元画像の画素を当てはめる。
そしてこのように合成した結果の画像データを、モアレ低減を行った画像データＤｏｕｔとする。

このようにすることで、ＬＰＦ処理を行った画素領域と、ＬＰＦ処理を行わない画素領域の境界における解像感の差を感じさせにくくすることができる。

なお、以上の第１例、第２例、第３例のようなモアレ低減処理ではＬＰＦ処理を行う例としたが、その周波数特性を調整すること、例えばカットオフ周波数を上げることで、高周波に折り返ってきたモアレのみを低減することもできる。そうすることで、低周波部分は被写体の動きと一致していなくても模様が消えることは無く、本当に被写体の中で模様が動いている場合など、モアレ検出の間違いがあってもその影響を減らすことができる。

またＬＰＦ処理のカットオフ周波数をユーザが調整できるようにしてもよい。
例えばユーザがカットオフ周波数を変更する操作を行いながらモアレ低減処理後の画像を確認できるようにして、画像の解像感とモアレの低減状況が自分の望む状態となるように調整できるようにすることが考えられる。

さらには、高周波に折り返ってきたモアレを本手法で検出して低減しつつ、低周波に折り返ってきたモアレは他の手法、例えば光学特性の異なる二枚の画像の差分をモアレとして検出して、その部分をＬＰＦ処理で低減するということもできる。

＜６．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像処理部２０は、異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報Ｓｄｔを生成するモアレ検出部３１を備える。
画像内の被写体の動き、即ち異なる時刻の画像間で被写体のフレーム内位置の変化としては、被写体自体の動きによる変化や、撮像装置１の動き、例えばパンニング等の動きによる変化がある。そして、ある特定の被写体の動きがある場合、その被写体の輪郭内の画素領域は、当該被写体と同じ動きが想定される画素領域である。また静止している被写体の撮像時にパンニングやチルティングにより画像内の被写体全体に動きがあるときは、フレーム内の画素領域全体が、被写体と同じ動きが想定される画素領域である。
従って、被写体の動きが生じているときに、その被写体と同じ動きが生ずるべき画素領域のうちで、異なる動きを示していれば、それは本来あるべき被写体の模様等ではなく、モアレであると検出できる。このように動きの状態、つまり異なる時刻の画像間でフレーム内位置の変化の状態からモアレを検出することで、モアレの周波数に関係なく、本当の模様と区別してモアレを検出することができる。

実施の形態の画像処理部２０は、検出情報Ｓｄｔに基づいてモアレ低減処理を行うモアレ低減部３２をさらに備える。
動きの状態からモアレを検出した検出情報に基づいて、例えばＬＰＦ処理などでモアレ低減を行う。これにより、モアレの周波数に関係なく、本当の模様と区別してモアレを低減することができる。

実施の形態では、モアレ検出部３１が、画像内の物体認識結果に基づいて検出処理対象とした対象被写体の動きを検出し、対象被写体の画素領域のうちで対象被写体の動きと異なる動きがある画素領域を検出して、検出情報Ｓｄｔを生成する例を挙げた（モアレ検出処理の第１例：図７参照）。
物体認識によって画像内の被写体を認識することで１又は複数の対象被写体を設定することで、例えば人、物、動物などの物体を対象被写体として、その動きを検出する。各対象被写体の画素領域は、すべてその対象被写体としての例えば輪郭部分の動きと同様な動き（フレーム内位置の変化）が生じているはずである。従って異なる動きが検出された場合、モアレと判定することができる。

実施の形態では、モアレ検出部３１が、画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、画像内の特徴点の動きを検出し、特徴点の動きと異なる動きがある画素領域を検出して、検出情報Ｓｄｔを生成する例を挙げた（モアレ検出処理の第２例：図１１参照）。
例えばユーザが選択する撮影モードや、撮像装置１が取り付けられたパンチルターなどによるパンニング動作やチルト動作が行われる旨の情報などが事前情報として与えられていれば、モアレ検出部３１は、画像内の被写体全体について一様の動きが現れることを把握できる。この場合、画像内の或る特徴点のフレーム間の位置の変化として、パンニング等によって生ずる本来の動きの方向や速度を検出できる。この本来の動きと異なる動きを示している画素領域が検出された場合、モアレと判定することができる。
なお状況に応じて、図7のような物体認識に基づく対象被写体の動きと異なる動きの画素領域を検出する処理と、図１１のように事前情報に応じて特徴点の動きと異なる動きの画素領域を検出する処理とが、使い分けられるようにすることも考えられる。

実施の形態では、モアレ検出部３１が、画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、撮像時の撮像装置の動きを示す動き情報と異なる動きがある画素領域を検出して、検出情報Ｓｄｔを生成する例を挙げた（モアレ検出処理の第３例：図１２参照）。
例えばパンチルターなどからの動作の方向や速度の情報が入力されることや、センサ部２３によるＩＭＵデータなどによれば、撮像時の撮像装置１の動きが示されることになる。事前情報により、モアレ検出部３１は、画像内の被写体全体について一様の動きが現れることを把握できる場合、被写体の全部について撮像装置１の動きを示す動き情報に適合した動きが検出されるはずである。この場合に動き情報と異なる動きを示している画素領域が検出された場合、モアレと判定することができる。
なお状況に応じて、図7のような物体認識に基づく対象被写体の動きと異なる動きの画素領域を検出する処理と、図１１のように事前情報に応じて特徴点の動きと異なる動きの画素領域を検出する処理と、図１２のように被写体全体の動きの情報を取得して異なる動きの画素領域を検出する処理とを使い分けられるようにすることも考えられる。

実施の形態では、検出情報Ｓｄｔはモアレ有無情報を含む場合があることを述べた。
検出情報Ｓｄｔとしてモアレ有無情報を少なくとも有することで、モアレ低減部３２において、モアレが検出されたフレームについてのみモアレ低減処理を行うようにすることができる。モアレの生じていない画像までにもモアレ低減処理が施されないことで、画像の解像感をむやみに損なわないようにすることができる。

実施の形態では、検出情報Ｓｄｔはモアレが検出された画素領域を示すエリア情報を含む場合があることを述べた。
検出情報Ｓｄｔとしてエリア情報を有することで、モアレ低減部３２において、モアレが検出された画素領域のみにモアレ低減処理を行うようにすることができる。これによりモアレの生じていない画像領域にはモアレ低減処理が施されないようにすることができ、画像の解像感を損なわずにモアレのみを低減できる。

実施の形態では、撮像装置１のカメラ制御部１８や情報処理装置７０のＣＰＵ７１等、検出情報Ｓｄｔを画像に対応するメタデータとして画像に関連付ける制御部を有する例を述べた（図１、図２、図４参照）。
撮像装置１のカメラ制御部１８は、モアレ検出部３１により各フレームについて検出した検出情報Ｓｄｔを、画像のフレームに関連づけたメタデータとし、記録媒体に記録させたり、外部装置に送信させたりすることで、撮像装置１以外の機器でも、検出情報Ｓｄｔを用いてモアレ低減処理を行うことができるようになる。これにより動きの比較に基づくモアレ検出結果を有効利用できる。情報処理装置７０のＣＰＵ７１により、このような処理が行われても、その後の情報処理装置７０の処理、或いは他の機器の処理において、検出情報Ｓｄｔを用いたモアレ低減処理を行うことができるようになる。

実施の形態のモアレ低減部３２は、画像に対するＬＰＦ処理によりモアレ低減処理を行う例を挙げた（モアレ低減処理の第１例（図１３）、第２例（図１４）、第３例（図１５）参照）。
モアレ低減部３２がＬＰＦにより形成され、図３に示したように検出情報Ｓｄｔに基づいて現在画（画像データＤｉｎ）に対してＬＰＦ処理を行うことで、必要な場合にモアレ低減が実行されることになる。

実施の形態では、モアレ低減部３２が、モアレが検出された画素領域を示すエリア情報を含む検出情報Ｓｄｔに基づいて、エリア情報で示される画素領域に対するＬＰＦ処理により、モアレ低減処理を行う例を挙げた（モアレ低減処理の第２例、図１４参照）。例えばエリア情報で示される画素領域のみに対してＬＰＦ処理を行う。
検出情報Ｓｄｔとしてエリア情報が供給された場合、モアレ低減部３２は、モアレが生じている画素領域のみに対してＬＰＦ処理を行うことができる。これによりモアレ以外の部分でＬＰＦ処理を行わず、モアレが生じていない部分で解像感を損なわないモアレ低減を実現できる。

実施の形態では、モアレ低減部３２が、モアレが検出された画素領域を示すエリア情報を含む検出情報Ｓｄｔに基づいて、エリア情報で示される画素領域に対するＬＰＦ処理によりモアレ低減処理を行うとともに、エリア情報で示される画素領域の周囲の領域に、ＬＰＦ処理の反映程度を徐々に変化させるスムーシング処理を行う例を挙げた（モアレ低減処理の第３例、図１５、図１６参照）。
検出情報Ｓｄｔとしてエリア情報が供給された場合、エリア情報で示される画素領域にＬＰＦ処理を行い、他の領域でＬＰＦ処理を行わない場合に、その画素領域の境界で画像の円滑性が崩れる場合があり得る。そこで、図１５，図１６で説明したようなスムーシング処理を行う。これによりモアレが検出された画素領域が不自然に見えるようなことを防止できる。

実施の形態では、モアレ低減部３２が、モアレ有無情報を含む検出情報Ｓｄｔに基づいて、画像全体に対するＬＰＦ処理によりモアレ低減処理を行う例を挙げた（モアレ低減処理の第１例、図１３参照）。
検出情報Ｓｄｔとしてモアレ有無情報が供給された場合、モアレ低減部３２は、モアレが生じている画像に対して画像全体にＬＰＦ処理を行うことでモアレ低減が実行できる。換言すればモアレが生じていない画像にはＬＰＦ処理を行わないようにすることができる。

なおモアレ低減部３２は、検出情報Ｓｄｔの内容に応じてＬＰＦ処理を切り替えるようにしてもよい。例えば検出情報Ｓｄｔにモアレ有無情報のみが含まれていた場合は画像全体にＬＰＦ処理を行い、検出情報Ｓｄｔにエリア情報が含まれていた場合は、そのエリア情報で示される画素領域に対してＬＰＦ処理を行うようにすることが考えられる。

実施の形態では、モアレ低減部３２が画像に対するＬＰＦ処理によりモアレ低減処理を行うとともに、ＬＰＦ処理のカットオフ周波数の可変設定を行う例を述べた。
例えばユーザの操作や、状況に応じてＬＰＦ処理のカットオフ周波数を変化させることで、ユーザの考えや状況に応じたモアレ低減処理が可能になる。
例えば被写体が静止していたり撮像装置１が動いたりしているときは、カットオフ周波数を下げることなどが考えられる。

実施の形態のプログラムは、図４，図７，図１１，図１２のようなモアレ検出処理を、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等の演算処理装置、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報Ｓｄｔを生成する処理を演算処理装置に実行させるプログラムである。
このようなプログラムにより本開示でいう画像処理装置を各種のコンピュータ装置により実現できる。

このプログラムはさらに、図５，図１３，図１４，図１５のようなモアレ低減処理を、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムとしてもよい。

これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまたプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、本開示の画像処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成するモアレ検出部を備えた
画像処理装置。
（２）
前記検出情報に基づいてモアレ低減処理を行うモアレ低減部をさらに備えた
上記（１）に記載の画像処理装置。
（３）
前記モアレ検出部は、
画像内の物体認識結果に基づいて検出処理対象とした対象被写体の動きを検出し、
前記対象被写体の画素領域のうちで対象被写体の動きと異なる動きがある画素領域を検出して、前記検出情報を生成する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記モアレ検出部は、
画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、特徴点の動きと異なる動きがある画素領域を検出して、前記検出情報を生成する
上記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記モアレ検出部は、
画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、撮像時の撮像装置の動きを示す動き情報と異なる動きが現れた画素領域を検出して、前記検出情報を生成する
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記検出情報はモアレ有無情報を含む
上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記検出情報はモアレが検出された画素領域を示すエリア情報を含む
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記検出情報を画像に対応するメタデータとして前記画像に関連付ける制御部を有する
上記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記モアレ低減部は、
画像に対するローパスフィルタ処理により前記モアレ低減処理を行う
上記（２）に記載の画像処理装置。
（１０）
前記モアレ低減部は、
モアレが検出された画素領域を示すエリア情報を含む前記検出情報に基づいて、
前記エリア情報で示される画素領域に対するローパスフィルタ処理により、前記モアレ低減処理を行う
上記（２）又は（９）に記載の画像処理装置。
（１１）
前記モアレ低減部は、
モアレが検出された画素領域を示すエリア情報を含む前記検出情報に基づいて、
前記エリア情報で示される画素領域に対するローパスフィルタ処理により、前記モアレ低減処理を行うとともに、
前記エリア情報で示される画素領域の周囲の領域に、ローパスフィルタ処理の反映程度を徐々に変化させるスムーシング処理を行う
上記（２）（９）（１０）のいずれかに記載の画像処理装置。
（１２）
前記モアレ低減部は、
モアレ有無情報を含む前記検出情報に基づいて、
画像全体に対するローパスフィルタ処理により前記モアレ低減処理を行う
上記（２）（９）（１０）（１１）のいずれかに記載の画像処理装置。
（１３）
前記モアレ低減部は、
画像に対するローパスフィルタ処理により前記モアレ低減処理を行うとともに、
ローパスフィルタ処理のカットオフ周波数の可変設定を行う
上記（２）（９）（１０）（１１）（１２）のいずれかに記載の画像処理装置。
（１４）
異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成する
画像処理方法。
（１５）
異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成する処理を
演算処理装置に実行させるプログラム。

１ 撮像装置
１１ レンズ系
１２ 撮像素子部
１２ａ 撮像素子
１８ カメラ制御部
２０ 画像処理部
２１ バッファメモリ
３０ メモリ
３１ モアレ検出部
３２ モアレ低減部
７０ 情報処理装置
７１ ＣＰＵ

Claims (15)

1. 異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成するモアレ検出部を備えた
   画像処理装置。
2. 前記検出情報に基づいてモアレ低減処理を行うモアレ低減部をさらに備えた
   請求項１に記載の画像処理装置。
3. 前記モアレ検出部は、
   画像内の物体認識結果に基づいて検出処理対象とした対象被写体の動きを検出し、
   前記対象被写体の画素領域のうちで対象被写体の動きと異なる動きがある画素領域を検出して、前記検出情報を生成する
   請求項１に記載の画像処理装置。
4. 前記モアレ検出部は、
   画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、特徴点の動きと異なる動きがある画素領域を検出して、前記検出情報を生成する
   請求項１に記載の画像処理装置。
5. 前記モアレ検出部は、
   画像内の被写体全体が一様の動きをすることを示す一様動き情報が与えられた画像について、撮像時の撮像装置の動きを示す動き情報と異なる動きが現れた画素領域を検出して、前記検出情報を生成する
   請求項１に記載の画像処理装置。
6. 前記検出情報はモアレ有無情報を含む
   請求項１に記載の画像処理装置。
7. 前記検出情報はモアレが検出された画素領域を示すエリア情報を含む
   請求項１に記載の画像処理装置。
8. 前記検出情報を画像に対応するメタデータとして前記画像に関連付ける制御部を有する
   請求項１に記載の画像処理装置。
9. 前記モアレ低減部は、
   画像に対するローパスフィルタ処理により前記モアレ低減処理を行う
   請求項２に記載の画像処理装置。
10. 前記モアレ低減部は、
    モアレが検出された画素領域を示すエリア情報を含む前記検出情報に基づいて、
    前記エリア情報で示される画素領域に対するローパスフィルタ処理により、前記モアレ低減処理を行う
    請求項２に記載の画像処理装置。
11. 前記モアレ低減部は、
    モアレが検出された画素領域を示すエリア情報を含む前記検出情報に基づいて、
    前記エリア情報で示される画素領域に対するローパスフィルタ処理により、前記モアレ低減処理を行うとともに、
    前記エリア情報で示される画素領域の周囲の領域に、ローパスフィルタ処理の反映程度を徐々に変化させるスムーシング処理を行う
    請求項２に記載の画像処理装置。
12. 前記モアレ低減部は、
    モアレ有無情報を含む前記検出情報に基づいて、
    画像全体に対するローパスフィルタ処理により前記モアレ低減処理を行う
    請求項２に記載の画像処理装置。
13. 前記モアレ低減部は、
    画像に対するローパスフィルタ処理により前記モアレ低減処理を行うとともに、
    ローパスフィルタ処理のカットオフ周波数の可変設定を行う
    請求項２に記載の画像処理装置。
14. 異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成する
    画像処理方法。
15. 異なる時刻の画像間でのフレーム内位置の変化としての動きが生じている被写体と同じ動きが想定される画素領域のうちで、異なる動きがある画素領域を検出して、モアレの検出情報を生成する処理を
    演算処理装置に実行させるプログラム。