JP2018151689A - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影状況に応じて望ましい特徴点追跡を実現できるようにした画像処理装置を提供する。
【解決手段】画像を複数の分割領域に分割する領域分割部１０２と、複数の分割領域のそれぞれにおいて特徴点を抽出する特徴点抽出部１０３と、複数の画像間において特徴点を追跡して動きベクトルを検出するベクトル検出部１０７と、特徴点の追跡の信頼度を算出する信頼度算出部１０８と、画像の着目対象を推定する着目対象推定部１１０と、着目対象推定部１１０の出力を用いて着目対象の動きを追跡するよう、複数の分割領域のそれぞれについて追跡対象の特徴点を設定する優先度を算出する優先度算出部１１１と、信頼度および優先度に基づいて、追跡対象の特徴点を複数の分割領域のいずれかに設定する特徴点補填部１１２とを備える。
【選択図】図１

Description

本発明は、複数のフレーム画像間で特徴点を追跡する画像処理装置に関するものである。

デジタルカメラ等の撮像装置による撮影時に、カメラ本体部を保持するユーザの「手振れ」等で被写体像に振れが生ずる場合がある。「手振れ」による像振れを補正するためには、撮像装置の位置姿勢変化を検出する必要がある。そのための撮像装置の姿勢および位置を検出する自己位置推定方法が知られている。これは、公知のＳＦＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）と慣性センサを用いた位置姿勢推定（Ｖｉｓｕａｌ ａｎｄ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）技術を応用して、実空間内に存在する物体の３次元位置と撮像装置の位置姿勢を推定する手法である。

この手法では、視点の異なる複数の画像において同一の特徴点を複数追跡し、三角測量の原理により特徴点の３次元座標を算出することによって、物体の３次元位置と撮像装置の位置姿勢を推定している。

特徴点追跡は、画像から抽出された特徴点の動きベクトルを、連続する複数のフレーム画像に渡って逐次検出することで実現できる（例えば特許文献１、２）。特徴点追跡では、追跡している特徴点が画角外に消えてしまったり、何らかの物体に隠れて見えなくなってしまったりすることで、特徴点が消失し、追跡が失敗してしまうことがある。このような追跡の失敗により追跡対象の特徴点の数が減ってしまった場合、別の特徴点を追跡対象として設定する（補填する）ことが必要である。

特許文献１では、特徴点が画面に一様に分布するように特徴点を補填する技術が開示されている。特許文献２では、消失した特徴点の位置を予測した予測点に特徴点を補填する技術が開示されている。

特開２００７−３３４６２５号公報 特開２０１６−１５２０２７号公報

ここで、追跡対象の特徴点の画面内での望ましい分布は、特徴点追跡結果の用途によって異なる。例えば、像振れ補正やシーンの３次元復元などの用途を想定すると、画面全体の動きを検出する必要があり、特徴点が画面に一様に分布していることが望ましい。一方、被写体の動き検知の用途では、検知対象は被写体であるため、被写体の周辺に特徴点が集中して分布していることが望ましい。このように、特徴点追跡では追跡対象の特徴点の分布を用途に応じて適切に変更する必要がある。

しかしながら、特許文献１、２に開示された技術では、撮影状況によらず、常に一定の規則に従って追跡対象の特徴点を設定しているため、ある特定の用途に適した状態でしか追跡対象の特徴点の分布を設定できないという問題があった。

前述したように、特許文献１では、画面に一様に分布するように特徴点を設定するため、像振れ補正やシーンの３次元復元などの用途には適しているが、被写体の動き検知の用途には適さない。一方、特許文献２では、被写体の移動に伴って特徴点が消失した場合にも、消失した位置を予測して特徴点を設定するため、被写体の動き検知の用途には適しているが、像振れ補正やシーンの３次元復元などの用途には適さない。

本発明は上述した課題に鏡見てなされたものであり、その目的は、撮影状況に応じて望ましい特徴点追跡を実現できるようにした画像処理装置を提供することである。

本発明に係わる画像処理装置は、画像を複数の分割領域に分割する領域分割手段と、前記複数の分割領域のそれぞれにおいて特徴点を抽出する特徴点抽出手段と、複数の画像間において前記特徴点を追跡して動きベクトルを検出するベクトル検出手段と、前記特徴点の追跡の信頼度を算出する信頼度算出手段と、画像の着目対象を推定する着目対象推定手段と、前記着目対象推定手段の出力を用いて前記着目対象の動きを追跡するよう、前記複数の分割領域のそれぞれについて追跡対象の特徴点を設定する優先度を算出する優先度算出手段と、前記信頼度および前記優先度に基づいて、前記追跡対象の特徴点を前記複数の分割領域のいずれかに設定する特徴点補填手段と、を備えることを特徴とする。

本発明によれば、撮影状況に応じて望ましい特徴点追跡を実現できるようにした画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態で行われる画像処理を説明するフローチャート。 特徴点の抽出を説明する図。 テンプレートマッチングを説明する図。 相関値マップを説明する図。 相関値マップの表現方法を説明する図。 特徴点の追跡信頼度を表わす相関値指標を説明する図。 特徴点の追跡信頼度の算出方法を説明する図。 カメラ情報と着目対象の関係を示す図。 着目対象が背景の場合の評価値算出処理を説明するフローチャート。 特徴点の領域ＩＤの算出を説明する図。 領域ＩＤごとの追跡成功特徴点数を示す図。 着目対象が背景の場合の評価値の算出方法を説明する図。 着目対象が背景の場合の評価値のソートを説明する図。 着目対象が被写体の場合の評価値算出処理を説明するフローチャート。 着目対象が被写体の場合の評価値の算出方法を説明する図。 着目対象が被写体の場合の評価値のソートを説明する図。 着目対象が背景の場合の特徴点補填結果を説明する図。 着目対象が被写体の場合の特徴点補填結果を説明する図。 第２の実施形態で行われる画像処理を説明するフローチャート。 第２の実施形態の評価値算出処理を説明するフローチャート。 第２の実施形態の評価値の算出方法を説明する図。 第２の実施形態の評価値のソートを説明する図。 第２の実施形態の特徴点補填結果を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置１００の構成を示す図である。図１において、画像入力部１０１は画像を入力する。領域分割部１０２は、画像入力部１０１により入力された画像を複数の画像領域に分割するための分割情報を出力する。各画像領域の形状は任意であるが、本実施形態では図３（ａ）に示すように、画像を格子状に分割する。

特徴点抽出部１０３は、領域分割部１０２からの分割情報に基づいて、画像領域ごとに所定数の特徴点を抽出する。以下では、特徴点抽出部１０３によりフレームごとに抽出される特徴点を新規特徴点と呼ぶ。新規特徴点情報保持部１０４は、特徴点抽出部１０３により抽出された特徴点の情報を保持する。追跡特徴点情報保持部１０５は、追跡対象の特徴点（以下、新規特徴点と区別し、追跡特徴点と呼ぶ）の情報を保持する。初期フレームに関しては、新規特徴点を追跡特徴点として扱えばよい。

画像メモリ１０６は、画像入力部１０１により入力された画像を１フレーム分又は複数のフレーム分、一時的に記憶保持する。動きベクトル検出部（ベクトル算出部）１０７は、追跡特徴点情報保持部１０５に保持されている追跡特徴点情報に基づいて、画像入力部１０１および画像メモリ１０６から入力される画像に対して、例えばテンプレートマッチングにより動きベクトルを検出する。信頼度算出部１０８は、動きベクトル検出部１０７から入力される動きベクトルに対して信頼度を算出する。

カメラ情報取得部１０９は、撮影状況を推定するために必要なカメラ情報を取得する。カメラ情報とは、例えば撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報等である。着目対象推定部１１０は、カメラ情報取得部１０９より得られるカメラ情報に基づいて、背景と被写体のいずれに着目して特徴点追跡を行うべきかを推定する。

優先度算出部１１１は、着目対象推定部１１０の推定結果に基づいて、動きベクトル検出部１０７で検出された動きベクトルおよび信頼度算出部１０８で算出された信頼度を用いて、分割領域ごとの追跡対象特徴点の設定優先度を算出する。特徴点補填部１１２は、信頼度算出部１０８により得られる信頼度および優先度算出部１１１により得られる優先度に基づいて、動きベクトル検出部１０７より得られる動きベクトルの終点から追跡特徴点を決定する。あるいは、新規特徴点情報保持部１０４より得られる新規特徴点から、追跡特徴点を決定する。そして、追跡特徴点保持部１０５に出力する。ここでは、優先度が高い分割領域に属する特徴点ほど、優先して追跡特徴点として設定する。

次に、上記のように構成される画像処理装置１００の動作について、図２に示すフローチャートを用いて説明する。

まず、ステップＳ２０１では、特徴点抽出部１０３は、画像入力部１０１により入力された画像に対して、領域分割部１０２により分割された複数の画像領域ごとに所定数の特徴点を抽出する。図３（ａ）において、白い矩形領域が特徴点抽出を行う特徴抽出領域であり、特徴点抽出領域の周辺には斜線で示す周辺領域を設けている。これは、抽出される特徴点の位置によっては、後述する動きベクトル検出に用いるテンプレート領域およびサーチ領域が特徴抽出領域をはみ出すため、そのはみ出し分だけ設けた余剰の画像領域である。図３（ｂ）は格子状に分割された画像領域ごとに１個の特徴点３０１を抽出する様子を示している。

特徴点の抽出方法としては、公知の方法を用いればよく、例えばHarris corner検出器もしくはShi and Tomasiの手法を用いる場合について説明する。これらの手法では、画像の画素（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）と表現し、画像に対して水平および垂直の１次微分フィルタを適用した結果Ｉｘ，Ｉｙから、式（１）で示す自己相関行列Ｈを作成する。

式（１）において、Ｇは式（２）に示すガウス分布による平滑化を表す。

Harris検出器は、式（３）に示す特徴評価式により、特徴量が大きくなる画素を特徴点として抽出する。

Harris＝det(Ｈ)−α（tr(Ｈ))² （α＝０．０４〜０．１５） …（３）
式（３）において、ｄｅｔは行列式を、ｔｒは対角成分の和を表す。また、αは定数であり、実験的に０．０４〜０．１５の値がよいとされている。

一方、Shi and Tomasiの手法では、式（４）に示す特徴評価式を用いる。

Shi and Tomashi ＝ min（λ1，λ2） …（４）
式（４）は、式（１）の自己相関行列Ｈの固有値λ１，λ２のうち小さい方の固有値を特徴量とすることを表す。Shi and Tomasiの手法を用いる場合でも、特徴量が大きくなる画素を特徴点として抽出する。分割された画像領域ごとに、式（３）または式（４）により画素の特徴量を算出し、特徴量が高い方から所定数の画素を特徴点として抽出する。

ステップＳ２０２では、ステップＳ２０１で抽出された特徴点を用いて動きベクトルの検出を行う。動きベクトル検出部１０７は、テンプレートマッチングにより動きベクトルを検出する。

図４は、テンプレートマッチングの概要を示す図である。図４（ａ）は２つのベクトル検出画像のうちの一方である基準画像を示し、図４（ｂ）は他方である参照画像を示している。ここでは、基準画像として画像メモリ１０６に保持されているフレーム画像、参照画像として画像入力部１０１から直接入力される画像データを用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。なお、基準画像と参照画像は逆に入れ替えてもよく、その場合は現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出部１０７は、基準画像にテンプレート領域４０１、参照画像にサーチ領域４０２を配置し、これらのテンプレート領域４０１とサーチ領域４０２の相関値を算出する。ここで、テンプレート領域４０１は、ステップＳ２０１で抽出された特徴点を中心に配置し、サーチ領域はテンプレート領域を上下左右均等に包含するように所定の大きさで配置すればよい。

本実施形態では、相関値の算出方法として、差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略す）を使用する。ＳＡＤの計算式を式（５）に示す。

式（５）において、ｆ（ｉ，ｊ）はテンプレート領域４０１内の座標（ｉ，ｊ）での輝度値を示している。また、ｇ（ｉ，ｊ）はサーチ領域４０２内において相関値の算出対象となる領域（以下、相関値算出領域という）４０３内の各座標での輝度値を示す。ＳＡＤでは、サーチ領域４０２、相関値算出領域４０３内の輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域４０１と相関値算出領域４０３のテクスチャの類似度が高いことを表す。なお、相関値の算出にＳＡＤ以外の方法を用いてもよく、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いてもよい。

動きベクトル検出部１０７は、サーチ領域４０２の全域において相関値算出領域４０３を移動させて相関値を算出する。これにより、サーチ領域４０２に対して図５に示すような相関値マップを作成する。

図５（ａ）はサーチ領域４０２の座標系で算出した相関値マップを示しており、Ｘ軸とＹ軸は相関値マップ座標、Ｚ軸は各座標での相関値の大きさを表している。また図５（ｂ）は、図５（ａ）の等高線を示したものである。図５（ａ）および図５（ｂ）において、相関値が最も小さいのは極小値５０１（相関の極大値）であり、サーチ領域４０２内で極小値５０１が算出された領域にはテンプレート領域４０１と非常に類似したテクスチャが存在していると判定できる。５０２は２番目の極小値、５０３は３番目の極小値を表わしており、これらは極小値５０１に次いで類似したテクスチャが存在していることを意味する。

このように、動きベクトル検出部１０７は、テンプレート領域４０１とサーチ領域４０２との間で相関値を算出し、その値が最も小さくなる相関値算出領域４０３の位置を判定する。これにより、基準画像上のテンプレート領域４０１の参照画像上での移動先を特定することができる。そして、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出することができる。

ステップＳ２０３では、信頼度算出部１０８は、ステップＳ２０１で得られた特徴点情報と、ステップＳ２０２で得られた相関値情報の少なくともいずれかを用いて、特徴点追跡の信頼度（追跡信頼度）を算出する。

最初に、相関値情報を用いて追跡信頼度を算出する例について説明する。図５（ｂ）の２次元相関値マップにおいて、相関値を矢印５０４で示すようにラスター順に並べ１次元で表わしたものを図６に示す。図６の縦軸は相関値、横軸は相関値マップのＸ座標とＹ座標により一意に定まる画素アドレスである。以降、追跡信頼度を算出するため、この図６の表現を用いることにする。なお、図６に６０１で示す位置は図５の極小値に対応する位置である。

図７は、追跡信頼度を表わす相関値の指標の一例を示す図である。図７の横軸は画素のアドレス、縦軸は相関値である。図７（ａ）では、指標として相関値の最小値と最大値の差分Ｄａを用いる。Ｄａは相関値マップのレンジを表わしており、Ｄａが小さい場合、テクスチャのコントラストが低いことが考えられ、信頼度が低いことを示す。

図７（ｂ）では、指標として相関値の最小値と最大値の差分Ａと、最小値と平均値の差分Ｂとの比率Ｄｂ（＝Ｂ／Ａ）を用いる。Ｄｂは相関値ピークの急峻性を表わしており、Ｄｂが小さい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを示す。

図７（ｃ）では、指標として相関値の極小値と２番目の極小値の差分Ｄｃを用いる。ここで、７０１，７０２，７０３は、それぞれ図５の相関値５０１，５０２，５０３と対応している。よって、図７（ｃ）は、図５（ｂ）の等高線において、相関値の最小と類似した極小値が存在しないかを確認することを意味している。Ｄｃは相関値マップの周期性を表わし、Ｄｃが小さい場合、テクスチャが繰り返しパターンやエッジなどであることが考えられ、信頼度が低いことを示す。なお、ここでは極小値と二番目の極小値を選択したが、相関値マップの周期性を判定できればよいため、その他の極小値を選択してもよい。

図７（ｄ）では、指標として相関値の最小値Ｄｄを用いる。Ｄｄが大きい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを表わす。Ｄｄと信頼度は反比例の関係にあるため、Ｄｄの逆数（１／Ｄｄ）を指標とする。

上記で説明した相関値の指標はそのまま信頼度として用いることができるが、例えば図８（ａ）のように相関値指標と信頼度の対応付けを行ってもよい。図８（ａ）の横軸は相関値指標（上述のＤａ，Ｄｂ，Ｄｃ，１／Ｄｄのいずれか）、縦軸は信頼度である。この例では、二つの閾値Ｔ１，Ｔ２を設けており、Ｔ１以下なら信頼度を０、Ｔ２以上なら信頼度を１としている。閾値は相関値指標ごとに変更してもよい。また閾値Ｔ１とＴ２の間の区間は、相関値指標と信頼度を非線形に対応付けてもよい。以降の説明では、各相関値指標から得られる信頼度をＲａ，Ｒｂ，Ｒｃ，Ｒｄと表現する。ここで、Ｒａ＝ｆ（Ｄａ），Ｒｂ＝ｆ（Ｄｂ），Ｒｃ＝ｆ（Ｄｃ），Ｒｄ＝ｆ（Ｄｄ）の関係にある。

最終的な信頼度Ｒ１は、これらＲａ，Ｒｂ，Ｒｃ，Ｒｄを組み合わせて算出すればよい。ここでは、重み付け加算に基づく組み合わせ方法について説明する。重み付け加算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重みをそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄとすれば、信頼度Ｒ１は式（６）のように計算される。

Ｒ１＝Ｗａ×Ｒａ＋Ｗｂ×Ｒｂ＋Ｗｃ×Ｒｃ＋Ｗｄ×Ｒｄ …（６）
例えば重みをＷａ＝０．４，Ｗｂ＝０．３，Ｗｃ＝０．２，Ｗｄ＝０．１とする。全ての信頼度が十分に高く、Ｒａ＝Ｒｂ＝Ｒｃ＝Ｒｄ＝１の場合には、式（６）よりＲ１＝１．０となる。またＲａ＝０．６，Ｒｂ＝０．５，Ｒｃ＝０．７，Ｒｄ＝０．７のような場合には、式（６）よりＲ１＝０．６となる。

次に、特徴点の特徴量を用いて追跡信頼度を算出する例について説明する。同一の特徴点を正しく追跡できている場合、追跡前後で特徴点の特徴量の変化は小さくなる。そのため、追跡前後の特徴量の変化量に応じて、追跡信頼度を算出する。

特徴量の変化量は、追跡前後で式（３）または式（４）により特徴量を算出し、両者の差分を取ることで得られる。図８（ｂ）に、特徴量の変化量と信頼度の対応付けの一例を示す。図８（ｂ）の横軸は特徴量の変化量、縦軸は信頼度Ｒ２である。この例では、二つの閾値Ｔ１，Ｔ２を設けている。特徴量の変化量が閾値Ｔ１以下で小さい場合、前述したように同一の特徴点を正しく追跡できていると考え、信頼度Ｒ２を１にしている。反対に、特徴量の変化量が閾値Ｔ２以上で大きい場合、異なる特徴点を誤追跡していると考え、信頼度Ｒ２を０にしている。閾値Ｔ１とＴ２の間の区間は、特徴量の変化量と信頼度を非線形に対応付けてもよい。

以上のことから、相関値情報と特徴点情報のそれぞれから追跡信頼度Ｒ１，Ｒ２を算出することができる。最終的な追跡信頼度Ｒとしては、いずれか一方を用いてもよいし、両者を組み合わせて用いてもよい。組み合わせに関しては、式（６）で述べたような重み付け加算を用いればよい。

次にＳ２０４では、カメラ情報取得部１０９は、撮影状況を推定するために必要なカメラ情報を取得する。Ｓ２０４で取得するカメラ情報の例として、撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報を用いるものとする。

主被写体情報は例えば、主被写体の人物らしさ、主被写体の大きさ、主被写体の動き等である。主被写体の人物らしさおよび大きさは、例えば主被写体を人物の顔とする場合、主被写体の色や輪郭の情報を用いる公知の顔検出技術によって得ることができる。主被写体の動きは、画像フレーム間で前述の動きベクトル検出技術により検出される動きベクトルから得ることができる。また、奥行き情報は、例えば測距センサを用いるか、あるいは、撮像画像から公知のステレオマッチング法により検出できる。

ステップＳ２０５では、着目対象推定部１１０は、ステップＳ２０４で取得したカメラ情報に基づいて、撮影状況を推定し、背景と被写体のいずれに着目して特徴点追跡を行うべきかを推定する。撮影時の着目対象が背景の場合、追跡特徴点は画面で一様に分布していることが望ましい。特徴点の分布が局所に偏っていると、特徴点が存在しない領域に含まれる背景の動き情報が得られないためである。一方、撮影時の着目対象が被写体の場合、追跡特徴点は被写体近傍に集中して分布していることが望ましい。特徴点の分布が一様であると、被写体の動き情報が十分に得られないためである。よって、カメラ情報から着目対象が背景と被写体のいずれであるかを推定し、その推定結果に応じて、追跡特徴点の分布を制御することが好ましい。

次に、カメラ情報に基づいて、着目対象を推定する方法について説明する。ここでは、まずカメラ情報ごとに着目対象が背景である度合いを表す背景度合いと、着目対象が被写体である度合いを表す被写体度合いを算出する。ここでは、背景度合いと被写体度合いを合計して１になる数値として表現する。なお、被写体度合いと背景度合いのいずれか一方だけを算出するようにしてもよい。

撮影モードについては、例えば、ポートレートモードの場合には人物（＝被写体）に着目して撮影している可能性が高いので、被写体度合を高く（例えば０．９）、背景度合いを低く（例えば０．１）する。一方、風景モードの場合には風景に着目して撮影している可能性が高いため、被写体度合いを低く（例えば０．１）、背景度合いを高く（例えば０．９）する。このように、撮影モードでは、モードによって可能性の高い撮影状況を想定することで、被写体度合いおよび背景度合いを決めることができる。主被写体の人物らしさについては、主被写体がより人物らしいほど、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。

主被写体の大きさについては、主被写体が大きいほど、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．８）、背景度合いを低く（例えば０．２）する。主被写体の動きについては、主被写体の動きが小さいほど、被写体を捉えようとカメラを構えていることが想定され、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．６）、背景度合いを低く（例えば０．４）する。シャッタースピードについては、シャッタースピードが速いほど、高速に移動する被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。以上までのカメラ情報と着目被写体の関係について図９にまとめた。括弧内の数値は、前述した背景度合い／被写体度合いの一例を示している。

次に、焦点距離と奥行き情報については、それぞれ単独では撮影者の意図を汲み取ることが難しい。そこで、両者を組み合わせて着目対象を推定する方法の一例について説明する。

焦点距離ｆ［ｍｍ］と、主被写体までの距離（奥行き情報）ｄ［ｍｍ］が与えられている場合、撮像面上での主被写体の大きさをＸ［ｍｍ］とすれば、実際の主被写体の大きさＹ［ｍｍ］は、以下の式（７）で算出できる。

Ｙ＝（ｄ／ｆ）Ｘ
実際の主被写体の大きさが分かれば、像面上での主被写体の大きさや焦点距離との関係から、撮影者の意図を汲み取ることができる。例えば、実際の主被写体の大きさは小さいが、像面上での主被写体の大きさが大きく、焦点距離が長い場合は、主被写体に非常に着目していることになる。そのため、実際の主被写体の大きさが小さい、かつ、像面上での主被写体の大きさが大きい、かつ、焦点距離が長いほど被写体度合いを高く、背景度合いを低くする。

慣性センサ情報についても、単独では撮影者の意図を汲み取ることが難しい。そこで、慣性センサ情報と被写体の動き情報を組み合わせて着目対象を推定する方法の一例について説明する。撮影者の着目対象が被写体である場合、被写体を画面の定位置に収めようとカメラを動かすため、被写体の動きはカメラの動きに比べて相対的に小さくなる。よって、慣性センサ情報により得られるフレーム画像間のカメラの移動量に対して、被写体の移動量が小さくなるほど、被写体を捉えようとカメラを構えていることが想定され、被写体に着目して撮影している可能性が高い。そのため、被写体度合いを高く、背景度合いを低くする。

着目対象の推定に利用できるカメラ情報が複数ある場合、カメラ情報ごとに得られる背景度合いおよび被写体度合いに対してそれぞれ重み付け加算（加重加算）を行い、最終的な背景度合いおよび被写体度合いを算出すればよい。重みは、例えば各情報源の確からしさに基づいて設定すればよい。各情報源の確からしさが同一または不明の場合は、全ての重みを１にすればよい。

最後に、最終的な背景度合いおよび被写体度合いに基づいて着目対象を推定する。例えば、最終的な背景度合いが被写体度合い以上に大きい場合、着目対象を背景と推定してステップＳ２０６に移行する。反対に、最終的な背景度合いが被写体度合いよりも小さい場合、着目対象を被写体と推定してステップＳ２０７に移行する。なお、カメラ情報としてユーザ指示情報を用いる場合、例えば背景と被写体のいずれに着目しているかをユーザに指示させることで、推定することなく着目対象を決めることができる。

ステップＳ２０６では、優先度算出部１１１は、着目対象が背景であるため、前述の通り追跡特徴点が画面に一様に分布するよう、分割領域ごとの追跡対象特徴点の設定優先度を算出する。図１０にステップＳ２０６の詳細なフローチャートを示す。

図１０において、ステップＳ１００１では、優先度算出部１１１は、追跡した特徴点が属する分割領域のＩＤを算出する。図１１に特徴点の領域ＩＤの一例を示す。各特徴抽出領域内の右上の数字が領域ＩＤを示している。図１１の例では、領域ＩＤは０〜１１の１次元で与えられる。なお、領域ＩＤは水平・垂直の２次元で表現してもよい。また、ステップＳ２０３で追跡信頼度が所定の閾値以上と判定された特徴点を追跡成功特徴点として○印、追跡信頼度が所定の閾値より低いと判定された特徴点を追跡失敗特徴点として×印で示している。図１１の例では、１２個ある特徴点のうち、８個が追跡成功特徴点、４個が追跡失敗特徴点になる。

ここでは、少なくとも追跡成功特徴点に関して、それぞれの領域ＩＤを算出する。領域ＩＤの算出方法としては、例えば領域分割部１０２から分割情報として各特徴抽出領域の四隅の座標値を取得し、特徴点座標と比較を行うことで、いずれの特徴抽出領域に属しているかを算出できる。

ステップＳ１００２では、優先度算出部１１１は、ステップＳ１００１で算出された各特徴点の領域ＩＤに基づいて、各領域に含まれる追跡成功特徴点の数をカウントする。ここで、追跡失敗特徴点の数はカウントしない。図１１の場合の追跡成功特徴点数のカウント結果を図１２に示す。追跡成功特徴点が領域ＩＤ＝０，１，３，５，６の領域に１個、領域ＩＤ＝２の領域に３個存在している。

ステップＳ１００３では、優先度算出部１１１は、ステップＳ１００２で得られた領域ごとの特徴点数を用いて、各領域に対して新たに追跡特徴点を設定する優先度を算出する。ここで、目的は追跡特徴点を画面一様に分布するように設定することなので、追跡成功特徴点が少ない領域ほど、新たに追跡特徴点を設定する優先度を高くする。また、領域内に追跡成功特徴点が少ない場合でも、その周囲の領域に追跡成功特徴点が多く存在する場合には、当該領域の優先度を低くする。上記の考え方に基づき、優先度を算出する方法について図１３を用いて説明する。

図１３（ａ）では、領域ＩＤ＝５の領域に対して優先度を算出する。着目領域である領域ＩＤ＝５の領域以外に、その周囲の領域ＩＤ＝０，１，２，４，６，８，９，１０の領域を考慮する。優先度Ｐを算出するため、例えば着目領域および当該着目領域の周囲の領域に含まれる追跡成功特徴点の数を重み付け加算した値を評価値Ｓとして採用する。重み付け加算における重みの一例を図１３（ｃ）に示す。着目領域に近い領域ほど重みを大きくするという考えに基づき、着目領域の重みを４、当該着目領域の上下左右の領域の重みを２、当該着目領域の斜めの領域の重みを１としている。

図１３（ａ）において、図１３（ｃ）の重みを用いて、領域ＩＤ＝５の領域に対する評価値を計算すると、Ｓ＝Σ（各領域の重み×各領域の追跡成功特徴点数）＝１×１＋２×１＋１×３＋２×０＋４×１＋２×１＋１×０＋２×０＋１×０＝１２となる。ここで、評価値Ｓが大きい領域ほど、着目領域および当該着目領域の周囲の領域に含まれる追跡成功特徴点の数が多いことを意味し、当該着目領域に対して新たに追跡特徴点を設定する優先度は低くなる。よって、評価値Ｓが小さいほど、優先度が高い。

図１３（ｂ）では、領域ＩＤ＝８の領域に対して評価値Ｓを算出する。図１３（ａ）の場合と同様に、着目領域である領域ＩＤ＝８の領域以外に、その周囲の領域を考慮する必要があるが、領域ＩＤ＝４，５，９以外の領域は前述した周辺領域である点で異なる。周辺領域は特徴抽出領域外のため新規特徴点は存在せず、存在する特徴点は追跡されて移動してきた特徴点のみである。そのため、周辺領域は特徴抽出領域に比べて特徴点の存在確率が低く、周辺領域の特徴点の数をそのまま使用すると、一番外側の特徴抽出領域（図１１の領域ＩＤ＝５，６以外の特徴抽出領域）の評価値が低く算出され、優先度に偏りが生じる。このことを防ぐため、周辺領域の特徴点の数は零ではない値として扱うことが望ましく、ここでは常に１とする。周辺領域の特徴点の数を１とした場合、初期フレームにおいて、各特徴抽出領域の評価値Ｓは全て同じ値（今回の例ではＳ＝１×１＋２×１＋１×１＋２×１＋４×１＋２×１＋１×１＋２×１＋１×１＝１６で、これは重みの総和値に等しい）となり、偏りが生じない。

ステップＳ１００４では、優先度算出部１１１は、ステップＳ１００３で得られた評価値に基づいて、優先度が高い順（今回の例では評価値が小さい順）に、領域ＩＤを並び替える。

図１４（ａ）に、図１１の例に対して評価値を算出した結果を示す。図１４（ａ）は並び替え前で、この時点では領域ＩＤ順に評価値が並んでいる。これを評価値の小さい順に並び替えると、図１４（ｂ）のようになる。なお、複数の領域ＩＤで評価値が同じ場合は、例えば領域ＩＤの小さい順に並べればよい。ステップＳ１００４が完了すると、ステップＳ２０８に移行する。

一方、ステップＳ２０７では、優先度算出部１１１は、着目対象が被写体であるため、前述の通り追跡特徴点が被写体近傍に集中して分布するよう、分割領域ごとの追跡対象特徴点の設定優先度を算出する。図１５にステップＳ２０７の詳細なフローチャートを示す。

図１５において、ステップＳ１５０１では、優先度算出部１１１は、ステップＳ２０４でカメラ情報取得部１０９より得られた主被写体情報を用いて、主被写体領域を示す座標を主被写体位置として決定する。例えば、顔領域の重心座標を主被写体位置として決定する。

ステップＳ１５０２では、優先度算出部１１１は、ステップＳ１５０１で得られた主被写体位置を用いて、各領域に対して新たに追跡特徴点を設定する優先度を算出する。ここで、目的は追跡特徴点を被写体近傍に集中して分布するように設定することなので、被写体近傍の領域ほど、新たに追跡特徴点を設定する優先度を高くする。上記の考え方に基づき、優先度を算出する方法について図１６を用いて説明する。

図１６では、領域ＩＤ＝６の領域に顔があり、その顔領域の重心座標を主被写体位置（主被写体の代表位置）としている。この主被写体位置に近い分割領域ほど、優先度を高くすることになる。ここでは、優先度Ｐを算出するため、例えば主被写体位置■と各分割領域を代表する代表点△との間の距離を評価値Ｓとして採用する。図１６では、各分割領域の代表点として新規特徴点を示しているが、各分割領域の重心座標を用いてもよい。また、各分割領域内で新規特徴点を複数抽出している場合は、いずれか１個の新規特徴点（例えば特徴量が最大の新規特徴点）を、各分割領域の代表点とすればよい。

ここで、評価値Ｓが大きい領域ほど、主被写体位置から距離が遠いことを意味し、この着目領域に対して新たに追跡特徴点を設定する優先度は低くなる。よって、評価値Ｓが小さいほど、優先度が高い。

ステップＳ１５０３では、優先度算出部１１１は、ステップＳ１５０２で得られた評価値に基づいて、優先度が高い順（今回の例では評価値が小さい順）に、領域ＩＤを並び替える。図１７（ａ）に、図１６の例に対して評価値を算出した結果を示す。図１７（ａ）は並び替え前で、この時点では領域ＩＤ順に評価値が並んでいる。これを評価値の小さい順に並び替えると、図１７（ｂ）のようになる。ステップＳ１５０３が完了すると、ステップＳ２０８に移行する。

ステップＳ２０８では、特徴点補填部１１２は、ステップＳ２０３で得られた信頼度および、ステップＳ２０６またはステップＳ２０７で得られた分割領域ごとの追跡対象特徴点の設定優先度に基づいて、追跡特徴点を設定する。

再び図１１を用いて、ステップＳ２０８の詳細について説明する。図１１では、ステップＳ２０３で追跡信頼度が所定の閾値より低いと判定された追跡失敗特徴点が４個ある。特徴点補填部１１２は、この４個の追跡失敗特徴点を追跡対象特徴点から除外し、新たに４個の新規特徴点を追跡対象に設定する。このとき、ステップＳ２０６またはステップＳ２０７で算出された分割領域ごとの追跡対象特徴点の設定優先度に基づいて、新たな４個の追跡対象特徴点を決定する。

まずステップＳ２０６からステップＳ２０８に移行した場合について説明する。ステップＳ２０６では、着目対象は背景であり、追跡特徴点が画面に一様に分布するよう、分割領域ごとの追跡対象特徴点の設定優先度を算出し、図１４（ｂ）の結果を得た。特徴点補填部１１２は、図１４（ｂ）で評価値が最も低い４つの領域ＩＤ＝９，１０，８，１１を選択する。そして、図１８のように、選択された４つの領域ＩＤの各々で抽出された４個の新規特徴点●を追跡対象に設定することで、およそ画面に一様に追跡特徴点が設定されることになる。

次にステップＳ２０７からステップＳ２０８に移行した場合について説明する。ステップＳ２０７では、着目対象は被写体であり、追跡特徴点が被写体近傍に集中して分布するよう、分割領域ごとの追跡対象特徴点の設定優先度を算出し、図１７（ｂ）の結果を得た。特徴点補填部１１２は、図１７（ｂ）で評価値が最も低い４つの領域ＩＤ＝６，１０，７，２を選択する。そして、図１９のように、選択された４つの領域ＩＤの各々で抽出された４個の新規特徴点●を追跡対象に設定することで、およそ被写体近傍に集中して追跡特徴点が設定されることになる。

最後のステップＳ２０９では、画像処理装置１００は、最終フレームまで処理が完了したかどうかを判定する。最終フレームまで処理が完了していない場合はステップＳ２０１に戻り、ステップＳ２０１〜ステップＳ２０９の動作を最終フレームになるまで繰り返す。

以上説明したように、本実施形態では、カメラ情報を用いて撮影状況を推定し、背景と被写体のいずれに着目して特徴点追跡を行うべきかを推定した上で、推定結果に適した特徴点分布となるよう追跡特徴点を設定することができる。

（第２の実施形態）
本発明の第２の実施形態に係わる画像処理装置について説明する。装置のブロック構成は、図１に示した第１の実施形態と同一のため、説明を省略する。本実施形態が第１の実施形態と異なるのは、優先度算出部１１１で各分割領域の追跡成功率を考慮する点である。

第１の実施形態では、背景と被写体のいずれに着目して特徴点追跡を行うべきかを推定し、推定結果に適した特徴点分布となるよう追跡特徴点を設定した。しかしながら、シーンによっては一部の画像領域でテクスチャが存在せず、追跡の成功率が低い場合がある。そのため、追跡の成功率を考慮せず、追跡特徴点を設定すると、設定した特徴点が即座に追跡不能となり、継続的に追跡を行える特徴点が十分に得られない場合がある。そこで、本実施形態では、各分割領域の追跡成功率を考慮して追跡特徴点を設定することで、継続的に追跡を行える特徴点の数を増加させることを目的とする。

図２０に示すフローチャートを用いて第２の実施形態について説明する。図２０において、図２に示したステップと共通するステップについては、図２と同符号を付し説明を省略する。本実施形態では、ステップＳ２０６またはステップＳ２０７の処理完了後、ステップＳ２００１に移行する。

ステップＳ２００１では、優先度算出部１１１は、各分割領域の追跡成功率を考慮して、追跡対象特徴点の設定優先度を算出する。図２１にステップＳ２００１の詳細なフローチャートを示す。

ステップＳ２１０１では、優先度算出部１１１は、追跡した特徴点が属する分割領域の領域ＩＤを算出する。この処理はステップＳ１００１と同一であるため、説明は省略する。ステップＳ２００１以前に、ステップＳ１００１の処理を行っている場合は、ステップＳ１００１での結果を保持しておくことで、本ステップを省略することができる。

ステップＳ２１０２では、優先度算出部１１１は、ステップＳ２１０１で得られた領域ＩＤに基づいて、各領域に属する特徴点の追跡成功回数をカウントする。図２２（ａ）に、図１１の例に対してステップＳ２１０２を実行した結果の一例を示す。追跡が成功した特徴点が存在しない領域ＩＤ＝４，７，８，９，１０，１１の領域に関しては、追跡成功回数０として扱っている。

ステップＳ２１０３では、優先度算出部１１１は、ステップＳ２１０２で得られた分割領域ごとの特徴点の追跡成功回数に基づいて、ステップＳ２０６またはステップＳ２０７で得られた評価値に対するゲインを算出する。ここでは、継続的に追跡可能な特徴点の数を向上させるため、特徴点の追跡成功回数が多い領域ほど、追跡対象特徴点の設定優先度を高くする（今回の例では、評価値を小さくする）よう、評価値ゲインを決定する。評価値ゲインの算出方法の一例を図２２（ａ）、２２（ｂ）に示す。図２２（ｂ）の横軸は特徴点の追跡成功回数、縦軸は評価値ゲインである。この例では、二つの閾値Ｔ１，Ｔ２を設けている。特徴点の追跡成功回数が閾値Ｔ１以下で少ない場合に評価値ゲインを１、閾値Ｔ２以上で多い場合に評価値ゲインを０としている。閾値Ｔ１とＴ２の間の区間は、特徴点の追跡成功回数と評価値ゲインを非線形に対応付けてもよい。このように算出した評価値ゲインの一例を図２２（ａ）に示している。なお、同じ領域内に複数の特徴点が存在している場合、例えば各特徴点の追跡成功回数の平均値を、その領域における特徴点の追跡成功回数として、評価値ゲインを算出すればよい。

ステップＳ２１０４では、優先度算出部１１１は、ステップＳ２０６またはステップＳ２０７で得られた評価値に対して、ステップＳ２１０３で得られた評価値ゲインを乗算する。図１４の評価値に対して、図２２（ａ）の評価値ゲインを乗算した結果を、図２３（ａ）に示す。

最後にステップＳ２１０５では、優先度算出部１１１は、ステップＳ２１０４で得られた評価値に基づいて、優先度が高い順（今回の例では評価値が小さい順）に、領域ＩＤを並び替える。

図２３（ａ）を評価値の小さい順に並び替えると、図２３（ｂ）のようになる。なお、複数の領域ＩＤで評価値が同じ場合は、例えば領域ＩＤの小さい順に並べればよい。ステップＳ２１０５が完了すると、ステップＳ２０８に移行する。

ステップＳ２０８では、特徴点補填部１１２は、ステップＳ２１０５で得られた図２３（ｂ）で、評価値が最も低い４つの領域ＩＤ＝６，５，０，９を選択する。そして、図２４のように、選択された４つの領域ＩＤの各々で抽出された４個の新規特徴点●を追跡対象に設定する。図２４の結果は、第１の実施形態の図１８および図１９で示した結果とは異なっているが、これは各分割領域の追跡成功率を考慮したためである。

以上説明したように、本実施形態では、各分割領域の追跡成功率を考慮して追跡特徴点を設定することで、撮影状況に適した分布の特徴点を追跡できるという第１の実施形態の効果に加え、継続的に追跡を行える特徴点の数を向上できるという効果が得られる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：画像処理装置、１０１：画像入力部、１０２：領域分割部、１０３：特徴点抽出部、１０４：新規特徴点情報保持部、１０５：追跡特徴点情報保持部、１０６：画像メモリ、１０７：動きベクトル検出部、１０８：信頼度算出部、１０９：カメラ情報取得部、１１０：着目対象推定部、１１１：優先度算出部、１１２：特徴点補填部

Claims (21)

1. 画像を複数の分割領域に分割する領域分割手段と、
   前記複数の分割領域のそれぞれにおいて特徴点を抽出する特徴点抽出手段と、
   複数の画像間において前記特徴点を追跡して動きベクトルを検出するベクトル検出手段と、
   前記特徴点の追跡の信頼度を算出する信頼度算出手段と、
   画像の着目対象を推定する着目対象推定手段と、
   前記着目対象推定手段の出力を用いて前記着目対象の動きを追跡するよう、前記複数の分割領域のそれぞれについて追跡対象の特徴点を設定する優先度を算出する優先度算出手段と、
   前記信頼度および前記優先度に基づいて、前記追跡対象の特徴点を前記複数の分割領域のいずれかに設定する特徴点補填手段と、
   を備えることを特徴とする画像処理装置。
2. 前記着目対象推定手段は、撮影モードの情報、主被写体の情報、シャッタースピードの情報、焦点距離の情報、奥行きの情報、慣性センサの情報、ユーザ指示の情報の少なくともいずれかに基づいて、前記着目対象を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記優先度算出手段は、所定の分割領域およびその周囲の分割領域に含まれる特徴点の数が少ないほど、当該所定の分割領域に追跡対象の特徴点を設定する優先度を高く算出する第１の算出方法により優先度を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記優先度算出手段は、前記着目対象推定手段により、着目対象が背景と推定された場合に前記第１の算出方法により優先度を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記優先度算出手段は、所定の分割領域の代表位置と主被写体領域の代表位置との距離が近いほど、当該所定の分割領域に追跡対象の特徴点を設定する優先度を高く算出する第２の算出方法により優先度を算出することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記優先度算出手段は、前記着目対象推定手段により、着目対象が被写体と推定された場合に前記第２の算出方法により優先度を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記着目対象推定手段は、前記撮影モードの情報、主被写体の情報、シャッタースピードの情報、焦点距離の情報、奥行きの情報、慣性センサの情報、ユーザ指示の情報のうちの少なくとも１つの情報に基づいて、撮影時の着目対象の背景度合いおよび被写体度合いを算出することを特徴とする請求項２に記載の画像処理装置。
8. 前記着目対象推定手段は、複数の前記背景度合いおよび前記被写体度合いのそれぞれを加重加算することにより、最終的な背景度合いおよび被写体度合いを算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記着目対象推定手段は、前記背景度合いと前記被写体度合いを比較し、背景度合いの方が大きい場合に着目対象を背景と推定し、被写体度合いの方が大きい場合に着目対象を被写体と推定することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記優先度算出手段は、前記信頼度算出手段による特徴点の追跡の信頼度が高い特徴点を多く含む分割領域ほど、前記追跡対象の特徴点を設定する優先度を高く算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記信頼度算出手段は、前記動きベクトル算出手段から得られる相関値の算出の結果に基づいて、特徴点の追跡の信頼度を算出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記信頼度算出手段は、複数の特徴点の追跡の信頼度を加重加算することにより、最終的な特徴点の追跡の信頼度を算出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記信頼度算出手段は、前記動きベクトル算出手段から得られる相関値に基づく相関の最大値が大きくなるにつれて、特徴点の追跡の信頼度を高く算出することを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記信頼度算出手段は、前記動きベクトル算出手段から得られる相関値に基づく相関の最大値と最小値との差分が大きくなるにつれて、特徴点の追跡の信頼度を高く算出することを特徴とする請求項１１または１２に記載の画像処理装置。
15. 前記信頼度算出手段は、前記動きベクトル算出手段から得られる相関値に基づく相関の最大値と最小値との差分と、相関の最大値と平均値との差分との比率が大きくなるにつれて、特徴点の追跡の信頼度を高く算出することを特徴とする請求項１１または１２に記載の画像処理装置。
16. 前記信頼度算出手段は、前記動きベクトル算出手段から得られる相関値に基づく相関の最大値と、少なくとも一つの相関の極大値との差分が大きくなるにつれて、特徴点の追跡の信頼度を高く算出することを特徴とする請求項１１または１２に記載の画像処理装置。
17. 前記信頼度算出手段は、特徴点の追跡の前後における特徴点の特徴量の変化量が小さくなるにつれて、特徴点の追跡の信頼度を高く算出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
18. 前記特徴点補填手段は、前記信頼度算出手段により算出された特徴点の追跡の信頼度が所定の閾値よりも低い特徴点の代わりに、前記優先度算出手段により算出された優先度が高い分割領域の順に、当該分割領域で新たに抽出された特徴点を、追跡対象の特徴点に設定することを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理装置。
19. 画像を複数の分割領域に分割する領域分割工程と、
    前記複数の分割領域のそれぞれにおいて特徴点を抽出する特徴点抽出工程と、
    複数の画像間において前記特徴点を追跡して動きベクトルを検出するベクトル検出工程と、
    前記特徴点の追跡の信頼度を算出する信頼度算出工程と、
    画像の着目対象を推定する着目対象推定工程と、
    前記着目対象推定工程における出力を用いて前記着目対象の動きを追跡するよう、前記複数の分割領域のそれぞれについて追跡対象の特徴点を設定する優先度を算出する優先度算出工程と、
    前記信頼度および前記優先度に基づいて、前記追跡対象の特徴点を前記複数の分割領域のいずれかに設定する特徴点補填工程と、
    を有することを特徴とする画像処理装置の制御方法。
20. 請求項１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
21. 請求項１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images