JP2000209590A

JP2000209590A - 画像符号化装置及び方法、記憶媒体並びに撮像装置

Info

Publication number: JP2000209590A
Application number: JP410999A
Authority: JP
Inventors: Kiyoshi Umeda; 清梅田; Tsuneyoshi Takagi; 常好高木; Takashi Kobayashi; 崇史小林; Yoshiki Ishii; 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-01-11
Filing date: 1999-01-11
Publication date: 2000-07-28

Abstract

(57)【要約】【課題】合焦領域と非合焦領域で圧縮率を異ならせ
る。【解決手段】映像キャプチャ装置４６は、カメラから
出力される映像信号を取り込み、ＲＡＭ３６上に確保し
たメモリに書き込む。コンピュータ３０はまた、直前又
は現在、取り込んでいる映像フレームの合焦検出対象領
域の位置及びサイズ並びに被写体までの距離Ｄの情報を
カメラからバスインターフェース５０を介して読み込
む。コンピュータ３０は合焦領域情報並びに合焦領域用
及び非合焦領域用の量子化テーブルをヘッダに記述す
る。画像をＮ個の８画素正方ブロックに分割し、ＤＣＴ
変換する。合焦領域内のブロックには合焦領域用量子化
テーブルを適用し、非合焦領域には非合焦領域用量子化
テーブルを適用して、量子化する。量子化後の係数をハ
フマン符号化する。コンピュータ３０は、このようにし
て圧縮符号化した画像を、２次記憶装置３８に記憶する
か、及び／又はネットワークインタフェース４８を介し
てネットワーク上に配信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置及
び方法、記憶媒体並びに撮像装置に関し、より具体的に
は、撮影画像を圧縮符号化する画像符号化装置及び方
法、その方法のプログラム・ソフトウエアを記憶する記
憶媒体、並びに撮像装置に関する。

【０００２】

【従来の技術】撮像手段によって撮影された映像をディ
ジタル記録する方法が多数開発されている。通常、画像
データはデータ量が膨大になるので、圧縮符号化して記
録される。代表的な画像圧縮符号化方法は、変換符号化
を使用するＪＰＥＧ方式及びＭＰＥＧ方式である。これ
らの符号化方式では、画像が本来持っている近隣画素間
の相関を除去するために離散コサイン変換（ＤＣＴ）等
の直交変換を行なった後、得られた変換係数を量子化
し、ハフマン符号化などの可変長符号化を適用するもの
である。

【０００３】

【発明が解決しようとする課題】従来例では、被写体付
近の合焦領域と、ピントの合っていない背景部分の領域
（非合焦領域）に対して同じ圧縮率で符号化を行ってい
た。通常、ユーザの所望する情報の多くが合焦領域にあ
ると考えられるので、この方法は適切ではなく、合焦領
域には非合焦領域に比べ、より多くの情報量を持たせる
べきである。

【０００４】画像処理で合焦領域を抽出しようとする
と、一度、周波数領域に画像を変換し、高周波成分の有
無にを判別しなければならない。その計算量を考慮する
と、この方法は、フルフレーム・レート（３０フレーム
／ｓｅｃ）で撮影される動画像には適用できない。

【０００５】コンピュータとの親和性が強く、コンピュ
ータと接続することで、撮像装置内の様々なパラメータ
（合焦検出対象領域、ズーム倍率値など）を読み出した
り、制御することが可能なインタラクティブカメラが知
られている。

【０００６】本発明は、合焦領域と非合焦領域を異なる
圧縮率で符号化する画像符号化装置及び方法、記憶媒体
並びに撮像装置を提示することを目的とする。

【０００７】

【課題を解決するための手段】本発明に係る画像符号化
装置は、画像情報並びにその合焦検出対象領域及び被写
体距離の情報の入力手段と、当該被写体距離情報に応じ
て、当該合焦領域情報の示す合焦検出対象領域とそれ以
外の領域とで異なる圧縮率で画像情報を圧縮符号化する
符号化手段と、当該合焦検出対象領域及び被写体距離情
報をヘッダとして、当該符号化手段で圧縮符号化された
画像情報を出力する出力手段とからなることを特徴とす
る。

【０００８】本発明に係る画像符号化方法は、画像情報
並びにその合焦検出対象領域及び被写体距離の情報を取
り込む取り込みステップと、当該被写体距離情報に応じ
て、当該合焦領域情報の示す合焦検出対象領域とそれ以
外の領域とで異なる圧縮率で画像情報を圧縮符号化する
符号化ステップと、当該合焦検出対象領域及び被写体距
離情報をヘッダとして、当該符号化ステップで圧縮符号
化された画像情報を出力する出力ステップとからなるこ
とを特徴とする。

【０００９】本発明に係る記憶媒体には、上述の画像符
号化方法を実行するプロラグム・ソフトウエアが格納さ
れる。

【００１０】本発明に係る撮像装置は、撮影画像情報並
びにその合焦検出対象領域及び被写体距離の情報を出力
する撮像手段と、当該被写体距離情報に応じて、当該合
焦領域情報の示す合焦検出対象領域とそれ以外の領域と
で異なる圧縮率で当該撮影画像情報を圧縮符号化する符
号化手段と、当該合焦検出対象領域及び被写体距離情報
をヘッダとして、当該符号化手段で圧縮符号化された撮
影画像情報を出力する出力手段とからなることを特徴と
する。

【００１１】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１２】先ず、本発明で使用するインタラクティブ
・カメラの構成を説明する。図１は、その概略構成ブロ
ック図を示す。カメラ１０の撮影レンズ１２は、ズーミ
ングレンズ１２ａと合焦のためのフォーカシングレンズ
１２ｂを具備する。撮像レンズ１２は、被写体の光学像
をＣＣＤ等の撮像素子１４の撮像面に結合する。撮像素
子１４は、撮像面上の光学像を電気信号に変換し、カメ
ラプロセス回路１６に出力する。カメラプロセス回路１
６は、撮像素子１４の出力に周知の処理（ゲイン補正、
γ補正及び色バランス調整など）を施し、所定形式の映
像信号を出力する。カメラ・プロセス回路１６から出力
される映像信号は、カメラ１０内の合焦制御回路１８と
動体検出回路２２に供給されると共に、外部のコンピュ
ータ３０にも供給される。

【００１３】合焦制御回路１８は、合焦検出対象領域内
の被写体に合焦するようにフォーカシング・レンズ１２
ｂを制御する。図２は、撮像画面内における合焦検出対
象領域の一例を示す。合焦検出対象領域の位置は、ユー
ザの指定に応じて全体制御回路２０が合焦制御回路１８
に設定する場合と、周知の動物体検出法（背景差分又は
色識別など）による動体検出回路２２の検出結果に応じ
て、全体制御回路２０が合焦制御回路１８に設定する場
合とがある。動物体を追尾する場合には、後者が利用さ
れる。合焦制御回路１８は、カメラプロセス回路１６か
らの映像信号中の、合焦検出対象領域内の映像信号に含
まれる高周波成分が極大となるように、フォーカシング
レンズ１２ｂの位置を図示しないフォーカシングレンズ
モータ（ステッピングモータ）を駆動して光軸方向に移
動・調整する。これにより、合焦検出対象領域内の被写
体に自動的に合焦する。距離計測回路２３は、被写体ま
での距離を周知の方法（ステッピングモータの駆動情報
を基に算出する。）により計測する。

【００１４】合焦検出対象領域の位置及びサイズ並びに
被写体までの距離の情報は、バスインターフェース２４
を介してコンピュータ３０に出力される。

【００１５】変倍設定回路２６は、全体制御回路２０か
ら指示された変倍率をズーム制御回路２８に設定する。
ズーム制御回路２８は、設定された変倍率になるよう
に、ズーミング・レンズ１２ａを光軸方向に駆動する。

【００１６】コンピュータ３０は、実際には、カメラ１
０により撮影された映像信号を圧縮記録する画像記録装
置として機能する。図３は、その概略構成ブロック図を
示す。本実施例では圧縮符号化方式として、ＪＰＥＧ方
式を使用する。３２はＣＰＵ、３４はＲＯＭ、３６は主
記憶であるＲＡＭ、３８はハードディスク等の２次記憶
装置、４０は映像を表示するモニタ、４２はマウス、４
４はキーボード、４６はカメラ１０のカメラプロセス回
路１６から出力される映像信号を取り込む映像キャプチ
ャ装置、４８はコンピュータ３０をネットワークに接続
するネットワークインターフェース、５０はカメラ１０
との間で種々の情報（例えば、合焦検出対象領域の位置
情報など）をやりとするバス・インターフェースであ
る。

【００１７】図４は、本実施例における画像圧縮符号化
のアルゴリズムを示すフローチャートである。コンピュ
ータ３０は、カメラ１０（のカメラプロセス回路１６）
から出力される映像信号を映像キャプチャ装置４６によ
り取り込み、ＲＡＭ３６上に確保したメモリ（以下、フ
レームメモリと呼ぶ。）に書き込む（Ｓ１）。この後、
又は同時に、コンピュータ３０は、カメラ１０から、直
前又は現在、取り込んでいる映像フレームの合焦検出対
象領域の位置及びサイズ並びに被写体までの距離Ｄの情
報をバスインターフェース５０を介して読み込む（Ｓ
２）。図５は、合焦検出対象領域を特定するパラメータ
の一例を示す。本実施例では、合焦検出対象領域は、撮
像画面内での左上の座標（Ｘｐ，Ｙｐ）とそのサイズ
（Ｘｆ，Ｙｆ）の４つのパラメータにより特定される。
コンピュータ３０は、現在、取得した映像フレーム上
で、これらのパラメータで特定されている領域を、フォ
ーカスの合っている合焦領域とする。

【００１８】次に、コンピュータ３０はヘッダを作成す
る。第１に、ＪＰＥＧのコメントセグメント（マーカ・
コード０ｘＦＦＦＥ以降）を利用してカメラ１０から得
た情報をヘッダに記述し、第２に、合焦領域用及び非合
焦領域用の量子化テーブルを作成し、ヘッダに記述す
る。

【００１９】図６は、コメントセグメントの構造及びデ
ータ配置例を示す。コメントセグメントは、セグメント
の開始を示すコード及びセグメント長に続いて、上述し
た合焦領域に関する情報、及び被写体までの距離情報が
記述される。

【００２０】図７（ａ）は、非合焦領域の量子化テーブ
ルの一例を示し、同（ｂ）は、合焦領域の量子化テーブ
ルの一例を示す。但し、ここでは、輝度成分用の量子化
テーブルのみを示した。ＪＰＥＧ方式では、人間の視覚
特性を考慮した、高周波成分の量子化幅が低周波に比べ
て大きい量子化テーブル（以下、推奨テーブルとい
う。）を使用している。図７（ａ）は、この推奨テーブ
ルを示しており、本実施例では、非合焦領域に推奨テー
ブルを使用する。一方、合焦領域では、図７（ｂ）に示
すような量子化テーブルを使用する。図７（ｂ）に示す
量子化テーブルでは、量子化幅を全てのＤＣＴ係数に対
して同じ値としたので、推奨テーブルに比べて高周波成
分を保存できる。全ての値を非合焦領域よりも小さくし
たので、非合焦領域よりも圧縮率が小さくなり、画質が
良くなる。

【００２１】実際には、これらの量子化テーブルは、ユ
ーザの求める品質に応じて、以下のようにスケーリング
されて使用される。即ち、Ｑ’ａ＝Ｑ・Ｔａ〔ｉ，ｊ〕（１）Ｑ’ｂ＝Ｑ・Ｔｂ〔ｉ，ｊ〕・Ｄ（２）但し、Ｄ＜１．０式（１）及び（２）はそれぞれ、非合焦領域及び合焦領
域に対して実際に使用される最子化テーブルＱ’ａ，
Ｑ’ｂを示す。Ｔａ〔ｉ，ｊ〕，Ｔｂ〔ｉ，ｊ〕は、図
７（ａ）及び（ｂ）に図示した量子化テーブル、Ｑはユ
ーザが所望の品質の画像を得るために設定するスケーリ
ングファクタである。式（２）では、合焦領域の量子化
幅が被写体までの距離Ｄに比例して大きくなり、圧縮率
が高くなる。但し、距離Ｄは、背景までの距離が１とな
るようにスケーリングされなければならない。

【００２２】図８は、以上の処理の結果から得られたヘ
ッダ部分のフォーマットを示す。

【００２３】ヘッダの記述が終了すると、次に符号化が
開始される（Ｓ４以降）。本実施例では、先ず、画像を
Ｎ個の８画素正方ブロックに分割し（Ｓ４）、符号化対
象ブロックを示す変数ｎを１で初期化し（Ｓ５）、ＤＣ
Ｔ（離散コサイン変換）を施す（Ｓ６）。そのブロック
＃ｎが合焦領域内に存在するかどうかを判定する（Ｓ
７）。判定方法としては、ブロック内の画素のうちどち
らの領域に含まれる画素数が多いかどうかを基準とす
る。判定結果に応じて合焦領域用又は非合焦領域用の量
子化テーブルを用いて量子化を行い（Ｓ８，Ｓ９）、量
子化後の係数をハフマン符号化する（Ｓ１０）。

【００２４】ｎをインクリメントし、１画面の全ブロッ
クを符号化するまで（Ｓ１２）、Ｓ６以降を繰り返す。

【００２５】コンピュータ３０は、このようにして圧縮
符号化した画像を、２次記憶装置３８に記憶するか、及
び／又はネットワークインタフェース４８を介してネッ
トワーク上に配信する。

【００２６】図９は、このように符号化した画像データ
を復号化するプロセスのフローチャートを示す。コメン
トセグメントを参照し、合焦領域に関する情報を得る
（Ｓ２１）。次に８画素正方ブロック単位でハフマン復
号化し（Ｓ２３）、注目ブロックが合焦領域内に属する
場合には、合焦領域用量子化テーブルで逆量子化し（Ｓ
２５）、非合焦領域に属する場合には非合焦領域用量子
化テーブルで逆量子化する（Ｓ２６）。次に逆ＤＣＴ変
換する（Ｓ２７）。これを対象画面の全ブロックについ
て実行する（Ｓ２９）。

【００２７】上記実施例では、非合焦領域の圧縮率を通
常程度としつつ、合焦領域の圧縮率を低くした。この場
合、符号量が増加するので、低レートの符号化には適さ
ない。低レートの符号化が要求される場合、例えば、逆
に合焦領域の圧縮率を上げることで全体の符号量を平滑
化し、従来法（合焦領域を区別しない符号化法）に比べ
情報量を削減してもよい。即ち、合焦領域の量子化テー
ブルの値を非合点領域のそれよりも大きな値に設定す
る。上記実施例の場合と同様に、これらの量子化テーブ
ルは、ユーザの求める品質に応じてスケーリングして使
用される。スケーリング方法は、被写体までの距離に依
存した方式などをユーザが自由に採用できるが、合焦領
域の量子化幅は、非合焦領域のそれに比べ必ず大きいも
のでなくてはならない。

【００２８】図１０は、カメラ１０とコンピュータ３０
を一体化した装置の概略構成ブロック図を示す。全体制
御回路２０に対応する全体制御回路２０ａが、コンピュ
ータ３０に対応する画像記録装置３０ａを制御する。画
像記録装置３０ａは、カメラ・プロセス回路１６から出
力される映像信号を取り込む映像キャプチャ装置６０、
映像キャプチャ装置６０により取り込まれた映像情報を
圧縮符号化する画像圧縮符号化装置６２、画像圧縮符号
化装置６２により圧縮された映像情報を記録媒体に記録
する記録装置６４からなる。画像記録装置３０ａの動作
は、実質的に、コンピュータ３０と同じである。

【００２９】画像圧縮符号化方式として静止画に適した
ＪＰＥＧ方式を使用する実施例を説明したが、本発明
は、ＭＰＥＧ方式に代表される動画像圧縮符号化方式を
使用する場合にも適用できる。良く知られているよう
に、ＭＰＥＧ方式では、まず任意に選択したフレームＡ
を静止画としてＪＰＥＧ方式とほぼ同様のアルゴリズム
によりフレーム内符号化し、以後の一定数又は一定期間
内のフレームを、このフレーム内符号化フレーム（イン
トラ・フレーム）を基準として、動き補償フレーム間予
測符号化する。

【００３０】イントラフレームは、動画像ストリーム中
の任意の場所にユーザが設定できるが、通常はシーンチ
ェンジ等の激しい変化がフレーム間に生じた場合に、シ
ーンチェンジが起こった直後のフレームをイントラフレ
ームとする。本発明を適用する場合、このイントラフレ
ームの符号化に上述の各実施例を適用し、合焦領域と非
合焦領域とで異なる量子化テーブルを使用する。

【００３１】本発明は、上述の実施例の機能を実現する
ソフトウエアのプログラムコードを記録した記憶媒体
を、システム又は装置に供給し、そのシステム又は装置
のコンピュータ（ＣＰＵ又はＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成できる。この場合、記憶媒体から読み出され
たプログラムコード自体が上述した実施例の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は、本発明を構成する。

【００３２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯ
Ｍ等がある。

【００３３】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施例の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼動しているオペレーティ
ングシステムなどが実際の処理の一部または全部を行
い、その処理によって上述した実施例の機能が実現され
る場合も含まれる。

【００３４】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張ボード又
は機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ード又は機能拡張ユニットに備わるＣＰＵ等が実際の処
理の一部又は全部を行ない、その処理によって上述した
実施例の機能が実現される場合も、本発明の範囲に含ま
れる。

【００３５】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、カメラ内部から得た合焦検出対象
領域情報及び被写体までの距離情報を利用して、合焦領
域の符号化パラメータを他の領域とは異なるものにす
る。合焦領域の圧縮率を下げることにより、注目領域を
より鮮明に記録・伝送することができるようになる。逆
に、合焦領域の圧縮率を非合焦領域に対して相対的に上
げることにより、情報量の少ない背景部分を保存しつ
つ、低レートでの圧縮符号化が可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成ブロック図で
ある。

【図２】合焦検出対象領域の例を示す図である。

【図３】コンピュータ３０の概略構成を示す図であ
る。

【図４】本実施例の圧縮符号化のフローチャートであ
る。

【図５】合焦検出対象領域のパラメータ化の一例を示
す図である。

【図６】合焦領域情報のヘッダ記述方法の一例を示す
図である。

【図７】第１実施例における量子化テーブルの一例を
示す図である。

【図８】第１実施例におけるヘッダ部分の構造の一例
である。

【図９】本実施例で圧縮した映像情報を復号化する処
理のフローチャートである。

【図１０】本発明の第２実施例の概略構成ブロック図
である。

【符号の説明】

１０：インタラクティブ・カメラ１２：撮影レンズ１２ａ：ズーミングレンズ１２ｂ：フォーカシングレンズ１４：撮像素子１６：カメラプロセス回路１８：合焦制御回路２０：全体制御回路２０ａ：全体制御回路２２：動体検出回路２３：距離計測回路２４：バスインターフェース２６：変倍設定回路２８：ズーム制御回路３０：コンピュータ３０ａ：画像記録装置３２：ＣＰＵ３４：ＲＯＭ３６：ＲＡＭ３８：２次記憶装置４０：モニタ４２：マウス４４：キーボード４６：映像キャプチャ装置４８：ネットワークインターフェース５０：バス・インターフェース６０：映像キャプチャ装置６２：画像圧縮符号化装置６４：記録装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者小林崇史東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者石井芳季東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5C052 AA17 AB02 DD02 GA02 GA08 GA09 GB06 GC05 5C059 KK00 MA00 MA23 MC14 ME02 PP01 PP14 RC12 RC14 SS15 SS20 TA47 TB04 TC00 TD05 UA02 UA40 5C078 AA04 CA02 DA00 DA01 DA11 DB07 9A001 EE04 EE05 HH27 JJ28 KK42

Claims

【特許請求の範囲】

【請求項１】画像情報並びにその合焦検出対象領域及
び被写体距離の情報の入力手段と、当該被写体距離情報に応じて、当該合焦領域情報の示す
合焦検出対象領域とそれ以外の領域とで異なる圧縮率で
画像情報を圧縮符号化する符号化手段と、当該合焦検出対象領域及び被写体距離情報をヘッダとし
て、当該符号化手段で圧縮符号化された画像情報を出力
する出力手段とからなることを特徴とする画像符号化装
置。
【請求項２】当該圧縮符号化手段は量子化手段を具備
し、合焦検出対象領域とそれ以外の領域とで異なる量子
化テーブルを使用する請求項１に記載の画像符号化装
置。
【請求項３】当該圧縮符号化手段は、合焦検出対象領
域に対してそれ以外の領域よりも高周波成分を保存する
量子化テーブルを使用する請求項２に記載の画像符号化
装置。
【請求項４】当該ヘッダは、合焦検出対象領域の画面
上での位置およびサイズ並びに被写体距離の情報を含む
請求項１に記載の画像符号化装置。
【請求項５】画像情報並びにその合焦検出対象領域及
び被写体距離の情報を取り込む取り込みステップと、当該被写体距離情報に応じて、当該合焦領域情報の示す
合焦検出対象領域とそれ以外の領域とで異なる圧縮率で
画像情報を圧縮符号化する符号化ステップと、当該合焦検出対象領域及び被写体距離情報をヘッダとし
て、当該符号化ステップで圧縮符号化された画像情報を
出力する出力ステップとからなることを特徴とする画像
符号化方法。
【請求項６】当該圧縮符号化ステップは量子化ステッ
プを具備し、合焦検出対象領域とそれ以外の領域とで異
なる量子化テーブルを使用する請求項５に記載の画像符
号化方法。
【請求項７】当該圧縮符号化ステップは、合焦検出対
象領域に対してそれ以外の領域よりも高周波成分を保存
する量子化テーブルを使用する請求項６に記載の画像符
号化方法。
【請求項８】当該ヘッダは、合焦検出対象領域の画面
上での位置およびサイズ並びに被写体距離の情報を含む
請求項５に記載の画像符号化方法。
【請求項９】請求項５に記載の画像符号化方法を実行
するプロラグム・ソフトウエアを記憶することを特徴と
する記憶媒体。
【請求項１０】撮影画像情報並びにその合焦検出対象
領域及び被写体距離の情報を出力する撮像手段と、当該被写体距離情報に応じて、当該合焦領域情報の示す
合焦検出対象領域とそれ以外の領域とで異なる圧縮率で
当該撮影画像情報を圧縮符号化する符号化手段と、当該合焦検出対象領域及び被写体距離情報をヘッダとし
て、当該符号化手段で圧縮符号化された撮影画像情報を
出力する出力手段とからなることを特徴とする撮像装
置。
【請求項１１】当該圧縮符号化手段は量子化手段を具
備し、合焦検出対象領域とそれ以外の領域とで異なる量
子化テーブルを使用する請求項１０に記載の撮像装置。
【請求項１２】当該圧縮符号化手段は、合焦検出対象
領域に対してそれ以外の領域よりも高周波成分を保存す
る量子化テーブルを使用する請求項１１に記載の撮像装
置。
【請求項１３】当該ヘッダは、合焦検出対象領域の画
面上での位置およびサイズ並びに被写体距離の情報を含
む請求項１０に記載の撮像装置。