[go: up one dir, main page]

JP2018033131A - デコーダ、エンコーダおよび符号化値を復号化する方法 - Google Patents

デコーダ、エンコーダおよび符号化値を復号化する方法 Download PDF

Info

Publication number
JP2018033131A
JP2018033131A JP2017155687A JP2017155687A JP2018033131A JP 2018033131 A JP2018033131 A JP 2018033131A JP 2017155687 A JP2017155687 A JP 2017155687A JP 2017155687 A JP2017155687 A JP 2017155687A JP 2018033131 A JP2018033131 A JP 2018033131A
Authority
JP
Japan
Prior art keywords
decoder
cells
cell
encoded
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017155687A
Other languages
English (en)
Other versions
JP6765355B2 (ja
Inventor
ペトロス・ボウフォウノス
Petros Boufounos
ディエゴ・ヴァルセシア
Valsesia Diego
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/245,381 external-priority patent/US9778354B2/en
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2018033131A publication Critical patent/JP2018033131A/ja
Application granted granted Critical
Publication of JP6765355B2 publication Critical patent/JP6765355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】エンコーダが計算的に制限された環境でも可能な符号化及び復号化方法を提供する。
【解決手段】デコーダは、符号化値の空間のマップを記憶するメモリを含む。マップは、空間を分割する複数のセルを含み、各セルは符号化値のクラスターを包囲し、クラスターを量子化された符号化値に量子化する。各セルはラベルによって識別され、複数のセルは同じラベルによって識別され、セルは、同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる。デコーダは、マップ上の符号化値を包囲するセルのラベルを受信する受信機と、サイド情報を用いて符号化値を推定し、符号化値の推定値を生成し、マップ上でラベルによって識別される、符号化値の推定値に最も近いセルを選択し、符号化値を、選択されたセルの量子化された符号化値として決定する、プロセッサとを備える。
【選択図】図7

Description

この発明は、包括的には信号処理に関し、より詳細には、非圧縮信号のコーディングに関し、コーディングは符号化及び復号化の少なくとも一方を含む。
不可逆圧縮は、信号処理及び信号伝送において広く用いられている。いくつか例を挙げると、カメライメージ、マルチスペクトルイメージ、ハイパースペクトルイメージ及び合成開口レーダー(SAR)データの圧縮等の不可逆信号圧縮のいくつかの応用形態が存在する。そのような応用形態では、目標は、エンコーダを用いて信号を符号化し、僅かな数のビットを用いて信号を表し、それによって信号をより低いビットレートで送信できるようにすることであるが、これと引き換えに信号の幾分の歪みが生じ、すなわち、圧縮中に情報の幾分の損失があり、圧縮が不可逆となる。
図1Aは、従来のコーディング方法及びシステムのブロック図である。システムは、エンコーダ110及びデコーダ120を備える。エンコーダは、入力として、非圧縮信号101をとり、圧縮信号111を生成する。圧縮信号をデコーダに送信するために無損失伝送115が用いられる。これによって、非圧縮信号の推定値である解凍信号121が得られる。
エンコーダ、すなわち、圧縮を実行するシステム又は方法の目標は、所与のビットレートについて可能な限り少ない歪みで信号を表すビットストリーム、すなわちビットシーケンスを生成することである。代替的に、エンコーダは、応用形態によって許容することができる歪みを所与として可能な限り少ないビットでビットストリームを生成する場合がある。
デコーダ、すなわち、信号を解凍するシステム又は方法は、デコーダによって生成されるビットシーケンスを用いて、所与のビットレートについて可能な限り少ない歪みで元の信号を復元する。
最も一般的に用いられる符号化方法は、2つの技法、すなわち、予測及びそれに続く変換を用いる。予測は、信号の他の部分又は他の信号からの情報を用いて、符号化される信号の一部、例えば、イメージのブロックを予測することを試みる。したがって、エンコーダは、ビットストリーム内に予測パラメーター、すなわち、予測がどのように実行されたか、例えば、信号のいずれの部分が用いられ、いずれの予測方法が用いられたかを含め、それによって、デコーダも同じ予測ステップを行うことができるようにする。
予測は通常不完全であるため、予測残差が存在し、この予測残差も符号化される。残差の符号化が容易であることが期待されるため、予測パラメーターを送信するのに用いられるレート及び残差をコーディングするのに用いられるレートは、予測なしで信号を単に符号化するよりも低い。
残差を符号化するために、エンコーダはまず、信号を、符号化がより単純な異なる領域にマッピングする変換を用いる。変換の目標は、信号の構造を明らかにし(expose)、符号化が僅かな数のビットしか必要としないようにすることである。例えば、イメージ及びビデオ圧縮は、離散コサイン変換(DCT)を用いて残余を変換する場合がある。なぜなら、残余のDCT係数及び残余自体が同じ情報を表すにもかかわらず、残余自体よりも残余のDCT係数を符号化する方が容易であるためである。その理由は、DCTが、符号化される僅かな数の有意係数の情報を集中させるためである。
これらの2つの技法は通常、例えば、レートと歪みとのトレードオフが信号全体にわたって最適にトレードされるように信号の各部分についてビットストリームのいくつのビットを用いるかを選択することによってエンコーダの性能を精緻化する他の技法と組み合わされる。
不都合なことに、これらの符号化技法は、非常に複雑なエンコーダを生成し、通常、非常に単純なデコーダを必要とする。これは、イメージ及びビデオ符号化等の多くの用途において受容可能である。これらの用途では、エンコーダは大きなリソースが利用可能であるが、再生デバイスにおけるデコーダは限られたリソースを有する。しかしながら、エンコーダが計算的に制限されなくてはならない応用形態では、これは問題となる。
例えば、人工衛星イメージ又はレーダー信号圧縮に利用可能な計算リソースは、空間移動条件に耐えることができるプロセッサ及び電力に対する制約に起因して、非常に限られている。同様に、ハイパースペクトル又はマルチスペクトルイメージ圧縮等の応用形態では、予測及び変換のために用いられる必要があるデータ量は、最新技術のポータブルデバイスにとって非常に大きなメモリストレージを必要とする。モバイルデバイス、例えば、携帯電話及び他のハンドヘルドデバイスにおける最新のビデオ圧縮であっても、メインプロセッサに対する負荷を最小限にし、電力消費を低減するために、別個のプロセッサを用いる。そのような応用形態の多くについて、デコーダに利用可能な計算リソース及び電力は本質的に無制限である。例えば、衛星データのデコーダは、復号化のために利用可能な大きなストレージ及びいくつかの処理ノードを有する大型のデータセンターの一部である場合がある。このため、デコーダがより複雑になることと引き換えにエンコーダの複雑度を低減することは理にかなっている。
代替的な手法は、当該技術分野において、サイド情報を用いた圧縮としても知られる分散圧縮である。この種の方法は、エンコーダにおいて予測ステップを実行しない。エンコーダが信号を予測し、残差を符号化するのではなく、エンコーダは、デコーダが、デコーダにおいて利用可能なサイド情報から信号に関する何らかの予測を実行することが可能であると仮定する。予測はサイド情報に基づくため、不完全である可能性があり、したがって、復号化によって重大な歪みが生じる可能性がある。このため、エンコーダの役割は、デコーダにおいて、復号化信号の歪みを低減するために予測と共に用いることができるビットストリームを送信することである。
実際には、サイド情報を用いた全ての実際的なコーディング方法は、ビットストリームを訂正することを試みる。特に、デコーダにおける予測方法は、後に更に復号されるとき、解凍信号を生成することができる予測ビットストリームを予測することを試みる。エンコーダは、予測ビットストリーム内の誤りを訂正して誤りのないビットストリームを生成することができる送信ビットストリームを生成することを試みる。誤りのないビットストリームは、その後、再構成のために用いられる。
送信ビットストリームを符号化するために、エンコーダは依然として変換ステップを実行するが、次に、誤り訂正符号(ECC)を用いて情報を符号化する。ビットストリームは予測を通じてデコーダにおいて利用可能であるため、シンドロームとして知られる、ECCによって生成される僅かな量の誤り訂正情報を送信することのみが必要である。予測ステップはデコーダにおいて実行されるので、エンコーダの複雑度は大幅に低減される。他方で、デコーダの複雑度は大幅に増大し、デコーダがエンコーダよりも強力なシステムとなることができるとき、サイド情報を用いた圧縮が適用可能になる。
図1Bは、シンドローム及びサイド情報を用いたコーディングの方法及びシステムを示す。システムは、入力として非圧縮信号201をとり、圧縮信号211又はシンドロームを生成するエンコーダ210を備える。圧縮信号211又はシンドロームはデコーダ220に無損失伝送され(115)、デコーダ220は解凍信号221を生成する。
サイド情報を用いた圧縮は、エンコーダにおける負荷を低減するが、符号化ステップに加えて変換ステップをなおも必要とし、これは場合によっては計算的に複雑となる可能性がある。
さらに、全ての実際の圧縮方法は、誤り訂正を用い、ビットストリームを別個に復号化するため、これらの方法は、ビットストリームを正確に訂正することができることを確実にする。これらの方法が、十分な誤り訂正情報を送信することに失敗する場合、復号化は失敗し、元の信号に関係していない信号を復元する可能性がある。多くの場合、誤り訂正における失敗は、ビットストリームを復号化することができなかったことの結果である可能性がある。
この理由により、ほとんどの実際的な方法は、必要よりも多くの数のシンドロームビットを送信して、訂正が機能することを保証し、これにより帯域幅を浪費する。さらに、余分なビットは、圧縮方法の歪み特性を改善しない。代替的に、フィードバックベースのレート制御システムが、圧縮システムの上位で実施される可能性があり、このレート制御システムは復号化を試み、成功しない場合、より多くのシンドロームビットを必要とする。これには、リアルタイムの復号化及びエンコーダとデコーダとの間の2方向通信の双方が必要であり、これは多くの応用形態において可能でない。
1つの実施の形態は、符号化値の空間のマップを記憶するメモリであって、前記マップは、前記空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、エンコーダから、多次元空間の前記マップ上の符号化値を包囲するセルのラベルを受信する受信機と、サイド情報を用いて前記符号化値を推定し、前記符号化値の推定値を生成し、前記空間の前記マップ上で前記受信したラベルによって識別される、前記符号化値の前記推定値に最も近いセルを選択し、前記符号化値を、前記選択されたセルの前記量子化された符号化値として決定する、プロセッサと、を備える、デコーダを開示する。
別の実施の形態は、送信された符号化値を推定して、推定値を生成することであって、前記推定はサイド情報を用いることと、符号化値の多次元空間のマップ上で前記推定値を位置特定することであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは、符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは、有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、通信チャネルを介して送信されたセルのラベルを受信することと、前記マップ上で、前記送信されたラベルを有するセルの中から、前記位置特定された推定値に最も近いセルを選択することと、前記第2のセルの量子化値を、前記信号の復号化値として選択することと、を含む、方法を開示する。該方法の前記ステップは、デコーダのプロセッサによって実行される。
別の実施の形態は、符号化値を決定するプロセッサと、符号化値の多次元空間のマップを記憶するメモリであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、デコーダに、前記多次元空間の前記マップ上に前記符号化値を包囲する前記セルのラベルを送信する送信機と、を備える、エンコーダを開示する。
従来の圧縮方法及びシステムの概略ブロック図(high level block diagram:ハイレベルブロック図)である。 サイド情報を用いた従来の圧縮方法及びシステムの概略ブロック図である。 この発明の実施の形態による圧縮方法及びシステムの概略ブロック図である。 この発明の実施の形態による符号化行列を用いたユニバーサルエンコーダの動作の概略図である。 この発明の実施の形態によるスカラー量子化の概略図である。 この発明の実施の形態によるスカラー量子化の概略図である。 この発明の実施の形態によるユニバーサルエンコーダの動作の代替的な解釈の概略図である。 この発明の実施の形態によるデコーダにおける予測からの欠落情報の復元の概略図である。 この発明の実施の形態によるデコーダにおける予測からの欠落情報の復元の概略図である。 この発明の実施の形態を用いた圧縮合成開口レーダー(SAR)データの流れ図である。 この発明の実施の形態を用いたマルチスペクトル又はハイパースペクトルイメージの圧縮の流れ図である。 いくつかの実施の形態による、エンコーダ及びデコーダによって用いられる符号化値の空間のマップの概略図である。 いくつかの実施の形態の原理による、デコーダと通信して符号化及び/又は復号化を実施するエンコーダのブロック図である。 いくつかの実施の形態による、値を符号化するための方法のブロック図である。 いくつかの実施の形態による、符号化値を復号化するための方法のブロック図である。 1つの実施の形態による、データ圧縮を実行するための符号化方法及び復号化方法のブロック図である。
サイド情報を用いた圧縮のための非単調量子化
圧縮方法及びシステム
図1Cは、この発明のいくつかの実施の形態による圧縮のための方法及びシステムを示す。システムは、非圧縮信号301を入力としてとり、量子化測定値321を生成するエンコーダ310を備え、量子化測定値321はデコーダ320に無損失伝送することができる(315)。デコーダは、サイド情報y319を用いて量子化測定値を復号し、解凍信号321aを生成する。
概観
エンコーダ
ユニバーサルエンコーダの役割は、信号x301を、圧縮信号321であるビットストリームに符号化することである。エンコーダは、デコーダが、サイド情報y319を用いて、
Figure 2018033131
で表されるxの予測を形成することができると仮定する。これは幾らかの歪みを含む可能性がある。
圧縮されていないxを符号化するために、エンコーダ310は、xの線形測定値を取得し、この線形測定値にディザーw360が付加され、次に、非単調量子化を用いて量子化され、量子化データq321、すなわち圧縮信号が生成される。以下で説明するように、非単調量子化は、デコーダ320によって復元することができる量子化測定値から余分な情報、例えば、1つ以上の最上位ビットを除去することとみなすことができる。
デコーダ
デコーダは、サイド情報319を用いて、xの推定値である
Figure 2018033131
を形成する。次に、デコーダは、
Figure 2018033131
の線形測定値を取得し、ディザーwを付加する。この結果は、非単調量子化器により量子化され、これによって、xの符号化であるqから欠落している情報の予測が生成される。欠落情報がqに加えられ、1組の量子化測定値
Figure 2018033131
が生成される。これらの測定値は、xの予測
Figure 2018033131
、及びxに関する任意の他の事前知識と共に用いられ、
Figure 2018033131
が再構成される。
Figure 2018033131
は、
Figure 2018033131
よりも大幅に歪みが少ないxの推定値である。
符号化
図2Aは、符号化を概略的に示す。非圧縮信号x301は、実次元又は複素次元とすることができるN個の次元を有する。1つの実施の形態は、次元M×Nを有する符号化行列A350を用いて、信号xのM個の線形測定値Axを取得する。行列Aは、実行列又は複素行列とすることができる。好ましい実施の形態では、実信号は、実行列を用いて測定され、複素数値信号は、複素数値行列を用いて測定される。しかしながら、いくつかの実施の形態では、実信号は、複素数値行列を用いて測定することができ、逆も同様である。
行列は、複数の方法で生成することができる。好ましい実施の形態では、行列はランダムに生成される。例えば、行列Aにおけるエントリは、独立同一分布の一様分布、ラーデマッヘル分布、ガウス分布又はサブガウス分布から取り出されたランダム変数の実現とすることができる。代替的に、行列Aの行は、N次元の単位球から一様にサンプリングすることができる。
別の実施の形態では、行列Aは、離散フーリエ変換(DFT)行列、又はアダマール変換行列、又は離散サイン若しくはコサイン変換(DCT又はDST)行列、又は列が並べ替えされ、行のうちのいくつかが除去された上記の行列のうちの任意のものとすることができる。別の実施の形態では、行列は、低密度パリティチェックコード(LDPC)行列又はエクスパンダグラフ行列とすることができる。構造化された行列(DFT、DCT、DST、アダマール)又はスパース行列(LDPC、エクスパンダグラフ)を用いる利点は、これらの行列がより少ないメモリ及び処理を必要とし、このためエンコーダの複雑度を低減することである。
その後、Ax+wとして線形測定値にディザーw360が付加され、量子化パラメーターΔを有する非単調Bビットスカラー量子化器を用いて結果が量子化される。好ましい実施の形態では、ディザーは、サポートΔ又は2Δを有する一様分布からランダムに生成される。これはスカラー量子化器であり入力はベクトルであるため、量子化器機能は、ベクトル要素の各々に要素単位で適用されることに留意されたい。
図2B及び図2Cは、B=1及びB=2の場合についてそれぞれ、Bビットのスカラー量子化器を示す。特に、スカラー量子化関数は、周期2を有して周期的であり、2個の別個の出力レベルを有する。これはB個のビットを用いて表すことができる。入力空間が、長さΔの間隔に分割され、各間隔は2個の出力レベルのうちの1つにマッピングされる。複数の間隔が同じレベルにマッピングされる。
図2Dに示すように、非単調量子化器Q(・)は、量子化間隔Δを有する一様スカラー量子化器Q’(・)とみなすこともでき、その後に、異なる量子化レベルを1にマッピングする演算が続く。一様スカラー量子化器Q’(・)は、最上位ビット(MSB)のうちの1つ以上が破棄された(250)マルチビット表現q’240を生成する。このため、同じ最下位ビット(LSB)が保持された(251)全ての量子化レベルは同じ出力を有する。エンコーダの出力は、q321であり、これはデコーダ320によって入力信号x301を推定するのに用いられる。
復号化
デコーダ320は、信号xの幾らかの歪みを有する推定
Figure 2018033131
を可能にするサイド情報y319へのアクセスを有する。
Figure 2018033131
の推定値のための予測子は関数f(・)であり、予測は、この関数を適用することによって求められる。
Figure 2018033131
複数の方法を用いて信号を予測することができ、複数の方式を用いてデコーダにおいてサイド情報を取得することができる。それらのうちのいくつかが以下に説明される。
デコーダは、エンコーダと同じようにして、予測信号を測定し、ディザーwを付加する。
Figure 2018033131
量子化間隔Δを有する一様スカラー量子化器Q’(・)を用いて量子化される場合、予測量子化値は、
Figure 2018033131
となる。しかしながら、予測測定値
Figure 2018033131
は、符号化qと組み合わされると、復号化された量子化測定値
Figure 2018033131
を生成することができるより多くの情報を含み、この復号化された量子化測定値に基づいて、信号を解凍することができる。この情報を抽出するために、デコーダは、一様量子化器Q’(・)によって用いられる可能な出力レベルの組からレベルを選択する。特に、各係数
Figure 2018033131
は、対応する符号化qと一致する全てのレベルから選択される。全てのこれらのレベルから、予測係数
Figure 2018033131
に最も近いレベルが選択される。
この選択は、図3A〜図3Bに示す例によって実証される。符号化レベルq=1を所与として、複数の可能な一致領域が存在し、それらのうちの2つが図3Aに示される。図3Bに示す対応する一様量子化器は、符号化q=1に一致する2つの異なる量子化レベルを有し、これは、図において円で表される、
Figure 2018033131
及び
Figure 2018033131
に対応する。サイド情報からの予測
Figure 2018033131
は、レベル−2.5に最も近いため、これは、復号化された量子化測定
Figure 2018033131
として選択されるのに対し、図に×印を有する円によって示すように、レベル1.5は破棄される。非単調量子化器及び一様量子化器のレベルは必ずしも一致しないことに留意されたい。
理想的には、復号化測定値
Figure 2018033131
は、スカラー量子化器を用いて圧縮された信号の対応する測定値と等しいはずであり、すなわち、測定値はQ’(Ax+w)に等しいはずである。しかしながら、実際には、何らかの復号化誤りが存在する可能性がある。いくつかの実施の形態では、これらの誤りは、以下に説明するように、後続の再構成が誤りを補償することができるため、無視することができる。
いくつかの実施の形態では、エンコーダは、デコーダにおけるこれらの誤りの訂正を可能にする他の情報を用いることができる。例えば、エンコーダがアクセスを有するか又は予測測定値を決定することができる場合、エンコーダは、誤りが生じる場合の係数を求めることができる。次に、エンコーダは、これらの誤りのロケーションを示す別個のビットストリームを送信することができ、それによって、デコーダはこれらの係数を破棄することができる。代替的に、エンコーダは、係数が破棄されないようにこれらの誤りに対する訂正を送信することができる。
復号化測定値
Figure 2018033131
を所与とすると、デコーダは、サイド情報、予測、及び一般モデル等のxに関する任意の事前情報を用いて信号の推定値
Figure 2018033131
を再構成する。
再構成
デコーダの目標は、復号化測定値と一致し、xのモデルに関する事前知識に従う信号
Figure 2018033131
を推定することである。例えば、従来のモデルは、或る基準におけるスパース性又は低全変動ノルムを有する。
スパース性モデルの場合、推定値のための再構成は、
Figure 2018033131
等の最適化の形態をとる。ここで、0≦p≦1であり、||・||はlノルムを表し、Bは、信号がスパースであると仮定される基準又は辞書を表し、
Figure 2018033131
は、基準Bにおける信号を含むスパースな係数を表す。
同様に、低全変動モデルの場合、再構成は以下の形態をとる。
Figure 2018033131
ここで、||・||TVは、信号モデルのための適切な全変動ノルムを表す。
多くの場合、最適化は、ノルムのための重みを生成するサイド情報を用いることができる。
Figure 2018033131
ここで、||・||p,v及び||・||TV,vは、それぞれ、当該技術分野において既知の重み付きl及び全変動ノルムである。重みvは、xのサイド情報又は予測から導出することができる。例えば、予測が基準Bにおいてスパースである場合、重みは、再構成された信号のスパース性パターンが、当該技術分野においてよく知られた方法を用いた基準のスパース性に類似するように設定することができる。
サイド情報が類似信号である場合、例えば、復元された信号
Figure 2018033131
が予測
Figure 2018033131
に類似していることを要求することによって、この類似信号を上記の最適化における更なるソフト制約又はハード制約として用いることもできる。これは例えば、当該技術分野においてよく知られた方法を用いて、最適化のコスト関数における
Figure 2018033131
等の更なるペナルティ係数(ソフト制約)、又は
Figure 2018033131
等の制約(ハード制約)を用いて強制することができる。
上記の最適化において、制約
Figure 2018033131
は凸であり、
Figure 2018033131
として表すことができるか、又は等価には、
Figure 2018033131
として表すことができる。代替的に、例えば、p>1について、
Figure 2018033131
又は
Figure 2018033131
にペナルティを課すことによって、これらを緩和し、ソフト制約として課すこともできる。
用いられ得る他の最適化は、貪欲アルゴリズム又は凸最適化を含む。
いくつかの実施の形態では、再構成された信号
Figure 2018033131
は、測定値の新たな改善された予測をもたらし、したがって新たな改善された、例えば誤りが少ない復号化測定値をもたらす、xの新たな改善された予測とみなすことができる。これにより、今度は、歪みがより少ない新たな再構成
Figure 2018033131
が得られる。このプロセスは、終了条件に到達するまで、例えば、改善が存在しないか、又は改善が所定の閾値未満となるまで繰り返すことができる。
さらに、再構成された信号
Figure 2018033131
が利用可能になった後、これをサイド情報及び予測と併せて用いて、予測を更に改善することができる。例えば、辞書は、再構成された信号
Figure 2018033131
及び予測信号
Figure 2018033131
から学習することができ、当該技術分野においてよく知られた方法を用いて、サイド情報を所与として信号の新たな予測を生成するのに用いることができる。ここで、再び、上記と同様に用いて再構成を改善することができる改善された予測が提供される。このプロセスは、改善が存在しないか、又は改善が所定の閾値未満となるまで繰り返すことができる。
サイド情報の生成
デコーダにおいて用いられるサイド情報は、複数のソース、更には、エンコーダ自体から、別個のビットストリームで到来することができる。例えば、サイド情報は、より高い歪み及びより低いレートを有する同じ信号の圧縮されたバージョン、又は圧縮される信号に非常に類似した異なる信号の圧縮されたバージョンとすることができる。サイド情報は、双方の信号の平均値、それらの分散及びそれらの相互相関等の、サイド情報における信号からの圧縮信号の予測を改善する量も含むことができる。この情報は、エンコーダにおいて決定し、信号のユニバーサル符号化と共に記憶又は送信することもできる。
圧縮方法及びシステム
図4は、この発明の1つの実施の形態によるシステムの詳細を示す。エンコーダ310は、入力信号301の線形測定値Axを取得し、ディザーwをAx+w410として追加する。非単調量子化412が、ユニバーサル測定値に適用される。ユニバーサル測定値は、デコーダ320に送信することができる。図4におけるこの実施の形態は、例えば、合成開口レーダー(SAR)信号、又は他のレーダー若しくは光及びレーダー(LIDAR)データを圧縮するのに用いることができる。そのようなデータは、多くの場合、イメージ形成又はイメージ再構成として知られる変換を通じてイメージを復元するのに用いられる。
この特定の実施の形態では、エンコーダは、サイド情報450を生成するのに必要な情報を別個に符号化することもできる。これを行うために、エンコーダは、非一様サブサンプリング455及び粗い量子化456を行うことができる。サイド情報y319も、イメージ形成470のためにデコーダに送信することができ、デコーダは、サイド情報319としての役割を果たす粗いイメージ予測を生成する。デコーダは、データ予測440をサイド情報に適用して、測定値Ax+w410を予測することができる。
測定値から、デコーダは、量子化420の最上位ビット(MSB)を復元し、これによって、イメージ形成430を行うのに必要なデータを復元する。イメージ形成は、予測データ440も用いることができる。
図5は、この発明の別の実施の形態によるシステムの詳細を示す。この実施の形態は、マルチスペクトルイメージ及びハイパースペクトルイメージ等の基準信号に類似した信号を圧縮するのに用いることができる。この実施の形態は、信号が、マルチスペクトル又はハイパースペクトルイメージ等のマルチバンドイメージであることを仮定して説明されているが、他の例は、数ある中でも、様々なカメラによって取得された同じシーンのビデオシーケンス又はイメージとすることができる。
ここで、エンコーダは、イメージ予測540によって用いられる、以下で更に説明される基準帯域及びサイド情報520を生成する。
アプリケーション及びプロトコル
合成開口レーダー(SAR)は、多くの場合、人工衛星又は航空機に搭載され、通常、非常に高い分解能で大きなエリアをイメージングするのに用いられるレーダーシステムである。SARシステムは、パルスを放出し、その反射を受信し記録することによって動作する。これらの記録は、SARイメージを生成するために後に処理される未加工SARデータである。イメージ形成として知られるこの処理は、人工衛星又は航空機では利用可能でない大きな計算能力及びメモリを必要とするため、地上局において、通常強力なコンピューターによって実行される。
SAR未加工データは、圧縮するのが特に難しい。なぜなら、一見すると、これらは構造を欠いているように見えるためである。しかしながら、SARイメージは(イメージであるので)構造を有し、これを、原理的には圧縮のために用いることができる。従来の圧縮方法又はサイド情報を用いた圧縮方法は、イメージ形成が符号化段階において行われることを必要とする。これは、人工衛星におけるエンコーダの計算能力を超えている可能性がある。
しかしながら、この発明の一実施の形態を用いて、イメージ形成を実行することなくデータを圧縮することができる。これは、デコーダ、通常は強力な地上局において、予測及び再構成ステップ中に実行される。後続の記述は、「送信する」という単語を用いて、符号化後のビットストリームの使用を表すことに留意されたい。これはなぜなら、通常の最新のアプリケーションにおいて、そのようなデータは地上局において、復号化及び処理のためにサーバーに直ちに送信されるためである。データは、後続の取出し及び処理のために、メモリ又は永続記憶装置、例えば、ディスク又はテープに記憶することもできる。
エンコーダは、上記で説明したプロトコルを用いて、データを符号化及び送信する。SARシステムによって受信されるデータは、既にイメージの測定値であり、エンコーダに対し実装される符号化行列は、恒等行列又はデータのサブセットを選択するサブサンプリング行列とすることができることに留意されたい。一方、有効な符号化行列Aは、SARイメージからSARデータへの線形システムを記述する行列を用いた、実装される行列の分解である。
多くのSARシステムにおいて、デコーダは、別のソースからのサイド情報を有しない場合がある。このため、SARシステムは、サイド情報の生成及び送信も行う。1つの実施の形態では、SARデータは、線形システムを用いてサブサンプリング又は測定され、その後、従来の粗い、すなわち非常に少ないビットを用いる一様量子化器を用いて量子化される。これらの量子化測定値はサイド情報として送信される。
デコーダは、スパース再構成、又は低い全変動を用いた再構成、又は以前のSARデータから学習した辞書を用いた再構成、及び最適化ベースの再構成方法を用いて、サイド情報から粗いイメージを再構成する。この粗いイメージは、一様に符号化信号のための予測としての役割を果たす。このため、イメージは、データの予測を生成し、上記で説明した復号化プロトコルを辿るために用いられる。
SARデータは、異なる偏光のデータ、又は異なる人工衛星によって収集されたデータを含むことができる。この発明は、このデータを圧縮するのに同様に用いることができる。いくつかの実施の形態では、1つの偏光若しくは1つの人工衛星からのデータ、又はこれらの線形測定値は、別の偏光又は別の人工衛星からのデータの復号化のためのサイド情報としての役割を果たすことができる。
マルチスペクトルデータ及びハイパースペクトルデータ
マルチスペクトルデータ又はハイパースペクトルデータにおいて同様の問題が現れる。このデータは、同じターゲット、例えば、シーン、グランドスワス(ground swath)又は物体から得られた複数のイメージを含み、各イメージは、マルチスペクトルの場合比較的広い範囲であり、ハイパースペクトルの場合比較的狭い範囲である、特定のスペクトル帯範囲におけるターゲットの反射率のみを記録する。そのようなシステムは、多くの場合可搬であり、通常、大きな計算リソースへのアクセスを有しない人工衛星、航空機、自律飛行機、又は地上車両に搭載される。
SAR及び他のレーダーデータを有するマルチスペクトルデータ及びハイパースペクトルデータの主な違いは、マルチスペクトルイメージ及びハイパースペクトルイメージが通常直接取得され、イメージ形成ステップが、イメージを生成するのに必要ないことである。換言すれば、圧縮されるデータはイメージ自体である。
また、従来の圧縮方法は、予測及び変換ステップが、エンコーダにおいて実行されることを必要とする。そのようなシステムが、計算が制約された応用形態において用いられるとき、イメージの予測及び変換は非常に複雑となる可能性がある。後続の論考において、「送信」という単語を用いて符号化後のビットストリームの使用を表すことに留意されたい。これはなぜなら、通常の最新の応用形態において、そのようなデータは復号化及び処理のためにサーバーに直ちに送信されるためである。しかしながら、データは、メモリ、又は後の取出し及び処理のためのハードドライブ若しくはテープである永続記憶装置に記憶される場合もある。
ここでもまた、この発明の実施の形態は、そのようなイメージを効率的に圧縮するために用いることができる。ユニバーサルエンコーダプロトコルは、上記で説明したように動作する。効率性のために、測定行列Aは、イメージの組全体に対して、イメージの小さなサブセットに対して、各スペクトル帯域に対して別個に、又は各イメージのブロックに対して、又はそれらの組み合わせに対して作用することができる。
サイド情報は、エンコーダシステムによっても送信される。いくつかの実施の形態では、サイド情報は単一の基準帯域を含み、これは、人工衛星における全てのイメージの和、又はイメージの何らかの他の組み合わせを含む単一のイメージ又は全色性イメージとすることができる。この基準帯域は、この発明の実施の形態を用いて、又はジョイントフォトグラフィックエキスパートグループ(JPEG)(ISO/IEC10918)若しくはJPEG2000等の別個の符号化システムを用いて符号化される。マルチスペクトルイメージ及びハイパースペクトルイメージは、帯域間で非常に類似しているため、基準帯域は符号化データの予測として用いることができる。
一方、多くの場合、予測は線形予測方式を用いて改善することができる。yが基準であり、xが予測される場合、xの線形最小平均二乗誤差(MMSE)予測子は、
Figure 2018033131
であり、ここで、μ及びμはそれぞれx及びyの平均であり、
Figure 2018033131
及び
Figure 2018033131
はそれらの分散であり、σxyはそれらの共分散である。当該技術分野において、この予測を複数の基準を用いる予測に拡張する方法は簡単であり、よく知られている。
エンコーダは、基準帯域にアクセスを有するため、全てのスペクトル帯域について、関連する手段を、サイド情報、分散及び共分散として決定して送信することは簡単であり、それによって、受信機において予測を改善することができる。これがサイド情報として送信される場合、受信機は、サイド情報を用いて、基準帯域から各スペクトル帯域の予測を改善する。いくつかの実施の形態では、性能を更に改善するために、これらの量を、イメージの部分、例えばブロックにおいて決定、送信及び使用することができ、それによって、イメージのローカル統計が、予測によってより良好に利用される。
さらに、上記で説明するように、この場合のエンコーダは、サイド情報を用いて信号の単純な予測を決定する機能を有し、このため、復号化誤りが発生するときを検出することが可能である。このため、エンコーダは、別個のサイド情報として位置を送信することができ、これらの誤りの大きさとすることができ、これによって、デコーダにおいてこれらの誤りを訂正することができる。
当然ながら、より多くのサイド情報が決定及び送信されると、サイド情報によって消費されるレートが高くなる。サイド情報のために用いられるレートが増大すると、予測を改善することができ、これにより、ユニバーサル符号化の必要とされるレートが減少する。一方、リターンの漸減が存在し、すなわち利得が減少する。このため、サイド情報のために必要とされる量及びレートは、ユニバーサル符号化のために必要とされるレートとバランスをとられるべきである。
デコーダは、サイド情報を用いて1つ以上のスペクトル帯域を予測し、次に符号化を用いてイメージを再構成する。スペクトル帯域のサブセットが既に復号化されている場合、サブセットを用いて、その後復号化されるスペクトル帯域の予測を改善することができ、これによって復号化性能が改善する。上記で説明したように、再構成は新たな予測として、新たなサイド情報を生成するために用いることができ、それによってプロセスを繰り返すことができ、復号化性能が更に改善する。辞書学習技法も上記で説明したように用いることができる。
ユニバーサルベクトル量子化を用いたマルチスペクトルイメージ圧縮
いくつかの実施の形態は、スカラー量子化をベクトル量子化に一般化することができるという認識に基づく。これにより、スカラー量子化の圧縮効率を更に改善することができる。そのために、いくつかの実施の形態では、符号化は、量子化ラベルを再利用して複数の量子化セルをラベル付けし、サイド情報を利用してデコーダにおける正しいセルを選択する。イメージは、復元された量子化セルとの一貫性を強制しながら、サイド情報を重みに組み込んで、重み付けされた全変動最小化を用いて再構成することができる。
実際に、1つの実施の形態は、エンコーダにおける低い複雑度を維持しながら、スペクトル帯域間の相関を利用してビットレートを低減する。相関はデコーダにおいて利用される。デコーダは、以前に復号されたスペクトル帯域からの情報をサイド情報として用いて、ビットストリームを拡張し復号化するように設計される。イメージを復号及び復元することは、スパース最適化問題を解決することを必要とする。これは、量子化圧縮センシング(CS)問題とみなすことができる。
いくつかの実施の形態は、CSを用いて軽量エンコーダを設計することができるが、最上位ビット(MSB)は冗長な情報を符号化するため、レート効率が良くないという認識に基づく。ユニバーサル量子化は、MSBをなくすことによって冗長性を取り除く。しかしながら、これによって、再構成問題が、場合によっては組み合わせ論的複雑さを伴って、非凸となる。ベクトル量子化への一般化は、問題を更に悪化させる。
対応策として、いくつかの実施の形態は、サイド情報を用いて、レート効率を妥協することなく、再構成を凸でかつ扱いやすいものにする。特に、分散コーディングの原理と同様に、1つの実施の形態では、エンコーダは、サイド情報から予測をどのように精緻化するかに関する情報、すなわち、信号の圧縮測定値の、それらの予測に対する相対ロケーションのみを送信する。このため、デコーダは、予測を用いて、測定値が属する凸量子化セルを生成し、スパース復元アルゴリズムを用いて、そのセル内の測定値により信号を復号化する。さらに、デコーダは、サイド情報を用いて、圧縮復元アルゴリズムを、符号化信号により近い解にバイアスする。
図6は、いくつかの実施の形態による、エンコーダ620及びデコーダ630によって用いられる符号化値の空間のマップ610の概略図を示す。マップ610は、符号化値の空間を分割する複数のセル、例えば、611、612及び613を含む。この例では、空間は、多次元、すなわち、x及びxの値にわたる2次元である。空間の次元は、異なる実施の形態について変動することができる。空間は、各セルが符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化するように分割される。例えば、セル613は、連続値のサブセットを取り囲み、すなわち、量子化した。各セルは、有限のアルファベットから選択されたラベルによって識別され、マップ内の複数のセルが同じラベルによって識別されるようになっており、セルは、同じラベルによって識別されるセルの対が、共通の境界を共有しないようにラベル付けされる。
例えば、図6において、セルは、整数1、2、3…Nを用いてラベル付けされ、Nは有限数である。一方、異なる実施の形態は異なる値を用いることができる。例えば、1つの実施の形態は、アルファベット「a、b、c等」の文字を用いてセルをラベル付けする。数Nの値は通常低く、符号化値の空間の次元Dに依拠することができる。例えば、NはD+1に等しくすることができるが、他の値が可能である。Nの低い値は、圧縮率を改善するのに役立つ。Nの値が低いことに起因して、異なるセルが同じラベルを有する可能性がある。例えば、セル611及び613は同じラベル「2」を有する。同一のラベルを有するセルの曖昧さをなくすために、1つの実施の形態は、同じラベルによって識別されるセルの対が共通の境界を共有しないようにセルをラベル付けする。
異なる実施の形態において、セルは異なる形状を有することができる。例えば、図6の2次元の例において、セルは、2次元空間を分割する際により効果的な六角形形状を有する。代替的な実施の形態では、セルは、より容易に分割に用いられる矩形形状を有する。
エンコーダは、値622を符号化し、マップ610上で符号化値を包囲するセルを位置特定する。この例では、エンコーダは、ラベル「0」を有するセル624を選択し、ラベル「0」をデコーダ630に送信する。デコーダ630は、サイド情報を用いて符号化値を予測する(632)。そのような予測値は、符号化値と異なる。予測値632を包囲するマップ610上のセル633のラベルは「1」であり、ラベル「0」の送信値と異なる。そのために、デコーダは、送信ラベル「0」を有する予測値632に最も近いセルを選択する。これは、この例ではセル634である。セル634は、連続値のサブセットを包囲し、すなわち、連続値のサブセットを量子化値に量子化する。セル634のそのような量子化値は、デコーダ630によって決定された復号化値である。
図7は、いくつかの実施の形態の原理による、デコーダと通信して符号化及び/又は復号を実施するエンコーダのブロック図を示す。エンコーダ720は、符号化値を決定するプロセッサと、符号化値の多次元空間のマップ710を記憶するメモリ724とを備える。マップ610は、多次元空間を分割する複数のセルを含み、各セルが符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化するようにする。ここで、各セルは、有限のアルファベットから選択されたラベルによって識別され、マップ内の複数のセルが同じラベルによって識別されるようにし、セルは同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる。エンコーダは、多次元空間のマップ上の符号化値を包囲するセル750を決定し、送信機722を用いてデコーダ730にセル750のラベル740を送信する。
同様に、デコーダ730は、エンコーダ720からラベル740を受信するための受信機732と、マップ710を記憶するメモリ734とを備える。デコーダはプロセッサ736も備え、このプロセッサ736は、サイド情報を用いて符号化値を推定し、符号化値の推定値を生成し、多次元空間のマップ上で受信したラベルによって識別される、符号化値の推定値に最も近いセルを選択し、符号化値を、選択されたセルの量子化された符号化値として決定する。
本明細書において用いられるとき、プロセッサという用語は、単一のコアマイクロプロセッサ、マルチコアマイクロプロセッサ、コンピューティングクラスター、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、又はそれらの組み合わせを含む任意の数の他の構成を包含するように理解される。メモリは、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、フラッシュメモリ又は任意の他の適切なメモリ(ストレージを含む)システムを含むことができ、非一時的コンピューター−可読ストレージ媒体とすることができる。本明細書において用いられるとき、「非一時的コンピューター可読ストレージ媒体」という用語は、揮発性メモリ(例えば、DRAM及びSRAM)及び不揮発性メモリ(例えば、フラッシュメモリ、磁気メモリ及び光メモリ)を包含するが、一時的な信号を除外するように理解される。
図8Aは、いくつかの実施の形態による、値を符号化するための方法のブロック図を示す。本方法のステップは、エンコーダのプロセッサによって実行される。エンコーダは、値を符号化して(810)、符号化値815を生成し、符号化値815を包囲するマップ710上のセル750を選択する(820)。エンコーダは、セルのラベル740を選択し(830)、選択されたラベルを送信する(840)。
図8Bは、いくつかの実施の形態による、符号化値を復号化するための方法のブロック図を示す。本方法のステップは、デコーダのプロセッサによって実行される。デコーダは、送信された符号化値を推定し(850)、推定値845を生成する。推定は、デコーダによって再構成される信号の統計的類似度尺度等のサイド情報847を用いて実行される。デコーダは、送信されたラベル740を受信し(860)、マップ710上で、ラベル740を有するセルの中から推定値845に最も近いセル875を選択する(870)。デコーダは、セル875の量子化値を復号化値として選択する。
例えば、いくつかの実施の形態は、D格子を用い、ベクトルyの量子化レベルが、
Figure 2018033131
を用いて計算される。ここで、D(・)は、その引数における三つ組に対し演算を行うD格子量子化器であり、Δはスケーリング係数であり、wはカノニカル量子化セルにわたって一様に取り出されたオプションのディザーであり、3つの座標の各々に沿ってmodが別個に取られる。D格子量子化器のボロノイ領域は十二面体であり、3Dにおける空間充填パッキングを形成する。mod関数は、量子化ラベルが再利用され、同じラベルを有する中心が、各座標に沿ってΔ2の整数倍に等しいオフセットを有することを確実にする。
様々な実施の形態では、デコーダは、サイド情報へのアクセスを有し、ラベル再利用の結果として生じる不明瞭性を解消し、量子化された圧縮センシング(CS)問題を解決することができる。CS問題は、スパースな信号
Figure 2018033131
を検討する。信号は、ランダム投影y=Axを用いて測定され、検知行列
Figure 2018033131
によって
Figure 2018033131
が得られる。自然なイメージの場合、勾配がスパースであること、すなわち、低全変動(TV)が、通常好ましい信号モデルである。復元により、TV最小化を通じたモデルが強制される。
Figure 2018033131
ここで、Xは2次元イメージであり、xはイメージXのベクトル化されたバージョンであり、等方性TVは以下のように定義される。
Figure 2018033131
信号がスパースであることが知られていない場合に必要なnと比較して、適切な検知行列を用いると、信号再構成のためにm=O(k log n)≪nしか用いなくてよい。ここで、kは、モデルスパース性を測定する。このため、CS取得は、取得中の信号の暗黙的な圧縮を行う。完全にランダム化された行列構成、及び高速変換を利用した、より構造化された行列構成を含む複数の行列構成を用いることができる。高速変換は、メモリ要件及び計算要件を大幅に低減するため、軽量圧縮にとって魅力的である。
CSは非常に有効な取得手法であるが、簡単な方式で実施される場合、圧縮方法として良好に機能しない。特に、CSベースの圧縮方法は、大きなアンダーサンプリング係数にもかかわらず、変換コーディングと比較して不良なレート−歪み性能を被る。理由は、基本的に、CSベースの測定は、スパース性パターンがスパースであることが考慮に入れられると、信号をオーバーサンプリングするためである。そのために、いくつかの実施の形態は、CSをベクトル量子化と組み合わせて、送信の圧縮率を増大させる。
図9は、1つの実施の形態による、圧縮を実行する符号化及び復号化アーキテクチャのブロック図を示す。この実施の形態では、符号化は、量子化ラベルを再利用して複数の量子化セルをラベル付けし、デコーダにおいて正しいセルを選択するためにサイド情報を利用する。イメージは、復元された量子化セルとの一貫性を強制しながら、サイド情報を重みに組み込んで、重み付けされた全変動最小化を用いて再構成される。
符号化
いくつかの実施の形態では、エンコーダ910は、イメージ905の帯域925のうちの1つをサイド情報923として送信する。サイド情報923は、様々な技法を用いて符号化又は圧縮することができる。また、このサイド情報を、エンコーダによって送信される更なる統計と組み合わせて、イメージの他の帯域を予測することができる。
残りの帯域は、サイズn×nの重複しないブロックに分割される。少数のランダム投影
Figure 2018033131
が、例えば、部分アダマール行列A915を用いて、各ブロック
Figure 2018033131
について計算され、すなわち、アダマール変換の行及びディザーwをランダムにサブサンプリングすることによって得られる。式(10)に従って、Δのスケーリングを有するD格子を用いて、測定値が3つを1セットにして量子化される(920)。ユニバーサルベクトル量子化器がD格子を用いるとき、3つの測定値の各ブロックを、23B−1個の点のうちの1つにマッピングすることができる。したがって、測定ごとに
Figure 2018033131
ビットが必要とされる。サブサンプリング係数を考慮に入れると、実際のレートは
Figure 2018033131
ビット毎ピクセル(bpp)である。
サイド情報923は、デコーダにおいて元の量子化セルを予測するのに用いられ、これにより、mod演算から生じる曖昧性を解消し、一貫性のある再構成を凸問題にする。一方、予測は、その品質に依拠して誤りを生じる場合がある。グループは、誤りベクトルがΔ2に等しいノルムを有するとき、すなわち、誤りベクトルのエントリのうちの1つのみが±Δ2のいずれかを含むときに一次誤差による影響を受ける。デコーダ自体は、いくつかのスパースな誤りに対してロバストにすることができるが、低品質の予測はデコーダが訂正することができるよりも多くの誤りを引き起こす可能性がある。
好都合なことに、エンコーダは、他の帯域へのアクセスも有し、そのような誤りが生じる場所を示す追加のサイド情報を計算し、符号化し、送信することができる(927)。このため、より多くの又はより少ない誤りをもたらすようにΔ及びBを設計する際のトレードオフは、ここで、誤りのロケーションを用いてサイド情報を符号化するのに必要な追加のレートとして現れる。Δが大きくなり、Bが高くなるほど、予測誤りが少なくなるため、これらは、それぞれ、より大きな再構成誤り及びより高いユニバーサル量子化レートと引き換えに、誤り符号化のためのレートを低くすることを必要とする。これに対応して、Δ及びBが小さくなるほど、それぞれ、再構成の歪み及びユニバーサル量子化レートが低減するが、誤りに関するサイド情報を符号化するレートが増大する。
いくつかの実施の形態によって使用される妥協は、一次誤りを明示的に符号化することによって達成される。なぜなら、再構成プログラムにおけるそれらの誤りの訂正は、それらのノルムが小さいことに起因して、あまり効果的でないためである。例えば、これは、以下の形で行われる。各グループは、0〜
Figure 2018033131
の範囲をとるラベルを有する。一次誤りを呈するグループのラベルは、昇順でソートされ、ユニバーサル指数ゴロム符号を用いて差分符号化される。6つのタイプの誤りしか存在し得ないため、グループあたり少なくともlog(6)ビットを必要とするコードであれば、正誤(the correct error)を区別するのに十分である。高次エラーに関して、グループラベルは、ここでも差分指数ゴロム符号を用いてコード化される唯一の情報である。
復号化
デコーダ930は、利用可能なユニバーサルに量子化されたCS測定値y及びサイド情報923から得られたそれらの実数値予測950であるpを有する。例えば、予測950は、まず、信号xpredを予測し、次に、測定行列を用いてこれを測定すること(940)によって得ることができ、すなわち、p=Axpred+wである。
同様に、スカラーの場合、予測を用いて、ユニバーサル量子化の前にユニバーサル量子化される測定値が属していた正しいボロノイセルを判断する(935)。受信したラベルに一致し、かつ予測測定値に最も近い、最も近いボロノイセルを選択するいくつかの方法がある。好ましい実施の形態では、予測pが、最も近い格子点
Figure 2018033131
に量子化され、その後、ユニバーサルに量子化され、
Figure 2018033131
が得られる。次に、一貫したラベルのための探索領域を決定するために、
Figure 2018033131
がpから減算される。2D格子について図6に示すように、目標は、ユニバーサル量子化された測定値と一致し、かつ予測に最も近い領域を選択することである。D格子の場合、以下のように生成される27個の近傍点が存在する。
Figure 2018033131
ここで、sは、3次元ベクトルにおける要素0、2、−2の全ての可能な組み合わせである。
最終的に、推定される再構成点は、
Figure 2018033131
であり、ここで、
Figure 2018033131
である。
予測の品質、並びにB及びΔの選択された値に依拠して、予測誤りの頻度は増減し得る。このため、復元された量子化測定値は、以下のようにモデル化することができる。
Figure 2018033131
ここで、vは量子化誤りであり、eは復号化誤りを捕捉するΔ2の整数倍の有限アルファベットから引き出される要素を有するベクトルである。
Δの良好な予測及び適切な値を所与とすると、eはグループスパースになる傾向がある。さらに、エンコーダは、誤りのうちのいくつか又は全てを訂正し、e〜0の対応する係数をリセットするのに用いることができるeに関する情報を含むことができる。ここで、
Figure 2018033131
は、通常次数2以上の、訂正されていない既知の誤りを含むグループのラベルの集合
を表す。
量子化格子との一貫性が再構成問題において強制される。一方、D格子のボロノイ領域は十二面体であり、復号が非常に複雑になる可能性がある。したがって近似が用いられ、十二面体は半径Δの球によって置き換えられる。
イメージ960を復元するために(970)、デコーダは、イメージ予測の支援により、復元された測定値を用いる。特に、復元は、一貫性のある再構成を用いて重み付けされたTV最小化を解く。
Figure 2018033131
ここで、WTV(・)は重み付けされた等方性全変動であり、
Figure 2018033131
であり、f(・)は、誤りのグループスパース性に起因した混合l/lノルムを有するペナルティを用いて、復号化誤りにペナルティを課し、
Figure 2018033131
であり、Wi,jは、イメージの各画素における勾配がどのようにペナルティを課されるべきかを決定する重みであり、
Figure 2018033131
は、訂正されていない既知の誤りが存在する場合、それらの誤りを含むグループのラベルを含む集合である。
量子化曖昧性を解消することに加えて、サイド情報から得られる予測は、重みWi,jを導出するのにも用いられる。低い重みは、予測の勾配の大きさが所定の閾値よりも大きいときに用いられ、高い重みは、勾配がより低く、重み付けされたl最小化と類似した設定であるときに用いられる。結果として得られるモデルは、予測内に存在するエッジよりも予測内に存在しないエッジに大きくペナルティを課す。予測は他のスペクトル帯域から導出されるので、モデルは、特にエッジ間で、スペクトル帯域間の相関を強化する。
関数f(・)は、
Figure 2018033131
内のデータの部分、すなわち、復号化誤りが存在すると疑う部分についてデータ一貫性を促進する。二次ペナルティはより一般的なデータ一貫性ペナルティであるが、ユニバーサルスカラー量子化器のための同様のペナルティは、それらのスパース性により、いくつかの復号化誤りの復元を可能にした。例えば、1つの実施の形態では、ペナルティは、ベクトルユニバーサル量子化から生じた種類の復号化誤りであるため、ブロックスパースベクトルへの一般化である。
この発明の上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、1つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
例えば、1つの実施の形態は、方法を実行するためのプロセッサによって実行可能なプログラムが具現化された非一時的コンピューター可読ストレージ媒体を用いて実施される。本方法は、送信された符号化値を推定して、推定値を生成することであって、推定はサイド情報を用いることと、符号化値の多次元空間のマップ上で、推定値を包囲する第1のセルを位置特定することであって、マップは、多次元空間を分割する複数のセルを含み、それによって、各セルは、符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化し、各セルは、有限アルファベットから選択されたラベルによって識別され、それによって、マップ内の複数のセルは同じラベルによって識別され、セルは、同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、通信チャネルを介して送信されたセルのラベルを受信することと、マップ上で、送信されたラベルを有するセルの中から、第1のセルに最も近い第2のセルを選択することと、第2のセルの量子化値を、信号の復号化値として選択することとを含む。
また、この発明の実施の形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施の形態を構築することができ、これには、例示の実施の形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。

Claims (20)

  1. 符号化値の空間のマップを記憶するメモリであって、前記マップは、前記空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、
    エンコーダから、多次元空間の前記マップ上の符号化値を包囲するセルのラベルを受信する受信機と、
    サイド情報を用いて前記符号化値を推定し、前記符号化値の推定値を生成し、前記空間の前記マップ上で前記受信したラベルによって識別される、前記符号化値の前記推定値に最も近いセルを選択し、前記符号化値を、前記選択されたセルの前記量子化された符号化値として決定する、プロセッサと、
    を備える、デコーダ。
  2. 前記空間は多次元空間である、請求項1に記載のデコーダ。
  3. 前記セルは、規則的格子に沿って配列される、請求項1に記載のデコーダ。
  4. 前記空間は2次元空間であり、前記マップ内の前記各セルは六角形形状を有する、請求項1に記載のデコーダ。
  5. 前記空間は3次元空間であり、前記セルは規則的な3次元格子に沿って配列される、請求項1に記載のデコーダ。
  6. 前記サイド情報は、信号の統計的類似度尺度を含む、請求項1に記載のデコーダ。
  7. 前記サイド情報は、1つ以上の欠落した上位ビットを決定することによって生成される誤りに対する訂正を含む、請求項1に記載のデコーダ。
  8. 前記訂正は、エンコーダにおいて決定される、請求項7に記載のデコーダ。
  9. 信号はマルチスペクトルイメージである、請求項1に記載のデコーダ。
  10. 信号は、レーダーシステムによって取得される、請求項1に記載のデコーダ。
  11. 前記レーダーシステムは、合成開口レーダー(SAR)システムである、請求項10に記載のデコーダ。
  12. 前記符号化値は、測定行列を用いて信号を測定することによって生成される、請求項1に記載のデコーダ。
  13. 前記信号の測定値にディザーを加えて前記符号化値を生成する、請求項12に記載のデコーダ。
  14. 前記決定された符号化値を用いて前記信号を再構成する、請求項12に記載のデコーダ。
  15. 前記再構成は、凸最適化及び貪欲アルゴリズムのうちの1つ又は組み合わせを用いて実行される、請求項14に記載のデコーダ。
  16. 符号化値を復号化する方法であって、
    送信された符号化値を推定して、推定値を生成することであって、前記推定はサイド情報を用いることと、
    符号化値の多次元空間のマップ上で前記推定値を位置特定することであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは、符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは、有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、
    通信チャネルを介して送信されたセルのラベルを受信することと、
    前記マップ上で、前記送信されたラベルを有するセルの中から、前記推定値に最も近いセルを選択することと、
    前記セルの量子化値を、復号化値として選択することと、
    を含み、前記方法の各ステップは、デコーダのプロセッサによって実行される、方法。
  17. 前記多次元空間は2次元空間であり、前記マップ内の前記各セルは六角形形状である、請求項16に記載の方法。
  18. 前記多次元空間は3次元空間であり、前記セルは規則的な3次元格子に沿って配列される、請求項16に記載の方法。
  19. 前記復号化値を用いて信号を再構成し、再構成信号のスパース性を促進することであって、前記スパース性は前記サイド情報に基づいて重み付けされること、
    を更に含む、請求項16に記載の方法。
  20. 符号化値を決定するプロセッサと、
    符号化値の多次元空間のマップを記憶するメモリであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、
    デコーダに、前記多次元空間の前記マップ上に前記符号化値を包囲する前記セルのラベルを送信する送信機と、
    を備える、エンコーダ。
JP2017155687A 2016-08-24 2017-08-10 デコーダ、エンコーダおよび符号化値を復号化する方法 Active JP6765355B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/245,381 US9778354B2 (en) 2015-08-10 2016-08-24 Method and system for coding signals using distributed coding and non-monotonic quantization
US15/245,381 2016-08-24

Publications (2)

Publication Number Publication Date
JP2018033131A true JP2018033131A (ja) 2018-03-01
JP6765355B2 JP6765355B2 (ja) 2020-10-07

Family

ID=61302917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017155687A Active JP6765355B2 (ja) 2016-08-24 2017-08-10 デコーダ、エンコーダおよび符号化値を復号化する方法

Country Status (1)

Country Link
JP (1) JP6765355B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080143A1 (ja) * 2018-10-19 2020-04-23 株式会社日立製作所 計算機、センシングシステム、及びデータ通信方法
CN111865892A (zh) * 2019-04-30 2020-10-30 马维尔亚洲私人有限公司 用于压缩数据流的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11507800A (ja) * 1995-06-16 1999-07-06 ウィスコンシン アラムニ リサーチ ファンデーション 共振リンク変換器用の変調器
JP2006295831A (ja) * 2005-04-14 2006-10-26 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像符号化プログラム、及び画像処理装置
JP2014132439A (ja) * 2013-01-03 2014-07-17 Mitsubishi Electric Corp 入力信号を符号化する方法
JP2015169657A (ja) * 2014-03-10 2015-09-28 三菱電機株式会社 エリアの3d画像を生成する方法およびエリアの3d画像を生成するシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11507800A (ja) * 1995-06-16 1999-07-06 ウィスコンシン アラムニ リサーチ ファンデーション 共振リンク変換器用の変調器
JP2006295831A (ja) * 2005-04-14 2006-10-26 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像符号化プログラム、及び画像処理装置
JP2014132439A (ja) * 2013-01-03 2014-07-17 Mitsubishi Electric Corp 入力信号を符号化する方法
JP2015169657A (ja) * 2014-03-10 2015-09-28 三菱電機株式会社 エリアの3d画像を生成する方法およびエリアの3d画像を生成するシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIEGO VALSESIA, PETROS T. BOUFOUNOS: "Multispectral image compression using universal vector quantization[online]", 2016 IEEE INFORMATION THEORY WORKSHOP (ITW), JPN6020019440, 27 October 2016 (2016-10-27), ISSN: 0004281256 *
DIEGO VALSESIA, PETROS T. BOUFOUNOS: "Universal encoding of multispectral images[online]", 2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), JPN6020019438, 19 May 2016 (2016-05-19), pages 4453 - 4457, ISSN: 0004281255 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080143A1 (ja) * 2018-10-19 2020-04-23 株式会社日立製作所 計算機、センシングシステム、及びデータ通信方法
JP2020065225A (ja) * 2018-10-19 2020-04-23 株式会社日立製作所 計算機、センシングシステム、及びデータ通信方法
JP7091220B2 (ja) 2018-10-19 2022-06-27 株式会社日立製作所 計算機、センシングシステム、及びデータ通信方法
CN111865892A (zh) * 2019-04-30 2020-10-30 马维尔亚洲私人有限公司 用于压缩数据流的方法和装置
CN111865892B (zh) * 2019-04-30 2024-04-09 马维尔亚洲私人有限公司 用于压缩数据流的方法和装置

Also Published As

Publication number Publication date
JP6765355B2 (ja) 2020-10-07

Similar Documents

Publication Publication Date Title
US9778354B2 (en) Method and system for coding signals using distributed coding and non-monotonic quantization
Motta et al. Compression of hyperspectral imagery
Blanes et al. A tutorial on image compression for optical space imaging systems
JP6815530B2 (ja) 信号を再構成する復号器及び方法並びに信号を符号化する符号器
Conoscenti et al. Constant SNR, rate control, and entropy coding for predictive lossy hyperspectral image compression
Huang Satellite data compression
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
JP7233875B2 (ja) 作成方法、コンピュータ及びプログラム
CN105850136B (zh) 使用预测信号和变换编译信号预测视频信号的方法和装置
JP7046325B2 (ja) デジタルデータ圧縮のための方法及びデバイス
Valsesia et al. Universal encoding of multispectral images
Sanjith et al. A review on hyperspectral image compression
KR20200044668A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
JP6598743B2 (ja) 分散コーディング及び非単調量子化を用いて信号をコーディングする方法
JP6765355B2 (ja) デコーダ、エンコーダおよび符号化値を復号化する方法
i Verdú et al. Reduced-complexity multirate remote sensing data compression with neural networks
CN107231556B (zh) 一种图像云储存设备
Valsesia et al. Multispectral image compression using universal vector quantization
Mijares et al. Learned Spectral and Spatial Transforms for Multispectral Remote Sensing Data Compression
Motta et al. Partitioned vector quantization: Application to lossless compression of hyperspectral images
CN114283214B (zh) 一种光场图像编码和解码方法、系统、装置、设备及介质
Xu et al. Distributed lossy compression for hyperspectral images based on multilevel coset codes
Banu et al. Skip block-based wavelet compression for hyperspectral images
Gashnikov et al. A hierarchical compression method for space images
US20260010776A1 (en) Neural compression and/or decompression of spatial data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200508

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6765355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250