JP2017092868A - 映像符号化装置およびプログラム - Google Patents

Abstract

【課題】超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない映像符号化装置を提供すること。
【解決手段】入力映像を、第一の超解像方法で超解像する第一超解像部４と、入力映像を、第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部６と、第一超解像部により超解像された映像と、複数の第二の超解像方法各々で超解像された映像とを比較して、複数の第二の超解像方法のうち、一つを選択する選択部７と、選択部７が選択した第二の超解像方法を表す補助情報を出力する情報出力部８とを備える映像符号化装置１。
【選択図】図１

Description

本発明は、映像符号化装置およびプログラムに関する。

映像の圧縮技術として、超解像技術を利用する方式が開示されている（例えば、特許文献１）。特許文献１の手法では、送信側で入力映像は、解像度を一旦削減される。そして、解像度が削減された映像は、既存の映像符号化方式による符号化装置によって符号化圧縮されて、ビット列として伝送される。一方、受信側では、受信したビット列は、既存の映像符号化方式による復号装置によって復号される。この復号により得られた映像信号は、超解像処理によって元の解像度に復元される。

このとき、送信側でも超解像処理を試行し、入力映像を参照しつつ超解像処理をする際に用いる超解像パラメータが算出される。算出された超解像パラメータは、補助情報として送信側から受信側へ伝送され、受信側における超解像処理に用いられる。このように、受信側の超解像処理においても、解像度が削減されていない入力映像を参照して算出された超解像パラメータを用いているので、高画質な映像伝送を実現できる。すなわち、特許文献１の手法においては、送信側に高解像映像が入力され、これを低解像化して伝送し、受信側で高解像化する処理が行われることにより、画質の改善を得ている。

特許第５４１９７９５号公報

しかしながら、特許文献１に記載の手法においては、送信側において、超解像パラメータを算出する際に、入力映像として、伝送する映像よりも高解像な映像が必要であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、送信側において、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない映像符号化装置およびプログラムを提供する。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力映像を、第一の超解像方法で超解像する第一超解像部と、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部とを備える映像符号化装置である。

（２）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記第一の超解像方法は、前記複数の第二の超解像方法のいずれよりも、演算量が大きい。

（３）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記入力映像を、非可逆圧縮する映像符号化部と、前記映像符号化部により非可逆圧縮された映像を復号する映像復号部とを備え、前記第二超解像部が前記複数の第二の超解像方法で超解像する前記入力映像は、前記映像復号部が復号した映像である。

（４）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記情報出力部は、前記補助情報を圧縮符号化して出力する。

（５）また、本発明の他の態様は、コンピュータを、入力映像を、第一の超解像方法で超解像する第一超解像部、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部として機能させるためのプログラムである。

この発明によれば、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない。

この発明の一実施形態による映像伝送システムの構成を示す概略ブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による映像伝送システムの構成を示す概略ブロック図である。映像伝送システム１００は、映像符号化装置１、映像復号装置２、第一伝送手段９、第二伝送手段１０を含む。映像符号化装置１と映像復号装置２とは第一伝送手段９と第二伝送手段１０を通じて接続されている。

映像符号化装置１は、入力された低解像映像Ｌ（入力映像）を圧縮符号化することで、符号化データを生成する。さらに、映像符号化装置１は、映像復号装置２における超解像処理に関するパラメータである補助情報を生成する。第一伝送手段９は、映像符号化装置１が生成した符号化データを、映像復号装置２に伝送する。第二伝送手段１０は、映像符号化装置１が生成した補助情報を、映像復号装置２に伝送する。映像復号装置２は、第一伝送手段９により伝送された符号化データを復号し、さらに、この復号により得られた映像を、第二伝送手段１０により伝送された補助情報を用いて超解像することで、超解像映像Ｈを生成する。超解像映像Ｈは、映像復号装置２の出力映像であり、低解像映像Ｌは、映像符号化装置１の入力画像である。超解像映像Ｈは、低解像映像Ｌよりも解像度の高い映像である。

映像符号化装置１は、映像符号化手段３、第一超解像手段４、映像復号手段５、第二超解像手段６、選択手段７、補助情報符号化手段８を含む。第二超解像手段６は、候補超解像手段６−１〜６−Ｎを含む。なお、Ｎは、２以上の整数である。映像符号化手段３（映像符号化部）は、入力された低解像映像Ｌを圧縮してビット列に変換する。映像符号化手段３によるビット列への変換には、映像の符号化圧縮のための任意の方式を用いることができる。符号化圧縮のための方式は、可逆圧縮でも、非可逆圧縮でもよく、例えば、公知の映像符号化方式であるＨ．２６１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００、ＶＣ−１などを用いることができる。なお、可逆圧縮である場合は、映像復号手段５による復号結果は、低解像映像Ｌと同じになるので、映像復号手段５は不要である。

第一超解像手段４（第一超解像部）は、低解像映像Ｌを第一の超解像方法で超解像することで、低解像映像Ｌの各フレームの解像度を増加させる。第一超解像手段４における超解像方法（第一の超解像方法）は、第二超解像手段６（第二超解像部）、すなわち候補超解像手段６−１から６−Ｎによる複数の超解像方法（複数の第二の超解像方法）とは異なる。第一超解像手段４における超解像方法は、第二超解像手段６のいずれよりも演算コスト（演算量）が大きい手法を用いることが好ましい。これは、演算コストが大きい手法の方が、より原画像に近い映像や、より美しい映像が得られることがある、すなわち、より高性能なためである。例えば、候補超解像手段６−１〜６−Ｎにはウェーブレット超解像などの単一フレーム超解像技術を用いるのに対し、第一超解像手段４には再構成型の複数フレーム超解像技術を用いる。あるいは、第一超解像手段４として、複数の解像度変換手法（例えば、自己合同型超解像、複数フレーム超解像、内挿補間など）を、低解像映像Ｌの画像特徴（エッジであるか平坦部であるか、動領域であるか否か、人物顔領域であるか否かなど）に応じてフレームや部分領域単位で切り替えて出力すべき映像を生成する手法を用いることも可能である。

具体的には、第一超解像手段４には、特許第５４０５３８９号の手法を用い、候補超解像手段６−１〜６−Ｎには、特開２０１４−１１９９４９号公報の手法を用いるようにしてもよい。あるいは、第一超解像手段４と、候補超解像手段６−１〜６−Ｎとは、同じアルゴリズムであるが、超解像における、いずれかの繰り返し処理の繰り返し回数が第一超解像手段４の方が多くなるようにしていてもよい。

映像復号手段５（映像復号部）は、映像符号化手段３で符号化されたビット列を復号することで、復号映像データを得る。映像復号手段５には、映像符号化手段３と同じ方式であって対をなす映像復号方式を用いる。
なお、映像符号化手段３が局部復号手段（ローカルデコーダ）を内部に備え、かつ局部復号（ローカルデコード）の結果を出力可能なものである場合には、映像復号手段５を省略し、映像復号手段５の出力（復号映像データ）の代わりに映像符号化手段３の局部復号の出力（局部復号映像データ）を利用しても構わない。

候補超解像手段６−１〜６−Ｎの各々は、映像復号手段５が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレーム（または、映像符号化手段３からの局部復号出力映像フレーム、以下同じ）の解像度を増加させる。候補超解像手段６−１〜６−Ｎは、互いに異なる超解像の方式を用いる、あるいは、互いに値の異なるパラメータを用いる。これにより、同じフレームに対して、候補超解像手段６−１〜６−Ｎ毎に、異なる超解像結果が得られる。

なお、本実施形態では、第二超解像手段６は、候補超解像手段６−１〜６−Ｎを有することで、互いに異なる複数の超解像方式を用いた超解像処理を行う、あるいは、互いに値の異なる複数のパラメータを用いた超解像処理を行うことができる。これに限らず、第二超解像手段６が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。

選択手段７（選択部）は、第一超解像手段４および第二超解像手段６による超解像結果の画像各々が入力される。選択手段７は、第一超解像手段４による超解像結果を参照して、第二超解像手段６による超解像結果の中から、すくなくとも一つを選択する。選択手段７は、選択した超解像結果が、候補超解像手段６−１〜６−Ｎのうち、いずれによる超解像結果であるかを示す情報を、補助情報として補助情報符号化手段８に入力する。なお、補助情報は、選択手段７が選択した超解像結果の生成に用いられた超解像方式を示す情報であってもよいし、該超解像結果の生成に用いられたパラメータの値を示す情報であってもよい。

選択手段７は、超解像結果の選択を、映像フレーム単位で行ってもよいし、映像フレームを分割した部分領域（例えば、ブロック）単位で行ってもよいし、あるいは複数フレームをまとめた画像列（例えば、映像符号化手段３におけるＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ））単位で行ってもよい。

図１のように、第二超解像手段６が複数の候補超解像手段（図１では、候補超解像手段６−１から候補超解像手段６−Ｎ）を有している形態では、選択手段７は候補超解像手段６−１から候補超解像手段６−Ｎのうちいずれの超解像結果が最も第一超解像手段４の出力画像に最も近いかを判定する。そして、選択手段７は、例えば候補超解像手段６−ｎ（ｎは一以上Ｎ以下の整数）が最も近いときは、候補超解像手段６−ｎを示す識別子ｎを補助情報として出力する。
なお、選択手段７は、選択した超解像結果を得るための超解像処理を、映像復号装置２において実行できるようにするための情報を補助情報として出力すればよく、選択した超解像結果に用いられた超解像方式や、パラメータを示す情報であってもよい。

選択手段７は、画像同士（または、画像の部分領域同士）の近さを判定する際の判定基準としては、例えば、誤差や構造類似性、画像特徴量、あるいはこれらの線形結合または非線形結合を用いることができる。誤差としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力と第一超解像手段４の出力との二乗誤差和や絶対値誤差和を用いる。構造類似性としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力と第一超解像手段４の出力との出力の間の構造類似性指標（Structural Similarity; SSIM）を用いる。また、画像特徴量としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力の全変動（トータルバリエーション）値を用いる。

補助情報符号化手段８（情報出力部）は、選択手段７の出力した判定結果を符号化圧縮し、符号化圧縮により得られたビット列を補助情報として出力する。補助情報符号化手段８の圧縮方式は任意であるが、可逆圧縮であることが好ましい。例えば、前記判定結果をビット列として表したものに対し、ハフマン符号化や算術符号化を適用したり、Lempel-Ziv-Welch法を適用する方式によることができる。

第一伝送手段９は、映像符号化手段３の出力するビット列を伝送するための伝送路である。第二伝送手段１０は、補助情報符号化手段８の出力するビット列を伝送するための伝送路である。第一伝送手段９と第二伝送手段１０とは別々の伝送路であっても構わないし、同一の伝送路であっても構わない。また、第一伝送手段９と第二伝送手段１０とで同一の伝送路を共有する場合であっても、映像符号化手段３の出力するビット列と補助情報符号化手段８の出力するビット列とを別ストリームで伝送しても構わないし、これらを多重化して伝送しても構わない。

第一伝送手段９および第二伝送手段１０としては、例えば、デジタル放送、インターネットなど有線、無線のいずれを用いても構わず、ＩＰ（Internet Protocol）、ＩＳＤＢ（Integrated Services Digital Broadcasting）各種方式などプロトコルや方式も問わない。また、第一伝送手段９および第二伝送手段１０は、Ｂｌｕ−ｒａｙ（登録商標）などの可搬媒体による伝送手段であってもよい。

また、映像符号化手段３の出力するビット列と補助情報符号化手段８の出力するビット列とを多重化をする場合であっても、ＭＰＥＧ−２ＴＳ（Transport Stream）やＭＭＴ（MPEG Multimedia Transport）などその方式は任意である。ただし、第一伝送手段９および第二伝送手段１０で送られる各ビット列のタイミングは同期が確保できるものとする。前記同期は、例えば第一伝送手段９および第二伝送手段１０で送られる両ビット列に時刻情報を付加することで実現できるほか、特開２０１４−１３２７３０号公報で開示されているようなハッシュ値を用いる手法によっても実現可能である。あるいは、前記同期はＭＭＴのような多重化技術を用いることによっても実現可能である。

続いて、映像復号装置２の構成について説明する。図１に記載の映像復号装置２は、映像復号手段１１と、第三超解像手段１２と、補助情報復号手段１３と、切替手段１４とを含む。第三超解像手段は、候補超解像手段１２−１〜１２−Nを含む。映像復号手段１１は、映像符号化手段３と対をなす復号手段であり、映像符号化手段３から出力され、第一伝送手段９を通じて受信したビット列を復号し映像信号を出力する。映像復号手段１１の動作は映像復号手段５と同様である。

候補超解像手段１２−１〜１２−Ｎの各々は、映像復号手段１１が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレームの解像度を増加させる。候補超解像手段１２−１〜１２−Ｎは、それぞれ候補超解像手段６−１〜６−Ｎと同じ超解像処理を行う。したがって、同じフレームに対して、候補超解像手段１２−１〜１２−Ｎ毎に、異なる超解像結果が得られる。なお、第三超解像手段１２も、第二超解像手段６と同様に、第三超解像手段１２が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。また、第三超解像手段１２は、候補超解像手段６−１〜６−Ｎそれぞれと同じ超解像処理を行う方が好ましいが、類似した結果が得られればよく、全く同じでなくても良い。

補助情報復号手段１３は、補助情報符号化手段８と対をなす復号処理を行う。補助情報復号手段１３は、補助情報符号化手段８で生成され、第二伝送手段１０を経由して伝送されてきた補助情報に関するビット列を復号し、このビット列から復号された補助情報を出力する。例えば、補助情報符号化手段８がハフマン符号化により情報圧縮を行った場合には、補助情報復号手段１３は、補助情報符号化手段８で使用した符号木（ハフマン木）を用いて復号処理を行う。

切替手段１４は、補助情報復号手段１３で復号された補助情報（選択手段７における判定結果）に従って候補超解像手段１２−１から１２−Ｎの出力を切り替えつつ、出力用の超解像映像Ｈを構成して出力する。切替手段１４の切り替えの単位は、選択手段７における制御状態の判定の単位と一致させる。例えば、選択手段７がブロック単位で最適な制御状態の判定を行った場合には、切替手段１４も同じブロック単位で切り替えを行う。

なお、本実施形態において、切替手段１４は、候補超解像手段１２−１〜１２−Ｎの後段に接続されており、候補超解像手段１２−１〜１２−Ｎの超解像結果のうちの一つを出力しているが、これに限らない。例えば、切替手段１４が、候補超解像手段１２−１〜１２−Ｎの前段に接続されており、映像復号手段１１の復号結果を入力する候補超解像手段を、補助情報に従い切り替えるようにしてもよい。このようにすることで、同じフレームに対して複数の候補超解像手段による処理を行う必要がなくなるので、より演算量を削減することができる。

また、本実施形態において、映像符号化装置１に入力される低解像映像Ｌは圧縮符号化されていないが、圧縮符号化されていてもよい。その場合、映像符号化装置１は、映像符号化手段３を有していなくても良く、映像復号手段５は、入力された低解像映像Ｌを復号し、映像復号手段５の復号結果は、第二超解像手段６に加えて、第一超解像手段４にも入力されてもよい。また、第一伝送手段９が伝送するのは、映像符号化装置１に入力された低解像映像Ｌとしてもよい。

このように、選択手段７は、第一超解像手段４により超解像された映像と、複数の第二の超解像方法各々で超解像された映像とを比較して、複数の第二の超解像方法のうち、一つを選択する。これにより、伝送する映像よりも高解像な映像を映像符号化装置１に入力しなくても、受信機側（映像復号装置２側）において、より高性能な超解像の手法に近い超解像結果を得ることができる。
さらに、候補超解像手段６−１〜６−Ｎ各々の演算量は、第一超解像手段４による演算量よりも少ない。これにより、より少ない演算量で、より高性能な超解像の結果を得ることができる。

また、図１における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化装置１、映像復号装置２を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した図１における映像符号化装置１、映像復号装置２の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…映像符号化装置、２…映像復号装置、３…映像符号化手段、４…第一超解像手段、５…映像復号手段、６…第二超解像手段、７…選択手段、８…補助情報符号化手段、９…第一伝送手段、１０…第二伝送手段、１１…映像復号手段、１２…第三超解像手段、１３…補助情報復号手段、１４…切替手段

Claims (5)

1. 入力映像を、第一の超解像方法で超解像する第一超解像部と、
   前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、
   前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、
   前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部と
   を備える映像符号化装置。
2. 前記第一の超解像方法は、前記複数の第二の超解像方法のいずれよりも、演算量が大きい、請求項１に記載の映像符号化装置。
3. 前記入力映像を、非可逆圧縮する映像符号化部と、
   前記映像符号化部により非可逆圧縮された映像を復号する映像復号部と
   を備え、
   前記第二超解像部が前記複数の第二の超解像方法で超解像する前記入力映像は、前記映像復号部が復号した映像である、請求項１に記載の映像符号化装置。
4. 前記情報出力部は、前記補助情報を圧縮符号化して出力する、請求項１に記載の映像符号化装置。
5. コンピュータを、
   入力映像を、第一の超解像方法で超解像する第一超解像部、
   前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、
   前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、
   前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部
   として機能させるためのプログラム。

Images