[go: up one dir, main page]

WO2020031483A1 - 復号装置、復号方法、プログラム - Google Patents

復号装置、復号方法、プログラム Download PDF

Info

Publication number
WO2020031483A1
WO2020031483A1 PCT/JP2019/022345 JP2019022345W WO2020031483A1 WO 2020031483 A1 WO2020031483 A1 WO 2020031483A1 JP 2019022345 W JP2019022345 W JP 2019022345W WO 2020031483 A1 WO2020031483 A1 WO 2020031483A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
unit
encoded
signal
haptic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/022345
Other languages
English (en)
French (fr)
Inventor
鈴木 志朗
修一郎 錦織
裕史 竹田
松本 淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP19845950.5A priority Critical patent/EP3836405A4/en
Priority to CN201980050579.3A priority patent/CN112534723B/zh
Priority to KR1020257027649A priority patent/KR20250129118A/ko
Priority to KR1020217002043A priority patent/KR102849175B1/ko
Priority to JP2020536347A priority patent/JP7653787B2/ja
Priority to US17/265,171 priority patent/US11496152B2/en
Publication of WO2020031483A1 publication Critical patent/WO2020031483A1/ja
Anticipated expiration legal-status Critical
Priority to JP2023180338A priority patent/JP2023181284A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6005Decoder aspects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70Type of the data to be coded, other than image and sound
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code

Definitions

  • a D / A converter 32 and an amplifier 31 are provided for each tactile presentation device 6.
  • the Merkel component, the Meissner component, and the patini component output from the decoding unit 34B pass through the post-processing unit 33, are converted into analog signals by the corresponding D / A converters 32, and are amplified by the corresponding amplifiers 31. Then, it is output to the corresponding tactile presentation device 6 among the tactile presentation devices 6-1, 6-2, and 6-3. More specifically, the Merkel component is output to the tactile presentation device 6-1, the Meissner component is output to the tactile presentation device 6-2, and the patini component is output to the tactile presentation device 6-3.
  • the encoding according to the first embodiment is performed for a haptic signal based on an LPCM signal (time signal). That is, encoding is performed for each frequency band in the time domain.
  • LPCM signal which is a time signal
  • an orthogonal transform such as a discrete cosine transform (DCT) or a discrete Fourier transform (DFT), and then encoded. Is more efficient.
  • DCT discrete cosine transform
  • DFT discrete Fourier transform
  • LPCMs of 128 samples are input, and a conversion to a spectrum is performed when 256 samples are collected.
  • 128 spectra are generated, since the entire frequency band is 1280 Hz from the sampling frequency (2560 Hz), the frequency width (resolution) of one spectrum is 10 Hz.
  • the acquisition unit acquires the haptic signal encoded for each frequency band in the time domain (see the first embodiment).
  • the acquisition unit acquires the entropy-encoded haptic signal.
  • the acquisition unit acquires a plurality of tactile signals obtained by encoding detection signals of the plurality of tactile sensors with respect to corresponding frequency bands, respectively. See the fourth example of one embodiment). Specifically, in the embodiment, each of the tactile signals of the Merkel component, the Meissner component, and the patini component obtained by encoding performed on the detection signals of the tactile sensors 5-1, 5-2, and 5-3 is acquired. ing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図る。 本技術に係る復号装置は、周波数帯域ごとに符号化された触覚信号を復号する復号部を備えるものである。これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。

Description

復号装置、復号方法、プログラム
 本技術は、符号化された触覚信号を復号する復号装置とその方法、及びプログラムに関する。
 近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
 例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
 音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
 コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
 アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
 また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある(例:災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)
 さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
 なお、関連する従来技術については下記特許文献1を挙げることができる。該特許文献1には、振動等をセンシングして触覚刺激のパターンを表す触覚信号を生成するのではなく、オーディオ信号に基づき触覚信号を生成する技術が開示されている。
特開2015-53038号公報
 ここで、触覚信号を再現する触覚再現システムについては、触覚提示デバイスを複数用意して人体の複数部位に触覚刺激を与えたり、触覚信号をインターネット等のネットワークを介して伝送してリアルタイムな触覚再現を実現すること等が考えられている。
 しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
 本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図ることを目的とする。
 本技術に係る復号装置は、周波数帯域ごとに符号化された触覚信号を復号する復号部を備えるものである。
 これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号であることが望ましい。
 これにより、実際にセンシングした触覚信号に基づいて触覚再現を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
 これにより、受容器ごとの特性の差の観点より、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
 これにより、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を実現するにあたり、触覚信号に対する直交変換を行う必要がなくなる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なることが望ましい。
 これにより、少なくとも一つの周波数帯域の触覚信号について、量子化ビット数を少なく又はサンプリング周波数を低くすることが可能とされ、触覚信号のデータ量削減が図られる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
 これにより、周波数に応じたビット削減の自由度が向上し、より効率的な符号化を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号を取得することが望ましい。
 これにより、信号振幅値の面で人間が知覚し難いとされる触覚信号成分を量子化の対象から除外する符号化を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号であることが望ましい。
 これにより、一部の周波数帯域については量子化ステップ数を他の周波数帯域よりも削減することが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、エントロピー符号化された触覚信号であることが望ましい。
 これにより、出現頻度の高いシンボルについて符号量の削減を図ることによる効率的な符号化を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記復号部は、復号した前記周波数帯域ごとの触覚信号を個別に出力することが望ましい。
 これにより、受容器ごとに異なる触覚提示装置を用いて触覚再現を行うことが可能とされる。
 上記した本技術に係る復号装置においては、前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号であることが望ましい。
 これにより、受容器ごとに異なる触覚センサを用いて触覚再現を行うことが可能とされる。
 また、本技術に係る復号方法は、周波数帯域ごとに符号化された触覚信号を復号する復号方法である。
 このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。
 さらに、本技術に係るプログラムは、周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させるプログラムである。
 このような本技術に係るプログラムにより、上記した本技術に係る復号装置が実現される。
 本技術によれば、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術に係る第一実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。 第一実施形態としての符号化装置の内部構成例を説明するための図である。 第一実施形態としての復号装置の内部構成例を説明するための図である。 振動検出閾値曲線の説明図である。 受容器ごとの神経発火分布の例を示した図である。 受容器ごとの振動検出閾値曲線についての説明図である。 触覚信号のデジタル化で対象とする振幅範囲と周波数範囲とを例示した図である。 第一実施形態における第一例としての符号化手法の説明図である。 第一例としての符号化手法を実現するための符号化部の具体的な構成例を示した図である。 触覚信号の多重化の例を説明するための図である。 実施形態としての復号装置が有する機能を説明するための機能ブロック図である。 第一例としての復号手法を実現するための復号部の具体的な構成例を示した図である。 第二例としての符号化手法の説明図である。 第二例における符号化部の具体的な構成例を示した図である。 第二例における復号部の具体的な構成例を示した図である。 第三例としての触覚再現システムの構成例を示した図である。 振動デバイスの周波数特性を例示した図である。 第三例としての復号装置が備える復号部の具体的な構成例を示した図である。 第三例としての復号装置の内部構成例を説明するための図である。 第三例の利点について説明するための図である。 受容器ごとに設ける触覚提示装置のサイズや実装手法について説明するための図である。 第四例としての触覚再現システムの構成例を示した図である。 第四例としての符号化装置の内部構成例を説明するための図である。 第四例としての符号化装置が備える符号化部の具体的な構成例を示した図である。 帯域分割の変形例についての説明図である。 第二実施形態としての符号化手法の説明図である。 第二実施形態としての符号化手法を実現するための符号化部の具体的な構成例を示した図である。 第二実施形態としての復号部の具体的な構成例を示した図である。 第二実施形態としての復号部の他の構成例を示した図である。
 以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.第一例]
(符号化手法)
(符号化側の構成)
(復号手法)
(復号側の構成)
[1-5.第二例]
[1-6.第三例]
[1-7.第四例]
<2.第二実施形態>
[2-1.符号化手法]
[2-2.符号化側の構成]
[2-3.復号側の構成]
<3.実施形態の変形例>
<4.実施形態のまとめ>
<5.本技術>
 ここで、本明細書においては以下のように各用語を定義する。
 触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
 触覚提示:触覚刺激を発生させること。
 触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。狭義にはアナログ信号又はデジタル信号であるとするが、広義には人間の触覚により知覚される情報(振動のように特定の周波数帯域や振幅範囲でのみ知覚可能とされている情報も含む)そのものを指すこととする。
 受触者:触覚提示を受ける人。
 触覚特性:人間の触覚に関する特性。部位(手、顔、足等)や受容器によって異なる。
 触覚感度:触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
<1.第一実施形態>
[1-1.触覚再現システムの概要]

 図1は、本技術に係る第一実施形態としての復号装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
 触覚再現システム1は、触覚センサ5が接続された符号化装置2と、符号化装置2との間で所定のネットワーク4を介して通信可能に構成された再生装置3と、再生装置3と接続された触覚提示装置6とを備えている。
 ここで、触覚は人体の全身に分布するため、人体の複数部位に触覚提示装置6を装着して触覚の再現を行うことが考えられるが、ここでは説明の簡単化のため、例えば物体の振動を指先等の人体における単一部位で触った際に得られる触覚信号を再現する例とし、触覚再現システム1としては、図示のように触覚センサ5、触覚提示装置6がそれぞれ単数設けられた構成であるとする。
 触覚センサ5は、触覚信号のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物に接触させることで、振動や運動を電圧変化として出力する。
 本例において、触覚センサ5は符号化装置2に対して有線接続されている。
 符号化装置2は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のコンピュータ装置を備えて構成され、触覚センサ5による検出信号(触覚信号)について所定のデータフォーマットに従った符号化を行い、符号化された触覚信号を例えばインターネット等の所定のネットワーク4を介して再生装置3に送信する。
 再生装置3は、CPUやDSP等のコンピュータ装置を備えて構成され、ネットワーク4を介して受信した、符号化された触覚信号を復号(再生)し、復号後の触覚信号に基づき触覚提示装置6を駆動する。
 触覚提示装置6は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
 触覚提示装置6は、受触者に装着され(本例では指先)、触覚センサ5でセンシングされた触覚信号を再現するようにされる。
 本例の触覚再現システム1は、触覚信号をセンシングする環境と再現する環境とが遠隔とされた場合にも対応可能なシステムとして構成されている。図1に示す触覚再現システム1の構成によれば、触覚センサ5のセンシングによって得られた触覚信号をネットワーク4経由で再生装置3側に送信することで、触覚の再現を略リアルタイムに行うことが可能とされる。
[1-2.符号化装置の構成]

 図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した触覚センサ5を併せて示している。
 図示のように符号化装置2は、増幅器21、A/Dコンバータ22、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバス28を備えている。
 図示のように前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
 触覚センサ5の検出信号(触覚刺激のパターンを表す触覚信号の一形態である)は、増幅器21に入力されて適切なダイナミックレンジに調整された後、A/Dコンバータ22に入力されてA/D変換(アナログ/デジタル変換)された上で、前処理部23に入力される。前処理部23においては、ノイズ除去や触覚センサ5のセンサ特性の校正などの各種デジタル信号処理が行われる。
 前処理部23による信号処理を施された触覚信号は、符号化部24に入力される。
 符号化部24は、例えばDSPで構成され、入力された触覚信号を所定のデータフォーマットに従って符号化する。なお、触覚信号の符号化の具体的手法については後に改めて説明する。
 制御部25は、例えばCPU、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで符号化装置2の全体制御を行う。
 例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
 通信部27は、ネットワーク4を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワーク4に接続された外部装置(特に本例では再生装置3)との間でデータ通信を行うことが可能とされている。特に、符号化部24により符号化された触覚信号を通信部27を介して再生装置3に送信させることが可能とされる。
 記憶部26は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶デバイスを包括的に表したものであり、符号化装置2において各種のデータ記憶に用いられる。例えば記憶部26には、制御部25による制御に必要なデータが記憶される。また、制御部25の制御に基づき、記憶部26に符号化された触覚信号を記憶させることもできる。
[1-3.再生装置の構成]

 図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。
 再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、復号部34、制御部35、記憶部36、通信部37、及びバス38を備えている。
 後処理部33、復号部34、制御部35、記憶部36、及び通信部37はバス38を介して接続され、互いにデータ通信可能とされている。
 制御部35は、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで再生装置3の全体制御を行う。
 例えば、制御部35は、通信部37を介して外部装置との間でのデータ通信を行う。
 通信部37は、ネットワーク4を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部35は、通信部37を介してネットワーク4に接続された外部装置(特に本例では符号化装置2)との間でデータ通信を行うことが可能とされている。
 制御部35は、通信部37が符号化装置2より受信した触覚信号(符号化された触覚信号)を復号部34に入力させる。
 記憶部36は、例えばHDDやSSD等の記憶デバイスを包括的に表したものであり、再生装置3において各種のデータ記憶に用いられる。例えば記憶部36には、制御部35による制御に必要なデータが記憶される。
 復号部34は、符号化された触覚信号を所定のデータフォーマットに従って復号する。復号された触覚信号は後処理部33に入力される。
 後処理部33は、入力された触覚信号について、必要に応じて触覚提示装置6の校正や所定のフィルタ処理等の信号処理を施す。
 後処理部33を経た触覚信号は、D/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、増幅器31で適切なダイナミックレンジに調整され、触覚提示装置6に出力される。
 これにより、触覚提示装置6が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚信号を再現することができる)。
 なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を再生装置3側に送信して受触者に音や映像を提供することもできる。
[1-4.第一例]
(符号化手法)

 以下、第一実施形態における第一例としての触覚再現手法について説明する。
 先ず、第一、第二実施形態を問わず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
 人間の触覚感度の目安として、図4に示す振動検出閾値曲線が報告されている。なお図4において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
 図4に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
 ここで、人間の皮膚下には触覚を知覚するための受容器が複数存在することが一般的に知られている。代表的な受容器として、マイスナー、メルケル、ルフィニ、及びパチニが知られている。
 マイスナー、パチニはそれぞれ「FA 1」、「FA 2」とも呼ばれ、FAは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「SA 1」、「SA 2」とも呼ばれ、SAは「Slow Adapting」の略称である。
 図5は、物体を皮膚に徐々に押し付け、暫く保持した後に物体を離したときの受容器ごとの神経発火分布を示している。
 メルケル(SA 1)は物体を押し付つけている間は継続して神経発火をしており、強度(変位、圧力)検出をしているとされる。マイスナー(FA 1)は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ(FA 2)は押し込み量が変化する区間、つまり加速度検出を担っているとされる。
 図6に、受容器ごとの振動検出閾値曲線を示す。図4に示した曲線は単独の受容器の特性を示しているわけでなく、図6に示すように複数の受容器によって得られる触覚を合成した特性を示したものである。
 図4や図6に示す振動検出閾値曲線からは、人間が1kHz程度までの振動を触覚刺激として感じ得ることが示されている。また、これらの図では1kHz以上の値が記載されていないが、感度は高くないものの実際には数kHz程度の周波数の振動でも人間は触覚刺激として知覚し得ることが知られている。
 従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても200Hz程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが200Hz程度であることに起因している。
 しかしながら、上記の通り人間は1kHzまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
 例えば、ビンのコルク栓を抜いた際の振動は、現実では数kHzといった高い周波数を含んでいる。これを数100Hzまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
 そこで、本実施形態では、触覚信号と触覚提示装置6の特性を1kHz程度まで広帯域化することで、より現実感を高めることとする。
 具体的に本実施形態では、現実に発生した振動等の触覚刺激をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
 近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
 デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図4に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸(振動)が50dB(-20dB~30dB)以上、横軸が1000Hz程度である。本例では、実際に人間の感じる触覚信号の分布を考慮し、閾値曲線から+20dBの範囲の信号をセンシングすることとする。
 具体的には、図7に示すように、振動の範囲が70dB(-20dB~50dB)であるとする。
 この信号をLPCM(Linear Pulse Code Modulation)にてデジタル化する場合、1ビットで表現できるのは6dBであるから縦軸については12bit、1000Hzまでを再現するためには2倍のサンプリング周波数である2000Hz(sample/sec)が必要となるから、必要なビットレートB0は以下の[式1]で求められる。

 B0=12bit/sample×2000sample/sec=24kbit/sec・・・[式1]
 この値自体は、例えば音声信号の代表的フォーマットであるCD(Compact Disc)のビットレート=1411kbit/secと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。
 しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数kHzまでに及ぶことが分かっている。例えば触覚信号を2000Hzまで再現する場合、ビットレートは[式1]に比べて2倍の48kbit/secとなる。
 また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても10か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに10倍の480kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。
 さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は3軸(x、y、z)で捉えることができる。これを全て扱おうとすると、さらに3倍の1440kbit/secというビットレートが必要となるが、この値はオーディオCDの1411kbit/secに匹敵する大きなものとなる。
 このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。
 そこで、本実施形態では、人間の触覚特性を考慮した符号化を行うことで、触覚信号のビットレート削減を図る。
 具体的に、第一例では、図4や図7に示した振動検出閾値曲線において、振動検出閾値が高域側で大きく低下する特性に着目し、触覚信号を二つの周波数帯域に分けて符号化するという手法を挙げる。
 図8は、第一例としての符号化手法の説明図である。
 本例では、LPCM信号としての触覚信号を、50Hzを境に二つの周波数帯域に分割し、図示のように低域側の帯域(例えば50Hz未満の帯域)については量子化ビット数=7bit(40dB)且つサンプリング周波数=100Hzとし、高域側の帯域(例えば50Hz以上且つ1kHz以下の帯域)については量子化ビット数=8bit(48dB)且つサンプリング周波数=100Hzとする符号化を行う。
 この場合、低域側の帯域に係る触覚信号のビットレートBL1、高域側の帯域に係る触覚信号のビットレートBH1は下記[式2][式3]により表される。

 BL1=7bit/sample×100sample/sec=0.7kbit/sec・・・[式2]
 BH1=8bit/sample×2000sample/sec=16kbit/sec・・・[式3]

 BL1+BH1で求まる総ビットレートは16.7kbpsとなり、帯域分割をしない場合のビットレートB0と比べると約30%もの低減が実現される。
(符号化側の構成)

 図9は、上記した第一例としての符号化手法を実現するための符号化部24の具体的な構成例を示した図である。
 なお、ここでは、符号化部24に対しては量子化ビット数=12bit、サンプリング周波数=2000Hzによる触覚信号が入力されるものとする。
 図示のように符号化部24は、帯域分割フィルタ41、ダウンサンプラー42、ビットマスク部43-1、ビットマスク部43-2、及び多重化部44を備えている。
 帯域分割フィルタ41は、前処理部23より触覚信号(量子化ビット数=12bit、サンプリング周波数=2000Hz)を入力し、該触覚信号について周波数帯域の分割処理を行って、上述した低域側の帯域の成分(以下「低域成分」と表記)と、高域側の帯域の成分(以下「高域成分」と表記)とを抽出する。
 帯域分割フィルタ41で得られた触覚信号の低域成分は、ダウンサンプラー42に入力されてダウンサンプリング処理が施される。具体的には、サンプリング周波数=100Hzによるダウンサンプリング処理が行われる。
 そして、ダウンサンプラー42によりダウンサンプリングされた触覚信号の低域成分はビットマスク部43-1による上位ビット取出しにより、量子化ビット数が12bitから7bitに減少され、多重化部44に入力される。
 また、帯域分割フィルタ41で得られた触覚信号の高域成分は、ビットマスク部43-2による下位ビット取出しにより、量子化ビット数が12bitから8bitに減少され、多重化部44に入力される。
 多重化部44は、ビットマスク部43-1より入力した低域成分、及びビットマスク部43-2より入力した高域成分を多重化して後述するストリームデータを生成する。
 図10は、多重化部44による触覚信号の多重化の例を説明するための図である。
 本例の多重化部44では、触覚信号の低域成分、高域成分をそれぞれ個別のフレームと呼ばれる単位のデータとして扱う。フレームは、図示のようにフレームヘッダとしての領域と触覚信号の実データを格納する領域とを有する。フレームヘッダには、フレームについてのヘッダ情報として、少なくとも低域成分と高域成分の何れのフレームであるかを識別可能とする情報を格納する。
 さらに、多重化部44は、低域成分のフレームと高域成分のフレームとを含む、ストリームと呼ばれる単位のデータを生成する。ストリームには、ストリームヘッダとしての領域と低域成分及び高域成分の各フレームを格納する領域とが設けられる。ストリームヘッダには、ヘッダ情報として、デジタル化された触覚信号(触覚データ)の仕様を表す情報(量子化ビット数やサンプリング周波数、ストリームの種類やデータサイズ等)や、ストリーム内に含まれるフレーム数の情報等を格納する。
 本例では、上記のような多重化により得られる各時間のストリームが時間軸上に並べられた態様によるストリームデータが、触覚信号(触覚データ)の記録や伝送に用いられる。
 再生装置3側では、符号化装置2側より入力された上記のストリームデータに基づいて触覚信号の復号が行われる。
 なお、上記では、符号化部24に対して量子化ビット数=12bit、サンプリング周波数=2000Hzによる触覚信号が入力される場合、つまりは、A/Dコンバータ22として量子化ビット数=12bit、サンプリング周波数=2000HzによるA/Dコンバータを用いる前提としたが、例えばオーディオ分野等で用いられるような一般的な量子化ビット数(例えば16bit等)、サンプリング周波数(例えば48kHz等)によるA/Dコンバータ22を用いる場合には、高域側の触覚信号に対してもダウンサンプラー等のサンプリング周波数変換部を設けるか、又は帯域分割フィルタ41の前段にダウンサンプラー等のサンプリング周波数変換部を設けるようにする。
(復号手法)

 図11は、再生装置3が有する復号に係る機能を説明するための機能ブロック図である。
 図示のように再生装置3は、取得処理部F1と復号処理部F2としての機能を有している。
 取得処理部F1は、周波数帯域ごとに符号化された触覚信号を取得する。具体的に本例では、触覚信号の低域成分と高域成分とを取得する。この取得処理部F1としての機能は、本例では図3に示した通信部37により実現される。
 復号処理部F2は、取得処理部F1が取得した触覚信号を復号する。具体的に本例では、取得処理部F1が取得した低域成分と高域成分について復号を行う。この場合の復号は、触覚信号のデータフォーマットを元のデータフォーマットに変換する処理として行われる。具体的には、低域成分(量子化ビット数=7bit、サンプリング周波数=100Hz)、高域成分(量子化ビット数=8bit、サンプリング周波数=2000Hz)をそれぞれ元のフォーマットである量子化ビット数=12bit、サンプリング周波数=2000Hzに変換する処理として行われる。
 この復号処理部F2としての機能は、本例では復号部34により実現される。
(復号側の構成)

 図12は、第一例としての復号手法を実現するための復号部34の具体的な構成例を示した図である。
 図示のように復号部34は、多重分離部51、ビット付加部52-1、ビット付加部52-2、アップサンプラー53、及び帯域合成フィルタ54を備えている。
 多重分離部51は、通信部37により取得されたストリームデータ(図10参照)を入力し、該ストリームデータから触覚信号の低域成分と高域成分とを分離し抽出する。
 図示のように、抽出された低域成分は、ビット付加部52-1による下位ビット付加により量子化ビット数が12bitに変換された後、アップサンプラー53においてサンプリング周波数=2000Hzによるアップサンプリング処理が施され、帯域合成フィルタ54に入力される。
 また、多重分離部51で抽出された高域成分は、ビット付加部52-2による上位ビット付加により量子化ビット数が12bitに変換された後、帯域合成フィルタ54に入力される。
 帯域合成フィルタ54は、アップサンプラー53より入力された低域成分とビット付加部52-2より入力された高域成分とを合成して図3に示した後処理部33に出力する。
 なお、図12では、図3に示したD/Aコンバータ32として量子化ビット数=12bit、サンプリング周波数=2000Hzに対応したD/Aコンバータが用いられる場合を前提とした構成を例示したが、例えばオーディオ分野等で用いられるような一般的な量子化ビット数(例えば16bit等)、サンプリング周波数(例えば48kHz等)に対応したD/Aコンバータ32を用いることもでき、その場合には、高域成分側にもアップサンプラー等のサンプリング周波数変換部を設けるか、又は帯域合成フィルタ54の後段にアップサンプラー等のサンプリング周波数変換部を設けるようにする。
 ここで、上記では、低域成分と高域成分との境界周波数を50Hzとした例を挙げたが、該境界周波数は50Hzに限定されるものではなく、図4や図7に示した振動検出閾値曲線を基に、触覚信号の総ビットレートが削減されるように定められればよい。
 また、上記では、符号化の対象とする周波数帯域を二つとする例を挙げたが、三つ以上の周波数帯域に分割することも可能である。例えば、図4や図7において、低域側から見て振動検出閾値が略一定に維持される3Hz未満の帯域を第一帯域、3Hz以降、振動検出閾値曲線の傾斜が比較的緩やかとされる3Hz以上50Hz未満の帯域を第二帯域、50Hz以上の帯域を第三帯域として分割し、これら第一、第二、第三帯域ごとに符号化を行う等が考えられる。
[1-5.第二例]

 続いて、第一実施形態の第二例について説明する。
 第二例は、符号化の対象とする周波数帯域を受容器の特性に応じて分割した帯域とするものである。
 図6に示したように、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。
 この点に鑑み、第二例においては、符号化の対象とする周波数帯域を図13に示すように分割する。
 受容器の特性は明確に分割された帯域だけに反応するわけではないが、ここでは一例として、低域をメルケルの特性に合わせて3Hz未満とし、中域をマイスナーの特性に合わせて3Hz以上40Hz未満とし、高域をパチニの特性に合わせて40Hz以上1000Hz以下と定義し、符号化の対象とする周波数帯域をこれら低域、中域、高域の三つの周波数帯域とする。
 図示のように、メルケルに対応した低域の成分(以下「メルケル成分」と表記)については、触覚信号の量子化ビット数=4bit(20dB)、サンプリング周波数=6Hzとし、マイスナーに対応した中域の成分(以下「マイスナー成分」と表記)については量子化ビット数=5bit(30dB)、サンプリング周波数=80Hzとする。また、パチニに対応した高域の成分(以下「パチニ成分」と表記)については量子化ビット数=9bit(50dB)、サンプリング周波数=2000Hzとする。
 この場合、メルケル、マイスナー、パチニの各成分のビットレートBL2、BM2、BH2は、それぞれ下記[式4][式5][式6]のように計算される。

 BL2=4bit/sample×6sample/sec=0.024kbit/sec・・・[式4]
 BM2=5bit/sample×80sample/sec=0.4kbit/sec・・・[式5]
 BH2=9bit/sample×2000sample/sec=18kbit/sec・・・[式6]

 この場合における触覚信号の総ビットレートは18.424kbpsとなり、前述した総ビットレートB0と比べると約23%の低減が実現される。
 図14は、上記により説明した第二例としての符号化手法を実現するための符号化部24Aの具体的な構成例を示した図である。
 なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
 第二例において、符号化装置2の構成は符号化部24を除き第一例の場合と同様となるため図示による説明は省略する。第二例の符号化装置2では、符号化部24に代えて図14に示す符号化部24Aが設けられる。
 図示のように符号化部24Aは、帯域分割フィルタ41A、ダウンサンプラー42A-1、ダウンサンプラー42A-2、ビットマスク部43A-1、ビットマスク部43A-2、ビットマスク部43A-3、及び多重化部44Aを備えている。
 帯域分割フィルタ41Aは、前処理部23より触覚信号(量子化ビット数=12bit、サンプリング周波数=2000Hz)を入力し、該触覚信号について周波数帯域の分割処理を行って、上述したメルケル成分、マイスナー成分、及びパチニ成分を抽出する。
 帯域分割フィルタ41Aで得られたメルケル成分はダウンサンプラー42A-1に入力されてサンプリング周波数=6Hzにダウンサンプリングされ、マイスナー成分はダウンサンプラー42A-2に入力されてサンプリング周波数=80Hzにダウンサンプリングされる。
 ダウンサンプリングされたメルケル成分はビットマスク部43A-1による上位ビット取出しにより、量子化ビット数が12bitから4bitに減少され、多重化部44Aに入力される。また、ダウンサンプリングされたマイスナー成分はビットマスク部43A-2による中位ビット取出しにより、量子化ビット数が12bitから5bitに減少され、多重化部44Aに入力される。
 また、帯域分割フィルタ41Aで得られたパチニ成分は、ビットマスク部43A-3による下位ビット取出しにより、量子化ビット数が12bitから9bitに減少され、多重化部44Aに入力される。
 多重化部44Aは、ビットマスク部43A-1、43A-2、43A-3より入力されたメルケル成分、マイスナー成分、及びパチニ成分を多重化してストリームデータを生成する。ここでの多重化の手法は図10で説明した手法と同様であり、具体的には、メルケル、マイスナー、パチニの各成分を同一ストリームに多重化する。
 図15は、符号化部24Aにより符号化された触覚信号を復号するための第二例としての復号部34Aの具体的な構成例を示した図である。
 第二例において、再生装置3には、復号部34に代えて復号部34Aが設けられる。
 図示のように復号部34Aは、多重分離部51A、ビット付加部52A-1、ビット付加部52A-2、ビット付加部52A-3、アップサンプラー53A-1、アップサンプラー53A-2、及び帯域合成フィルタ54Aを備えている。
 多重分離部51Aは、符号化部24Aで得られたストリームデータを通信部37経由で入力し、該ストリームデータから触覚信号のメルケル成分、マイスナー成分、及びパチニ成分を分離し抽出する。
 抽出されたメルケル成分、マイスナー成分、パチニ成分は、ビット付加部52A-1、52A-2、52A-3に入力され、それぞれ下位ビット付加、上下位ビット付加、上位ビット付加により量子化ビット数が12bitに変換される。
 ビット付加されたメルケル成分、マイスナー成分は、アップサンプラー53A-1、53A-2においてそれぞれサンプリング周波数=2000Hzによるアップサンプリング処理が施され、帯域合成フィルタ54Aに入力される。
 また、ビット付加されたパチニ成分は、サンプリング周波数が2000Hzのまま維持されて帯域合成フィルタ54Aに入力される。
 帯域合成フィルタ54Aは、入力されたメルケル成分、マイスナー成分、及びパチニ成分を合成して図3に示した後処理部33に出力する。
 これにより、触覚提示装置6は、メルケル成分、マイスナー成分、及びパチニ成分が合成された触覚信号に基づき駆動される。
[1-6.第三例]

 上記した第二例は、第一例と比較するとビットレートは悪化するものとなるが、第二例のように受容器の特性に応じた周波数帯域ごとに符号化を行うことによっては、触覚提示装置6を受容器ごとに設けることができるという利点がある。換言すれば、触覚提示装置6として、平坦性を示す周波数帯域が広い触覚提示装置を用いる必要がなくなるという利点がある。
 図16は、第三例としての触覚再現システム1Bの構成例を示した図である。
 ここでは、第二例の符号化を行う場合において、触覚提示装置6を受容器ごとに設けた例を説明する。
 図示のように触覚再現システム1Bは、触覚提示装置6として、受容器ごとの触覚提示装置6-1、触覚提示装置6-2、及び触覚提示装置6-3を設けた点と、再生装置3に代えて再生装置3Bを設けた点とが触覚再現システム1の場合と異なる。
 本例において、触覚提示装置6-1はメルケル、触覚提示装置6-2はマイスナー、触覚提示装置6-3はパチニにそれぞれ対応した触覚提示装置6とされる。
 ここで、振動デバイスである触覚提示装置6は、一般的に周波数特性の平坦性に課題を有するものとされる。具体的に、図17は、触覚信号のデジタル化で対象とする周波数帯域(本例では1kHzまで)を帯域Tfsとして、一般的な振動デバイスの周波数特性を例示しているが、振動デバイスが平坦性を示す周波数帯域は、一般的に帯域Tfsよりも狭くなる傾向とされる。
 このような触覚提示装置6の周波数特性に起因して触覚の再現性低下が懸念されるため、第三例においては、各受容器に対応する触覚提示装置6-1、6-2、6-3を設け、各触覚提示装置6をそれぞれ対応する受容器の触覚信号に基づき駆動する。
 再生装置3Bは、第二例で説明した復号部34A(図15参照)に代えて、図18に示す復号部34Bを備える。
 図示のように復号部34Aとの差異点は帯域合成フィルタ54Aが省略された点であり、復号部34Bは、ストリームデータから復号したメルケル成分、マイスナー成分、及びパチニ成分を後処理部33に個別に出力する。
 図19に示すように、再生装置3Bにおいては、D/Aコンバータ32及び増幅器31が触覚提示装置6ごとに設けられている。復号部34Bより出力されたメルケル成分、マイスナー成分、及びパチニ成分は、後処理部33を介した後、それぞれ対応するD/Aコンバータ32でアナログ信号に変換された上で対応する増幅器31で増幅されて触覚提示装置6-1、6-2、6-3のうち対応する触覚提示装置6に出力される。具体的に、メルケル成分は触覚提示装置6-1に、マイスナー成分は触覚提示装置6-2に、パチニ成分は触覚提示装置6-3にそれぞれ出力される。
 図20は、第三例のように受容器ごとの触覚提示装置6を設けた場合の利点について説明するための図である。
 第三例によれば、触覚提示装置6を受容器ごとに分割して設けることで、触覚提示装置6個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。これは、図20に示す三つの触覚提示装置6の合成特性(図中「合成後の特性」)と先の図17の特性との比較からも明らかである。
 従って、触覚提示装置6の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
 ここで、受容器の特性として、振動デバイスにどれだけの面積が接触しているかによって触覚感度が変わる現象が知られている。
 図21Aは、サイズの異なる二つの触覚提示装置6(振動デバイス)についての振動閾値検出曲線を例示している。具体的に、図21Aにおいては、一方の触覚提示装置6のサイズを2.9cm^2(^はべき乗を意味する)、他方の触覚提示装置6のサイズを0.008cm^2とした場合の結果を示している。
 この図21Aより、40~50Hz以下では触覚提示装置6の接触面積による触覚感度の差は殆どないが、それ以上の周波数帯域では触覚感度が大きく変わっていることが分かる。これは、接触面積が大きいとパチニが発火しやすく、接触面積が小さいとパチニは発火しにくいが、接触面積が小さくとも振幅を増加させることで他の受容器(ルフィニやマイスナー)が発火することにより、人間が振動を知覚できることを示している。
 ただし、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ろうとすると必要なエネルギーが急激に増加する。場合によっては振動デバイスが駆動できなかったり、駆動できてもデバイスがそのエネルギーに耐えられず破損したりする可能性もある。このため、人間に高い周波数の振動を知覚させるには、振幅が小さくとも接触面積を大きくすることで発火しやすいパチニをターゲットとすることが望ましい。本例では、高い周波数についてはターゲットとする受容器をパチニとして話を進める。
 図21Aでは、メルケル、マイスナー、パチニそれぞれに対応した周波数帯域を破線により表しているが、図示のようにメルケル及びマイスナーについては触覚提示装置6のサイズは小さくてよく、パチニについては触覚提示装置6のサイズは大きい方がよい、ということが分かる。
 このことから、触覚提示装置6-1(メルケル)及び触覚提示装置6-2(マイスナー)についてはサイズを小さくし、触覚提示装置6-3(パチニ)についてはサイズを大きくする等、それぞれが対応する受容器に応じてサイズ設定された触覚提示装置6を用意しておき、それら触覚提示装置6を、受容器ごとに符号化された触覚信号に基づき駆動する。
 前述の通り、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ることは困難となるため、特にパチニについての触覚提示装置6-3のサイズが小さいと、高域の触覚信号の再現性が低下する虞がある。上記のような触覚提示装置6のサイズ設定を行うことで、このような再現性低下の防止を図ることができる。
 ここで、受容器は、例えば指先、手の平、腕、顔、足といった人体の部位ごとに別々に存在するものではなく、同一部位において混在しているため、振動デバイスを人体の特定部位においてバラバラの位置に配置することは理にかなっていない。そこで、受容器ごとに適切なサイズとした振動デバイスを一体化し、実体として一つの振動デバイスとして構成してもよい。
 図21Bでは、触覚提示装置6-1、6-2、6-3を一体的に構成した例を示している。この例では、最もサイズが大きい触覚提示装置6-3に対し、触覚提示装置6-1、6-2を一体的に組み込む構成としている。
[1-7.第四例]

 上記では、触覚提示装置6について周波数特性の平坦性に課題があることを述べたが、周波数特性の平坦性の課題は触覚センサ5側についても同様のことが言える。
 第四例の触覚再現システム1Cは、このような触覚センサ5側における周波数特性の平坦性の課題解決を図るものであり、図22に示すように、触覚センサ5を複数設けるものである。具体的に、この場合の触覚センサ5としては、メルケルに対応する触覚センサ5-1、マイスナーに対応する触覚センサ5-2、パチニに対応する触覚センサ5-3が設けられる。
 触覚再現システム1Cにおいては、第二例や第三例で用いられていた符号化装置2に代えて、これら触覚センサ5-1、5-2、5-3の検出信号に基づき符号化を行う符号化装置2Cが設けられる。
 なお、触覚再現システム1Cにおいて、再生装置3B及び触覚提示装置6-1、6-2、6-3が設けられる点は第三例の場合と同様である。
 図23は、第四例としての符号化装置2Cの内部構成例を説明するための図である。
 第二例や第三例との差異点は、増幅器21及びA/Dコンバータ22が触覚センサ5ごとに設けられた点と、符号化部24A(図14参照)に代えて符号化部24Cが設けられた点である。
 触覚センサ5-1、5-2、5-3の検出信号は、それぞれ対応する増幅器21で増幅された後、対応するA/Dコンバータ22によりデジタル信号に変換された上で、前処理部23を介してそれぞれ符号化部24Cに入力される。
 図24は、符号化部24Cの具体的な構成例を示した図である。
 符号化部24Cは、図14に示した符号化部24Aと比較して、帯域分割フィルタ41Aに代えてバンドパスフィルタ41C-1、バンドパスフィルタ41C-2、及びバンドパスフィルタ41C-3が設けられた点が異なる。
 バンドパスフィルタ41C-1は、前処理部23より、触覚センサ5-1の検出信号に基づく触覚信号を入力し、図13で例示したメルケルに対応する周波数帯域の成分を抽出してダウンサンプラー42A-1に出力する。バンドパスフィルタ41C-2は、前処理部23より、触覚センサ5-2の検出信号に基づく触覚信号を入力し、マイスナーに対応する周波数帯域の成分を抽出してダウンサンプラー42A-2に出力する。
 バンドパスフィルタ41C-3は、前処理部23より、触覚センサ5-3の検出信号に基づく触覚信号を入力し、パチニに対応する周波数帯域の成分を抽出してビットマスク部43A-3に出力する。
 この符号化部24Cにより、触覚センサ5が受容器ごとに設けられた場合に対応して、第二例や第三例の場合と同様に受容器ごとの触覚信号を効率的に符号化することができる。
 以上のような第四例によれば、触覚センサ5を受容器ごとに分割して設けることで、触覚センサ5個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。
 従って、触覚センサ5の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
 なお、第四例において、触覚センサ5ごとにバンドパスフィルタ41Cを設けることは必須ではない。また、第四例では、A/Dコンバータ22が触覚センサ5ごとに設けられるため、個々の触覚信号のサンプリング周波数や量子化ビット数はそれらA/Dコンバータ22により設定できる。この点より、ダウンサンプラー42Aやビットマスク部43Aを設けることも必須ではない。
 また、触覚センサ5についても、触覚提示装置6の場合と同様に、受容器ごとの触覚センサ5を一体に構成することもできる。
 ここで、第三例及び第四例について、個々の受容器が良好な触覚感度を示す周波数帯域は、明確な境界を持つものではなく、それぞれがオーバーラップする特性とされる。
 この点を考慮し、帯域分割フィルタ41Aやバンドパスフィルタ41Cについては、図25に示すようにカットオフ特性を緩やかにすることで、上記オーバーラップの特性を再現することもできる。この場合、符号化におけるサンプリング周波数は上記オーバーラップの特性に応じた値を設定することになる。すなわち、符号化後の触覚信号のビットレートは、上記のオーバーラップ特性に応じて変化し得る。
<2.第二実施形態>
[2-1.符号化手法]

 続いて、第二実施形態について説明する。
 第一実施形態の符号化は、何れもLPCM信号(時間信号)による触覚信号に対して実施するものであった。すなわち、時間領域において周波数帯域ごとの符号化を行うものであった。
 しかしながら、図13等の特性図を参照して分かるように、各受容器の特性は周波数領域で観察・表現されている。
 そこで、時間信号を帯域分割して周波数成分として取り扱うのではなく、時間信号であるLPCM信号を離散コサイン変換(DCT)や離散フーリエ変換(DFT)等の直交変換によって周波数成分に変換してから符号化を行う方が効率的である。
 図27を参照し、第二実施形態としての符号化手法について説明する。
 先ず、再現する触覚信号の周波数上限を1000Hz+αとし、説明の簡単化のためにサンプリング周波数を2560Hzとする。また、前述の例ではダイナミックレンジを70dBとし量子化ビット数を12bitとして考えたが、より一般化して考えるため量子化ビット数は16bitであるとする。
 この場合の符号化では、単位時間ごとの触覚信号(LPCM)を一定数集めたブロックという単位で直交変換を行う。直交変換には上述したDCTやDFTがあるが、触覚信号は連続的な一次元信号であるためDCTやDFTではなく、オーディオ信号の符号化によく使われるMDCT(Modified DCT)が好適であるため、ここではMDCTを用いる例とする。
 オーディオ信号について、MDCTを適用した符号化の例としては、MP3(MPEG Audio Layer3)やAAC(Advanced Audio Coding)を挙げることができる。これら技術は広く一般に普及しており、技術的にもよく知られているため詳細は省略するが、MDCTはブロック間にオーバーラップ区間を設けることで符号化の際の不連続歪みを低減できる利点を有する。
 MDCTのブロックに含まれるLPCMのサンプル数をNとすると、これを二つ合わせた2N個のサンプルを直交変換してN個の周波数成分を得る。この周波数成分をスペクトルと呼ぶ。つまり、LPCM がN個につきN個のスペクトルが得られる。
 具体的に、この場合における直交変換では、128サンプルずつのLPCMが入力され、256サンプル集まった段階でスペクトルへの変換が行われる。スペクトルは128本生成されるが、サンプリング周波数(2560Hz)から全周波数帯域は1280Hzとなるため、一つのスペクトルの持つ周波数幅(分解能)は10Hzとなる。
 この際、スペクトルには低域側から順にインデックスIdx=0~127を割り当てる。
 次に、これらスペクトルのグルーピングを行う。この場合のグルーピングは、受容器の特性に応じたグルーピングとする。具体的には、メルケル、マイスナー、パチニの各受容器の周波数特性に応じて、メルケルのグループとしての第一グループ、マイスナーのグループとしての第二グループ、及びパチニのグループとしての第三グループの計三つのグループにスペクトルを割り当てる。
 先ず、メルケルは数Hzまでを担うが、上記のように分解能は10Hzであるため、第一グループには一つのインデックスIdxを割り当てる。すなわち、最も低域側のインデックスIdx=0のスペクトルを割り当てる。
 次いで、マイスナーは10Hz~50Hz程度の周波数を担うものとして、第二グループにはインデックスIdx1~4のスペクトルを割り当てる。
 さらに、パチニはマイスナー以上の周波数を担うものとして、第三グループにはインデックスIdx5~127のスペクトルを割り当てる。
 以下の説明では、これらの各グループを「バンド」と称する。
 次いで、バンドごとに、スペクトルをそのバンド内の最大値に基づき正規化する。正規化に用いる係数(以下「正規化係数」と表記)は、予めシステムとして表現できる最大値と振動検出閾値曲線との間を均一(又は不均一でもよい)に分割しておき、これをインデックス化した係数とする。つまり、スペクトル全体を符号化するのではなく、人間が知覚できる最低値からシステムが表現できる最大値までの区間が符号化の対象とされるようにする。
 さらに、正規化されたスペクトルを量子化する。
 量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。つまり、ゲインが大きいバンドの精度を上げて、ゲインの小さいバンドの精度を下げる。なお、ここでのゲインの大きさとは、振動検出閾値からシステムが表現できる最大値までの区間の大きさと換言できるものである。
 そして、この場合の量子化では、バンドが振動検出閾値以下の場合には、量子化をせず(符号化対象とはせず)にバンドごと切り捨てる。このように閾値以下の成分を切り捨てる、すなわち量子化や符号化を行わないことで、触覚信号のビットレートを効果的に削減することが可能となる。
 また、上記のようなバンドごとの量子化ステップ数の設定が行われることで、少なくとも一部のバンド間(周波数帯域間)で異なる量子化ステップ数による量子化が行われる。具体的に本例では、ゲインの小さいバンドの量子化ステップ数は、ゲインの大きいバンドの量子化ステップ数よりも小さくされる。これによりビットレートの削減が図られる。
 次に、量子化されたスペクトルについてエントロピー符号化を行う。
 すなわち、量子化されたスペクトルについて、予めその出現頻度を調べておき、出現頻度の高いものに短い符号長を、出現頻度の低いものに長い符号長を割り当てる。なお、エントロピー符号化の例としては、例えばハフマン符号化を挙げることができる。具体的には、振動検出閾値以下のスペクトル(値がゼロ)の出現頻度が高く、それ以外のスペクトル(値がゼロ以外)の出現頻度が低い場合には、前者に対して短い符号長を割り当てることで効率的な符号化が可能となる。
 以上のような周波数領域における符号化を行うことで、触覚信号のビットレートを効果的に削減することができる。特に、上記の符号化手法によれば、振動検出閾値以下の成分を切り捨てるという点、及びエントロピー符号化の適用という点でビットレートを効果的に削減することができる。
[2-2.符号化側の構成]

 図27は、第二実施形態としての符号化手法を実現するための符号化部24Dの具体的な構成例を示している。
 なお、ここでは、前述した第一実施形態の第二例や第三例のように触覚センサ5を1種のみ用いる場合に対応した構成を説明する。すなわち、この場合における符号化装置2の構成は、符号化部24Aに代えて符号化部24Dが設けられる点以外は、図2に示した構成と同様である。
 図27において、符号化部24Dは、直交変換部61と多重化部66を備えると共に、受容器ごとにグルーピング部62、正規化部63、量子化部64、及び符号化部65を備えている。これらグルーピング部62、正規化部63、量子化部64、及び符号化部65については、メルケルに対応するものは末尾に「-1」を付し、マイスナーに対応するものは末尾に「-2」を付し、さらにパチニに対応するものは末尾に「-3」を付して区別する。
 直交変換部61は、前処理部23より入力される触覚信号についてMDCTによる直交変換を行う。本例では、サンプリング周波数=2560Hz、量子化ビット数=16bitとされた触覚信号が128サンプルごとに入力され、直交変換部61は触覚信号の256サンプルが集まった段階で128本のスペクトルを生成する。
 直交変換部61で得られたスペクトルのデータはグルーピング部62-1、62-2、62-3に入力される。グルーピング部62-1は、上述した第一グループのグルーピングを行い、インデックスIdx=0のスペクトルを正規化部63-1に出力する。
 グルーピング部62-2は上述した第二グループのグルーピングを行い、インデックスIdx=1~4のスペクトルを正規化部63-2に出力する。
 グルーピング部62-3は上述した第三グループのグルーピングを行い、インデックスIdx=5~127のスペクトルを正規化部63-3に出力する。
 各正規化部63は、それぞれ入力されたスペクトルを上述した正規化係数(バンドごとの正規化係数)に基づいて正規化する。
 また、各正規化部63は、バンドごとの正規化係数を多重化部66に出力する。
 量子化部64-1、64-2、64-3は、それぞれ末尾の符号が一致する正規化部63により正規化されたスペクトルを量子化する。
 上述のように、量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。また、バンドが振動検出閾値以下の場合には、そのバンド自体の符号化を行わない。
 符号化部65-1、65-2、65-3は、それぞれ末尾の符号が一致する量子化部64により量子化されたスペクトルについてエントロピー符号化を行い、多重化部66に出力する。
 多重化部66は、符号化部65-1、65-2、65-3により符号化されたスペクトルのデータを多重化してストリームデータを生成する。この際、多重化部66は、ストリームヘッダ又はフレームヘッダに対し、正規化部63-1、63-2、63-3より入力したバンドごとの正規化係数を格納する。
 ここで、もし正規化係数が特定の値(例えば振動検出閾値以下)を持つ場合、そのバンドのスペクトルは符号化しないようにすることで、バンド自体の符号化を行うか否かを切り替えても良い。
 なお、上記した符号化部24Dの構成において、触覚信号のビットレートの減り具合は信号の特徴に依存するため一定となる保証はない。
 ビットレートを一定値としたいという要求がある場合には、図示のように調整器67を設けて、各量子化部64による量子化と各符号化部65による符号化とを所定のビットレートに一致するまで繰り返し行う構成としても良い。具体的に、調整器67は、各符号化部65より符号化後のデータを入力してビットレートを計算し、計算したビットレートが所定ビットレートに一致するまで、各量子化部64-1における量子化パラメータ(例えば量子化ステップ数)を変更させる。このとき、量子化ステップ数の初期値の設定により、量子化ステップ数は初期値より小さくなるだけでなく大きくなる場合もある。
 なお、第一実施形態の第四例のように触覚センサ5を受容器ごとに設ける場合には、符号化部24Dは、前処理部23から入力される触覚センサ5ごとの触覚信号をそれぞれ直交変換してグルーピング部62-1、62-2、62-3に個別に入力する構成とすればよい。
[2-3.復号側の構成]

 図28は、図27に示した符号化部24Dにより符号化された触覚信号を復号するための第二実施形態としての復号部34Dについて、具体的な構成例を示している。
 ここでは、前述した第一実施形態の第三例や第四例のように、触覚提示装置6を受容器ごとに設ける場合に対応した構成を説明する。すなわち、この場合における再生装置3Bの構成は、復号部34Bに代えて復号部34Dが設けられる点以外は、図19に示した構成と同様である。
 図28において、復号部34Dは、多重分離部71を備えると共に、受容器ごとに復号部72、逆量子化部73、逆正規化部74、逆グルーピング部75、及び逆直交変換部76を備えている。復号部72、逆量子化部73、逆正規化部74、逆グルーピング部75、及び逆直交変換部76については、メルケルに対応するものは末尾に「-1」を付し、マイスナーに対応するものは末尾に「-2」を付し、さらにパチニに対応するものは末尾に「-3」を付して区別する。
 多重分離部71は、図27に示した多重化部66により生成された触覚信号のストリームデータを入力し、多重分離処理を行う。この分離処理により、ストリームデータからエントロピー符号化された状態のスペクトルデータが分離、抽出される。
 また、本例において多重分離部71は、ストリームデータに含まれるバンドごとの正規化係数を取得する。
 ここで、もし正規化係数が特定の値(例えば振動検出閾値以下)を持つ場合、そのバンドのスペクトルは符号化されていないと判定し、スペクトルデータの分離、抽出が行われないようにしても良い。
 復号部72-1、72-2、72-3は、多重分離部71より第一~第三グループのうち対応するグループのスペクトルデータを入力してエントロピー符号の復号を行い、逆量子化部73-1、73-2、73-3のうち末尾の符号が一致する逆量子化部73に出力する。
 逆量子化部73-1、73-2、73-3は、それぞれ対応する復号部72により復号されたスペクトルデータについて逆量子化を行い、逆正規化部74-1、74-2、74-3のうち末尾の符号が一致する逆正規化部74に出力する。
 逆正規化部74-1、74-2、74-3は、それぞれ対応する逆量子化部73により逆量子化されたスペクトルデータについて逆正規化を行い、逆グルーピング部75-1、75-2、75-3のうち末尾の符号が一致する逆グルーピング部75に出力する。この際、各逆正規化部74は、多重分離部71で得られた正規化係数を用いて逆正規化を行う。
 逆グルーピング部75-1、75-2、75-3は、それぞれ対応する逆正規化部74により逆正規化されたスペクトルデータについてグルーピング解除のための所定処理を行い、逆直交変換部76-1、76-2、76-3のうち末尾の符号が一致する逆直交変換部76に出力する。
 逆直交変換部76-1、76-2、76-3は、それぞれ対応する逆グルーピング部75より入力したスペクトルデータについて逆直交変換(IMDCT)を行い、時間信号(LPCM)としての触覚信号を得る。
 上記のような復号部34Dにより、周波数領域で符号化された触覚信号を適切に復号することができる。
 なお、第一実施形態の第一例や第二例のように触覚提示装置6を1種のみ用いる場合には、図29に示す復号部34D’のように、逆グルーピング部75-1、75-2、75-3からのスペクトルデータを単一の逆直交変換部76D’に入力する構成とすればよい。
<3.実施形態の変形例>

 上記では、符号化された触覚信号を再生装置3(又は3B)がネットワーク4経由で取得する例としたが、例えば符号化された触覚信号を可搬型の記録媒体に記録しておき、該記録媒体を介して再生装置3(又は3B)に触覚信号を取得させる等、通信以外の手法により触覚信号を取得する手法を採ることもできる。
 また、これまでに提示した各種の数値、例えば触覚信号のサンプリング周波数や量子化ビット数、直交変換におけるブロック数、スペクトル数、周波数領域におけるグループ(バンド)数等の数値に関しては、あくまで説明上の一例を挙げたものに過ぎず、提示した数値に限定されるものではない。また、第二実施形態について、周波数領域におけるグルーピングとしては、バンド単位でのグルーピングに限らず、バンド内をさらに細かい単位でグループ化することもできる。
<4.実施形態のまとめ>

 上記のように実施形態としての復号装置(再生装置3又は3B)は、周波数帯域ごとに符号化された触覚信号を取得する取得部(取得処理部F1、通信部37)と、取得部が取得した触覚信号を復号する復号部(復号処理部F2、復号部34、34A、34B、34D、34D’)とを備えるものである。
 これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
 従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
 また、実施形態としての復号装置においては、取得部は、触覚信号として触覚センサ(5、5-1、5-2、5-3)の検出信号に基づく信号を取得している。
 これにより、実際にセンシングした触覚信号に基づいて触覚再現を行うことが可能とされる。
 従って、触覚の再現性を高めることができる。
 さらに、実施形態としての復号装置においては、取得部は、受容器の特性に応じた周波数帯域ごとに符号化された前記触覚信号を取得している。
 これにより、受容器ごとの特性の差の観点より、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
 従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
 さらにまた、実施形態としての復号装置においては、取得部は、時間領域において周波数帯域ごとに符号化された触覚信号を取得している(第一実施形態を参照)。
 これにより、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を実現するにあたり、触覚信号に対する直交変換を行う必要がなくなる。
 従って、触覚信号の符号化や復号を実現するにあたっての構成の簡易化や処理負担軽減を図ることができる。
 また、実施形態としての復号装置においては、取得部は、量子化ビット数の減少処理が施された触覚信号を取得している。
 これにより、少なくとも一つの周波数帯域の触覚信号について、量子化ビット数を少なく又はサンプリング周波数を低くすることが可能とされ、触覚信号のデータ量削減が図られる。
 従って、触覚再現システムの効率化を図ることができる。
 さらに、実施形態としての復号装置においては、取得部は、直交変換後の周波数領域において周波数帯域ごとの符号化が行われた触覚信号を取得している(第二実施形態を参照)。
 これにより、周波数に応じたビット削減の自由度が向上し、より効率的な符号化を行うことが可能とされる。
 従って、触覚再現システムのさらなる効率化を図ることができる。
 さらにまた、実施形態としての復号装置においては、取得部は、周波数帯域ごとの符号化として、所定の振幅閾値未満の触覚信号成分を量子化の対象から除外する符号化の行われた触覚信号を取得している。
 これにより、信号振幅値の面で人間が知覚し難いとされる触覚信号成分を量子化の対象から除外する符号化を行うことが可能とされる。
 従って、人間が知覚し難い触覚信号についてビット配分を少なくする効率的な符号化を実現可能となり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができる。
 また、実施形態としての復号装置においては、取得部は、少なくとも一部の周波数帯域間で異なる量子化ステップ数による量子化が行われた触覚信号を取得している。
 これにより、一部の周波数帯域については量子化ステップ数を他の周波数帯域よりも削減することが可能とされる。
 従って、触覚信号のデータ量削減を図ることができる。
 さらに、実施形態としての復号装置においては、取得部は、エントロピー符号化された触覚信号を取得している。
 これにより、出現頻度の高いシンボルについて符号量の削減を図ることによる効率的な符号化を行うことが可能とされる。
 従って、触覚再現システムのさらなる効率化を図ることができる。
 さらにまた、実施形態としての復号装置においては、復号部(同34B、34D)は、復号した周波数帯域ごとの触覚信号を個別に出力している。
 これにより、受容器ごとに異なる触覚提示装置を用いて触覚再現を行うことが可能とされる。
 従って、周波数特性の平坦性が低い触覚提示装置が用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
 また、実施形態としての復号装置においては、取得部は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号を取得している(第一実施形態の第四例を参照)。具体的に、実施形態では、触覚センサ5-1、5-2、5-3それぞれの検出信号について行われた符号化により得られるメルケル成分、マイスナー成分、及びパチニ成分の各触覚信号を取得している。
 これにより、受容器ごとに異なる触覚センサを用いて触覚再現を行うことが可能とされる。
 従って、周波数特性の平坦性が低い触覚センサが用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
 また、実施形態としての復号方法は、周波数帯域ごとに符号化された触覚信号を復号する復号方法である。
 このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。
 ここで、これまでで説明した符号化部(24、24A、24C、24D)や復号部(34、34A、34B、34D、34D’)による機能は、CPU等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、CPU等のコンピュータ装置(情報処理装置)が読み出し可能な記憶装置に記憶される。
 実施形態としてのプログラムは、周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させるプログラムである。
 このようなプログラムによって、上記した第一、第二実施形態としての復号装置を実現することができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<5.本技術>

 なお本技術は以下のような構成も採ることができる。
(1)
 周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
 復号装置。
(2)
 前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
 前記(1)に記載の復号装置。
(3)
 前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
 前記(1)又は(2)に記載の復号装置。
(4)
 前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
 前記(1)乃至(3)の何れかに記載の復号装置。
(5)
 前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
 前記(4)に記載の復号装置。
(6)
 前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
 前記(1)乃至(3)の何れかに記載の復号装置。
(7)
 前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
 前記(6)に記載の復号装置。
(8)
 前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
 前記(6)又は(7)に記載の復号装置。
(9)
 前記符号化された触覚信号は、エントロピー符号化された触覚信号である
 前記(6)乃至(8)の何れかに記載の復号装置。
(10)
 前記復号部は、
 復号した前記周波数帯域ごとの触覚信号を個別に出力する
 前記(1)乃至(9)の何れかに記載の復号装置。
(11)
 前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
 前記(1)乃至(10)の何れかに記載の復号装置。
 1、1B、1C 触覚再現システム、2、2C 符号化装置、3、3B 再生装置、5、5-1、5-2、5-3 触覚センサ、6、6-1、6-2、6-3 触覚提示装置、24、24A、24C、24D 符号化部、27 通信部、34、34A、34B、34D、34D’ 復号部、37 通信部、F1 取得部、F2 復号部、41、41A 帯域分割フィルタ、41C-1、41C-2、41C-4 バンドパスフィルタ、42、42A-1、42A-2 ダウンサンプラー、43-1、43-2、43A-1、43A-2、43A-3 ビットマスク部、44、44A、66 多重化部、51、51A、71 多重分離部、52-1、52-2、52A-1、52A-2、52A-3 ビット付加部、53、53A-1、53A-2 アップサンプラー、54、54A 帯域合成フィルタ、61 直交変換部、62-1、62-2、62-3 グルーピング部、63-1、63-2、63-3 正規化部、64-1、64-2、64-3 量子化部、72-1、72-2、72-3 復号部、73-1、73-2、73-3 逆量子化部、74-1、74-2、74-3 逆正規化部、75-1、75-2、75-3 逆グルーピング部、76-1、76-2、76-3、76D’ 逆直交変換部

Claims (13)

  1.  周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
     復号装置。
  2.  前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
     請求項1に記載の復号装置。
  3.  前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
     請求項1に記載の復号装置。
  4.  前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
     請求項1に記載の復号装置。
  5.  前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
     請求項4に記載の復号装置。
  6.  前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
     請求項1に記載の復号装置。
  7.  前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
     請求項6に記載の復号装置。
  8.  前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
     請求項6に記載の復号装置。
  9.  前記符号化された触覚信号は、エントロピー符号化された触覚信号である
     請求項6に記載の復号装置。
  10.  前記復号部は、
     復号した前記周波数帯域ごとの触覚信号を個別に出力する
     請求項1に記載の復号装置。
  11.  前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
     請求項1に記載の復号装置。
  12.  周波数帯域ごとに符号化された触覚信号を復号する
     復号方法。
  13.  周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させる
     プログラム。
PCT/JP2019/022345 2018-08-08 2019-06-05 復号装置、復号方法、プログラム Ceased WO2020031483A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP19845950.5A EP3836405A4 (en) 2018-08-08 2019-06-05 DECODING DEVICE, DECODING PROCESS AND PROGRAM
CN201980050579.3A CN112534723B (zh) 2018-08-08 2019-06-05 解码装置、解码方法和程序
KR1020257027649A KR20250129118A (ko) 2018-08-08 2019-06-05 복호 장치, 복호 방법, 프로그램
KR1020217002043A KR102849175B1 (ko) 2018-08-08 2019-06-05 복호 장치, 복호 방법, 프로그램
JP2020536347A JP7653787B2 (ja) 2018-08-08 2019-06-05 符号化装置、符号化方法、プログラム
US17/265,171 US11496152B2 (en) 2018-08-08 2019-06-05 Decoding device, decoding method, and program
JP2023180338A JP2023181284A (ja) 2018-08-08 2023-10-19 復号装置、復号方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018149514 2018-08-08
JP2018-149514 2018-08-08

Publications (1)

Publication Number Publication Date
WO2020031483A1 true WO2020031483A1 (ja) 2020-02-13

Family

ID=69414627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022345 Ceased WO2020031483A1 (ja) 2018-08-08 2019-06-05 復号装置、復号方法、プログラム

Country Status (6)

Country Link
US (1) US11496152B2 (ja)
EP (1) EP3836405A4 (ja)
JP (2) JP7653787B2 (ja)
KR (2) KR102849175B1 (ja)
CN (1) CN112534723B (ja)
WO (1) WO2020031483A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021176842A1 (ja) * 2020-03-04 2021-09-10
JP2021190055A (ja) * 2020-05-27 2021-12-13 太陽誘電株式会社 駆動装置、触覚提示装置及び駆動方法
JP2022501699A (ja) * 2019-02-19 2022-01-06 ドンウン アナテック カンパニー リミテッド 適応的ハプティック信号発生装置および方法
CN115516770A (zh) * 2020-04-29 2022-12-23 索尼集团公司 解码装置、解码方法、程序、编码装置以及编码方法
JP7605937B1 (ja) 2023-10-25 2024-12-24 レノボ・シンガポール・プライベート・リミテッド 入力デバイスおよび情報処理システム
WO2025197507A1 (ja) * 2024-03-22 2025-09-25 ソニーグループ株式会社 情報処理装置および情報処理方法、伝送システム、並びにプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4250060A1 (en) * 2022-03-25 2023-09-27 Nokia Technologies Oy Apparatus, systems, methods and computer programs for transferring sensations
CN115050378B (zh) * 2022-05-19 2024-06-07 腾讯科技(深圳)有限公司 音频编解码方法及相关产品
CN118018745A (zh) * 2022-11-08 2024-05-10 维沃移动通信有限公司 触觉信号编码方法、触觉信号解码方法、装置及设备
CN118732828B (zh) * 2023-03-31 2025-10-17 维沃移动通信有限公司 触觉信号编码处理方法、解码处理方法及相关设备
CN117251055A (zh) * 2023-08-25 2023-12-19 歌尔股份有限公司 一种马达驱动方法及处理装置
CN118990628B (zh) * 2024-08-07 2025-09-26 浙江大学 面向智能机器人大面积触觉感知的可拓展单线信号采集系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990867A (ja) * 1995-09-27 1997-04-04 Olympus Optical Co Ltd 触覚呈示装置
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
JP2006011456A (ja) * 2004-06-25 2006-01-12 Samsung Electronics Co Ltd 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体
JP2006279272A (ja) * 2005-03-28 2006-10-12 Toshiba Corp 動画像符号化装置およびその符号化制御方法
WO2014097499A1 (ja) * 2012-12-19 2014-06-26 パナソニック株式会社 触覚入出力装置
JP2015053038A (ja) 2013-09-06 2015-03-19 イマージョン コーポレーションImmersion Corporation 周波数シフトを用いたハプティック変換システム
JP2017221631A (ja) * 2016-06-10 2017-12-21 任天堂株式会社 ゲームコントローラ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1288625C (zh) * 2002-01-30 2006-12-06 松下电器产业株式会社 音频编码与解码设备及其方法
KR100851970B1 (ko) * 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
JP4396683B2 (ja) * 2006-10-02 2010-01-13 カシオ計算機株式会社 音声符号化装置、音声符号化方法、及び、プログラム
EP2709103B1 (en) * 2011-06-09 2015-10-07 Panasonic Intellectual Property Corporation of America Voice coding device, voice decoding device, voice coding method and voice decoding method
EP2887350B1 (en) * 2013-12-19 2016-10-05 Dolby Laboratories Licensing Corporation Adaptive quantization noise filtering of decoded audio data
JP6035270B2 (ja) * 2014-03-24 2016-11-30 株式会社Nttドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム
JP6364941B2 (ja) 2014-05-08 2018-08-01 富士通株式会社 制御信号生成方法、制御信号生成装置及びプログラム
CN106662915B (zh) * 2014-05-09 2020-09-29 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案
JP2016122363A (ja) 2014-12-25 2016-07-07 ダイキン工業株式会社 触感測定方法
KR102278456B1 (ko) * 2016-04-07 2021-07-19 재팬 사이언스 앤드 테크놀로지 에이전시 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 소자 배치 구조체
JP6875010B2 (ja) * 2016-04-07 2021-05-19 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
EP3254739B1 (en) * 2016-06-10 2020-03-25 Nintendo Co., Ltd. Game controller
DE112019003217T5 (de) * 2018-06-28 2021-04-08 Sony Corporation Decodiervorrichtung, Decodierverfahren und Programm

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990867A (ja) * 1995-09-27 1997-04-04 Olympus Optical Co Ltd 触覚呈示装置
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
JP2006011456A (ja) * 2004-06-25 2006-01-12 Samsung Electronics Co Ltd 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体
JP2006279272A (ja) * 2005-03-28 2006-10-12 Toshiba Corp 動画像符号化装置およびその符号化制御方法
WO2014097499A1 (ja) * 2012-12-19 2014-06-26 パナソニック株式会社 触覚入出力装置
JP2015053038A (ja) 2013-09-06 2015-03-19 イマージョン コーポレーションImmersion Corporation 周波数シフトを用いたハプティック変換システム
JP2017221631A (ja) * 2016-06-10 2017-12-21 任天堂株式会社 ゲームコントローラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3836405A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501699A (ja) * 2019-02-19 2022-01-06 ドンウン アナテック カンパニー リミテッド 適応的ハプティック信号発生装置および方法
JP7071584B2 (ja) 2019-02-19 2022-05-19 ドンウン アナテック カンパニー リミテッド 適応的ハプティック信号発生装置および方法
JPWO2021176842A1 (ja) * 2020-03-04 2021-09-10
WO2021176842A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 復号装置、復号方法、プログラム、符号化装置、符号化方法
JP7582291B2 (ja) 2020-03-04 2024-11-13 ソニーグループ株式会社 復号装置、復号方法、プログラム、符号化装置、符号化方法
US12443280B2 (en) 2020-03-04 2025-10-14 Sony Group Corporation Decoder for encoded tactile signal indicative of a tactile strength decoding frequency bands in the tactile signal
CN115516770A (zh) * 2020-04-29 2022-12-23 索尼集团公司 解码装置、解码方法、程序、编码装置以及编码方法
JP2021190055A (ja) * 2020-05-27 2021-12-13 太陽誘電株式会社 駆動装置、触覚提示装置及び駆動方法
JP7436328B2 (ja) 2020-05-27 2024-02-21 太陽誘電株式会社 駆動装置、触覚提示装置及び駆動方法
JP7605937B1 (ja) 2023-10-25 2024-12-24 レノボ・シンガポール・プライベート・リミテッド 入力デバイスおよび情報処理システム
JP2025072984A (ja) * 2023-10-25 2025-05-12 レノボ・シンガポール・プライベート・リミテッド 入力デバイスおよび情報処理システム
WO2025197507A1 (ja) * 2024-03-22 2025-09-25 ソニーグループ株式会社 情報処理装置および情報処理方法、伝送システム、並びにプログラム

Also Published As

Publication number Publication date
CN112534723A (zh) 2021-03-19
EP3836405A1 (en) 2021-06-16
US20210359703A1 (en) 2021-11-18
KR20250129118A (ko) 2025-08-28
EP3836405A4 (en) 2021-09-01
JP7653787B2 (ja) 2025-03-31
KR102849175B1 (ko) 2025-08-25
KR20210031916A (ko) 2021-03-23
US11496152B2 (en) 2022-11-08
CN112534723B (zh) 2024-06-18
JPWO2020031483A1 (ja) 2021-11-18
JP2023181284A (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
JP7653787B2 (ja) 符号化装置、符号化方法、プログラム
US12230124B2 (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program
US12206438B2 (en) Decoding apparatus, decoding method, and program
WO2020044857A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
JP2006011456A (ja) 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体
WO2021220659A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
TW202123220A (zh) 使用方向性元資料之多通道音頻編碼及解碼
EP2489036B1 (en) Method, apparatus and computer program for processing multi-channel audio signals
KR102765676B1 (ko) 복호 장치, 복호 방법 및 프로그램
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
US20240105190A1 (en) Guiding ambisonic audio compression by deconvolving long window frequency analysis
JP5569476B2 (ja) 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
CN115836535A (zh) 信号处理装置、方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19845950

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020536347

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019845950

Country of ref document: EP

Effective date: 20210309

WWD Wipo information: divisional of initial pct application

Ref document number: 1020257027649

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020257027649

Country of ref document: KR