JP2005027120A - 双方向データ通信システム - Google Patents
双方向データ通信システム Download PDFInfo
- Publication number
- JP2005027120A JP2005027120A JP2003191394A JP2003191394A JP2005027120A JP 2005027120 A JP2005027120 A JP 2005027120A JP 2003191394 A JP2003191394 A JP 2003191394A JP 2003191394 A JP2003191394 A JP 2003191394A JP 2005027120 A JP2005027120 A JP 2005027120A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- data
- image
- image data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】受像側で撮像モジュールを制御して撮像モジュールからの画像送信を可能にすると共に、消費電力の低減を図る。
【解決手段】被写体を撮像して画像データを生成する撮像端末装置100Aと、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置100Aと受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置100Aは、1画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、1画面分の前記画像データの表示期間と略同一となるように、送信する1画面分の前記画像データを時間圧縮することを特徴とする。
【選択図】 図1
【解決手段】被写体を撮像して画像データを生成する撮像端末装置100Aと、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置100Aと受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置100Aは、1画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、1画面分の前記画像データの表示期間と略同一となるように、送信する1画面分の前記画像データを時間圧縮することを特徴とする。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、動画像を撮像し送信すると共に、撮像側と受信側の双方からの制御データの通信を可能とした双方向データ通信システムに関する。
【0002】
【従来の技術】
従来、各種通信システムが開発されている。伝送路の大容量化及び双方向性によって、画像信号についても双方向に伝送されるようになってきた。このような画像データを伝送する双方向データ通信システムとしては、例えば、特許文献1(特開平7−203399号公報)に記載のものがある。特許文献1の装置は、デジタル化した映像信号や制御信号の双方向伝送を可能にするものである。
【0003】
【特許文献1】
特開平7−203399号公報
【0004】
【発明が解決しようとする課題】
ところで、通信システムを撮像装置に適用することで、撮像画像の画像伝送を可能にした装置も開発されている。撮像モジュールに双方向の無線通信機能を付加することで、このような画像伝送が可能となる。特に、近年、撮像モジュールの小型化が促進されており、双方向の無線通信機能を付加した撮像モジュールを利用して、体内で使用可能なカプセル内視鏡を製造することが可能である。
【0005】
カプセル内視鏡においては、モジュールの活動停止の指示や活動再開の通知等を行うための双方向通信機能が必要である。また、伝送エラー発生時にエラーの発生を検出して再送信を行うための効果的な伝送エラー対応機能も求められている。
【0006】
しかしながら、上記特許文献1等の従来の双方向データ通信システムにおいては、アナログ信号の伝送や不定期に起こるエラー処理に対応する具体的な手段は開示されていない。
【0007】
また、撮像モジュールの低消費電力化によって、装置の電池駆動が可能である。ところが、無線通信機能を付加した撮像装置では、通信回路における消費電力が大きいことから、長時間の画像伝送ができない。上記特許文献1等の従来の双方向データ通信システムにおいては、省エネルギー化のための実現手段は提示されていない。
【0008】
従って、特許文献1等の従来の双方向データ通信システムをカプセル内視鏡に適用したとしても、撮像装置の消費電力を少なくし、かつ撮像モジュールを制御すると共に伝送時に発生するエラーを効果的に防止することはできない。
【0009】
本発明は、モジュールを制御するための双方向通信機能及び伝送エラーに対応するための再送信機能を有すると共に、消費電力の削減を可能にすることができる双方向データ通信システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項1に記載の双方向データ通信システムは、被写体を撮像して画像データを生成する撮像端末装置と、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置と受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置は、1画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、1画面分の前記画像データの表示期間と略同一となるように、送信する1画面分の前記画像データを時間圧縮することを特徴とする。
【0011】
また、本発明の請求項2に記載の双方向データ通信システムは、請求項1において、前記撮像端末装置は、前記画像データをアナログ信号で送信することを特徴とする。
【0012】
また、本発明の請求項3に記載の双方向データ通信システムは、請求項1において、前記撮像端末装置は、1画面分の前記画像データを送信する期間内であって、前記画像データの送信及び前記制御データの受信が行われている期間とは異なる期間に、自らの動作状態を示す応答データを送信することを特徴とする。
【0013】
また、本発明の請求項4に記載の双方向データ通信システムは、請求項1において、前記受像端末装置は、受信した前記画像データに対し、送信に係るエラー検出を行うことを特徴とする。また、請求項5は、請求項4において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素とその周辺画素との比較で行うことを特徴とし、請求項6は、請求項4において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素と、先行して受信した前記画像データ中のエラー検出対象画素及び周辺画素との比較により行うことを特徴とする。
【0014】
また、本発明の請求項7に記載の双方向データ通信システムは、請求項4において、前記撮像端末装置は、1画面分の画像データを複数のブロックに分割したデータブロック単位で送信を行うと共に、前記受像端末装置は、前記エラー検出をこのデータブロック単位で行い、エラーが検出された前記データブロックに対しては、対応するデータブロックの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【0015】
また、本発明の請求項8に記載の双方向データ通信システムは、請求項4において、前記撮像端末装置は、その受光面にカラーフィルタが貼付されていない固体エリアセンサと、複数の色成分の各々を順次発光する発光装置を有し、前記撮像端末装置は、各色成分を順次発光して得られた各色成分に対応する各画像データを送信すると共に、前記受像端末装置は、エラーが検出された色成分の画像データに対しては、エラーが検出されたエリアに係る、同色の画像データの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【0016】
また、本発明の請求項9に記載の双方向データ通信システムは、請求項2において、前記撮像端末装置は、その受光面にカラーフィルタが貼付された固体エリアセンサを有し、前記撮像端末装置は、この固体エリアセンサに対して、前記カラーフィルタ上の同色部分に対応する画素を選択して読み出しを行うことを特徴とする。
【0017】
また、本発明の請求項10に記載の双方向データ通信システムは、請求項9において、前記撮像端末装置は、前記撮像素子に対して、画素を間引いて読み出しを行うことを特徴とする。
【0018】
また、本発明の請求項11に記載の双方向データ通信システムは、請求項9において、前記撮像端末装置は、前記撮像素子に対して、特定のエリアの画素から読み出しを行うことを特徴とする。
【0019】
また、本発明の請求項12に記載の双方向データ通信システムは、請求項3において、前記撮像端末装置は、自らの主要な部分の動作を停止する、前記制御データにより起動可能なスリープモードを有し、このスリープモードを解除したとき、前記応答データにスリープモードが終了したことを示すコマンドを含めて送信することを特徴とする。
【0020】
また、本発明の請求項13に記載の双方向データ通信システムは、請求項2において、前記撮像端末装置は、前記受像端末装置が受信した前記画像データに含まれる送信歪を検出するための基準信号を作成する基準信号作成装置を有し、一方、前記受像端末装置は、受信した前記基準信号に基づき、前記送信歪を画像データから除去するための補正テーブルを生成する補正テーブル作成装置を有することを特徴とする。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1乃至図17は本発明の第1の実施の形態に係り、図1は撮像端末装置を示すブロック図であり、図2は受信端末装置の構成を示すブロック図であり、図3は送信ブロックの構成を示す説明図であり、図4は通信時の信号配置を示す説明図であり、図5は画像信号の送信タイムチャートであり、図6は撮像シーケンスを示すシーケンス図であり、図7はCMOSセンサの画素構成と読み出し順を説明するための説明図であり、図8は入射光量を示すグラフであり、図9及び図10はセンサ出力を示すグラフであり、図11は通信の総合特性を示すグラフであり、図12は基準波形を示す波形図であり、図13は送信回路の送信特性を示すグラフであり、図14は図2中の画像エラー検出/補正回路22の具体的な構成を示すブロック図であり、図15は画像エラーの検出フローを示すフローチャートであり、図16は更新領域を示す説明図であり、図17は画像信号の送信タイムチャートである。
【0022】
本実施の形態は、本発明を体内で使用されるカプセル内視鏡の如く、発光機構からの光のみを受光する装置に適用した場合を例に説明する。
【0023】
本実施の形態に係る双方向データ通信システム100は、図1に示す撮像端末装置100Aと、図2に示す受像端末装置100Bとからなる。
【0024】
図1は、撮像端末装置100Aの構成を示したものである。
【0025】
1は、CMOSセンサ2の受光面に被写体像を結像させるためのレンズユニット、2は、受光面に結像された被写体像を各画素毎に光電変換してアナログの画像データとして出力するCMOSセンサ、3は、画像データの、受像端末装置100Bへの伝送において発生する歪を補正し、データの直線性を保持するために使用する基準信号を発生する基準信号回路である。この基準信号は、適宜出力される。
【0026】
4は、制御回路11から送られてくる、応答データを含む送信用の各種データを一時格納するための送信バッファである。応答データの内容としては、撮像端末装置100A自体の動作モードや、受像端末装置100Bからの動作指示に対する応答メッセージであり、何れも、制御回路11が、デジタルデータとして受像端末装置100Bに伝送するデータである。なお、応答データはデジタルデータであるため、エラー検出/訂正は、通常のエラー訂正コード(ECC)の付加で行う。制御回路11は、ECCを制御データに付加した後に送信バッファ4に格納する。なお、ECCの付加やエラー訂正の具体的方法の詳細については公知であるので、ここでの説明は省略する。
【0027】
5は、CMOSセンサ2からの画像データ、基準信号回路3からの信号、送信バッファ4からの信号が夫々入力され、制御回路11による制御の下、これら3つの入力から1入力を選択して送信回路6に出力するセレクタ、6は、セレクタ5から出力された信号を搬送波により変調する送信回路、7は、送信回路6からの信号にSAW(Surface Acoustic Wave)フィルタ処理を行うためのSAWフィルタである。
【0028】
8は、SAWフィルタ7からの信号を後述する受像端末装置100Bに送信、または、受像端末装置100Bからの信号を受信するためのアンテナである。ここで、受信する信号としては、受像端末装置100Bから撮像端末装置100Aに対して行う動作指示用の制御データである。9は、受信した信号をデジタル信号のデータ列に変換するための受信回路、10は、受信回路9からの信号を一時格納するための受信バッファ、11は、撮像端末装置内の動作を制御するための制御回路、12は、被写体に対して撮像光を照射する発光機構であり、制御回路11により、その発光タイミング、光量、発光色等が制御されている。13は、撮像端末がスリープ状態になった時にスリープ時間が設定され、スリープ時間経過後、制御回路11を起動(ウエイクアップ)するためのスリープタイマーである。
【0029】
図2は、受像端末装置100Bの構成を示したものである。
【0030】
受像端末装置100Bは、操作者の要求に応じて、撮像端末装置100Aに各種動作を指示すると共に、撮像端末装置100Aからの画像データを受信/表示する機能を持っている。
【0031】
ここで、14は、撮像端末装置100Aから送信された画像データや応答データを受信、または、撮像端末装置100Aに対して制御データを送信するためのアンテナ、15は、アンテナ14にて受信した信号に対してSAWフィルタ処理を行ったり、後述する送信回路34からの信号に対してSAWフィルタ処理を行うためのSAWフィルタ、16は、SAWフィルタ15を経た信号を復調するための受信回路である。
【0032】
17は、受信した信号が画像データ、または、基準信号のときには、AD変換回路18を、応答データのときには、2値化回路24を、夫々選択して出力するセレクタ、18は、セレクタ17からの信号をアナログ−デジタル変換するAD変換回路、19は、AD変換回路18から入力される信号が画像データのときには補正回路21に、基準信号のときには補正テーブル作成回路20に、夫々切り換えて出力するセレクタである。
【0033】
20は、セレクタ19から入力される基準信号を基に、撮像端末装置100Aから受像端末装置100Bへの画像データの伝送に伴う伝送歪を取り除き、受信した画像データが元の基準信号になるような、入力/出力間の変換テーブルの値を作成し、補正回路21に格納する補正テーブル作成回路である。画像データの伝送歪は、撮像端末装置100Aと受像端末装置100Bの位置関係や周囲状況によって変化するが、この操作を随時行うことにより、それらの影響が全てまとめて補正される。21は、補正テーブルを基に、セレクタ19から入力される画像データに含まれる伝送歪を取り除く補正回路である。
【0034】
22は、補正回路21から入力された画像信号に対して、伝送中に生じたエラーの検出と補正を行う画像エラー検出/補正回路である。画像エラー検出/補正回路22によるエラーの検出は、フレームメモリ23に格納されている、前に伝送されたフレームの画像データとの比較で行い、エラー検出結果に応じて、画像データの補正や、CPU32による撮像端末装置100Aに対する画像データの再送信要求出力が行われる。23は、画像エラー検出/補正回路22からの画像データを格納するためのフレームメモリである。
【0035】
24は、セレクタ17から入力される応答データを2値化してデジタルデータに変換する2値化回路、25は、2値化回路24からの出力を一時格納する受信バッファ、26はバスである。
【0036】
27は、バス26を介して入力された画像データ等を格納するワークメモリ、28は、バス26を介して入力される表示用の画像データを格納する表示メモリ、29は、表示メモリ28に格納されている画像データを元にLCD30を駆動して画像データを表示させる表示回路である。
【0037】
31は、操作者が各種操作命令を入力するための操作ボタンである。32は、操作ボタン31により指示された命令を解釈し、それが撮像端末装置100Aに対するものであるときには、その命令に対応する制御データを作成し、バス26を介して送信バッファ33に書き込んだり、それ以外の、受像端末装置100B内の動作の制御を行ったりするCPUである。
【0038】
33は、撮像端末装置100Aに対して送信するデータを一時格納するための送信バッファ、34は、送信バッファ33に格納されているデータを搬送波により変調する送信回路である。35は、ワークメモリ27に格納されている画像データに対して各種の画像処理を実行する画像処理回路であり、表示用のY、Cb、Crデータへの変換、圧縮データへの変換等を行う。画像処理回路35により変換されたデータは、表示用のY、Cb、Crデータであれば表示メモリ28に、圧縮データであればメモリカード等の画像記録媒体36に、夫々、バス26を介して格納或いは書き込まれる。
【0039】
次に、動作について説明する。
【0040】
ここで、受像端末装置100Bは、撮像端末装置100Aから、撮像可能なモードであることを示す応答データを既に受信しているものとする。
【0041】
まず、受像端末装置100Bにおいて、操作者から操作ボタン31を介して撮像が指示されると、CPU32は、撮像端末装置100Aに対して撮像を指示する制御データを作成し、送信バッファ33に書き込む。送信バッファ33に書き込まれた制御データは、送信回路34、SAWフィルタ15、及びアンテナ14を経て送信される。
【0042】
受像端末装置100Bから送信された撮像を指示する制御データは、撮像端末装置100Aにおいて、先ず、アンテナ8により受信され、SAWフィルタ7、及び受信回路9を経てデジタル信号のデータ列に変換された後、受信バッファ10に格納される。受信バッファ10に格納された制御データは、制御回路11により読み出され、撮像動作が開始される。
【0043】
撮像動作においては、まず、レンズユニット1によってCMOSセンサ2上に結像されている被写体像が各画素毎にアナログ信号に変換される。CMOSセンサ2は、各画素から画素データを読み出し、アナログ信号のまま画像データとしてセレクタ5に出力する。画像データは、セレクタ5を介して送信回路6に出力され、送信回路6にて搬送波により変調された後に、SAWフィルタ7に出力される。そして、SAWフィルタ7にて処理された画像データは、アナログ信号のままアンテナ8により送信される。一方、基準信号回路3からは、適宜、基準信号が出力され、この基準信号は、セレクタ5、送信回路6、及びSAWフィルタ7を経てアンテナ8により送信されている。
【0044】
撮像端末装置100Aから送信されたアナログ信号のままの画像データは、受像端末装置100Bにおいて、アンテナ14により受信され、SAWフィルタ15、受信回路16、及びセレクタ17を経てAD変換回路によりデジタル信号に変換された後に、セレクタ19を経て補正回路21に入力される。補正回路21は、先行して受信した基準信号を基に補正テーブル作成回路20において作成されて格納された変換テーブルを用い、入力された画像データ中に含まれる伝送歪を取り除き、画像エラー検出/補正回路22に出力する。
【0045】
画像エラー検出/補正回路22は、入力された画像データと、先に受信し、フレームメモリ23に格納されている画像データとを比較し、エラー検出を行う。エラー検出結果に応じて、画像データの補正や、CPU32による撮像端末装置100Aに対する画像データの再送信要求出力等の処理が行われる。これらの詳しい処理については、後述する。
【0046】
画像エラー検出/補正回路22からの、処理後の画像データは、フレームメモリ23に格納されると共に、バス26を介してワークメモリ27にも格納される。ワークメモリ27に格納された画像データは、バス26を介して画像処理回路35に読み出され、表示用のY、Cr、Cbデータに変換された後に表示メモリ28に格納される。表示メモリ28に格納された表示用のデータは、表示回路29によりLCD30に表示される。ここで、操作ボタン31により画像記録媒体36への画像データの記録が指示されたときには、フレームメモリ23からバス26を介して画像データが画像処理回路35に読み出され、圧縮データに変換された後、画像記録媒体36に記録される。
【0047】
以上のようにして、被写体の撮像、送信、受信、表示または記録が行われる。
【0048】
次に、本システムの動作について、以下、図面を用いて詳細に説明する。
【0049】
従来、CCD等のエリアセンサからの動画像データの読み出しにおいては、フレームレートに合せて1画面毎に連続的に読み出しを行うのが一般的であるが、図3に示すように、本実施の形態においては、CMOSセンサ2の1画面を4つのデータブロックA〜Dに分け、各データブロック毎に画素データを連続的に読み出して出力する。例えば、CMOSセンサ2が、有効画素が水平648、垂直488の構成であるとすると、各データブロックの大きさは、水平648、垂直122の構成となる。
【0050】
さらに、図4に示すように、データブロック間に、撮像端末装置100Aと受信端末装置100Bとの間で制御データ及び応答データの通信を行うための期間を設けると共に、1画面の最後のデータブロック(図4では、データブロックD)送信後から次の1画面のデータ送信開始までの間に、制御データにより再送信が要求されたデータブロックの送信を行うための期間を設けている。
【0051】
このように、各データブロックの送信、制御データ及び応答データの通信、及び再送信を以って、1画面分の画像データに対する一連の処理が完了する。本実施の形態においては、この一連の処理にかかる期間が、受像端末装置100Bによる1画面分の画像データの表示期間(1フレーム期間)と略同一となるように設定する。具体的には、制御データ及び応答データの通信、及び再送信の実行に見合う分、各データブロックに係る画素データを高速に読み出して出力する。換言すれば、画素データをデータブロック毎に高速に読み出すことによって生じる画像データの送信の空き時間に、制御データ及び応答データの通信、再送信を行うものである。
【0052】
また、上述のように、各データブロックの間に、制御データ及び応答データを通信可能な期間を設けることにより、制御データに対するレスポンスを向上させている。即ち、制御データに対する応答データの送信、その応答データに基づいた制御データの再送信、等が1フレーム期間内で複数回実行可能となっているので、速やかな制御が可能である。例えば、本実施の形態では図示していないが、撮像端末装置100Aにズーム機構等のメカ部材が装着され、受像端末装置100Bから、それらのメカ部材の駆動を制御するための命令を制御データとして送信し、一方、撮像端末装置100Aから、その制御データに対する駆動結果や現在の位置等を応答データとして送信するように構成する場合に好適である。
【0053】
さらに、応答データを送信するタイミングは、図4に示したように、撮像端末装置100Aが制御データを受信した後に設定されている。これは、受像端末装置100Bからの状態問い合わせや動作指示に対し、撮像端末装置100Aが応答することが多いという事情を考慮したものであり、制御に対するレスポンスの向上を図るのに適した手順となっている。
【0054】
また、最後のデータブロック(ここでは、データブロックD)を送信し終えた後、制御データにより再送信が要求されたデータブロックの送信を行うための期間が設けられている。これは、受像端末装置100Bの画像エラー検出/補正回路22のエラー検出結果に応じて対象データブロックを再送信するために設けられた期間であり、ここでは、1データブロック分が設定されている。ここで再送信されるデータブロックの画像データは、CMOSセンサ2から該当するデータブロックの画素データを再度読み出すことで取得される。これは、CMOSセンサ2が非破壊読み出し可能なセンサである特性を利用したもので、これにより、再送信用の画像データを格納するフレームメモリ回路を別途設けることなく、データブロックの再送信を可能としている。なお、この再送信期間の終了を待って、CMOSセンサ2内の各画素の電荷が掃き出されるリセット動作が実行される。
【0055】
なお、再送信の要求がないときには、この再送信期間は、後述するように、撮像端末装置100Aが、自らの主要な部分の動作を停止し、制御データにより起動可能なスリープモードとなる期間となる。
【0056】
次に、撮像端末装置100Aの撮像動作と、受像端末装置100BのLCD30での画像表示との関係を、図5のタイミングチャートを用いて説明する。
【0057】
撮像動作は、先ず、CMOSセンサ2内の各画素に対応する電荷を掃き出すことでリセット動作が行われた後、発光機構12による発光動作が行われ、CMOSセンサ2の露光が行われる。本実施の形態では、図1に示すように、撮像端末装置100Aは、シャッタ等の外光の遮断手段を備えていない。CMOSセンサ2は、通常、リセット期間以外は露光動作を行うものであるが、本実施の形態では、発光機構12からの光以外の光はCMOSセンサ2に入光しない環境下において用いられているので、シャッタ等の外光の遮断手段を備えていなくとも、露光動作は、実質的に、発光機構12の発光終了時点で終了していることになる。
【0058】
発光機構12による発光動作は、図5に示すように、周期的に行われ、それに伴って露光された画像データが、撮像端末装置100Aから受像端末装置100Bに送信される。
【0059】
受像端末装置100Bは、図5に示したように、図4で説明した画像データの再送信期間の経過後に、受信した画像データから画像処理回路35により表示用のデータを作成し、表示メモリ28に書き込む。このように、画像処理回路35による表示用のデータ作成を再送信が行われるか否かに係りなく、再送信期間の経過後に行うようにすることで、動作シーケンスを簡略化している。
【0060】
そして、表示メモリ28に書き込まれた画像データは、表示回路29により読み出され、LCD30に表示される。
【0061】
なお、表示メモリ28には、2画面分のメモリエリアが用意されており、書込み完了後の所定の時間に表示が切り替えられるようになっている。
【0062】
また、図5に示したように、表示用の画像データの作成を、再送信期間経過後、次画面のデータブロックの送信開始までの短期間で終了することで、表示の遅れを最小限にして表示することを可能としている。
【0063】
次に、制御データ及び応答データの通信を含めた、撮像端末装置100Aと受像端末装置100Bとの間の通信について、図6のタイミングチャートを用いて説明する。ここでは、撮像端末装置100Aは、周期的に制御データの受信処理だけを行い、それ以外の期間では、低消費電力モードとなる待機モードにあり、一方、受像端末装置100Bは、操作者による指示待ちの状態になっているものとして説明を行う。
【0064】
まず、操作者の操作により、受像端末装置100Bは、撮像端末装置100Aに撮像動作の指示を行う「撮像指示動作」状態となり、撮像端末装置100Aを待機モードから撮像モードに変更する「撮像開始指示コマンド」を制御データとして送信する。
【0065】
撮像端末装置100Aは、制御データとして「撮像開始指示コマンド」を受信すると、「撮像モード」に移行し、「撮像開始応答コマンド」を応答データとして受像端末装置100Bに送信する。
【0066】
受像端末装置100Bは、応答コマンドとして撮像開始応答コマンドを受信すると、撮像端末装置100Aが撮像モードに移行したことを確認し、LCD30に動画像表示を行う「画像受信動作」状態となる。このように、撮像端末装置100Aが「撮像モード」、受像端末装置100Bが「画像受信動作」状態のときには、図3〜図5で説明したように、撮像端末装置100Aと受像端末装置100Bとの間で、画像データ、制御データ及び応答データ、が送信される。
【0067】
ここで、撮像端末装置100Aに対するスリープ動作の指示を、操作者が受像端末装置100Bに対して行うと、受像端末装置100Bは、「スリープ指示動作」状態となり、スリープ動作の開始の指示とスリープ期間を示すデータとを含む「スリープ実施指示コマンド」を制御データとして撮像端末装置100Aに送信する。
【0068】
撮像端末装置100Aは、制御データとして「スリープ実施指示コマンド」を受信すると、制御データ中で指定された時間、撮像端末装置100Aは、スリープ実行とスリープ終了時間を示すデータとを含む「スリープ開始応答コマンド」を応答データとして受像端末装置100Bに送信した後、スリープ動作に移行する。前述したように、スリープタイマ13の起動によりスリープ動作が終了すると、撮像端末装置100Aは、「スリープ終了応答コマンド」を応答データとして受像端末装置100Bに送信して、スリープ動作の終了を通知する。送信後、撮像端末装置100Aは、待機モードに移行し、受像端末装置100Bからの次の動作指示を待つ。
【0069】
一方、受像端末装置100Bは、「スリープ開始応答コマンド」を応答データとして受信した後に「スリープ終了待ち動作」状態となっており、LCD30に対してその旨の表示を行っている。ここで、受像端末装置100Bは、「スリープ終了応答コマンド」を応答データとして受信すると、応答データを受信した時間と、内部に保持しているスリープ動作の終了予定時間とを比較する。
【0070】
まだ終了予定時間が来ていないと判断した場合、CPU32が残り時間を計算し、計算された時間と共に、受像端末装置100Bは、再度、撮像端末装置100Aに対して「スリープ実施指示コマンド」を制御データとして送信する。一方、終了予定時間を過ぎていると判断した場合、受像端末装置100Bは、LCD30に撮像端末装置100Aのスリープ動作が終了したことを表示し、操作者に通知すると共に、撮像端末装置100Aに対して、スリープ解除後の予め決められた動作を実行させるためのコマンドを、制御データとして送信する。
【0071】
終了予定時間通りである場合には、受像端末装置100Bは、LCD30に撮像端末装置100Aのスリープ動作が終了したことを表示して操作者に通知し、「指示待ち」状態に移行する。
【0072】
次に、CMOSセンサ2からの画素データの読み出し方法について、図7乃至図10を用いて説明する。
【0073】
図7は、CMOSセンサ2の有効画素の配列と、実際の読み出し方法を示したものである。ここでは、CMOSセンサ2の画素は、ベイヤ配列で構成されているものとする。なお、ベイヤ配列は公知であるので、詳しい説明は省略する。
【0074】
ベイヤ配列では、水平方向の色フィルタがRGRGRG−−で構成されるラインと、GBGBGB−−−で構成されるラインが交互に並んでいる。通常行われる順次読出しでは、配列順にRGRGRG−−の順、若しくはGBGBGB−−の順に読み出されることになる。
【0075】
本実施の形態は、CMOSセンサ2からの画素データの読み出しを、ライン単位にライン上の同一色の画素を選択して連続に読み出すことに特徴がある。具体的には、RGRGRG−−のラインでは、RRRRとライン上のR画素を全て読み出した後、GGGGとG画素を読み出す。同様にして、GBGBGB−−−ラインでは、GGGGとライン上のG画素を全て読み出した後、BBBBBとB画素を読み出す。なお、CMOSセンサ2において、このような読み出しを行うためCMOSセンサの構造や読み出し回路については公知であるので、その説明は省略する。
【0076】
以上のような読み出しを行い、送信を行うことによる効果を、図8乃至図10を用いて説明する。
【0077】
図8は、CMOSセンサ2上のあるRGラインの光量分布の例である。
【0078】
このとき、従来のように、RGラインに対して順次読み出しを行った場合、その出力は、図9のようになる。ここでは、R画素とG画素の出力が大きく異なっているため、1画素毎に出力が大きく変動する。この状態のままアナログ信号として送信しようとする場合には、必要となる帯域は非常に広いものとなる。
【0079】
一方、RGラインの読み出しを本実施の形態のように行なった場合、その出力は、図10のようになる。この場合、R画素の画素データが連続して出力された後に、G画素の画素データが連続して出力されるため、アナログ信号として伝送する場合に必要となる帯域は、順次読み出しを行った場合に比べ、狭くてよいことが判る。すなわち限られた帯域で、効率的な送信が可能となる。
【0080】
なお、ここでは、CMOSセンサ2の水平方向の画素を14画素(R:7画素、G:7画素)として説明したが、実際には648画素となるので本方法による効果は更に大きくなる。
【0081】
次に、画像データが送信される際に行われる、受像端末装置100B側での伝送歪の除去手順について、図11乃至図13を用いて説明する。
【0082】
図11は、撮像端末装置100Aと受像端末装置100Bとの間、より詳しくは、送信回路6と受信回路16との間の通信特性を示した図である。撮像端末装置100Aにおける送信特性に、アンテナ8とアンテナ14との間の伝送空間の特性と、受像端末装置100Bのアンテナ14、SAWフィルタ15、及び受信回路16の特性が加わり、複雑な特性となっている。図13に、撮像端末装置100Aにおける送信特性(より詳しくは、送信回路6への入力とアンテナ8からの送信出力との入出力関係)の例を示す。ここでは、送信特性は、非線形なものとなっている。
【0083】
本実施の形態では、図12に示したような、予め定められた基準信号を基準信号回路3により作成して撮像端末装置100Aから送信し、受像端末装置100Bは、受信した基準信号に基づき、補正回路21を通過した基準信号が元の基準信号と一致するように、補正テーブル作成回路20により補正回路21に変換テーブルの値を設定する。具体的には、まず、撮像端末装置100Aから送信されてきた基準信号が、セレクタ19を介して、補正テーブル作成回路20に書き込まれる。基準信号は、図12に示した如く、送信回路6への入力電圧を時間に対して直線的に変化させたものであるので、補正テーブル作成回路20は、入力信号が元の基準信号となるように、変換テーブルの補正係数を補正回路21に設定する。
【0084】
このように変換テーブルが設定された補正回路21を経ることにより、画像データは、伝送歪を除去されて、次の画像エラー検出/補正回路22に送られる。
【0085】
これにより、予め定められた演算式を用いて補正する必要がなくなり、回路構成を簡便なものとすることが可能となる。
【0086】
ここで、画像データ、及び応答データの送信時に用いる出力について、図13を用いて説明する。
【0087】
図13に示すように、アナログ信号である画像データの送信時には、図中iv−aからiv−cで示した広い範囲の入力レンジを使い、2値信号である制御信号の伝送時には、図中iv−aからiv−bで示した狭い範囲の入力レンジを使うようにすることで、電気エネルギーの効率的使用が図られる。
【0088】
次に、画像エラー検出/補正回路22にて行われる処理について、図14乃至図15を用いて説明する。
【0089】
図14は、画像エラー検出/補正回路22の内部構成を示したものである。
【0090】
37は、補正回路21から入力される現画像データと、フレームメモリ23から入力される1画面前の前画像データとを比較することで伝送エラーを検出すると共に、伝送エラーと判定された画素に対しては、前画像データの画素データや現画像データ内の周辺画素を用いて公知の補間アルゴリズムを使用して補正データを作成して補正回路38に出力する比較検出回路、38は、比較検出回路37からの補正データに基づき、現画像データの補正を行う補正回路、39は、補正回路38にて補正された画像データを一時格納するバッファである。
【0091】
本実施の形態のような無線通信によるデータの送信では、伝送エラーは、比較的長い時間発生し、連続的にエラーとなるバーストエラーが多く発生する。その場合、水平方向の数ライン分のデータが欠落し、極端な値を取ることが多い。その場合、エラーが発生した部分は、1画面前の画面の同じ位置や同一画面内の上下のライン(周辺画素)との相関が極端に小さくなる。比較検出回路37では、以上の知見に基づいた方法でエラーを検出するようにしているが、相関の違いによるエラーの検出方法自体のアルゴリズムは、種々考案されており公知であるので、ここでは説明を省略する。
【0092】
次に、動作を説明する。
【0093】
まず、入力された現画像データは、比較検出回路37と補正回路38に入力される。比較検出回路37には、フレームメモリ23から前画像データが入力されており、比較検出回路37は、両画像データの比較から伝送エラーを検出すると共に、補正データを作成して補正回路38に出力する。
【0094】
補正回路38に入力されている現画像データは、補正回路38にて補正された後、バス26を介してワークメモリ27に書き込まれると共に、画像エラー検出/補正回路22内のバッファ39を通り、フレームメモリ23にも書き込まれる。
【0095】
ここで、画像データの伝送エラーの数は、各データブロック毎に比較検出回路37に記憶される。この記憶された伝送エラーの数は、バス26を介してCPU32により取り出され、それに基づき、再送信の指示が行われる。
【0096】
図15は、伝送エラーの数に基づき、CPUにより行われる処理のフローチャートである。
【0097】
CPU32は、1画面分の画像データが全て受信されるのを待ち(40)、その後、画像エラー検出/補正回路22内の比較検出回路37から各データブロック毎の伝送エラー数を、バス26を介して取り出す。何れのデータブロックにもエラーが検出されていなかった場合、再送信の要求はせず、再送信用の期間、撮像端末装置100Aをスリープ状態にするための処理(43)を行う。
【0098】
具体的には、最後のデータブロック(本実施の形態では、データブロックD)受信後に、CPU32は、スリープ命令とスリープ期間とを含む制御データを作成し、撮像端末装置100Aに対して送信する。撮像端末装置100Aは、その制御データを受信すると、スリープの実行及びスリープ期間とを含む応答データを受像端末装置100Bに対して送信する。その後、撮像端末装置100Aは、スリープタイマ13にスリープ期間をセットして、次の撮像開始までスリープ状態に入る。
【0099】
伝送エラーが検出されている場合、CPU32は、最も伝送エラーの多かったデータブロックの再送信を撮像端末装置100Aに実行させる処理(42)を行う。具体的には、最後のデータブロックを受信後、制御データの送信期間中に、CPU32は、再送信要求と対象となるデータブロックを指示した制御データを作成し、受像端末装置100Bから撮像端末装置100Aに送信させる。撮像端末装置100Aは、その制御データを受信すると、再送信を行うこと及び再送信するデータブロックの種類を含む応答データを受像端末装置100Bに送信する。その後、撮像端末装置100Aは、指示されたブロックの画像データを再送信する。
【0100】
受像端末装置100Bは、再送信されてきたデータに対してもエラー検出を同様に行い、伝送エラーの数が前回より少ない場合には、再送信されてきたデータブロックを使用し、エラーの数が前回よりも多かった場合には、前回のデータブロックを使用する。
【0101】
次に、一部の領域に注目して、その領域の更新を高速で行う高速表示モードでの動作について、図16乃至図17を用いて説明する。
【0102】
高速表示モードは、図16に示したように撮像画面上に注目範囲を指定し、その部分に係るLCD30上での表示を高速で更新するものである。ここでは、注目領域の更新をそれ以外の部分に比べ2倍の速度で行う場合について説明する。
【0103】
図17は、その場合のタイムチャートである。
【0104】
まず、発光機構12による発光が行われ、それに伴う画面全体の画像データが送信される。これは、図3乃至図5を用いて説明した内容と同様の手順で実施される。
【0105】
次の発光に伴う画像データの送信の際には、CMOSセンサ2は、注目範囲の画素データのみを読み出し、注目範囲の画像データとして撮像端末装置100Aから送信される。受信した、注目範囲の画像データに対して、受像端末装置100Bにて、上述のような伝送エラー検出が行われ、エラー発生時には、再送信が行われる。
【0106】
そして、受像端子装置100Bは、受信した注目範囲の画像データから更新用の表示データを作成し、その更新用のデータが、LCD30上に表示されている前画面の注目範囲に書き込まれ、高速表示が実施される。
【0107】
図17に示すように、注目範囲の画像データの送信と、通常画面の画像データの送信とが交互に行われ、注目範囲の画像データの更新が、それ以外の部分に比べ2倍の速度で行われる。
【0108】
なお、ここでは、LCD30上に表示されている画像全体の更新と注目範囲の更新を1対1の比率で行う例を示したが、撮像対象によって注目範囲の更新の比率をあげるようにすることは、勿論、可能である。
【0109】
なお、通常は、CMOSセンサ2による動画像撮像を30フレーム/秒のフレームレートで行うようにし、撮像端末装置100Aの駆動源である電池が消耗している時には、撮像端末装置100Aは、電池消耗状態であることを応答データを用いて受像端末装置100Bに送信し、フレームレートの変更を可能としてもよい。この場合、撮像端末装置100Aは、受像端末装置100Bからの制御データにより、フレームレートの低速化等の更なる省エネルギー動作を実施する。
【0110】
次に、本発明に係る第2の実施の形態を、図18乃至図20を用いて説明する。
【0111】
なお、第1の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【0112】
本実施の形態では、第1の実施の形態に対して、CMOS2及び発光機構12の代わりに、カラーフィルタを貼付していないCMOSセンサ45と、R、G、B光を順次発光する発光機構44とを備えて、所謂、面順次方式によりカラー画像を得るようにしている。
【0113】
また、本実施の形態では、動画像撮像時には、そのフレームレートを上げるために、CMOSセンサ45は、画素を間引いて画素データを読み出す、所謂、間引き読み出しを行い、他方、操作者の指示により、シャッタトリガ動作による静止画像撮像時には、解像度を上げるために、CMOSセンサ45は、全画素の画素データの読み出しを行うようにすることで、必要に応じたフレームレートと解像度の切り替えを可能としている。
【0114】
さらに、本実施の形態では、伝送エラーへの対応として、データブロック毎に送信時の搬送波の周波数を変更する、所謂、周波数ホッピングを用い、再送信が要求された場合、伝送エラーを起こさなかった搬送波の周波数を選択し、該当するデータブロックを送信することにより、伝送エラーの確率を低減することを可能としている。
【0115】
次に、本実施の形態の双方向データ通信システム200に用いられる撮像端末装置200A及び受像端末装置200Bの各構成について説明する。
【0116】
図18は、撮像端末装置200Aの構成を示したものである。
【0117】
上述の機能を実現するために、図1に示した撮像端末装置100Aに対して、R、G、B光を順次発光する発光機構44と、カラーフィルタを貼付していないCMOSセンサ45と、搬送波の周波数を変更する、所謂、「周波数ホッピング」の機能を実現するための搬送波作成回路48と、送信回路46と、受信回路47とが異なる。
【0118】
図19は、受像端末装置200Bの構成を示したものである。
【0119】
ここでも、上述の機能を実現するために、図2に示した受像端末装置100Bとは、復調用の周波数を作成する搬送波作成回路51と、送信回路50と、受信回路49とが異なる
次に、本実施の形態に係る動作を、図20に示す画像データの送信時のタイムチャートを用いて説明する。
【0120】
まず、撮像開始前に、受像端末装置200Bから、搬送波の周波数の切り替え(ホッピング)パターンを指示する制御データが送信される。撮像端末装置200Aは、受信した制御データに含まれている切り替えパターンに従って各データブロックで用いられる搬送波の周波数を決定し、搬送波作成回路48にセットする。また、この切り替えパターンは、受像端末装置200B側の搬送波作成回路51にもセットされる。
【0121】
撮像開始時、発光機構44により、R、G、B、R、……の順に発光が行われ、CMOSセンサ45は、第1の実施の形態と同様に(図3参照)、各発光タイミングにおける1画面の画素データを4つのデータブロックに分けて読み出し、出力する。
【0122】
4つのデータブロックは、セレクタ5を経て送信回路46に入力される。送信回路46は、搬送波作成回路48より入力される各データブロックに割り当てられた搬送波を用いて各データブロックを変調し、変調されたデータブロックは、SAWフィルタ7、アンテナ8を経て送信される。
【0123】
撮像端末装置200Aから送信されたデータブロックは、受像端末装置200Bにおいて、アンテナ14により受信され、SAWフィルタ15を経て、受信回路49に入力される。受信回路49は、搬送波作成回路51より入力される、変調を行った搬送波の周波数に対応した復調用の周波数を用いて各データブロックを復調する。
【0124】
復調されたデータブロックは、セレクタ17を経てAD変換回路18によりデジタル信号に変換された後に、セレクタ19を経て補正回路21に入力される。補正回路21は、入力されたデータブロック中に含まれる伝送歪を取り除き、画像エラー検出/補正回路22に出力する。
【0125】
画像エラー検出/補正回路22は、第1の実施の形態と同様なエラー検出を行い、その結果をデータブロック毎に保持する。CPU32は、その保持されているエラー検出結果を読み出して判定を行い、エラー発生時には、エラーの一番少なかったデータブロックで使用された周波数を再送信時に用いるように、制御データを用いて撮像端末装置200Aに対して指示を行う。エラーがなかった場合は、CPU32は、第1の実施の形態と同様に、撮像端末装置200Aに対して、再送信期間に対応する期間中、スリープ動作となるように制御データを送信する。
【0126】
以上のようにして、R、G、Bの各画像データを全て受信後、受像端末装置200Bは、図20に示すように、表示データ作成期間中に各色の画像データを用いて表示用の画像データを作成し、LCD30に表示する。
【0127】
なお、上記説明では、各データブロックの変調に用いる搬送波の周波数及び再送信用の搬送波の周波数を、受像端末装置200Bからの指示に従って設定するようにしているが、撮像端末装置200A側で、予め各データブロックに用いる搬送波の周波数の順番を決めておき、再送信が指示されたときには、再送信が指示されたデータブロックの送信に用いた搬送波の周波数の順番を最後に移動させ、最初に来た搬送波の周波数を用いて、データブロックの再送信を行うようにしても良い。
【0128】
次に、本発明に係る第3の実施の形態を、図21乃至図23を用いて説明する。
【0129】
なお、第1の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【0130】
第1及び第2の実施の形態とは異なり、本実施の形態の双方向データ通信システム300に用いる撮像端末装置300Aは、外光のある通常の環境下で用いられるもので、撮像時以外の期間にCMOSセンサ2に外光が入射しないように、そのためのシャッタユニット52を備えるものである。動画像撮像時は、シャッタユニット52は開放状態とし、静止画像撮像時は、シャッタユニット52は閉−開−閉のシャッタトリガ動作を行う。
【0131】
以下、撮像端末装置300Aの構成と動作について説明する。
【0132】
図21は、撮像端末装置300Aの構成を示したものである。
【0133】
撮像端末装置300Aは、レンズユニット1とCMOSセンサ2との間に、シャッタユニット52が配置されている。シャッタユニット52は、制御回路11によりその動作の制御が行われる。
【0134】
図23は、動画像撮像時のタイムチャートである。
【0135】
動画像撮像時、シャッタユニット52は開放状態のままであるため、露光時間の違いを起こさせないために、第1の実施の形態のように複数のデータブロックに分割して送信することは行わず、撮像された画像データは、1画面分まとめて時間圧縮して読み出され、上述のような処理が行われた後、受像端末装置300B(図示しないが、基本構成は、図2と同様なものである)に送信される。
【0136】
受像端末装置300Bは、受信した画像データに対して第1又は第2の実施の形態で述べたような処理を行った後、伝送エラーの検出を行う。伝送エラーを検出した場合、伝送エラーの量が一定量以下なら、受像端末装置300Bは、伝送エラーを起こした部分の画像データの領域の再送信を要求する制御データを撮像端末装置300Aに送信する。撮像端末装置300Aは、再送信を要求する制御データを受信すると、CMOSセンサ2から、該当する領域の画像データを再度読み出して送信する。送信終了後、撮像端末300Aは、CMOSセンサ2のリセット動作を行う。一方、受像端末装置300Bは、再送信された画像データを受信すると、先の画像データと合わせて表示用の画像データの作成を行う。
【0137】
伝送エラーの量が一定以上の場合には、受像端末装置300Bは、再送信を要求する制御データの送信は行わない。
【0138】
図23は、受像端末装置300B内のCPU32が行う、エラー判定と再送信に係る処理を説明するためのフローチャートである。
【0139】
まず、CPU32は、1画面分の画像データが全て受信されるのを待ち(53)、その後、画像エラー検出/補正回路22内の比較検出回路37から1画面内の伝送エラー数を読み出し、エラー判定を行う(54)。
【0140】
エラーがないか、或いはエラーが多すぎて再送信が行えない場合、CPU32は、再送信の要求はせず、再送信期間に対応する期間、撮像端末装置300Aをスリープ状態にするための制御データを送信する処理(56)を行う。なお、エラーが多すぎた場合、伝送エラーの量が一定量以上の場合、送信に必要な期間が再送信期間の最大許容時間を超えるので、CPU32は、その1画面の画像データを破棄するためのフラグの設定を行う(図示せず)。その後、その1画面の画像データは破棄される。
【0141】
一方、伝送エラーの量が再送信可能な量の場合、CPU32は、再送信を要求する範囲を決定し、その範囲と再送信の要求を含む制御データを送信させる(55)。
【0142】
なお、静止画撮像時は、撮像端末装置300Aでの露光期間にシャッタユニット52が動作する以外は、第1の実施の形態における動作と同様であるので、説明は省略する。
【0143】
【発明の効果】
以上説明したように、本発明の請求項1に記載の双方向データ通信システムによれば、画像データの伝送を時間圧縮して行うため、双方向のデータ通信の期間を設けることができる。また、請求項2によれば、画像データをアナログ信号で送るため、消費電力を低減することが可能となる。また、請求項3によれば、撮像端末装置からも応答データを送ることが可能となる。また、請求項4から6によれば、画像データに対するエラー検出を、受信した画像データの周辺画像や、先行して受信した画像データとの比較により行うため、撮像端末装置でのエラー訂正用コードの付加が不要となり、消費電力を低減することが可能となる。
【0144】
また、請求項7によれば、1画面分の画像データを複数のブロックに分け、ブロック単位でエラー検出と再送信を行うため、再送信等の手続きを容易に行うことができる。また、請求項8によれば、面順次の画像データの取得が可能になると共に、固体エリアセンサを用いることで、固体エリアセンサ自体にエラー発生時の再送信用の画像データを保存することが可能となるため、専用のメモリを備える必要がなくなり、部品点数の削減と、消費電力の低減が可能となる。
【0145】
また、請求項9によれば、狭い帯域での伝送が可能となるため、消費電力を低減でき、且つ、高品質な通信が可能になる。また、請求項10によれば、間引き読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。また、請求項11によれば、特定エリアからの読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。
【0146】
また、請求項12によれば、制御データによる指示がない場合、撮像端末装置はスリープモードに移行して自らの主要な部分の動作を停止し、スリープモード解除後には、スリープモードが解除されたことを受像端末装置に送信し、新たな撮像を開始することが可能であるため、撮像端末装置の消費電力を低減することができる。また、請求項13によれば、予め判っている基準信号送り、それに基づいて送信データの線形性を保証するための補正テーブルを作成し、この補正テーブルを用いて送信されてきた画像データを補正するため、消費電力の少ない非線形の送信/受信装置を使った場合でも、線形性を保ってアナログの画像データの送信が可能となる。
【図面の簡単な説明】
【図1】本発明に係る双方向データ通信システムに採用される撮像端末装置を示すブロック図。
【図2】本発明に係る双方向データ通信システムに採用される受像端末装置を示すブロック図。
【図3】送信ブロックの構成を示す説明図。
【図4】通信時の信号配置を示す説明図。
【図5】画像信号の送信タイムチャート。
【図6】撮像シーケンスを示すシーケンス図。
【図7】CMOSセンサの画素構成と読み出し順を説明するための説明図。
【図8】入射光量を示すグラフ。
【図9】センサ出力を示すグラフ。
【図10】センサ出力を示すグラフ。
【図11】通信の総合特性を示すグラフ。
【図12】基準波形を示す波形図。
【図13】送信回路の送信特性を示すグラフ。
【図14】図2中の画像エラー検出/補正回路22の具体的な構成を示すブロック図。
【図15】画像エラーの検出フローを示すフローチャート。
【図16】更新領域を示す説明図。
【図17】画像信号の送信タイムチャート。
【図18】第2の実施の形態に採用される撮像端末装置を示すブロック図。
【図19】第2の実施の形態に採用される受像端末装置を示すブロック図。
【図20】画像信号の送信タイムチャート。
【図21】第3の実施の形態に採用される撮像端末装置を示すブロック図。
【図22】画像信号の送信タイムチャート。
【図23】画像信号のエラー検出プログラムを示すフローチャート。
【符号の説明】
2…CMOSセンサ、3…基準信号回路、5,17,19…セレクタ、6,34…送信回路、8,14…アンテナ、9,16…受信回路、11…制御回路、12…発光機構、20…補正テーブル作成回路、21…補正テーブル、22…画像エラー検出/補正回路、29…表示回路、30…LCD、32…CPU。
【発明の属する技術分野】
本発明は、動画像を撮像し送信すると共に、撮像側と受信側の双方からの制御データの通信を可能とした双方向データ通信システムに関する。
【0002】
【従来の技術】
従来、各種通信システムが開発されている。伝送路の大容量化及び双方向性によって、画像信号についても双方向に伝送されるようになってきた。このような画像データを伝送する双方向データ通信システムとしては、例えば、特許文献1(特開平7−203399号公報)に記載のものがある。特許文献1の装置は、デジタル化した映像信号や制御信号の双方向伝送を可能にするものである。
【0003】
【特許文献1】
特開平7−203399号公報
【0004】
【発明が解決しようとする課題】
ところで、通信システムを撮像装置に適用することで、撮像画像の画像伝送を可能にした装置も開発されている。撮像モジュールに双方向の無線通信機能を付加することで、このような画像伝送が可能となる。特に、近年、撮像モジュールの小型化が促進されており、双方向の無線通信機能を付加した撮像モジュールを利用して、体内で使用可能なカプセル内視鏡を製造することが可能である。
【0005】
カプセル内視鏡においては、モジュールの活動停止の指示や活動再開の通知等を行うための双方向通信機能が必要である。また、伝送エラー発生時にエラーの発生を検出して再送信を行うための効果的な伝送エラー対応機能も求められている。
【0006】
しかしながら、上記特許文献1等の従来の双方向データ通信システムにおいては、アナログ信号の伝送や不定期に起こるエラー処理に対応する具体的な手段は開示されていない。
【0007】
また、撮像モジュールの低消費電力化によって、装置の電池駆動が可能である。ところが、無線通信機能を付加した撮像装置では、通信回路における消費電力が大きいことから、長時間の画像伝送ができない。上記特許文献1等の従来の双方向データ通信システムにおいては、省エネルギー化のための実現手段は提示されていない。
【0008】
従って、特許文献1等の従来の双方向データ通信システムをカプセル内視鏡に適用したとしても、撮像装置の消費電力を少なくし、かつ撮像モジュールを制御すると共に伝送時に発生するエラーを効果的に防止することはできない。
【0009】
本発明は、モジュールを制御するための双方向通信機能及び伝送エラーに対応するための再送信機能を有すると共に、消費電力の削減を可能にすることができる双方向データ通信システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項1に記載の双方向データ通信システムは、被写体を撮像して画像データを生成する撮像端末装置と、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置と受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置は、1画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、1画面分の前記画像データの表示期間と略同一となるように、送信する1画面分の前記画像データを時間圧縮することを特徴とする。
【0011】
また、本発明の請求項2に記載の双方向データ通信システムは、請求項1において、前記撮像端末装置は、前記画像データをアナログ信号で送信することを特徴とする。
【0012】
また、本発明の請求項3に記載の双方向データ通信システムは、請求項1において、前記撮像端末装置は、1画面分の前記画像データを送信する期間内であって、前記画像データの送信及び前記制御データの受信が行われている期間とは異なる期間に、自らの動作状態を示す応答データを送信することを特徴とする。
【0013】
また、本発明の請求項4に記載の双方向データ通信システムは、請求項1において、前記受像端末装置は、受信した前記画像データに対し、送信に係るエラー検出を行うことを特徴とする。また、請求項5は、請求項4において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素とその周辺画素との比較で行うことを特徴とし、請求項6は、請求項4において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素と、先行して受信した前記画像データ中のエラー検出対象画素及び周辺画素との比較により行うことを特徴とする。
【0014】
また、本発明の請求項7に記載の双方向データ通信システムは、請求項4において、前記撮像端末装置は、1画面分の画像データを複数のブロックに分割したデータブロック単位で送信を行うと共に、前記受像端末装置は、前記エラー検出をこのデータブロック単位で行い、エラーが検出された前記データブロックに対しては、対応するデータブロックの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【0015】
また、本発明の請求項8に記載の双方向データ通信システムは、請求項4において、前記撮像端末装置は、その受光面にカラーフィルタが貼付されていない固体エリアセンサと、複数の色成分の各々を順次発光する発光装置を有し、前記撮像端末装置は、各色成分を順次発光して得られた各色成分に対応する各画像データを送信すると共に、前記受像端末装置は、エラーが検出された色成分の画像データに対しては、エラーが検出されたエリアに係る、同色の画像データの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【0016】
また、本発明の請求項9に記載の双方向データ通信システムは、請求項2において、前記撮像端末装置は、その受光面にカラーフィルタが貼付された固体エリアセンサを有し、前記撮像端末装置は、この固体エリアセンサに対して、前記カラーフィルタ上の同色部分に対応する画素を選択して読み出しを行うことを特徴とする。
【0017】
また、本発明の請求項10に記載の双方向データ通信システムは、請求項9において、前記撮像端末装置は、前記撮像素子に対して、画素を間引いて読み出しを行うことを特徴とする。
【0018】
また、本発明の請求項11に記載の双方向データ通信システムは、請求項9において、前記撮像端末装置は、前記撮像素子に対して、特定のエリアの画素から読み出しを行うことを特徴とする。
【0019】
また、本発明の請求項12に記載の双方向データ通信システムは、請求項3において、前記撮像端末装置は、自らの主要な部分の動作を停止する、前記制御データにより起動可能なスリープモードを有し、このスリープモードを解除したとき、前記応答データにスリープモードが終了したことを示すコマンドを含めて送信することを特徴とする。
【0020】
また、本発明の請求項13に記載の双方向データ通信システムは、請求項2において、前記撮像端末装置は、前記受像端末装置が受信した前記画像データに含まれる送信歪を検出するための基準信号を作成する基準信号作成装置を有し、一方、前記受像端末装置は、受信した前記基準信号に基づき、前記送信歪を画像データから除去するための補正テーブルを生成する補正テーブル作成装置を有することを特徴とする。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1乃至図17は本発明の第1の実施の形態に係り、図1は撮像端末装置を示すブロック図であり、図2は受信端末装置の構成を示すブロック図であり、図3は送信ブロックの構成を示す説明図であり、図4は通信時の信号配置を示す説明図であり、図5は画像信号の送信タイムチャートであり、図6は撮像シーケンスを示すシーケンス図であり、図7はCMOSセンサの画素構成と読み出し順を説明するための説明図であり、図8は入射光量を示すグラフであり、図9及び図10はセンサ出力を示すグラフであり、図11は通信の総合特性を示すグラフであり、図12は基準波形を示す波形図であり、図13は送信回路の送信特性を示すグラフであり、図14は図2中の画像エラー検出/補正回路22の具体的な構成を示すブロック図であり、図15は画像エラーの検出フローを示すフローチャートであり、図16は更新領域を示す説明図であり、図17は画像信号の送信タイムチャートである。
【0022】
本実施の形態は、本発明を体内で使用されるカプセル内視鏡の如く、発光機構からの光のみを受光する装置に適用した場合を例に説明する。
【0023】
本実施の形態に係る双方向データ通信システム100は、図1に示す撮像端末装置100Aと、図2に示す受像端末装置100Bとからなる。
【0024】
図1は、撮像端末装置100Aの構成を示したものである。
【0025】
1は、CMOSセンサ2の受光面に被写体像を結像させるためのレンズユニット、2は、受光面に結像された被写体像を各画素毎に光電変換してアナログの画像データとして出力するCMOSセンサ、3は、画像データの、受像端末装置100Bへの伝送において発生する歪を補正し、データの直線性を保持するために使用する基準信号を発生する基準信号回路である。この基準信号は、適宜出力される。
【0026】
4は、制御回路11から送られてくる、応答データを含む送信用の各種データを一時格納するための送信バッファである。応答データの内容としては、撮像端末装置100A自体の動作モードや、受像端末装置100Bからの動作指示に対する応答メッセージであり、何れも、制御回路11が、デジタルデータとして受像端末装置100Bに伝送するデータである。なお、応答データはデジタルデータであるため、エラー検出/訂正は、通常のエラー訂正コード(ECC)の付加で行う。制御回路11は、ECCを制御データに付加した後に送信バッファ4に格納する。なお、ECCの付加やエラー訂正の具体的方法の詳細については公知であるので、ここでの説明は省略する。
【0027】
5は、CMOSセンサ2からの画像データ、基準信号回路3からの信号、送信バッファ4からの信号が夫々入力され、制御回路11による制御の下、これら3つの入力から1入力を選択して送信回路6に出力するセレクタ、6は、セレクタ5から出力された信号を搬送波により変調する送信回路、7は、送信回路6からの信号にSAW(Surface Acoustic Wave)フィルタ処理を行うためのSAWフィルタである。
【0028】
8は、SAWフィルタ7からの信号を後述する受像端末装置100Bに送信、または、受像端末装置100Bからの信号を受信するためのアンテナである。ここで、受信する信号としては、受像端末装置100Bから撮像端末装置100Aに対して行う動作指示用の制御データである。9は、受信した信号をデジタル信号のデータ列に変換するための受信回路、10は、受信回路9からの信号を一時格納するための受信バッファ、11は、撮像端末装置内の動作を制御するための制御回路、12は、被写体に対して撮像光を照射する発光機構であり、制御回路11により、その発光タイミング、光量、発光色等が制御されている。13は、撮像端末がスリープ状態になった時にスリープ時間が設定され、スリープ時間経過後、制御回路11を起動(ウエイクアップ)するためのスリープタイマーである。
【0029】
図2は、受像端末装置100Bの構成を示したものである。
【0030】
受像端末装置100Bは、操作者の要求に応じて、撮像端末装置100Aに各種動作を指示すると共に、撮像端末装置100Aからの画像データを受信/表示する機能を持っている。
【0031】
ここで、14は、撮像端末装置100Aから送信された画像データや応答データを受信、または、撮像端末装置100Aに対して制御データを送信するためのアンテナ、15は、アンテナ14にて受信した信号に対してSAWフィルタ処理を行ったり、後述する送信回路34からの信号に対してSAWフィルタ処理を行うためのSAWフィルタ、16は、SAWフィルタ15を経た信号を復調するための受信回路である。
【0032】
17は、受信した信号が画像データ、または、基準信号のときには、AD変換回路18を、応答データのときには、2値化回路24を、夫々選択して出力するセレクタ、18は、セレクタ17からの信号をアナログ−デジタル変換するAD変換回路、19は、AD変換回路18から入力される信号が画像データのときには補正回路21に、基準信号のときには補正テーブル作成回路20に、夫々切り換えて出力するセレクタである。
【0033】
20は、セレクタ19から入力される基準信号を基に、撮像端末装置100Aから受像端末装置100Bへの画像データの伝送に伴う伝送歪を取り除き、受信した画像データが元の基準信号になるような、入力/出力間の変換テーブルの値を作成し、補正回路21に格納する補正テーブル作成回路である。画像データの伝送歪は、撮像端末装置100Aと受像端末装置100Bの位置関係や周囲状況によって変化するが、この操作を随時行うことにより、それらの影響が全てまとめて補正される。21は、補正テーブルを基に、セレクタ19から入力される画像データに含まれる伝送歪を取り除く補正回路である。
【0034】
22は、補正回路21から入力された画像信号に対して、伝送中に生じたエラーの検出と補正を行う画像エラー検出/補正回路である。画像エラー検出/補正回路22によるエラーの検出は、フレームメモリ23に格納されている、前に伝送されたフレームの画像データとの比較で行い、エラー検出結果に応じて、画像データの補正や、CPU32による撮像端末装置100Aに対する画像データの再送信要求出力が行われる。23は、画像エラー検出/補正回路22からの画像データを格納するためのフレームメモリである。
【0035】
24は、セレクタ17から入力される応答データを2値化してデジタルデータに変換する2値化回路、25は、2値化回路24からの出力を一時格納する受信バッファ、26はバスである。
【0036】
27は、バス26を介して入力された画像データ等を格納するワークメモリ、28は、バス26を介して入力される表示用の画像データを格納する表示メモリ、29は、表示メモリ28に格納されている画像データを元にLCD30を駆動して画像データを表示させる表示回路である。
【0037】
31は、操作者が各種操作命令を入力するための操作ボタンである。32は、操作ボタン31により指示された命令を解釈し、それが撮像端末装置100Aに対するものであるときには、その命令に対応する制御データを作成し、バス26を介して送信バッファ33に書き込んだり、それ以外の、受像端末装置100B内の動作の制御を行ったりするCPUである。
【0038】
33は、撮像端末装置100Aに対して送信するデータを一時格納するための送信バッファ、34は、送信バッファ33に格納されているデータを搬送波により変調する送信回路である。35は、ワークメモリ27に格納されている画像データに対して各種の画像処理を実行する画像処理回路であり、表示用のY、Cb、Crデータへの変換、圧縮データへの変換等を行う。画像処理回路35により変換されたデータは、表示用のY、Cb、Crデータであれば表示メモリ28に、圧縮データであればメモリカード等の画像記録媒体36に、夫々、バス26を介して格納或いは書き込まれる。
【0039】
次に、動作について説明する。
【0040】
ここで、受像端末装置100Bは、撮像端末装置100Aから、撮像可能なモードであることを示す応答データを既に受信しているものとする。
【0041】
まず、受像端末装置100Bにおいて、操作者から操作ボタン31を介して撮像が指示されると、CPU32は、撮像端末装置100Aに対して撮像を指示する制御データを作成し、送信バッファ33に書き込む。送信バッファ33に書き込まれた制御データは、送信回路34、SAWフィルタ15、及びアンテナ14を経て送信される。
【0042】
受像端末装置100Bから送信された撮像を指示する制御データは、撮像端末装置100Aにおいて、先ず、アンテナ8により受信され、SAWフィルタ7、及び受信回路9を経てデジタル信号のデータ列に変換された後、受信バッファ10に格納される。受信バッファ10に格納された制御データは、制御回路11により読み出され、撮像動作が開始される。
【0043】
撮像動作においては、まず、レンズユニット1によってCMOSセンサ2上に結像されている被写体像が各画素毎にアナログ信号に変換される。CMOSセンサ2は、各画素から画素データを読み出し、アナログ信号のまま画像データとしてセレクタ5に出力する。画像データは、セレクタ5を介して送信回路6に出力され、送信回路6にて搬送波により変調された後に、SAWフィルタ7に出力される。そして、SAWフィルタ7にて処理された画像データは、アナログ信号のままアンテナ8により送信される。一方、基準信号回路3からは、適宜、基準信号が出力され、この基準信号は、セレクタ5、送信回路6、及びSAWフィルタ7を経てアンテナ8により送信されている。
【0044】
撮像端末装置100Aから送信されたアナログ信号のままの画像データは、受像端末装置100Bにおいて、アンテナ14により受信され、SAWフィルタ15、受信回路16、及びセレクタ17を経てAD変換回路によりデジタル信号に変換された後に、セレクタ19を経て補正回路21に入力される。補正回路21は、先行して受信した基準信号を基に補正テーブル作成回路20において作成されて格納された変換テーブルを用い、入力された画像データ中に含まれる伝送歪を取り除き、画像エラー検出/補正回路22に出力する。
【0045】
画像エラー検出/補正回路22は、入力された画像データと、先に受信し、フレームメモリ23に格納されている画像データとを比較し、エラー検出を行う。エラー検出結果に応じて、画像データの補正や、CPU32による撮像端末装置100Aに対する画像データの再送信要求出力等の処理が行われる。これらの詳しい処理については、後述する。
【0046】
画像エラー検出/補正回路22からの、処理後の画像データは、フレームメモリ23に格納されると共に、バス26を介してワークメモリ27にも格納される。ワークメモリ27に格納された画像データは、バス26を介して画像処理回路35に読み出され、表示用のY、Cr、Cbデータに変換された後に表示メモリ28に格納される。表示メモリ28に格納された表示用のデータは、表示回路29によりLCD30に表示される。ここで、操作ボタン31により画像記録媒体36への画像データの記録が指示されたときには、フレームメモリ23からバス26を介して画像データが画像処理回路35に読み出され、圧縮データに変換された後、画像記録媒体36に記録される。
【0047】
以上のようにして、被写体の撮像、送信、受信、表示または記録が行われる。
【0048】
次に、本システムの動作について、以下、図面を用いて詳細に説明する。
【0049】
従来、CCD等のエリアセンサからの動画像データの読み出しにおいては、フレームレートに合せて1画面毎に連続的に読み出しを行うのが一般的であるが、図3に示すように、本実施の形態においては、CMOSセンサ2の1画面を4つのデータブロックA〜Dに分け、各データブロック毎に画素データを連続的に読み出して出力する。例えば、CMOSセンサ2が、有効画素が水平648、垂直488の構成であるとすると、各データブロックの大きさは、水平648、垂直122の構成となる。
【0050】
さらに、図4に示すように、データブロック間に、撮像端末装置100Aと受信端末装置100Bとの間で制御データ及び応答データの通信を行うための期間を設けると共に、1画面の最後のデータブロック(図4では、データブロックD)送信後から次の1画面のデータ送信開始までの間に、制御データにより再送信が要求されたデータブロックの送信を行うための期間を設けている。
【0051】
このように、各データブロックの送信、制御データ及び応答データの通信、及び再送信を以って、1画面分の画像データに対する一連の処理が完了する。本実施の形態においては、この一連の処理にかかる期間が、受像端末装置100Bによる1画面分の画像データの表示期間(1フレーム期間)と略同一となるように設定する。具体的には、制御データ及び応答データの通信、及び再送信の実行に見合う分、各データブロックに係る画素データを高速に読み出して出力する。換言すれば、画素データをデータブロック毎に高速に読み出すことによって生じる画像データの送信の空き時間に、制御データ及び応答データの通信、再送信を行うものである。
【0052】
また、上述のように、各データブロックの間に、制御データ及び応答データを通信可能な期間を設けることにより、制御データに対するレスポンスを向上させている。即ち、制御データに対する応答データの送信、その応答データに基づいた制御データの再送信、等が1フレーム期間内で複数回実行可能となっているので、速やかな制御が可能である。例えば、本実施の形態では図示していないが、撮像端末装置100Aにズーム機構等のメカ部材が装着され、受像端末装置100Bから、それらのメカ部材の駆動を制御するための命令を制御データとして送信し、一方、撮像端末装置100Aから、その制御データに対する駆動結果や現在の位置等を応答データとして送信するように構成する場合に好適である。
【0053】
さらに、応答データを送信するタイミングは、図4に示したように、撮像端末装置100Aが制御データを受信した後に設定されている。これは、受像端末装置100Bからの状態問い合わせや動作指示に対し、撮像端末装置100Aが応答することが多いという事情を考慮したものであり、制御に対するレスポンスの向上を図るのに適した手順となっている。
【0054】
また、最後のデータブロック(ここでは、データブロックD)を送信し終えた後、制御データにより再送信が要求されたデータブロックの送信を行うための期間が設けられている。これは、受像端末装置100Bの画像エラー検出/補正回路22のエラー検出結果に応じて対象データブロックを再送信するために設けられた期間であり、ここでは、1データブロック分が設定されている。ここで再送信されるデータブロックの画像データは、CMOSセンサ2から該当するデータブロックの画素データを再度読み出すことで取得される。これは、CMOSセンサ2が非破壊読み出し可能なセンサである特性を利用したもので、これにより、再送信用の画像データを格納するフレームメモリ回路を別途設けることなく、データブロックの再送信を可能としている。なお、この再送信期間の終了を待って、CMOSセンサ2内の各画素の電荷が掃き出されるリセット動作が実行される。
【0055】
なお、再送信の要求がないときには、この再送信期間は、後述するように、撮像端末装置100Aが、自らの主要な部分の動作を停止し、制御データにより起動可能なスリープモードとなる期間となる。
【0056】
次に、撮像端末装置100Aの撮像動作と、受像端末装置100BのLCD30での画像表示との関係を、図5のタイミングチャートを用いて説明する。
【0057】
撮像動作は、先ず、CMOSセンサ2内の各画素に対応する電荷を掃き出すことでリセット動作が行われた後、発光機構12による発光動作が行われ、CMOSセンサ2の露光が行われる。本実施の形態では、図1に示すように、撮像端末装置100Aは、シャッタ等の外光の遮断手段を備えていない。CMOSセンサ2は、通常、リセット期間以外は露光動作を行うものであるが、本実施の形態では、発光機構12からの光以外の光はCMOSセンサ2に入光しない環境下において用いられているので、シャッタ等の外光の遮断手段を備えていなくとも、露光動作は、実質的に、発光機構12の発光終了時点で終了していることになる。
【0058】
発光機構12による発光動作は、図5に示すように、周期的に行われ、それに伴って露光された画像データが、撮像端末装置100Aから受像端末装置100Bに送信される。
【0059】
受像端末装置100Bは、図5に示したように、図4で説明した画像データの再送信期間の経過後に、受信した画像データから画像処理回路35により表示用のデータを作成し、表示メモリ28に書き込む。このように、画像処理回路35による表示用のデータ作成を再送信が行われるか否かに係りなく、再送信期間の経過後に行うようにすることで、動作シーケンスを簡略化している。
【0060】
そして、表示メモリ28に書き込まれた画像データは、表示回路29により読み出され、LCD30に表示される。
【0061】
なお、表示メモリ28には、2画面分のメモリエリアが用意されており、書込み完了後の所定の時間に表示が切り替えられるようになっている。
【0062】
また、図5に示したように、表示用の画像データの作成を、再送信期間経過後、次画面のデータブロックの送信開始までの短期間で終了することで、表示の遅れを最小限にして表示することを可能としている。
【0063】
次に、制御データ及び応答データの通信を含めた、撮像端末装置100Aと受像端末装置100Bとの間の通信について、図6のタイミングチャートを用いて説明する。ここでは、撮像端末装置100Aは、周期的に制御データの受信処理だけを行い、それ以外の期間では、低消費電力モードとなる待機モードにあり、一方、受像端末装置100Bは、操作者による指示待ちの状態になっているものとして説明を行う。
【0064】
まず、操作者の操作により、受像端末装置100Bは、撮像端末装置100Aに撮像動作の指示を行う「撮像指示動作」状態となり、撮像端末装置100Aを待機モードから撮像モードに変更する「撮像開始指示コマンド」を制御データとして送信する。
【0065】
撮像端末装置100Aは、制御データとして「撮像開始指示コマンド」を受信すると、「撮像モード」に移行し、「撮像開始応答コマンド」を応答データとして受像端末装置100Bに送信する。
【0066】
受像端末装置100Bは、応答コマンドとして撮像開始応答コマンドを受信すると、撮像端末装置100Aが撮像モードに移行したことを確認し、LCD30に動画像表示を行う「画像受信動作」状態となる。このように、撮像端末装置100Aが「撮像モード」、受像端末装置100Bが「画像受信動作」状態のときには、図3〜図5で説明したように、撮像端末装置100Aと受像端末装置100Bとの間で、画像データ、制御データ及び応答データ、が送信される。
【0067】
ここで、撮像端末装置100Aに対するスリープ動作の指示を、操作者が受像端末装置100Bに対して行うと、受像端末装置100Bは、「スリープ指示動作」状態となり、スリープ動作の開始の指示とスリープ期間を示すデータとを含む「スリープ実施指示コマンド」を制御データとして撮像端末装置100Aに送信する。
【0068】
撮像端末装置100Aは、制御データとして「スリープ実施指示コマンド」を受信すると、制御データ中で指定された時間、撮像端末装置100Aは、スリープ実行とスリープ終了時間を示すデータとを含む「スリープ開始応答コマンド」を応答データとして受像端末装置100Bに送信した後、スリープ動作に移行する。前述したように、スリープタイマ13の起動によりスリープ動作が終了すると、撮像端末装置100Aは、「スリープ終了応答コマンド」を応答データとして受像端末装置100Bに送信して、スリープ動作の終了を通知する。送信後、撮像端末装置100Aは、待機モードに移行し、受像端末装置100Bからの次の動作指示を待つ。
【0069】
一方、受像端末装置100Bは、「スリープ開始応答コマンド」を応答データとして受信した後に「スリープ終了待ち動作」状態となっており、LCD30に対してその旨の表示を行っている。ここで、受像端末装置100Bは、「スリープ終了応答コマンド」を応答データとして受信すると、応答データを受信した時間と、内部に保持しているスリープ動作の終了予定時間とを比較する。
【0070】
まだ終了予定時間が来ていないと判断した場合、CPU32が残り時間を計算し、計算された時間と共に、受像端末装置100Bは、再度、撮像端末装置100Aに対して「スリープ実施指示コマンド」を制御データとして送信する。一方、終了予定時間を過ぎていると判断した場合、受像端末装置100Bは、LCD30に撮像端末装置100Aのスリープ動作が終了したことを表示し、操作者に通知すると共に、撮像端末装置100Aに対して、スリープ解除後の予め決められた動作を実行させるためのコマンドを、制御データとして送信する。
【0071】
終了予定時間通りである場合には、受像端末装置100Bは、LCD30に撮像端末装置100Aのスリープ動作が終了したことを表示して操作者に通知し、「指示待ち」状態に移行する。
【0072】
次に、CMOSセンサ2からの画素データの読み出し方法について、図7乃至図10を用いて説明する。
【0073】
図7は、CMOSセンサ2の有効画素の配列と、実際の読み出し方法を示したものである。ここでは、CMOSセンサ2の画素は、ベイヤ配列で構成されているものとする。なお、ベイヤ配列は公知であるので、詳しい説明は省略する。
【0074】
ベイヤ配列では、水平方向の色フィルタがRGRGRG−−で構成されるラインと、GBGBGB−−−で構成されるラインが交互に並んでいる。通常行われる順次読出しでは、配列順にRGRGRG−−の順、若しくはGBGBGB−−の順に読み出されることになる。
【0075】
本実施の形態は、CMOSセンサ2からの画素データの読み出しを、ライン単位にライン上の同一色の画素を選択して連続に読み出すことに特徴がある。具体的には、RGRGRG−−のラインでは、RRRRとライン上のR画素を全て読み出した後、GGGGとG画素を読み出す。同様にして、GBGBGB−−−ラインでは、GGGGとライン上のG画素を全て読み出した後、BBBBBとB画素を読み出す。なお、CMOSセンサ2において、このような読み出しを行うためCMOSセンサの構造や読み出し回路については公知であるので、その説明は省略する。
【0076】
以上のような読み出しを行い、送信を行うことによる効果を、図8乃至図10を用いて説明する。
【0077】
図8は、CMOSセンサ2上のあるRGラインの光量分布の例である。
【0078】
このとき、従来のように、RGラインに対して順次読み出しを行った場合、その出力は、図9のようになる。ここでは、R画素とG画素の出力が大きく異なっているため、1画素毎に出力が大きく変動する。この状態のままアナログ信号として送信しようとする場合には、必要となる帯域は非常に広いものとなる。
【0079】
一方、RGラインの読み出しを本実施の形態のように行なった場合、その出力は、図10のようになる。この場合、R画素の画素データが連続して出力された後に、G画素の画素データが連続して出力されるため、アナログ信号として伝送する場合に必要となる帯域は、順次読み出しを行った場合に比べ、狭くてよいことが判る。すなわち限られた帯域で、効率的な送信が可能となる。
【0080】
なお、ここでは、CMOSセンサ2の水平方向の画素を14画素(R:7画素、G:7画素)として説明したが、実際には648画素となるので本方法による効果は更に大きくなる。
【0081】
次に、画像データが送信される際に行われる、受像端末装置100B側での伝送歪の除去手順について、図11乃至図13を用いて説明する。
【0082】
図11は、撮像端末装置100Aと受像端末装置100Bとの間、より詳しくは、送信回路6と受信回路16との間の通信特性を示した図である。撮像端末装置100Aにおける送信特性に、アンテナ8とアンテナ14との間の伝送空間の特性と、受像端末装置100Bのアンテナ14、SAWフィルタ15、及び受信回路16の特性が加わり、複雑な特性となっている。図13に、撮像端末装置100Aにおける送信特性(より詳しくは、送信回路6への入力とアンテナ8からの送信出力との入出力関係)の例を示す。ここでは、送信特性は、非線形なものとなっている。
【0083】
本実施の形態では、図12に示したような、予め定められた基準信号を基準信号回路3により作成して撮像端末装置100Aから送信し、受像端末装置100Bは、受信した基準信号に基づき、補正回路21を通過した基準信号が元の基準信号と一致するように、補正テーブル作成回路20により補正回路21に変換テーブルの値を設定する。具体的には、まず、撮像端末装置100Aから送信されてきた基準信号が、セレクタ19を介して、補正テーブル作成回路20に書き込まれる。基準信号は、図12に示した如く、送信回路6への入力電圧を時間に対して直線的に変化させたものであるので、補正テーブル作成回路20は、入力信号が元の基準信号となるように、変換テーブルの補正係数を補正回路21に設定する。
【0084】
このように変換テーブルが設定された補正回路21を経ることにより、画像データは、伝送歪を除去されて、次の画像エラー検出/補正回路22に送られる。
【0085】
これにより、予め定められた演算式を用いて補正する必要がなくなり、回路構成を簡便なものとすることが可能となる。
【0086】
ここで、画像データ、及び応答データの送信時に用いる出力について、図13を用いて説明する。
【0087】
図13に示すように、アナログ信号である画像データの送信時には、図中iv−aからiv−cで示した広い範囲の入力レンジを使い、2値信号である制御信号の伝送時には、図中iv−aからiv−bで示した狭い範囲の入力レンジを使うようにすることで、電気エネルギーの効率的使用が図られる。
【0088】
次に、画像エラー検出/補正回路22にて行われる処理について、図14乃至図15を用いて説明する。
【0089】
図14は、画像エラー検出/補正回路22の内部構成を示したものである。
【0090】
37は、補正回路21から入力される現画像データと、フレームメモリ23から入力される1画面前の前画像データとを比較することで伝送エラーを検出すると共に、伝送エラーと判定された画素に対しては、前画像データの画素データや現画像データ内の周辺画素を用いて公知の補間アルゴリズムを使用して補正データを作成して補正回路38に出力する比較検出回路、38は、比較検出回路37からの補正データに基づき、現画像データの補正を行う補正回路、39は、補正回路38にて補正された画像データを一時格納するバッファである。
【0091】
本実施の形態のような無線通信によるデータの送信では、伝送エラーは、比較的長い時間発生し、連続的にエラーとなるバーストエラーが多く発生する。その場合、水平方向の数ライン分のデータが欠落し、極端な値を取ることが多い。その場合、エラーが発生した部分は、1画面前の画面の同じ位置や同一画面内の上下のライン(周辺画素)との相関が極端に小さくなる。比較検出回路37では、以上の知見に基づいた方法でエラーを検出するようにしているが、相関の違いによるエラーの検出方法自体のアルゴリズムは、種々考案されており公知であるので、ここでは説明を省略する。
【0092】
次に、動作を説明する。
【0093】
まず、入力された現画像データは、比較検出回路37と補正回路38に入力される。比較検出回路37には、フレームメモリ23から前画像データが入力されており、比較検出回路37は、両画像データの比較から伝送エラーを検出すると共に、補正データを作成して補正回路38に出力する。
【0094】
補正回路38に入力されている現画像データは、補正回路38にて補正された後、バス26を介してワークメモリ27に書き込まれると共に、画像エラー検出/補正回路22内のバッファ39を通り、フレームメモリ23にも書き込まれる。
【0095】
ここで、画像データの伝送エラーの数は、各データブロック毎に比較検出回路37に記憶される。この記憶された伝送エラーの数は、バス26を介してCPU32により取り出され、それに基づき、再送信の指示が行われる。
【0096】
図15は、伝送エラーの数に基づき、CPUにより行われる処理のフローチャートである。
【0097】
CPU32は、1画面分の画像データが全て受信されるのを待ち(40)、その後、画像エラー検出/補正回路22内の比較検出回路37から各データブロック毎の伝送エラー数を、バス26を介して取り出す。何れのデータブロックにもエラーが検出されていなかった場合、再送信の要求はせず、再送信用の期間、撮像端末装置100Aをスリープ状態にするための処理(43)を行う。
【0098】
具体的には、最後のデータブロック(本実施の形態では、データブロックD)受信後に、CPU32は、スリープ命令とスリープ期間とを含む制御データを作成し、撮像端末装置100Aに対して送信する。撮像端末装置100Aは、その制御データを受信すると、スリープの実行及びスリープ期間とを含む応答データを受像端末装置100Bに対して送信する。その後、撮像端末装置100Aは、スリープタイマ13にスリープ期間をセットして、次の撮像開始までスリープ状態に入る。
【0099】
伝送エラーが検出されている場合、CPU32は、最も伝送エラーの多かったデータブロックの再送信を撮像端末装置100Aに実行させる処理(42)を行う。具体的には、最後のデータブロックを受信後、制御データの送信期間中に、CPU32は、再送信要求と対象となるデータブロックを指示した制御データを作成し、受像端末装置100Bから撮像端末装置100Aに送信させる。撮像端末装置100Aは、その制御データを受信すると、再送信を行うこと及び再送信するデータブロックの種類を含む応答データを受像端末装置100Bに送信する。その後、撮像端末装置100Aは、指示されたブロックの画像データを再送信する。
【0100】
受像端末装置100Bは、再送信されてきたデータに対してもエラー検出を同様に行い、伝送エラーの数が前回より少ない場合には、再送信されてきたデータブロックを使用し、エラーの数が前回よりも多かった場合には、前回のデータブロックを使用する。
【0101】
次に、一部の領域に注目して、その領域の更新を高速で行う高速表示モードでの動作について、図16乃至図17を用いて説明する。
【0102】
高速表示モードは、図16に示したように撮像画面上に注目範囲を指定し、その部分に係るLCD30上での表示を高速で更新するものである。ここでは、注目領域の更新をそれ以外の部分に比べ2倍の速度で行う場合について説明する。
【0103】
図17は、その場合のタイムチャートである。
【0104】
まず、発光機構12による発光が行われ、それに伴う画面全体の画像データが送信される。これは、図3乃至図5を用いて説明した内容と同様の手順で実施される。
【0105】
次の発光に伴う画像データの送信の際には、CMOSセンサ2は、注目範囲の画素データのみを読み出し、注目範囲の画像データとして撮像端末装置100Aから送信される。受信した、注目範囲の画像データに対して、受像端末装置100Bにて、上述のような伝送エラー検出が行われ、エラー発生時には、再送信が行われる。
【0106】
そして、受像端子装置100Bは、受信した注目範囲の画像データから更新用の表示データを作成し、その更新用のデータが、LCD30上に表示されている前画面の注目範囲に書き込まれ、高速表示が実施される。
【0107】
図17に示すように、注目範囲の画像データの送信と、通常画面の画像データの送信とが交互に行われ、注目範囲の画像データの更新が、それ以外の部分に比べ2倍の速度で行われる。
【0108】
なお、ここでは、LCD30上に表示されている画像全体の更新と注目範囲の更新を1対1の比率で行う例を示したが、撮像対象によって注目範囲の更新の比率をあげるようにすることは、勿論、可能である。
【0109】
なお、通常は、CMOSセンサ2による動画像撮像を30フレーム/秒のフレームレートで行うようにし、撮像端末装置100Aの駆動源である電池が消耗している時には、撮像端末装置100Aは、電池消耗状態であることを応答データを用いて受像端末装置100Bに送信し、フレームレートの変更を可能としてもよい。この場合、撮像端末装置100Aは、受像端末装置100Bからの制御データにより、フレームレートの低速化等の更なる省エネルギー動作を実施する。
【0110】
次に、本発明に係る第2の実施の形態を、図18乃至図20を用いて説明する。
【0111】
なお、第1の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【0112】
本実施の形態では、第1の実施の形態に対して、CMOS2及び発光機構12の代わりに、カラーフィルタを貼付していないCMOSセンサ45と、R、G、B光を順次発光する発光機構44とを備えて、所謂、面順次方式によりカラー画像を得るようにしている。
【0113】
また、本実施の形態では、動画像撮像時には、そのフレームレートを上げるために、CMOSセンサ45は、画素を間引いて画素データを読み出す、所謂、間引き読み出しを行い、他方、操作者の指示により、シャッタトリガ動作による静止画像撮像時には、解像度を上げるために、CMOSセンサ45は、全画素の画素データの読み出しを行うようにすることで、必要に応じたフレームレートと解像度の切り替えを可能としている。
【0114】
さらに、本実施の形態では、伝送エラーへの対応として、データブロック毎に送信時の搬送波の周波数を変更する、所謂、周波数ホッピングを用い、再送信が要求された場合、伝送エラーを起こさなかった搬送波の周波数を選択し、該当するデータブロックを送信することにより、伝送エラーの確率を低減することを可能としている。
【0115】
次に、本実施の形態の双方向データ通信システム200に用いられる撮像端末装置200A及び受像端末装置200Bの各構成について説明する。
【0116】
図18は、撮像端末装置200Aの構成を示したものである。
【0117】
上述の機能を実現するために、図1に示した撮像端末装置100Aに対して、R、G、B光を順次発光する発光機構44と、カラーフィルタを貼付していないCMOSセンサ45と、搬送波の周波数を変更する、所謂、「周波数ホッピング」の機能を実現するための搬送波作成回路48と、送信回路46と、受信回路47とが異なる。
【0118】
図19は、受像端末装置200Bの構成を示したものである。
【0119】
ここでも、上述の機能を実現するために、図2に示した受像端末装置100Bとは、復調用の周波数を作成する搬送波作成回路51と、送信回路50と、受信回路49とが異なる
次に、本実施の形態に係る動作を、図20に示す画像データの送信時のタイムチャートを用いて説明する。
【0120】
まず、撮像開始前に、受像端末装置200Bから、搬送波の周波数の切り替え(ホッピング)パターンを指示する制御データが送信される。撮像端末装置200Aは、受信した制御データに含まれている切り替えパターンに従って各データブロックで用いられる搬送波の周波数を決定し、搬送波作成回路48にセットする。また、この切り替えパターンは、受像端末装置200B側の搬送波作成回路51にもセットされる。
【0121】
撮像開始時、発光機構44により、R、G、B、R、……の順に発光が行われ、CMOSセンサ45は、第1の実施の形態と同様に(図3参照)、各発光タイミングにおける1画面の画素データを4つのデータブロックに分けて読み出し、出力する。
【0122】
4つのデータブロックは、セレクタ5を経て送信回路46に入力される。送信回路46は、搬送波作成回路48より入力される各データブロックに割り当てられた搬送波を用いて各データブロックを変調し、変調されたデータブロックは、SAWフィルタ7、アンテナ8を経て送信される。
【0123】
撮像端末装置200Aから送信されたデータブロックは、受像端末装置200Bにおいて、アンテナ14により受信され、SAWフィルタ15を経て、受信回路49に入力される。受信回路49は、搬送波作成回路51より入力される、変調を行った搬送波の周波数に対応した復調用の周波数を用いて各データブロックを復調する。
【0124】
復調されたデータブロックは、セレクタ17を経てAD変換回路18によりデジタル信号に変換された後に、セレクタ19を経て補正回路21に入力される。補正回路21は、入力されたデータブロック中に含まれる伝送歪を取り除き、画像エラー検出/補正回路22に出力する。
【0125】
画像エラー検出/補正回路22は、第1の実施の形態と同様なエラー検出を行い、その結果をデータブロック毎に保持する。CPU32は、その保持されているエラー検出結果を読み出して判定を行い、エラー発生時には、エラーの一番少なかったデータブロックで使用された周波数を再送信時に用いるように、制御データを用いて撮像端末装置200Aに対して指示を行う。エラーがなかった場合は、CPU32は、第1の実施の形態と同様に、撮像端末装置200Aに対して、再送信期間に対応する期間中、スリープ動作となるように制御データを送信する。
【0126】
以上のようにして、R、G、Bの各画像データを全て受信後、受像端末装置200Bは、図20に示すように、表示データ作成期間中に各色の画像データを用いて表示用の画像データを作成し、LCD30に表示する。
【0127】
なお、上記説明では、各データブロックの変調に用いる搬送波の周波数及び再送信用の搬送波の周波数を、受像端末装置200Bからの指示に従って設定するようにしているが、撮像端末装置200A側で、予め各データブロックに用いる搬送波の周波数の順番を決めておき、再送信が指示されたときには、再送信が指示されたデータブロックの送信に用いた搬送波の周波数の順番を最後に移動させ、最初に来た搬送波の周波数を用いて、データブロックの再送信を行うようにしても良い。
【0128】
次に、本発明に係る第3の実施の形態を、図21乃至図23を用いて説明する。
【0129】
なお、第1の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【0130】
第1及び第2の実施の形態とは異なり、本実施の形態の双方向データ通信システム300に用いる撮像端末装置300Aは、外光のある通常の環境下で用いられるもので、撮像時以外の期間にCMOSセンサ2に外光が入射しないように、そのためのシャッタユニット52を備えるものである。動画像撮像時は、シャッタユニット52は開放状態とし、静止画像撮像時は、シャッタユニット52は閉−開−閉のシャッタトリガ動作を行う。
【0131】
以下、撮像端末装置300Aの構成と動作について説明する。
【0132】
図21は、撮像端末装置300Aの構成を示したものである。
【0133】
撮像端末装置300Aは、レンズユニット1とCMOSセンサ2との間に、シャッタユニット52が配置されている。シャッタユニット52は、制御回路11によりその動作の制御が行われる。
【0134】
図23は、動画像撮像時のタイムチャートである。
【0135】
動画像撮像時、シャッタユニット52は開放状態のままであるため、露光時間の違いを起こさせないために、第1の実施の形態のように複数のデータブロックに分割して送信することは行わず、撮像された画像データは、1画面分まとめて時間圧縮して読み出され、上述のような処理が行われた後、受像端末装置300B(図示しないが、基本構成は、図2と同様なものである)に送信される。
【0136】
受像端末装置300Bは、受信した画像データに対して第1又は第2の実施の形態で述べたような処理を行った後、伝送エラーの検出を行う。伝送エラーを検出した場合、伝送エラーの量が一定量以下なら、受像端末装置300Bは、伝送エラーを起こした部分の画像データの領域の再送信を要求する制御データを撮像端末装置300Aに送信する。撮像端末装置300Aは、再送信を要求する制御データを受信すると、CMOSセンサ2から、該当する領域の画像データを再度読み出して送信する。送信終了後、撮像端末300Aは、CMOSセンサ2のリセット動作を行う。一方、受像端末装置300Bは、再送信された画像データを受信すると、先の画像データと合わせて表示用の画像データの作成を行う。
【0137】
伝送エラーの量が一定以上の場合には、受像端末装置300Bは、再送信を要求する制御データの送信は行わない。
【0138】
図23は、受像端末装置300B内のCPU32が行う、エラー判定と再送信に係る処理を説明するためのフローチャートである。
【0139】
まず、CPU32は、1画面分の画像データが全て受信されるのを待ち(53)、その後、画像エラー検出/補正回路22内の比較検出回路37から1画面内の伝送エラー数を読み出し、エラー判定を行う(54)。
【0140】
エラーがないか、或いはエラーが多すぎて再送信が行えない場合、CPU32は、再送信の要求はせず、再送信期間に対応する期間、撮像端末装置300Aをスリープ状態にするための制御データを送信する処理(56)を行う。なお、エラーが多すぎた場合、伝送エラーの量が一定量以上の場合、送信に必要な期間が再送信期間の最大許容時間を超えるので、CPU32は、その1画面の画像データを破棄するためのフラグの設定を行う(図示せず)。その後、その1画面の画像データは破棄される。
【0141】
一方、伝送エラーの量が再送信可能な量の場合、CPU32は、再送信を要求する範囲を決定し、その範囲と再送信の要求を含む制御データを送信させる(55)。
【0142】
なお、静止画撮像時は、撮像端末装置300Aでの露光期間にシャッタユニット52が動作する以外は、第1の実施の形態における動作と同様であるので、説明は省略する。
【0143】
【発明の効果】
以上説明したように、本発明の請求項1に記載の双方向データ通信システムによれば、画像データの伝送を時間圧縮して行うため、双方向のデータ通信の期間を設けることができる。また、請求項2によれば、画像データをアナログ信号で送るため、消費電力を低減することが可能となる。また、請求項3によれば、撮像端末装置からも応答データを送ることが可能となる。また、請求項4から6によれば、画像データに対するエラー検出を、受信した画像データの周辺画像や、先行して受信した画像データとの比較により行うため、撮像端末装置でのエラー訂正用コードの付加が不要となり、消費電力を低減することが可能となる。
【0144】
また、請求項7によれば、1画面分の画像データを複数のブロックに分け、ブロック単位でエラー検出と再送信を行うため、再送信等の手続きを容易に行うことができる。また、請求項8によれば、面順次の画像データの取得が可能になると共に、固体エリアセンサを用いることで、固体エリアセンサ自体にエラー発生時の再送信用の画像データを保存することが可能となるため、専用のメモリを備える必要がなくなり、部品点数の削減と、消費電力の低減が可能となる。
【0145】
また、請求項9によれば、狭い帯域での伝送が可能となるため、消費電力を低減でき、且つ、高品質な通信が可能になる。また、請求項10によれば、間引き読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。また、請求項11によれば、特定エリアからの読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。
【0146】
また、請求項12によれば、制御データによる指示がない場合、撮像端末装置はスリープモードに移行して自らの主要な部分の動作を停止し、スリープモード解除後には、スリープモードが解除されたことを受像端末装置に送信し、新たな撮像を開始することが可能であるため、撮像端末装置の消費電力を低減することができる。また、請求項13によれば、予め判っている基準信号送り、それに基づいて送信データの線形性を保証するための補正テーブルを作成し、この補正テーブルを用いて送信されてきた画像データを補正するため、消費電力の少ない非線形の送信/受信装置を使った場合でも、線形性を保ってアナログの画像データの送信が可能となる。
【図面の簡単な説明】
【図1】本発明に係る双方向データ通信システムに採用される撮像端末装置を示すブロック図。
【図2】本発明に係る双方向データ通信システムに採用される受像端末装置を示すブロック図。
【図3】送信ブロックの構成を示す説明図。
【図4】通信時の信号配置を示す説明図。
【図5】画像信号の送信タイムチャート。
【図6】撮像シーケンスを示すシーケンス図。
【図7】CMOSセンサの画素構成と読み出し順を説明するための説明図。
【図8】入射光量を示すグラフ。
【図9】センサ出力を示すグラフ。
【図10】センサ出力を示すグラフ。
【図11】通信の総合特性を示すグラフ。
【図12】基準波形を示す波形図。
【図13】送信回路の送信特性を示すグラフ。
【図14】図2中の画像エラー検出/補正回路22の具体的な構成を示すブロック図。
【図15】画像エラーの検出フローを示すフローチャート。
【図16】更新領域を示す説明図。
【図17】画像信号の送信タイムチャート。
【図18】第2の実施の形態に採用される撮像端末装置を示すブロック図。
【図19】第2の実施の形態に採用される受像端末装置を示すブロック図。
【図20】画像信号の送信タイムチャート。
【図21】第3の実施の形態に採用される撮像端末装置を示すブロック図。
【図22】画像信号の送信タイムチャート。
【図23】画像信号のエラー検出プログラムを示すフローチャート。
【符号の説明】
2…CMOSセンサ、3…基準信号回路、5,17,19…セレクタ、6,34…送信回路、8,14…アンテナ、9,16…受信回路、11…制御回路、12…発光機構、20…補正テーブル作成回路、21…補正テーブル、22…画像エラー検出/補正回路、29…表示回路、30…LCD、32…CPU。
Claims (13)
- 被写体を撮像して画像データを生成する撮像端末装置と、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置と受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、
前記撮像端末装置は、1画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、1画面分の前記画像データの表示期間と略同一となるように、送信する1画面分の前記画像データを時間圧縮することを特徴とする双方向データ通信システム。 - 前記撮像端末装置は、前記画像データをアナログ信号で送信することを特徴とする請求項1に記載の双方向データ通信システム。
- 前記撮像端末装置は、1画面分の前記画像データを送信する期間内であって、前記画像データの送信及び前記制御データの受信が行われている期間とは異なる期間に、自らの動作状態を示す応答データを送信することを特徴とする請求項1に記載の双方向データ通信システム。
- 前記受像端末装置は、受信した前記画像データに対し、送信に係るエラー検出を行うことを特徴とする請求項1に記載の双方向データ通信システム。
- 前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素とその周辺画素との比較で行うことを特徴とする請求項4に記載の双方向データ通信システム。
- 前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素と、先行して受信した前記画像データ中のエラー検出対象画素及び周辺画素との比較により行うことを特徴とする請求項4に記載の双方向データ通信システム。
- 前記撮像端末装置は、1画面分の画像データを複数のブロックに分割したデータブロック単位で送信を行うと共に、前記受像端末装置は、前記エラー検出をこのデータブロック単位で行い、エラーが検出された前記データブロックに対しては、対応するデータブロックの再送信を要求する命令を前記制御データの一部として送信することを特徴とする請求項4に記載の双方向データ通信システム。
- 前記撮像端末装置は、その受光面にカラーフィルタが貼付されていない固体エリアセンサと、複数の色成分の各々を順次発光する発光装置を有し、前記撮像端末装置は、各色成分を順次発光して得られた各色成分に対応する各画像データを送信すると共に、前記受像端末装置は、エラーが検出された色成分の画像データに対しては、エラーが検出されたエリアに係る、同色の画像データの再送信を要求する命令を前記制御データの一部として送信することを特徴とする請求項4に記載の双方向データ通信システム。
- 前記撮像端末装置は、その受光面にカラーフィルタが貼付された固体エリアセンサを有し、前記撮像端末装置は、この固体エリアセンサに対して、前記カラーフィルタ上の同色部分に対応する画素を選択して読み出しを行うことを特徴とする請求項2に記載の双方向データ通信システム。
- 前記撮像端末装置は、前記撮像素子に対して、画素を間引いて読み出しを行うことを特徴とする請求項2に記載の双方向データ通信システム。
- 前記撮像端末装置は、前記撮像素子に対して、特定のエリアの画素から読み出しを行うことを特徴とする請求項2に記載の双方向データ通信システム。
- 前記撮像端末装置は、自らの主要な部分の動作を停止する、前記制御データにより起動可能なスリープモードを有し、このスリープモードを解除したとき、前記応答データにスリープモードが終了したことを示すコマンドを含めて送信することを特徴とする請求項3に記載の双方向データ通信システム。
- 前記撮像端末装置は、前記受像端末装置が受信した前記画像データに含まれる送信歪を検出するための基準信号を作成する基準信号作成装置を有し、一方、前記受像端末装置は、受信した前記基準信号に基づき、前記送信歪を画像データから除去するための補正テーブルを生成する補正テーブル作成装置を有することを特徴とする請求項2に記載の双方向データ通信システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003191394A JP2005027120A (ja) | 2003-07-03 | 2003-07-03 | 双方向データ通信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003191394A JP2005027120A (ja) | 2003-07-03 | 2003-07-03 | 双方向データ通信システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005027120A true JP2005027120A (ja) | 2005-01-27 |
Family
ID=34189020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003191394A Pending JP2005027120A (ja) | 2003-07-03 | 2003-07-03 | 双方向データ通信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005027120A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238205A (ja) * | 2005-02-25 | 2006-09-07 | Canon Inc | 撮像装置及び撮像方法 |
| JP2007228367A (ja) * | 2006-02-24 | 2007-09-06 | Kyocera Corp | 感度補正方法および撮像装置 |
| JP2009159440A (ja) * | 2007-12-27 | 2009-07-16 | Kyocera Corp | 通信装置、通信システムおよび通信方法 |
| JP2010102702A (ja) * | 2008-09-29 | 2010-05-06 | Intel Corp | DisplayPortに準拠したインターフェースにおけるプロトコル拡張 |
| US8643658B2 (en) | 2009-12-30 | 2014-02-04 | Intel Corporation | Techniques for aligning frame data |
| US8743105B2 (en) | 2008-11-18 | 2014-06-03 | Intel Corporation | Techniques to control self refresh display functionality |
| US8823721B2 (en) | 2009-12-30 | 2014-09-02 | Intel Corporation | Techniques for aligning frame data |
| US8941592B2 (en) | 2010-09-24 | 2015-01-27 | Intel Corporation | Techniques to control display activity |
| JP2015509634A (ja) * | 2012-03-01 | 2015-03-30 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 複数のタイプのセンサーからの情報に基づくジェスチャー検出 |
| US9052902B2 (en) | 2010-09-24 | 2015-06-09 | Intel Corporation | Techniques to transmit commands to a target device to reduce power consumption |
| US9571797B2 (en) | 2007-01-29 | 2017-02-14 | Sony Corporation | Network equipment, network system and surveillance camera system |
| US9865233B2 (en) | 2008-12-30 | 2018-01-09 | Intel Corporation | Hybrid graphics display power management |
| US20180098391A1 (en) * | 2015-04-06 | 2018-04-05 | Panasonic Corporation | Food cooking system |
| JP2022002701A (ja) * | 2020-06-23 | 2022-01-11 | オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung | 内視鏡観察法、内視鏡観察システム、およびソフトウェアプログラム製品 |
-
2003
- 2003-07-03 JP JP2003191394A patent/JP2005027120A/ja active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238205A (ja) * | 2005-02-25 | 2006-09-07 | Canon Inc | 撮像装置及び撮像方法 |
| JP2007228367A (ja) * | 2006-02-24 | 2007-09-06 | Kyocera Corp | 感度補正方法および撮像装置 |
| US9571797B2 (en) | 2007-01-29 | 2017-02-14 | Sony Corporation | Network equipment, network system and surveillance camera system |
| JP2009159440A (ja) * | 2007-12-27 | 2009-07-16 | Kyocera Corp | 通信装置、通信システムおよび通信方法 |
| US8411586B2 (en) | 2008-09-29 | 2013-04-02 | Intel Corporation | Display port compatible interface communications |
| US8121060B2 (en) | 2008-09-29 | 2012-02-21 | Intel Corporation | Protocol extensions in a display port compatible interface |
| JP2010102702A (ja) * | 2008-09-29 | 2010-05-06 | Intel Corp | DisplayPortに準拠したインターフェースにおけるプロトコル拡張 |
| US9141170B2 (en) | 2008-11-18 | 2015-09-22 | Intel Corporation | Techniques to control self refresh display functionality |
| US8743105B2 (en) | 2008-11-18 | 2014-06-03 | Intel Corporation | Techniques to control self refresh display functionality |
| US9110665B2 (en) | 2008-11-18 | 2015-08-18 | Intel Corporation | Techniques to control self refresh display functionality |
| US9116697B2 (en) | 2008-11-18 | 2015-08-25 | Intel Corporation | Techniques to control self refresh display functionality |
| US9865233B2 (en) | 2008-12-30 | 2018-01-09 | Intel Corporation | Hybrid graphics display power management |
| US8643658B2 (en) | 2009-12-30 | 2014-02-04 | Intel Corporation | Techniques for aligning frame data |
| US8823721B2 (en) | 2009-12-30 | 2014-09-02 | Intel Corporation | Techniques for aligning frame data |
| US8941592B2 (en) | 2010-09-24 | 2015-01-27 | Intel Corporation | Techniques to control display activity |
| US9052902B2 (en) | 2010-09-24 | 2015-06-09 | Intel Corporation | Techniques to transmit commands to a target device to reduce power consumption |
| JP2015509634A (ja) * | 2012-03-01 | 2015-03-30 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 複数のタイプのセンサーからの情報に基づくジェスチャー検出 |
| US20180098391A1 (en) * | 2015-04-06 | 2018-04-05 | Panasonic Corporation | Food cooking system |
| JP2022002701A (ja) * | 2020-06-23 | 2022-01-11 | オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung | 内視鏡観察法、内視鏡観察システム、およびソフトウェアプログラム製品 |
| JP7261835B2 (ja) | 2020-06-23 | 2023-04-20 | オリンパス ビンテル ウント イーベーエー ゲーエムベーハー | 内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 |
| US11857165B2 (en) | 2020-06-23 | 2024-01-02 | Olympus Winter & Ibe Gmbh | Method for endoscopic imaging, endoscopic imaging system and software program product |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005027120A (ja) | 双方向データ通信システム | |
| US8917313B2 (en) | Image capturing apparatus and image capturing method | |
| WO2009098877A1 (ja) | 画像処理装置、及び画像処理方法 | |
| JP4862741B2 (ja) | 撮像装置、撮像信号処理方法、プログラム | |
| JP2007221273A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2014171532A (ja) | 表示制御装置、表示制御方法及びプログラム | |
| JP2001309227A (ja) | 映像の大きさ調節が可能な撮影装置及びその制御方法 | |
| CN1972413A (zh) | 摄像装置、摄像方法以及程序 | |
| JP4268891B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP2005177958A (ja) | 遠隔操作システム | |
| JP2006080860A (ja) | カメラ及びカメラ画像転送システム | |
| JP2007282097A (ja) | デジタルカメラおよびその制御方法 | |
| JP4281724B2 (ja) | 撮像装置および方法 | |
| JP2005244289A (ja) | 画像データ通信システム | |
| JP3743238B2 (ja) | デジタルカメラ | |
| JP3947912B2 (ja) | 画像信号処理装置 | |
| JP2000299813A (ja) | 電子撮像装置 | |
| JP2001157106A (ja) | 固体撮像装置 | |
| JP6419265B2 (ja) | 画像処理装置、制御方法及びプログラム | |
| CN1700734B (zh) | 固态成像装置的图像拾取装置和驱动控制方法 | |
| JP4449692B2 (ja) | 電子カメラ | |
| WO2019176309A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
| JP2007228073A (ja) | レンズユニット及びデジタルカメラ | |
| JP4336827B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP2010074378A (ja) | カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091006 |