[go: up one dir, main page]

JP2007208781A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2007208781A
JP2007208781A JP2006026746A JP2006026746A JP2007208781A JP 2007208781 A JP2007208781 A JP 2007208781A JP 2006026746 A JP2006026746 A JP 2006026746A JP 2006026746 A JP2006026746 A JP 2006026746A JP 2007208781 A JP2007208781 A JP 2007208781A
Authority
JP
Japan
Prior art keywords
imaging
initial setting
pattern
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006026746A
Other languages
English (en)
Inventor
Kaoru Kotoda
薫 古藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006026746A priority Critical patent/JP2007208781A/ja
Priority to US11/700,250 priority patent/US7969473B2/en
Publication of JP2007208781A publication Critical patent/JP2007208781A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0031Implanted circuitry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

【課題】回路構成をより簡易にすることができる撮像装置を提供する。
【解決手段】撮像部101,111,121と画像通信処理部138は、単一のバス131によって接続されている。撮像部101の出力コントロール部106は、画像データの出力に続いて、画像データの出力終了を示す画像データ終了パターンをバス131に出力する。撮像部111の終了パターン検出部119はこの画像データ終了パターンを検出し、撮像動作開始信号119aを出力する。撮像動作開始信号119aに基づいて、撮像部111は撮像および画像データの出力動作を開始する。
【選択図】図1

Description

本発明は、複数の撮像部を有する監視カメラや内視鏡等に使用される撮像装置に関し、特に複数の撮像部により撮像した画像を単一の処理系および伝送路にて処理および伝送する撮像装置に関する。
監視カメラや内視鏡等では、1つの筐体内に複数の撮像部を設け、広い視野の撮影をする要望がある。例えば、特許文献1では、体腔の広域画像を形成するシステムが提案されている。この例では、光路の異なる複数の撮像部を搭載した内視鏡で広い視野の撮影を行い、それぞれの撮像部からの映像を体外へ送出している。
また、特許文献2では、複数の撮像部から出力された信号が入力された単一の処理回路がその信号を蓄積および出力するシステムが開示されている。図23に、このシステムの構成を示す。撮像部2301および2302は、撮像した映像を画像信号として出力する。それぞれの画像信号は映像信号切換え回路2303に入力される。映像信号切換え回路2303は、パルス発生モード制御部2305から出力される制御信号と、切換えパルス発生回路2304から出力される切換えタイミング信号により、2つの画像信号の切換えを行い、信号処理回路2306へ出力している。
同期信号発生回路2307は、各撮像部を同期して動かすための同期信号や、切換えパルス発生回路2304および信号処理回路2306の処理タイミングを生成するための各種タイミング信号を出力している。信号処理回路2306は、入力された画像信号に所定の処理を行う。処理が行われた画像信号はビデオテープレコーダ部2308に記録される。また、記録された画像は、ビデオテープレコーダ部2308より映像出力として、図示しない表示装置に出力される。
特表2005−503182号公報 特開平1−174178号公報
従来、各種の電子機器について、より簡易な回路構成が要請されている。しかし、上述した従来技術では、複数の撮像部を備えたシステムについて、簡易な回路構成を実現する具体的な手段は開示されていない。本発明は、上述した問題点に鑑みてなされたものであって、回路構成をより簡易にすることができる撮像装置を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、撮像によって画像データを生成し、出力する第1および第2の撮像手段を少なくとも含む複数の撮像手段(図1の撮像部101,111,121に対応)と、前記画像データに所定の画像処理を行う画像処理手段(図1の画像処理部132に対応)とを有する撮像装置において、前記第1および第2の撮像手段と前記画像処理手段とを接続する単一のバス(図1のバス131に対応)をさらに有し、前記第1の撮像手段は、前記画像データの出力終了を示す画像データ終了パターンを前記バスに出力する画像データ終了パターン出力手段(図1の終了パターン生成部104,114,124、出力コントロール部106,116,126に対応)を有し、前記第2の撮像手段は、前記第1の撮像手段から出力された前記画像データ終了パターンを検出する画像データ終了パターン検出手段(図1の終了パターン検出部109,119,129に対応)を有し、前記画像データ終了パターン検出手段によって、前記画像データ終了パターンが検出された場合に撮像および前記画像データの出力動作を開始することを特徴とする撮像装置である。
また、本発明の撮像装置において、前記第1の撮像手段は、前記画像データの出力開始を示す画像データ開始パターンを前記バスに出力する画像データ開始パターン出力手段(図1の開始パターン生成部103,113,123、出力コントロール部106,116,126に対応)をさらに有し、前記画像処理手段は、前記第1の撮像手段から出力された前記画像データ開始パターンを検出する画像データ開始パターン検出手段(図1の開始パターン検出部133に対応)をさらに有し、前記画像データ開始パターン検出手段によって前記画像データ開始パターンが検出された場合に前記画像処理を開始することを特徴とする。
また、本発明は、撮像によって画像データを生成し、出力する第1および第2の撮像手段を少なくとも含む複数の撮像手段(図13の撮像部1301,1311に対応)と、前記画像データに所定の画像処理を行う画像処理手段(図13の画像処理部1328に対応)とを有する撮像装置において、前記第1および第2の撮像手段と前記画像処理手段とを接続する単一のバス(図13のバス1321に対応)をさらに有し、前記第1の撮像手段は、前記画像データの出力開始を示す画像データ開始パターンを前記バスに出力する画像データ開始パターン出力手段(図13の開始パターン生成部1303,1313、出力コントロール部1306,1316に対応)をさらに有し、前記第2の撮像手段は、前記画像処理の終了を示す画像処理終了パターンを前記バスから検出する画像処理終了パターン検出手段(図13の終了パターン検出部1308,1318に対応)をさらに有し、前記画像処理手段は、前記第1の撮像手段から出力された前記画像データ開始パターンを検出する画像データ開始パターン検出手段(図13の開始パターン検出部1323に対応)と、前記画像処理の終了タイミングに同期して、前記第2の撮像手段に対応した前記画像処理終了パターンを前記バスに出力する画像処理終了パターン出力手段(図13の終了パターン生成部1326に対応)とをさらに有し、前記第2の撮像手段は、前記画像処理終了パターン検出手段によって前記画像処理終了パターンが検出された場合に、撮像および前記画像データの出力動作を開始し、前記画像処理手段は、前記画像データ開始パターン検出手段によって前記画像データ開始パターンが検出された場合に、前記画像データの画像処理を開始することを特徴とする撮像装置である。
また、本発明の撮像装置において、前記画像処理手段は、前記画像処理の終了から撮像開始までの時間に係る遅延情報を前記画像処理終了パターンに付加する遅延情報付加手段(図13の終了パターン生成部1326に対応)をさらに有し、前記第2の撮像手段は、前記画像処理終了パターンに付加された前記遅延情報に基づいて撮像開始タイミングを制御する撮像開始タイミング制御手段(図13の終了パターン検出部1318に対応)をさらに有し、前記画像処理終了パターンが検出されてから、前記遅延情報に基づいた時間が経過した後に撮像を開始することを特徴とする。
また、本発明の撮像装置において、前記第1の撮像手段の撮像範囲を照明する第1の照明手段(図11の照明部1101に対応)と、前記第2の撮像手段の撮像範囲を照明する第2の照明手段(図11の照明部1103に対応)とをさらに有し、前記第1の撮像手段は、前記第1の照明手段を駆動する第1の照明信号(図13の照明パルス1307aに対応)を生成する自励照明信号生成手段(図13のタイミング生成部1307に対応)と、前記第1の照明信号の生成後、照明同期パターンを前記バス上に出力する照明同期パターン出力手段(図13の照明パターン生成部1305、出力コントロール部1306に対応)とをさらに有し、前記第2の撮像手段は、前記バス上の前記照明同期パターンを検出する照明同期パターン検出手段(図13の照明パターン検出部1315に対応)と、前記照明同期パターン検出手段によって前記照明同期パターンが検出された場合に、前記第2の照明手段を駆動する第2の照明信号(図13の照明パルス1317aに対応)を生成する他励照明信号生成手段(図13のタイミング生成部1317に対応)とをさらに有することを特徴とする。
また、本発明の撮像装置において、前記第1の撮像手段は、前記第2の撮像手段の動作モードの設定に係る初期設定データの出力開始を示す初期設定開始パターンを前記バスに出力する初期設定開始パターン出力手段(図8の初期設定パターン生成部806、出力コントロール部809に対応)と、前記初期設定開始パターンの出力後、前記初期設定データを前記バスに出力する初期設定データ出力手段(図8の初期設定データ生成部807、出力コントロール部809に対応)とをさらに有し、前記第2の撮像手段は、前記初期設定データが格納される初期設定データ格納手段(図8のスレーブ初期設定レジスタ813,819に対応)と、前記バス上の前記初期設定開始パターンを検出する初期設定開始パターン検出手段(図8の初期設定パターン検出部816,822に対応)と、前記初期設定開始パターン検出手段によって前記初期設定開始パターンが検出された場合に、前記バス上の前記初期設定データを受信して前記初期設定データ格納手段に格納する初期設定データ受信手段(図8の初期設定値受信部815,821に対応)とをさらに有することを特徴とする。
また、本発明の撮像装置において、前記第2の撮像手段は、前記第1の撮像手段の動作モードの設定に係る初期設定データの出力開始を示す初期設定開始パターンを前記バスに出力する初期設定開始パターン出力手段と、前記初期設定開始パターンの出力後、前記初期設定データを前記バスに出力する初期設定データ出力手段とをさらに有し、前記第1の撮像手段は、前記初期設定データが格納される初期設定データ格納手段と、前記バス上の前記初期設定開始パターンを検出する初期設定開始パターン検出手段と、前記初期設定開始パターン検出手段によって前記初期設定開始パターンが検出された場合に、前記バス上の前記初期設定データを受信して前記初期設定データ格納手段に格納する初期設定データ受信手段とをさらに有することを特徴とする。
本発明によれば、各撮像手段と画像処理手段とを単一のバスで接続したので、各撮像手段と画像処理手段とを接続する信号線を削減し、回路構成をより簡易にすることができるという効果が得られる。
以下、図面を参照し、本発明の実施形態を説明する。まず、本発明の第1の実施形態を説明する。図2は、本発明の撮像装置を適用した監視カメラシステムの概略構成を示している。一般に監視カメラシステムでは、広範囲を撮影することが望ましい。このため、本実施形態による監視カメラ用撮像通信装置201は3つの撮像部201a〜201cを有し、それぞれの撮像部201a〜201cは別々の場所を撮影している。撮像された画像は、有線の伝送路207を介して、モニタ室等に設置された画像表示蓄積装置206に伝送される。画像表示蓄積装置206では、受信部203がデータの受信を行う。受信された画像(受信画像203a)は画像蓄積部205に蓄積されると共に表示画像処理部204に入力される。画像(受信画像203aまたは蓄積画像205a)に対して表示画像処理部204で各種処理が施された後、モニタ202に画像が表示される。
図3は、図2に示した監視カメラ用撮像通信装置201の構成を示している。図2の撮像部201a〜201cのそれぞれに対応した撮像部301〜303は、それぞれ単一のバス304により、画像処理部305に接続されている。最終的に伝送路が単一であるため、各撮像部は時分割で撮像(撮像素子内の光センサからの画像信号の読み出し)を順次行う。画像処理部305は、時分割で入力される画像に対して画像処理(ガンマ補正、ホワイトバランス等の処理)を行う。画像処理部305により処理されたデータ(処理データ305a)は通信部306に入力される。
通信部306は、入力された処理データ305aを、通信に適した形式のデータへ変換する。すなわち、通信部306は冗長コードの付加や、伝送路に適したLVDS(Low Voltage Differential Signaling)等の電気信号への変換を行い、伝送路307(図2の伝送路207に対応)にデータを出力する。各撮像部における出力データ形式や撮像範囲等の初期設定値は初期設定値格納メモリ308に蓄えられており、I2Cバス309を介して初期設定値格納メモリ308から読み出され、後述するようにバス304を介して各撮像部の設定レジスタに書き込まれる。
監視カメラ用撮像通信装置201の全体動作の概略タイミングを図4のタイミングチャートに示す。このタイミングチャートに示すように、撮像部301〜303は、被写体を撮像する撮像動作を順次行う。また、撮像部301が撮像を行い(撮像−1)、デジタル化されたベイヤ形式等の撮像データ(撮像データ−1)をバス304上に出力する。この撮像データは画像処理部305に入力される。画像処理部305は、この撮像データに対して、ガンマ補正やホワイトバランス等の画像処理や、後段で処理しやすいYUV422形式等へのデータ形式の変換を行う。
画像処理部305で処理された処理データは通信部306に出力される。通信部306は、この処理データに対して、通信のための8−10変換や、通信上のノイズに対応するためのエラー訂正用の冗長ビットの付加等を行い、伝送路307へ出力する。撮像部301の動作終了後、撮像部302が撮像を開始し、撮像部301と同様の動作をする。さらに、撮像部302の動作終了後、撮像部303が撮像を開始し、以後、順次各撮像部が動作を行う。
以上の説明のように、本実施形態による監視カメラ用撮像通信装置は、複数の撮像部による撮像を時分割で順次行い、単一の画像処理部と伝送路により処理および伝送を行うことにより、広範囲の画像を得ている。
次に、各撮像部と画像処理部の内部構成を示す図1と、各撮像部と画像処理部の動作タイミングを示す図5とを用いて、撮像部と画像処理部の詳細を説明する。図1の撮像部101,111,121はそれぞれ図3の撮像部301,302,303に対応しており、図1のバス131は図3のバス304に対応している。図1の画像処理部132は図3の画像処理部305に対応しており、図1の通信部139は図3の通信部306に対応している。画像処理部132および通信部139により画像通信処理部138が構成されている。各撮像部の入出力回路108,118,128は各撮像部で同一の構成になっている。撮像部は、撮像動作開始信号(図1の撮像動作開始信号109a,119a,129aがアクティブになることにより、一連の動作を開始する。
以下、タイミングチャート(図5)中の撮像部101の内部信号を用いて撮像部101の動作を説明する。図5に示すように、撮像動作開始信号109aがアクティブになると、バス131への出力をコントロールする出力イネーブル信号107bがアクティブとなり、撮像部101はシステム内のバス131へのデータの出力を開始する。タイミング生成部107は、まず、セレクト信号107aとして、開始パターンの選択を示す"ST"を出力する。出力コントロール部106は、セレクト信号107aの種類に応じて、開始パターン生成部103、終了パターン生成部104、画像データ生成部105のいずれかからの出力を選択する。セレクト信号107aとして"ST"が入力されると、出力コントロール部106は開始パターン生成部103からの出力を選択し、撮像部101のデータ出力開始を意味する開始パターン"ST1"を、出力バッファ110を介して、SIG110aとしてバス131に出力する。
続いて、タイミング生成部107は、セレクト信号107aとして、画像データ生成部105からの選択を示す"DATA"を出力する。セレクト信号107aとして"DATA"が入力されると、出力コントロール部106は画像データ生成部105からの出力を選択し、出力バッファ110を介して、SIG110aとして画像データ"DATA1"をバス131に出力する。画像データの出力終了後、タイミング信号生成部107は、セレクト信号107aとして、終了パターンの選択を示す"ED"を出力する。セレクト信号107aとして"ED"が入力されると、出力コントロール部106は終了パターン生成部104からの出力を選択し、SIG110aとして、撮像部101のデータ出力終了を意味する終了パターン"ED1"を、出力バッファ110を介して、SIG110aとしてバス131に出力する。
以上が、画像データ出力に関する撮像部101の一連の動作である。前述したように、撮像部101,111,121は同じ動作を行う。
次に、撮像部101,111,121が順次撮像する際の動作を説明する。前述したように、撮像部101の内部信号である撮像動作開始信号109aにより、撮像部101は開始パターン"ST1"、画像データ"DATA1"、終了パターン"ED1"を順次バス131に出力する。撮像部111内の終了パターン検出部119は、入力バッファ112を介してバス131上の終了パターン"ED1"を検出すると、撮像動作開始信号119aを生成する。以後、撮像部101と同様に撮像部111も、撮像動作開始信号119aにより、一連の動作を開始し、開始パターン"ST2"、画像データ"DATA2"、終了パターン"ED2"をバス131に出力する。
続いて、撮像部121の終了パターン検出部129が、入力バッファ122を介してバス131上の終了パターン"ED2"を検出すると、撮像動作開始信号129aを生成する。撮像部101および111と同様に撮像部121も、撮像動作開始信号129aにより、一連の動作を開始し、開始パターン"ST3"、画像データ"DATA3"、終了パターン"ED3"をバス131に出力する。さらに、撮像部101の終了パターン検出部109が、入力バッファ102を介してバス131上の終了パターン"ED3"を検出すると、撮像動作開始信号109aを生成する。再び撮像部101は、撮像動作開始信号109aにより、一連の動作を開始し、開始パターン"ST1"、画像データ"DATA4"、終了パターン"ED1"をバス131に出力する。
以上のように、各撮像部は、特定の撮像部からの終了パターンを検出することにより、順次動作を行う。
次に、画像処理部132の動作を説明する。画像処理部132の入出力回路136では、各撮像部のデータ出力の開始を示す開始パターン("ST1","ST2","ST3","ST4")が、入力バッファ137を介してSIG137aとして入力される。開始パターン検出部133はこれらの開始パターンを検出し、処理動作開始信号133aを出力する。この処理動作開始信号133aが入力されると、処理タイミング生成部134は、画像処理演算部135の内部を動かすためのタイミング信号V134aを生成する。SIG137aとしてバス131上の画像データが入力されると、画像処理演算部135はガンマ補正、ホワイトバランス等の演算処理を行い、処理結果である処理データ135bを通信部139へ出力する。
前述したように、本実施形態では、各撮像部および画像処理部は、各撮像部に対応した開始パターンと終了パターンをバスから検出することにより、一連の動作を行う。この場合、例えば、画像データ内に終了パターンと同値のパターンが含まれると誤検出が起こり、ある撮像部が画像データを出力しているときに他の撮像部がデータを出力してしまう可能性がある。本実施形態の撮像部から出力されるデータの形式が輝度色差(YUV)形式である場合には、下記のような構成を採り、上記の誤検出を防止する。
例えば8bitの輝度色差(YUV)形式の画像データでは、一般に輝度信号には10〜245の範囲の値が使用され、色差信号には128を中心とし、上限・下限の幅が235となる範囲の値が使用される。すなわち、画像開始パターンおよび画像終了パターンとして、この範囲外の値である0〜9および246〜255の値を使用すれば、画像データ内に同値のパターンが発生することは無くなる。例えば、開始パターンとして、”255”(0xFF)を使用し、各撮像部に対応する終了パターンとして”1”(0x01),”2”(0x02),”3”(0x03)を使用する。
すなわち、図1の終了パターン生成部104が終了パターン”1”を出力し、終了パターン生成部114が終了パターン”2”を出力し、終了パターン生成部124が終了パターン”3”を出力する構成とする。また、各撮像部の終了パターンに関しては、撮像部101の終了パターン検出部109が終了パターン”3”を検出し、撮像部111の終了パターン検出部119が終了パターン”1”を検出し、撮像部121の終了パターン検出部129が終了パターン”2”を検出する構成とする。
以上により、画像データ内の同値パターンによる誤検出を防止することができる。8bitで使用可能なパターンは20種であるが、複数のパターンを組み合わせた2バイト(16bit)以上のパターンを用いることにより、より多くのパターンを作ることも可能である。
また、撮像部から出力されるデータ形式がRGB形式の場合には、0〜255の全ての値が使用されるため、上記の開始パターンおよび終了パターンでは誤検出が発生する。これを防止するための終了パターン検出部の構成を図6に示す。図6において、開始パターン比較部603は所定の開始パターンとバスデータ入力605aを比較する。終了パターン比較部604は所定の終了パターンとバスデータ入力605aを比較する。ウインドウ信号生成部602は、開始パターン比較部603から出力された開始パターン一致信号603aに基づいて、所定の時間幅のパルスをウインドウ信号602aとして出力する。ウインドウゲート部601は、ウインドウ信号602aにより、終了パターン一致信号604aをゲートする。
以下、図7のタイミングチャートを用いて、この終了パターン検出部の動作を説明する。前述したように画像データ内では、あらゆる値が使用されうるため、開始パターン("ST"と表記)や終了パターン("ED"と表記)と同値のデータがバス上に出力される。図7のバスデータ入力605aでは、画像データの前後に付加される開始パターンや終了パターンと同値のデータ(擬似パターン)を"ST’","ED’"と表記している。
開始パターン比較部603は、バスデータ入力605aの値が開始パターン(ST)と一致するかどうかを、排他的論理和回路(XOR)により比較して判定している。バスデータ入力605aが"ST"または"ST’"となっているところでは、開始パターン一致信号603aがアクティブとなる。また、同様に終了パターン比較部604は、バスデータ入力605aが終了パターンと一致するかどうかを判定する。バス上に"ED"および"ED’"が出力されるところでは、終了パターン一致信号604aがアクティブとなる。
ウインドウ信号602aは、開始パターン一致信号603aの発生より一定時間発生する信号である。図6のウインドウ信号生成部602において、開始パターン一致信号603aがアクティブになると、内部のカウンタが動作を始め、ウインドウ期間設定値の期間、すなわち、画像データ出力期間と等しい期間、ウインドウ信号602aがインアクティブとなる。ウインドウ信号602aがインアクティブの場合には、ウインドウゲート部601が終了パターン一致信号604aをゲートするため、画像データ内の擬似終了パターン"ED’"の検出によって発生した終了パターン一致信号604aは全てゲートされ、真の終了パターン"ED"の検出によって発生した終了パターン一致信号604aのみが出力される。
以上の終了パターン検出部によれば、終了パターンを誤検出することなしに、正しく動作することが可能となる。なお、画像処理部内の開始パターン検出部も同様の構成になっており、画像データ出力期間に等しい期間では処理動作開始信号を出力しない構成となっている。
次に、本実施形態による撮像部の初期化時の動作を説明する。一般に撮像部は、各種のモード、すなわち、前述した出力データ形式(YUV,RGB)やフレームレート、撮影範囲(画素数、画素位置)等を撮像部内のレジスタに設定する構成になっている。各撮像部内のレジスタに設定される設定値は、通常、システム上の不揮発メモリに蓄えられており、電源投入時に不揮発メモリから各撮像部内のレジスタに設定される。本実施形態による撮像部の初期設定に係る構成を図8に示す。
マスター撮像部804は、図1の撮像部101に対応しており、スレーブ撮像部814および820は図1の撮像部111,121に対応している。初期設定値格納メモリ801(図3の初期設定値格納メモリ308に対応)には、全ての撮像部の設定値が格納されている。この初期設定値格納メモリ801は、シリアルバス802(図3のI2Cバス309に対応)を介してマスター撮像部804に接続されている。
マスター撮像部804において、メモリ読み出し部803は初期設定値格納メモリ801から設定値を読み出す。マスター初期設定レジスタ805は、メモリ読み出し部803によって読み出された設定値が格納されるレジスタである。初期設定データ生成部807は、メモリ読み出し部803によって読み出された設定値を示す初期設定データを出力コントロール部809(図1の出力コントロール部106に対応)へ出力する。初期設定パターン生成部806は、初期設定データの開始を示す初期設定パターンを生成する。
マスター撮像部804以外の撮像部(スレーブ撮像部814,820)において、初期設定パターン検出部816,822はバス812(図1のバス131に対応)上の初期設定パターンを検出する。初期設定値受信部815,821は初期設定データをバス812より受信する。スレーブ初期設定レジスタ813,819は初期設定値を蓄える。
なお、出力コントロール部809(図1の出力コントロール部106に対応)には図1の開始パターン生成部103や、終了パターン生成部104、画像データ生成部105と同一の構成が接続されており、タイミング生成部810(図1のタイミング生成部107に対応)には図1の終了パターン検出部109と同一の構成が接続されているが、図示は省略されている。スレーブ撮像部814,820においても、図1に示した一部の構成と同一の構成の図示が省略されている。また、出力バッファ811,818,824はそれぞれ図1の出力バッファ110,120,130に対応している。
次に、図8と、初期設定関連のタイミングチャートである図9とを用いて、初期設定関連の動作を説明する。図9に示すように、電源投入後、マスター撮像部804内のメモリ読み出し部803は、シリアルバス802を介して初期設定値格納メモリ801より初期設定データ(設定値)の読み出しを開始する。メモリ読み出し部803はまず、マスター撮像部804内に設定する設定値を読み出し、マスター初期設定レジスタ805に格納する。
続いて、メモリ読み出し部803はスレーブ撮像部814の初期設定データの読み出しを開始する。一方、マスター撮像部804のタイミング生成部810は出力イネーブル信号810bをアクティブにすると共に、セレクト信号810aとして、スレーブ撮像部814への初期値(初期設定データ)の出力を開始することを示す初期設定パターンを選択するための"INIT"を出力する。セレクト信号810aとして"INIT"が入力されると、出力コントロール部809は初期設定パターン生成部806の出力を選択し、スレーブ撮像部814の初期設定データの開始を示す"INIT1"を、バッファ811を介してバス812に出力する。
スレーブ撮像部814内の初期設定パターン検出部816は"INIT1"を検出すると、初期設定パターン検出信号816aをアクティブにする。一方、マスター撮像部804内のタイミング生成部810は、セレクト信号810aとして、初期設定データの出力を選択するための"INIT_DATA"を出力する。セレクト信号810aとして"INIT_DATA"が入力されると、出力コントロール部809は初期設定データ生成部807の出力を選択し、スレーブ撮像部814の初期設定データをバス812に出力する。
スレーブ撮像部814では、初期設定パターン検出信号816aがアクティブになると、初期設定値受信部815が、バス812上のデータを初期設定データとして受信し、スレーブ初期設定レジスタ813に初期設定値を格納する。全ての初期設定値を格納した後、初期設定値受信部815は初期設定完了信号815aをアクティブにする。この信号により、初期設定パターン検出信号816aが解除され、スレーブ撮像部814の初期設定か完了する。
続いて、マスター撮像部804のタイミング生成部810は、セレクト信号810aとして、再びスレーブ撮像部820への初期設定データの出力を開始することを示す初期設定パターンを選択するための"INIT"を出力する。セレクト信号810aとして"INIT"が入力されると、出力コントロール部809は初期設定パターン生成部806の出力を選択し、スレーブ撮像部820の初期設定データの開始を示す"INIT2"をバス812に出力する。以後、スレーブ撮像部820はスレーブ撮像部814と同様の動作を行う。
上述した動作によって、マスター撮像部804に接続された初期設定値格納メモリ801からそれぞれの撮像部の初期設定値が読み出され、各撮像部内のレジスタに格納される。このようにして、初期設定値格納メモリを全撮像部に直接接続することなしに、初期設定値の読み出しと設定が可能となる。なお、上記の説明では、マスター撮像部804が図1の撮像部101に対応しているとしたが、これに限定されず、初期設定値メモリが接続されている撮像部であれば、マスター撮像部804はいずれの撮像部でもよい。
上述したように、本実施形態による撮像装置では、各撮像部が単一のバスにより接続されており、各撮像部では画像データの出力が完了した後、終了パターン生成部より特定の終了パターンが出力される。また、各撮像部の終了パターン検出部は、特定の撮像部に対応する終了パターンを検出し、撮像動作を開始する。これによって、各撮像部毎に制御のための信号線を設けることなしに、各撮像部が順次、排他的に撮像動作を行うことが可能となる。
また、マスター撮像部内の初期設定パターン生成部と出力コントロール部は、初期設定データの出力に先立ち、それぞれのスレーブ撮像部に対応した初期設定パターンをバスに出力する。続いて、マスター撮像部内の初期設定データ生成部と出力コントロール部はスレーブ撮像部の初期設定データを出力する。各スレーブ撮像部内の初期設定パターン検出部は、各スレーブ撮像部に対応する初期設定パターンを検出し、初期設定パターン検出信号を出力する。初期設定値受信部は、初期設定パターン検出信号に基づいて、バス上のデータを初期設定データとして受信し、内部の初期設定レジスタに格納する。これによって、各撮像部毎に初期設定用の信号線を設けることなしに、各撮像部に初期設定値の設定を行うことが可能となる。
したがって、本実施形態によれば、各撮像部と画像処理部とを接続する信号線を削減し、回路構成をより簡易にすることができる。また、複数の撮像部と画像処理部の間にセレクタ回路を挿入したり、コントロール信号の配線を追加したりすることなく、各撮像部と画像処理部をバスで接続し、バスの競合を起こすことなく、各撮像部の初期設定および、画像データの転送を行うことが可能となる。回路構成をより簡易にすることによって、撮像装置を小型化することもできる。なお、本実施形態では3つの撮像部の例で説明したが、その他の複数の撮像部を有する場合も同様の構成にて実現が可能である。
次に、本発明の第2の実施形態を説明する。図10は、本発明の撮像装置を適用した内視鏡システムの概略構成を示している。本実施形態による内視鏡システムは、内視鏡(体内撮影用画像通信装置1001)を飲み込んだ患者の体内を撮影し、無線伝送にて体内画像を送信するものである。送信されたデータは、無線の伝送路1007を介して、体外装置1006の受信部1003によって受信され、画像蓄積部1005に蓄積される。蓄積されたデータに対して、表示画像処理部1004によって表示のための処理が施され、モニタ1002に画像が表示される。
一般に、本実施形態に示すような飲み込み型内視鏡では、広い範囲を撮影することが望ましい。本実施形態による内視鏡は、より広い範囲を撮影するために、内視鏡の前後に2つの撮像部1001aおよび1001bを有している。
本実施形態による内視鏡に使われている体内撮影用画像通信装置の構成を図11に示す。体内撮影用画像通信装置は2つの撮像部1102,1104(図10の撮像部1001a,1001bに対応)と、各撮像部の撮影範囲を照明する照明部1101,1103と、画像処理部1106と通信部1107を有している。撮像によって生成された画像データは最終的に伝送路1108(図10の伝送路1007に対応)に出力される。
以下、体内撮影用画像通信装置のタイミングチャートである図12を用いて、体内撮影用画像通信装置の動作の概要を説明する。本実施形態による飲み込み型内視鏡では、低消費電力化を図ると共に、鮮鋭な画像を得るために照明を閃光発光させている。閃光発光のための照明パルス1102a,1104aはそれぞれ撮像部1102,1104から出力され、それぞれ照明部1101,1103の発光をコントロールしている。本実施形態では、照明部1101,1103には、小型化・低消費電力化のためにLED(発光ダイオード)が使用される。また、本実施形態では、最適な照明量で撮像対象を照明するために、撮像部が、照明パルスの幅を制御することで照明量を調整している。
照明が完了した後、撮像部は画像信号(撮影データ)の伝送を行う。この画像信号は、バス1105を介して画像処理部1106に入力される。画像処理部1106は、第1の実施形態と同様に各種の画像処理を行う。また、本実施形態では、帯域に制限のある無線伝送が使用されているため、画像処理部1106は画像の圧縮も行い、圧縮後のデータを通信部1107へ出力する。通信部1107は、第1の実施形態と同様に、通信に適した形式にデータを変換した後、伝送路1108へ出力する。
一般に、飲み込み型内視鏡は、撮像する部位によっては、高速に移動するため、前後の撮像部が同一のタイミングで画像を得ることが望ましい。しかし、飲み込み型内視鏡はバッテリーや無線給電で動作するため、供給できるピーク電力に上限があり、内部回路の同時動作は望ましくない。本実施形態では、内部回路の同時動作を避けつつ、極力同一に近いタイミングで画像を得るため、図12のタイミングチャートに示すように、撮像部1104の撮像範囲を照明する照明部1103は、撮像部1102に撮像範囲を照明する照明部1101の発光に同期し、かつ、その発光から所定の時間遅延させたタイミングで発光する。
以下、撮像部の動作を説明する。本実施形態の撮像部では、光学系により結像された光学像を内部の光センサ(フォトダイオード)が電気信号に変換している。この電気信号は、フォトダイオードに接続されたコンデンサに一時的に蓄えられる。飲み込み型内視鏡の撮影対象は体内の内臓であり、発光している期間以外は内視鏡の周囲は暗黒であるため、発光期間に撮影された光学像に基づく電荷のみがコンデンサに蓄えられる。この後、撮像部は、任意のタイミングで蓄えられた電気信号を増幅・A/D変換し、画像信号として出力する。
本実施形態では図12に示すように、撮像部1104から後段の画像処理部1106への画像信号の出力は、撮像部1102、画像処理部1106、および通信部1107の動作完了後に行われる。この詳細な動作は後述する。以後、撮像部1104は撮像部1102と同様に、バス1105を介して画像信号を出力する。画像処理部1106は画像処理を行い、通信部1107は伝送路1108へ画像処理後のデータを出力する。
以上により、本実施形態では、内部回路の同時動作を避けつつ、極力同一に近いタイミングで画像を得ている。
次に、図13および図14を用いて、上記の動作を実現するための内部構成および動作を説明する。図13は体内撮影用画像通信装置の内部構成を示しており、図14は体内撮影用画像通信装置の動作タイミングを示している。撮像部1301(図11の撮像部1102に対応)は、内部信号の撮像動作開始信号1308aの発生により、動作を開始する。タイミング生成部1307は照明パルス1307aを発生する。これにより撮像部1301は撮像を行う。
このとき、タイミング生成部1307は出力イネーブル信号1307cをアクティブとし、また、セレクト信号1307bとして、照明パターンの選択を示す"LED"を出力する。照明パルス1307aの出力に同期して、撮像部1301の出力コントロール部1306は照明パターン"LED1"を、バッファ1309を介してバス1321(図11のバス1105に対応)に出力する。撮像部1311(図11の撮像部1104に対応)の照明パターン検出部1315はバス1321を監視しており、照明パターン"LED1"を検出すると、照明タイミング信号1315aをアクティブにする。
図15に照明パターン検出部1315の構成を示す。図15において、照明パターン比較部1502は、バスデータ入力1502bと所定の照明パターンを比較する。タイマー1501は、照明パターンが検出されてから、所定の時間が経過した後に照明タイミング信号1501a(図13の照明タイミング信号1315aに対応)を出力する。
照明パターン比較部1502は、予め決められた照明パターン(LED1)とバスデータ入力1502bとの比較を行い、両者が一致した場合に照明パターン検出信号1502aをアクティブにする。タイマー1501では、照明パターン検出信号1502aがアクティブになると、内部カウンタが動作を開始し、タイマー期間設定値、すなわち照明の遅延時間をカウントした後、照明タイミング信号1501aを出力する。前述したように、撮像部1301と撮像部1311がLEDを発光させ撮像を行うタイミングは近い方が望ましいが、発光などの同時動作は、ピーク電力の増大を抑制するためにできるだけ避ける必要がある。このため、本実施形態では、タイマー1501により、撮像部1301の発光タイミングと撮像部1311の発光タイミングが所定の時間ずれるようになっている。
再び、図13と図14を用いた撮像部1301の内部構成および動作の説明に戻る。照明パルス1307aによる照明が完了した後、タイミング生成部1307は、セレクト信号1307bとして、開始パターンの出力を選択するための信号"ST"を出力する。これによって、出力コントロール部1306は開始パターン生成部1303からの出力を選択し、撮像部1301のデータ出力開始を示す開始パターン"ST1"をバス1321に出力する。この後、タイミング生成部1307は、セレクト信号1307bとして、データの出力を選択するための"DATA"を出力する。これによって、出力コントロール部1306は画像データ生成部1305の出力を選択し、撮像部1301のデータである"DATA1"をバス1321に出力する。
次に、画像通信処理部1330の内部構成および動作を説明する。画像通信処理部1330は画像処理部1328(図11の画像処理部1106に対応)および通信部1329(図11の通信部1107に対応)を有している。画像処理部1328内の開始パターン検出部1323はバス1321を監視しており、データの開始を示す開始パターンをバス1321上に検出すると、処理動作開始信号1323aを出力する。また、どの撮像部が画像データを出力しているかを示す撮像部情報1323bを出力する。図14に示すように、撮像部1301のデータ開始を示す"ST1"を開始パターン検出部1323が検出すると、処理動作開始信号1323aがアクティブになる。
この処理動作開始信号1323aは処理タイミング生成部1325に入力される。処理タイミング生成部1325は、処理の動作開始を示すタイミング信号V1325aを画像処理演算部1327に出力する。これ以後、画像処理演算部1327は演算処理を開始する。すなわち、画像処理演算部1327は、バス1321からバッファ1322を介して入力された画像データに画像処理と画像圧縮を行った後、圧縮データ1327bとして出力する。また、画像処理演算部1327は、圧縮データ1327bのデータ量を示すデータサイズ1327aを終了パターン生成部1326に出力する。
処理タイミング生成部1325は、画像処理の終了に合わせて終了パターンタイミング信号1325bを生成する。終了パターン生成部1326は、この信号に基づいて終了パターン"ED1"を生成し、バス1321に出力する。このとき、終了パターン生成部1326は、画像処理演算部1327より入力されたデータサイズ1327aと、開始パターン検出部1323から入力された撮像部情報1323bとを終了パターンに付加して出力する。
画像処理演算部1327の構成を図16に示し、通信部1329の構成を図17に示し、画像通信処理部1330のタイミングチャートを図18に示す。画像処理演算部1327は画像前処理部1601と画像圧縮部1602を有している。画像前処理部1601は、入力される画像データ1601aに対して、ガンマ補正、ホワイトバランスや、色空間の変更等、圧縮に適した画像にするための画像前処理を行う。画像前処理部1601より出力される処理画像1601bに対して、画像圧縮部1602は、無線の通信帯域を有効利用するためにJPEG圧縮を行い、後段の通信部1329に圧縮データ1602a(図13の圧縮データ1327bに対応)として出力する。また、画像圧縮部1602は、通信部1329へ出力する圧縮データ1602aのデータサイズ1602bを終了パターン生成部1326へ出力する。
通信部1329は、画像処理演算部1327から出力された圧縮データ1701a(図16の圧縮データ1602aに対応)を一旦、通信バッファ1701に蓄えた後、パケット生成部1702にて所定の通信のための変換、すなわち8−10変換やエラー訂正用の冗長コードの付加を行い、出力通信データ1702a(図13の通信データ1329aに対応)として出力する。圧縮データ1602a(1701a)が画像処理演算部1327より出力されると、一旦、通信部1329内の通信バッファ1701に蓄えられる。その後、通信バッファ1701から出力されたバッファデータ1701bから、パケット生成部1702によって通信のためのパケットが生成され、出力通信データ1702aとして出力される。本実施形態では、無線出力を1チャンネルのみ使用しているため、出力通信データ1702aは1bitのデジタル出力となる。
また、本実施形態において、伝送路のbitレートは固定としている。図18のタイミングチャートに示すように、出力通信データ1702aの出力時間は通信のデータサイズ/bitレートとなる。なお、本実施形態では圧縮手法として、可変長のJPEGを用いているため、通信データ出力時間は、画像によって変化する。
前述したように、本実施形態の飲み込み型内視鏡では、供給できる電力に限りがあるため、各部の回路の同時動作を極力避けることが望ましい。そこで、図13に示すように画像処理部1328では、終了パターン生成部1326が、画像処理の終了から撮像開始までの時間に相当する画像処理終了後の通信時間に関する情報としてデータサイズ1327aを終了パターンに付加して送出し、また、撮像部1301,1311では終了パターン検出部1308,1318が終了パターンと共に通信時間を検出し、その分だけ撮像動作を遅延させ、通信部1329との同時動作を防止している。bitレートが固定値であるので、圧縮データのデータサイズと画像処理終了後の通信時間には比例関係があり、データサイズに基づいて通信時間を求めることができる。
次に、画像処理部1328内の終了パターン生成部1326の詳細を説明する。終了パターン生成部1326の構成を図19に示す。終了パターン生成部1326において、終了パターン変換部1902は、前述したようにどの撮像部が画像データを出力したかを示す撮像部情報1902bに基づいて、次に動くべき撮像部に対応した終了パターン(終了パターン1〜3)を選択し、出力する。セレクタ1901は、処理タイミング生成部1325から入力される終了パターンタイミング信号1901bに従って、終了パターン1902aの出力,データサイズ1901cの出力,OPEN(HiZ状態)を切り換える。
図20に終了パターン生成部1326のタイミングチャートを示す。このように、図13の処理タイミング生成部1325が出力する終了パターンタイミング信号1901bが画像処理終了時にOPEN選択→終了パターン選択→データサイズ選択→OPEN選択と変化すると、終了パターン生成部1326から出力される終了パターン&遅延情報出力1901aはHiZ状態から終了パターンの出力となり、その後、遅延情報であるデータサイズの出力となる。
次に、各撮像部が有する終了パターン検出部1308,1318の詳細を説明する。終了パターン検出部1308,1318の構成を図21に示し、そのタイミングチャートを図22に示す。終了パターン一致検出部2103はバスデータ入力2102bから終了パターンを検出し、終了パターン一致信号2103aと遅延情報ラッチ信号2103bを出力する。終了パターン一致信号2103aは、バスデータ入力2102bが終了パターンと一致したことを示す信号であり、遅延情報ラッチ信号2103bは、終了パターンに続く遅延情報(前述した圧縮データのデータサイズの情報)の検出を示す信号である。
遅延情報検出部2102は、遅延情報ラッチ信号2103bに従って、バスデータ入力2102bから遅延情報をラッチし、遅延期間設定値2102aとして出力する。遅延タイマー2101には、遅延期間設定値2102aと終了パターン一致信号2103aが入力される。遅延タイマー2101は、終了パターン一致信号2103aがアクティブになったタイミングより、遅延時間分の待ち時間をカウントした後、撮像開始タイミングを制御するための撮像動作開始信号2101aを出力する。遅延タイマー2101内部のカウンタの処理サイクルが伝送路のbitレートに対応しているため、圧縮データのデータサイズに基づいて遅延タイマー2101で遅延された時間は、通信部1329での通信時間に相当する。以上により、各撮像部は、後段の通信部1329の動作が完了した後、次の撮像動作を開始する。
再び図14のタイミングチャートの説明に戻る。遅延情報(データサイズ)が付加された終了パターン"ED1"を画像処理部1328がバス1321に出力すると、撮像部1311の終了パターン検出部1318が終了パターンを検出し、所定の時間経過後、撮像動作開始信号1318aを出力する。続いて、撮像部1311は撮像部1301と同様の一連の画像転送動作を開始する。
撮像部1311の照明パルス1317aは、前述したとおり撮像部1301の照明パルス1307aに同期しており、この照明パルス1317aに基づいて照明されたときの画像が光センサ内に蓄積されている。この画像は、撮像動作開始信号1318aに同期して光センサから読み出されて転送される。データ出力の完了後、画像処理部1328は撮像部1311からの画像データの画像処理終了を示す画像処理終了パターン"ED2"をバス1321に出力する。続いて、撮像部1311と同様に撮像部1301の終了パターン検出部1308が終了パターンを検出し、再び撮像動作開始信号1308aを発生させ、撮像部1301が一連の動作を開始する。
上述したように、本実施形態による撮像装置では、各撮像部と画像処理部が単一のバスにより接続されており、各撮像部は、開始パターン生成部で生成された特定の開始パターンを画像データの出力開始前に出力する。また、画像処理部は、バス上の開始パターンを開始パターン検出部で検出し、画像処理動作を開始する。画像データの入力と画像処理動作が完了した後、画像処理部内の終了パターン生成部は、次に動作する撮像部に対応した終了パターンを出力する。これによって、特に制御のための信号線を設けることなしに、各撮像部の撮像動作と画像処理部の画像処理動作を順次行うことが可能となる。
また、画像処理部内の終了パターン生成部は、次の撮像動作の開始時間を遅延させる量を遅延情報として終了パターンに付加し、バスに出力する。撮像部内の終了パターン検出部は、バス上の終了パターンと遅延情報を検出し、終了パターンを検出したタイミングから、遅延情報に比例した時間、撮像開始信号を遅延させて出力する。これによって、各撮像部と画像処理部の間に特に制御のための信号線を設けることなしに、通信部の動作と各撮像部の撮像動作を排他的に動作させることが可能となる。
また、第1の撮像部内の照明パターン生成部と出力コントロール部は、照明パルスに同期して照明パターンをバスに出力する。第2の撮像部内の照明パターン検出部はバス上の照明パターンを検出し、タイミング生成部はこれに同期して照明パルスを発生する。これによって、各撮像部毎に特に制御のための信号線を設けることなしに、複数の撮像部で照明のタイミングのみを同期させることが可能となる。
よって、本実施形態によれば、2つの撮像部を排他的に動かしつつ、ピーク電力の増加を抑え、撮像タイミングがほぼ同時の画像を得ることが可能となる。なお、本実施形態では2つの撮像部の例で説明したが、第1の実施の形態と同様に3つまたはそれ以上の撮像部を有する場合も同様の構成にて実現が可能である。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、第1の実施形態の監視カメラ用通信装置における各撮像部の初期設定値の設定方法を第2の実施形態の体内撮影用画像通信装置に適用してもよい。また、複数の撮像部を備えたシステムにおいて、撮像部の数がいくつであっても、少なくとも2つの撮像部と画像処理部が単一のバスで接続され、それらの作用が上記の実施形態と共通するシステムは本発明の範囲内である。
本発明の第1の実施形態による監視カメラ用撮像通信装置が備える各撮像部と画像処理部の内部構成を示すブロック図である。 本発明の第1の実施形態による監視カメラシステムの概略構成を示す概略構成図である。 本発明の第1の実施形態による監視カメラ用撮像通信装置の構成を示すブロック図である。 本発明の第1の実施形態による監視カメラ用撮像通信装置の全体動作の概略タイミングを示すタイミングチャートである。 本発明の第1の実施形態による監視カメラ用撮像通信装置が備える各撮像部と画像処理部の動作タイミングを示すタイミングチャートである。 本発明の第1の実施形態による監視カメラ用撮像通信装置が備える終了パターン検出部の構成を示すブロック図である。 本発明の第1の実施形態による監視カメラ用撮像通信装置が備える終了パターン検出部の動作タイミングを示すタイミングチャートである。 本発明の第1の実施形態による監視カメラ用撮像通信装置が備える撮像部の初期設定に係る構成を示すブロック図である。 本発明の第1の実施形態による監視カメラ用撮像通信装置が備える各撮像部の初期設定時の動作タイミングを示すタイミングチャートである。 本発明の第2の実施形態による内視鏡システムの概略構成を示す概略構成図である。 本発明の第2の実施形態による体内撮影用画像通信装置の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置の全体動作の概略タイミングを示すタイミングチャートである。 本発明の第2の実施形態による体内撮影用画像通信装置の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置の動作タイミングを示すタイミングチャートである。 本発明の第2の実施形態による体内撮影用画像通信装置が備える照明パターン検出部の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置が備える画像処理演算部の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置が備える通信部の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置が備える画像通信処理部の動作タイミングを示すタイミングチャートである。 本発明の第2の実施形態による体内撮影用画像通信装置が備える終了パターン生成部の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置が備える終了パターン生成部の動作タイミングを示すタイミングチャートである。 本発明の第2の実施形態による体内撮影用画像通信装置が備える終了パターン検出部の構成を示すブロック図である。 本発明の第2の実施形態による体内撮影用画像通信装置が備える終了パターン検出部の動作タイミングを示すタイミングチャートである。 複数の撮像部を備えた従来のシステムの構成を示すブロック図である。
符号の説明
101,111,121,201a,201b,201c,301,302,303,1001a,1001b,1102,1104,1301,1311・・・撮像部、103,113,123,1303,1313・・・開始パターン生成部、104,114,124,1326・・・終了パターン生成部、106,116,126,809,1306,1316・・・出力コントロール部、109,119,129,1308,1318・・・終了パターン検出部、132,1106,1328・・・画像処理部、133,1323・・・開始パターン検出部、804・・・マスター撮像部、814,820・・・スレーブ撮像部

Claims (7)

  1. 撮像によって画像データを生成し、出力する第1および第2の撮像手段を少なくとも含む複数の撮像手段と、前記画像データに所定の画像処理を行う画像処理手段とを有する撮像装置において、
    前記第1および第2の撮像手段と前記画像処理手段とを接続する単一のバスをさらに有し、
    前記第1の撮像手段は、前記画像データの出力終了を示す画像データ終了パターンを前記バスに出力する画像データ終了パターン出力手段を有し、
    前記第2の撮像手段は、前記第1の撮像手段から出力された前記画像データ終了パターンを検出する画像データ終了パターン検出手段を有し、前記画像データ終了パターン検出手段によって、前記画像データ終了パターンが検出された場合に撮像および前記画像データの出力動作を開始する
    ことを特徴とする撮像装置。
  2. 前記第1の撮像手段は、前記画像データの出力開始を示す画像データ開始パターンを前記バスに出力する画像データ開始パターン出力手段をさらに有し、
    前記画像処理手段は、前記第1の撮像手段から出力された前記画像データ開始パターンを検出する画像データ開始パターン検出手段をさらに有し、前記画像データ開始パターン検出手段によって前記画像データ開始パターンが検出された場合に前記画像処理を開始する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 撮像によって画像データを生成し、出力する第1および第2の撮像手段を少なくとも含む複数の撮像手段と、前記画像データに所定の画像処理を行う画像処理手段とを有する撮像装置において、
    前記第1および第2の撮像手段と前記画像処理手段とを接続する単一のバスをさらに有し、
    前記第1の撮像手段は、前記画像データの出力開始を示す画像データ開始パターンを前記バスに出力する画像データ開始パターン出力手段をさらに有し、
    前記第2の撮像手段は、前記画像処理の終了を示す画像処理終了パターンを前記バスから検出する画像処理終了パターン検出手段をさらに有し、
    前記画像処理手段は、
    前記第1の撮像手段から出力された前記画像データ開始パターンを検出する画像データ開始パターン検出手段と、
    前記画像処理の終了タイミングに同期して、前記第2の撮像手段に対応した前記画像処理終了パターンを前記バスに出力する画像処理終了パターン出力手段とをさらに有し、
    前記第2の撮像手段は、前記画像処理終了パターン検出手段によって前記画像処理終了パターンが検出された場合に、撮像および前記画像データの出力動作を開始し、
    前記画像処理手段は、前記画像データ開始パターン検出手段によって前記画像データ開始パターンが検出された場合に、前記画像データの画像処理を開始する
    ことを特徴とする撮像装置。
  4. 前記画像処理手段は、前記画像処理の終了から撮像開始までの時間に係る遅延情報を前記画像処理終了パターンに付加する遅延情報付加手段をさらに有し、
    前記第2の撮像手段は、前記画像処理終了パターンに付加された前記遅延情報に基づいて撮像開始タイミングを制御する撮像開始タイミング制御手段をさらに有し、前記画像処理終了パターンが検出されてから、前記遅延情報に基づいた時間が経過した後に撮像を開始する
    ことを特徴とする請求項3に記載の撮像装置。
  5. 前記第1の撮像手段の撮像範囲を照明する第1の照明手段と、
    前記第2の撮像手段の撮像範囲を照明する第2の照明手段とをさらに有し、
    前記第1の撮像手段は、
    前記第1の照明手段を駆動する第1の照明信号を生成する自励照明信号生成手段と、
    前記第1の照明信号の生成後、照明同期パターンを前記バス上に出力する照明同期パターン出力手段とをさらに有し、
    前記第2の撮像手段は、
    前記バス上の前記照明同期パターンを検出する照明同期パターン検出手段と、
    前記照明同期パターン検出手段によって前記照明同期パターンが検出された場合に、前記第2の照明手段を駆動する第2の照明信号を生成する他励照明信号生成手段とをさらに有する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。
  6. 前記第1の撮像手段は、
    前記第2の撮像手段の動作モードの設定に係る初期設定データの出力開始を示す初期設定開始パターンを前記バスに出力する初期設定開始パターン出力手段と、
    前記初期設定開始パターンの出力後、前記初期設定データを前記バスに出力する初期設定データ出力手段とをさらに有し、
    前記第2の撮像手段は、
    前記初期設定データが格納される初期設定データ格納手段と、
    前記バス上の前記初期設定開始パターンを検出する初期設定開始パターン検出手段と、
    前記初期設定開始パターン検出手段によって前記初期設定開始パターンが検出された場合に、前記バス上の前記初期設定データを受信して前記初期設定データ格納手段に格納する初期設定データ受信手段とをさらに有する
    ことを特徴とする請求項1〜請求項5のいずれかに記載の撮像装置。
  7. 前記第2の撮像手段は、
    前記第1の撮像手段の動作モードの設定に係る初期設定データの出力開始を示す初期設定開始パターンを前記バスに出力する初期設定開始パターン出力手段と、
    前記初期設定開始パターンの出力後、前記初期設定データを前記バスに出力する初期設定データ出力手段とをさらに有し、
    前記第1の撮像手段は、
    前記初期設定データが格納される初期設定データ格納手段と、
    前記バス上の前記初期設定開始パターンを検出する初期設定開始パターン検出手段と、
    前記初期設定開始パターン検出手段によって前記初期設定開始パターンが検出された場合に、前記バス上の前記初期設定データを受信して前記初期設定データ格納手段に格納する初期設定データ受信手段とをさらに有する
    ことを特徴とする請求項1〜請求項5のいずれかに記載の撮像装置。

JP2006026746A 2006-02-03 2006-02-03 撮像装置 Pending JP2007208781A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006026746A JP2007208781A (ja) 2006-02-03 2006-02-03 撮像装置
US11/700,250 US7969473B2 (en) 2006-02-03 2007-01-31 Image-pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006026746A JP2007208781A (ja) 2006-02-03 2006-02-03 撮像装置

Publications (1)

Publication Number Publication Date
JP2007208781A true JP2007208781A (ja) 2007-08-16

Family

ID=38334121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006026746A Pending JP2007208781A (ja) 2006-02-03 2006-02-03 撮像装置

Country Status (2)

Country Link
US (1) US7969473B2 (ja)
JP (1) JP2007208781A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009058995A (ja) * 2007-08-29 2009-03-19 Canon Inc 画像処理装置及び方法
JP2011049789A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像システム
JP2014506806A (ja) * 2010-12-23 2014-03-20 ヴォルカノ コーポレイション 統合システム構造および使用の方法
JP2014217663A (ja) * 2013-05-10 2014-11-20 Hoya株式会社 電子内視鏡用プロセッサ、電子内視鏡システムおよび画像処理装置
WO2018163554A1 (ja) * 2017-03-08 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、および伝送システム
US11336822B2 (en) 2019-08-29 2022-05-17 Kabushiki Kaisha Toshiba Image processing device
US11616908B2 (en) 2020-09-11 2023-03-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US11948225B2 (en) 2020-09-18 2024-04-02 Kabushiki Kaisha Toshiba Image processing apparatus

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7655004B2 (en) 2007-02-15 2010-02-02 Ethicon Endo-Surgery, Inc. Electroporation ablation apparatus, system, and method
JP2009072577A (ja) * 2007-08-27 2009-04-09 Hoya Corp 内視鏡システム
US8579897B2 (en) 2007-11-21 2013-11-12 Ethicon Endo-Surgery, Inc. Bipolar forceps
US8480657B2 (en) 2007-10-31 2013-07-09 Ethicon Endo-Surgery, Inc. Detachable distal overtube section and methods for forming a sealable opening in the wall of an organ
US20090112059A1 (en) 2007-10-31 2009-04-30 Nobis Rudolph H Apparatus and methods for closing a gastrotomy
JP5017065B2 (ja) * 2007-11-21 2012-09-05 日野自動車株式会社 排気浄化装置
US8679003B2 (en) 2008-05-30 2014-03-25 Ethicon Endo-Surgery, Inc. Surgical device and endoscope including same
US8771260B2 (en) 2008-05-30 2014-07-08 Ethicon Endo-Surgery, Inc. Actuating and articulating surgical device
US8906035B2 (en) * 2008-06-04 2014-12-09 Ethicon Endo-Surgery, Inc. Endoscopic drop off bag
US8403926B2 (en) 2008-06-05 2013-03-26 Ethicon Endo-Surgery, Inc. Manually articulating devices
US8361112B2 (en) * 2008-06-27 2013-01-29 Ethicon Endo-Surgery, Inc. Surgical suture arrangement
JP5204564B2 (ja) * 2008-06-30 2013-06-05 オリンパスメディカルシステムズ株式会社 医療装置
US8888792B2 (en) 2008-07-14 2014-11-18 Ethicon Endo-Surgery, Inc. Tissue apposition clip application devices and methods
US8409200B2 (en) 2008-09-03 2013-04-02 Ethicon Endo-Surgery, Inc. Surgical grasping device
US8157834B2 (en) 2008-11-25 2012-04-17 Ethicon Endo-Surgery, Inc. Rotational coupling device for surgical instrument with flexible actuators
US8361066B2 (en) 2009-01-12 2013-01-29 Ethicon Endo-Surgery, Inc. Electrical ablation devices
US20110098704A1 (en) 2009-10-28 2011-04-28 Ethicon Endo-Surgery, Inc. Electrical ablation devices
US8608652B2 (en) 2009-11-05 2013-12-17 Ethicon Endo-Surgery, Inc. Vaginal entry surgical devices, kit, system, and method
US20110115891A1 (en) * 2009-11-13 2011-05-19 Ethicon Endo-Surgery, Inc. Energy delivery apparatus, system, and method for deployable medical electronic devices
US8496574B2 (en) 2009-12-17 2013-07-30 Ethicon Endo-Surgery, Inc. Selectively positionable camera for surgical guide tube assembly
US8353487B2 (en) 2009-12-17 2013-01-15 Ethicon Endo-Surgery, Inc. User interface support devices for endoscopic surgical instruments
US8506564B2 (en) 2009-12-18 2013-08-13 Ethicon Endo-Surgery, Inc. Surgical instrument comprising an electrode
US9028483B2 (en) 2009-12-18 2015-05-12 Ethicon Endo-Surgery, Inc. Surgical instrument comprising an electrode
US9005198B2 (en) 2010-01-29 2015-04-14 Ethicon Endo-Surgery, Inc. Surgical instrument comprising an electrode
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
KR101103127B1 (ko) 2010-04-29 2012-01-04 아이쓰리시스템 주식회사 듀얼모드 동작이 가능한 캡슐내시경용 이미지센서
US10092291B2 (en) 2011-01-25 2018-10-09 Ethicon Endo-Surgery, Inc. Surgical instrument with selectively rigidizable features
US9314620B2 (en) 2011-02-28 2016-04-19 Ethicon Endo-Surgery, Inc. Electrical ablation devices and methods
US9254169B2 (en) 2011-02-28 2016-02-09 Ethicon Endo-Surgery, Inc. Electrical ablation devices and methods
US9233241B2 (en) 2011-02-28 2016-01-12 Ethicon Endo-Surgery, Inc. Electrical ablation devices and methods
WO2012125785A1 (en) 2011-03-17 2012-09-20 Ethicon Endo-Surgery, Inc. Hand held surgical device for manipulating an internal magnet assembly within a patient
US9427255B2 (en) 2012-05-14 2016-08-30 Ethicon Endo-Surgery, Inc. Apparatus for introducing a steerable camera assembly into a patient
US9078662B2 (en) 2012-07-03 2015-07-14 Ethicon Endo-Surgery, Inc. Endoscopic cap electrode and method for using the same
US9545290B2 (en) 2012-07-30 2017-01-17 Ethicon Endo-Surgery, Inc. Needle probe guide
US9572623B2 (en) 2012-08-02 2017-02-21 Ethicon Endo-Surgery, Inc. Reusable electrode and disposable sheath
US10314649B2 (en) 2012-08-02 2019-06-11 Ethicon Endo-Surgery, Inc. Flexible expandable electrode and method of intraluminal delivery of pulsed power
US9277957B2 (en) 2012-08-15 2016-03-08 Ethicon Endo-Surgery, Inc. Electrosurgical devices and methods
US10098527B2 (en) 2013-02-27 2018-10-16 Ethidcon Endo-Surgery, Inc. System for performing a minimally invasive surgical procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119722A (ja) * 1999-10-19 2001-04-27 Asahi Optical Co Ltd 3次元画像検出システムと3次元画像検出装置
JP2001157197A (ja) * 1999-11-25 2001-06-08 Sharp Corp 監視カメラシステム
JP2002262217A (ja) * 2001-03-05 2002-09-13 Olympus Optical Co Ltd 電子カメラ装置
JP2004193683A (ja) * 2002-12-06 2004-07-08 Olympus Corp 電子カメラシステム
JP2005305180A (ja) * 2001-07-26 2005-11-04 Given Imaging Ltd 生体内撮像カプセルを作動させる方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01174178A (ja) 1987-12-28 1989-07-10 Toshiba Corp 多眼式カメラ装置
US6864911B1 (en) * 2000-10-26 2005-03-08 Hewlett-Packard Development Company, L.P. Linkable digital cameras for an image capture system
KR100870033B1 (ko) 2001-01-16 2008-11-21 기븐 이미징 리미티드 체강의 광시야 영상화 시스템 및 방법
WO2002065761A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for stabilizing rotational images
US7298964B2 (en) * 2001-02-26 2007-11-20 Matsushita Electric Industrial Co., Ltd. Recording system, video camera device and video image recording method
US7171106B2 (en) * 2001-03-27 2007-01-30 Elbex Video Ltd. Method and apparatus for processing, digitally recording and retrieving a plurality of video signals
US8189059B2 (en) * 2003-01-29 2012-05-29 Nikon Corporation Digital camera and digital camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119722A (ja) * 1999-10-19 2001-04-27 Asahi Optical Co Ltd 3次元画像検出システムと3次元画像検出装置
JP2001157197A (ja) * 1999-11-25 2001-06-08 Sharp Corp 監視カメラシステム
JP2002262217A (ja) * 2001-03-05 2002-09-13 Olympus Optical Co Ltd 電子カメラ装置
JP2005305180A (ja) * 2001-07-26 2005-11-04 Given Imaging Ltd 生体内撮像カプセルを作動させる方法
JP2004193683A (ja) * 2002-12-06 2004-07-08 Olympus Corp 電子カメラシステム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009058995A (ja) * 2007-08-29 2009-03-19 Canon Inc 画像処理装置及び方法
US8208763B2 (en) 2007-08-29 2012-06-26 Canon Kabushiki Kaisha Image processing method and apparatus
JP2011049789A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像システム
JP2014506806A (ja) * 2010-12-23 2014-03-20 ヴォルカノ コーポレイション 統合システム構造および使用の方法
JP2014217663A (ja) * 2013-05-10 2014-11-20 Hoya株式会社 電子内視鏡用プロセッサ、電子内視鏡システムおよび画像処理装置
JPWO2018163554A1 (ja) * 2017-03-08 2020-01-09 ソニーセミコンダクタソリューションズ株式会社 画像センサ、および伝送システム
CN110383826A (zh) * 2017-03-08 2019-10-25 索尼半导体解决方案公司 图像传感器和传输系统
KR20190126287A (ko) * 2017-03-08 2019-11-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 센서 및 전송 시스템
WO2018163554A1 (ja) * 2017-03-08 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、および伝送システム
US11202033B2 (en) 2017-03-08 2021-12-14 Sony Semiconductor Solutions Corporation Image sensor and transmission system with collision detection based on state of collision detection line
CN110383826B (zh) * 2017-03-08 2022-06-07 索尼半导体解决方案公司 图像传感器和传输系统
JP7111695B2 (ja) 2017-03-08 2022-08-02 ソニーセミコンダクタソリューションズ株式会社 画像センサ、および伝送システム
KR102484023B1 (ko) 2017-03-08 2023-01-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 센서 및 전송 시스템
US11336822B2 (en) 2019-08-29 2022-05-17 Kabushiki Kaisha Toshiba Image processing device
US11616908B2 (en) 2020-09-11 2023-03-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US11948225B2 (en) 2020-09-18 2024-04-02 Kabushiki Kaisha Toshiba Image processing apparatus

Also Published As

Publication number Publication date
US20070183672A1 (en) 2007-08-09
US7969473B2 (en) 2011-06-28

Similar Documents

Publication Publication Date Title
JP2007208781A (ja) 撮像装置
US7940973B2 (en) Capture control for in vivo camera
CN103997600B (zh) 摄像装置、拍摄控制方法、照相机系统以及存储介质
CN101784223B (zh) 生物体内图像获取装置以及生物体内图像获取系统
CN101868174B (zh) 被检体内导入装置以及被检体内信息获取系统
CN101596095A (zh) 摄像装置以及被检体内图像获取装置
JP2010130570A (ja) 撮像装置及び撮像方法
CN102300496B (zh) 被检体内导入装置以及生物体内信息获取系统
JP2005142772A (ja) フレームグラバ
US7187049B2 (en) Data download to imager chip using image sensor as a receptor
CN101868175B (zh) 被检体内信息获取系统以及被检体内导入装置
JP5977907B1 (ja) カプセル型内視鏡及びカプセル型内視鏡システム
JP6335007B2 (ja) カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
CN100450423C (zh) 胶囊型内窥镜和胶囊型内窥镜系统
JP6270359B2 (ja) 電子内視鏡
JP5385469B2 (ja) カプセル型内視鏡
JP2005286501A (ja) カメラシステム
JP5106449B2 (ja) 撮像装置
JP2010213010A (ja) 撮像装置
JP2024089352A (ja) 電子内視鏡システム
JP2006174385A (ja) カメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110111