[go: up one dir, main page]

JP2001522204A - Dual-mode digital camera for video and steal operation - Google Patents

Dual-mode digital camera for video and steal operation

Info

Publication number
JP2001522204A
JP2001522204A JP2000519550A JP2000519550A JP2001522204A JP 2001522204 A JP2001522204 A JP 2001522204A JP 2000519550 A JP2000519550 A JP 2000519550A JP 2000519550 A JP2000519550 A JP 2000519550A JP 2001522204 A JP2001522204 A JP 2001522204A
Authority
JP
Japan
Prior art keywords
image data
image
video
image processing
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000519550A
Other languages
Japanese (ja)
Other versions
JP2001522204A5 (en
JP4907764B2 (en
Inventor
ダントン,ランディ・アール
メッツ,ワーナー
コラム,カーティス・エイ
ブース,ローレンス・エイ・ジュニア
アチャーリャ,ティンク
ジョーンズ,トーマス・シイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2001522204A publication Critical patent/JP2001522204A/en
Publication of JP2001522204A5 publication Critical patent/JP2001522204A5/ja
Application granted granted Critical
Publication of JP4907764B2 publication Critical patent/JP4907764B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0049By wire, cable or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 共通のプログラマブル画像処理チェーンと固定光学系を用いた、スティールモードとビデオ・モードの両方で動作するディジタル・カメラ(100)などのコスト効率が高いディジタル画像取込み装置。イメージ・センサ(114、生画像データを生成する)のフル解像度はスティールモードで使用でき、適切な信号対雑音比(SNR)が自然光またはストロボ(112)から供給される補助光で達成される。ビデオ・モードでは、本装置は、スケーリング、相関解除、およびルックアップ・テーブル(LUT)への符号化などの画像処理方法のパラメータをプログラミングすることでビデオ画像データを取り込むように構成でき、次いでLUTが、ビデオ画像の記憶および伝送の帯域幅制約を満足するために必要に応じて生画像データを空間スケーリングして圧縮するように論理回路を構成する。ビデオ・モードでは、スケーリング中にピクセルを平均化することで、例えばビデオ会議中に遭遇する低照度条件にもかかわらず、適切なSNRが達成できる。 (57) Abstract: A cost-effective digital image capture device, such as a digital camera (100) operating in both steal mode and video mode, using a common programmable image processing chain and fixed optics. The full resolution of the image sensor (114, producing raw image data) can be used in steel mode, and an appropriate signal-to-noise ratio (SNR) is achieved with natural light or an auxiliary light supplied from a strobe (112). In video mode, the apparatus can be configured to capture video image data by programming parameters of the image processing method such as scaling, decorrelation, and encoding into a look-up table (LUT), and then the LUT Configure the logic to spatially compress and compress the raw image data as needed to satisfy the video image storage and transmission bandwidth constraints. In the video mode, averaging the pixels during scaling can achieve an appropriate SNR despite low light conditions encountered, for example, during a video conference.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】 (背景情報) 本発明は、一般に電子画像処理に関し、より詳細には、ディジタル・カメラに
関する。
BACKGROUND The present invention relates generally to electronic image processing, and more particularly, to digital cameras.

【0002】 ディジタル・カメラはディジタルスティール画像を電子形式で取り込んで記憶
する携帯システムとして最近開発されてきた。画像は、「電子」写真アルバムの
形で表示したり、グラフィカル・コンピュータ・アプリケーションを装飾するた
めに使用するといった、いくつかの異なる方法で使用できる。ディジタル・カメ
ラは従来の化学フィルム・カメラに類似したユーザ・インタフェースを有するが
、画像は完全に電子ソリッド・ステート回路と画像処理技法を用いて取り込まれ
て記憶される。
[0002] Digital cameras have recently been developed as portable systems for capturing and storing digital still images in electronic form. Images can be used in a number of different ways, such as in the form of "electronic" photo albums or used to decorate graphical computer applications. Digital cameras have a user interface similar to conventional chemical film cameras, but the images are captured and stored entirely using electronic solid state circuitry and image processing techniques.

【0003】 通常のディジタル・カメラは光インタフェースを介して被写体またはシーンか
ら反射した入射光を受光するイメージ・センサを有する。光インタフェースはレ
ンズ系、絞り機構、およびおそらくは光フィルタを含むであろう。センサは通常
、入射光に応答して光生成信号を生成する電荷結合素子(CCD)または相補形
金属酸化膜半導体(CMOS)光検出回路のアレイとして実装される。センサか
らのアナログ信号はアナログ/ディジタル(A/D)変換器によってディジタル
形式に変換され、次いで論理回路および/またはプログラミングされたプロセッ
サによって処理され、被写体またはシーンの取り込まれたディジタル画像を生成
する。次いでこの画像はカメラに内蔵されたローカル・メモリに記憶できる。さ
らに、画像はディジタル・カメラにリンクされたコンピュータに転送して電子フ
ァイルとして記憶でき、かつ/またはさらにグラフィカル画像処理を施して画像
品質を向上させ、またはグラフィックス・ソフトウェアに使用できる。
A typical digital camera has an image sensor that receives incident light reflected from a subject or scene via an optical interface. The optical interface will include a lens system, aperture mechanism, and possibly an optical filter. The sensors are typically implemented as an array of charge coupled devices (CCD) or complementary metal oxide semiconductor (CMOS) photodetection circuits that generate a photogenerated signal in response to incident light. The analog signal from the sensor is converted to digital form by an analog / digital (A / D) converter and then processed by logic and / or a programmed processor to produce a captured digital image of the subject or scene. This image can then be stored in local memory built into the camera. Further, the images can be transferred to a computer linked to a digital camera and stored as an electronic file, and / or can be subjected to further graphical image processing to enhance image quality or be used in graphics software.

【0004】 ディジタル・カメラの大半の購入者はデスクトップ・コンピュータにアクセス
してスティール画像を表示する。したがって、そのような購入者は自分のディジ
タル・カメラを使用して、別の人物の顔を見ながら声が聞けるようにデスクトッ
プ・コンピュータでビデオ会議を行うなど、その人物と通信することを楽しむ場
合もある。ただし、大半のディジタル・カメラは通常、スティール画像のみを提
供するように構成されている。同様に、ビデオ会議に使用されるカメラはコンピ
ュータから切り離されるとスティール・カメラとして動作しない。したがって、
カメラがビデオ用にデスクトップ・コンピュータにリンクできるビデオとスティ
ール画像の取り込みの両方のためのカメラの「二重使用」が可能なディジタル・
カメラとそれに対応する画像処理が必要である。
[0004] Most purchasers of digital cameras access desktop computers to display still images. Therefore, such purchasers may use their digital camera to enjoy communicating with another person, such as having a video conference on a desktop computer so that they can hear and hear the face of another person. There is also. However, most digital cameras are typically configured to provide only still images. Similarly, cameras used for video conferencing do not operate as steel cameras when disconnected from the computer. Therefore,
A digital camera capable of "double use" of the camera for both video and still image capture where the camera can be linked to a desktop computer for video
Cameras and corresponding image processing are required.

【0005】 (概要) 本発明は、ビデオおよびスティール画像を生成する少なくとも2つのモード、
すなわち、信号処理方法の第1の選択に従ってイメージ・センサ信号を処理して
スティール画像データを得る第1のモードと、信号処理方法の第2の選択に従っ
て同じイメージ・センサ信号を処理してビデオ画像データを得る第2のモードの
1つで動作する信号処理システムを構成する方法を目的とする。
Overview The present invention provides at least two modes for generating video and still images:
A first mode of processing image sensor signals according to a first choice of signal processing method to obtain still image data, and a video image processing of the same image sensor signals according to a second choice of signal processing method. A method is provided for configuring a signal processing system that operates in one of a second mode of obtaining data.

【0006】 本発明の特定の実施形態では、信号処理方法は、同じ元の画像データからビデ
オまたはスティール・データを生成するために順次実行される画像のスケーリン
グ、相関解除、およびエントロピー符号化を含む。スケーリング、相関解除、お
よびエントロピー符号化の第1の選択は、ビデオ・データを提供するように設計
されているが、第2の選択は、通常、ビデオ画像よりもサイズが大きくより詳細
なスティール画像を提供するように設計されている。好ましい実施態様では、シ
ステムは画像相関解除およびエントロピー符号化を実行する論理回路を構成する
ために使用されるルックアップ・テーブル(LUT)にロードされるパラメータ
に応じてビデオまたはスティール・データを生成する。
In certain embodiments of the present invention, a signal processing method includes image scaling, decorrelation, and entropy encoding performed sequentially to generate video or steel data from the same original image data. . The first choice of scaling, decorrelation, and entropy coding is designed to provide video data, while the second choice is typically a larger and more detailed steel image than the video image Is designed to provide. In a preferred embodiment, the system generates video or steel data depending on parameters loaded into a look-up table (LUT) used to implement logic to perform image decorrelation and entropy coding. .

【0007】 本発明の上記、その他の特徴および利点は、図面、詳細説明および特許請求の
範囲を参照すれば明らかになろう。
[0007] These and other features and advantages of the present invention will become apparent with reference to the drawings, detailed description, and claims.

【0008】 (詳細な説明) 以上概説したように、本発明は同じ信号処理システムを介してスティール画像
およびビデオ画像を提供する少なくとも2つのモードで動作し、それによってス
ティール画像とビデオ・カメラを別々に購入する消費者のコストを低減するシス
テムおよび装置内の信号処理方法を目的とする。一実施形態では、信号処理シス
テムは、ディジタル画像処理動作をチェーン方式で実行することで、同じ詳細な
元のイメージ・センサ信号からビデオ・データおよびスティール・データを提供
する。元のイメージ・センサ信号は空間的にスケーリングされるようディジタル
化され作成され、次いで相関解除されて圧縮データに符号化される。コンピュー
タ・バスを介してアクセス可能な再プログラミング可能な論理回路内で、あるい
は高性能のデータ・プロセッサをプログラミングしてソフトウェア内で動作を実
行することで異なる画像処理動作が実施できる。
DETAILED DESCRIPTION As outlined above, the present invention operates in at least two modes of providing a still image and a video image via the same signal processing system, thereby separating the still image and the video camera. The present invention is directed to a signal processing method in a system and apparatus for reducing the cost of a consumer who purchases a product. In one embodiment, the signal processing system performs the digital image processing operations in a chain fashion to provide video data and steel data from the same detailed original image sensor signal. The original image sensor signal is digitized and created to be spatially scaled, then decorrelated and encoded into compressed data. Different image processing operations can be performed in reprogrammable logic accessible through a computer bus, or by programming a sophisticated data processor to perform operations in software.

【0009】 説明を分かりやすくするために、以下に特定の実施形態について説明し、本発
明を徹底的に理解できるようにする。ただし、当業者には明らかなように、本開
示を読めば、本発明はそのような具体的な実施形態によらずに実施できる。さら
に、本発明を分かりやすくするために、よく知られている要素、装置、処理ステ
ップなどについては説明を行わない。
For clarity, certain embodiments are described below to provide a thorough understanding of the present invention. However, it will be apparent to one skilled in the art that, upon reading the present disclosure, the present invention may be practiced without such specific embodiments. In other instances, well-known elements, devices, processing steps, and the like have not been described in detail so as to not obscure the present invention.

【0010】 図1は、本発明の一実施形態によるビデオおよびスティール処理ブロック11
0を有するディジタル・カメラなどのディジタル画像取込み装置100の論理ブ
ロック図である。装置100はその画像を取込むべき被写体102から反射した
入射光にさらされるレンズ系104および絞り108を有する光インタフェース
を含む。装置100は、装置100が低照度条件下で動作する時に被写体102
をさらに照明する補助光を生成するストロボおよび電子フラッシュを含むことも
ある。
FIG. 1 shows a video and steel processing block 11 according to one embodiment of the present invention.
1 is a logical block diagram of a digital image capture device 100, such as a digital camera having a zero. Apparatus 100 includes an optical interface having a lens system 104 and an aperture 108 that are exposed to incident light reflected from a subject 102 whose images are to be captured. The device 100 is capable of capturing a subject 102 when the device 100 operates under low light conditions.
It may also include a strobe and an electronic flash to generate auxiliary light to further illuminate the camera.

【0011】 レンズ系104は好ましくはビデオおよびスティール動作の両方で許容できる
固定焦点レンズを有する。これは、近距離の被写体(ビデオ会議中のユーザの顔
など)の光インタフェースの変調伝達関数(MTF)の低下(したがって画像品
質の低下)がビデオ・モードで許容できるためである。光インタフェースは、セ
ンサへの光量と被写界深度を制御する絞り機構108を有し、下記の2つの設定
のみでビデオ動作とスティール動作の両方用に構成できる。
[0011] Lens system 104 preferably has a fixed focus lens that is acceptable for both video and still motion. This is because a reduction in the modulation transfer function (MTF) of the optical interface (and thus a decrease in image quality) for close-range subjects (such as the user's face during a video conference) is acceptable in video mode. The optical interface has an aperture mechanism 108 for controlling the amount of light to the sensor and the depth of field, and can be configured for both video operation and still operation with only the following two settings.

【0012】 光インタフェースは入射光を電子イメージ・センサ114に向ける。イメージ
・センサ114は入射光の強度と色に電気的に応答するいくつかのピクセルを有
する。センサ114は、スティール画像として許容できるだけの解像度を有する
取り込まれた画像を表す信号を生成する。光から生成されたアナログ・センサ信
号を受信するA/D変換器(図示せず)をセンサ114内に含めて、露出された
被写体102およびそれに伴うシーンのディジタル画像を規整するディジタル・
センサ信号を生成できる。あるいは、センサ114はブロック110にアナログ
信号を送信し、ブロック110は次いでこれらの信号に対してアナログ信号処理
を実行してからディジタル形式に変換する。いずれのシナリオでも、ディジタル
化されたセンサ信号はこうして画像データを確定する。その画像データは、ビデ
オおよびスティール・ブロック110によって画像処理方法に従って処理されて
スティール・モードとビデオ・モードのどちらが選択されているかに応じて、ス
ティール画像を形成するか、露光された被写体またはシーンによる動きを示すビ
デオ画像のシーケンスを形成する。
The optical interface directs incident light to the electronic image sensor 114. Image sensor 114 has a number of pixels that are electrically responsive to the intensity and color of the incident light. Sensor 114 generates a signal representing the captured image having a resolution that is acceptable for a still image. An A / D converter (not shown) that receives an analog sensor signal generated from the light is included in the sensor 114 to provide a digital signal for conditioning a digital image of the exposed subject 102 and the accompanying scene.
A sensor signal can be generated. Alternatively, sensor 114 sends analog signals to block 110, which then performs analog signal processing on these signals before converting them to digital form. In either scenario, the digitized sensor signal thus determines the image data. The image data is processed by a video and steel block 110 according to an image processing method to form a steel image or to expose an exposed subject or scene, depending on whether a steel mode or a video mode is selected. Form a sequence of video images showing motion.

【0013】 モード選択は装置100の機械的なつまみ(図示せず)を介して装置100の
ユーザによって行われる。機械的なノブの設定は、ローカル・ユーザ・インタフ
ェース158で受け取られ、ストリーム制御装置160によって処理される制御
信号およびデータに変換される。あるいは装置100はホスト/PC通信インタ
フェース154を介してパーソナル・コンピュータ(PC)などのホスト・コン
ピュータに接続することができる。次いでユーザはホスト上で実行されているソ
フトウェアを介してモード選択を実行でき、ホストはホスト/PCインタフェー
ス154を介して適正な制御信号およびデータをシステム制御装置160に伝送
する。
The mode selection is made by a user of the device 100 via a mechanical knob (not shown) of the device 100. Mechanical knob settings are received at the local user interface 158 and converted into control signals and data that are processed by the stream controller 160. Alternatively, device 100 may be connected to a host computer, such as a personal computer (PC), via host / PC communication interface 154. The user can then perform the mode selection via software running on the host, and the host transmits the appropriate control signals and data to the system controller 160 via the host / PC interface 154.

【0014】 システム制御装置160は上記のようにユーザによってなされたモード選択に
応答してビデオおよびスティール画像の取込みを編成する。システム制御装置1
60はビデオおよびスティール処理ブロック110を構成してスティール画像デ
ータまたはビデオ画像フレームのシーケンスを示すビデオ画像データを提供する
。次いで画像は装置100の内部に記憶され、かつ/またはホスト/PCに転送
されて圧縮解除され(画像が圧縮されていた場合)、レンダリングされ、かつ/
または表示される。
The system controller 160 organizes video and still image capture in response to the mode selection made by the user as described above. System control unit 1
60 constitutes the video and steal processing block 110 to provide steal image data or video image data indicative of a sequence of video image frames. The image is then stored inside the device 100 and / or transferred to a host / PC for decompression (if the image was compressed), rendered, and / or
Or displayed.

【0015】 画像取込み装置100はスティール画像データを受信して記憶するローカル記
憶装置122を含む。ローカル記憶装置122はFLASH半導体メモリおよび
/または回転式媒体装置を含むことができる。FLASHメモリはIntel(
登録商標)Miniature Cardのように取外し可能であってもよい。
回転式媒体は、磁気ディスクまたは画像データ・ファイルを記憶するのに適した
その他のタイプでもよい。
The image capture device 100 includes a local storage device 122 for receiving and storing still image data. Local storage 122 may include FLASH semiconductor memory and / or rotating media devices. FLASH memory is Intel (
It may be removable, such as a registered trademark Miniature Card.
The rotating media may be a magnetic disk or other type suitable for storing image data files.

【0016】 画像データはホスト/PC通信インタフェース154を介して装置100の外
部に転送することもできる。通信インタフェース154は、コンピュータ周辺バ
ス規格に従って、スティール画像およびビデオ画像データを両方共ホスト/PC
に転送するように構成できる。使用されるバス規格は、例えば、RS−232シ
リアル・インタフェース、ユニバーサル・シリアル・バス(USB)、または電
気電子学会(IEEE)1394〜1995である。
Image data can also be transferred outside the device 100 via the host / PC communication interface 154. The communication interface 154 transfers both still image and video image data to the host / PC according to the computer peripheral bus standard.
Can be configured to be forwarded to The bus standard used is, for example, the RS-232 serial interface, Universal Serial Bus (USB), or the Institute of Electrical and Electronics Engineers (IEEE) 1394-1995.

【0017】 上述したように、装置100は、ビデオ会議中などのビデオ・モード、および
従来の携帯カメラを使用するのと同様に写真を撮る時のスティール・モードを含
むいくつかのモードで動作するように光学的かつ電子的に構成できる。光学的な
観点からは、10mmの有効焦点距離を有する固定焦点距離レンズ系などの固定
焦点距離レンズ系104が好ましく、装置の実施形態を製造するコストを低減す
るために両方のモードで使用する。動きを取込むためのビデオ会議および高速フ
レーム速度の適用例で使用されるビデオ・モードでは、約f/2の絞り108を
選択できる。この絞り設定の一次焦点は好ましくは被写体102に関して約1メ
ートルで、背景に対する被写界深度は2メートルまで延びる。
As mentioned above, the device 100 operates in several modes, including a video mode, such as during a video conference, and a steal mode when taking pictures as with a conventional portable camera. Optically and electronically. From an optical point of view, a fixed focal length lens system 104, such as a fixed focal length lens system having an effective focal length of 10 mm, is preferred and used in both modes to reduce the cost of manufacturing an embodiment of the device. In video modes used in video conferencing and high frame rate applications to capture motion, an aperture of about f / 2 can be selected. The primary focus of this aperture setting is preferably about one meter with respect to the subject 102 and the depth of field relative to the background extends up to two meters.

【0018】 スティール・モード動作では、屋外および屋内のシーンの許容できる品質のス
ティール画像を取込むことができる。屋内のシーンの場合、光のレベルはストロ
ボまたは電子フラッシュ112によって生成される補助光を必要とする程度に低
くてもよい。屋内のシーンでは普通f/2〜f/8の絞り108を選択するであ
ろう。この絞りの範囲内で、一次焦点は被写体に関して約2メートルで、背景に
関する被写界深度が4メートルまで延びる。自然光による屋外の撮影では、一次
焦点は好ましくは被写体に対して約2〜3メートルで、背景に関して被写界深度
が無限大まで延びる。普通、その焦点を達成するには約f/8の絞りを選択する
であろう。
In steal mode operation, steal images of acceptable quality for outdoor and indoor scenes can be captured. For indoor scenes, the light level may be as low as required by the strobe or auxiliary light generated by the electronic flash 112. For indoor scenes, one would normally select an aperture 108 between f / 2 and f / 8. Within this aperture, the primary focus is about 2 meters for the subject and the depth of field for the background extends to 4 meters. For outdoor photography with natural light, the primary focus is preferably about 2-3 meters relative to the subject, and the depth of field extends to infinity with respect to the background. Normally, one would choose an aperture of about f / 8 to achieve that focus.

【0019】 画像取込み装置100は画像データまたはビデオ画像のシーケンスを提供する
ビデオおよびスティール処理ブロック110をそのように構成することで二重モ
ード動作用にも電子的に構成できる。一実施形態では、ブロック100はディジ
タル信号および画像処理機能を、論理回路および/またはプログラミングされた
プロセッサとして実装して、センサ114から受信機した詳細な元の画像データ
から事前に決められた解像度および圧縮率を有する圧縮画像データを生成するこ
とができる。そのようなブロック110を図2に示す。同図は、本発明の別の実
施形態によるディジタル・カメラの(またはその他の画像取込み装置の)画像処
理システム200の一部の論理ブロック図である。
Image capture device 100 can also be electronically configured for dual mode operation by so configuring video and steel processing block 110 that provides image data or a sequence of video images. In one embodiment, block 100 implements the digital signal and image processing functions as logic and / or a programmed processor to provide a predetermined resolution and resolution from detailed original image data received from sensor 114. Compressed image data having a compression ratio can be generated. Such a block 110 is shown in FIG. FIG. 6 is a logical block diagram of a portion of an image processing system 200 of a digital camera (or other image capture device) according to another embodiment of the present invention.

【0020】 図2は、ビデオおよびスティール・モード動作の両方で画像データがたどる経
路の本発明の一実施形態のデータの流れ図を示す。処理ブロック110は補正ブ
ロック210から開始できる画像処理機能のチェーンを含む。補正ブロック21
0はセンサ114から受信した元の画像データが、画像のスケーリングと圧縮前
にある種の前処理を保証する時に常に使用される。ある場合には、補正ブロック
210はイメージ・センサから受信した元の画像データに対してピクセル置換、
コンパンディング、およびガンマ補正を実行する。元の画像データは許容できる
品質のスティール画像を生成できる解像度(例えば、768×576以上の空間
解像度が好ましい)でなければならない。
FIG. 2 shows a data flow diagram of one embodiment of the present invention for the path image data follows in both video and steel mode operation. Processing block 110 includes a chain of image processing functions that can start from correction block 210. Correction block 21
0 is always used when the original image data received from the sensor 114 guarantees some pre-processing before scaling and compression of the image. In some cases, the correction block 210 performs pixel replacement on the original image data received from the image sensor,
Perform companding and gamma correction. The original image data must be of a resolution that can produce a still image of acceptable quality (eg, a spatial resolution of 768 × 576 or higher is preferred).

【0021】 ピクセル置換をブロック210内で実行して無効なピクセル・データを有効な
データに置換して後続の画像処理機能により決定論的な入力を提供できる。圧伸
を行って各ピクセルの解像度(ピクセルあたりのビット数)を低下させることが
できる。例えば、元の画像データの受信時の解像度が10ビット/ピクセルでよ
いが、論理回路に入力するピクセル解像度は8ビット(1バイト)であることが
好ましい。従来のガンマ補正を実行して画像の情報内容を画像が最終的に表示さ
れるホスト・コンピュータによって期待される内容に適合させることができる。
Pixel replacement can be performed in block 210 to replace invalid pixel data with valid data and provide deterministic input by subsequent image processing functions. Companding can be performed to reduce the resolution (bits per pixel) of each pixel. For example, the resolution at the time of receiving the original image data may be 10 bits / pixel, but the pixel resolution input to the logic circuit is preferably 8 bits (1 byte). Conventional gamma correction can be performed to adapt the information content of the image to what is expected by the host computer where the image is ultimately displayed.

【0022】 各受信された元の画像フレームに対してブロック210内で実行できるその他
の機能は、画像の圧縮前にしばしば必要なピクセル・パターン雑音低減を含む。
この場合もやはり、一般に補正機能がブロック210内で実行されるか否かは、
センサ114から受信した元の画像データの品質と、画像データがいつでも記憶
できるかまたはホスト・コンピュータに送信できる前に実行すべき後続の画像ス
ケーリングまたは圧縮などの任意の後続の画像処理次第である。
Other functions that can be performed in block 210 for each received original image frame include pixel pattern noise reduction that is often required before image compression.
Again, in general, whether the correction function is performed in block 210
It depends on the quality of the original image data received from the sensor 114 and any subsequent image processing, such as any subsequent image scaling or compression, to be performed before the image data can be stored at any time or transmitted to the host computer.

【0023】 元の画像データが補正されるか補正ブロック210によってその他の方法で所
望のサイズまたはフォーマットに処理されると、図1に示すホスト/PC通信イ
ンタフェース154とローカル記憶装置122の伝送および記憶要件を満足させ
る必要がある場合、補正されたデータは、適宜スケーリングおよび圧縮されるこ
とがある。そのような要件を満足するため、処理ブロック110は伝送および/
または記憶の前に任意の必要な画像スケーリングと圧縮を実行するスケーリング
および圧縮論理212を含むことができる。
Once the original image data has been corrected or otherwise processed to the desired size or format by correction block 210, the transmission and storage of host / PC communication interface 154 and local storage device 122 shown in FIG. If the requirements need to be met, the corrected data may be scaled and compressed accordingly. To satisfy such requirements, processing block 110 transmits and / or
Or, it may include scaling and compression logic 212 that performs any necessary image scaling and compression prior to storage.

【0024】 例えば、スケーリングおよび圧縮論理212は画像サイズと解像度を低減して
、より大きくより詳細なスティール画像と比べてより小さくより詳細でないビデ
オ画像を生成するように構成できる。ホスト/PC内で圧縮解除され表示される
べき高速シーケンスのビデオ画像を伝送するためにより小さくより詳細でない画
像データが必要になることがある。ただし、装置100とホスト/PC間の伝送
リンクが詳細な元の画像データを必要な速度でホスト/PCに送信できるだけの
帯域幅を有する場合、スティールおよびビデオ動作に両方でスケーリングおよび
圧縮論理212を簡単化することができ、または解消することさえ可能である。
For example, scaling and compression logic 212 may be configured to reduce image size and resolution to produce smaller, less detailed video images as compared to larger, more detailed steel images. Smaller and less detailed image data may be required to transmit a fast sequence of video images to be decompressed and displayed within the host / PC. However, if the transmission link between the device 100 and the host / PC has enough bandwidth to transmit the detailed original image data at the required rate to the host / PC, the scaling and compression logic 212 is used for both steal and video operations. It can be simplified or even eliminated.

【0025】 図2に示し、以下に説明するように、圧縮論理212についていくつかの処理
機能が考えられる。これらの機能と、機能的に類似したその他の機能は、下記の
ように光インタフェースが装置100で使用されている場合に、システム200
が所望する性能(圧縮画像データのレンダリング速度)および画像品質に応じて
当業者によって構成できる。画像処理機能は、一実施形態では、図2に示し、以
下に説明するように、論理回路の別々のユニットとして実施されている。
Several processing functions are conceivable for the compression logic 212 as shown in FIG. 2 and described below. These functions and other functions that are functionally similar are described below when the optical interface is used in the device 100 as described below.
Can be configured by those skilled in the art according to desired performance (rendering speed of compressed image data) and image quality. The image processing function is, in one embodiment, implemented as a separate unit of logic, as shown in FIG. 2 and described below.

【0026】 スケーリング論理214は、記憶または伝送が容易なより小さい画像を生成す
るために補正画像データの2次元空間スケーリングを実行する。このスケーリン
グは従来の知られている手法を用いて、選択されたスケーリング率に従って実行
される。スケーリング率は整数でも分数でもよい。スケーリングは、例えば、2
つの別々の1次元スケーリング処理を用いて2次元形式で実行できる。
[0026] Scaling logic 214 performs two-dimensional spatial scaling of the corrected image data to generate smaller images that are easier to store or transmit. This scaling is performed according to the selected scaling factor using conventional and known techniques. The scaling factor may be an integer or a fraction. The scaling is, for example, 2
It can be performed in a two-dimensional format using two separate one-dimensional scaling processes.

【0027】 スケーリング論理214は、適当なスケーリング率を選択するだけでビデオお
よびスティール画像に両方に使用できる。例えば、補正画像データの4:1サブ
サンプリングをビデオ・モードで実行して、補正画像データの16のピクセルを
平均してスケーリングされた画像データ内に1ピクセルを生成することができる
。標準のサンプリング理論に基づいて、非補正雑音源を仮定すると、サブサンプ
リングによって信号対雑音比を√16、すなわち4倍まで改善できる。2:1な
どのより低いスケーリング率も使用できる。この場合、4つのピクセルが平均さ
れてスケーリングされた画像データ内に1ピクセルが生成され、信号対雑音比(
SNR)は2倍に改善される。ビデオ・モードでの動作中により詳細な補正画像
データをこのようにスケーリングすることで、システム200は、ビデオ会議中
などのビデオ動作時に通常遭遇するより低い光のレベルによる雑音の増加を補償
する。
The scaling logic 214 can be used for both video and still images simply by selecting an appropriate scaling factor. For example, 4: 1 subsampling of the corrected image data can be performed in a video mode to average one sixteen pixels of the corrected image data to produce one pixel in the scaled image data. Assuming an uncorrected noise source based on standard sampling theory, subsampling can improve the signal-to-noise ratio by up to $ 16, or four times. Lower scaling factors, such as 2: 1 can also be used. In this case, four pixels are averaged to produce one pixel in the scaled image data, and the signal to noise ratio (
SNR) is improved by a factor of two. By scaling the more detailed corrected image data in this manner while operating in the video mode, the system 200 compensates for the increased noise due to lower light levels typically encountered during video operation, such as during a video conference.

【0028】 図2の画像機能ブロックのチェーンの次の段階は相関解除および符号化ブロッ
ク222である。スケーリング論理214から受信したスケーリングされた画像
データは、いくつかの相関解除方法のうち選択された方法に従って、画像圧縮の
1つのタイプであるエントロピー符号化の準備として相関解除される。この場合
もまた、ユーザは、通常はより小さいサイズのビデオ画像を得るのに適した特定
の相関解除方法を選択することができる。
The next stage in the chain of image function blocks of FIG. 2 is the decorrelation and encoding block 222. The scaled image data received from the scaling logic 214 is decorrelated in preparation for entropy coding, one type of image compression, according to a selected one of several decorrelation methods. Again, the user can select a particular decorrelation method that is typically suitable for obtaining smaller sized video images.

【0029】 相関解除機能は隣接ピクセル間の誤差としてのエラー画像を生成することがあ
る。画像の相関解除に使用できる1つの具体的な方法はディジタルパルス符号変
調(DPCM)である。例えば、多数のビデオ画像フレームを伝送する際に必要
に応じて画像データをさらに圧縮するために、「損失」をDPCMを用いて「量
子化」(第1のデータの組をより小さい値の組に対応させる処理)エラーの形で
導入することができる。
The decorrelation function may generate an error image as an error between adjacent pixels. One specific method that can be used to decorrelate the image is digital pulse code modulation (DPCM). For example, in order to further compress the image data as needed when transmitting a large number of video image frames, the "loss" may be "quantized" using DPCM (the first set of data may be replaced with a smaller set of values). (Corresponding to the above) can be introduced in the form of an error.

【0030】 画像機能ブロックのチェーンの次の段階は、エントロピー符号化技法を用いて
相関解除された画像データを圧縮するブロック222によるエントロピー符号化
である。例えば、一般に知られている使用可能なエントロピー符号化方法は、ハ
フマン符号化である。エントロピー符号化は相関解除された画像データ内の記号
をビット文字列で置き換えて異なる記号が異なる可変長の2進文字列で表され、
最も一般に出現する記号が最も短い2進文字列で表されるようにする処理を含む
。その結果、エントロピー符号化論理222は、スケーリングされた8ビット・
データが3〜16ビットの可変サイズを有するデータに符号化される図2に示す
ような圧縮画像データを提供する。
The next stage in the chain of image functional blocks is entropy encoding by block 222, which compresses the decorrelated image data using entropy encoding techniques. For example, a commonly known available entropy coding method is Huffman coding. Entropy coding replaces the symbols in the decorrelated image data with bit strings, and different symbols are represented by different variable length binary strings,
Includes processing to ensure that the most commonly occurring symbols are represented by the shortest binary string. As a result, entropy coding logic 222 provides a scaled 8-bit
The present invention provides compressed image data as shown in FIG. 2 in which data is encoded into data having a variable size of 3 to 16 bits.

【0031】 この場合もまた、ビデオおよびスティール画像を得る符号化方法は別の方法で
あってもよく、動作モードに応じて選択できる。例えば、スティール画像を符号
化する際にビデオ画像データと比較して記号のより大きい組(可変2進文字列長
を有する)を使用できる。これは、ビデオ画像を圧縮解除する場合と比べてステ
ィール画像を圧縮解除するのにより多くの時間をホスト/PCに割り付けること
ができるためである。これとは対照的に、ビデオ画像を符号化する場合は、一連
のビデオ画像フレームをより高速で圧縮解除するために、均一な2進文字列長を
有する記号のより限定された組を使用する必要がある。さらに、均一な2進文字
列長を有することで、USBなどのホスト/PCに特に適した画像データを伝送
する固定量の帯域幅を使用することができる。
Also in this case, the encoding method for obtaining the video and the still image may be another method, which can be selected according to the operation mode. For example, a larger set of symbols (having a variable binary string length) can be used when encoding a still image as compared to video image data. This is because more time can be allocated to the host / PC to decompress the steel image than to decompress the video image. In contrast, when encoding a video image, a more limited set of symbols having a uniform binary string length is used to decompress a series of video image frames faster. There is a need. Further, having a uniform binary character string length allows the use of a fixed amount of bandwidth for transmitting image data that is particularly suitable for a host / PC such as a USB.

【0032】 画像処理システム200は上述した二重モード動作を容易にする別の論理を含
む。特に、ブロック210および212内の論理回路はプログラマブル・ルック
アップ・テーブル(LUT)およびランダム・アクセス・メモリ(RAM)を使
用してそれぞれの画像処理機能を実行する際の融通性を実現する。各LUTまた
はRAMは、特定の動作モードに対して選択された方法によって指定されたそれ
ぞれの画像処理機能に情報を送信する。例えば、スケーリング論理214はRA
M記憶領域を使用して中間スケーリング演算を記憶する。また、スティール画像
とビデオ画像のどちらを所望するかに応じて、相関解除および符号化論理を行う
LUT234に当技術分野で知られている相関解除および符号化の実行に必要な
異なる規則とデータをロードすることができる。一実施形態では、LUT234
には、文字をリストするルックアップ・テーブル(いわゆる「コード・ブック」
)と文字列長をリストするルックアップ・テーブルの2つのルックアップ・テー
ブル(LUT)が使用される。
Image processing system 200 includes additional logic that facilitates the dual mode operation described above. In particular, the logic within blocks 210 and 212 provides flexibility in performing their respective image processing functions using a programmable look-up table (LUT) and a random access memory (RAM). Each LUT or RAM sends information to a respective image processing function specified by the method selected for the particular mode of operation. For example, scaling logic 214
The intermediate scaling operation is stored using the M storage area. Also, depending on whether a still image or a video image is desired, the LUT 234 that performs the decorrelation and encoding logic may include different rules and data needed to perform the decorrelation and encoding known in the art. Can be loaded. In one embodiment, LUT 234
Contains a look-up table that lists characters (a so-called "code book"
) And a look-up table that lists the string length.

【0033】 RAMおよびLUTにロードする適切な値を決定するのに別の技法を使用でき
る。例えば、相関解除およびエントロピー符号化に影響を与えるライティングそ
の他の要因を決定するのにカメラ制御ユニット160によって画像計量を実行す
ることができる。また、上述したように、特に多数の画像フレームが生成される
ビデオ動作中には、伝送および記憶の制約によって圧縮率を上げなければならな
いことがあり、したがって、相関解除およびエントロピー符号化のためのLUT
は画像データの圧縮のためのより小さいコード・ブックを含むことになる。
Other techniques can be used to determine the appropriate values to load into RAM and LUT. For example, image metrics can be performed by the camera control unit 160 to determine lighting and other factors that affect decorrelation and entropy coding. Also, as mentioned above, especially during video operations where a large number of image frames are generated, transmission and storage constraints may have to increase the compression ratio, thus reducing the decompression and entropy coding. LUT
Will include a smaller code book for compression of the image data.

【0034】 上述した異なるLUTおよびRAMは単一の物理RAMユニットの一部として
実施でき、あるいは、1つまたは複数のRAMユニットとして異なる組合せに組
み合わせることができるが、各LUTおよびRAMは好ましくは画像機能の性能
を高速化するために物理的に別々のユニットとして実装される。
Although the different LUTs and RAMs described above can be implemented as part of a single physical RAM unit, or can be combined in different combinations as one or more RAM units, each LUT and RAM is preferably an image Implemented as physically separate units to speed up function performance.

【0035】 画像データが圧縮論理212によって所望のモードに従って圧縮されると、可
変サイズになったデータはデータ・パッキング・ユニット226に渡され、デー
タ・パッキング・ユニット226でデータは一定のサイズの、したがってより管
理が容易なデータ・セグメントにパッキングされ、記憶とコンピュータ・バス上
の伝送がより効率的になる。この場合もまた、センサ114からの画像データが
そのままで十分に許容でき、そのようなデータに伝送または記憶上の制約がない
場合、センサの画像データはサイズが一定で、最小限の処理で装置100の外部
で容易に記憶または伝送できるので、データ・パッキング・ユニットは余分にな
る。
Once the image data has been compressed according to the desired mode by the compression logic 212, the variable size data is passed to the data packing unit 226 where the data is of a fixed size, Thus, it is packed into more manageable data segments, making storage and transmission over the computer bus more efficient. Again, if the image data from the sensor 114 is well tolerated as such and there are no transmission or storage constraints on the data, then the sensor image data is of a fixed size and requires minimal processing by the device. The data packing unit is redundant because it can be easily stored or transmitted outside of the 100.

【0036】 データ・パッキング・ユニット226内で、異なるサイズの受信データ・ブロ
ックが事前定義された一定のサイズを有するブロックにパッキングされる。例え
ば、図2のシステム200では、データ・パッキング・ユニットは可変サイズの
圧縮画像データを16ビット・ブロックにパッキングする。16ビット・ブロッ
クは次いで直接記憶アクセス(DMA)制御装置などのデータ・フロー制御装置
238に送信され、次いでデータ・フロー制御装置238は各データ・ブロック
にアドレス情報を追加してからバス242にアクセスして16ビット・ブロック
をバス上で送信する。メモリ制御装置246はバス242を介して16ビット・
ブロックを受け取り、装置100に内蔵されたダイナミックRAM(DRAM)
(図示せず)などのメモリに一時的に記憶する。
Within the data packing unit 226, different sized received data blocks are packed into blocks having a predefined constant size. For example, in the system 200 of FIG. 2, the data packing unit packs variable size compressed image data into 16 bit blocks. The 16-bit block is then sent to a data flow controller 238, such as a direct storage access (DMA) controller, which then adds address information to each data block before accessing bus 242. To send a 16-bit block on the bus. The memory controller 246 transmits a 16-bit
Dynamic RAM (DRAM) that receives a block and is built in the device 100
(Not shown) or the like.

【0037】 スティール画像データは、パッキングされた後で、バス242に結合されたロ
ーカル記憶インタフェース250を介してローカル記憶域122(図1を参照)
に転送できる。例えば、ローカル記憶装置122は、画像データに付加された圧
縮テーブル、ファイル・ヘッダ、日時スタンプ、および計量情報を含む「ファイ
ル」のとして作成された画像データを受信する取外し可能FLASHメモリ・カ
ードでもよい。次いでカードを装置100から取り外してPCに挿入し、スティ
ール画像データを転送してPC内で圧縮解除、表示および/またはその他の処理
を実行することができる。
After the still image data is packed, the local storage 122 (see FIG. 1) via a local storage interface 250 coupled to bus 242.
Can be transferred to For example, the local storage device 122 may be a removable FLASH memory card that receives image data created as a "file" including a compression table, a file header, a date and time stamp, and weighing information attached to the image data. . The card can then be removed from the device 100 and inserted into a PC, and the still image data can be transferred to perform decompression, display, and / or other processing within the PC.

【0038】 取外し可能記憶装置を使用する代わりに、ホスト/PC通信制御装置154を
用いてスティール画像とビデオ画像の両方を装置100の外部に転送できる。こ
れは、ホスト・コンピュータ(図示せず)によって記憶され、アクセスされるた
めにホスト・コンピュータに転送すべき、スティール画像データを通信インタフ
ェース154に使用される特定のバス規格を用いた伝送に適したディスク・ファ
イルとして作成することで達成される。ビデオ画像データは知られている技法を
用いてUSBなどの制御装置インタフェースを介してホスト・コンピュータに送
信できる。
Instead of using a removable storage device, both the still image and the video image can be transferred outside the device 100 using the host / PC communication controller 154. It is suitable for transmission of steel image data to be stored and accessed by a host computer (not shown) and transferred to the host computer using the particular bus standard used for communication interface 154. Achieved by creating it as a disk file. The video image data can be transmitted to the host computer via a controller interface such as a USB using known techniques.

【0039】 画像取込み装置100および処理システム200の二重モード動作については
、図2に示すバス・ベースのアーキテクチャに関してすでに述べた。このアーキ
テクチャで異なる動作モードのソフトウェア制御をさらに容易にするために、い
くつかのメモリ・マッピングされた制御レジスタ(図示せず)をバス242に結
合してシステム制御装置160が所望の動作モードで装置100とシステム20
0を構成するようにできる。選択された動作モードの適切な画像処理方法に必要
なパラメータをプログラミングするために、バス242を介してLUT、RAM
、および制御レジスタにアクセスするためにシステムが実行する命令を発行する
ことができる。例えば、すべての動作モードでのスケーリング、相関解除、およ
びエントロピー符号化方法の異なる規則およびパラメータを製造中に装置100
に内蔵された制御装置命令として記憶できる。この場合、各動作モードには異な
る方法の組が割り当てられる。ローカル・ユーザ・インタフェース158または
ホスト/PC通信インタフェース154を介して実行されるユーザによるモード
選択に応答して、適当な組がビデオおよびスティール・ブロック110にロード
できる。
The dual mode operation of the image capture device 100 and the processing system 200 has been described above with respect to the bus-based architecture shown in FIG. To further facilitate software control of different modes of operation in this architecture, several memory mapped control registers (not shown) may be coupled to bus 242 to allow system controller 160 to operate the device in the desired mode of operation. 100 and system 20
0 can be configured. LUT, RAM via bus 242 to program the parameters required for the appropriate image processing method for the selected mode of operation.
, And instructions executed by the system to access the control registers. For example, different rules and parameters of the scaling, decorrelation, and entropy coding methods in all modes of operation may be applied to the device 100 during manufacturing.
Can be stored as control device instructions embedded in the device. In this case, a different set of methods is assigned to each operation mode. The appropriate set can be loaded into the video and steel block 110 in response to a user selecting a mode performed via the local user interface 158 or the host / PC communication interface 154.

【0040】 ビデオおよびスティール・ブロック110の現在の好ましい実施形態は論理回
路であるが、画像処理システム200は、命令を実行してブロック110のディ
ジタル画像処理機能を実行するプログラミングされた高性能プロセッサを備える
ことができる。そのようなプロセッサによって実行できる例示のステップは図3
に示され、図2のビデオおよびスティール・ブロック110の実施形態内の補正
ブロック210および圧縮論理212の上の説明に基づいて容易に理解できる。
図3のステップのシーケンスはシステム制御装置160またはバス242にやは
り結合されている別個の専用プロセッサ(図示せず)によって実行することがで
きる。
Although the presently preferred embodiment of the video and steel block 110 is logic, the image processing system 200 includes a programmed high performance processor that executes instructions to perform the digital image processing functions of the block 110. Can be prepared. Exemplary steps that can be performed by such a processor are shown in FIG.
And can be easily understood based on the above description of the correction block 210 and the compression logic 212 in the video and steel block 110 embodiment of FIG.
3 may be performed by the system controller 160 or by a separate dedicated processor (not shown) also coupled to the bus 242.

【0041】 要するに、本発明の上述した実施形態は、スティール・モード(携帯カメラと
してスティール画像を取り込むための)とビデオ・モード(ディジタル・カメラ
が周辺バス・インタフェースを介してホスト・コンピュータまたはその他の画像
表示システムに接続されている)の両方で動作する携帯ディジタル・カメラなど
の装置内で使用できる。カメラは、イメージ・センサと、屋外と屋内のシーンの
両方でスティール・モードで詳細な画像を取り込むように構成されたビデオおよ
びスティール処理ブロック110とを有する。ビデオ・モードでは、カメラは、
コンピュータ周辺バス・インタフェースを介して表示するためにホスト・コンピ
ュータに送信できるビデオ・シーケンスを取り込むために、同じ処理ブロック1
10を用いて詳細な画像のシーケンスを圧縮するように構成される(伝送および
記憶に必要な場合)。
In summary, the above-described embodiments of the present invention include a steal mode (for capturing still images as a portable camera) and a video mode (where the digital camera is connected to a host computer or other computer via a peripheral bus interface). (Connected to an image display system). The camera has an image sensor and a video and steel processing block 110 configured to capture detailed images in steal mode for both outdoor and indoor scenes. In video mode, the camera
The same processing block 1 to capture a video sequence that can be sent to the host computer for display via the computer peripheral bus interface
10 to compress the sequence of detailed images (if required for transmission and storage).

【0042】 上述した本発明の実施形態はその構造および実施形態が異なるのは当然である
。例えば、処理ブロック110の画像データ経路は最初は8ビット幅で圧縮時に
は最大16ビットとして示されているが、本発明はその他のデータ経路幅を用い
て実施できることは当業者には明らかであろう。また、システム制御装置160
はデータ・フロー制御装置238と組み合わせてマイクロ制御装置などの1つの
物理的な集積回路ユニットに統合することができる。以上のように、本発明の範
囲は例示の実施形態ではなく、首記の請求項とその正当な均等物によって決定さ
れなければならない。
It goes without saying that the above-described embodiment of the present invention is different in the structure and the embodiment. For example, while the image data path of processing block 110 is initially shown as being 8 bits wide and up to 16 bits when compressed, it will be apparent to those skilled in the art that the present invention may be practiced with other data path widths. . Also, the system controller 160
Can be integrated with a data flow controller 238 into one physical integrated circuit unit, such as a microcontroller. As described above, the scope of the present invention should be determined not by the illustrative embodiments but by the appended claims and their proper equivalents.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の一実施形態によるディジタル画像取込み装置の論理ブロック図である
FIG. 1 is a logical block diagram of a digital image capture device according to one embodiment of the present invention.

【図2】 本発明の別の実施形態による信号および画像処理システムのアーキテクチャを
示す図である。
FIG. 2 is a diagram illustrating the architecture of a signal and image processing system according to another embodiment of the present invention.

【図3】 本発明の別の実施形態に従って実行される信号処理ステップの論理流れ図であ
る。
FIG. 3 is a logic flow diagram of signal processing steps performed in accordance with another embodiment of the present invention.

【手続補正書】[Procedure amendment]

【提出日】平成12年8月22日(2000.8.22)[Submission date] August 22, 2000 (2000.8.22)

【手続補正1】[Procedure amendment 1]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】全図[Correction target item name] All figures

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図1】 FIG.

【図2】 FIG. 2

【図3】 FIG. 3

───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SZ,UG,ZW),EA(AM ,AZ,BY,KG,KZ,MD,RU,TJ,TM) ,AL,AM,AT,AZ,BA,BB,BG,BR, BY,CA,CH,CN,CU,CZ,DE,DK,E E,ES,FI,GB,GE,GH,GM,HR,HU ,ID,IL,IS,JP,KE,KG,KP,KR, KZ,LC,LK,LR,LS,LT,LU,LV,M D,MG,MK,MN,MW,MX,NO,NZ,PL ,PT,RO,RU,SD,SE,SG,SI,SK, SL,TJ,TM,TR,TT,UA,UG,US,U Z,VN,YU,ZW (72)発明者 コラム,カーティス・エイ アメリカ合衆国・85224・アリゾナ州・チ ャンドラー・ウエスト マジオ ウエイ 23−2065番・1570 (72)発明者 ブース,ローレンス・エイ・ジュニア アメリカ合衆国・85045・アリゾナ州・フ ェニックス・サウス 17ティエイチ アベ ニュ・15230 (72)発明者 アチャーリャ,ティンク アメリカ合衆国・85283・アリゾナ州・テ ンプ・サウス ロバーツ ロード・7292 (72)発明者 ジョーンズ,トーマス・シイ アメリカ合衆国・85045・アリゾナ州・フ ェニックス・ウエスト ケヴィン ドライ ブ・2409 Fターム(参考) 5C022 AA12 AA13 AB12 AB15 AC42 AC54 5C059 LB03 MA01 ME02 PP01 PP04 SS07 SS14 SS26 UA38 UA39──────────────────────────────────────────────────続 き Continuation of front page (81) Designated country EP (AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, SE ), OA (BF, BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR, NE, SN, TD, TG), AP (GH, GM, KE, LS, MW, SD, SZ, UG, ZW), EA (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM), AL, AM, AT, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES, FI, GB, GE, GH, GM, HR, HU, ID, IL, IS, JP, KE, KG, KP, KR , KZ, LC, LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, US, UZ, VN, YU, ZW (72) Inventor Column, Curtis A United States 85224 Arizona Chandler West Maggio Way 23 -2065 No. 1570 (72) Inventor Booth, Lawrence A. Jr., United States, 85045, Phoenix, Arizona, 17th Avenue 17th Avenue, 15230 (72) Inventor, Acharya, Tink United States, 85283, Arizona, Te Nump South Roberts Road 7292 (72) Inventor Jones, Thomas Xy, Phoenix West Cave, 85045, Arizona, USA Down drive · 2409 F-term (reference) 5C022 AA12 AA13 AB12 AB15 AC42 AC54 5C059 LB03 MA01 ME02 PP01 PP04 SS07 SS14 SS26 UA38 UA39

Claims (18)

【特許請求の範囲】[Claims] 【請求項1】 受信したイメージ・センサ信号をディジタル画像データに変
換する信号処理回路を含み、 複数の画像処理方法の第1の組に従って前記センサ信号を処理するように処理
回路を構成することでビデオ画像データを提供する第1のモードと、 複数の画像処理方法の第2の組に従って前記センサ信号を処理するように処理
回路を構成することでスティール画像データを提供する第2のモードと の複数のモードの1つで動作するように構成可能な画像処理システム。
1. A signal processing circuit for converting a received image sensor signal into digital image data, wherein the processing circuit is configured to process the sensor signal according to a first set of a plurality of image processing methods. A first mode for providing video image data, and a second mode for providing still image data by configuring the processing circuitry to process the sensor signal according to a second set of image processing methods. An image processing system configurable to operate in one of a plurality of modes.
【請求項2】 複数の画像処理方法が空間スケーリング、相関解除およびエ
ントロピー符号化方法を含む請求項1に記載の画像処理システム。
2. The image processing system according to claim 1, wherein the plurality of image processing methods include spatial scaling, decorrelation and entropy coding methods.
【請求項3】 処理回路が、 センサ信号に関係する画像データをスケーリングされた画像データに空間的に
スケーリングするスケーリング論理と、 スケーリングされた画像データを相関解除された画像データに相関解除する相
関解除論理と、 相関解除された画像データを可変サイズの圧縮画像データに圧縮するエントロ
ピー符号化論理とを含む請求項1に記載の画像処理システム。
3. A processing circuit, wherein: scaling circuitry spatially scales image data associated with the sensor signal into scaled image data; and de-correlation de-correlates the scaled image data into de-correlated image data. 2. The image processing system of claim 1 including logic and entropy coding logic for compressing the decorrelated image data into variable size compressed image data.
【請求項4】 複数の画像処理方法の第1の組が、 第1のスケーリング方法と、 第1の相関解除方法と、 第1の符号化方法とを含み、 第1のモードでは、相関解除論理が第1の相関解除方法に従って相関解除する
ように構成され、 スケーリング論理が第1のスケーリング方法に従ってスケーリングするように
構成され、 符号化論理が第1の符号化方法に従って圧縮するように構成された請求項3に
記載の画像処理システム。
4. A first set of image processing methods comprising: a first scaling method, a first decorrelation method, and a first encoding method; Logic is configured to decorrelate according to the first decorrelation method; scaling logic is configured to scale according to the first scaling method; and encoding logic is configured to compress according to the first encoding method. The image processing system according to claim 3.
【請求項5】 第1の符号化方法の指定に従って、符号化論理に情報を提供
する符号化ルックアップ・テーブル(LUT)をさらに含む請求項4に記載の画
像処理システム。
5. The image processing system according to claim 4, further comprising an encoding look-up table (LUT) for providing information to encoding logic according to a specification of the first encoding method.
【請求項6】 ディジタル画像データが圧縮された可変サイズのタイプのも
のであり、ディジタル画像データを事前定義された一定のサイズを有するパッキ
ングされた画像データにパッキングするデータ・パッキング・ユニットをさらに
含む請求項1に記載の画像処理システム。
6. The digital image data is of a compressed variable size type, further comprising a data packing unit for packing the digital image data into packed image data having a predefined constant size. The image processing system according to claim 1.
【請求項7】 符号化LUTが結合されたコンピュータ・バスと、 コンピュータ・バスに結合され、複数の命令の実行に応答して第1の符号化方
法によって指定された情報を符号化LUTにロードするように構成された制御装
置ユニットとをさらに含む請求項5に記載の画像処理システム。
7. A computer bus coupled to the encoding LUT, and coupled to the computer bus for loading information specified by the first encoding method into the encoding LUT in response to execution of the plurality of instructions. The image processing system according to claim 5, further comprising a control device unit configured to perform the control.
【請求項8】 ディジタル画像を取り込む装置であって、 画像を取り込むべき被写体から反射した入射光に露光される光インタフェース
と、 光インタフェースに結合され、入射光に応答してセンサ信号を生成するイメー
ジ・センサと、 センサ信号の受信に応答して圧縮画像データを生成するディジタル信号および
画像処理(DSIP)手段であって、DSIP手段が、 受信画像データを可変サイズの圧縮画像データに圧縮する圧縮論理と、 可変サイズの圧縮画像データを一定のサイズのパッキングされた画像デー
タにパッキングするパッキング・ユニットとを含み、 圧縮方法の第1の組に従って、パッキングされた画像データをビデオ画像デ
ータとして提供する第1のモードと、 圧縮方法の第2の組に従って、パッキングされた画像データをスティール画
像データとして提供する第2のモードの、複数のモードの1つで動作するように
構成可能なDSIP手段と、 スティール画像データを受信して記憶するローカル記憶手段と、 ビデオ画像データを前記装置とは別個の電子画像表示システムに転送するよう
に構成された通信インタフェースと を含む装置。
8. An apparatus for capturing a digital image, comprising: an optical interface exposed to incident light reflected from a subject from which the image is to be captured; and an image coupled to the optical interface for generating a sensor signal in response to the incident light. A sensor and digital signal and image processing (DSIP) means for generating compressed image data in response to receiving the sensor signal, wherein the DSIP means compresses the received image data into variable size compressed image data. And a packing unit for packing variable size compressed image data into fixed size packed image data, and providing the packed image data as video image data according to a first set of compression methods. 1 and a packed image data according to a second set of compression methods. DSIP means configurable to operate in one of a plurality of modes of a second mode for providing the still image data as steel image data; local storage means for receiving and storing the still image data; A communication interface configured to transfer to an electronic image display system separate from the device.
【請求項9】 第1のモードで、装置がさらに通信インタフェースを介して
スティール画像データをディスク・ファイルのフォーマットで転送するように構
成された請求項8に記載の装置。
9. The apparatus of claim 8, wherein in the first mode, the apparatus is further configured to transfer the still image data via the communication interface in a disk file format.
【請求項10】 ローカル記憶手段が取外し可能メモリを含む請求項8に記
載の装置。
10. The apparatus of claim 8, wherein the local storage means includes a removable memory.
【請求項11】 通信インタフェースがパッキングされたデータをシリアル
・バス規格に従って転送するように構成された請求項8に記載の装置。
11. The apparatus of claim 8, wherein the communication interface is configured to transfer the packed data according to a serial bus standard.
【請求項12】 前記装置が第1のモードで動作している時に補助光を生成
して被写体をさらに照明するストロボをさらに含む請求項9に記載の装置。
12. The apparatus according to claim 9, further comprising a strobe for generating auxiliary light to further illuminate a subject when the apparatus is operating in a first mode.
【請求項13】 光インタフェースが固定有効焦点距離を有する請求項8に
記載の装置。
13. The apparatus of claim 8, wherein the optical interface has a fixed effective focal length.
【請求項14】 複数の画像処理方法の第1の選択に従って画像データを圧
縮して圧縮スティール画像データを得る第1のモードと、 複数の画像処理方法の第2の選択に従って前記画像データを圧縮して圧縮ビデ
オ画像データを得る第2のモードと の少なくとも2つのモードの1つで動作してビデオ画像およびスティール画像デ
ータを生成するように信号および画像処理システムを構成するステップを含む方
法。
14. A first mode for obtaining compressed steel image data by compressing image data according to a first selection of a plurality of image processing methods, and compressing said image data according to a second selection of a plurality of image processing methods. Configuring the signal and image processing system to operate in one of at least two modes to generate video image and still image data.
【請求項15】 複数の画像処理方法がスケーリングおよびエントロピー符
号化方法を含む請求項14に記載の方法。
15. The method according to claim 14, wherein the plurality of image processing methods include scaling and entropy coding methods.
【請求項16】 構成ステップが複数の命令を実行して前記画像データを圧
縮してスティール画像データを得るステップを含む請求項14に記載の方法。
16. The method of claim 14, wherein the configuring step includes executing a plurality of instructions to compress the image data to obtain still image data.
【請求項17】 圧縮ビデオ画像データをパッキングして一定の長さを有す
るビデオ画像データを得るステップをさらに含む請求項14に記載の方法。
17. The method of claim 14, further comprising packing the compressed video image data to obtain video image data having a fixed length.
【請求項18】 圧縮スティール画像データをパッキングして一定の長さを
有するパッキングされたスティール画像データを得るステップと、 パッキングされたスティール画像データ取外し可能メモリ内に記憶するステッ
プとを含む請求項14に記載の方法。
18. The method of claim 14, further comprising: packing the compressed steel image data to obtain packed steel image data having a fixed length; and storing the packed steel image data in a removable memory. The method described in.
JP2000519550A 1997-11-03 1998-09-15 Dual-mode digital camera for video and steel operation Expired - Lifetime JP4907764B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/963,097 US6151069A (en) 1997-11-03 1997-11-03 Dual mode digital camera for video and still operation
US08/963,097 1997-11-03
PCT/US1998/019385 WO1999023817A1 (en) 1997-11-03 1998-09-15 Dual mode digital camera for video and still operation

Publications (3)

Publication Number Publication Date
JP2001522204A true JP2001522204A (en) 2001-11-13
JP2001522204A5 JP2001522204A5 (en) 2006-01-05
JP4907764B2 JP4907764B2 (en) 2012-04-04

Family

ID=25506747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000519550A Expired - Lifetime JP4907764B2 (en) 1997-11-03 1998-09-15 Dual-mode digital camera for video and steel operation

Country Status (9)

Country Link
US (2) US6151069A (en)
JP (1) JP4907764B2 (en)
KR (1) KR100321898B1 (en)
CN (1) CN1168290C (en)
AU (1) AU9489798A (en)
DE (1) DE19882770T1 (en)
GB (1) GB2346756A (en)
TW (1) TW419612B (en)
WO (1) WO1999023817A1 (en)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453498B2 (en) * 1998-03-26 2008-11-18 Eastman Kodak Company Electronic image capture device and image file format providing raw and processed image data
US6567119B1 (en) * 1998-03-26 2003-05-20 Eastman Kodak Company Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US6937277B1 (en) * 1998-04-24 2005-08-30 Canon Kabushiki Kaisha Image input apparatus employing read region size determination
US6642956B1 (en) * 1998-05-29 2003-11-04 Agilent Technologies, Inc. Digital image processor for a digital camera
JP3075265B2 (en) * 1998-08-12 2000-08-14 ソニー株式会社 Digital still camera and image data processing device
US7197228B1 (en) * 1998-08-28 2007-03-27 Monroe David A Multifunction remote control system for audio and video recording, capture, transmission and playback of full motion and still images
JP3172500B2 (en) * 1998-10-19 2001-06-04 三洋電機株式会社 Electronic camera
KR20000042653A (en) * 1998-12-26 2000-07-15 김영환 Apparatus and method for processing snap shot of usb camera
US20040152058A1 (en) * 2002-06-11 2004-08-05 Browne H. Lee Video instructional system and method for teaching motor skills
US7095164B1 (en) 1999-05-25 2006-08-22 Intel Corporation Display screen
US6697534B1 (en) 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
US20050162513A1 (en) * 1999-07-07 2005-07-28 Advanced Future Technologies, Inc. Vehicle mounted navigation and incident recording device and method of operating
US20030133016A1 (en) * 1999-07-07 2003-07-17 Chuk David Chan Method and apparatus for recording incidents
US7768552B1 (en) 1999-07-23 2010-08-03 Hewlett-Packard Development Company, L.P. Digital still camera with still and motion image capabilities
US6625308B1 (en) 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US6658399B1 (en) 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US7106910B2 (en) * 1999-10-01 2006-09-12 Intel Corporation Color video coding scheme
US7053944B1 (en) 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US7158178B1 (en) 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
EP1119193A3 (en) * 2000-01-19 2010-11-24 Sony Corporation Data processing device for a video camera-recorder with integrated printer, and method for operating the printer
US7847833B2 (en) * 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US6961472B1 (en) 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US6748118B1 (en) 2000-02-18 2004-06-08 Intel Corporation Method of quantizing signal samples of an image during same
PL355475A1 (en) * 2000-02-21 2004-05-04 Trek 2000 International Ltd. A portable data storage device
US6609188B1 (en) * 2000-03-31 2003-08-19 Intel Corporation Data flow processor
US20020016818A1 (en) * 2000-05-11 2002-02-07 Shekhar Kirani System and methodology for optimizing delivery of email attachments for disparate devices
US6738520B1 (en) * 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
US6775413B1 (en) 2000-09-18 2004-08-10 Intel Corporation Techniques to implement one-dimensional compression
US6563439B1 (en) 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US6636167B1 (en) 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
EP1229720A3 (en) * 2001-01-31 2004-04-14 Fuji Photo Film Co., Ltd. Digital camera and method of controlling same
US6927790B2 (en) * 2001-02-05 2005-08-09 The United States Of America As Represented By The Secretary Of The Navy Digital camera system providing for control of a camera's operational parameters and image capture
US7046864B1 (en) * 2001-03-07 2006-05-16 Ess Technology, Inc. Imaging system having an image memory between the functional processing systems
US6766286B2 (en) 2001-03-28 2004-07-20 Intel Corporation Pyramid filter
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
US6889237B2 (en) * 2001-03-30 2005-05-03 Intel Corporation Two-dimensional pyramid filter architecture
US7111787B2 (en) 2001-05-15 2006-09-26 Hand Held Products, Inc. Multimode image capturing and decoding optical reader
US6942151B2 (en) * 2001-05-15 2005-09-13 Welch Allyn Data Collection, Inc. Optical reader having decoding and image capturing functionality
WO2003003295A1 (en) 2001-06-28 2003-01-09 Trek 2000 International Ltd. A portable device having biometrics-based authentication capabilities
ATE335236T1 (en) 2001-06-28 2006-08-15 Trek 2000 Int Ltd DATA TRANSFER PROCEDURES AND FACILITIES
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
US7068308B2 (en) * 2001-07-13 2006-06-27 Logitech Europe, S.A. Removable media host executables
KR100424570B1 (en) * 2001-08-11 2004-03-27 엘지전자 주식회사 Digital camera
US6680748B1 (en) * 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
JP3664123B2 (en) * 2001-10-03 2005-06-22 ソニー株式会社 Imaging apparatus and image quality correction method
US7012590B2 (en) * 2001-11-23 2006-03-14 Aiptek International Inc. Motionless-image display with auto-adjusting light system and the method for forming the same
US7015401B2 (en) * 2001-11-23 2006-03-21 Aiptek International, Inc. Image processing system with handwriting input function and the method for forming the same
US6961083B2 (en) * 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
CN100520935C (en) * 2002-02-07 2009-07-29 特科2000国际有限公司 Portable data storage and image recording device capable of directly connecting with computer USB port
AU2002239211A1 (en) * 2002-03-12 2003-10-20 Trek 2000 International Ltd System and apparatus for accessing and transporting electronic communications using a portable storage device
EA007888B1 (en) 2002-05-13 2007-02-27 Трек 2000 Интернэшнл Лтд. System and apparatus for compressing and decompressing data stored to a portable data storage device
TW588243B (en) * 2002-07-31 2004-05-21 Trek 2000 Int Ltd System and method for authentication
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US20040066457A1 (en) * 2002-10-04 2004-04-08 Silverstein D. Amnon System and method for remote controlled photography
KR100873437B1 (en) * 2002-11-28 2008-12-11 삼성전자주식회사 Dual mode signal processing device using PI screen
KR100650251B1 (en) * 2003-01-21 2006-11-27 주식회사 팬택앤큐리텔 Handset having image processing function and method therefor
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
JP4346950B2 (en) * 2003-05-02 2009-10-21 キヤノン株式会社 Information processing method and apparatus
KR20040099874A (en) 2003-05-20 2004-12-02 삼성전자주식회사 Combination apparatus for photograping image and method thereof
KR20040104236A (en) * 2003-06-03 2004-12-10 삼성전자주식회사 Photograping apparatus and method which sets resolution automatically
US7889951B2 (en) 2003-06-19 2011-02-15 Intel Corporation Processor to processor communication in a data driven architecture
US20050029352A1 (en) * 2003-08-08 2005-02-10 Spears Kurt E. System and method for automatic correction of illumination noise caused by ambient light
JP2005071273A (en) * 2003-08-27 2005-03-17 Canon Inc Electronic device and interface control method thereof
US7274361B2 (en) * 2003-09-26 2007-09-25 Mstar Semiconductor, Inc. Display control device with multipurpose output driver
US20050119549A1 (en) * 2003-12-01 2005-06-02 Anastassios Markas Embedded metal-programmable image processing array for digital still camera and camrecorder products
US8812749B2 (en) 2003-12-31 2014-08-19 Intel Corporation Programmable video processing and video storage architecture
JP4822773B2 (en) * 2004-09-13 2011-11-24 キヤノン株式会社 Color noise reduction circuit and imaging apparatus using the same
TW200620150A (en) * 2004-12-13 2006-06-16 Pixart Imaging Inc Single chip with integration of image sensor and back-end processing module
CN100440930C (en) * 2006-12-30 2008-12-03 北京中星微电子有限公司 A camera system and method for obtaining still images in camera video stream
US20090066808A1 (en) * 2007-09-11 2009-03-12 Sanyo Electric Co., Ltd. Image-data processing apparatus and data-processing circuit
JP5230483B2 (en) * 2008-03-18 2013-07-10 キヤノン株式会社 Imaging apparatus and control method thereof
JP2011109443A (en) * 2009-11-18 2011-06-02 Panasonic Corp Imaging apparatus
US20110299605A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for video resolution adaptation
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8408464B2 (en) 2011-02-03 2013-04-02 Metrologic Instruments, Inc. Auto-exposure method using continuous video frames under controlled illumination
US8657200B2 (en) 2011-06-20 2014-02-25 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
TWI468013B (en) * 2011-11-04 2015-01-01 Quanta Comp Inc Video conference system and method
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
KR102480600B1 (en) * 2015-10-21 2022-12-23 삼성전자주식회사 Method for low-light image quality enhancement of image processing devices and method of operating an image processing system for performing the method
US20210313068A1 (en) * 2020-04-06 2021-10-07 General Genomics, Inc. Recommending treatments to mitigate medical conditions and promote survival of living organisms using machine learning models

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63281580A (en) * 1987-05-13 1988-11-18 Konica Corp Still video camera
JPH05111013A (en) * 1991-10-15 1993-04-30 Sony Corp Highly efficient encode for video signal
JPH05199512A (en) * 1992-01-22 1993-08-06 Matsushita Electric Ind Co Ltd Orthogonal transform coding device
JPH0622202A (en) * 1992-06-30 1994-01-28 Aiwa Co Ltd Camera device
JPH06125539A (en) * 1992-10-14 1994-05-06 Nippon Telegr & Teleph Corp <Ntt> Image coding device
JPH06311498A (en) * 1993-04-27 1994-11-04 Hitachi Ltd Encoding/decoding device for picture signal
JPH0775085A (en) * 1993-09-02 1995-03-17 Toyo Micro Syst Kk Picture transmission control system
JPH0795580A (en) * 1993-09-22 1995-04-07 Sony Corp Digital arithmetic unit and data storage control method
JPH0795507A (en) * 1993-09-20 1995-04-07 Sony Corp Electronic still camera
JPH08154212A (en) * 1994-11-28 1996-06-11 Victor Co Of Japan Ltd Method for generating still image data in video camera
JPH08201886A (en) * 1995-01-23 1996-08-09 Minolta Co Ltd Color temperature changeable flash light emitting apparatus
JPH08289239A (en) * 1995-04-10 1996-11-01 Eastman Kodak Japan Kk Electronic camera and reproducing device
JPH0970002A (en) * 1995-09-01 1997-03-11 Olympus Optical Co Ltd High definition electronic camera
JPH0998328A (en) * 1995-09-29 1997-04-08 Olympus Optical Co Ltd High definition electronic camera
JPH09200722A (en) * 1996-01-22 1997-07-31 Canon Inc Image input device and method
JPH09247539A (en) * 1996-03-05 1997-09-19 Canon Inc Imaging device
JPH09261637A (en) * 1996-03-26 1997-10-03 Toyota Motor Corp Image compression apparatus, image preprocessing method, and image transmission system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61114661A (en) 1984-11-09 1986-06-02 Asahi Optical Co Ltd Multi-mode electronic camera
US4949180A (en) * 1985-10-11 1990-08-14 Quantel Limited Video image processing systems
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5734424A (en) * 1990-08-08 1998-03-31 Canon Kabushiki Kaisha Image pickup apparatus capable of providing moving video signal and still video signal
US5138459A (en) * 1990-11-20 1992-08-11 Personal Computer Cameras, Inc. Electronic still video camera with direct personal computer (pc) compatible digital format output
JPH04326874A (en) * 1991-04-26 1992-11-16 Fuji Photo Film Co Ltd Movie camera attached with stroboscope
US5402170A (en) * 1991-12-11 1995-03-28 Eastman Kodak Company Hand-manipulated electronic camera tethered to a personal computer
US5506617A (en) * 1992-12-10 1996-04-09 Eastman Kodak Company Electronic camera incorporating a computer-compatible bus interface
JP3097014B2 (en) * 1993-07-08 2000-10-10 株式会社リコー Electronic still camera
JPH0767008A (en) 1993-08-25 1995-03-10 Sony Corp Switch mechanism in camera-integrated VTR
KR0155202B1 (en) 1995-05-10 1998-11-16 김광호 Image restoration system of video camera
US6005612A (en) 1995-11-17 1999-12-21 Sanyo Electric Co., Ltd. Video camera with high speed mode
US6005613A (en) 1996-09-12 1999-12-21 Eastman Kodak Company Multi-mode digital camera with computer interface using data packets combining image and mode data

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63281580A (en) * 1987-05-13 1988-11-18 Konica Corp Still video camera
JPH05111013A (en) * 1991-10-15 1993-04-30 Sony Corp Highly efficient encode for video signal
JPH05199512A (en) * 1992-01-22 1993-08-06 Matsushita Electric Ind Co Ltd Orthogonal transform coding device
JPH0622202A (en) * 1992-06-30 1994-01-28 Aiwa Co Ltd Camera device
JPH06125539A (en) * 1992-10-14 1994-05-06 Nippon Telegr & Teleph Corp <Ntt> Image coding device
JPH06311498A (en) * 1993-04-27 1994-11-04 Hitachi Ltd Encoding/decoding device for picture signal
JPH0775085A (en) * 1993-09-02 1995-03-17 Toyo Micro Syst Kk Picture transmission control system
JPH0795507A (en) * 1993-09-20 1995-04-07 Sony Corp Electronic still camera
JPH0795580A (en) * 1993-09-22 1995-04-07 Sony Corp Digital arithmetic unit and data storage control method
JPH08154212A (en) * 1994-11-28 1996-06-11 Victor Co Of Japan Ltd Method for generating still image data in video camera
JPH08201886A (en) * 1995-01-23 1996-08-09 Minolta Co Ltd Color temperature changeable flash light emitting apparatus
JPH08289239A (en) * 1995-04-10 1996-11-01 Eastman Kodak Japan Kk Electronic camera and reproducing device
JPH0970002A (en) * 1995-09-01 1997-03-11 Olympus Optical Co Ltd High definition electronic camera
JPH0998328A (en) * 1995-09-29 1997-04-08 Olympus Optical Co Ltd High definition electronic camera
JPH09200722A (en) * 1996-01-22 1997-07-31 Canon Inc Image input device and method
JPH09247539A (en) * 1996-03-05 1997-09-19 Canon Inc Imaging device
JPH09261637A (en) * 1996-03-26 1997-10-03 Toyota Motor Corp Image compression apparatus, image preprocessing method, and image transmission system

Also Published As

Publication number Publication date
KR100321898B1 (en) 2002-02-01
TW419612B (en) 2001-01-21
CN1297644A (en) 2001-05-30
CN1168290C (en) 2004-09-22
KR20010031723A (en) 2001-04-16
GB2346756A (en) 2000-08-16
AU9489798A (en) 1999-05-24
US6151069A (en) 2000-11-21
JP4907764B2 (en) 2012-04-04
GB0010717D0 (en) 2000-06-28
US6556242B1 (en) 2003-04-29
DE19882770T1 (en) 2000-09-28
WO1999023817A1 (en) 1999-05-14

Similar Documents

Publication Publication Date Title
JP4907764B2 (en) Dual-mode digital camera for video and steel operation
US6512541B2 (en) Increasing image field of view and frame rate in an imaging apparatus
US6833863B1 (en) Method and apparatus for still image capture during video streaming operations of a tethered digital camera
US7372485B1 (en) Digital camera device and methodology for distributed processing and wireless transmission of digital images
US8212893B2 (en) Digital camera device and methodology for distributed processing and wireless transmission of digital images
JP3109677B2 (en) Electronic still camera using image compression and digital storage
US8564683B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
TWI555386B (en) Raw format image data processing
JP3781449B2 (en) Digital image storage device for electronic camera
US20010036231A1 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
US20080316331A1 (en) Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method
JP2013179584A (en) Image processing device and electronic equipment using the same
CN110428362B (en) Image HDR conversion method and device, storage medium
JP2002508909A (en) Memory-based VLSI architecture for image compression
CN1180608C (en) Digital camera capable of saving memory usage
US20080012953A1 (en) Image Sensors
US20070065022A1 (en) Image signal processing apparatus and method
JP2000354193A (en) Camera system and video signal processing method
JP4302661B2 (en) Image processing system
CN1249568C (en) Digital Motion and Still Image Capture Adapter for Motion Image Cameras
KR19990075483A (en) Bit plane compression device and bit plane compression / restoration method
US20240114251A1 (en) Server device and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080813

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081014

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091201

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term