JP2021090089A - Image processing system - Google Patents
Image processing system Download PDFInfo
- Publication number
- JP2021090089A JP2021090089A JP2019217833A JP2019217833A JP2021090089A JP 2021090089 A JP2021090089 A JP 2021090089A JP 2019217833 A JP2019217833 A JP 2019217833A JP 2019217833 A JP2019217833 A JP 2019217833A JP 2021090089 A JP2021090089 A JP 2021090089A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image data
- image
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Storing Facsimile Image Data (AREA)
- Information Transfer Systems (AREA)
Abstract
【課題】FIFOメモリによるデータキャプチャ機能を用いた画像処理装置において、ラインバッファに記憶されている画像データを用いて画像処理を継続しない場合と比較して、該FIFOメモリにオーバーフローが発生した場合でも、後段の画像処理の待ち時間が抑制される画像処理装置を提供する。【解決手段】画像処理装置は、プロセッサと制御部を備える。制御部は、画像を読み取った画像データを画素単位で一時記憶するFIFOメモリから送られた画像データを用いて画像処理部による画像処理を実行させ、FIFOメモリにおけるオーバーフローを検知した場合に、画像処理部への画像データの入力を停止させ、画像データを予め定められた単位で記憶するラインバッファに記憶されている画像データを用いて画像処理を実行させる。【選択図】図4PROBLEM TO BE SOLVED: To provide an image processing apparatus using a data capture function by a FIFA memory, even when an overflow occurs in the FIFA memory, as compared with a case where image processing is not continued using the image data stored in a line buffer. , Provide an image processing apparatus in which the waiting time for image processing in the subsequent stage is suppressed. An image processing device includes a processor and a control unit. The control unit executes image processing by the image processing unit using the image data sent from the FIFA memory that temporarily stores the image data obtained by reading the image in pixel units, and when an overflow in the FIFA memory is detected, the image processing is performed. The input of the image data to the unit is stopped, and the image processing is executed using the image data stored in the line buffer that stores the image data in a predetermined unit. [Selection diagram] Fig. 4
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
特許文献1には、画像入力手段もしくは画像記録手段と、画像圧縮伸長手段との間に設けられたファーストイン・ファーストアウト型メモリと、メモリのオーバーフローあるいはアンダーフローを生じる直前に該メモリへのアクセスを中止するエラー検知手段と、エラー検知手段の出力に応答して処理中のライン途中から無効にするとともに、エラー解除後に当該1ラインの終端を区切りとして通常の処理に復帰させる制御手段とを具備したことを特徴とする画像圧縮伸長装置が開示されている。 Patent Document 1 describes a first-in / first-out memory provided between an image input means or an image recording means and an image compression / decompression means, and an access to the memory immediately before an overflow or underflow of the memory occurs. It is provided with an error detecting means for stopping the error detection means, and a control means for disabling the process from the middle of the line in response to the output of the error detecting means and returning to the normal processing with the end of the one line as a delimiter after the error is cleared. An image compression / decompression device characterized by the above is disclosed.
特許文献2には、入力画像データを一時保存し、かつ、出力要求が有った時のみ、その保存している画像データを出力するバッファ手段を介して、読み取った画像データを逐次転送する画像読取装置であって、バッファ手段のオーバーフローを検出するオーバーフロー検出手段と、目的の画像データを、その近傍の画像データから補間して求める補間手段とを有し、バッファ手段のオーバーフローにより失われた画像データに対応する画像データを補間手段により作成して補うことを特徴とする画像読取装置が開示されている。
In
特許文献3には、写真フイルムのフイルム画像をCCDラインセンサによってスキャンし、CCDラインセンサから読み出される画像データをラインバッファを介して外部の画像受信装置に転送し、データ受信側がビジー状態となり、データが転送できない状態が継続すると、ラインバッファがオーバーフローとなるため、オーバーフロー検出部によってオーバーフローを検出し、オーバーフローが検出されたときには、ラインバッファへの画像データの書き込みを中断し、再スキャンを実行するとともに、通信制御部が、再スキャン時にオーバーフローの検出時の画像データと一致する画像データを検出し、この検出時点からラインバッファへの画像データの書き込みを再開させる画像読取装置が開示されている。 In Patent Document 3, a film image of a photographic film is scanned by a CCD line sensor, image data read from the CCD line sensor is transferred to an external image receiving device via a line buffer, the data receiving side becomes busy, and data is obtained. If the state where the data cannot be transferred continues, the line buffer will overflow. Therefore, the overflow detector detects the overflow, and when the overflow is detected, the writing of the image data to the line buffer is interrupted and the rescan is executed. Disclosed is an image reading device in which a communication control unit detects image data that matches the image data at the time of detection of overflow at the time of rescanning, and restarts writing of the image data to the line buffer from the detection time.
本発明は、FIFOメモリによるデータキャプチャ機能を用いた画像処理装置において、ラインバッファに記憶されている画像データを用いて画像処理を継続しない場合と比較して、該FIFOメモリにオーバーフローが発生した場合でも、後段の画像処理の待ち時間が抑制される画像処理装置を提供することを目的とする。 According to the present invention, in an image processing apparatus using a data capture function using a FIFO memory, when an overflow occurs in the FIFO memory as compared with a case where image processing is not continued using the image data stored in the line buffer. However, it is an object of the present invention to provide an image processing apparatus in which the waiting time for image processing in the subsequent stage is suppressed.
第1態様に係る画像処理装置は、プロセッサと制御部を備え、前記制御部は、画像を読み取った画像データを画素単位で一時記憶するFIFOメモリから送られた前記画像データを用いて画像処理部による画像処理を実行させ、前記FIFOメモリにおけるオーバーフローを検知した場合に、前記画像処理部への前記画像データの入力を停止させ、前記画像データを予め定められた単位で記憶するラインバッファに記憶されている前記画像データを用いて前記画像処理を実行させるものである。 The image processing apparatus according to the first aspect includes a processor and a control unit, and the control unit uses the image data sent from the FIFA memory that temporarily stores the image data obtained by reading the image in pixel units. When an overflow in the FIFA memory is detected, the input of the image data to the image processing unit is stopped, and the image data is stored in a line buffer that stores the image data in a predetermined unit. The image processing is executed using the image data.
第2態様に係る画像処理装置は、第1態様に係る画像処理装置において、前記制御部は、前記FIFOメモリにおけるオーバーフローを検知した場合に、前記FIFOメモリにおける前記画像データの一時記憶を停止させて、前記画像処理部への前記画像データの入力を停止させるものである。 The image processing device according to the second aspect is the image processing device according to the first aspect, in which the control unit stops the temporary storage of the image data in the FIFA memory when the control unit detects an overflow in the FIFA memory. , The input of the image data to the image processing unit is stopped.
第3態様に係る画像処理装置は、第2態様に係る画像処理装置において、前記画像はライン単位で読み取られ、前記予め定められた単位が前記ライン単位であり、前記制御部は、前記FIFOメモリにおける前記画像データの一時記憶の停止を1ライン分行うとともに、1ライン分の停止が終了した後に、前記画像処理部に入力された前記予め定められた単位の前記画像データ、および前記ラインバッファに記憶されている前記画像データを用いて前記画像処理を実行させるものである。 In the image processing device according to the third aspect, in the image processing device according to the second aspect, the image is read in line units, the predetermined unit is the line unit, and the control unit is the FIFO memory. The temporary storage of the image data in the above is stopped for one line, and after the stop for one line is completed, the image data in the predetermined unit input to the image processing unit and the line buffer are displayed. The image processing is executed using the stored image data.
第4態様に係る画像処理装置は、第3態様に係る画像処理装置において、前記プロセッサは、1ライン分の前記FIFOメモリの停止期間内に、前記ラインバッファに記憶されている前記画像データの処理を完了しない場合にはエラー処理を実行するものである。 The image processing apparatus according to the fourth aspect is the image processing apparatus according to the third aspect, in which the processor processes the image data stored in the line buffer within the stop period of the FIFO memory for one line. If it does not complete, error processing is executed.
第5態様に係る画像処理装置は、第1態様から第4態様のいずれかの態様に係る画像処理装置において、前記ラインバッファは複数ライン分の前記画像データを記憶し、前記制御部は、副走査方向に連続する前記複数ラインの各々の画素値を用いて前記画像処理を実行させるものである。 In the image processing device according to any one of the first to fourth aspects, the image processing device according to the fifth aspect stores the image data for a plurality of lines in the line buffer, and the control unit is a subordinate. The image processing is executed using the pixel values of each of the plurality of lines continuous in the scanning direction.
第6態様に係る画像処理装置は、第1態様から第5態様のいずれかの態様に係る画像処理装置において、前記画像処理部で処理された画像データを直接メモリアクセス方式で記憶装置に転送する転送部をさらに含み、前記FIFOメモリと前記画像処理部との間、および前記画像処理部と前記転送部との間の転送方式がハンドシェイク方式であるものである。 The image processing device according to the sixth aspect transfers the image data processed by the image processing unit directly to the storage device by the memory access method in the image processing device according to any one of the first to fifth aspects. The transfer method further includes a transfer unit, and the transfer method between the FIFA memory and the image processing unit and between the image processing unit and the transfer unit is a handshake method.
第1態様によれば、FIFOメモリによるデータキャプチャ機能を用いた画像処理装置において、ラインバッファに記憶されている画像データを用いて画像処理を継続しない場合と比較して、該FIFOメモリにオーバーフローが発生した場合でも、後段の画像処理の待ち時間が抑制される画像処理装置を提供することができる、という効果を奏する。 According to the first aspect, in the image processing apparatus using the data capture function by the FIFO memory, the overflow occurs in the FIFO memory as compared with the case where the image processing is not continued using the image data stored in the line buffer. Even if it occurs, it is possible to provide an image processing device in which the waiting time for image processing in the subsequent stage is suppressed.
第2態様によれば、FIFOメモリにおけるオーバーフローを検知した場合に、画像処理部への画像データの入力を直接停止させる場合と比較して、FIFOメモリへの画像データの一時記憶の停止によって画像処理部への画像データの入力も停止させることができる、という効果を奏する。 According to the second aspect, when an overflow in the FIFA memory is detected, image processing is performed by temporarily stopping the temporary storage of the image data in the FIFA memory, as compared with the case where the input of the image data to the image processing unit is directly stopped. It has the effect that the input of image data to the unit can also be stopped.
第3態様によれば、FIFOメモリにおいて2ライン分以上の画像データの一時記憶の停止が終了した後に、画像処理部に入力された予め定められた単位の画像データ、およびラインバッファに記憶されている画像データを用いて画像処理を実行させる場合と比較して、画像処理部における画像処理の精度の低下を抑制することができる、という効果を奏する。 According to the third aspect, after the temporary storage of image data for two or more lines is stopped in the FIFA memory, the image data is stored in the image data of a predetermined unit input to the image processing unit and the line buffer. Compared with the case where the image processing is executed using the existing image data, it is possible to suppress a decrease in the accuracy of the image processing in the image processing unit.
第4態様によれば、1ライン分のFIFOメモリの停止期間を越えた期間内に、ラインバッファに記憶されている画像データの処理を完了しない場合にエラー処理を実行する場合と比較して、速やかにエラー処理に移行することができる、という効果を奏する。 According to the fourth aspect, as compared with the case where the error processing is executed when the processing of the image data stored in the line buffer is not completed within the period exceeding the stop period of the FIFO memory for one line, It has the effect of being able to quickly shift to error handling.
第5態様によれば、画像処理部が、副走査方向に連続する複数ラインの各々の画素値を用いた画像処理以外の画像処理を実行する場合と比較して、本構成を例えばフリンジ処理に適用することができる、という効果を奏する。 According to the fifth aspect, as compared with the case where the image processing unit executes image processing other than image processing using the pixel values of the plurality of lines continuous in the sub-scanning direction, the present configuration is changed to, for example, fringe processing. It has the effect of being applicable.
第6態様によれば、FIFOメモリの後段に接続された各部間の通信が、手順の確立された、より時間のかかる通信方式で行われる場合であっても、後段の画像処理の待ち時間を抑制することができる、という効果を奏する。 According to the sixth aspect, even when the communication between the respective parts connected to the subsequent stage of the FIFO memory is performed by the communication method in which the procedure is established and takes longer, the waiting time for the image processing in the subsequent stage is set. It has the effect of being able to be suppressed.
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。本実施の形態では、本発明に係る画像処理装置を、画像読取部(スキャナ部)が画像を読み取って取得し、当該画像処理装置に送信した画像データに予め定められた画像処理を施す読取画像処理装置に適用した形態を例示して説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. In the present embodiment, the image reading unit (scanner unit) reads and acquires an image of the image processing device according to the present invention, and performs predetermined image processing on the image data transmitted to the image processing device. The form applied to the processing apparatus will be described as an example.
図1は、本実施の形態に係る画像処理装置10を、画像処理装置10の外部に接続されたスキャナ部30とともに示したブロック図である。図1に示すように、画像処理装置10は、画像処理部11、ラインバッファ12、レジスタ13、FIFO(First In First Out:先入れ先出し)メモリ14−1、14−2、14−3(図1では、「CAP FIFO」と表記。以下、総称する場合は「FIFOメモリ14」)、LSYNCパタン検知部15、分離部16(図1では、「MUX」と表記)、入力インタフェース17(図1では、「INF」と表記)、アナログデジタル変換回路18(図1では、「A/D」と表記)、タガー部19、DMA(Direct Memory Access:直接メモリアクセス)部21、および制御部20を含んで構成されている。
FIG. 1 is a block diagram showing an
入力インタフェース17は、スキャナ部30から送られたアナログデータDAとしての画像データを受信するインタフェースである。入力インタフェース17の詳細については後述する。
The
アナログデジタル変換回路18は、アナログデータDAをデジタルデータDDに変換する回路である。スキャナ部30からのアナログ画像データが、デジタルの画像データに変換されて後段の分離部16に送られる。
The analog-
分離部16は、デジタルデータDDから、FIFOメモリ14に送る画素データと、LSYNCパタン検知部15に送るLSYNCパタンデータを分離する。
The
FIFOメモリ14は、分離部16から送られた画素データを、画素単位で一時記憶する(キャプチャする)メモリである。FIFOメモリ14−1、14−2.14−3の各々は数画素の容量を有している。本実施の形態では、3個のFIFOメモリ14を用いる形態を例示して説明するが、FIFOメモリ14の個数は特に限定されず、例えば4個以上のFIFOメモリを用いる形態としてもよい。
The FIFO memory 14 is a memory that temporarily stores (captures) pixel data sent from the
LSYNCパタン検知部15は、デジタルデータDDに含まれるライン同期パタン(LSYNCパタン)を検知する部位である。本実施の形態に係るスキャナ部30は、画像をライン(行)単位で読み取り、各ラインの画像データの間に各ラインを識別するための同期信号をLSYNCパタンとして挿入する。LSYNCパタン検知部15は、LSYNCパタンを検知すると、検知したことを画像処理部11に通知する。なお、LSYNCパタンの検知は制御部20を介して通知してもよい。
The LSYNC
タガー部19は、入力された画素に対し、0から8のタグ(識別子)を付与する部位である。 The tagger unit 19 is a portion for assigning a tag (identifier) of 0 to 8 to the input pixel.
画像処理部11は、スキャナ部30から送られた画像データに対して、予め定められた画像処理を実行する部位である。画像処理部11で実行する画像処理の内容は特に限定されないが、本実施の形態では一例としてフリンジ処理を実行する。「フリンジ処理」とは、スキャナ部30による画像のスキャンにおいて発生する、スキャナの走査に伴うR、G、Bのスキャン位置のずれを補正する処理をいう。当該補正は、副走査方向に連続する3ラインの画素の画素値について、R、G、Bごとの係数を設定して行う。この係数を記憶させるレジスタを設ける場合もある。画像処理部11は、当該フリンジ処理を通常3本のラインの画像データを用いて実行する。
The
レジスタ13は、上記の係数等の、画像処理部11における画像処理において発生するパラメータの記憶部である。
The
ラインバッファ12は、スキャナ部30から送信された画像データをライン単位で複数ライン分記憶するメモリである。本実施の形態では、ラインバッファ12の容量を2ライン分としている。しかしながら、これに限られず、ラインバッファ12の容量は3ライン分以上の容量であってもよい。
The
DMA部21は、画像処理装置10で処理された画像データを、外部の記憶装置等に直接メモリアクセス方式で出力するための制御部位であり、例えばDMAで構成される。直接メモリアクセス方式とは、メモリとメモリとの間、またはメモリとI/O(Input/Output)デバイスとの間でCPUを介さず、直接データを転送することをいう。
なお、「DMA部21」は、本発明に係る「転送部」の一例である。
The
The "
制御部20は画像処理装置10の全体を統括制御する部位であり、図示を省略するCPU、ROM、RAM等を含んで構成されている。制御部20は、画像処理装置10において実行されるオーバーフロー処理についても制御する。オーバーフロー処理の詳細については後述する。なお、上記の「CPU」は、本発明に係る「プロセッサ」の一例である。
The
図1に示すDDR(Double Data Rate)デバイス22は、画像処理装置10の外部に設けられ、画像処理部11で処理され、DMA部21で出力制御された出力データ(画像データ)を、後段の画像処理回路23等へ伝送するための中継を行う、例えばDDR方式のメモリである。DDR方式とは、動作を制御するクロック信号の立ち上がり、立ち下りの両方のエッジを用いて処理の高速化を図った方式である。本DDRデバイス22には、画像処理装置10だけでなく他のデバイスもアクセスすることがあり、その場合は順番待ちが発生する。
The DDR (Double Data Rate)
一方、スキャナ部30は、CIS(Contact Image Sensor)31、および出力インタフェース32(図1では、「INF」と表記)を含んで構成されている。
On the other hand, the
CIS31は密着型の画像読取デバイスであり、スキャナ部30に配置された原稿等の画像を読み取り、読み取って取得した画像データを、アナログデータDAとして出力する。出力インタフェース32は、CIS31から送られたアナログデータDAを、出力インタフェース32と対になった画像処理装置10の入力インタフェース17に伝送するためのインタフェースである。出力インタフェース32、および入力インタフェース17の方式に特に制限はないが、例えばLVDS(Low Voltage Differential Signaling)インタフェース等を用いることができる。
The
次に、画像処理装置10の全体の動作について説明する。まず、クロック系は、スキャナ部30からFIFOメモリ14までのCLK1系と、FIFOメモリ14からDMA部21までのCLK2系に分けられる。CLK1系は、スキャナ部30が生成するクロック信号CLK1によって動作するクロック系であり、スキャナ部30で取得された画像データがクロック信号CLK1によって一定速度で画像処理装置10に送信される。この際のデータ伝送には何も規制がなく、いわば垂れ流しの状態で伝送される。
Next, the overall operation of the
これに対しCLK2系は、画像処理装置10で生成されるクロック信号CLK2によって動作するクロック系であり、CLK1系で伝送された画像データをFIFOメモリ14でキャプチャ(捕捉)し、後段の画像処理部11に送り、画像処理部11で処理された画像データをさらにDDRデバイス22にDMA転送する。CLK1系が垂れ流し方式であるのに対し、CLK2系はハンドシェイク方式で画像データを伝送している。「ハンドシェイク方式」とは、回路間の伝送手順を確立し同期を取ってからデータを処理する方式である。ハンドシェイク方式はデータのより確実な伝送が行える方式である一方、伝送データが輻輳した場合には待機状態が発生する場合もある。なお、本実施の形態においては、FIFOメモリ14以降の転送をハンドシェイク方式で行う形態を例示して説明するが、これに限られず、他の転送方式を用いてもよい。
On the other hand, the CLK2 system is a clock system operated by the clock signal CLK2 generated by the
上記のように、画像処理装置10のCLK2系がハンドシェイク転送であることもあり、DDRデバイス22の帯域の使用状態によってはDMA部21による転送に詰まりが発生する場合がある。DMA部21による転送が詰まると、FIFOメモリ14まで詰まりが伝播する場合もある。この場合、FIFOメモリ14がオーバーフローしたことにより、画像処理装置10にエラーが発生して停止し、再開処理が必要となる場合がある。このような状態が発生すると、例えば後段の画像処理回路23の処理の開始が遅れ、待ち時間が増大する可能性がある。
As described above, the CLK2 system of the
そこで、本実施の形態では、FIFOメモリ14にオーバーフローが発生した場合に、画像処理部11への画像データの入力を停止させるとともに、ラインバッファ12に記憶されている画像データを用いて画像処理を継続することとした。このことにより、中断期間の発生が抑制されるので、FIFOメモリ14によるデータキャプチャ機能を用いた画像処理装置において、該FIFOメモリ14にオーバーフローが発生した場合でも、後段の画像処理の待ち時間が抑制される画像処理装置が提供される。
Therefore, in the present embodiment, when an overflow occurs in the FIFA memory 14, the input of the image data to the
次に、図2から図4を参照して、画像処理装置10において実行される画像処理の内容についてより詳細に説明する。上記のように、本実施の形態に係る画像処理装置10では、FIFOメモリ14にオーバーフローが発生した場合に、通常の画像処理とは異なる予め定められた処理、すなわちオーバーフロー処理を行い、画像処理の中断を回避している。
Next, the contents of the image processing executed in the
以下、画像処理装置10において通常の画像処理が実行されるモードを「通常モード」、オーバーフローが発生した場合にオーバーフロー処理を実行するモードを「オーバーフローモード」という。FIFOメモリ14におけるオーバーフローの検知、および通常モードからオーバーフローモードへの移行は制御部20内のセレクタによって実行される。
通常モードでは画像処理部11における画像処理が3ラインを用いて実行されるのに対し、オーバーフローモードでは2ラインを用いて実行される。
Hereinafter, a mode in which normal image processing is executed in the
In the normal mode, the image processing in the
通常モードで動作中に、制御部20がFIFOメモリ14のオーバーフローを検知した場合、制御部20は以下の手順のオーバーフロー処理を実行する。
(手順1) 図2に示すように、画像処理部11の入力を停止し、次のラインまでFIFOメモリ14によるキャプチャを停止する。
(手順2) FIFOメモリ14をクリアし、次のライン開始タイミングまで入力を受け付けないようにする。次のラインの開始タイミングは、LSYNCパタン検知部15におけるLSYNCパタンの検知によって行う。
(手順3) 通常モードで3ライン(画像処理部11に入力された現在の1ラインと、ラインバッファ12に保存されている2ライン)で実行しているフリンジ処理をラインバッファ12に保存されている2ラインだけで実行する。この際、3ラインを用いたフリンジ処理(以下、「3ライン処理」という場合がある)から、2ラインを用いたフリンジ処理(以下、「2ライン処理」という場合がある)への移行時に必要となる2ライン処理用のフリンジ処理のパラメータをレジスタ13に格納するようにしてもよい。この場合のパラメータとは、フリンジ処理におけるR、G、Bごとの係数等である。
When the
(Procedure 1) As shown in FIG. 2, the input of the
(Procedure 2) Clear the FIFO memory 14 so that the input is not accepted until the next line start timing. The start timing of the next line is determined by detecting the LSYNC pattern in the LSYNC
(Procedure 3) The fringe processing executed on 3 lines (the current 1 line input to the
以上の手順により、画像処理部11における画像処理を、スキャナ部30から送られる画像データのライン間の非アクティブ期間まで延長することができるので、画像処理装置10からの出力を継続することができる。この際、次のラインの開始までに(手順3)の処理が終了しない場合には、従来どおりのエラー処理を実行する。
(手順4) 次のラインの開始のタイミングで通常モードに復帰する。次のラインの開始タイミングは、LSYNCパタン検知部15におけるLSYNCパタンの検知によって行う。
By the above procedure, the image processing in the
(Procedure 4) Return to the normal mode at the start timing of the next line. The start timing of the next line is determined by detecting the LSYNC pattern in the LSYNC
図3を参照し、各モードにおける動作についてより詳細に説明する。図3は、各モードの動作をタイムチャートで示した図であり、図3(a)は通常モードのタイムチャートを、図3(b)は正常終了となる場合のオーバーフローモードのタイムチャートを、図3(c)はエラー終了となる場合のオーバーフローモードのタイムチャートを、各々示している。 The operation in each mode will be described in more detail with reference to FIG. 3A and 3B are time charts showing the operation of each mode. FIG. 3A shows a time chart in a normal mode, and FIG. 3B shows a time chart in an overflow mode in the case of normal termination. FIG. 3C shows time charts of overflow modes when an error ends.
図3(a)に示す通常モードでは、時刻t1にLSYNCパタン検知部15によってLSYNCが検知され、時刻t2において1ラインの処理が終了している(設定画素数完了している)。時刻t1からt2までの期間T2はnライン目を処理している有効期間であり、FIFOメモリ14は正常に動作している。この際のフリンジ処理は3ライン処理であり、n、(n−1)、(n−2)番目の画素が使用されている。時刻t2から次のLSYNCが検知される時刻t3まで(期間T3)は、次のラインの画像データが入力されるのを待機する無効期間である。当該無効期間においては、画像処理部11は原則何も処理しない。ちなみに、時刻t1でLSYNCが検知されるまでの期間も期間T1の無効期間である。時刻t3においてLSYNCが検知されると、(n+1)番目のラインの有効期間(期間T4)が開始され、画像処理部11は、(n+1)、n、(n−1)番目の画素を用いてフリンジ処理を実行する。
In the normal mode shown in FIG. 3A, LSYNC is detected by the LSYNC
次に、図3(b)を参照して、正常終了する場合のオーバーフロー処理について説明する。本処理は、上記手順において、次のラインの開始までに(手順3)の処理が終了した場合に相当する。図3(b)では、期間T5の無効期間を経て、時刻t4にLSYNCを検知し、nライン目の有効期間が開始されたが、時刻t5でFIFOメモリ14のオーバーフローが発生している。そのため、3ライン処理は時刻t4からt5までの期間T6で終了し、時刻t5からオーバーフロー処理が開始されている。すなわち、時刻t5から、n番目の画素は用いず、(n−1)、(n−2)番目の画素を用いて2ライン処理を実行している。この2ライン処理は、時刻t6で終了しているので、時刻t5から時刻t6までの期間T7が2ライン処理の期間である。すなわち、期間T7において1ラインの処理が終了し、設定画素数が完了している。 Next, with reference to FIG. 3B, overflow processing in the case of normal termination will be described. This process corresponds to the case where the process of (Procedure 3) is completed by the start of the next line in the above procedure. In FIG. 3B, after the invalid period of the period T5, LSYNC was detected at time t4, and the valid period of the nth line was started, but the FIFA memory 14 overflowed at time t5. Therefore, the 3-line processing ends in the period T6 from the time t4 to t5, and the overflow processing starts from the time t5. That is, from time t5, the two-line processing is executed using the (n-1) and (n-2) th pixels without using the nth pixel. Since this two-line processing ends at time t6, the period T7 from time t5 to time t6 is the period of two-line processing. That is, in the period T7, the processing of one line is completed, and the set number of pixels is completed.
ここで、通常モードの場合の有効期間は時刻t*(図3(a)における時刻t2に相当)で終了する。つまり、オーバーフロー処理においては、必要に応じ有効期間が通常モードにおける無効期間まで引き延ばされる。従って、オーバーフローモードにおける時刻t6からt7までの期間T8の無効期間は通常モードにおける無効期間(図3(a)における期間T3に相当)より短くなっている。その後、時刻t7から3ライン処理が開始される(期間T9)。期間T9における3ライン処理は、本来(n+1)、n、(n−1)番目の画素を用いるが(図3(a)参照)、本モードの場合FIFOメモリ14がオーバーフローしたことによりn番目の画素がキャプチャできていない。そのため、図3(b)に示すように、n番目の画素を(n−1)番目の画素で代用(補間)する。 Here, the valid period in the normal mode ends at time t * (corresponding to time t2 in FIG. 3A). That is, in the overflow process, the valid period is extended to the invalid period in the normal mode as necessary. Therefore, the invalid period of the period T8 from the time t6 to t7 in the overflow mode is shorter than the invalid period in the normal mode (corresponding to the period T3 in FIG. 3A). After that, 3-line processing is started from time t7 (period T9). Originally, the (n + 1), n, and (n-1) th pixels are used for the three-line processing in the period T9 (see FIG. 3 (a)), but in this mode, the nth pixel is overflowed due to the overflow of the FIFO memory 14. Pixels have not been captured. Therefore, as shown in FIG. 3B, the nth pixel is substituted (interpolated) with the (n-1) th pixel.
続けて、図3(c)を参照して、エラー終了する場合のオーバーフロー処理について説明する。本処理は、上記手順において、次のラインの開始までに(手順3)の処理が終了しなかった場合に相当する。図3(c)では、無効期間T10を経た後時刻t8でLSYNCを検知し、時刻t9でFIFO14のオーバーフローが発生している。すなわち、時刻t8からt9までの期間T11は3ライン処理を実行する有効期間である。時刻t9から、(n−1)、(n−2)番目の画素を用いる2ライン処理のオーバーフロー処理に移行し(期間T12)、時刻t10でLSYNCを検知している。しかしながら、本例では時刻t9からt10までの間、つまり次のLSYNCを検知するまでの間に2ライン処理を完了することができず、1ライン分出力が間に合わなかった(設定画素数が未完了であった)。この場合、時刻t10においてLSYNCを検知した時点でエラー停止処理を開始する(期間T13)。当該エラー停止処理では、例えば画像処理部11における画像処理を停止させる。さらに例えば再起動処理を実行してもよい。
Subsequently, with reference to FIG. 3C, overflow processing when an error ends will be described. This process corresponds to the case where the process of (Procedure 3) is not completed by the start of the next line in the above procedure. In FIG. 3C, LSYNC is detected at time t8 after the invalid period T10 has passed, and FIFA 14 overflows at time t9. That is, the period T11 from the time t8 to t9 is the valid period for executing the three-line processing. From time t9, the process shifts to overflow processing of two-line processing using the (n-1) and (n-2) th pixels (period T12), and LSYNC is detected at time t10. However, in this example, the two-line processing could not be completed between the times t9 and t10, that is, until the next LSYNC was detected, and the output for one line was not in time (the set number of pixels was not completed). Met). In this case, the error stop processing is started when LSYNC is detected at time t10 (period T13). In the error stop processing, for example, the image processing in the
次に、図4に示すフローチャートを参照して、本実施の形態に係る画像処理装置10において実行されるオーバーフロー処理の流れについて説明する。図4は画像処理装置10において実行されるオーバーフロー処理プログラムの処理の流れを示すフローチャートである。本オーバーフロー処理プログラムは画像処理装置10の制御部20の図示しないROM等の記憶手段に記憶されており、CPUがROM等の記憶手段から本オーバーフロー処理プログラムを読み出し、RAM等に展開して実行する。また、本実施の形態では、スキャナ部30において、すでにスキャンが開始され、画像処理装置10に画像データを送信を開始したものとする。
Next, the flow of overflow processing executed in the
まず、ステップS100において、スキャナ部30から送信される画像データの受信を開始する。
First, in step S100, reception of image data transmitted from the
ステップS101で、LSYNCパタン検知部15がLSYNCを検知したか否か(LSYNCパタン検知部15から検知信号が送信されたか否か)判定する。ステップS101ではLSYNCを検知するまで待機し、LSYNCを検知した場合にステップS102に移行する。
In step S101, it is determined whether or not the LSYNC
ステップS102で、FIFOメモリ14によるキャプチャを開始させる。 In step S102, the capture by the FIFA memory 14 is started.
ステップS103で、FIFOメモリ14にオーバーフローが発生したか否か判定する。当該判定が肯定判定となった場合はステップS106に移行するとともに、否定判定となった場合はステップS104に移行する。 In step S103, it is determined whether or not an overflow has occurred in the FIFA memory 14. If the determination is affirmative, the process proceeds to step S106, and if the determination is negative, the process proceeds to step S104.
ステップS104で、1ライン分の画像データの処理を終了したか否か判定する。当該判定が否定判定となった場合はステップS103に戻り、FIFOメモリ14のオーバーフローの検知を継続する。一方、肯定判定となった場合はステップS105に移行する。 In step S104, it is determined whether or not the processing of the image data for one line is completed. If the determination is negative, the process returns to step S103 and continues to detect the overflow of the FIFO memory 14. On the other hand, if a positive determination is made, the process proceeds to step S105.
ステップS105で、全ラインの処理が終了したか否か判定する。当該判定が否定判定となった場合はステップS101に戻り、LSYNCの検知を継続する。一方、当該判定が肯定判定となった場合は、本オーバーフロー処理プログラムを終了する。ここで、本実施の形態では、一例としてページ単位で本オーバーフロー処理を実行しているので、全ラインとは、1ページ内のラインの全体を意味する。なお、本実施の形態ではページ単位で本オーバーフロー処理を実行する形態を例示して説明するが、これに限られず、例えばジョブ(処理)単位で実行する形態としてもよい。 In step S105, it is determined whether or not the processing of all lines is completed. If the determination is negative, the process returns to step S101 to continue the detection of LSYNC. On the other hand, if the determination is affirmative, the overflow processing program is terminated. Here, in the present embodiment, since the overflow process is executed on a page-by-page basis as an example, the entire line means the entire line within one page. In the present embodiment, a mode in which the overflow processing is executed on a page-by-page basis will be described as an example, but the present embodiment is not limited to this, and may be, for example, a mode in which the overflow processing is executed on a job (processing) unit.
ステップS106では、FIFOメモリ14がオーバーフローしたことを受け、オーバーフローモードに移行する。すなわち、画像処理部11への入力を停止させ、FIFOメモリ14のキャプチャ動作を停止させる。
In step S106, in response to the overflow of the FIFO memory 14, the mode shifts to the overflow mode. That is, the input to the
ステップS107で、画像処理部11における画像処理の処理パラメータを変更する。
すなわち、3ライン処理から2ライン処理への変更にともなう係数等のパラメータの変更を行う。この際、2ライン処理におけるパラメータをレジスタ13に格納する場合もある。
In step S107, the processing parameters of the image processing in the
That is, the parameters such as the coefficient are changed according to the change from the 3-line processing to the 2-line processing. At this time, the parameters in the two-line processing may be stored in the
ステップS108で、画像処理部11の入力をラインバッファに記憶されている画像データに変更する。
In step S108, the input of the
ステップS109で、LSYNCを検知したか否か判定する。当該判定が肯定判定となった場合にはステップS112に移行する一方、否定判定となった場合はステップS110に移行する。 In step S109, it is determined whether or not LSYNC has been detected. If the determination is affirmative, the process proceeds to step S112, while if the determination is negative, the process proceeds to step S110.
ステップS110で、1ライン終了したか否か判定し、当該判定が否定判定となった場合はステップS109に戻り、LSYNCの検知を継続する一方、肯定判定となった場合はステップS111に移行する。ステップS110で肯定判定となる場合は、図3(b)に示す正常終了のオーバーフローモードに対応し、否定判定となる場合は、図3(c)に示すエラー終了のオーバーフローモードに対応する。 In step S110, it is determined whether or not one line has been completed, and if the determination is negative, the process returns to step S109 to continue the detection of LSYNC, and if the determination is positive, the process proceeds to step S111. If the determination is affirmative in step S110, it corresponds to the overflow mode of normal termination shown in FIG. 3B, and if the determination is negative, it corresponds to the overflow mode of error termination shown in FIG. 3C.
ステップS111で、画像処理部11における処理を通常処理に戻す。すなわち通常モードに戻って3ライン処理を実行するように変更する。その後、ステップS105に移行する。
In step S111, the processing in the
ステップS112では、1ラインの間に2ライン処理を完了できなかったことを受け、エラー処理を実行し、続くステップS113で再起動処理を実行して本オーバーフロー処理プログラムを終了する。なお、ステップS113の再起動処理は必要に応じ行えばよく、ステップS112のエラー処理の実行だけで本オーバーフロー処理プログラムを終了してもよい。 In step S112, in response to the failure to complete the two-line processing during one line, error processing is executed, and in subsequent step S113, restart processing is executed to end the overflow processing program. The restart processing in step S113 may be performed as needed, and the overflow processing program may be terminated only by executing the error processing in step S112.
なお、上記実施の形態では、ラインバッファ12の容量として2ライン分の容量を備える形態を例示して説明したが、これに限られず、例えば画像処理部11における処理の精度等を勘案して、1ライン分、あるいは一般にN(≧3の整数)ライン分の容量を備える形態としてもよい。ラインバッファ12としてNライン分の容量を備えた場合、(N−1)ライン分の期間においてオーバーフロー処理を行うことができる。
In the above embodiment, a mode in which the capacity of the
また、上記実施の形態では、画像処理装置10における画像処理の一例としてフリンジ処理を例示して説明したが、これに限られず、ラインバッファ12を用いる他の画像処理に適用してもよい。この際、副走査方向に連続する複数のラインについての画像処理であれば、本実施の形態の効果をより奏する。
Further, in the above embodiment, the fringe processing has been described as an example of the image processing in the
また、上記実施の形態では、画像処理部11と接続される記憶部としてラインバッファ12を例示して説明したが、これに限られず、一般に予め定められた単位(例えば、ページ単位)の画像データを記憶する記憶部としてもよい。
Further, in the above embodiment, the
上記実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記実施の形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施の形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 In the above embodiment, the processor refers to a processor in a broad sense, such as a general-purpose processor (for example, CPU: Central Processing Unit, etc.) or a dedicated processor (for example, GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, etc.). FPGA: Includes Field Programmable Gate Array, programmable logic device, etc.). Further, the operation of the processor in the above embodiment may be performed not only by one processor but also by a plurality of processors existing at physically separated positions in cooperation with each other. Further, the order of each operation of the processor is not limited to the order described in the above-described embodiment, and may be changed as appropriate.
10 画像処理装置
11 画像処理部
12 ラインバッファ
13 レジスタ
14、14−1、14−2、14−3 FIFOメモリ
15 LSYNCパタン検知部
16 分離部
17 入力インタフェース
18 アナログデジタル変換回路
19 タガー部
20 制御部
21 DMA部
22 DDRデバイス
23 画像処理回路
30 スキャナ部
31 CIS
32 出力インタフェース
CLK1、CLK2 クロック信号
DA アナログデータ
DD デジタルデータ
T1〜T13 期間
t1〜t11 時刻
10
32 Output interface CLK1, CLK2 Clock signal DA Analog data DD Digital data T1 to T13 Period t1 to t11 Time
Claims (6)
前記制御部は、画像を読み取った画像データを画素単位で一時記憶するFIFOメモリから送られた前記画像データを用いて画像処理部による画像処理を実行させ、前記FIFOメモリにおけるオーバーフローを検知した場合に、前記画像処理部への前記画像データの入力を停止させ、前記画像データを予め定められた単位で記憶するラインバッファに記憶されている前記画像データを用いて前記画像処理を実行させる
画像処理装置。 Equipped with a processor and a control unit
When the control unit executes image processing by the image processing unit using the image data sent from the FIFA memory that temporarily stores the image data obtained by reading the image in pixel units, and detects an overflow in the FIFA memory. An image processing apparatus that stops the input of the image data to the image processing unit and executes the image processing using the image data stored in the line buffer that stores the image data in a predetermined unit. ..
請求項1に記載の画像処理装置。 The first aspect of claim 1, wherein when the control unit detects an overflow in the FIFO memory, the temporary storage of the image data in the FIFO memory is stopped and the input of the image data to the image processing unit is stopped. Image processing equipment.
前記予め定められた単位が前記ライン単位であり、
前記制御部は、前記FIFOメモリにおける前記画像データの一時記憶の停止を1ライン分行うとともに、
1ライン分の停止が終了した後に、前記画像処理部に入力された前記予め定められた単位の前記画像データ、および前記ラインバッファに記憶されている前記画像データを用いて前記画像処理を実行させる
請求項2に記載の画像処理装置。 The image is read line by line
The predetermined unit is the line unit.
The control unit temporarily stops the temporary storage of the image data in the FIFO memory for one line, and at the same time,
After the stop for one line is completed, the image processing is executed using the image data of the predetermined unit input to the image processing unit and the image data stored in the line buffer. The image processing apparatus according to claim 2.
前記制御部は、副走査方向に連続する前記複数ラインの各々の画素値を用いて前記画像処理を実行させる
請求項1から請求項4のいずれか1項に記載の画像処理装置。 The line buffer stores the image data for a plurality of lines and stores the image data.
The image processing apparatus according to any one of claims 1 to 4, wherein the control unit executes the image processing using the pixel values of the plurality of lines continuous in the sub-scanning direction.
前記FIFOメモリと前記画像処理部との間、および前記画像処理部と前記転送部との間の転送方式がハンドシェイク方式である
請求項1から請求項5のいずれか1項に記載の画像処理装置。 Further including a transfer unit that directly transfers the image data processed by the image processing unit to the storage device by the memory access method.
The image processing according to any one of claims 1 to 5, wherein the transfer method between the FIFO memory and the image processing unit and between the image processing unit and the transfer unit is a handshake method. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019217833A JP7419773B2 (en) | 2019-12-02 | 2019-12-02 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019217833A JP7419773B2 (en) | 2019-12-02 | 2019-12-02 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021090089A true JP2021090089A (en) | 2021-06-10 |
| JP7419773B2 JP7419773B2 (en) | 2024-01-23 |
Family
ID=76220470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019217833A Active JP7419773B2 (en) | 2019-12-02 | 2019-12-02 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7419773B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024191386A1 (en) * | 2023-03-15 | 2024-09-19 | Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ | Video transfer method for unstable protocol master lines |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1139229A (en) * | 1997-07-15 | 1999-02-12 | Fuji Photo Film Co Ltd | Image processor |
| JP2001103218A (en) * | 1999-09-28 | 2001-04-13 | Toshiba Tec Corp | Image processing device |
| JP2001350461A (en) * | 2000-06-07 | 2001-12-21 | Canon Inc | Image processing method and apparatus |
| JP2003256826A (en) * | 2002-02-28 | 2003-09-12 | Ricoh Co Ltd | Image processing circuit, composite image processing circuit, and image forming apparatus |
| JP2015115902A (en) * | 2013-12-13 | 2015-06-22 | キヤノン株式会社 | Control device, processing device, control method, and program |
-
2019
- 2019-12-02 JP JP2019217833A patent/JP7419773B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1139229A (en) * | 1997-07-15 | 1999-02-12 | Fuji Photo Film Co Ltd | Image processor |
| JP2001103218A (en) * | 1999-09-28 | 2001-04-13 | Toshiba Tec Corp | Image processing device |
| JP2001350461A (en) * | 2000-06-07 | 2001-12-21 | Canon Inc | Image processing method and apparatus |
| JP2003256826A (en) * | 2002-02-28 | 2003-09-12 | Ricoh Co Ltd | Image processing circuit, composite image processing circuit, and image forming apparatus |
| JP2015115902A (en) * | 2013-12-13 | 2015-06-22 | キヤノン株式会社 | Control device, processing device, control method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024191386A1 (en) * | 2023-03-15 | 2024-09-19 | Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ | Video transfer method for unstable protocol master lines |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7419773B2 (en) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7419773B2 (en) | Image processing device | |
| JP2010134743A (en) | Image processing device | |
| JP4883520B2 (en) | Memory control device and memory control method | |
| JP4895865B2 (en) | Controller device, line synchronization error determination method, and image processing device | |
| US8724149B2 (en) | Image forming apparatus and image forming method transferring data corresponding to line of document with set time period | |
| EP1134664B1 (en) | Image processing device | |
| JP5930834B2 (en) | Image processing apparatus, image processing method, and control method for image processing apparatus | |
| CN107710178B (en) | Data transfer apparatus and data transfer method | |
| US6798922B1 (en) | Image transmission method and image transmission device for realizing the same | |
| US20120144150A1 (en) | Data processing apparatus | |
| JP7298312B2 (en) | Image processing device, image processing method, and program | |
| JP4909839B2 (en) | Image processing apparatus and image processing method | |
| JP6414702B2 (en) | Image processing device | |
| JP4748077B2 (en) | Pixel data transfer control device and pixel data transfer control method | |
| JP4387488B2 (en) | Overflow protection circuit and image transmission apparatus using the same | |
| JP4928434B2 (en) | Image forming apparatus and image forming method | |
| JP4298632B2 (en) | Data input device | |
| JP2001338286A (en) | Method and device for image processing | |
| JP4987957B2 (en) | Head-separated imaging apparatus, control unit thereof, and signal processing method | |
| JP6355409B2 (en) | Video receiving apparatus, video receiving method, and program | |
| US20070195086A1 (en) | Scene change determination device/method and data transfer device/method | |
| JP4413041B2 (en) | Data transfer system and image forming apparatus | |
| JP2010287175A (en) | Data processing apparatus, data processing method and program | |
| JP3596839B2 (en) | Digital copier with facsimile function | |
| JP2009164899A (en) | Image data processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7419773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |