CN101300828B - 用于输出延迟的垂直同步信号的图像信号处理器和方法 - Google Patents
用于输出延迟的垂直同步信号的图像信号处理器和方法 Download PDFInfo
- Publication number
- CN101300828B CN101300828B CN2006800411089A CN200680041108A CN101300828B CN 101300828 B CN101300828 B CN 101300828B CN 2006800411089 A CN2006800411089 A CN 2006800411089A CN 200680041108 A CN200680041108 A CN 200680041108A CN 101300828 B CN101300828 B CN 101300828B
- Authority
- CN
- China
- Prior art keywords
- data
- output
- image
- signal
- vertical synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
公开了一种传送延迟的垂直同步信号的方法和执行该方法的图像信号处理器。一旦从编码单元输入第m帧的垂直同步信号,所述方法就使用从编码单元输入的计数值来监控对应于预定处理块的数量为n的图像数据列是否已经被存储,在数量为n的图像数据列已经被存储的情况下,将相应的垂直同步信号输出到接收方。因此,可以提高后端芯片的处理效率,并可减少功耗。
Description
技术领域
本发明涉及数据编码,更具体地讲,涉及用于传送编码的数据的垂直同步信号的输出。
背景技术
通过在小或薄的便携式终端(如便携式电话或PDA(个人数字助理))中安装小或薄的成像装置,便携式终端现在也能够用作成像装置。由于这种新的发展,便携式终端(如便携式电话)不仅可以发送音频信息,而且还能够发送视觉信息。除了便携式电话和PDA之外,成像装置还被安装在如MP3播放器的便携式终端中。结果,多种便携式终端现在能够用作捕获外部图像并保存图像作为电子数据的成像装置。
通常,成像装置使用固态成像装置,如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。
图1是典型成像装置的简化结构,图2示出典型JPEG编码过程的步骤。图3示出用于输出编码的数据的有关图像信号处理器(ISP)的信号类型。
如图1所示,将捕获的外部图像转换为电子数据并将图像显示在显示单元150上的成像装置包括图像传感器110、图像信号处理器(ISP)120、后端芯片130、基带芯片140和显示单元150。成像装置还可包括:存储器,用于存储转换的电子数据;AD转换器,将模拟信号转换为数字信号。
图像传感器110具有Bayer模式,并输出电信号,该电信号对应于每单位像素通过透镜输入的光量。
图像信号处理器120将从图像传感器110输入的原始数据转换为YUV值,并将转换的YUV值输出到后端芯片。基于人眼对亮度比对色度反应更敏感的事实,YUV方法将颜色划分为作为亮度的Y分量和作为色度的U分量和V分量。由于Y分量对误差更敏感,所以与U分量和V分量相比,在Y分量中更多比特被编码。典型的Y∶U∶V比为4∶2∶2。
通过按照FIFO顺序存储转换的YUV值,图像信号处理器120允许后端芯片130接收相应的信息。
后端芯片130通过预定编码方法将输入的YUV值转换为JPEG或BMP,并将YUV值存储在存储器中,或者对存储在存储器中的编码的图像解码从而将其显示在显示单元150上。后端芯片130还可以放大、缩小或旋转图像。当然,如图1所示,基带芯片140还可以从后端芯片130接收解码的数据并将其显示在显示单元150上。
基带芯片140控制成像装置的一般操作。例如,一旦通过键输入单元(未示出)从用户接收到图像捕获命令,基带芯片140就可通过将图像产生命令发送给后端芯片130,使后端芯片130产生对应于输入的外部图像的编码的数据。
显示单元150显示通过后端芯片130或基带芯片140的控制提供的解码的数据。
图2示出后端芯片130执行的典型JPEG编码的步骤。由于JPEG编码过程200对本领域技术人员来说是公知的,所以这里仅提供简要描述。
如图2所示,输入的YUV值的图像被划分为大小为8×8像素的块,在210表示的步骤中,对每个块执行DCT(离散余弦变换)。通过DCT,作为-129和127之间的8比特整数输入的像素值被转换为-1024和1023之间的值。
随后,在220表示的步骤中,通过根据视觉效果应用加权的值,量化器对每个块的DCT系数进行量化。该加权的值的表被称为“量化表”。量化表值取DC附近的小值和高频处的高值,使DC附近的数据损失低,并以高频压缩更多数据。
随后,在230表示的步骤中,作为无损编码器的熵编码器产生最终压缩的数据。
通过上述步骤编码的数据被存储在存储器中。后端芯片对载入存储器中的数据解码并将其显示在显示单元150上。
图3示出在顺序输入存储在存储器中的数据以进行处理(如解码)的步骤期间的信号类型。通常,后端芯片130被实现为接收YUV/Bayer格式的数据,P_CLK、V_sync、H_REF和DATA信号用作接收这种数据的接口。
如图3所示,传统的后端芯片130在将编码的数据传送给随后的部件(如解码单元)的过程期间,将时钟信号(P_CLK)的输出状态保持为“On”状态,因而,后端芯片130在无效数据(如包括0x00的数据)被输入之前必须与随后的部件进行接口连接(interfacing)的操作。
结果,传统成像装置的后端芯片130通过执行不必要的操作消耗了不必要的电能。
此外,如图3所示,尽管对当前正被处理的帧的编码过程还没有结束,但是传统图像信号处理器120可将新的垂直同步信号(V_sync2)输出到后端芯片130。
在这种情况下,后端芯片130不结束校正数据的输入和/或处理,有时不仅处理当前正被处理的帧,而且还处理下一帧。
此外,传统图像信号处理器120交替输出H REF信号,该信号可在后端芯片130存储数据时使用,从而导致由于切换用于后端芯片130的写使能信号引起的功耗。
发明内容
技术问题
因此,本发明提供一种传送延迟的垂直同步信号的方法和用于执行该方法的图像信号处理器,所述方法和图像信号处理器能够提高后端芯片的处理效率并减小其功耗。
本发明还提供一种传送延迟的垂直同步信号的方法和用于执行所述方法的图像信号处理器,所述方法和图像信号处理器使得在将编码器编码的数据传送给接收方(如后端芯片或基带芯片)时在最优点(时刻)输出垂直同步信号。
此外,本发明提供一种传送延迟的垂直同步信号的方法和用于执行所述方法的图像信号处理器,其中,当前帧的处理的数据的输入不被垂直同步信号的输入干扰,该垂直同步信号的输入指示在接收方接收到编码的数据时新帧的输入。
本发明还提供一种传送延迟的垂直同步信号的方法和用于执行所述方法的图像信号处理器,在图像信号处理器将编码的数据提供给后端芯片时,所述方法和图像处理器通过使用一般的接口结构能够使硬件设计和控制更容易。
本发明还提供一种传送延迟的垂直同步信号的方法和用于执行所述方法的图像信号处理器,通过允许图像信号处理器根据编码速度来确定输入的帧是否将被编码,所述方法和图像处理器能够执行平稳的编码操作。
通过下面描述的实施例,本发明的其他目的将变得更加清楚。
技术方案
为了实现上述目的,本发明的一方面提供了一种图像信号处理器和/或具有该图像信号处理器的成像装置。
根据本发明实施例,成像装置的图像信号处理器包括:编码单元,通过根据预定的处理块对对应于从图像传感器输入的电信号的图像数据列进行编码,产生一帧的编码的图像数据;数据输出单元,在编码单元已经存储了所述帧中的数量为n(自然数)的第一图像数据列以便对处理块进行处理时,将所述帧的垂直同步信号(V_sync)输出到作为接收方的后端芯片或基带芯片,并将从编码单元输入的编码的图像数据输出到接收方。在处理块是a(自然数)×b(自然数)的情况下,上述n是1与b之间的自然数。
时钟信号仅在输出编码的图像数据的有效数据的区段中被输出到接收方。
在输出编码的图像数据的无效数据的区段中输出哑元数据。
所输出的帧的编码的图像数据在“起始标记”与“停止标记”之间。
数据输出单元可包括:寄存器,通过将从编码单元输入的编码的图像数据的输出延迟预定时钟来输出所述编码的图像数据。
数据输出单元包括:V_sync产生器,根据垂直同步信号控制命令产生高状态或低状态的垂直同步信号并输出该垂直同步信号;H_sync产生器,根据有效数据使能控制命令产生高状态或低状态的有效数据使能信号并输出该有效数据使能信号;延迟单元,根据数据输出控制命令输出从编码单元输入的有效数据以及无效数据或者预先产生的哑元数据;传输控制单元,产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令。传输控制单元使用从编码单元输入的计数器值在已经存储了一帧的数量为n(自然数)的第一图像数据列的时刻输出垂直同步信号控制命令。
有效数据使能信号在接收方可以被解释为写使能信号。
根据本发明的另一实施例,成像装置的图像信号处理器包括:V_sync产生器,根据垂直同步信号控制命令产生高状态或低状态的垂直同步信号并输出该垂直同步信号;H_sync产生器,根据有效数据使能控制命令产生高状态或低状态的有效数据使能信号并输出该有效数据使能信号;延迟单元,根据数据输出控制命令输出从编码单元输入的有效数据、无效数据或者预先产生的哑元数据;传输控制单元,产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令。传输控制单元使用从编码单元输入的计数器值在已经存储了一帧的数量为n(自然数)的第一图像数据列的时刻输出垂直同步信号控制命令。
根据本发明的另一实施例,包括图像传感器、图像信号处理器、后端芯片和基带芯片的成像装置的图像信号处理器包括:编码单元,通过根据预定的处理块对对应于从图像传感器输入的电信号的图像数据列进行编码,产生一帧的编码的图像数据;数据输出单元,在编码单元已经存储了所述帧中的数量为n(自然数)的第一图像数据列以便对处理块进行处理时,将所述帧的垂直同步信号(V_sync)输出到作为接收方的后端芯片或基带芯片,并将从编码单元输入的编码的图像数据输出到接收方。在处理块是a(自然数)×b(自然数)的情况下,上述n是1与b之间的自然数。
为了实现上述目的,本发明另一方面提供了一种传送延迟的垂直同步信号的方法,该方法在图像信号处理器和/或记录有用于执行所述方法的程序的记录介质中执行。
根据本发明实施例,在包括图像传感器的成像装置的图像信号处理器中执行的传送延迟的垂直同步信号的方法包括以下步骤:从编码单元输入第m帧的垂直同步信号,其中,m为自然数;使用从编码单元输入的计数值来监控对应于预定处理块的数量为n(自然数)的图像数据列是否已经被存储;在数量为n的图像数据列已经被存储的情况下,将对应于第m帧的垂直同步信号输出到作为接收方的后端芯片或基带芯片。在处理块是a(自然数)×b(自然数)的情况下,上述n是1与b之间的自然数。
所述方法还可包括:从编码单元输入根据处理块编码的数据;将输入的编码的数据输出到接收方。时钟信号可以仅在输出编码的图像数据的有效数据的区段中被输出到接收方。
通过使用输入的编码的数据的头信息和尾信息,可以确定对第m帧编码的完成。
附图说明
图1示出典型成像装置的简单结构;
图2示出典型JPEG编码的步骤;
图3示出针对其传统图像信号处理器输出编码的数据的信号类型;
图4示出根据本发明实施例的成像装置的框图;
图5示出根据本发明实施例的数据输出单元的框图;
图6和图7示出根据本发明实施例的图像信号处理器输出编码的数据的信号类型。
具体实施方式
通过下面参照附图所进行的描述,上述目的、特点和优点将变得更加清楚。
由于存在本发明的多种改变和实施例,所以将参照附图示出和描述特定实施例。然而,这不是将本发明限制为特定实施例,而是将被解释为包括本发明的精神和范围所覆盖的所有改变、等同物和替换物。贯穿附图,类似的部件被给予类似的标号。贯穿本发明的说明书,当确定对特定技术的描述避开了本发明的要点时,将省略有关详细描述。
如“第一”和“第二”的术语可用于描述各种部件,但是这些部件不限于上述术语。上述术语仅用于将一个部件与另一部件相互区分。例如,在不脱离本发明的权利要求的范围的情况下,第一部件可被命名为第二部件,反之亦然。术语“和/或”将包括多个所列项的组合或者所述多个所列项中的任何一个。
当一个部件被描述为“连接”或“接入”到另一部件时,可以将其解释为直接连接或接入到另一部件,或者还可以在二者之间存在另一部件。另一方面,如果一个部件被描述为“直接连接”或“直接接入”到另一部件时,可以将其解释为在二者之间没有其他部件。
说明书中所使用的术语仅用于描述特定实施例,不是为了限制本发明。除非另外清楚地使用,否则单数形式的表述包括多种含义。在本说明书中,如“包括”或“构成”的表述指示特性、数、步骤、操作、部件、部分或其组合,不应该将其解释为排除一个或多个其他特性、数、步骤、操作、部件、部分或其组合的任何存在或可能。
除非另有定义,否则这里所使用的所有术语(包括技术术语和科学术语)与本发明所属领域的普通技术人员的通常理解具有相同的含义。除非另外明确地定义,否则通用字典中定义的任何术语将被解释为与相关技术的上下文具有相同的含义,不应该被解释为具有理想化或过于形式的含义。
以下,将参照附图更详细地描述优选实施例。不论附图编号如何,相同或相应的部件将被给予相同的标号,对相同或相应部件的任何多余的描述将不被重复。
在描述本发明实施例时,将描述图像信号处理器的处理操作,这是本发明的核心主题。然而,应该清楚的是,本发明的范围绝不是由这里的描述来限制。
图4示出根据本发明实施例的成像装置的框图;图5示出根据本发明实施例的数据输出单元430的框图;图6和图7示出根据本发明实施例的图像信号处理器输出编码的数据的信号类型。
如图4所示,成像装置可包括图像传感器110、图像信号处理器400和后端芯片405。尽管显然成像装置还可包括显示单元150、存储器、基带芯片140和键输入单元,但是这些部件与本发明关系不大,因此这里不对其进行描述。
图像信号处理器400包括预处理单元410、JPEG编码器420和数据输出单元430。当然,图像信号处理器400还可包括用于内部操作的时钟发生器。
预处理单元410执行为JPEG编码器420的处理作准备的预处理步骤。预处理单元410可针对每帧逐行从图像传感器110接收电信号类型的原始数据并对其进行处理,随后可将原始数据传送给JPEG编码器420。
预处理步骤可包括色彩空间变换、滤波和色彩子采样中的至少一个。
色彩空间变换将RGB色彩空间变换为YUV(或YIQ)色彩空间。这是为了在不会识别出画面质量的不同的情况下减少信息量。
滤波是使用低通滤波器使图像平滑以增大压缩率的步骤。
色彩子采样通过使用所有Y值、一些其他值(不使用其余值)对色度信号分量进行子采样。
如同在上述方法中一样,JPEG编码器420对预处理的原始数据进行压缩,并产生JPEG编码的数据。
JPEG编码器420可包括存储器,用于临时存储从预处理单元410输入的处理后的原始数据以将原始数据划分为预定块单元(如8×8)从而进行编码。与预处理单元410不同,JPEG编码器420可执行缓冲,直到预定块单元中的数据在输入存储器中被累积,并且还可包括用于对输入存储器中累积的行的数量进行计数的计数器。计数器计数的计数的值(L_count,以下称为“计数值”)被传递给数据输出单元430以确定垂直同步信号(V_sync)的输出时刻。
JPEG编码器420还可包括:输出存储器,在将JPEG编码的数据输出到数据输出单元430之前临时存储JPEG编码的数据。输出存储器可以是例如FIFO。换言之,与传统的图像信号处理器120不同,本发明的图像信号处理器400还可以对图像数据进行编码。
数据输出单元430将JPEG编码器420产生的JPEG编码的数据传送给接收方(如后端芯片405、基带芯片140或相机控制处理器,以下称为“后端芯片”405)。数据输出单元430可包括(例如):寄存器,在输出从JPEG编码器420输入的数据之前将该数据延迟预定持续时间(如2至3个时钟)。
数据输出单元430不是根据(例如)从图像传感器110输入的垂直同步信号(V_sync)而是根据JPEG编码器420是否准备好开始编码操作,将从JPEG编码器420输入的JPEG编码的数据输出到后端芯片405。
换言之,数据输出单元430在输出垂直同步信号以通知后端芯片405将要输出新帧的数据之前,确定JPEG编码器420是否准备好进行相应帧的编码操作。
例如,由于在8行数据列存储在输入存储器中时JPEG编码器420将按照8×8块为单位来执行编码操作,所以在参考计数值(L_count)时,如果1至8行(优选为6至7行)数据列被存储在输入存储器中,那么数据输出单元430能够确定编码操作准备开始。
这样,数据输出单元430在垂直同步信号输出之后的短时间内开始输出编码的数据,并控制在输出的编码的数据中有效数据被输出的区段(section)中处于高状态(取决于设计,或者为低状态)的有效数据使能信号(H_REF)和时钟信号(P_CLK)被输出到后端芯片405。
将描述在H_REF信号为高的情况下后端芯片识别出JPEG编码的数据中有效数据被输入的情况。
如果从控制便携式终端的一般操作的基带芯片140接收到例如图像捕获命令,那么后端芯片405接收从图像信号处理器400输入的画面改善的JPEG编码的数据并将其存储在存储器中,随后对所述数据解码并将其显示在显示单元150上,或者基带芯片140读取并处理所述数据。
图5示出数据输出单元430的详细结构。
参照图5,数据输出单元430包括AND门510、V_sync产生器520、H_sync产生器530、延迟单元540和传输控制单元550。
仅在每个输入被输入有信号时,AND门510才将时钟信号(P_CLK)输出到后端芯片405。即,通过从设置在图像信号处理器400中的时钟发生器(未示出)接收时钟信号,并从传输控制单元550接收时钟控制信号,仅在时钟控制信号命令输出时钟信号时,AND门510才将时钟信号输出到后端芯片405。时钟控制信号可以是可被识别为P_CLK使能(enable)信号或P_CLK失效(disable)信号的高信号或低信号。当然,相反情况也可以。如图7所示,P_CLK被输出到后端芯片405的区段与JPEG编码的数据中有效数据被输出的区段一致。对于本领域普通技术人员而言,显而易见,AND门510的输出信号可以被控制,这是因为传输控制单元550可识别出当前将被输出的编码的数据是有效数据还是无效数据。
V_sync产生器520在传输控制单元550的控制下产生用于显示有效区段的垂直同步信号(V_sync)并将其输出。在V_sync信号的输出命令被输入之后,V_sync产生器520输出高状态的V_sync信号,直到通过传输控制单元550输入V_sync信号的输出终止命令。当然,显而易见,根据设计方法可以输出低状态的V_sync信号。这是因为,可以任意定义高状态或低状态的V_sync信号。对于本领域技术人员而言,显而易见,垂直同步信号是指每帧输入的开始。
H_sync产生器530在传输控制单元550的控制下产生并输出有效数据使能信号(H_REF)(即,在H_REF的输出命令被输入之后直到H_REF的输出终止命令被输入)。有效数据使能信号的高区段(如上所述,取决于设计或者是低区段)与关于一帧的JPEG编码的数据从延迟单元540被输出的输出区段一致。对于本领域技术人员而言,显而易见H_sync产生器530的输出信号可以被控制,这是因为传输控制单元550可识别出当前将被输出的编码的数据是有效数据还是无效数据。
延迟单元540在高状态的H_REG被输出的区段期间顺序输出从JPEG编码器420输入的JPEG编码的数据。延迟单元540可包括:(例如)寄存器,在输出从JPEG编码器420输入的数据之前,将该数据延迟预定持续时间(如2至3个时钟)。
传输控制单元550可以确定存储在延迟单元540中的JPEG编码的数据是否有效。在当前将被输出的数据是无效数据(如包括0x00的数据)的情况下,传输控制单元550可控制AND门510使其不将时钟信号输出到后端芯片405,并控制H sync产生器530输出低状态的H REF信号。
本说明书中提到的无效数据是指例如在JPEG标准中被描述为不是有效的而且有时被表示为0x00的数据(即,实际上不形成图像的数据)。
预先存储的哑元数据(即,仅用于符合格式的数据)可在输出无效数据的区段中被输出。复用器(MUX)还可以被放置在输出JPEG编码的数据和哑元数据的延迟单元之前,延迟单元540接收将要输出的JPEG编码的数据和哑元数据。在这种情况下,如果传输控制单元550确定输入的JPEG编码的数据是无效数据,那么传输控制单元550可将哑元数据输出命令输出到MUX。随后,MUX能够使预先设计的哑元数据输入到延迟单元540并被输出到后端芯片405。
通过从延迟单元540从JPEG编码器430顺序接收并临时存储以输出有效数据的JPEG编码的数据的头和尾捕获“起始标记(start marker)”和“停止标记(stop marker)”,传输控制单元550能够识别出关于JPEG编码的起始和结束的信息。由此,能够识别出一帧是否被JPEG编码器420完全编码和/或输出。
图6和图7示出每个部件输出的信号的类型。图6示出图像传感器110和预处理单元410输出的信号类型610和620,图7示出JPEG编码器420和数据输出单元430输出的信号类型630和640。图6和图7仅示出在每个部件中延迟的时间,而非为了在每个部件之间传送信号而延迟的时间。
如图6所示,图像传感器110输出V_sync信号,随后在预定延迟时间d1之后开始输出原始数据。
图像传感器110输出的信号被输入到预处理单元410,预处理单元410在将处理后的数据输出到JPEG编码器420之前,在延迟时间d2内执行缓冲和/或处理以进行诸如滤波和插值的处理。
为了按照预定块单元执行处理,JPEG编码器420将从预处理单元410输入的处理后的数据存储在输入存储器中。将数据存储在输入存储器中从而可以按照预定块单元进行处理需要花费延迟时间d3。存储在输入存储器中的数据按照行为单位被计数,计数值(L_count)被实时输入到传输控制单元550。
在延迟时间d3结束之前(即,在7行数据被存储之前),数据输出单元430将用于当前被JPEG编码器420处理的帧的V_sync信号输出到后端芯片405。即,如图7所示,用于相应帧的V_sync信号的输出被延迟。
随后,数据输出单元430将从JPEG编码器420输入的编码的数据临时存储在寄存器中,随后顺序输出所述数据。该过程可以延迟延迟时间d4,同时编码的数据被写入寄存器中并被输出。
在现有技术中,仅在输出V_sync信号之后已经过去延迟时间e(即,e=d1+d2+d3+d4)之后才输出编码的数据。然而,如果在输出第k帧的编码的数据的同时第k+1(其中,k为自然数)帧的V_sync信号被输入,那么接收方无法在第k+1帧的V_sync信号输入之后正确地接收到第k帧的编码的数据。
另一方面,本发明的数据输出单元430还可以解决如下问题,即,在处理第k帧的同时得到被第k+1帧的V_sync信号干扰的正常数据通信,这是因为数据输出单元430在将V_sync信号输出到后端芯片405之后可通过上述步骤在短时间内开始输出编码的数据。
此时,数据输出单元430可仅在输出的编码的数据是有效数据时保持H_REF信号为高,并可仅在相应的区段使时钟信号输出到后端芯片405。这样,在输出无效的编码数据或哑元数据的同时,将被输出到后端芯片405的时钟信号(P_CLK)被关断(图7中P_CLK的虚线区段),因此,可将不必要的操作减到最少,从而将后端芯片405的功耗最小化。
传统后端芯片405被实现为接收YUV/Bayer格式的数据,并使用P_CLK、V_sync、H_REF和DATA信号作为接收这些数据的接口。
考虑到这一点,本发明的图像信号处理器400被实现为与传统图像信号处理器使用相同的接口。
因此,显而易见,尽管本发明的后端芯片405通过设计后端芯片的传统方法被实现,但是本发明的后端芯片405可以端口匹配(port-match)。
例如,如果典型后端芯片405的操作从V_sync信号的上升沿的中断开始,那么由于传统接口结构同样适用于本发明,所以与输出传统V_sync信号类似,在本发明中通过将相应信号输入到后端芯片405,可以进行芯片之间的接口连接。
同样,考虑到典型后端芯片405必须产生V_sync上升中断,并且当从图像信号处理器400接收到数据时有效数据使能信号(H_REF)用作存储器的写使能信号,通过使用本发明的信号输出方法,可以减小后端芯片405的功耗。
尽管这里描述了使用JPEG编码方法的图像信号处理器400,但是显而易见,对于其他编码方法,如BMP编码方法、MPEG(MPEG 1/2/4和MPEG-4AVC)编码和TV-out方法,可以使用相同的数据传输方法。
附图和详细的描述只是本发明的示例,仅用于描述本发明,而不是限制本发明的精神和范围。因此,本领域普通技术人员应该理解,大量改变和其他等同实施例是可行的。本发明的实际范围仅由权利要求的精神限定。
产业上的可利用性
如上所述,本发明可提高处理效率,并可降低后端芯片的功耗。
本发明还可使垂直同步信号在将编码器编码的数据传送给接收方(如后端芯片或基带芯片)时的最优点(时刻)输出。
此外,通过本发明,当前帧的处理后的数据的输入不被垂直同步信号的输入干扰,该垂直同步信号的输入指示在接收方接收到编码的数据时新帧的输入。
此外,当图像信号处理器将编码的数据提供给后端芯片时,通过使用一般接口结构,本发明可使硬件设计和控制更容易。
此外,通过允许图像信号处理器根据编码速度确定输入的帧是否将被编码,本发明能够实现平稳的编码操作。
Claims (12)
1.一种成像装置的图像信号处理器,该图像信号处理器包括:
编码单元,通过根据预定的处理块对与从图像传感器输入的电信号对应的图像数据列进行编码,产生一帧的编码的图像数据;
数据输出单元,在编码单元已经存储了所述帧中的数量为n的第一图像数据列以便对处理块进行处理时,将所述帧的垂直同步信号V_sync输出到作为接收方的后端芯片或基带芯片,并将从编码单元输入的编码的图像数据输出到接收方,其中,n为自然数,
其中,在处理块是a×b的情况下,a和b为自然数,所述n是1与b之间的自然数。
2.如权利要求1所述的图像信号处理器,其中,时钟信号仅在输出编码的图像数据的有效数据的区段中被输出到接收方。
3.如权利要求1所述的图像信号处理器,其中,在输出编码的图像数据的无效数据的区段中输出哑元数据。
4.如权利要求1所述的图像信号处理器,其中,所输出的帧的编码的图像数据在“起始标记”与“停止标记”之间。
5.如权利要求1所述的图像信号处理器,其中,数据输出单元包括:寄存器,通过将从编码单元输入的编码的图像数据的输出延迟预定时钟来输出所述编码的图像数据。
6.如权利要求1所述的图像信号处理器,其中,数据输出单元包括:
V_sync产生器,根据垂直同步信号控制命令产生高状态或低状态的垂直同步信号并输出该垂直同步信号;
H_sync产生器,根据有效数据使能控制命令产生高状态或低状态的有效数据使能信号并输出该有效数据使能信号;
延迟单元,根据数据输出控制命令输出从编码单元输入的有效数据以及无效数据或者预先产生的哑元数据;
传输控制单元,产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令,
其中,传输控制单元使用从编码单元输入的计数器值在已经存储了一帧的数量为n的第一图像数据列的时刻输出垂直同步信号控制命令,其中,n为自然数。
7.如权利要求6所述的图像信号处理器,其中,有效数据使能信号在接收方被解释为写使能信号。
8.一种成像装置的图像信号处理器,该图像信号处理器包括:
V_sync产生器,根据垂直同步信号控制命令产生高状态或低状态的垂直同步信号并输出该垂直同步信号;
H_sync产生器,根据有效数据使能控制命令产生高状态或低状态的有效数据使能信号并输出该有效数据使能信号;
延迟单元,根据数据输出控制命令输出从编码单元输入的有效数据、无效数据或者预先产生的哑元数据;
传输控制单元,产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令,
其中,传输控制单元使用从编码单元输入的计数器值在已经存储了一帧的数量为n的第一图像数据列的时刻输出垂直同步信号控制命令,其中,n为自然数。
9.一种包括图像传感器、图像信号处理器、后端芯片和基带芯片的成像装置,其中,所述图像信号处理器包括:
编码单元,通过根据预定的处理块对与从图像传感器输入的电信号对应的图像数据列进行编码,产生一帧的编码的图像数据;
数据输出单元,在编码单元已经存储了所述帧中的数量为n的第一图像数据列以便对处理块进行处理时,将所述帧的垂直同步信号V_sync输出到作为接收方的后端芯片或基带芯片,并将从编码单元输入的编码的图像数据输出到接收方,其中,n为自然数,
其中,在处理块是a×b的情况下,a和b为自然数,所述n是1与b之间的自然数。
10.一种传送延迟的垂直同步信号的方法,该方法在包括图像传感器的成像装置的图像信号处理器中执行,该方法包括:
从编码单元输入第m帧的垂直同步信号,其中,m为自然数;
使用从编码单元输入的计数值来监控对应于预定处理块的数量为n的图像数据列是否已经被存储,其中,n为自然数;
在数量为n的图像数据列已经被存储的情况下,将对应于第m帧的垂直同步信号输出到作为接收方的后端芯片或基带芯片,
其中,在处理块是a×b的情况下,所述n是1与b之间的自然数。
11.如权利要求10所述的方法,还包括:
从编码单元输入根据处理块编码的数据;
将输入的编码的数据输出到接收方,
其中,时钟信号仅在输出编码的图像数据的有效数据的区段中被输出到接收方。
12.如权利要求11所述的方法,其中,通过使用输入的编码的数据的头信息和尾信息来确定对第m帧编码的完成。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2005-0104610 | 2005-11-02 | ||
| KR1020050104610A KR100685302B1 (ko) | 2005-11-02 | 2005-11-02 | 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서 |
| PCT/KR2006/004477 WO2007052934A1 (en) | 2005-11-02 | 2006-10-31 | Image signal processor and method for outputting deferred vertical synchronous signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101300828A CN101300828A (zh) | 2008-11-05 |
| CN101300828B true CN101300828B (zh) | 2010-07-21 |
Family
ID=38006050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006800411089A Active CN101300828B (zh) | 2005-11-02 | 2006-10-31 | 用于输出延迟的垂直同步信号的图像信号处理器和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7948527B2 (zh) |
| JP (1) | JP4576459B2 (zh) |
| KR (1) | KR100685302B1 (zh) |
| CN (1) | CN101300828B (zh) |
| WO (1) | WO2007052934A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100674474B1 (ko) * | 2005-11-02 | 2007-01-25 | 엠텍비젼 주식회사 | 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서 |
| US20090167888A1 (en) * | 2007-12-28 | 2009-07-02 | Yo-Hwan Noh | Methods of processing imaging signal and signal processing devices performing the same |
| WO2009139173A1 (ja) * | 2008-05-16 | 2009-11-19 | パナソニック株式会社 | 撮像装置システム及びカメラ本体、交換レンズ |
| CN102484180B (zh) | 2009-11-12 | 2014-09-17 | 松下电器产业株式会社 | 氮化镓系化合物半导体发光元件 |
| JP5163702B2 (ja) | 2010-06-16 | 2013-03-13 | セイコーエプソン株式会社 | 撮影装置およびタイミング制御回路 |
| US9883116B2 (en) * | 2010-12-02 | 2018-01-30 | Bby Solutions, Inc. | Video rotation system and method |
| WO2011150884A2 (zh) * | 2011-06-23 | 2011-12-08 | 华为终端有限公司 | 一种移动终端录像方法、相关装置以及系统 |
| TWI595290B (zh) * | 2016-02-18 | 2017-08-11 | 群創光電股份有限公司 | 顯示裝置 |
| WO2022021058A1 (zh) * | 2020-07-28 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 图像接收设备、图像处理设备及方法、图传系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1246644A (zh) * | 1998-08-24 | 2000-03-08 | 索尼公司 | 数字照相机装置及其记录方法 |
| CN1394078A (zh) * | 2001-06-22 | 2003-01-29 | 三洋电机株式会社 | 摄影装置 |
| CN1534983A (zh) * | 2003-03-27 | 2004-10-06 | ���ǵ�����ʽ���� | 数字成像装置和用于选择它的数据传输模式的方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2857750B2 (ja) | 1996-06-18 | 1999-02-17 | 株式会社淀川製鋼所 | 開閉式溝蓋 |
| JPH11177520A (ja) | 1997-12-10 | 1999-07-02 | Sony Corp | データ多重化装置 |
| KR20000055147A (ko) * | 1999-02-03 | 2000-09-05 | 구자홍 | 영상데이터 프레임 레이트 변환장치 |
| JP2003009002A (ja) | 2001-06-22 | 2003-01-10 | Sanyo Electric Co Ltd | 撮像装置 |
| JP4063204B2 (ja) * | 2003-11-20 | 2008-03-19 | セイコーエプソン株式会社 | 画像データ圧縮装置及びエンコーダ |
| US20080316331A1 (en) * | 2007-06-25 | 2008-12-25 | Core Logic, Inc. | Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method |
-
2005
- 2005-11-02 KR KR1020050104610A patent/KR100685302B1/ko not_active Expired - Lifetime
-
2006
- 2006-10-31 JP JP2008538810A patent/JP4576459B2/ja active Active
- 2006-10-31 CN CN2006800411089A patent/CN101300828B/zh active Active
- 2006-10-31 WO PCT/KR2006/004477 patent/WO2007052934A1/en not_active Ceased
- 2006-10-31 US US12/092,402 patent/US7948527B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1246644A (zh) * | 1998-08-24 | 2000-03-08 | 索尼公司 | 数字照相机装置及其记录方法 |
| CN1394078A (zh) * | 2001-06-22 | 2003-01-29 | 三洋电机株式会社 | 摄影装置 |
| CN1534983A (zh) * | 2003-03-27 | 2004-10-06 | ���ǵ�����ʽ���� | 数字成像装置和用于选择它的数据传输模式的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009515412A (ja) | 2009-04-09 |
| KR100685302B1 (ko) | 2007-02-22 |
| WO2007052934A1 (en) | 2007-05-10 |
| CN101300828A (zh) | 2008-11-05 |
| JP4576459B2 (ja) | 2010-11-10 |
| US20080284865A1 (en) | 2008-11-20 |
| US7948527B2 (en) | 2011-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2296381A2 (en) | Method and apparatus for generating compressed file | |
| CN101300828B (zh) | 用于输出延迟的垂直同步信号的图像信号处理器和方法 | |
| CN101305619B (zh) | 图像处理方法及装置 | |
| CN101300829B (zh) | 图像拾取装置和编码数据传送方法 | |
| CN101300847B (zh) | 图像拾取装置和编码数据传送方法 | |
| CN101300836B (zh) | 图像信号处理器和延迟的垂直同步信号输出方法 | |
| KR100788983B1 (ko) | 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치 | |
| CN101300848B (zh) | 图像拾取装置和编码数据传送方法 | |
| KR100854724B1 (ko) | 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치 | |
| KR20070047729A (ko) | 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서 | |
| KR20070047730A (ko) | 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210202 Address after: Han Guoshouer Patentee after: Maira Co.,Ltd. Address before: Han Guoshouershi Patentee before: MTEKVISION Co.,Ltd. |
|
| TR01 | Transfer of patent right |