[go: up one dir, main page]

CN106973188A - 一种图像传输装置和方法 - Google Patents

一种图像传输装置和方法 Download PDF

Info

Publication number
CN106973188A
CN106973188A CN201710231384.1A CN201710231384A CN106973188A CN 106973188 A CN106973188 A CN 106973188A CN 201710231384 A CN201710231384 A CN 201710231384A CN 106973188 A CN106973188 A CN 106973188A
Authority
CN
China
Prior art keywords
row
pixels
image
frame
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710231384.1A
Other languages
English (en)
Inventor
王明
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Future Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201710231384.1A priority Critical patent/CN106973188A/zh
Publication of CN106973188A publication Critical patent/CN106973188A/zh
Priority to US15/932,705 priority patent/US10771726B2/en
Priority to US16/989,276 priority patent/US11438544B2/en
Priority to US17/874,098 priority patent/US11805224B2/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00103Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H04N1/00108Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites of digital signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00114Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00114Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
    • H04N1/00124Systems or arrangements for the transmission of the picture signal with transmission of additional information signals of video information only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137Transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种图像传输装置和方法,以解决现有技术中图像传输时延较大的问题。本发明提供的图像装置包括:FPGA,用于从摄像机依次接收图像的像素并缓存至存储器中,在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;处理器,用于从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,将获取的所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。采用本发明技术方案,能够在确保图像传输准确的同时降低图像传输时延,提高图像传输实时性。

Description

一种图像传输装置和方法
技术领域
本发明涉及计算机领域,特别涉及一种图像传输装置和一种图像传输方法。
背景技术
目前,传输图像的方式主要为:由图像处理系统从摄像机接收整帧图像并进行缓存,再对该帧图像进行处理、压缩之后传输给服务器。
该种图像传输的方式时延较长,以千兆网(即1000Mbps)传输一帧分辨率为1024*768的图像为例,每个像素占24bit,一帧图像的大小为1024*768*24bit,传输该帧图像消耗时延为1024*768*24/1000,约为18ms,一帧图像的传输时延即为18ms,这对图像传输实时性要求较高的应用场景或者对图像处理算法耗时的应用场景,例如数据采集、自动驾驶等应用场景,将是一个致命的问题,因此,如何提高图像传输的实时性则成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于上述问题,本发明提供一种图像传输装置和方法,以实现在确保图像传输准确性的同时提高图像传输实时性。
本发明实施例,一方面提供一种图像传输装置,该装置包括FPGA(Field-Programmable Gate Array,即现场可编程门阵列)和处理器,其中:
FPGA,用于从摄像机依次接收图像的像素并缓存至存储器中,在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
处理器,用于从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,将获取的所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。
本发明实施例另一方面,还提供一种图像传输方法,包括:
从摄像机依次接收图像的像素并缓存至存储器中,在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
将所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。
本发明技术方案,一方面,FPGA在从摄像机依次接收图像的像素过程中,每接收完一行像素时,由处理器及时将该行像素打包传输给服务器,以实现边接收边传输的目的,与现有技术提供的图像传输方式相比,本申请技术方案向服务器每传输一帧图像仅消耗一行像素传输的时延,无需等待一帧图像的所有像素接收完之后才进行统一传输,提高了图像传输的实时性,以千兆网(即1000Mbps)传输一帧分辨率为1024*768的图像为例,采用本发明技术方案,只需要时延1024*768*24/(1000*768),约为2.3us,与现有技术的同等网络环境传输同样大小的图像需要时延18ms相比,降低了图像传输的时延,提高了图像传输实时性;另一方面,本发明技术方案在向服务器传输一行像素时,还标记该行像素所在图像的帧号以及该行像素在该帧图像中的行号,以便服务器能够获知接收到的一行像素为哪一帧图像的哪一行像素,以确保图像传输的准确性。综上,采用本发明技术方案,实现了在确保图像传输准确性的同时提高图像传输实时性的目的。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明实施例中图像传输装置的结构示意图之一;
图2为本发明实施例中处理器从FPGA获取一行像素、一行像素的行号和图像帧号的示意图之一;
图3为本发明实施例中处理器从FPGA获取一行像素、一行像素的行号和图像帧号的示意图之二;
图4为本发明实施例中处理器从FPGA获取一行像素、一行像素的行号和图像帧号的示意图之三;
图5为本发明实施例中处理器从FPGA获取一行像素、一行像素的行号和图像帧号的示意图之四;
图6为本发明实施例中摄像机向FPGA传输图像的时序图;
图7为本发明实施例中FPGA从摄像机接收图像的方法流程图;
图8为本发明实施例中RAM的端口示意图;
图9为本发明实施例中从RAM的端口A写入数据的时序图;
图10为本发明实施例中从RAM的端口B读取数据的时序图;
图11为本发明实施例中图像传输装置的结构示意图之二;
图12为本发明实施例中图像传输方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例一
本发明实施例中图像传输装置与摄像机和服务器通过有线或无线的方式连接,以实现将摄像机采集的图像帧及时的传输给服务器。具体地,图像传输装置通过有线或无线的方式从摄像机接收一帧一帧的图像,并在接收每一帧图像的每一个像素的过程中,每接收完一行像素,确定该行像素所在帧图像的帧号以及该行像素在所述图像中的行号;再将该行像素、该行像素的行号、该行像素所在帧图像的帧号打包成数据包,并将该数据包传输给的服务器。
参见图1,为本发明实施例中图像传输装置的结构示意图,该装置包括FPGA1和处理器2,该FPGA1和处理器2可以为两个独立的元器件,也可以是集成在一起构成一个整体的处理器(例如ZYNQ7020处理器),本申请不做严格限定。
FPGA1,用于从摄像机3依次接收图像的像素并缓存至存储器中,在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
处理器2,用于从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,将获取的所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器4。
优选地,为进一步提高图像传输实时性,本发明实施例中,FPGA1在每完成一行像素的接收之后,为及时的由处理器2将该一行像素传输给服务器4,所述FPGA1在每接收完一行像素时,生成用于指示处理器2读取所示一行像素的读取指示信息;处理器2根据该读取指示信息从FPGA1获取该一行像素、该一行像素的行号以及所述图像的帧号。具体地实施方式可以多种多样,例如,可以由FPGA1将生成的读取指示信息发送给处理器2,也可以由处理器2定期的轮询FPGA1,在检测到FPGA1生成所述读取指示信息时,将FPGA1接收完的一行像素及时传输给服务器。本发明实施例中,读取指示信息可以用一个数值表示(例如1或0等),也可以用一个字符表示(例如e表示),还可以用一个字符串表示(例如end),还可以是一个中断信号,本申请不做严格限定。
因此,在前述图1所示的装置中,所述FPGA1在每接收完一行像素时,还进一步用于:生成读取所述一行像素的读取指示信息;处理器2从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:获取所述读取指示信息,并根据所述读取指示信息从所述FPGA1中获取所述一行像素、所述一行像素的行号及所述图像的帧号。具体实现方式可包括但不仅限于以下四种方式:
方式1、FPGA1将所述一行像素、所述一行像素的行号及所述图像的帧号关联缓存在所述存储器11中预置的固定地址中;所述FPGA1进一步用于:将所述读取指示信息发送给所述处理器2;所述处理器2从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:在接收到所述读取指示信息时,从所述存储器11的固定地址中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
本发明实施例中,以前述方式1中的读取指示信息为一个中断信号为例,FPGA1和处理器2可预先约定私有协议,例如:FPGA1在接收像素的过程中,每接收一个像素则将该像素缓存至存储器11中预先设定的固定地址中,并在每接收完一行像素时确定该行像素的行号以及该行像素所在图像的帧号,并将该一行像素的行号以及图像的帧号存储至所述固定地址中;FPGA1向处理器2发送一个中断信号;处理器2在接收到一个中断信号时确定FPGA1完成一行像素的接收,并自动从存储器11的固定地址中按照协议读取一行像素、该一行像素的行号以及图像的帧号,并将获取的该一行像素、该一行像素的行号以及图像的帧号打包成数据包。
例如,可预先将固定地址对应的存储空间设置为多个字段,用于存储图像帧号的字段,用于存储一行像素的行号的字段,用于存储一行像素的字段,该三个字段的前后顺序可根据实际需要灵活设置,本申请并不做严格限定。如图2所示,该三个字段的顺序依次为存储图像帧号的字段、存储一行像素的行号的字段、存储一行像素的字段。
方式2、FPGA1将所述一行像素、所述一行像素的行号及所述图像的帧号关联缓存在所述存储器11中预置的固定地址中;所述FPGA1进一步用于:将所述读取指示信息缓存在所述固定地址中;所述处理器2从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:处理器2按照预置的时间周期轮询所述存储器11的固定地址,并在检测到所述读取指示信息时,从所述存储器11的固定地址中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
例如,可预先将固定地址对应的存储空间划分为多个字段空间:用于存储图像帧号的字段,用于存储一行像素的行号的字段,用于存储一行像素的字段,用于存储读取指示信息的字段,该四个字段的前后顺序可根据实际需求灵活设置,本申请并不做严格限定。如图3所示,该四个字段的顺序依次为存储图像帧号的字段、存储一行像素的行号的字段、存储一行像素的字段、存储读取指示信息的字段。
优选地,为进一步提高一行像素被传输的及时性,前述方式2中,处理器2的轮训机制中,所述时间周期小于等于FPGA1从摄像机3接收一行像素所使用的时长。
方式3、所述读取指示信息中包含缓存所述一行像素的存储地址、所述一行像素的行号及所述图像的帧号;所述FPGA1进一步用于:将所述读取指示信息发送给所述处理器2;所述处理器2从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:从所述读取指示信息中获取所述一行像素的行号及所述图像的帧号;以及,根据所述读取指示信息中的存储地址从所述存储器11中读取所述一行像素。如图4所示。
方式4、所述读取指示信息中包含存储所述一行像素、所述一行像素的行号及所述图像的帧号的存储地址;所述FPGA1进一步用于:将确定出的所述一行像素的行号及所述图像的帧号存储至所述存储器11中,并将所述读取指示信息发送给所述处理器2;所述处理器2从所述FPGA1获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:根据所述读取指示信息中的存储地址,从所述存储器11中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
例如,可预先将固定地址对应的存储空间设置为多个字段空间:用于存储图像帧号的字段,用于存储一行像素的行号的字段,用于存储一行像素的字段,该三个字段的前后顺序可根据实际需求灵活设置,本申请并不做严格限定。如图5所示,该三个字段的顺序依次为存储图像帧号的字段、存储一行像素的行号的字段、存储一行像素的字段。
优选地,为避免摄像机异常,导致从摄像机接收到的图像错误,以进一步确保图像传输的准确性,本发明实施例中FPGA1在每接收完一行像素之后,还进一步确定该一行像素的总数k,并根据该一行像素的总数k和所述图像的尺寸中用于表示所述图像每行包含的像素个数的数值m,确定摄像机3是否异常;在确定摄像机3异常时生成摄像机异常报告信息,并将该摄像机异常报告信息发送给所述处理器3;处理器3进一步用于,将接收到的摄像机异常报告信息发送给服务器4。
FPGA1根据k和m确定摄像机3是否异常,可通过但不仅限于以下两种方式:
方式1、计算所述像素总数k与所述数值m的差值的绝对值|k-m|,若该绝对值高于预置的数量阈值,则确定摄像机3异常;反之,若该绝对值低于或等于所述数量阈值,则确定摄像机3正常。
方式2、计算所述像素总数k与所述数值m的比值k/m,若所述比值高于预置的第一比例阈值b1或所述比值低于预置的第二比例阈值b2,则确定摄像机3异常,其中b1为大于1的数值,b2为小于1的数值。
优选地,为进一步确保FPGA1从摄像机3接收图像的像素的准确性和有序性,本发明实施例中,摄像机3在向FPGA1传输图像时,会依次向FPGA1传输3个时序:一个是用于表示向FPGA1开始传输一帧图像(后续称为当前帧图像)的帧时序(后续用frame_valid表示),一个是用于表示向FPGA1开始传输当前帧图像的一行像素(后续称为当前行像素)的行时序(后续用line_valid表示),一个是用于表示向FPGA1传输当前行每个像素的像素时序(后续用pixclk表示)。如图2所示,假设当前帧图像的尺寸为n*m(即当前帧图像包含m行和n列像素),1个帧时序有效时长为T1,1个行时序的有效时长为T2,1个像素时序的有效时长为T3,则T1>m*T2>m*n*T3,FPGA1将接收到的像素存储至存储器11的数据输出时序为dataout,各时序如图6所示。本发明实施例中,像素时序的有效时长T3可根据一般情况下FPGA1从摄像机3接收一个像素所消耗的时长t设置,例如T3大于或等于t;行时序的有效时长T2可根据当前帧图像的列数n跟像素时序的有效时长T3设置,例如T2大于n*T3;帧时序的有效时长T1可根据当前帧图像的行数m跟行时序的有效时长T2设置,例如T1大于m*T2。
相应地,本发明实施例中FPGA1依次检测摄像机3是否发送帧时序、行时序和像素时序,以便从摄像机3依次接收某一帧图像的各行像素。
因此,本发明实施例中,FPGA1从摄像机3依次接收图像的像素,具体用于:在检测到摄像机3发送的用于表示开始传输当前帧图像的帧时序时,检测摄像机3发送的用于表示传输当前帧图像的当前行像素的行时序;在所述帧时序和行时序均有效时,根据摄像机3传输的像素时序依次接收所述图像的当前行的像素,直到所述行时序无效时确认接收完当前行的一行像素,并继续检测摄像机3发送的用于表示开始传输当前帧图像的下一行像素的下一行时序;依此类推,直到所述帧时序无效时确认接收完当前帧图像,并继续检测摄像机发送的用于表示开始传输下一帧图像的下一帧时序。
优选地,为进一步提高FPGA1确认接收完的一行像素在图像中的行号以及图像的帧号的准确性,本发明实施例中,FPGA1预先设置有三个计数器:一个是用于计算从摄像机3接收到的帧时序个数的帧计数器,每接收到一个帧时序则对该帧计数器累加1;一个是用于计算在一个帧时序的有效时长内从摄像机3接收到的行时序的个数的行计数器,每接收到一个行时序则对该行计数器累加1,若当前一个帧时序无效时此时行计数器的计数表示当前帧图像包含的行数总数,其中该行计数器在FPGA1从所述摄像机3接收到下一个帧时序时被清零;一个是用于计算在一个行时序的有效时长内从摄像机3接收到的像素的个数的像素计数器,每接收到一个像素则对该像素计数器累加1,若当前一个行时序无效时此时像素计数器的计数表示当前行包含的像素总数,其中该像素计数器在FPGA1从所述摄像机3接收到下一个行时序时被清零。
前述FPGA1在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号,具体用于:在接收完所述当前行的一行像素时,将此时帧计数器的计数确定为所述图像的帧号,将所述行计数器的计数确定为所述一行像素的行号。
具体地,前述FPGA1可通过如图7所示的方法流程,实现从摄像机3依次接收图像的像素,并在一行像素接收完时确定该行像素的行号、图像的帧号以及该行像素包含的像素上总数,该方法流程包括:
步骤701、FPGA检测摄像机是否发送表示开始传输一帧图像(称为当前帧图像)的像素的帧时序,若检测到帧时序则执行步骤702,若未检测到帧时序则继续检测;
步骤702、FPGA将检测到的帧时序作为当前帧时序,并对帧计数器累加1;
步骤703、FPGA检测摄像机是否发送表示传输当前帧图像的一行像素(称为当前行)的像素的行时序,若检测到行时序则执行步骤704,若未检测到行时序则继续检测;
步骤704、FPGA将检测到的行时序作为当前行时序,并对行计数器累加1;
步骤705、FPGA检测摄像机发送的像素时序,并根据该像素时序接收当前帧图像的当前行像素;
步骤706、FPGA判断所述当前行时序是否有效,若有效则继续执行步骤705,若无效则执行步骤707;
步骤707、FPGA确认接收完当前行对应的一行像素,将行计数器此时的计数确认为所述一行像素的行号,将帧计数器此时的计数确认为当前帧图像的帧号,将像素计时器此时的计数确认为所述一行像素包含的像素总数;以及,将像素计时器清零;
步骤708、FPGA判断所述当前帧时序是否有效,若有效则执行所述步骤703,若无效则执行步骤709;
步骤709、FPGA确认接收完当前帧图像的所有像素,将所述行计数器清零,并执行步骤701。
优选地,本发明实施例中,所述存储器11可以是FPGA1中的随机存储器(即RAM),该RAM工作在两端口双向8位模式下,该RAM包含端口A和端口B,其中FPGA1通过端口A向RAM写入数据,处理器2通过端口B从RAM读取数据,FPGA1向RAM写数据和处理器2从RAM读数据的时钟可以不一致。FPGA1向RAM写数据的时钟取决于摄像机3的像素输出时钟,处理器3从RAM读数据的时钟取决于处理器2的处理时钟。RAM两端口双向模式的结构示意图可如图8所示,端口A依次包括以下信号:ADDRA(地址信号,表示待写入数据在RAM中的存储地址)、DINA(数据信号,表示待写入数据的取值)、ENA(状态信号,1表示写数据状态,0表示不写数据状态)、CLKA(时钟信号,表示向RAM写入数据的时钟信号)、WEA(位信号)和RESTA(复位信号);端口B依次包括以下信号:ADDRB(地址信号,表示待读数据在RAM中的存储地址)、DINB(数据信号,表示待读数据的取值)、ENB(状态信号,1表示读数据状态,0表示不读数据状态)、CLKB(时钟信号,表示从RAM读数据的时钟信号)、WEB(位信号)和RESTB(复位信号)。
FPGA1根据摄像机3的行时序和像素时序生成向RAM写数据时序,即将像素时序与CLKA时钟(即dataout时钟)同步即可,并且在每写完一行像素后向RAM的固定地址内写入读取指示信息1,表示完成一行像素的写入工作,端口A的信号相关时序如图9所示。
处理器2轮询RAM的固定地址,在检测到读取指示信息1时,从RAM的固定地址中开始读取一行像素,处理器2从端口B读取数据的时序如图10所示。
优选地,本发明实施例中,处理器2可通过千兆网控制器5将数据包传输给服务器4,也可以通过USB控制器6将数据包传输给服务器4,优选地,本发明实施例中,处理器2还可通过AX14总线接口访问RAM。如图11所示。
实施例二
相应地,本发明实施例,还提供一种图像传输方法,该方法流程如图12所示,该方法包括:
步骤101、从摄像机依次接收图像的像素并缓存至存储器中;在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
步骤102、将所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。
本发明技术方案,一方面,FPGA在从摄像机依次接收图像的像素过程中,每接收完一行像素时,由处理器及时将该行像素打包传输给服务器,以实现边接收边传输的目的,与现有技术提供的传输方式相比,本申请技术方案向服务器每传输一帧图像仅消耗一行像素传输的时延,无需等待一帧图像的所有像素接收完之后才进行统一传输,提高了图像传输的实时性,以千兆网(即1000Mbps)传输一帧分辨率为1024*768的图像为例,采用本发明技术方案,传输该帧图像所需要的时延为1024*768*24/(1000*768),约为2.3us,与现有技术的同等网络环境传输同样大小的图像时延为18ms相比,降低了图像传输的时延,提高了图像传输实时性;另一方面,本发明技术方案在向服务器传输一行像素时,还标记该行像素所在图像的帧号以及该行像素在该帧图像中的行号,以便服务器能够获知接收到的一行像素为哪一帧图像的哪一行像素,以确保图像传输的准确性。综上,采用本发明技术方案,实现了在确保图像传输准确性的同时提高图像传输实时性的目的。
以上是本发明的核心思想,为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种图像传输装置,其特征在于,包括现场可编程门阵列FPGA和处理器,其中:
FPGA,用于从摄像机依次接收图像的像素并缓存至存储器中,在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
处理器,用于从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,将获取的所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。
2.根据权利要求1所述的装置,其特征在于,所述FPGA在每接收完一行像素时,还进一步用于:生成读取所述一行像素的读取指示信息;
所述处理器从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:获取所述读取指示信息,根据所述读取指示信息从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号。
3.根据权利要求2所述的装置,其特征在于,所述FPGA将所述一行像素、所述一行像素的行号及所述图像的帧号关联缓存在所述存储器中预置的固定地址中;
所述FPGA进一步用于:将所述读取指示信息发送给所述处理器;
所述处理器从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:在接收到所述读取指示信息时,从所述存储器的固定地址中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
4.根据权利要求2所述的装置,其特征在于,FPGA将所述一行像素、所述一行像素的行号及所述图像的帧号关联缓存在所述存储器中预置的固定地址中;
所述FPGA进一步用于:将所述读取指示信息缓存在所述固定地址中;
所述处理器从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:处理器按照预置的时间周期轮询所述存储器的固定地址,并在检测到所述读取指示信息时,从所述存储器的固定地址中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
5.根据权利要求2所述的装置,其特征在于,所述读取指示信息中包含缓存所述一行像素的存储地址、所述一行像素的行号及所述图像的帧号;
所述FPGA进一步用于:将所述读取指示信息发送给所述处理器;
所述处理器从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:从所述读取指示信息中获取所述一行像素的行号及所述图像的帧号;以及,根据所述读取指示信息中的存储地址从所述存储器中读取所述一行像素。
6.根据权利要求2所述的装置,其特征在于,所述读取指示信息中包含缓存所述一行像素、所述一行像素的行号及所述图像的帧号的存储地址;
所述FPGA进一步用于:将确定出的所述一行像素的行号及所述图像的帧号缓存至所述存储器中,并将所述读取指示信息发送给所述处理器;
所述处理器从所述FPGA获取所述一行像素、所述一行像素的行号及所述图像的帧号,具体用于:根据所述读取指示信息中的存储地址,从所述存储器中读取所述一行像素、所述一行像素的行号及所述图像的帧号。
7.根据权利要求1~6任一项所述的装置,其特征在于,所述FPGA进一步用于:确定所述一行像素包含的像素总数;根据所述像素总数与所述图像的尺寸中用于表示所述图像每行包含的像素个数的数值,确定摄像机是否异常;在确定摄像机异常时生成摄像机异常报告信息,并将该摄像机异常报告信息发送给所述处理器;
所述处理器进一步用于,将接收到的摄像机异常报告信息发送给所述服务器。
8.根据权利要求7所述的装置,其特征在于,所述FPGA根据所述像素总数与所述图像的尺寸中用于表示所述图像每行包含的像素个数的数值,确定摄像机是否异常,具体用于:
计算所述像素总数与所述数值的差值的绝对值,若该绝对值高于预置的数量阈值,则确定摄像机异常;
或者,计算所述像素总数与所述数值的比值,若所述比值高于预置的第一比例阈值或者所述比值低于预置的第二比例阈值,则确定摄像机异常,其中所述第一比例阈值大于1,所述第二比例阈值小于1。
9.根据权利要求1~6任一项所述的装置,其特征在于,FPGA从摄像机依次接收图像的像素,具体用于:
在检测到摄像机发送的用于表示开始传输当前帧图像的帧时序时,检测摄像机发送的用于表示传输当前帧图像的当前行像素的行时序;
在所述帧时序和行时序均有效时,根据摄像机传输的像素时序依次接收所述图像的当前行的像素,直到所述行时序无效时确认接收完当前行的一行像素,并继续检测摄像机发送的用于表示开始传输当前帧图像的下一行像素的下一行时序;依此类推,直到所述帧时序无效时确认接收完当前帧图像,并继续检测摄像机发送的用于表示开始传输下一帧图像的下一帧时序。
10.根据权利要求9所述的装置,其特征在于,FPGA从摄像机依次接收图像的像素,进一步用于:
在检测到摄像机发送的所述帧时序时,对帧计数器累加1;
在检测到摄像机发送的所述行时序时,对行计数器累加1;其中该行计数器在检测到下一帧时序时被清零;
在根据摄像机传输的像素时序依次接收所述图像的当前行的像素的过程中,每接收一个像素对像素计时器累加1;其中该像素计时器在检测到下一行时序时被清零;
所述FPGA在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号,具体用于:在接收完所述当前行的一行像素时,将此时帧计数器的计数确定为所述图像的帧号,将所述行计数器的计数确定为所述一行像素的行号。
11.根据权利要求1~6任一项所述的装置,其特征在于,所述FPGA进一步用于:在所述处理器获取所述一行像素、所述一行像素的行号及所述图像的帧号之后,将所述一行像素从所述存储器中删除。
12.一种图像传输方法,其特征在于,包括:
从摄像机依次接收图像的像素并缓存至存储器中;在每接收完一行像素时,确定所述一行像素在所述图像中的行号以及所述图像的帧号;
将所述一行像素、所述一行像素的行号、所述图像的帧号打包成数据包,并将所述数据包传输给服务器。
CN201710231384.1A 2017-04-11 2017-04-11 一种图像传输装置和方法 Pending CN106973188A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710231384.1A CN106973188A (zh) 2017-04-11 2017-04-11 一种图像传输装置和方法
US15/932,705 US10771726B2 (en) 2017-04-11 2018-04-10 Image transmission device and method including an image data receiver and a processor
US16/989,276 US11438544B2 (en) 2017-04-11 2020-08-10 Image transmission device and method including an image data receiver and a processor
US17/874,098 US11805224B2 (en) 2017-04-11 2022-07-26 Image transmission device and method including an image data receiver and a processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710231384.1A CN106973188A (zh) 2017-04-11 2017-04-11 一种图像传输装置和方法

Publications (1)

Publication Number Publication Date
CN106973188A true CN106973188A (zh) 2017-07-21

Family

ID=59337274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710231384.1A Pending CN106973188A (zh) 2017-04-11 2017-04-11 一种图像传输装置和方法

Country Status (2)

Country Link
US (3) US10771726B2 (zh)
CN (1) CN106973188A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259742A (zh) * 2018-01-12 2018-07-06 北京图森未来科技有限公司 一种图像采集方法和装置
CN108550103A (zh) * 2018-03-07 2018-09-18 浙江华睿科技有限公司 一种图像处理方法及装置
CN108683866A (zh) * 2018-05-30 2018-10-19 北京图森未来科技有限公司 图像处理及传输方法、图像处理器及相关存储介质和系统
CN109151245A (zh) * 2018-08-20 2019-01-04 上海奕瑞光电子科技股份有限公司 基于fpga的图像数据传输方法、系统、存储介质及fpga
CN109426634A (zh) * 2017-08-27 2019-03-05 南京理工大学 基于SoCFPGA采集数据的传输方法
CN109688314A (zh) * 2019-02-19 2019-04-26 福州视驰科技有限公司 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN110322389A (zh) * 2018-03-29 2019-10-11 上海熠知电子科技有限公司 池化方法、装置及系统、计算机可读存储介质
CN111741259A (zh) * 2020-06-11 2020-10-02 北京三快在线科技有限公司 无人驾驶设备的控制方法及装置
CN111882505A (zh) * 2020-08-06 2020-11-03 鸣飞伟业技术有限公司 一种基于应急通信前端箱的应用系统
CN113286098A (zh) * 2021-05-27 2021-08-20 深圳爱特天翔科技有限公司 图像处理方法和图像拼接设备
CN113728654A (zh) * 2020-04-27 2021-11-30 深圳市大疆创新科技有限公司 图像冻结方法、芯片、拍摄装置、存储装置
CN114253700A (zh) * 2020-09-25 2022-03-29 北京嗨动视觉科技有限公司 背景图像数据读取方法和装置
CN115103208A (zh) * 2022-08-26 2022-09-23 广州市保伦电子有限公司 一种视频数据的行缓存方法、行读取方法及处理系统
CN116018799A (zh) * 2020-08-29 2023-04-25 华为技术有限公司 一种图像传输方法及装置
WO2023169060A1 (zh) * 2022-03-11 2023-09-14 浙江宇视科技有限公司 图像数据处理方法及装置、存储介质
CN118540442A (zh) * 2024-05-27 2024-08-23 上海宏桐实业有限公司 一种图像传输方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392521B2 (en) * 2020-04-13 2022-07-19 Tcl China Star Optoelectronics Technology Co., Ltd. Heterogeneous computing system and heterogeneous computing method using the system
CN114999192A (zh) * 2022-04-11 2022-09-02 华东师范大学 基于Zynq7020的交通信号灯智能识别装置
EP4425479A1 (de) * 2023-02-28 2024-09-04 Airbus Operations GmbH Multiplexer, videosystem, luftfahrzeug und verfahren zur ausgabe von videodaten

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008003263A1 (en) * 2006-06-29 2008-01-10 Huawei Technologies Co., Ltd. System and method for facsimile data transmission via network and device and method for packaging data
CN101340595A (zh) * 2008-07-21 2009-01-07 华为技术有限公司 一种图像数据回读的方法和装置
CN101860738A (zh) * 2010-04-02 2010-10-13 武汉微创光电股份有限公司 基于以太网的非压缩视频的传输方法和接收方法
CN102098453A (zh) * 2010-12-13 2011-06-15 广东威创视讯科技股份有限公司 一种多屏处理器级联扩展系统的视频流控制系统
CN102253821A (zh) * 2011-04-12 2011-11-23 深圳市蓝韵实业有限公司 一种超声诊断设备中数据传输的处理方法
CN104735448A (zh) * 2013-12-24 2015-06-24 中国航空工业集团公司第六三一研究所 Arinc818发送节点数据采集及控制方法
CN104869344A (zh) * 2015-04-30 2015-08-26 武汉精测电子技术股份有限公司 基于fpga实现mipi信号command功能的方法和装置
CN105577569A (zh) * 2015-12-11 2016-05-11 中国航空工业集团公司西安航空计算技术研究所 一种基于fc-av协议的提高ddr2带宽利用率的发送视频数据存储方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7253836B1 (en) * 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP3498662B2 (ja) * 2000-01-26 2004-02-16 日本電気株式会社 画像表示システム
US7379609B2 (en) * 2002-07-19 2008-05-27 Samsung Electronics Co., Ltd. Image processing apparatus and method for conversion between raster and block formats
US8560753B1 (en) * 2005-03-30 2013-10-15 Teradici Corporation Method and apparatus for remote input/output in a computer system
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
CN101996550A (zh) * 2009-08-06 2011-03-30 株式会社东芝 用于显示图像的半导体集成电路
FR2964235B1 (fr) * 2010-08-31 2013-05-24 Canon Kk Procede de synchronisation, systeme et dispositif correspondants
CZ304388B6 (cs) * 2012-12-28 2014-04-09 CESNET, zájmové sdružení právnických osob Zařízení pro příjem obrazových signálů přenášených přes paketovou počítačovou síť
HK1214051A1 (zh) * 2013-04-23 2016-07-15 杜比实验室特许公司 通過hdmi傳輸顯示管理元數據
US20150264358A1 (en) * 2014-03-11 2015-09-17 Kabushiki Kaisha Toshiba Video transmitter, video transceiver system and video transmission method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008003263A1 (en) * 2006-06-29 2008-01-10 Huawei Technologies Co., Ltd. System and method for facsimile data transmission via network and device and method for packaging data
CN101340595A (zh) * 2008-07-21 2009-01-07 华为技术有限公司 一种图像数据回读的方法和装置
CN101860738A (zh) * 2010-04-02 2010-10-13 武汉微创光电股份有限公司 基于以太网的非压缩视频的传输方法和接收方法
CN102098453A (zh) * 2010-12-13 2011-06-15 广东威创视讯科技股份有限公司 一种多屏处理器级联扩展系统的视频流控制系统
CN102253821A (zh) * 2011-04-12 2011-11-23 深圳市蓝韵实业有限公司 一种超声诊断设备中数据传输的处理方法
CN104735448A (zh) * 2013-12-24 2015-06-24 中国航空工业集团公司第六三一研究所 Arinc818发送节点数据采集及控制方法
CN104869344A (zh) * 2015-04-30 2015-08-26 武汉精测电子技术股份有限公司 基于fpga实现mipi信号command功能的方法和装置
CN105577569A (zh) * 2015-12-11 2016-05-11 中国航空工业集团公司西安航空计算技术研究所 一种基于fc-av协议的提高ddr2带宽利用率的发送视频数据存储方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426634A (zh) * 2017-08-27 2019-03-05 南京理工大学 基于SoCFPGA采集数据的传输方法
CN108259742A (zh) * 2018-01-12 2018-07-06 北京图森未来科技有限公司 一种图像采集方法和装置
CN108259742B (zh) * 2018-01-12 2020-08-25 北京图森未来科技有限公司 一种图像采集方法和装置
CN108550103A (zh) * 2018-03-07 2018-09-18 浙江华睿科技有限公司 一种图像处理方法及装置
CN110322389A (zh) * 2018-03-29 2019-10-11 上海熠知电子科技有限公司 池化方法、装置及系统、计算机可读存储介质
CN108683866B (zh) * 2018-05-30 2021-02-12 北京图森智途科技有限公司 图像处理及传输方法、图像处理器及相关存储介质和系统
CN108683866A (zh) * 2018-05-30 2018-10-19 北京图森未来科技有限公司 图像处理及传输方法、图像处理器及相关存储介质和系统
CN109151245A (zh) * 2018-08-20 2019-01-04 上海奕瑞光电子科技股份有限公司 基于fpga的图像数据传输方法、系统、存储介质及fpga
CN109688314A (zh) * 2019-02-19 2019-04-26 福州视驰科技有限公司 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN109688314B (zh) * 2019-02-19 2021-03-09 福州视驰科技有限公司 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN113728654A (zh) * 2020-04-27 2021-11-30 深圳市大疆创新科技有限公司 图像冻结方法、芯片、拍摄装置、存储装置
CN111741259A (zh) * 2020-06-11 2020-10-02 北京三快在线科技有限公司 无人驾驶设备的控制方法及装置
CN111882505B (zh) * 2020-08-06 2023-10-20 鸣飞伟业技术有限公司 一种基于应急通信前端箱的应用系统
CN111882505A (zh) * 2020-08-06 2020-11-03 鸣飞伟业技术有限公司 一种基于应急通信前端箱的应用系统
US12495085B2 (en) 2020-08-29 2025-12-09 Huawei Technologies Co., Ltd. Image transmission method and apparatus
CN116018799A (zh) * 2020-08-29 2023-04-25 华为技术有限公司 一种图像传输方法及装置
CN116018799B (zh) * 2020-08-29 2024-02-13 华为技术有限公司 一种图像传输方法及装置
CN114253700A (zh) * 2020-09-25 2022-03-29 北京嗨动视觉科技有限公司 背景图像数据读取方法和装置
CN113286098A (zh) * 2021-05-27 2021-08-20 深圳爱特天翔科技有限公司 图像处理方法和图像拼接设备
WO2023169060A1 (zh) * 2022-03-11 2023-09-14 浙江宇视科技有限公司 图像数据处理方法及装置、存储介质
CN115103208A (zh) * 2022-08-26 2022-09-23 广州市保伦电子有限公司 一种视频数据的行缓存方法、行读取方法及处理系统
CN118540442A (zh) * 2024-05-27 2024-08-23 上海宏桐实业有限公司 一种图像传输方法、装置、设备及介质
CN118540442B (zh) * 2024-05-27 2025-07-04 上海宏桐实业有限公司 一种图像传输方法、装置、设备及介质

Also Published As

Publication number Publication date
US20220360734A1 (en) 2022-11-10
US20180295311A1 (en) 2018-10-11
US20200374482A1 (en) 2020-11-26
US11438544B2 (en) 2022-09-06
US11805224B2 (en) 2023-10-31
US10771726B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
CN106973188A (zh) 一种图像传输装置和方法
US12131069B2 (en) Data read-write method and apparatus and circular queue
TWI416334B (zh) 在匯流排上以封包形式傳送來自複數個客戶的資料傳送請求之方法、匯流排介面裝置及處理器
CN101777034B (zh) 具有硬件定时发送功能的rs422异步串行卡及其通信方法
CN116684659B (zh) Bmc芯片的视频输出控制模块、方法、设备和服务器
CN107783727B (zh) 一种内存设备的访问方法、装置和系统
CN112783455A (zh) 数据传输的控制方法、装置、介质及电子设备
CN111683252A (zh) 一种服务器以及一种视频压缩图像的输出系统和方法
US20120284418A1 (en) Techniques For Improved Clock Offset Measuring
CN117032598B (zh) Yuv视频传输系统、基板管理控制器、方法、设备和介质
CN106708671A (zh) 一种片上系统总线行为检测方法和装置
JP2021119386A (ja) データ転送装置およびデータ転送方法
CN104268113B (zh) Dpi接口的lcd控制器以及其自适应带宽的方法
WO2014092551A1 (en) System and method for optimal memory management between cpu and fpga unit
KR101054109B1 (ko) 메시지 큐 시간을 계산하기 위한 방법, 장치, 시스템 및 컴퓨터 판독가능 매체
CN109412939A (zh) 记录工业网络通信周期过程数据的通信网关和工作方法
CN101340595B (zh) 一种图像数据回读的方法和装置
CN105574810B (zh) 用于图像系统总线带宽不足的图像实时传输容错方法
CN116016998B (zh) 视频数据的传输方法、车辆和计算机可读存储介质
WO2024037076A1 (zh) 数据交互方法、装置、系统、电子设备和存储介质
CN105099932B (zh) 基于直通转发技术的调度方法及装置
CN106598497A (zh) 一种服务器集群数据存储方法及装置
CN117009087A (zh) 一种图像输出方法、装置、设备及存储介质
CN112822386B (zh) 数据的采集方法及系统
WO2011160489A1 (zh) 板间信息传递方法和装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721