CN116636203A - 无人机的图像传输方法、无人机及计算机可读存储介质 - Google Patents
无人机的图像传输方法、无人机及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116636203A CN116636203A CN202180087141.XA CN202180087141A CN116636203A CN 116636203 A CN116636203 A CN 116636203A CN 202180087141 A CN202180087141 A CN 202180087141A CN 116636203 A CN116636203 A CN 116636203A
- Authority
- CN
- China
- Prior art keywords
- image
- code stream
- processor
- image transmission
- transmission code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 282
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 182
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种无人机的图像传输方法、无人机及计算机可读存储介质，该方法包括：获取与无人机通信连接的终端设备的设备类型信息(S101)；若设备类型信息中包括第二设备类型信息，将第二图传码流发送给终端设备(S102)；若设备类型信息为第一设备类型信息，将第一图传码流发送给终端设备(S103)。该方法能够解决既需要支持普通航拍场景，又需要支持穿越场景的无人机与终端设备之间的无线图传问题。
Description
本申请涉及无人机领域，尤其涉及一种无人机的图像传输方法、无人机及计算机可读存储介质。
无人机可以通过无线通信的方式将无人机采集到的图像传输给遥控器或头戴显示设备等终端设备，对于普通航拍场景下的无人机而言，对无人机与终端设备之间的图传码流的画质要求较高，但对图传码流的延时要求相对较低，而对于穿越场景下的无人机而言，要求无人机与终端设备之间的图传码流的延时较低，保证飞手可以基于延时低的画面来准确的控制无人机进行穿越。现有的无人机与终端设备之间的无线图传方式仅支持无人机的普通航拍场景或穿越场景，对于既需要支持普通航拍场景，又需要支持穿越场景的无人机而言，现有的无线图传方式是没办法实现的。
发明内容
基于此，本申请实施例提供了一种无人机的图像传输方法、无人机及计算机可读存储介质，以解决既需要支持普通航拍场景，又需要支持穿越场景的无人机与终端设备之间的无线图传问题。
第一方面，本申请实施例提供了一种无人机的图像传输方法，所述无人机包括第一编码器和第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流，所述方法包括：
获取与所述无人机通信连接的终端设备的设备类型信息，所述设备类型信息包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项；
若所述设备类型信息中包括所述第二设备类型信息，将所述第二图传码流发送给所述终端设备，所述第二图传码流的延时低于所述第一图传码流的延时；
若所述设备类型信息为所述第一设备类型信息，将所述第一图传码流发送给所述终端设备，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
第二方面，本申请实施例还提供了一种无人机，包括：
拍摄装置，所述拍摄装置用于采集实时图像；
第一编码器和第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流；
存储器，所述存储器用于存储计算机程序；
一个或多个处理器，所述一个或多个处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取与所述无人机通信连接的终端设备的设备类型信息，所述设备类型包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项；
若所述设备类型信息中包括所述第二设备类型信息，将所述第二图传码流发送给所述终端设备，所述第二图传码流的延时低于所述第一图传码流的延时；
若所述设备类型信息为所述第一设备类型信息，将所述第一图传码流发送给所述终端设备，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
第三方面，本申请实施例还提供了一种无人机，包括拍摄装置、图像处理器和通信处理器，所述图像处理器与所述拍摄装置连接，所述图像处理器与所述通信处理器连接；
所述图像处理器包括第一编码器，所述通信处理器包括第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流；
所述通信处理器用于将所述第一图传码流和/或所述第二图传码流发送给终端设备，所述第二图传码流的延时低于所述第一图传码流的延时，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的无人机的图像传输方法。
本申请实施例提供了一种无人机的图像传输方法、无人机及计算机可读存储介质，该图像传输方法通过在无人机在能够编码第一图传码流和第二图传码流的情况下，获取与无人机通信连接的终端设备的设备类型信息，若该设备类型信息为遥控器对应的第一设备类型信息，则将分辨率高的第一图传码流发送给终端设备，若该设备类型信息中包括头戴显示设备对应的第二设备类型信息，则将延时低的第二图传码流发送给终端设备，从而能够基于与无人机通信连接的终端设备的设备类型信息自适应的给终端设备发送图传码流，使得无人机能够既支持普通航拍场景，又能够支持穿越场景，极大地提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的图像传输方法的无人机的结构示意图；
图2是本申请实施例中的无人机与遥控器的连接示意图；
图3是本申请实施例中的无人机、头戴显示设备与遥控器之间的连接示意图；
图4是本申请实施例的无人机中的各组件之间的一连接示意图；
图5是本申请实施例的无人机中的各组件之间的另一连接示意图；
图6是本申请实施例的无人机中的各组件之间的又一连接示意图；
图7是本申请实施例提供的一种无人机的图像传输方法的步骤示意流程图；
图8是本申请实施例提供的一种无人机的结构示意性框图；
图9是本申请实施例提供的另一种无人机的结构示意性框图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
无人机可以通过无线通信的方式将无人机采集到的图像传输给遥控器或头戴显示设备等终端设备，对于普通航拍场景下的无人机而言，对无人机与终端设备之间的图传码流的画质要求较高，但对图传码流的延时要求相对较低，而 对于穿越场景下的无人机而言，要求无人机与终端设备之间的图传码流的延时较低，保证飞手可以基于延时低的画面来准确的控制无人机进行穿越。现有的无人机与终端设备之间的无线图传方式仅支持无人机的普通航拍场景或穿越场景，对于既需要支持普通航拍场景，又需要支持穿越场景的无人机而言，现有的无线图传方式是没办法实现的。
为解决上述问题，本申请实施例提供了一种无人机的图像传输方法、无人机及计算机可读存储介质，该图像传输方法通过在无人机在能够编码第一图传码流和第二图传码流的情况下，获取与无人机通信连接的终端设备的设备类型信息，若该设备类型信息为遥控器对应的第一设备类型信息，则将分辨率高的第一图传码流发送给终端设备，若该设备类型信息中包括头戴显示设备对应的第二设备类型信息，则将延时低的第二图传码流发送给终端设备，从而能够基于与无人机通信连接的终端设备的设备类型信息自适应的给终端设备发送图传码流，使得无人机能够既支持普通航拍场景，又能够支持穿越场景，极大地提高了用户体验。
请参阅图1，图1是实施本申请实施例提供的图像传输方法的无人机的结构示意图。如图1所示，无人机100包括机体110、动力系统120、拍摄装置130和控制系统(图1未示出)，动力系统120和拍摄装置130设于机体110上，控制系统设于机体110内。其中，动力系统120用于为无人机100提供飞行动力，拍摄装置130可以耦合搭载在无人机100的云台上，也可以一体设置在无人机100的机体110上，用于采集实时图像，拍摄装置130具体可以包括一个摄像头，即单目拍摄方案；也可以包括两个摄像头，即双目拍摄方案。当然，拍摄装置130的数量也可以为一个或以上，在拍摄装置130包括多个时，可以分布在机体110的多个位置，多个拍摄装置130之间可以独立工作，也可以联动工作。
其中，动力系统120可以包括一个或多个螺旋桨121、与一个或多个螺旋桨相对应的一个或多个电机122、一个或多个电子调速器(简称为电调)。电机122连接在电子调速器与螺旋桨121之间，电机122和螺旋桨121设置在无人机100的平台本体110上；电子调速器用于接收控制装置产生的驱动信号，并根据驱动信号提供驱动电流给电机122，以控制电机122的转速。电机122用于驱动螺旋桨121旋转，从而为无人机100的飞行提供动力，该动力使得无人机100能够实现一个或多个自由度的运动。在某些实施例中，无人机100可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和 俯仰轴。应理解，电机122可以是直流电机，也可以交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。
其中，控制系统可以包括一个或多个处理器和传感系统。传感系统可以用于测量无人机的位姿信息和运动信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等其中，位姿信息即无人机100在空间的位置信息和姿态信息。传感系统例如可以包括陀螺仪、超声波传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。一个或多个处理器用于控制无人机100的飞行，例如，可以根据传感系统测量的位姿信息和/或位姿信息控制无人机100的运动。应理解，一个或多个处理器可以按照预先编好的程序指令自动对无人机100进行控制。
在一实施例中，无人机100还包括第一编码器和第二编码器(图1中未示出)，第一编码器用于编码生成第一图传码流，第二编码器用于编码生成第二图传码流，一个或多个处理器用于获取与无人机100通信连接的终端设备的设备类型信息，若设备类型信息中包括遥控器对应的第一设备类型信息，则将第一图传码流发送给终端设备，若设备类型信息中包括头戴显示设备对应的第二设备类型信息，则将第二图传码流发送给终端设备。其中，第一图传码流的分辨率高于第二图传码流的分辨率，第二图传码流的延时低于第一图传码流的延时，第二图传码流的压缩率小于第一图传码流的压缩率，第二图传码流的传输数据量大于第一图传码流的传输数据量，第二图传码流的帧率大于第一图传码流的帧率。
请参阅图2，图2是本申请实施例中的无人机与遥控器的连接示意图。如图2所示，无人机100与遥控器200通信连接，由于与无人机100连接的终端设备为遥控器200，因此，无人机100默认的将分辨率高的第一图传码流发送给遥控器200，使得遥控器200可以对分辨率高的第一图传码流进行解码，得到画质较高的图像，并通过显示装置210进行显示。
请参阅图3，图3是本申请实施例中的无人机、头戴显示设备与遥控器之间的连接示意图。如图3所示，无人机100与遥控器200和头戴显示设备300通信连接，由于与无人机100连接的终端设备中包括头戴显示设备300，因此，无人机100默认的将延时低的第二图传码流发送给遥控器200，使得遥控器200可以对第二图传码流进行解码，得到延时低的图像，并通过显示装置210进行 显示。
其中，遥控器200与显示装置210通信连接，需要说明的是，显示装置210包括设置在遥控器200上的显示屏或者独立于遥控器200的显示器，独立于遥控器200的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
请参阅图4，图4是本申请实施例的无人机中的各组件之间的一连接示意图。如图4所示，拍摄装置130与图像处理器140连接，图像处理器140与通信处理器150和存储器160连接，图像处理器140包括预处理模块141和第一编码器142，通信处理器150包括第二编码器151。通过位于通信处理器150中的第二编码器151来对图像进行编码，可以减少核间延时，进而降低图传码流的延时，而先通过预处理模块141对图像进行预处理，再通过第一编码器142对预处理后的图像进行编码，可以提高图传码流的画质。
其中，图像处理器140用于获取拍摄装置130采集到的实时图像，并通过预处理模块141对该实时图像进行预处理，然后将预处理后的实时图像发送给存储器160进行存储，并将预处理后的实时图像发送给第一编码器142，通过第一编码器142对预处理后的实时图像进行编码，得到第一图传码流，并将第一图传码流发送给通信处理器150，图像处理器140还用于将拍摄装置130采集到的实时图像逐行的发送给通信处理器150，通信处理器150通过第二编码器151对该实时图像进行编码，得到第二图传码流。预处理包括图像渲染、图像降噪、图像亮度调整和焦点修正中的至少一项。在一实施例中，图像处理器140包括第一接口和第二接口，图像处理器140通过第一接口将第一编码器142生成的第一图传码流发送给通信处理器150，通过第二接口将拍摄装置130采集到的实时图像逐行的发送给通信处理器150。其中，第一接口包括通用串行总线(Universal Serial Bus，USB)接口，第二接口包括移动产业处理器接口(Mobile Industry Processor Interface，MIPI)。通过MIPI接口可以实现图像的逐行传输。
可以理解的是，通信处理器150也可以直接获取拍摄装置130采集到的实时图像，例如拍摄装置130设置有MIPI接口，拍摄装置130直接通过该MIPI接口将采集到的实时图像逐行的发送给通信处理器150。
可以理解的是，获取与无人机100通信连接的终端设备的设备类型信息，若设备类型信息中包括遥控器对应的第一设备类型信息，则将第一图传码流发 送给终端设备，若设备类型信息中包括头戴显示设备对应的第二设备类型信息，则将第二图传码流发送给终端设备的步骤，可以部分由图像处理器140执行、部分由通信处理器150执行，也可以由图像处理器140或通信处理器150单独执行，也可以由除了图像处理器140和通信处理器150之外的处理器参与执行，本申请实施例对此不做具体限定。
请参阅图5，图5是本申请实施例的无人机中的各组件之间的另一连接示意图。如图5所示，拍摄装置130与图像处理器140连接，图像处理器140与通信处理器150和存储器160连接，图像处理器140包括预处理模块141、第一编码器142和第二编码器143。先通过预处理模块141对图像进行预处理，再通过第一编码器142对预处理后的图像进行编码，可以提高图传码流的画质，通过第二编码器143来对图像进行编码，可以降低图传码流的延时。
其中，图像处理器140用于获取拍摄装置130采集到的实时图像，并通过预处理模块141对该实时图像进行预处理，然后将预处理后的实时图像发送给存储器160进行存储，并将预处理后的实时图像发送给第一编码器142，通过第一编码器142对预处理后的实时图像进行编码，得到第一图传码流，并将第一图传码流发送给通信处理器150，图像处理器140还用于将拍摄装置130采集到的实时图像逐行的发送给第二编码器143，通过第二编码器143对该实时图像进行编码，得到第二图传码流，并将第二图传码流发送给通信处理器150。
在一实施例中，图像处理器140包括第一接口和第二接口，图像处理器140通过第一接口将第一编码器142生成的第一图传码流发送给通信处理器150，通过第二接口将第二编码器143生成的第二图传码流发送给通信处理器150。其中，第一接口包括通用串行总线(Universal Serial Bus，USB)接口，第二接口包括移动产业处理器接口(Mobile Industry Processor Interface，MIPI)。
可以理解的是，第二编码器143也可以直接获取拍摄装置130采集到的实时图像，例如拍摄装置130设置有MIPI接口，拍摄装置130直接通过该MIPI接口将采集到的实时图像逐行的发送给第二编码器143。
请参阅图6，图6是本申请实施例的无人机中的各组件之间的又一连接示意图。如图6所示，拍摄装置130与第一图像处理器171连接，第一图像处理器170与第二图像处理器180、通信处理器150和存储器160连接，第二图像处理器180与通信处理器150连接，第一图像处理器170包括预处理模块171、第一编码器172，第二图像处理器180包括第二编码器181。通过第一图像处理器170中的第一编码器来编码生成第一图传码流，而通过第二图像处理器180 中的第二编码器来编码生成第二图传码流，可以保证图像处理器不会超过负荷，进而提高编码效率。
其中，第一图像处理器170用于获取拍摄装置130采集到的实时图像，并通过预处理模块171对该实时图像进行预处理，然后将预处理后的实时图像发送给存储器160进行存储，并将预处理后的实时图像发送给第一编码器172，通过第一编码器172对预处理后的实时图像进行编码，得到第一图传码流，并将第一图传码流发送给通信处理器150，第一图像处理器170还用于将拍摄装置130采集到的实时图像逐行的发送给第二图像处理器180，第二图像处理器180用于通过第二编码器181对该实时图像进行编码，得到第二图传码流，并将第二图传码流发送给通信处理器150。
可以理解的是，第二编码器181也可以直接获取拍摄装置130采集到的实时图像，例如拍摄装置130设置有MIPI接口，拍摄装置130直接通过该MIPI接口将采集到的实时图像逐行的发送给第二编码器181。
无人机100可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。终端设备可以包括但不限于：智能电话/手机、平板电脑、个人数字助理(PDA)、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。该终端设备可以是手持终端，终端设备可以是便携式的。该终端设备可以由人类用户携带。在一些情况下，终端设备可以远离人类用户，并且用户可以使用无线和/或有线通信来控制终端设备。
以下，将结合图1、2、3、4、5或6中的场景对本申请的实施例提供的无人机的图像传输方法进行详细介绍。需知，图1、2、3、4、5或6中的场景仅用于解释本申请实施例提供的无人机的图像传输方法，但并不构成对本申请实施例提供的无人机的图像传输方法应用场景的限定。
请参阅图7，图7是本申请实施例提供的一种无人机的图像传输方法的步骤示意流程图。
如图7所示，该无人机的图像传输方法可以包括步骤S101至步骤S103。
步骤S101、获取与无人机通信连接的终端设备的设备类型信息。
其中，无人机包括第一编码器和第二编码器，第一编码器用于编码生成第一图传码流，第二编码器用于编码生成第二图传码流，与无人机通信连接的终端设备的设备类型信息包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项。
在一实施例中，第二图传码流的延时低于第一图传码流的延时，第一图传码流的分辨率高于第二图传码流的分辨率，第二图传码流的压缩率小于第一图传码流的压缩率，第二图传码流的传输数据量大于第一图传码流的传输数据量，第二图传码流的帧率大于第一图传码流的帧率。
在一实施例中，无人机包括拍摄装置、图像处理器和通信处理器，拍摄装置与图像处理器连接，图像处理器与通信处理器连接，图像处理器包括第一编码器，通信处理器包括第二编码器，图像处理器包括第一接口和第二接口。图像处理器用于获取拍摄装置采集到的实时图像，并通过第二接口将实时图像逐行的发送给通信处理器；图像处理器还用于对实时图像进行预处理，预处理包括图像渲染、图像降噪、图像亮度调整和焦点修正中的至少一项；图像处理器还用于通过第一编码器对预处理后的实时图像进行编码，得到第一图传码流，并通过第一接口将第一图传码流发送给通信处理器；通信处理器用于获取图像处理器通过第二接口逐行传输的实时图像和通过第一接口传输的所述第一图传码流；通信处理器还用于通过第二编码器对获取到的实时图像进行编码，得到第二图传码流。其中，第一接口包括通用串行总线USB接口，第二接口包括移动产业处理器MIPI接口。
在一实施例中，图像处理器包括第一编码器和第二编码器，图像处理器还包括第一接口和第二接口，图像处理器用于对拍摄装置采集到的实时图像进行预处理，并通过第一编码器对预处理后的实时图像进行编码，以生成第一图传码流，图像处理器还用于通过第二编码器对拍摄装置采集到的实时图像进行编码，以生成第二图传码流，图像处理器还用于通过第一接口将第一图传码流发送给通信处理器和通过第二接口将第二图传码流发送给通信处理器。其中，第一接口包括通用串行总线USB接口，第二接口包括移动产业处理器MIPI接口。
在一实施例中，无人机包括拍摄装置、第一图像处理器、第二图像处理器和通信处理器，拍摄装置与第一图像处理器连接，第一图像处理器分别与第二图像处理器和通信处理器连接，第二图像处理器与通信处理器连接，第一图像处理器包括第一编码器，第二图像处理器包括第二编码器。其中，第一图像处理器用于将拍摄装置采集到的实时图像逐行的发送给第二图像处理器，并对拍 摄装置采集到的实时图像进行预处理；第一图像处理器还用于通过第一编码器对预处理后的实时图像进行编码，以生成第一图传码流，并将第一图传码流发送给通信处理器；第二图像处理器用于通过第二编码器对接收到的实时图像进行编码，以生成第二图传码流，并将第二图传码流发送给通信处理器；通信处理器用于获取第一图像处理器发送的第一图传码流和第二图像处理器发送的第二图传码流。
步骤S102、若设备类型信息中包括第二设备类型信息，将第二图传码流发送给终端设备。
如果与无人机通信连接的终端设备的设备类型信息中包括第二设备类型信息，即与无人机通信连接的终端设备中包括头戴显示设备，则将第二图传码流发送给终端设备。例如，无人机与头戴显示设备通信连接，或者无人机分别与头戴显示设备和遥控器通信连接，则将第二图传码流发送给头戴显示设备。通过头戴显示设备显示低延时的图传码流，可以便于用户基于延时低的图传码流来控制无人机飞行，保证无人机的飞行安全，也可以给用户带来身临其境的飞行体验。
在一实施例中，若该设备类型信息中包括第一设备类型信息和第二设备类型信息，即无人机分别与头戴显示设备和遥控器通信连接，则将第一图传码流或第二图传码流发送给遥控器和头戴显示设备。通过将第一图传码流或第二图传码流发送给遥控器和头戴显示设备，可以保证遥控器和头戴显示设备同步显示无人机传输的图像。
在一实施例中，若无人机分别与头戴显示设备和遥控器通信连接，且遥控器和头戴显示设备均处于显示模式，则获取遥控器反馈的各个通信频点的第一信噪比和头戴显示设备反馈的各个通信频点的第二信噪比；根据各个通信频点的第一信噪比和第二信噪比从各个通信频点中确定目标通信频点，并调整第一图传码流或第二图传码流的传输速率。其中，遥控器和头戴显示设备均处于显示模式，则表示遥控器和头戴显示设备可以显示无人机传输的图像。通过综合考虑遥控器和头戴显示设备反馈的各通信频点的信噪比来选择目标通信频点，并调整码流的传输速率，可以提高向遥控器和头戴显示设备发送图传码流的稳定性。
在一实施例中，确定目标通信频点的方式可以为：去除各个通信频点中的第一信噪比最低的通信频点和第二信噪比最低的通信频点，得到至少一个候选通信频点；根据每个候选通信频点的第一信噪比和第二信噪比，确定每个候选 通信频点的平均信噪比；将平均信噪比最高的候选通信频点确定为目标通信频点。通过去除第一信噪比最低的通信频点和第二信噪比最低的通信频点，再通过确定去除后的每个通信频点的平均信噪比，且将平均信噪比最高的通信频点确定为目标通信频点，可以保证向遥控器和头戴显示设备发送图传码流的稳定性。
在一实施例中，调整第一图传码流或第二图传码流的传输速率的方式可以为：获取目标通信频点的信噪比，并根据目标通信频点的信噪比，确定目标传输速率；将第一图传码流或第二图传码流的传输速率调整为该目标传输速率。其中，无人机存储有信噪比与传输速率之间的映射关系，通过信噪比与传输速率之间的映射关系和目标通信频点的信噪比，可以确定目标传输速率，信噪比与传输速率之间的映射关系可基于实际情况进行设置，本申请实施例对此不做具体限定。
在一实施例中，若头戴显示设备处于显示模式，遥控器不处于显示模式，则不响应遥控器的图像传输请求，而是将第一图传码流或第二图传码流发送给头戴显示设备，由头戴显示设备对第一图传码流或第二图传码流进行解码，并显示解码得到的图像。其中，无人机不响应遥控器的图像传输请求，即无人机不向遥控器发送第一图传码流或第二图传码流，无人机单向的接收遥控器的控制信号，遥控器不直接的接收无人机的信号，而是通过与头戴显示设备之间的通信来获取无人机的信令信息。在无人机与遥控器、头戴显示设备通信连接的情况下，不响应遥控器的图像传输请求，而是将信道带宽分配给头戴显示设备，可以提升无人机与头戴显示设备之间的图传质量。
在一实施例中，若该设备类型信息中包括第一设备类型信息和第二设备类型信息，即无人机分别与头戴显示设备和遥控器通信连接，则将第一图传码流发送给遥控器，并将第二图传码流发送给头戴显示设备。通过分别将第一图传码流发送给遥控器，而将第二图传码流发送给头戴显示设备，使得遥控器可以显示分辩率较高的图像，头戴显示设备可以显示延时低的图像，实现不同用户的画质需求和延时需求。
步骤S103、若设备类型信息为第一设备类型信息，将第一图传码流发送给终端设备。
如果设备类型信息为第一设备类型信息，即无人机与遥控器通信连接，则将第一图传码流发送给遥控器。通过在无人机与遥控器通信连接时，默认的将分辨率高的第一图传码流发送给遥控器，使得遥控器可以对第一图传码流进行 解码，进而显示解码得到的高分辨率的图像。
在一实施例中，获取与无人机通信连接的终端设备的图传码流标识，图传码流标识包括第一标识和第二标识中的任一项，该图传码流标识是根据用户在人机交互页面的操作生成的；若该图传码流标识为第一标识，则将第一图传码流发送给终端设备；若该图传码流标识为第二标识，则将第二图传码流发送给终端设备。其中，终端设备的图传码流标识为第一标识，则表示用户给终端设备配置的图传码流为分辨率高的第一图传码流，而终端设备的图传码流标识为第二标识，则表示用户给终端设备配置的图传码流为延时低的第二图传码流。通过用户自行配置终端设备的图传码流标识，使得无人机能够按照用户设置的图传码流标识，向终端设备发送对应的图传码流。
在一实施例中，若无人机当前向终端设备发送的图传码流为第一图传码流，则在检测到图传码流切换指令时，向终端设备发送第一图传码流和第二图传码流，以供终端设备对第一图传码流和第二图传码流进行解码，并在成功解码第二图传码流时，显示解码第二图传码流得到的图像；若检测到终端设备反馈的码流中断信息时，根据码流中断信息，停止向终端设备发送第一图传码流。通过在触发图传码流切换指令时，同时向终端设备发送第一图传码流和第二图传码流，使得终端设备能够解码两路图传码流，并能够在成功解码切换后的图传码流时直接显示，从而实现两路图传码流之间的无缝切换，提高用户体验。
在一实施例中，若无人机当前向终端设备发送的图传码流为第二图传码流，则在检测到图传码流切换指令时，向终端设备发送第一图传码流和第二图传码流，以供终端设备对第一图传码流和第二图传码流进行解码，并在成功解码第一图传码流时，显示解码第一图传码流得到的图像；若检测到终端设备反馈的码流中断信息时，根据码流中断信息，停止向终端设备发送第二图传码流。通过在触发图传码流切换指令时，同时向终端设备发送第一图传码流和第二图传码流，使得终端设备能够解码两路图传码流，并能够在成功解码切换后的图传码流时直接显示，从而实现两路图传码流之间的无缝切换，提高用户体验。
在一实施例中，若无人机当前向终端设备发送的图传码流为第一图传码流，在检测到图传码流切换指令时，降低向终端设备发送第一图传码流的传输速率。若无人机当前向终端设备发送的图传码流为第二图传码流，在检测到图传码流切换指令时，降低向终端设备发送第二图传码流的传输速率。通过在需要切换图传码流时，降低当前传输的图传码流的传输速率，可以保证同时向终端设备发送两路图传码流的稳定性。
上述实施例提供的无人机的图像传输方法，通过在无人机在能够编码第一图传码流和第二图传码流的情况下，获取与无人机通信连接的终端设备的设备类型信息，若该设备类型信息为遥控器对应的第一设备类型信息，则将分辨率高的第一图传码流发送给终端设备，若该设备类型信息中包括头戴显示设备对应的第二设备类型信息，则将延时低的第二图传码流发送给终端设备，从而能够基于与无人机通信连接的终端设备的设备类型信息自适应的给终端设备发送图传码流，使得无人机能够既支持普通航拍场景，又能够支持穿越场景，极大地提高了用户体验。
请参阅图8，图8是本申请实施例提供的一种无人机的结构示意性框图。
如图8所示，无人机400包括拍摄装置410、第一编码器420、第二编码器430、存储器440和一个或多个处理器450，拍摄装置410、第一编码器420、第二编码器430、存储器440和一个或多个处理器450通过总线460连接，该总线460比如为I2C(Inter-integrated Circuit)总线。
具体地，拍摄装置410用于采集实时图像，拍摄装置410可以是LED显示屏、OLED显示屏、LCD显示屏等等。
具体地，第一编码器420用于编码生成第一图传码流，第二编码器430用于编码生成第二图传码流。
具体地，存储器440用于存储计算机程序，存储器440可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
具体地，处理器450可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
其中，所述处理器450用于运行存储在存储器440中的计算机程序，并在执行所述计算机程序时实现以下步骤：
获取与所述无人机通信连接的终端设备的设备类型信息，所述设备类型包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项；
若所述设备类型信息中包括所述第二设备类型信息，将所述第二图传码流发送给所述终端设备，所述第二图传码流的延时低于所述第一图传码流的延时；
若所述设备类型信息为所述第一设备类型信息，将所述第一图传码流发送给所述终端设备，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
在一实施例中，所述第二图传码流的压缩率小于所述第一图传码流的压缩 率。
在一实施例中，所述第二图传码流的传输数据量大于所述第一图传码流的传输数据量。
在一实施例中，所述第二图传码流的帧率大于所述第一图传码流的帧率。
在一实施例中，若所述设备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述处理器还用于实现以下步骤：
将所述第一图传码流或所述第二图传码流发送给所述遥控器和所述头戴显示设备。
在一实施例中，若所述遥控器和所述头戴显示设备均处于显示模式，所述一个或多个处理器还用于实现以下步骤：
获取所述遥控器反馈的各个通信频点的第一信噪比和所述头戴显示设备反馈的各个通信频点的第二信噪比；
根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点，并调整第一图传码流或第二图传码流的传输速率。
在一实施例中，若所述头戴显示设备处于显示模式，所述遥控器不处于显示模式，所述一个或多个处理器还用于实现以下步骤：
不响应所述遥控器的图像传输请求。
在一实施例中，所述一个或多个处理器在实现根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点时，用于实现：
去除所述各个通信频点中的所述第一信噪比最低的通信频点和所述第二信噪比最低的通信频点，得到至少一个候选通信频点；
根据每个所述候选通信频点的所述第一信噪比和所述第二信噪比，确定每个所述候选通信频点的平均信噪比；
将所述平均信噪比最高的候选通信频点确定为所述目标通信频点。
在一实施例中，所述一个或多个处理器还用于实现以下步骤：
获取与所述无人机通信连接的终端设备的图传码流标识，所述图传码流标识包括第一标识和第二标识中的任一项，所述图传码流标识是根据用户在人机交互页面的操作生成的；
若所述图传码流标识为所述第一标识，则将所述第一图传码流发送给所述终端设备；
若所述图传码流标识为所述第二标识，则将所述第二图传码流发送给所述 终端设备。
在一实施例中，所述一个或多个处理器还用于实现以下步骤：
若所述无人机当前向所述终端设备发送的图传码流为所述第一图传码流，则在检测到图传码流切换指令时，向所述终端设备发送所述第一图传码流和所述第二图传码流，以供所述终端设备对所述第一图传码流和所述第二图传码流进行解码，并在成功解码所述第二图传码流时，显示解码所述第二图传码流得到的图像；
若检测到所述终端设备反馈的码流中断信息时，根据所述码流中断信息，停止向所述终端设备发送所述第一图传码流。
在一实施例中，所述一个或多个处理器还用于实现以下步骤：
在检测到所述图传码流切换指令时，降低向所述终端设备发送所述第一图传码流的传输速率。
在一实施例中，若所述设备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述一个或多个处理器还用于实现以下步骤：
将所述第一图传码流发送给所述遥控器，并将所述第二图传码流发送给所述头戴显示设备。
可以理解的是，上述步骤可以部分由图像处理器执行、部分由通信处理器执行，也可以由图像处理器或通信处理器单独执行，也可以由除了图像处理器和通信处理器之外的处理器参与执行，本申请实施例对此不做具体限定。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的控制终端的具体工作过程，可以参考前述无人机的图像传输方法实施例中的对应过程，在此不再赘述。
请参阅图9，图9是本申请实施例提供的另一种无人机的结构示意性框图。
如图9所示，无人机500包括拍摄装置510、图像处理器520和通信处理器530，图像处理器520与拍摄装置510连接，图像处理器520与通信处理器530连接，图像处理器520包括第一编码器521，通信处理器530包括第二编码器531，第一编码器521用于编码生成第一图传码流，第二编码器531用于编码生成第二图传码流，通信处理530用于将第一图传码流和/或第二图传码流发送给终端设备，第二图传码流的延时低于第一图传码流的延时，第一图传码流的分辨率高于第二图传码流的分辨率。
在一实施例中，图像处理器520包括第一接口和第二接口，图像处理器520通过第一接口与通信处理器530连接，图像处理器520通过第二接口与通信处 理器530连接；图像处理器520用于通过第一接口将第一图传码流发送给通信处理器530，以及用于通过第二接口将拍摄装置510采集到的实时图像逐行的发送给通信处理器530。
在一实施例中，所述第一接口包括通用串行总线USB接口，所述第二接口包括移动产业处理器MIPI接口。
在一实施例中，所述图像处理器包括第一图像处理器和第二图像处理器，所述第一图像处理器与所述第二图像处理器和所述通信处理器连接，所述第二图像处理器与所述通信处理器连接；
所述第二图像处理器包括第三接口，所述第二图像处理器通过所述第三接口与所述通信处理器连接。
在一实施例中，所述第三接口包括通用串行总线USB接口或移动产业处理器MIPI接口。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的无人机的具体工作过程，可以参考前述无人机的图像传输方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的无人机的图像传输方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的无人机的内部存储单元，例如所述无人机的硬盘或内存。所述计算机可读存储介质也可以是所述无人机的外部存储设备，例如所述无人机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (36)
- 一种无人机的图像传输方法，其特征在于，所述无人机包括第一编码器和第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流，所述方法包括：获取与所述无人机通信连接的终端设备的设备类型信息，所述设备类型信息包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项；若所述设备类型信息中包括所述第二设备类型信息，将所述第二图传码流发送给所述终端设备，所述第二图传码流的延时低于所述第一图传码流的延时；若所述设备类型信息为所述第一设备类型信息，将所述第一图传码流发送给所述终端设备，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
- 根据权利要求1所述的图像传输方法，其特征在于，所述第二图传码流的压缩率小于所述第一图传码流的压缩率。
- 根据权利要求1所述的图像传输方法，其特征在于，所述第二图传码流的传输数据量大于所述第一图传码流的传输数据量。
- 根据权利要求1所述的图像传输方法，其特征在于，所述第二图传码流的帧率大于所述第一图传码流的帧率。
- 根据权利要求1所述的图像传输方法，其特征在于，所述无人机包括拍摄装置、图像处理器和通信处理器，所述拍摄装置与所述图像处理器连接，所述图像处理器与所述通信处理器连接，所述图像处理器包括所述第一编码器，所述通信处理器包括所述第二编码器。
- 根据权利要求5所述的图像传输方法，其特征在于，所述图像处理器包括第一接口和第二接口，所述图像处理器用于获取所述拍摄装置采集到的实时图像，并通过所述第二接口将所述实时图像逐行的发送给所述通信处理器；所述图像处理器还用于对所述实时图像进行预处理，所述预处理包括图像渲染、图像降噪、图像亮度调整和焦点修正中的至少一项；所述图像处理器还用于通过所述第一编码器对预处理后的实时图像进行编码，得到第一图传码流，并通过所述第一接口将所述第一图传码流发送给所述通信处理器；所述通信处理器用于获取所述图像处理器通过所述第二接口逐行传输的所述实时图像和通过所述第一接口传输的所述第一图传码流；所述通信处理器还用于通过所述第二编码器对获取到的所述实时图像进行编码，得到所述第二图传码流。
- 根据权利要求6所述的图像传输方法，其特征在于，所述第一接口包括通用串行总线USB接口，所述第二接口包括移动产业处理器MIPI接口。
- 根据权利要求1所述的图像传输方法，其特征在于，图像处理器包括所述第一编码器和所述第二编码器，所述图像处理器还包括第一接口和第二接口；所述图像处理器用于对拍摄装置采集到的实时图像进行预处理，并通过所述第一编码器对预处理后的实时图像进行编码，以生成所述第一图传码流；所述图像处理器还用于通过所述第二编码器对拍摄装置采集到的实时图像进行编码，以生成所述第二图传码流；所述图像处理器还用于通过所述第一接口将所述第一图传码流发送给通信处理器和通过所述第二接口将所述第二图传码流发送给通信处理器。
- 根据权利要求1所述的图像传输方法，其特征在于，所述无人机包括拍摄装置、第一图像处理器、第二图像处理器和通信处理器，拍摄装置与所述第一图像处理器连接，所述第一图像处理器与所述第二图像处理器和所述通信处理器连接，所述第二图像处理器与所述通信处理器连接，所述第一图像处理器包括所述第一编码器，所述第二图像处理器包括所述第二编码器；所述第一图像处理器用于将所述拍摄装置采集到的实时图像逐行的发送给所述第二图像处理器，并对所述拍摄装置采集到的实时图像进行预处理；所述第一图像处理器还用于通过所述第一编码器对预处理后的实时图像进行编码，以生成所述第一图传码流，并将所述第一图传码流发送给所述通信处理器；所述第二图像处理器用于通过所述第二编码器对接收到的所述实时图像进行编码，以生成所述第二图传码流，并将所述第二图传码流发送给所述通信处理器；所述通信处理器用于获取所述第一图像处理器发送的所述第一图传码流和所述第二图像处理器发送的所述第二图传码流。
- 根据权利要求1-9任一项所述的图像传输方法，其特征在于，若所述设备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述方法还包括：将所述第一图传码流或所述第二图传码流发送给所述遥控器和所述头戴显示设备。
- 根据权利要求10所述的图像传输方法，其特征在于，若所述遥控器和所述头戴显示设备均处于显示模式，所述方法还包括：获取所述遥控器反馈的各个通信频点的第一信噪比和所述头戴显示设备反馈的各个通信频点的第二信噪比；根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点，并调整第一图传码流或第二图传码流的传输速率。
- 根据权利要求10所述的图像传输方法，其特征在于，若所述头戴显示设备处于显示模式，所述遥控器不处于显示模式，所述方法还包括：不响应所述遥控器的图像传输请求。
- 根据权利要求11所述的图像传输方法，其特征在于，所述根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点，包括：去除所述各个通信频点中的所述第一信噪比最低的通信频点和所述第二信噪比最低的通信频点，得到至少一个候选通信频点；根据每个所述候选通信频点的所述第一信噪比和所述第二信噪比，确定每个所述候选通信频点的平均信噪比；将所述平均信噪比最高的候选通信频点确定为所述目标通信频点。
- 根据权利要求1-9中任一项所述的图像传输方法，其特征在于，所述方法还包括：获取与所述无人机通信连接的终端设备的图传码流标识，所述图传码流标识包括第一标识和第二标识中的任一项，所述图传码流标识是根据用户在人机交互页面的操作生成的；若所述图传码流标识为所述第一标识，则将所述第一图传码流发送给所述终端设备；若所述图传码流标识为所述第二标识，则将所述第二图传码流发送给所述终端设备。
- 根据权利要求1-9中任一项所述的图像传输方法，其特征在于，所述方法还包括：若所述无人机当前向所述终端设备发送的图传码流为所述第一图传码流，则在检测到图传码流切换指令时，向所述终端设备发送所述第一图传码流和所述第二图传码流，以供所述终端设备对所述第一图传码流和所述第二图传码流进行解码，并在成功解码所述第二图传码流时，显示解码所述第二图传码流得 到的图像；若检测到所述终端设备反馈的码流中断信息时，根据所述码流中断信息，停止向所述终端设备发送所述第一图传码流。
- 根据权利要求15所述的图像传输方法，其特征在于，所述方法还包括：在检测到所述图传码流切换指令时，降低向所述终端设备发送所述第一图传码流的传输速率。
- 根据权利要求1-9中任一项所述的图像传输方法，其特征在于，若所述设备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述方法还包括：将所述第一图传码流发送给所述遥控器，并将所述第二图传码流发送给所述头戴显示设备。
- 一种无人机，其特征在于，包括：拍摄装置，所述拍摄装置用于采集实时图像；第一编码器和第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流；存储器，所述存储器用于存储计算机程序；一个或多个处理器，所述一个或多个处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：获取与所述无人机通信连接的终端设备的设备类型信息，所述设备类型包括遥控器对应的第一设备类型信息和头戴显示设备对应的第二设备类型信息中的至少一项；若所述设备类型信息中包括所述第二设备类型信息，将所述第二图传码流发送给所述终端设备，所述第二图传码流的延时低于所述第一图传码流的延时；若所述设备类型信息为所述第一设备类型信息，将所述第一图传码流发送给所述终端设备，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
- 根据权利要求18所述的无人机，其特征在于，所述第二图传码流的压缩率小于所述第一图传码流的压缩率。
- 根据权利要求18所述的无人机，其特征在于，所述第二图传码流的传输数据量大于所述第一图传码流的传输数据量。
- 根据权利要求18所述的无人机，其特征在于，所述第二图传码流的帧率大于所述第一图传码流的帧率。
- 根据权利要求18-21中任一项所述的无人机，其特征在于，若所述设 备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述处理器还用于实现以下步骤：将所述第一图传码流或所述第二图传码流发送给所述遥控器和所述头戴显示设备。
- 根据权利要求22所述的无人机，其特征在于，若所述遥控器和所述头戴显示设备均处于显示模式，所述一个或多个处理器还用于实现以下步骤：获取所述遥控器反馈的各个通信频点的第一信噪比和所述头戴显示设备反馈的各个通信频点的第二信噪比；根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点，并调整第一图传码流或第二图传码流的传输速率。
- 根据权利要求22所述的无人机，其特征在于，若所述头戴显示设备处于显示模式，所述遥控器不处于显示模式，所述一个或多个处理器还用于实现以下步骤：不响应所述遥控器的图像传输请求。
- 根据权利要求23所述的无人机，其特征在于，所述一个或多个处理器在实现根据所述各个通信频点的所述第一信噪比和所述第二信噪比从所述各个通信频点中确定目标通信频点时，用于实现：去除所述各个通信频点中的所述第一信噪比最低的通信频点和所述第二信噪比最低的通信频点，得到至少一个候选通信频点；根据每个所述候选通信频点的所述第一信噪比和所述第二信噪比，确定每个所述候选通信频点的平均信噪比；将所述平均信噪比最高的候选通信频点确定为所述目标通信频点。
- 根据权利要求18-21中任一项所述的无人机，其特征在于，所述一个或多个处理器还用于实现以下步骤：获取与所述无人机通信连接的终端设备的图传码流标识，所述图传码流标识包括第一标识和第二标识中的任一项，所述图传码流标识是根据用户在人机交互页面的操作生成的；若所述图传码流标识为所述第一标识，则将所述第一图传码流发送给所述终端设备；若所述图传码流标识为所述第二标识，则将所述第二图传码流发送给所述终端设备。
- 根据权利要求18-21中任一项所述的无人机，其特征在于，所述一个 或多个处理器还用于实现以下步骤：若所述无人机当前向所述终端设备发送的图传码流为所述第一图传码流，则在检测到图传码流切换指令时，向所述终端设备发送所述第一图传码流和所述第二图传码流，以供所述终端设备对所述第一图传码流和所述第二图传码流进行解码，并在成功解码所述第二图传码流时，显示解码所述第二图传码流得到的图像；若检测到所述终端设备反馈的码流中断信息时，根据所述码流中断信息，停止向所述终端设备发送所述第一图传码流。
- 根据权利要求27所述的无人机，其特征在于，所述一个或多个处理器还用于实现以下步骤：在检测到所述图传码流切换指令时，降低向所述终端设备发送所述第一图传码流的传输速率。
- 根据权利要求18-21中任一项所述的无人机，其特征在于，若所述设备类型信息中包括所述第一设备类型信息和所述第二设备类型信息，所述一个或多个处理器还用于实现以下步骤：将所述第一图传码流发送给所述遥控器，并将所述第二图传码流发送给所述头戴显示设备。
- 一种无人机，其特征在于，包括拍摄装置、图像处理器和通信处理器，所述图像处理器与所述拍摄装置连接，所述图像处理器与所述通信处理器连接；所述图像处理器包括第一编码器，所述通信处理器包括第二编码器，所述第一编码器用于编码生成第一图传码流，所述第二编码器用于编码生成第二图传码流；所述通信处理器用于将所述第一图传码流和/或所述第二图传码流发送给终端设备，所述第二图传码流的延时低于所述第一图传码流的延时，所述第一图传码流的分辨率高于所述第二图传码流的分辨率。
- 根据权利要求30所述的无人机，其特征在于，所述图像处理器包括第一接口和第二接口，所述图像处理器通过所述第一接口与所述通信处理器连接，所述图像处理器通过所述第二接口与所述通信处理器连接；所述图像处理器用于通过所述第一接口将所述第一图传码流发送给所述通信处理器，以及用于通过第二接口将所述拍摄装置采集到的实时图像逐行的发送给所述通信处理器。
- 根据权利要求31所述的无人机，其特征在于，所述第一接口包括通用 串行总线USB接口，所述第二接口包括移动产业处理器MIPI接口。
- 根据权利要求30所述的无人机，其特征在于，所述图像处理器包括第一图像处理器和第二图像处理器，所述第一图像处理器与所述第二图像处理器和所述通信处理器连接，所述第二图像处理器与所述通信处理器连接。
- 根据权利要求33所述的无人机，其特征在于，所述第一图像处理器包括第一接口、第二接口和所述第一编码器，所述第一图像处理器通过所述第一接口与所述第二图像处理器连接，所述第一图像处理器通过所述第二接口与所述通信处理器连接；所述第二图像处理器包括第三接口，所述第二图像处理器通过所述第三接口与所述通信处理器连接。
- 根据权利要求34所述的无人机，其特征在于，所述第三接口包括通用串行总线USB接口。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-17中任一项所述的无人机的图像传输方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/087597 WO2022217555A1 (zh) | 2021-04-15 | 2021-04-15 | 无人机的图像传输方法、无人机及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116636203A true CN116636203A (zh) | 2023-08-22 |
Family
ID=83640002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180087141.XA Pending CN116636203A (zh) | 2021-04-15 | 2021-04-15 | 无人机的图像传输方法、无人机及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116636203A (zh) |
| WO (1) | WO2022217555A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119197466B (zh) * | 2024-11-26 | 2025-02-07 | 北京历正科技有限责任公司 | 无人机设备的检测处理方法、装置、电子设备及存储介质 |
| CN120129008B (zh) * | 2025-05-15 | 2025-07-22 | 南京拓恒无人系统研究院有限公司 | 基于干扰分析的图传分离智能信道切换评估系统及方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2918520A1 (fr) * | 2007-07-03 | 2009-01-09 | Canon Kk | Procede et dispositif de transmission video |
| CN101540652B (zh) * | 2009-04-09 | 2011-11-16 | 上海交通大学 | 多视角视频码流的终端异构自匹配传输方法 |
| CN104584562B (zh) * | 2012-08-27 | 2018-10-09 | 索尼公司 | 发送设备、发送方法、接收设备和接收方法 |
| CN104519257A (zh) * | 2014-12-26 | 2015-04-15 | 广东光阵光电科技有限公司 | Vtm机双码流摄像模组及其拍摄方法 |
| US9871967B2 (en) * | 2015-01-22 | 2018-01-16 | Huddly As | Video transmission based on independently encoded background updates |
| CN106375639A (zh) * | 2016-08-31 | 2017-02-01 | 南京视物科智能科技有限公司 | 一种基于svac和avc的双模智能摄像机系统 |
| CN108702487A (zh) * | 2017-11-20 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机的图像传输方法和装置 |
| WO2020062134A1 (zh) * | 2018-09-29 | 2020-04-02 | 深圳市大疆创新科技有限公司 | 调整图传分辨率的方法、图像拍摄设备、机器可读存储介质 |
| CN112585965A (zh) * | 2019-11-29 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、系统和存储介质 |
-
2021
- 2021-04-15 WO PCT/CN2021/087597 patent/WO2022217555A1/zh not_active Ceased
- 2021-04-15 CN CN202180087141.XA patent/CN116636203A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022217555A1 (zh) | 2022-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727619B2 (en) | Video pipeline | |
| US10936894B2 (en) | Systems and methods for processing image data based on region-of-interest (ROI) of a user | |
| US11024083B2 (en) | Server, user terminal device, and control method therefor | |
| US10482672B2 (en) | Electronic device and method for transmitting and receiving image data in electronic device | |
| CN109076249B (zh) | 用于视频处理和显示的系统和方法 | |
| KR20150034449A (ko) | 헤드 마운트 디스플레이 및 제어 방법 | |
| US12231781B2 (en) | Remote control system, and remote operation apparatus, video image processing apparatus, and computer-readable medium | |
| CN116636203A (zh) | 无人机的图像传输方法、无人机及计算机可读存储介质 | |
| CN109949381A (zh) | 图像处理方法、装置、图像处理芯片、摄像组件及飞行器 | |
| JP6808419B2 (ja) | 画像処理システム及びその制御方法 | |
| KR20150026201A (ko) | 디지털 디바이스 및 제어 방법 | |
| JPWO2015122052A1 (ja) | 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体 | |
| KR102140077B1 (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
| JP2017112438A (ja) | 撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム | |
| JP2017010119A (ja) | 情報処理装置、画像処理装置、それらの制御方法及びプログラム | |
| US20200319818A1 (en) | System and method for supporting low latency in a movable platform environment | |
| WO2022217557A1 (zh) | 可移动平台的图像传输方法、可移动平台及可读存储介质 | |
| US20240032118A1 (en) | Wireless communication method, movable platform, system, and computer-readable storage media | |
| WO2018010473A1 (zh) | 基于智能显示设备的无人机云台转动控制方法 | |
| WO2022141316A1 (zh) | 图像传输方法、可移动平台、设备、系统及可读存储介质 | |
| EP4152746A1 (en) | Remote control system, remote-working apparatus, video-processing apparatus, and program | |
| JP6655751B1 (ja) | 映像表示制御装置、方法およびプログラム | |
| WO2022140971A1 (zh) | 图像传输方法、装置、平台、设备及计算机可读存储介质 | |
| WO2022141121A1 (zh) | 图像传输方法、可移动平台、遥控装置、系统及存储介质 | |
| WO2022174431A1 (zh) | 图像传输方法、可移动平台、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |