CN114401404B - 一种vpu编码策略的实现方法和装置 - Google Patents
一种vpu编码策略的实现方法和装置 Download PDFInfo
- Publication number
- CN114401404B CN114401404B CN202210294084.9A CN202210294084A CN114401404B CN 114401404 B CN114401404 B CN 114401404B CN 202210294084 A CN202210294084 A CN 202210294084A CN 114401404 B CN114401404 B CN 114401404B
- Authority
- CN
- China
- Prior art keywords
- video frame
- current video
- isp
- vpu
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims description 59
- 241000023320 Luma <angiosperm> Species 0.000 claims description 15
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种VPU编码策略的实现方法，包括：对于图像信号处理ISP后的至少一个当前视频帧，根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧相对于上一个视频帧是否存在运动，根据判断结果更新视频处理单元VPU的编码参数。应用本申请，能够简化VPU编码策略的确定方式，降低芯片的整体功耗和开发成本。
Description
技术领域
本申请涉及视频处理技术，特别涉及一种视频处理单元（VPU）编码策略的实现方法和装置。
背景技术
VPU是指视频处理单元，通常视频处理设备采集视频信号并经过图像信号处理（ISP）后，输入VPU，用于进行编码等处理。
一般地，对于视频编码都需要在码率和图像质量上进行平衡，一方面需要保证图像恢复的质量，另一方面需要尽量降低视频编码码率，提高传输效率。VPU编码中对于码率和图像质量的控制可以通过VPU编码策略来实现。在VPU进行编码处理时，对于不同的视频帧，可以在不同场景下或者不同的业务需求下采用不同的VPU编码策略。目前市场大部分的视频处理设备都采用人工智能方式或者传统的机器学习算法来确定VPU编码策略，用于指导VPU，实现上述需求。但是人工智能方式以及机器学习算法的处理都比较复杂，需要额外的AI算法开发，还需要消耗大量的系统处理资源，例如芯片功耗等。
发明内容
本申请提供一种VPU编码策略的实现方法和装置，能够简化VPU编码策略的确定方式，降低芯片的整体功耗和开发成本。
为实现上述目的，本申请采用如下技术方案：
一种VPU编码策略的实现方法，其特征在于，包括：
对于图像信号处理ISP后的至少一个当前视频帧，根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动和/或场景上的变化；
根据判断结果更新视频处理单元VPU的编码参数。
较佳地，包括：
根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNR MD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；
若确定连续N个当前帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；
其中，N为预设的自然数。
较佳地，包括：
若判断存在运动，则更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
若判断不存在运动，则更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
较佳地，包括：
根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AE IsoLtoH；
根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化。
较佳地，包括：
在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，根据场景的变化情况更新ISP处理的参数，用于后续视频帧的ISP处理；
更新VPU编码的最大码率。
较佳地，所述更新ISP处理的参数，包括：
当变化后的场景光线发生变化时，调整ISP处理的3A曝光参数。
一种VPU编码策略的实现装置，包括：接收单元、判断单元和更新单元；
所述接收单元，用于接收ISP处理后的至少一个当前视频帧以及针对所述当前视频帧输出的参数；
所述判断单元，用于根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动和/或场景上的变化；
所述更新单元，用于根据所述判断单元的判断结果更新视频处理单元VPU的编码参数。
较佳地，所述判断单元，用于根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNR MD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；若确定连续N个当前帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；其中，N为预设的自然数。
较佳地，所述更新单元，用于在判断存在运动时，更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
在判断不存在运动时，更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
较佳地，所述判断单元，用于根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AEIsoLtoH；
根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化。
较佳地，所述更新单元，用于在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，根据场景的变化情况更新ISP处理的参数，用于后续视频帧的ISP处理；更新VPU编码的最大码率。
由上述技术方案可见，本申请中，对于ISP处理后的至少一个当前视频帧，根据ISP针对当前视频帧输出的第一参数判断当前视频帧相对于上一个视频帧是否存在运动，根据判断结果更新VPU的编码参数。应用本申请，能够利用ISP输出参数更方便、准确地确定VPU编码参数，不需要借助人工智能或机器学习的处理，大大简化VPU编码策略的确定，降低芯片的整体功耗和开发成本。
附图说明
图1为本申请中VPU编码策略实现方法的基本流程示意图；
图2为本申请中VPU编码策略实现装置的基本结构示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
在本发明的实施例中，提供一种VPU编码策略的实现方法，包括：
对于图像信号处理ISP后的至少一个当前视频帧，根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动和/或场景上的变化；
根据判断结果更新视频处理单元VPU的编码参数。
在本发明的实施例中，提供一种VPU编码策略的实现方法，包括：
根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNR MD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；
若确定连续N个当前视频帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；
其中，N为预设的自然数。
在本发明的实施例中，提供一种VPU编码策略的实现方法，包括：
若判断存在运动，则更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
若判断不存在运动，则更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
在本发明的实施例中，提供一种VPU编码策略的实现方法，包括：
根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AE IsoLtoH；
根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化。
在本发明的实施例中，提供一种VPU编码策略的实现方法，包括：
在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，根据场景的变化情况更新ISP处理的参数，用于后续视频帧的ISP处理；
更新VPU编码的最大码率。
在本发明的实施例中，提供一种VPU编码策略的实现方法，所述更新ISP处理的参数，包括：
当变化后的场景光线发生变化时，调整ISP处理的3A曝光参数。
下面将结合附图进行详细说明。
图1为本申请中VPU编码策略实现方法的基本流程示意图。如图1所示，该方法包括：
步骤101，接收ISP处理后的当前视频帧。
将ISP处理后输出的需要进行本申请处理的视频帧称为当前视频帧。
步骤102，根据ISP针对当前视频帧输出的第一参数判断当前视频帧相对于上一个视频帧是否存在运动。
ISP处理后对应输出的视频帧还会输出一系列参数，根据这些输出参数可以判断当前视频帧相对于上一个视频帧是否存在运动。这里所说的第一参数例如可以是3DNR MD值，或者，Luma值，当然，这里只是用于举例说明，不应理解为对本申请的限制。其中，3DNRMD值是3DNR运动判断模块MDy检测物体运动情况的参照值。可以根据3DNR MD（3 DigitalNoise Reduction，数字降噪功能，能有效降低边缘噪点，再现平滑的画面，MD是指MotionDetection，移动侦测）值进行判断，当3DNR MD值大于设定阈值时，确定当前视频帧相对于上一个视频帧存在运动；或者，还可以根据Luma值来确定是否存在运动。Luma是图像的亮度信息表征参数，如果图像中有运动目标，此参数也会随之变化。在实际应用中可以根据场景、设备能力等不同条件选取合适的参数来确定当前视频帧相对于上一个视频帧是否存在运动。
步骤103，根据步骤102的判断结果更新VPU的编码参数。
通过步骤102可以判断出当前视频帧与上一个视频帧间的相对运动关系，利用该运动关系来更新VPU的编码参数。其中，根据运动关系进行调整的编码参数可以是VPU编码的最大码率、目标码率和/或图像组（GOP）长度等。这里的GOP表示相邻两个I帧之间的距离，还可以称为编码序列。同时，在利用相对运动关系来更新编码参数时，可以直接利用步骤102的结果进行，或者还可以将步骤102的结果结合之前几个当前帧的判断结果一同来作为更新编码参数的依据。具体地，可以在确定连续N个当前帧的第一参数大于等于设定值时，增大VPU的最大码率、增大VPU的目标码率和/或降低GOP长度；和/或，在确定连续N个当前帧小于设定值时，降低VPU的最大码率、降低目标码率和/或增大GOP长度，其中，设定值是3DNR运动判断模块MDy检测物体运动情况的参照值，例如39；和/或，除上述两种情况外，如果需要覆盖尽可能多的场景，则可以保持VPU编码参数不变。其中，N为正整数，当N=1时，仅根据当前视频帧与上一个视频帧的运动关系更新编码参数；当N>1时，根据连续多个视频帧与其上一个视频帧的运动关系更新编码参数；具体N的取值可以根据实际需要进行确定。最大码率、目标码率和GOP长度的调节步长可以根据需要进行设置，GOP长度表示连续两个I帧间的距离，GOP长度最小值为帧率。其中，GOP的长度也可以设置为帧率的倍数；在1080P情况下，最大码率可以设置为4M。通过上述对于最大码率、目标码率以及GOP长度的调整，可以达到节省编码码率的效果，并且这里对于编码码率的调整不需要借助人工智能或机器学习的处理，大大简化VPU编码策略的确定，降低芯片的整体功耗和开发成本。
至此，对于单个当前视频帧的处理可以结束，按照上述步骤101~103的处理可以依次对至少一个当前视频帧进行处理。
另外，为实现更好的VPU编码性能，优选地，还可以在进行步骤102~103处理的同时，对当前视频帧执行下面步骤的处理：
步骤104，对于步骤101接收的当前视频帧，根据ISP针对其输出的第二参数判断当前视频帧相对于上一个视频帧是否存在场景变化。
ISP处理后输出的一系列参数中，有的可以反映出当前视频帧相对于上一个视频帧是否存在场景变化。第二参数例如是AE IsoLtoH，其中，AE IsoLtoH值就可以反映不同场景的变化，通常，不同的场景对应有不同的AE IsoLtoH取值，在接收到ISP输出的AEIsoLtoH后，根据当前的AE IsoLtoH与上一次ISP处理输出的AE IsoLtoH进行比较，若二者相同，则确定当前视频帧与上一个视频帧相比未发生场景变化；若二者的差值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化。
步骤105，根据场景的变化更新ISP参数。
为改善ISP成像效果，在根据步骤104确定出发生场景变化后，可以根据变化后的场景更新ISP参数，用于后续视频帧的处理，这样可以使后续视频帧在进入VPU编码前，针对当前场景进行合适的ISP处理，以提高进入VPU编码前图像的成像效果，进而基于改善后的图像进行VPU编码，以提高VPU编码性能，且不需要借助人工智能或机器学习的处理，简化VPU编码策略的确定方式，降低芯片的整体功耗和开发成本。
具体地，可以根据变化后的具体场景选择合适的ISP参数进行更新，设置不同场景的ISP参数（比如白天场景、夜晚场景），例如当场景变化涉及到光线的变化时，可以调整ISP处理的3A曝光参数，以改善曝光后的图像成像。当然，具体选择的ISP参数和调整的步长可以根据实际情况进行确定，例如，自动曝光时间等，一般以5为步长。当场景虽然发生变化但是相应条件变化不大的情况下，也可以选择不对ISP参数进行更新。
步骤106，根据场景的变化，更新VPU的编码参数。
根据场景变化进行VPU的编码参数更新可以是更新最大码率。具体地，在确定当前视频帧相对于上一个视频帧不存在场景上的变化后，可以不更新VPU编码的最大码率；在确定当前视频帧相对于上一个视频帧存在场景上的变化后，可以根据场景的变化情况更新VPU编码的最大码率。具体变化方式和调整步长可以根据实际需要进行设定。通过上述处理，可以达到节省编码码率的效果，且不需要借助人工智能或机器学习的处理，大大简化VPU编码策略的确定方式，降低了芯片的整体功耗和开发成本。
至此，本申请的处理流程结束。通过上述本申请的处理，利用ISP输出的第一参数和第二参数对VPU编码参数进行更新，并可以将第二参数反馈给ISP控制ISP参数进行更新，从而可以直接改善VPU性能或通过改善ISP成像效果来改善VPU性能，且不需要借助人工智能或机器学习的处理，大大简化VPU编码策略的确定方式，降低了芯片的整体功耗和开发成本。具体根据第一参数判断是否存在运动时第一参数的比较阈值和各个不同场景对应的第二参数取值，可以根据经验确定，并可以通过不同场景进行实验验证，以提高本申请处理方法的鲁棒性。
本申请还提供一种VPU编码策略的实现装置，图2为该装置的基本结构示意图。如图2所示，该装置最基本地包括：接收单元、判断单元和更新单元。
在本发明的实施例中，提供一种VPU编码策略的实现装置，包括：接收单元、判断单元和更新单元；
所述接收单元，用于接收ISP处理后的至少一个当前视频帧以及针对所述当前视频帧输出的参数；
所述判断单元，用于根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动和/或场景上的变化；
所述更新单元，用于根据所述判断单元的判断结果更新视频处理单元VPU的编码参数。
在本发明的实施例中，提供一种VPU编码策略的实现装置，包括：
所述判断单元，用于根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNR MD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；若确定连续N个当前视频帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；其中，N为预设的自然数。
在本发明的实施例中，提供一种VPU编码策略的实现装置，包括：
所述更新单元，用于在判断存在运动时，更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
在判断不存在运动时，更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
在本发明的实施例中，提供一种VPU编码策略的实现装置，包括：
所述判断单元，用于根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AE IsoLtoH；
根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化。
在本发明的实施例中，提供一种VPU编码策略的实现装置，包括：
所述更新单元，用于在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，根据场景的变化情况更新ISP处理的参数，用于后续视频帧的ISP处理；更新VPU编码的最大码率。
上述即为本申请中VPU编码策略的实现方法和装置的具体实现。通过上述处理，基于ISP参数反馈来指导VPU采用不同的编码策略，实现不同场景下或者不同的业务需求下的图像质量与码率要求，本申请的方法和装置不需要额外加入人工智能或者传统机器学习算法，从而降低了芯片的整体功耗和开发成本。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种VPU编码策略的实现方法，其特征在于，包括：
对于图像信号处理ISP后的至少一个当前视频帧，根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化；
根据判断结果更新视频处理单元VPU的编码参数；
其中，所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化包括：根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AE IsoLtoH；
根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化；且在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，更新VPU编码的最大码率；
其中，当变化后的场景光线发生变化时，调整ISP处理的3A曝光参数，用于后续视频帧的ISP处理。
2.根据权利要求1所述的方法，其特征在于，在所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化以及根据判断结果更新VPU的编码参数的同时，该方法进一步包括：
根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动；
根据判断结果更新VPU的编码参数。
3.根据权利要求2所述的方法，其特征在于，所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动，包括：根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNRMD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；
若确定连续N个当前帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；
其中，N为预设的自然数。
4.根据权利要求2或3所述的方法，其特征在于，包括：
若判断存在运动，则更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
若判断不存在运动，则更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
5.一种VPU编码策略的实现装置，其特征在于，包括：接收单元、判断单元和更新单元；
所述接收单元，用于接收ISP处理后的至少一个当前视频帧以及针对所述当前视频帧输出的参数；
所述判断单元，用于根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化；其中，所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化包括：根据ISP针对所述当前视频帧输出的第二参数判断所述当前视频帧是否存在场景上的变化，所述第二参数包括反映场景变化的参数AE IsoLtoH；根据当前视频帧的AE IsoLtoH值与上一次ISP处理输出的AE IsoLtoH值进行比较，若二者的差值的绝对值大于等于设置的值，则确定当前视频帧与上一个视频帧相比发生了场景变化，否则，未发生场景变化；
所述更新单元，用于根据所述判断单元的判断结果更新视频处理单元VPU的编码参数；还用于当变化后的场景光线发生变化时，调整ISP处理的3A曝光参数，用于后续视频帧的ISP处理；其中，在确定所述当前视频帧相对于上一个视频帧存在场景上的变化后，更新VPU编码的最大码率。
6.根据权利要求5所述的装置，其特征在于，包括：
所述判断单元，用于在所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在场景上的变化以及根据判断结果更新VPU的编码参数的同时，根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动，并根据判断结果更新VPU的编码参数。
7.根据权利要求6所述的装置，其特征在于，在所述判断单元中，所述根据ISP针对所述当前视频帧输出的参数判断所述当前视频帧是否存在运动，包括：根据ISP针对所述当前视频帧输出的第一参数判断所述当前视频帧是否存在运动，所述第一参数包括3DNR MD，或者，Luma，其中，3DNR MD是检测物体运动情况的参数，Luma是图像亮度信息的表征参数；若确定连续N个当前帧的第一参数大于等于设定值，则判断存在运动，否则，判断为不存在运动；其中，N为预设的自然数。
8.根据权利要求6或7所述的装置，其特征在于，包括：
所述更新单元，用于在判断存在运动时，更新视频处理单元VPU的编码参数，包括增大最大码率、增大目标码率和/或降低图像组GOP长度；或者
在判断不存在运动时，更新视频处理单元VPU的编码参数，包括降低所述最大码率、降低所述目标码率和/或增大GOP长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294084.9A CN114401404B (zh) | 2022-03-24 | 2022-03-24 | 一种vpu编码策略的实现方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294084.9A CN114401404B (zh) | 2022-03-24 | 2022-03-24 | 一种vpu编码策略的实现方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114401404A CN114401404A (zh) | 2022-04-26 |
| CN114401404B true CN114401404B (zh) | 2022-07-26 |
Family
ID=81235145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210294084.9A Active CN114401404B (zh) | 2022-03-24 | 2022-03-24 | 一种vpu编码策略的实现方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114401404B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117750014B (zh) * | 2022-11-24 | 2024-11-26 | 行吟信息科技(武汉)有限公司 | 视频编码方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164272A (zh) * | 2011-04-07 | 2011-08-24 | 天津市亚安科技电子有限公司 | 在网络视频监控平台中减少云台控制延时的方法 |
| CN105554498A (zh) * | 2014-10-22 | 2016-05-04 | 安讯士有限公司 | 视频编码方法和视频编码器系统 |
| CN107087192A (zh) * | 2016-02-15 | 2017-08-22 | 中兴通讯股份有限公司 | 目标码率调整方法及装置 |
| CN107635115A (zh) * | 2017-10-09 | 2018-01-26 | 深圳市天视通电子科技有限公司 | 一种实现超低码率的方法、存储介质及电子设备 |
| CN110166781A (zh) * | 2018-06-22 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置和可读介质 |
| CN111263192A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 视频处理方法及相关设备 |
| CN114157870A (zh) * | 2021-12-01 | 2022-03-08 | 安谋科技（中国）有限公司 | 编码方法、介质及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8837576B2 (en) * | 2009-11-06 | 2014-09-16 | Qualcomm Incorporated | Camera parameter-assisted video encoding |
| EP2668785A4 (en) * | 2011-01-28 | 2015-11-11 | Eye Io Llc | CODING VIDEO DATA STREAMS BASED ON A SCENE TYPE |
| KR102499286B1 (ko) * | 2018-02-23 | 2023-02-14 | 삼성전자주식회사 | 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법 |
| GB2575009B (en) * | 2018-05-14 | 2022-12-14 | Advanced Risc Mach Ltd | Media processing systems |
-
2022
- 2022-03-24 CN CN202210294084.9A patent/CN114401404B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164272A (zh) * | 2011-04-07 | 2011-08-24 | 天津市亚安科技电子有限公司 | 在网络视频监控平台中减少云台控制延时的方法 |
| CN105554498A (zh) * | 2014-10-22 | 2016-05-04 | 安讯士有限公司 | 视频编码方法和视频编码器系统 |
| CN107087192A (zh) * | 2016-02-15 | 2017-08-22 | 中兴通讯股份有限公司 | 目标码率调整方法及装置 |
| CN107635115A (zh) * | 2017-10-09 | 2018-01-26 | 深圳市天视通电子科技有限公司 | 一种实现超低码率的方法、存储介质及电子设备 |
| CN110166781A (zh) * | 2018-06-22 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置和可读介质 |
| CN111263192A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 视频处理方法及相关设备 |
| CN114157870A (zh) * | 2021-12-01 | 2022-03-08 | 安谋科技（中国）有限公司 | 编码方法、介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114401404A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200007872A1 (en) | Video decoding method, video decoder, video encoding method and video encoder | |
| CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
| CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| WO2021227915A1 (zh) | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 | |
| WO2009091152A2 (en) | Color recovery method and system | |
| CN114401404B (zh) | 一种vpu编码策略的实现方法和装置 | |
| WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| CN118714328A (zh) | 基于gop场景切换检测的自适应编码方法、设备和介质 | |
| KR20150040559A (ko) | 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
| CN115456907B (zh) | Isp调试方法和装置、图像处理系统、终端及存储介质 | |
| JP2012235465A (ja) | デジタルカメラ装置における画像処理装置及び方法 | |
| CN115314695A (zh) | 图像白平衡处理方法及装置、电子设备、存储介质 | |
| CN120343332A (zh) | 视频的处理方法、装置、电子设备及存储介质 | |
| CN116363018B (zh) | 一种自适应的nlm降噪方法 | |
| CN114143473B (zh) | 一种智能成像光学参数自调整方法 | |
| US20230345132A1 (en) | Information processing apparatus, information processing method, and program | |
| CN111586411A (zh) | 一种低对比度视频编码方法、系统及设备 | |
| CN101299820B (zh) | 视频解码方法、装置及视频修补装置 | |
| CN115334250A (zh) | 一种图像处理方法、装置及电子设备 | |
| US20260006215A1 (en) | Temporal consistency and compression efficiency in video streaming | |
| EP3996032B1 (en) | Image processing with reduced latency and improved local processing | |
| KR102163007B1 (ko) | 저조도 영상의 압축 속도 향상을 위한 예측 모드 결정 최적화 조정 방법 및 장치 | |
| CN116193276B (zh) | 一种基于dm8127的改进3a图像预处理方法 | |
| CN116033274B (zh) | 一种兼容3d降噪的图像宽动态方法 | |
| CN117252779A (zh) | 一种模块化的图片优化处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |