[go: up one dir, main page]

RU2782161C1 - Method for increasing the spatial resolution of hyperspectral images - Google Patents

Method for increasing the spatial resolution of hyperspectral images Download PDF

Info

Publication number
RU2782161C1
RU2782161C1 RU2021136132A RU2021136132A RU2782161C1 RU 2782161 C1 RU2782161 C1 RU 2782161C1 RU 2021136132 A RU2021136132 A RU 2021136132A RU 2021136132 A RU2021136132 A RU 2021136132A RU 2782161 C1 RU2782161 C1 RU 2782161C1
Authority
RU
Russia
Prior art keywords
image
hyperspectral
panchromatic
images
spatial resolution
Prior art date
Application number
RU2021136132A
Other languages
Russian (ru)
Inventor
Владимир Вацлавович Шипко
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации filed Critical Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Application granted granted Critical
Publication of RU2782161C1 publication Critical patent/RU2782161C1/en

Links

Images

Abstract

FIELD: image technology.
SUBSTANCE: invention relates to the field of image processing. The expected result is achieved by performing the following steps of the method: dividing each pixel of the hyperspectral image into separate objects, assigning a spectral characteristic to each selected object, for which a panchromatic image with a much higher spatial resolution is used, highlighting the contour of hyperspectral and panchromatic images, correlating the contours of hyperspectral and panchromatic images so that the coordinates of the corresponding points coincide, cropping panchromatic image sections, in which it does not coincide with the hyperspectral image, the formation of row and column indexes of the cropped panchromatic image, the calculation of the scale coefficient of panchromatic and hyperspectral images, the formation of a scale grid of the panchromatic image, the division into objects by the brightness of the pixels of the panchromatic image in each cell corresponding to the pixel of the hyperspectral image, the formation of the final hyperspectral image by assigning each pixel a spectral characteristic, most similar to the characteristic of one of the objects closest to the neighborhood displayed on the hyperspectral image.
EFFECT: increase in the accuracy of spectral separation of objects in hyperspectral images from panchromatic images of high spatial resolution.
1 cl, 14 dwg

Description

Изобретение относится к области цифровой обработки изображений, в частности к повышению пространственного разрешения гиперспектральных изображений (ГСИ), за счет использования изображений более высокого пространственного разрешения.The invention relates to the field of digital image processing, in particular to increasing the spatial resolution of hyperspectral images (HSI), through the use of images of higher spatial resolution.

Из уровня техники известен способ пространственного объединения ГСИ и панхроматического изображений (ПХИ) (см. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. М.: Техносфера, 2013. 592 с.), который включает, предварительное увеличение частоты пространственной дискретизации каждой спектральной компоненты ГСИ низкого пространственного разрешения в соответствии с пространственной дискретизацией ПХИ высокого пространственного разрешения и попиксельное умножение каждой спектральной компоненты ГСИ на ПХИ, после чего полученный результат нормируется на низкочастотную компоненту ПХИ. Техническим результатом является получение ГСИ с пространственным разрешением ПХИ.From the prior art there is known a method of spatial combining GSI and panchromatic images (PHI) (see Shovengerdt R.A. Remote sensing. Models and methods of image processing. M.: Tekhnosfera, 2013. 592 p.), which includes a preliminary increase in the frequency discretization of each spectral component of the GSI of low spatial resolution in accordance with the spatial sampling of the PCI of high spatial resolution and pixel-by-pixel multiplication of each spectral component of the GSI by PCI, after which the result is normalized to the low-frequency component of the PCI. The technical result is to obtain GSI with spatial resolution PHI.

Недостатком указанного способа является потеря спектральной информации, происходящая при умножении на ПХИ, а также артефакты, проявляющиеся в силу того, что большинство пикселей ГСИ характеризуются смесью нескольких объектов присутствующих на ПХИ.The disadvantage of this method is the loss of spectral information that occurs when multiplied by PCI, as well as artifacts that appear due to the fact that most HSI pixels are characterized by a mixture of several objects present in PCI.

Наиболее близким к предлагаемому является способ повышения детальности материалов гиперспектральной съемки Земли на основе привлечения многозональных изображений высокого пространственного разрешения (Патент RU 2579046 опубликовано 27.03.2016 г., МПК G06K 9/00). Данный способ, заключается в том, что для разделения каждого пиксела ГСИ с низким пространственным разрешением на отдельные объекты используются синхронно полученные многозональные изображения с большим пространственным разрешением и присвоение каждому выделенному объекту спектральной характеристики наиболее схожей с характеристикой одного из объектов, отображаемых на ГСИ. Техническим результатом является получение ГСИ с пространственным разрешением многозонального изображения.Closest to the proposed one is a method for increasing the detail of materials hyperspectral imaging of the Earth based on the involvement of multi-zone images of high spatial resolution (Patent RU 2579046 published 27.03.2016, IPC G06K 9/00). This method consists in the fact that to separate each pixel of the GSI with a low spatial resolution into separate objects, synchronously obtained multi-zone images with a high spatial resolution are used and the assignment of a spectral characteristic to each selected object that is most similar to the characteristic of one of the objects displayed on the GSI. The technical result is to obtain a GSI with a spatial resolution of a multi-zone image.

Недостатками способа-прототипа является отсутствие учета взаимной ориентации и привязки ГСИ и многозональных изображений получаемых разными датчиками. Ведь даже при синхронном их получении с взаимной ориентацией полей зрения датчиков на один и тот же участок местности будут присущи пространственные искажения растра ГСИ относительно многозонального и это может привести к снижению точности, либо вовсе ложному спектральному разделению объектов на ГСИ. Еще одним недостатком данного способа является необходимость приведения ГСИ к спектральному разрешению многозонального изображения при спектральном разделении объектов, что требует точной предварительной калибровки датчиков ГСИ и многозонального изображений, что не всегда возможно.The disadvantages of the prototype method is the lack of consideration of the relative orientation and binding of the GSI and multi-zone images obtained by different sensors. Indeed, even if they are received synchronously with the mutual orientation of the fields of view of the sensors to the same area of the terrain, spatial distortions of the HSI raster relative to the multi-zone one will be inherent and this can lead to a decrease in accuracy, or even a false spectral separation of objects on the GSI. Another disadvantage of this method is the need to bring the GSI to the spectral resolution of a multi-zone image with spectral separation of objects, which requires accurate preliminary calibration of the GSI sensors and multi-zone images, which is not always possible.

Техническим результатом предлагаемого способа повышения пространственного разрешения ГСИ является повышение точности спектрального разделения объектов на ГСИ по ПХИ высокого пространственного разрешения, а также возможность использования ПХИ полученных в другие моменты времени (не синхронно) по отношению к получению ГСИ.The technical result of the proposed method for increasing the spatial resolution of the GSI is to increase the accuracy of the spectral separation of objects on the GSI by high spatial resolution PHI, as well as the possibility of using PHI obtained at other times (not synchronously) in relation to obtaining the GSI.

Технический результат достигается тем, что согласно предлагаемого способа включающего разделение каждого пиксела ГСИ с низким пространственным разрешением (i=1, …, I элементов по строкам и j=1, …, J по столбцам) на отдельные объекты, присвоение каждому выделенному объекту спектральной характеристики наиболее схожей с характеристикой одного из объектов, отображаемых на ГСИ, для разделения пикселей ГСИ используют ПХИ с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно), выделяют контура ГСИ и ПХИ, находят соответствующие точки контуров ГСИ и ПХИ, совмещают их контура, преобразовывают растр ГСИ таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, обрезают участки ПХИ, в которых оно пространственно не совпадает с ГСИ, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ пространственно соответствующего ГСИ, вычисляют масштабный коэффициент

Figure 00000001
ПХИ и ГСИ, формируют масштабную сетку по строкам
Figure 00000002
и столбцам
Figure 00000003
ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ, разделение на отдельные объекты выполняют по яркостям
Figure 00000004
пикселей ПХИ в каждой i,j-той ячейке соответствующей i,j-му пикселу ГСИ, формируют итоговое ГСИ с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами
Figure 00000004
спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на ГСИ, где р=0, 1, …, P, q=0, 1, …, Q.The technical result is achieved by the fact that, according to the proposed method, it includes dividing each GSI pixel with low spatial resolution (i=1, ..., I elements in rows and j=1, ..., J in columns) into separate objects, assigning a spectral characteristic to each selected object the most similar to the characteristic of one of the objects displayed on the HSI, to separate the pixels of the HSI, PCI with a multiple spatial resolution (r=1, ..., R, s=1, ..., S elements in rows and columns, respectively) is used, the contours of the HSI are isolated and PHI, find the corresponding points of the HSI and PHI contours, combine their contours, transform the HSI raster so that the coordinates of the corresponding points of the HSI and PHI contours coincide, cut off the sections of the PHI in which it spatially does not coincide with the GSI, form row indices r'= 1, ..., R' and columns s'=1, ..., S' of the clipped PCI of the spatially corresponding GSI, calculate the scale factor
Figure 00000001
PCI and GSI, form a scale grid by lines
Figure 00000002
and columns
Figure 00000003
PHI, consisting of I × J cells and corresponding to the size of PHI, division into separate objects is performed by brightness
Figure 00000004
PCI pixels in each i,j-th cell corresponding to the i,j-th GSI pixel form the final GSI with a spatial resolution of r'=1, …, R' elements in rows and s'=1, …, S' in columns, by assigning to each pixel with coordinates
Figure 00000004
the spectral characteristic most similar to the characteristic of one of the objects closest in the neighborhood i±p,j±q, displayed on the GSI, where p=0, 1, …, P, q=0, 1, …, Q.

Сущность предлагаемого способа заключается в следующем.The essence of the proposed method is as follows.

На первом этапе получают ГСИ

Figure 00000005
(фиг. 1) с пространственным разрешением i=1, …, I элементов по строкам, j=1, …, J по столбцам и спектральным разрешением l=1,…,L и ПХИ
Figure 00000006
(фиг. 2) с более высоким пространственным разрешением r=1, …, R элементов по строкам, s=1, …, S по столбцам, полученное в широком спектральном диапазоне
Figure 00000007
. За эталонное по пространственной ориентации берется ПХИ. На приведенных примерах на фиг. 1, 2 пространственное разрешение ГСИ в пять раз ниже разрешения ПХИ, т.е. одному пикселу ГСИ соответствует 25 пикселов ПХИ.At the first stage, they receive GSI
Figure 00000005
(Fig. 1) with spatial resolution i=1, ..., I elements in rows, j=1, ..., J in columns and spectral resolution l=1, ..., L and PCI
Figure 00000006
(Fig. 2) with a higher spatial resolution r=1, ..., R elements in rows, s=1, ..., S in columns, obtained in a wide spectral range
Figure 00000007
. PHI is taken as the reference one in terms of spatial orientation. In the examples shown in Fig. 1, 2, the spatial resolution of the GSI is five times lower than the resolution of the PCI, i.e. One HSI pixel corresponds to 25 PCI pixels.

На втором этапе выделяют контура объектов на ГСИ (фиг. 3) и ПХИ (фиг. 4), находят как минимум четыре пары соответствующих точек, например, на фиг. 3, 4 таких пар десять. Далее совмещают точки контуров ГСИ с эталонными точками контуров ПХИ, например, алгоритмами представленными в (см. Обработка изображений в авиационных системах технического зрения / Под ред. Л.Н. Костяшкина, М.Б. Никифорова. М.: Физматлит, 2016. 240 с.). Красным пунктиром на фиг. 4 обозначена прямоугольная область 1 соответствующая точному пространственному положению контуров ГСИ на ПХИ, а голубым пунктиром обозначена область 2, смещенная на два пиксела по вертикали и по горизонтали относительно исходной. На фиг. 5 представлен результат точного совмещения контуров ГСИ и ПХИ в соответствии с областью 1, а на фиг. 6 для сравнения результат совмещения с ошибкой на два пиксела ГСИ в соответствии с областью 2.At the second stage, the contours of objects are isolated on HSI (Fig. 3) and PHI (Fig. 4), at least four pairs of corresponding points are found, for example, in Fig. 3, 4 there are ten such pairs. Next, the points of the HSI contours are combined with the reference points of the PHI contours, for example, by the algorithms presented in (see Image processing in aircraft vision systems / Edited by L.N. Kostyashkin, M.B. Nikiforov. M .: Fizmatlit, 2016. 240 With.). The red dotted line in Fig. 4 shows a rectangular area 1 corresponding to the exact spatial position of the GSI contours on the PCI, and the blue dotted line shows area 2, shifted by two pixels vertically and horizontally relative to the original one. In FIG. 5 shows the result of an exact alignment of the GSI and PCI contours in accordance with area 1, and in Fig. 6 for comparison, the alignment result with an error of two ISI pixels in accordance with area 2.

На третьем этапе преобразовывают растр (сдвиг, поворот, изменение масштаба) ГСИ (фиг. 7) таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, а растр ПХИ обрезают, где оно пространственно не совпадает с ГСИ (см. прямоугольная область на фиг. 4). Формируют новые индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ

Figure 00000008
(фиг. 8) пространственно соответствующего с ГСИ
Figure 00000009
.At the third stage, the raster (shift, rotation, scaling) of the HSI (Fig. 7) is transformed in such a way that the coordinates of the corresponding points of the HSI and PHI contours coincide, and the PHI raster is cut off, where it spatially does not coincide with the GSI (see the rectangular area on Fig. 4). New indices of rows r'=1, …, R' and columns s'=1, …, S' of the truncated PCI are formed
Figure 00000008
(Fig. 8) spatially consistent with HSI
Figure 00000009
.

На четвертом этапе вычисляют масштабный коэффициент

Figure 00000010
, на основе которого формируют виртуальную масштабную сетку по строкам
Figure 00000011
и столбцам
Figure 00000012
ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ
Figure 00000008
. На фиг. 9 представлен фрагмент ПХИ с наложением такой сетки с размером ячейки соответствующей размеру i,j-го пиксела ГСИ (фиг. 10) приведенного к масштабу ПХИ.At the fourth stage, the scale factor is calculated
Figure 00000010
, on the basis of which a virtual scale grid is formed by rows
Figure 00000011
and columns
Figure 00000012
PCI, consisting of I×J cells and corresponding to the size of PCI
Figure 00000008
. In FIG. Fig. 9 shows a fragment of the PCI with the imposition of such a grid with a cell size corresponding to the size of the i, jth pixel of the HSI (Fig. 10) reduced to the scale of the PCI.

На пятом этапе выполняют спектральное разделение на отдельные объекты по яркостям

Figure 00000013
-х пикселей ПХИ
Figure 00000014
в каждой i,j-й ячейке соответствующей i,j-му пикселу ГСИ, например, путем вычисления среднеквадратического отклонения:At the fifth stage, spectral separation is performed into separate objects by brightness
Figure 00000013
-x pixel phi
Figure 00000014
in each i,j-th cell corresponding to the i,j-th GSI pixel, for example, by calculating the standard deviation:

Figure 00000015
Figure 00000015

где

Figure 00000016
- ГСИ, усредненное по М спектральным компонентам соответствующим спектральному диапазону регистрации ПХИ.where
Figure 00000016
- GSI, averaged over M spectral components corresponding to the spectral range of PCR registration.

Далее σi,j сравнивают с порогом. Если значение σi,j превышает заданный порог T, то i,j-й пиксел ГСИ считается «смешанным» и соответствует нескольким объектам, отображаемым на ПХИ, а если σi,j меньше порога, то i,j-й пиксел считается «чистым» и соответствует одному объекту. Всем «смешанным» i,j-м пикселам присваивают нули, а «чистые» сохраняют:Next, σ i,j is compared with a threshold. If the value of σ i,j exceeds the specified threshold T, then the i,j-th pixel of the GSI is considered "mixed" and corresponds to several objects displayed on the PCI, and if σ i,j is less than the threshold, then the i,j-th pixel is considered "clean" and corresponds to one object. All "mixed" i, j-th pixels are assigned zeros, and "clean" ones are kept:

Figure 00000017
Figure 00000017

На фиг. 11 представлен пример спектрального разделения в соответствии с выражением (2) при Т=30 для случая точного совмещения контуров и растров ГСИ и ПХИ как представлено на фиг. 5, а на фиг. 12 приведен пример спектрального разделения для случая совмещения контуров с ошибкой, как на фиг. 6. Из фиг. 9-12 видно, что точное совмещение ГСИ и ПХИ играет важную роль в точности разделения объектов, так на фиг. 12 подавляющее большинство пикселей отнесено к смешанным, что в действительности не является таковым. С учетом того, что на примере неточного совмещения растров ГСИ и ПХИ, ошибка взаимной ориентации была линейной и небольшой, то при более сильных взаимных искажениях ГСИ и ПХИ, спектральное разделение вовсе будет ложным.In FIG. 11 shows an example of spectral separation in accordance with expression (2) at T=30 for the case of exact alignment of the contours and rasters of GSI and PCI as shown in FIG. 5, and in Fig. 12 shows an example of spectral separation for the case of contour matching with an error, as in FIG. 6. From FIG. 9-12 it can be seen that the exact alignment of HSI and PCI plays an important role in the accuracy of separation of objects, so in FIG. 12, the vast majority of pixels are classified as mixed, which in reality is not. Taking into account the fact that, in the example of inaccurate alignment of the GSI and PCI rasters, the error in mutual orientation was linear and small, then with stronger mutual distortions of the GSI and PCI, the spectral separation will be completely false.

На шестом этапе формируют итогового гиперспектральное изображения

Figure 00000018
(фиг. 13) с пространственным разрешением r'=1, …, R' элементов по строкам, s'=1, …, S' по столбцам и спектральным разрешением l=1, …, L, путем присвоения каждому
Figure 00000004
-му пикселу панхроматического изображения спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении:At the sixth stage, the final hyperspectral image is formed
Figure 00000018
(Fig. 13) with spatial resolution r'=1, ..., R' elements in rows, s'=1, ..., S' in columns and spectral resolution l=1, ..., L, by assigning each
Figure 00000004
-th pixel of the panchromatic image of the spectral characteristic most similar to the characteristic of one of the objects closest in the neighborhood i±p,j±q, displayed on the hyperspectral image:

Figure 00000019
Figure 00000019

где

Figure 00000020
, p=0, 1, …, Р, g=0, 1, …, Q - параметры окрестности i,j-го пиксела.where
Figure 00000020
, p=0, 1, …, P, g=0, 1, …, Q - parameters of the i,j-th pixel neighborhood.

Таким образом, в предлагаемом способе повышения пространственного разрешения ГСИ с привлечением ПХИ высокого пространственного разрешения, за счет взаимной их пространственной привязки и масштабирования происходит повышение точности разделения ГСИ низкого пространственного разрешения на отдельные объекты, а также возможность использования ПХИ полученных в другие моменты времени (не синхронно) по отношению к получению ГСИ.Thus, in the proposed method for increasing the spatial resolution of the GSI with the involvement of high spatial resolution PCI, due to their mutual spatial referencing and scaling, the accuracy of dividing the low spatial resolution GSI into individual objects increases, as well as the possibility of using PCI obtained at other times (not synchronously ) in relation to obtaining GSI.

Предлагаемый способ может быть реализован, например, с помощью устройства, блок-схема которого представлена на фиг. 14. Блок-схема устройства содержит: блоки 1, 2 выделения контуров; блок 3 выбора соответствующих точек; блок 4 совмещения контуров; блок 5 формирования новых индексов ПХИ; блок 6 формирования обрезанного ПХИ; блок 7 пространственного преобразования растра ГСИ; блок 8 вычисления масштабного коэффициента; блок 9 формирования масштабной сетки; блоки 10, 14 усреднения; блок 11 вычисления среднеквадратического отклонения; блок 12 сравнения; блок 13 блок формирования «чистых» спектральных характеристик объектов на ГСИ; блок 15 нахождения минимума; блок 16 формирования конечного ГСИ высокого пространственного разрешения.The proposed method can be implemented, for example, using a device, the block diagram of which is shown in Fig. 14. The block diagram of the device contains: blocks 1, 2 selection of contours; block 3 selection of the corresponding points; block 4 combination of contours; block 5 of the formation of new PHI indices; block 6 forming cropped PHI; block 7 spatial transformation of the GSI raster; a scaling factor calculation unit 8; block 9 for the formation of a scaling grid; blocks 10, 14 averaging; block 11 for calculating the standard deviation; block 12 comparison; block 13, a block for the formation of "pure" spectral characteristics of objects on the GSI; block 15 finding the minimum; block 16 of the formation of the final HSI high spatial resolution.

Устройство на фиг. 14 работает следующим образом. На вход устройства поступают ГСИ и ПХИ, которые подают на вход блоков выделения контуров 1, 2 соответственно, полученные контура далее подают в блок 3 выбора соответствующих точек на контурах ГСИ и ПХИ и подают их в блок 4 совмещения контуров, из которого информация о координатах совмещенных контуров параллельно поступает на блок 5 формирования новых индексов ПХИ на основе которых, в блоке 6 формируют обрезанное ПХИ пространственно соответствующее ГСИ, на блок 7 преобразования растра ГСИ в соответствии с пространственной ориентацией ПХИ, на блок 8 расчета масштабного коэффициента и блок 9 формирования масштабной сетки. Полученную масштабную сетку подают в блок 11 расчета среднеквадратического отклонения, на вход которого, также подают ПХИ с блока 6 и усредненное по спектральным компонентам ГСИ с блока 10, после чего, полученные значения среднеквадратического отклонения подают на блок сравнения 12, а далее на блок 13 формирования «чистых» спектральных характеристик ГСИ с которого информация параллельно поступает в блок усреднения 14 и блок 16 формирования результирующего ГСИ высокого пространственного разрешения. Полученные в блоке 14 значения подают в блок 15 нахождения минимума между значениями яркости пикселей ПХИ, попавших в i,j-ю ячейку масштабной сетки и соответствующими i,j-м и его окружающими i±р,j±q-ми пикселями усредненного ГСИ, и далее подают в блок 16, где присваивают каждому пикселу ПХИ поступившего на его вход с блока 6 i,j-й спектральной характеристики соответствующей минимуму с i,j-м пикселом ГСИ поступившего на его вход с блока 13.The device in FIG. 14 works as follows. The GSI and PHI are fed to the input of the device, which are fed to the input of the contour selection blocks 1, 2, respectively, the resulting contours are then fed to the block 3 for selecting the corresponding points on the GSI and PHI contours and fed to the block 4 for combining the contours, from which information about the coordinates of the combined contours in parallel enters the block 5 for the formation of new PHI indices, on the basis of which, in block 6, a trimmed PHI of the spatially corresponding GSI is formed, to the block 7 for converting the GSI raster in accordance with the spatial orientation of the PHI, to the block 8 for calculating the scale factor and the block 9 for generating the scale grid. The resulting scale grid is fed into the block 11 for calculating the standard deviation, at the input of which, the PHI from block 6 and the GSI averaged over the spectral components from block 10 are also fed, after which the obtained values of the standard deviation are fed to the comparison block 12, and then to the block 13 of the formation "pure" spectral characteristics of the GSI from which information is simultaneously fed into the averaging unit 14 and the block 16 for the formation of the resulting GSI of high spatial resolution. The values obtained in block 14 are fed to block 15 for finding the minimum between the brightness values of the PCI pixels that fall into the i,j-th cell of the scale grid and the corresponding i,j-th and its surrounding i±p,j±q-th pixels of the average GSI, and then fed to block 16, where each pixel of the PCI received at its input from block 6 is assigned the i,j-th spectral characteristic corresponding to the minimum with the i,j-th pixel of the HSI received at its input from block 13.

Таким образом, предлагаемый способ позволяет повысить точность спектрального разделения объектов на ГСИ, а также использовать ПХИ, полученные в другие моменты времени (не синхронно) по отношению к получению ГСИ, за счет того, что для разделения пикселей ГСИ используют ПХИ с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно), выделяют контура ГСИ и ПХИ, находят соответствующие точки контуров ГСИ и ПХИ, совмещают их контура, преобразовывают растр ГСИ таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, обрезают участки ПХИ, в которых оно пространственно не совпадает с ГСИ, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ пространственно соответствующего ГСИ, вычисляют масштабный коэффициент

Figure 00000001
, ПХИ и ГСИ, формируют масштабную сетку по строкам
Figure 00000002
и столбцам
Figure 00000003
ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ, разделение на отдельные объекты выполняют по яркостям
Figure 00000004
пикселей ПХИ в каждой i,j-й ячейке соответствующей i,j-му пикселу ГСИ, формируют итоговое ГСИ с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами
Figure 00000004
спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на ГСИ, где р=0, 1, …, Р, q=0, 1, …, Q.Thus, the proposed method makes it possible to improve the accuracy of the spectral separation of objects on the HSI, as well as to use the PCI obtained at other times (not synchronously) with respect to the acquisition of the HSI, due to the fact that for the separation of the pixels of the HSI, the PCI with many times higher spatial resolution is used. (r=1, ..., R, s=1, ..., S elements in rows and columns, respectively), select the HSI and PHI contours, find the corresponding points of the HSI and PHI contours, combine their contours, transform the HSI raster in such a way that the coordinates the corresponding points of the HSI and PHI contours coincided, the sections of the PHI, in which it spatially does not coincide with the GSI, are cut off, the indices of rows r'=1, …, R' and columns s'=1, …, S' of the trimmed PHI of the spatially corresponding GSI are formed, calculate the scale factor
Figure 00000001
, PCI and GSI, form a scale grid by rows
Figure 00000002
and columns
Figure 00000003
PHI, consisting of I × J cells and corresponding to the size of PHI, division into separate objects is performed by brightness
Figure 00000004
PCI pixels in each i,j-th cell corresponding to the i,j-th GSI pixel form the final GSI with a spatial resolution of r'=1, …, R' elements in rows and s'=1, …, S' in columns, by assigning to each pixel with coordinates
Figure 00000004
the spectral characteristic most similar to the characteristic of one of the objects closest in the neighborhood i±p,j±q, displayed on the HSI, where p=0, 1, …, P, q=0, 1, …, Q.

Предлагаемое техническое решение является новым, поскольку из общедоступных сведений неизвестен способ повышения пространственного разрешения гиперспектральных изображений, заключающийся в том, что выполняют разделение каждого пиксела гиперспектрального изображения с низким пространственным разрешением (i=1, …, I элементов по строкам и j=1, …, J по столбцам) на отдельные объекты, присваивают каждому выделенному объекту спектральную характеристику наиболее схожую с характеристикой одного из объектов, отображаемых на гиперспектральном изображении, для разделения пикселей гиперспектрального изображения используют панхроматическое изображение с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно) по отношению к гиперспектральному, выделяют контура гиперспектрального и панхроматического изображений, находят соответствующие точки контуров гиперспектрального и панхроматического изображений, совмещают их контура, преобразовывают растр гиперспектрального изображения таким образом, чтобы координаты соответствующих точек контуров гиперспектрального и панхроматического изображений совпадали, обрезают участки панхроматического изображения, в которых оно пространственно не совпадает с гиперспектральным изображением, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного панхроматического изображения пространственно соответствующего гиперспектральному изображению, вычисляют масштабный коэффициент

Figure 00000001
панхроматического и гиперспектрального изображений, формируют масштабную сетку по строкам
Figure 00000002
и столбцам
Figure 00000003
панхроматического изображения, состоящую из I×J ячеек и соответствующую размеру панхроматического изображения, разделение на отдельные объекты выполняют по яркостям
Figure 00000004
пикселей панхроматического изображения в каждой i,j-й ячейке соответствующей i,j-му пикселу гиперспектрального изображения, формируют итоговое гиперспектральное изображение с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами
Figure 00000004
спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении, где p=0, 1, …, P, q=0, 1, …, Q.The proposed technical solution is new, since from publicly available information there is no way to increase the spatial resolution of hyperspectral images, which consists in the fact that each pixel of a hyperspectral image is separated with a low spatial resolution (i=1, ..., I elements in rows and j=1, ... , J by columns) into separate objects, each selected object is assigned a spectral characteristic that is most similar to the characteristic of one of the objects displayed on the hyperspectral image, to separate the pixels of the hyperspectral image, a panchromatic image with many times higher spatial resolution (r=1, ..., R, s=1, ..., S elements in rows and columns, respectively) in relation to the hyperspectral one, select the contours of the hyperspectral and panchromatic images, find the corresponding points of the contours of the hyperspectral and panchromatic images, combine their contours, transform raster of the hyperspectral image in such a way that the coordinates of the corresponding points of the contours of the hyperspectral and panchromatic images coincide, cut off areas of the panchromatic image in which it spatially does not coincide with the hyperspectral image, form row indices r'=1, ..., R' and columns s'=1 , …, S' of the cropped panchromatic image spatially corresponding to the hyperspectral image, calculate the scale factor
Figure 00000001
panchromatic and hyperspectral images, form a scale grid in rows
Figure 00000002
and columns
Figure 00000003
panchromatic image, consisting of I × J cells and corresponding to the size of the panchromatic image, division into separate objects is performed by brightness
Figure 00000004
pixels of the panchromatic image in each i,j-th cell corresponding to the i,j-th pixel of the hyperspectral image form the final hyperspectral image with a spatial resolution of r'=1, …, R' elements in rows and s'=1, …, S' by columns, by assigning to each pixel with coordinates
Figure 00000004
the spectral characteristic most similar to the characteristic of one of the nearest i±p,j±q objects displayed on the hyperspectral image, where p=0, 1, …, P, q=0, 1, …, Q.

Предлагаемое техническое решение является промышленно применимым, так как для его реализации могут быть использованы любые известные из уровня техники программируемые и непрограммируемые процессоры цифровой обработки сигналов и изображений (см., например, URL: http://module.ru/catalog/).The proposed technical solution is industrially applicable, since any programmable and non-programmable digital signal and image processors known from the prior art can be used for its implementation (see, for example, URL: http://module.ru/catalog/).

Claims (1)

Способ повышения пространственного разрешения гиперспектральных изображений, включающий разделение каждого пиксела гиперспектрального изображения с низким пространственным разрешением (i = 1, …, I элементов по строкам и j = 1, …, J по столбцам) на отдельные объекты, присвоение каждому выделенному объекту спектральной характеристики, наиболее схожей с характеристикой одного из объектов, отображаемых на гиперспектральном изображении, отличающийся тем, что для разделения пикселей гиперспектрального изображения используют панхроматическое изображение с многократно большим пространственным разрешением (r = 1, …, R, s = 1, …, S элементов по строкам и столбцам соответственно) по отношению к гиперспектральному, выделяют контуры гиперспектрального и панхроматического изображений, находят соответствующие точки контуров гиперспектрального и панхроматического изображений, совмещают их контуры, преобразовывают растр гиперспектрального изображения таким образом, чтобы координаты соответствующих точек контуров гиперспектрального и панхроматического изображений совпадали, обрезают участки панхроматического изображения, в которых оно пространственно не совпадает с гиперспектральным изображением, формируют индексы строк r' = 1, …, R' и столбцов s' = 1, …, S' обрезанного панхроматического изображения, пространственно соответствующего гиперспектральному изображению, вычисляют масштабный коэффициент
Figure 00000021
панхроматического и гиперспектрального изображений, формируют масштабную сетку по строкам
Figure 00000022
и столбцам
Figure 00000023
панхроматического изображения, состоящую из I×J ячеек и соответствующую размеру панхроматического изображения, разделение на отдельные объекты выполняют по яркостям
Figure 00000024
пикселей панхроматического изображения в каждой i,j-й ячейке соответствующей i,j-му пикселу гиперспектрального изображения, формируют итоговое гиперспектральное изображение с пространственным разрешением r' = 1, …, R' элементов по строкам и s' = 1, …, S' по столбцам путем присвоения каждому пикселу с координатами
Figure 00000024
спектральной характеристики, наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении, где р = 0, 1, …, P, q = 0, 1, …, Q.A method for increasing the spatial resolution of hyperspectral images, which includes dividing each pixel of a hyperspectral image with a low spatial resolution (i = 1, ..., I elements in rows and j = 1, ..., J in columns) into separate objects, assigning a spectral characteristic to each selected object, most similar to the characteristics of one of the objects displayed on the hyperspectral image, differing in that to separate the pixels of the hyperspectral image, a panchromatic image with a multiple times higher spatial resolution (r = 1, …, R, s = 1, …, S elements in rows and columns respectively) with respect to the hyperspectral one, select the contours of the hyperspectral and panchromatic images, find the corresponding points of the contours of the hyperspectral and panchromatic images, combine their contours, transform the raster of the hyperspectral image in such a way that the coordinates of the corresponding points to the contours of the hyperspectral and panchromatic images coincided, the sections of the panchromatic image are cut off in which it spatially does not coincide with the hyperspectral image, the indexes of rows r' = 1, …, R' and columns s' = 1, …, S' of the cropped panchromatic image are formed, spatially corresponding to the hyperspectral image, calculate the scale factor
Figure 00000021
panchromatic and hyperspectral images, form a scale grid in rows
Figure 00000022
and columns
Figure 00000023
panchromatic image, consisting of I × J cells and corresponding to the size of the panchromatic image, division into separate objects is performed by brightness
Figure 00000024
pixels of the panchromatic image in each i,j-th cell corresponding to the i,j-th pixel of the hyperspectral image form the final hyperspectral image with a spatial resolution of r' = 1, …, R' elements in rows and s' = 1, …, S' by columns by assigning to each pixel with coordinates
Figure 00000024
the spectral characteristic most similar to the characteristic of one of the nearest i±p,j±q objects displayed on the hyperspectral image, where р = 0, 1, …, P, q = 0, 1, …, Q.
RU2021136132A 2021-12-07 Method for increasing the spatial resolution of hyperspectral images RU2782161C1 (en)

Publications (1)

Publication Number Publication Date
RU2782161C1 true RU2782161C1 (en) 2022-10-21

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2817536C1 (en) * 2023-11-07 2024-04-16 Федеральное государственное бюджетное учреждение науки Института астрономии Российской академии наук Device for comparing digital hyperspectral astronomical images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2442193C2 (en) * 2006-01-25 2012-02-10 Аркекс Лимитед Terrain correction systems
RU2476926C1 (en) * 2011-06-16 2013-02-27 Борис Антонович Михайлов Apparatus for processing panchromatic images (versions)
EP2703792A1 (en) * 2012-08-29 2014-03-05 GE Aviation Systems LLC Method of controlling the resolution of a hyperspectral image
US8693771B2 (en) * 2011-11-18 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for pan-sharpening panchromatic and multispectral images using dictionaries
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2442193C2 (en) * 2006-01-25 2012-02-10 Аркекс Лимитед Terrain correction systems
RU2476926C1 (en) * 2011-06-16 2013-02-27 Борис Антонович Михайлов Apparatus for processing panchromatic images (versions)
US8693771B2 (en) * 2011-11-18 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for pan-sharpening panchromatic and multispectral images using dictionaries
EP2703792A1 (en) * 2012-08-29 2014-03-05 GE Aviation Systems LLC Method of controlling the resolution of a hyperspectral image
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2817536C1 (en) * 2023-11-07 2024-04-16 Федеральное государственное бюджетное учреждение науки Института астрономии Российской академии наук Device for comparing digital hyperspectral astronomical images
RU227747U1 (en) * 2023-12-14 2024-08-01 Федеральное государственное бюджетное учреждение науки Института астрономии Российской академии наук Block statistical comparison device for digital hyperspectral astronomical images
RU2834731C1 (en) * 2024-04-04 2025-02-13 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Method of correcting geometrical distortions of hyperspectral images based on scanning sensor roll information

Similar Documents

Publication Publication Date Title
US8457437B2 (en) System and method for enhancing registered images using edge overlays
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US10951817B2 (en) Compound-eye imaging device, image processing method, and recording medium
CN114119443B (en) Image fusion system based on multispectral camera
CN109360147A (en) Multispectral image super-resolution reconstruction method based on color image fusion
CN111814771A (en) Image processing method and device
US20170169607A1 (en) Hyperspectral Scene Analysis via Structure from Motion
CN112215876B (en) Double-spectrum image registration fusion method, device, equipment and storage medium
JPS63118889A (en) Change detection system by picture
WO2012001982A1 (en) Stereo image processing apparatus and method of processing stereo image
Reulke et al. Determination and improvement of spatial resolution of the CCD-line-scanner system ADS40
Hnatushenko et al. Remote sensing image fusion using ICA and optimized wavelet transform
CN110060218A (en) Remote sensing image processing method based on GIS-Geographic Information System
Jenerowicz et al. The fusion of satellite and UAV data: simulation of high spatial resolution band
RU2782161C1 (en) Method for increasing the spatial resolution of hyperspectral images
Al-Wassai et al. Multisensor images fusion based on feature-level
Grohnfeldt et al. Splitting the hyperspectral-multispectral image fusion problem autonomously into weighted pan-sharpening tasks—The spectral grouping concept
Aleksandrovich et al. Search the optimal border for combination of image pairs using neural networks
CN110555871B (en) Method and device for automatic registration of monitoring video
CN114817443A (en) Tile-based satellite remote sensing image data processing method and device
RU2789691C1 (en) Method for aligning images from matrix photodetectors of different spectral bands
Grohnfeldt et al. The J-SparseFI-HM hyperspectral resolution enhancement method—Now fully automated
Moghaddama et al. Using discrete wavelet transform to increase the accuracy of hyper spectral and high resolution images fusion
Al-Rubiey Increase the intelligibility of multispectral image using pan-sharpening techniques for many remotely sensed images
CN109544489A (en) A kind of multiband enhancing visual system image interfusion method